The classification of sleep stages plays a crucial role in understanding and diagnosing sleep pathophysiology. Sleep stage scoring relies heavily on visual inspection by an expert that is time consuming and subjective procedure. Recently, deep learning neural network approaches have been leveraged to develop a generalized automated sleep staging and account for shifts in distributions that may be caused by inherent inter/intra-subject variability, heterogeneity across datasets, and different recording environments. However, these networks ignore the connections among brain regions, and disregard the sequential connections between temporally adjacent sleep epochs. To address these issues, this work proposes an adaptive product graph learning-based graph convolutional network, named ProductGraphSleepNet, for learning joint spatio-temporal graphs along with a bidirectional gated recurrent unit and a modified graph attention network to capture the attentive dynamics of sleep stage transitions. Evaluation on two public databases: the Montreal Archive of Sleep Studies (MASS) SS3; and the SleepEDF, which contain full night polysomnography recordings of 62 and 20 healthy subjects, respectively, demonstrates performance comparable to the state-of-the-art (Accuracy: 0.867;0.838, F1-score: 0.818;0.774 and Kappa: 0.802;0.775, on each database respectively). More importantly, the proposed network makes it possible for clinicians to comprehend and interpret the learned connectivity graphs for sleep stages.

情感识别技术使计算机能够将人类情感状态分类为离散类别。但是，即使在短时间内，情绪也可能波动，而不是保持稳定状态。由于其3-D拓扑结构，也很难全面使用EEG空间分布。为了解决上述问题，我们在本研究中提出了一个本地时间空间模式学习图表网络（LTS-GAT）。在LTS-GAT中，使用划分和串扰方案来检查基于图形注意机制的脑电图模式的时间和空间维度的局部信息。添加了动力域歧视器，以提高针对脑电图统计数据的个体间变化的鲁棒性，以学习不同参与者的鲁棒性脑电图特征表示。我们在两个公共数据集上评估了LTS-GAT，用于在个人依赖和独立范式下进行情感计算研究。与其他现有主流方法相比，LTS-GAT模型的有效性被证明。此外，使用可视化方法来说明不同大脑区域和情绪识别的关系。同时，还对不同时间段的权重进行了可视化，以研究情绪稀疏问题。

Sleep stage recognition is crucial for assessing sleep and diagnosing chronic diseases. Deep learning models, such as Convolutional Neural Networks and Recurrent Neural Networks, are trained using grid data as input, making them not capable of learning relationships in non-Euclidean spaces. Graph-based deep models have been developed to address this issue when investigating the external relationship of electrode signals across different brain regions. However, the models cannot solve problems related to the internal relationships between segments of electrode signals within a specific brain region. In this study, we propose a Pearson correlation-based graph attention network, called PearNet, as a solution to this problem. Graph nodes are generated based on the spatial-temporal features extracted by a hierarchical feature extraction method, and then the graph structure is learned adaptively to build node connections. Based on our experiments on the Sleep-EDF-20 and Sleep-EDF-78 datasets, PearNet performs better than the state-of-the-art baselines.

Neuropsychological studies suggest that co-operative activities among different brain functional areas drive high-level cognitive processes. To learn the brain activities within and among different functional areas of the brain, we propose LGGNet, a novel neurologically inspired graph neural network, to learn local-global-graph representations of electroencephalography (EEG) for Brain-Computer Interface (BCI). The input layer of LGGNet comprises a series of temporal convolutions with multi-scale 1D convolutional kernels and kernel-level attentive fusion. It captures temporal dynamics of EEG which then serves as input to the proposed local and global graph-filtering layers. Using a defined neurophysiologically meaningful set of local and global graphs, LGGNet models the complex relations within and among functional areas of the brain. Under the robust nested cross-validation settings, the proposed method is evaluated on three publicly available datasets for four types of cognitive classification tasks, namely, the attention, fatigue, emotion, and preference classification tasks. LGGNet is compared with state-of-the-art methods, such as DeepConvNet, EEGNet, R2G-STNN, TSception, RGNN, AMCNN-DGCN, HRNN and GraphNet. The results show that LGGNet outperforms these methods, and the improvements are statistically significant (p<0.05) in most cases. The results show that bringing neuroscience prior knowledge into neural network design yields an improvement of classification performance. The source code can be found at https://github.com/yi-ding-cs/LGG

基于脑电图（EEG）的脑生物识别技术已被越来越多地用于个人鉴定。传统的机器学习技术以及现代的深度学习方法已采用有希望的结果。在本文中，我们提出了EEG-BBNET，这是一个混合网络，该网络将卷积神经网络（CNN）与图形卷积神经网络（GCNN）集成在一起。 CNN在自动特征提取方面的好处以及GCNN通过图形表示在EEG电极之间学习连通性的能力被共同利用。我们检查了各种连通性度量，即欧几里得距离，皮尔逊的相关系数，相锁定值，相位滞后指数和RHO索引。在由各种脑部计算机界面（BCI）任务组成的基准数据集上评估了所提出的方法的性能，并将其与其他最先进的方法进行了比较。我们发现，使用会议内数据的平均正确识别率最高99.26％，我们的模型在事件相关电位（ERP）任务中的所有基线都优于所有基准。具有Pearson相关性和RHO指数的EEG-BBNET提供了最佳的分类结果。此外，我们的模型使用会议间和任务数据显示出更大的适应性。我们还研究了我们提出的模型的实用性，该模型的电极数量较少。额叶区域上的电极放置似乎最合适，性能损失最少。

本文提出了一个新颖的框架，以根据权威的睡眠医学指导自动捕获人睡眠的脑电图（EEG）信号的时间频率。该框架由两个部分组成：第一部分通过将输入EEG频谱图将其划分为一系列时频贴片来提取信息特征。第二部分是由基于注意力的体系结构有效地搜索分配的时频贴片和并行睡眠阶段定义因素之间的相关性构成的。拟议的管道在Sleep Heart Health研究数据集上进行了验证，其阶段唤醒，N2和N3的新最新结果获得了相应的F1分数为0.93、0.88和0.87，仅使用EEG信号。该提出的方法还具有高评分者间可靠性为0.80 kappa。我们还可以看到睡眠分期决策与提出方法提取的特征之间的对应关系，为我们的模型提供了强大的解释性。

脑电图（EEG）是情绪识别的流行和有效工具。但是，研究人员仍然晦涩难懂，人脑中脑电图中脑电图的传播机制及其与情绪的内在相关性仍然晦涩难懂。这项工作提出了四个变体变压器框架〜（空间注意力，暂时关注，顺序的时空注意力和同时的空间临时注意），以探索情感与空间 - 周期性的EEG特征之间的关系。具体而言，空间注意力和时间关注是分别学习拓扑结构信息和时间变化的脑电图特征。顺序的时空注意力在一秒钟的段中引起空间注意力，并在一个样本中依次在一个样本中注意，以探索情绪刺激对同一时间段中不同EEG电极EEG电极的EEG信号的影响程度。同时进行空间和时间关注的同时时空注意力同时进行，用于模拟不同时间段中不同空间特征之间的关系。实验结果表明，同时的时空注意力会导致设计选择中的最佳情感识别精度，这表明建模EEG信号的空间和时间特征的相关性对于情绪识别是重要的。

近年来，深度学习显示了广泛区域的潜力和效率，包括计算机视觉，图像和信号处理。然而，由于缺乏算法决策和结果的解释性，用户应用程序仍然存在转化挑战。这个黑匣子问题对于高风险应用程序（例如与医疗相关的决策制定）尤其有问题。当前的研究目标是设计一个可解释的深度学习系统，用于对脑电图的时间序列分类（EEG）进行睡眠阶段评分，以此作为设计透明系统的一步。我们已经开发了一个可解释的深神经网络，该网络包括基于内核的层，该层是基于人类专家在视觉分析记录的视觉分析中用于睡眠评分的一组原理。将基于内核的卷积层定义并用作系统的第一层，并可用于用户解释。训练有素的系统及其结果从脑电图信号的微观结构（例如训练的内核）以及每个内核对检测到的阶段的效果，宏观结构（例如阶段之间的过渡）中解释了四个级别。拟议的系统表现出比先前的研究更大的性能，而解释的结果表明，该系统学习了与专家知识一致的信息。

Graph Learning (GL) is at the core of inference and analysis of connections in data mining and machine learning (ML). By observing a dataset of graph signals, and considering specific assumptions, Graph Signal Processing (GSP) tools can provide practical constraints in the GL approach. One applicable constraint can infer a graph with desired frequency signatures, i.e., spectral templates. However, a severe computational burden is a challenging barrier, especially for inference from high-dimensional graph signals. To address this issue and in the case of the underlying graph having graph product structure, we propose learning product (high dimensional) graphs from product spectral templates with significantly reduced complexity rather than learning them directly from high-dimensional graph signals, which, to the best of our knowledge, has not been addressed in the related areas. In contrast to the rare current approaches, our approach can learn all types of product graphs (with more than two graphs) without knowing the type of graph products and has fewer parameters. Experimental results on both the synthetic and real-world data, i.e., brain signal analysis and multi-view object images, illustrate explainable and meaningful factor graphs supported by expert-related research, as well as outperforming the rare current restricted approaches.

神经科学领域的研究揭示了情绪模式和脑功能区域之间的关系，展示了不同脑区之间的动态关系是影响通过脑电图（EEG）确定的情绪识别的必要因素。此外，在脑电情绪识别中，我们可以观察到，基于相同的脑电图数据，我们可以观察到粗粒情绪之间的粗粒情绪之间的边界;这表明大型粗糙和小细粒度情绪变化的同意。因此，来自粗糙到细粒度类别的渐进分类过程可能有助于EEG情绪识别。因此，在本研究中，我们提出了一种逐步的图表卷积网络（PGCN），用于捕获EEG情绪信号中的这种固有特性，并逐步学习鉴别性EEG特征。为了适应不同的EEG模式，我们构建了一个双图模块，以表征不同EEG通道之间的内在关系，其中包含神经科学研究的动态功能连接和脑区的静态空间接近信息。此外，通过观察粗糙和细粒度的情绪之间的关系，我们采用双头模块，使PGCN能够逐步了解更多辨别性EEG特征，从粗粒（简单）到细粒度的类别（困难），参考情绪的分层特征。为了验证我们模型的性能，在两个公共数据集中进行了广泛的实验：种子-46和多模态生理情绪数据库（MPED）。

自动睡眠评分对于诊断和治疗睡眠障碍至关重要，并在家庭环境中实现纵向睡眠跟踪。通常，对单渠道脑电图（EEG）进行基于学习的自动睡眠评分是积极研究的，因为困难在睡眠过程中获得多通道信号。但是，由于以下问题，来自原始脑电图信号的学习表示形式挑战：1）与睡眠相关的脑电图模式发生在不同的时间和频率尺度上，2）睡眠阶段共享相似的脑电图模式。为了解决这些问题，我们提出了一个名为Sleepyco的深度学习框架，该框架结合了1）功能金字塔和2）自动睡眠评分的监督对比度学习。对于特征金字塔，我们提出了一个名为sleepyco-backbone的骨干网络，以考虑在不同的时间和频率尺度上的多个特征序列。监督的对比学习允许网络通过最大程度地降低类内部特征之间的距离并同时最大程度地提高阶层间特征之间的距离来提取类别特征。对四个公共数据集的比较分析表明，Sleepyco始终优于基于单渠道EEG的现有框架。广泛的消融实验表明，Sleepyco表现出增强的总体表现，N1和快速眼运动（REM）阶段之间的歧视有了显着改善。

认识到人类的感情在日常沟通中发挥着关键作用。神经科学已经证明，不同的情绪状态存在于不同脑区，脑电图频带和颞戳中不同程度的激活。在本文中，我们提出了一种新颖的结构来探索情感认可的信息脑电图。所提出的模块，由PST-Integn表示，由位置，光谱和颞件注意力模块组成，用于探索更多辨别性EEG特征。具体地，位置注意模块是捕获在空间尺寸中的不同情绪刺激的激活区域。光谱和时间注意力模块分别分配不同频带和时间片的权重。我们的方法是自适应的，也可以符合其作为插入式模块的3D卷积神经网络（3D-CNN）。我们在两个现实世界数据集进行实验。 3D-CNN结合我们的模块实现了有希望的结果，并证明了PST-关注能够从脑电图中捕获稳定的情感识别模式。

脑电图（EEG）是一种有用的方法，可以在多媒体消费期间隐式监控用户感知状态。基于EEG的监测的实际使用的主要挑战之一是在脑电图分类中实现令人满意的准确性。不同脑区之间的连接是脑电图分类的重要属性。但是，如何定义给定任务的连接结构仍然是一个打开问题，因为没有关于连接结构应该如何最大化分类性能的实践。在本文中，我们提出了一种基于EEG的情绪视频分类的端到端神经网络模型，其可以直接从一组RAW EEG信号提取适当的多层图形结构和信号特征，并使用它们执行分类。实验结果表明，与使用手动定义的连接结构和信号特征的现有方法相比，我们的方法能够提高性能。此外，我们表明，在一致性方面，图形结构提取过程可靠，并且在大脑中发生的情绪感知的角度来看，学习的图形结构具有很大的意义。

为了开发有效和高效的脑电器界面（BCI）系统，非常需要精确地解码脑电图（EEG）测量的大脑活动。传统作品在不考虑电极之间的拓扑关系的情况下分类EEG信号。然而，神经科学研究越来越强调了脑动力学的网络模式。因此，电极的欧几里德结构可能无法充分反映信号之间的相互作用。为了填补差距，提出了一种基于图形卷积神经网络（GCNS）的新型深度学习框架，以增强在不同类型的电动机图像（MI）任务期间的原始EEG信号的解码性能，同时与电极的功能拓扑关系协作。基于绝对Pearson的总体信号矩阵，建立了EEG电极的图拉普拉斯。由图形卷积层构建的GCNS-NET学会了广义特征。遵循的汇集层减少了维度，并且完全连接的软墨幅层衍射最终预测。已介绍的方法已被证明可以为个性化和群体的预测汇聚。与现有研究相比，它分别在受试者和组级别实现了最高平均准确度，93.056％和88.57％（物理仪数据集），96.24％和80.89％（高伽玛数据集），这表明个人适应性和鲁棒性变化性。此外，在交叉验证的重复实验中，性能稳定地再现。为了得出结论，基于功能拓扑关系的GCNS-Net滤波器EEG信号，该关系管理用于解码脑电机图像的相关特征。

大脑区域之间的功能连通性（FC）通常是通过应用于功能磁共振成像（FMRI）数据的统计依赖度量来估计的。所得的功能连接矩阵（FCM）通常用于表示脑图的邻接矩阵。最近，图形神经网络（GNN）已成功应用于FCM，以学习脑图表示。但是，现有GNN方法的一个普遍局限性是，它们要求在模型训练之前知道图形邻接矩阵。因此，隐含地假设数据的基础依赖性结构已知。不幸的是，对于fMRI而言，情况并非如此，因为哪种统计度量的选择最能代表数据的依赖性结构是非平凡的。同样，大多数GNN应用于功能磁共振成像，FC都会随着时间的推移而静态，这与神经科学的证据相反，表明功能性脑网络是随时间变化且动态的。这些复合问题可能会对GNN学习脑图表示的能力产生不利影响。作为解决方案，我们提出了动态大脑图结构学习（DBGSL），这是一种学习fMRI数据最佳时变依赖性结构的监督方法。具体而言，DBGSL通过应用于大脑区域嵌入的时空注意力从fMRI时间表中学习了动态图。然后将所得的图馈送到空间GNN中，以学习分类的图表。大型休息状态以及性别分类任务的fMRI数据集的实验表明，DBGSL可以实现最新的性能。此外，对学习动态图的分析突出了与现有神经科学文献的发现相符的预测相关大脑区域。

在大脑中找到适当的动态活动的适当表示对于许多下游应用至关重要。由于其高度动态的性质，暂时平均fMRI（功能磁共振成像）只能提供狭窄的脑活动视图。以前的作品缺乏学习和解释大脑体系结构中潜在动态的能力。本文构建了一个有效的图形神经网络模型，该模型均包含了从DWI（扩散加权成像）获得的区域映射的fMRI序列和结构连接性作为输入。我们通过学习样品水平的自适应邻接矩阵并进行新型多分辨率内群平滑来发现潜在大脑动力学的良好表示。我们还将输入归因于具有集成梯度的输入，这使我们能够针对每个任务推断（1）高度涉及的大脑连接和子网络，（2）成像序列的时间键帧，这些成像序列表征了任务，以及（3）歧视单个主体的子网络。这种识别特征在异质任务和个人中表征信号状态的关键子网的能力对神经科学和其他科学领域至关重要。广泛的实验和消融研究表明，我们提出的方法在空间 - 周期性图信号建模中的优越性和效率，具有对脑动力学的深刻解释。

Graph neural networks (GNNs) have been successfully applied to early mild cognitive impairment (EMCI) detection, with the usage of elaborately designed features constructed from blood oxygen level-dependent (BOLD) time series. However, few works explored the feasibility of using BOLD signals directly as features. Meanwhile, existing GNN-based methods primarily rely on hand-crafted explicit brain topology as the adjacency matrix, which is not optimal and ignores the implicit topological organization of the brain. In this paper, we propose a spatial temporal graph convolutional network with a novel graph structure self-learning mechanism for EMCI detection. The proposed spatial temporal graph convolution block directly exploits BOLD time series as input features, which provides an interesting view for rsfMRI-based preclinical AD diagnosis. Moreover, our model can adaptively learn the optimal topological structure and refine edge weights with the graph structure self-learning mechanism. Results on the Alzheimer's Disease Neuroimaging Initiative (ADNI) database show that our method outperforms state-of-the-art approaches. Biomarkers consistent with previous studies can be extracted from the model, proving the reliable interpretability of our method.

基于电动机图像（MI）的脑电脑界面（BCIS）允许通过解码神经生理现象来控制几种应用，这些现象通常通过使用非侵入性技术被脑电图（EEG）记录。尽管在基于MI的BCI的进展方面很大，但脑电图有特定于受试者和各种变化随时间。这些问题指出了提高分类绩效的重大挑战，特别是在独立的方式。为了克服这些挑战，我们提出了Min2Net，这是一个新的端到端多任务学习来解决这项任务。我们将深度度量学习集成到多任务AutoEncoder中，以从脑电图中学习紧凑且识别的潜在表示，并同时执行分类。这种方法降低了预处理的复杂性，导致EEG分类的显着性能改善。实验结果以本语独立的方式表明，MIN2Net优于最先进的技术，在SMR-BCI和OpenBMI数据集中分别实现了6.72％的F1分数提高，以及2.23％。我们证明MIN2NET在潜在代表中提高了歧视信息。本研究表明使用此模型的可能性和实用性为新用户开发基于MI的BCI应用，而无需校准。

Graph classification is an important area in both modern research and industry. Multiple applications, especially in chemistry and novel drug discovery, encourage rapid development of machine learning models in this area. To keep up with the pace of new research, proper experimental design, fair evaluation, and independent benchmarks are essential. Design of strong baselines is an indispensable element of such works. In this thesis, we explore multiple approaches to graph classification. We focus on Graph Neural Networks (GNNs), which emerged as a de facto standard deep learning technique for graph representation learning. Classical approaches, such as graph descriptors and molecular fingerprints, are also addressed. We design fair evaluation experimental protocol and choose proper datasets collection. This allows us to perform numerous experiments and rigorously analyze modern approaches. We arrive to many conclusions, which shed new light on performance and quality of novel algorithms. We investigate application of Jumping Knowledge GNN architecture to graph classification, which proves to be an efficient tool for improving base graph neural network architectures. Multiple improvements to baseline models are also proposed and experimentally verified, which constitutes an important contribution to the field of fair model comparison.

理解神经动力学的空间和时间特征之间的相互作用可以有助于我们对人脑中信息处理的理解。图形神经网络（GNN）提供了一种新的可能性，可以解释图形结构化信号，如在复杂的大脑网络中观察到的那些。在我们的研究中，我们比较不同的时空GNN架构，并研究他们复制在功能MRI（FMRI）研究中获得的神经活动分布的能力。我们评估GNN模型在MRI研究中各种场景的性能，并将其与VAR模型进行比较，目前主要用于定向功能连接分析。我们表明，即使当可用数据稀缺时，基于基于解剖学基板的局部功能相互作用，基于GNN的方法也能够鲁棒地规模到大型网络研究。通过包括作为信息衬底的解剖连接以进行信息传播，这种GNN还提供了关于指向连接性分析的多模阶视角，提供了研究脑网络中的时空动态的新颖可能性。