在脑电图（EEG）的驾驶员的背景下，设计无校准系统仍然具有挑战性，因为EEG信号在不同的主题和录音会话之间显着变化。已经努力使用EEG信号的深度学习方法来利用精神状态识别。然而，现有工作主要将深入学习模型视为黑匣子分类器，而模型已经学习的是什么以及它们在脑电图数据中受到噪声的影响仍然是曝光的。在本文中，我们开发了一种新颖的卷积神经网络，可以通过突出显示包含分类重要信息的输入样本的本地区域来解释其决定。该网络具有紧凑的结构，利用可分离卷曲来处理空间序列中的EEG信号。结果表明，该模型在11个受试者上实现了78.35％的平均准确性，用于休假交叉对象嗜睡识别，其高于传统的基线方法为53.4％-72.68％和最先进的深层学习方法63.90％-65.78％。可视化结果表明，该模型已经学会了识别EEG信号的生物学可解释的特征，例如，α主轴，作为不同受试者的嗜睡的强指标。此外，我们还探讨了一些错误分类的样本背后的原因，具有可视化技术，并讨论了提高识别准确性的潜在方法。我们的作品说明了使用可解释的深度学习模型的有希望的方向，以从复杂的EEG信号发现与不同心理状态相关的有意义的模式。

在神经科学领域，脑活动分析总是被认为是一个重要领域。精神分裂症（SZ）是一种严重影响世界各地人民的思想，行为和情感的大脑障碍。在Sz检测中被证明是一种有效的生物标志物的脑电图（EEG）。由于其非线性结构，EEG是非线性时间序列信号，并利用其进行调查，这是对其的影响。本文旨在利用深层学习方法提高基于EEG基于SZ检测的性能。已经提出了一种新的混合深度学习模型（精神分裂症混合神经网络），已经提出了卷积神经网络（CNN）和长短期存储器（LSTM）的组合。 CNN网络用于本地特征提取，LSTM已用于分类。所提出的模型仅与CNN，仅限LSTM和基于机器学习的模型进行了比较。已经在两个不同的数据集上进行了评估所有模型，其中数据集1由19个科目和数据集2组成，由16个科目组成。使用不同频带上的各种参数设置并在头皮上使用不同的电极组来进行几个实验。基于所有实验，显然提出的混合模型（SZHNN）与其他现有型号相比，拟议的混合模型（SZHNN）提供了99.9％的最高分类精度。该建议的模型克服了不同频带的影响，甚至没有5个电极显示出91％的更好的精度。该拟议的模型也在智能医疗保健和远程监控应用程序的医疗器互联网上进行评估。

Neuropsychological studies suggest that co-operative activities among different brain functional areas drive high-level cognitive processes. To learn the brain activities within and among different functional areas of the brain, we propose LGGNet, a novel neurologically inspired graph neural network, to learn local-global-graph representations of electroencephalography (EEG) for Brain-Computer Interface (BCI). The input layer of LGGNet comprises a series of temporal convolutions with multi-scale 1D convolutional kernels and kernel-level attentive fusion. It captures temporal dynamics of EEG which then serves as input to the proposed local and global graph-filtering layers. Using a defined neurophysiologically meaningful set of local and global graphs, LGGNet models the complex relations within and among functional areas of the brain. Under the robust nested cross-validation settings, the proposed method is evaluated on three publicly available datasets for four types of cognitive classification tasks, namely, the attention, fatigue, emotion, and preference classification tasks. LGGNet is compared with state-of-the-art methods, such as DeepConvNet, EEGNet, R2G-STNN, TSception, RGNN, AMCNN-DGCN, HRNN and GraphNet. The results show that LGGNet outperforms these methods, and the improvements are statistically significant (p<0.05) in most cases. The results show that bringing neuroscience prior knowledge into neural network design yields an improvement of classification performance. The source code can be found at https://github.com/yi-ding-cs/LGG

基于电动机图像（MI）的脑电脑界面（BCIS）允许通过解码神经生理现象来控制几种应用，这些现象通常通过使用非侵入性技术被脑电图（EEG）记录。尽管在基于MI的BCI的进展方面很大，但脑电图有特定于受试者和各种变化随时间。这些问题指出了提高分类绩效的重大挑战，特别是在独立的方式。为了克服这些挑战，我们提出了Min2Net，这是一个新的端到端多任务学习来解决这项任务。我们将深度度量学习集成到多任务AutoEncoder中，以从脑电图中学习紧凑且识别的潜在表示，并同时执行分类。这种方法降低了预处理的复杂性，导致EEG分类的显着性能改善。实验结果以本语独立的方式表明，MIN2Net优于最先进的技术，在SMR-BCI和OpenBMI数据集中分别实现了6.72％的F1分数提高，以及2.23％。我们证明MIN2NET在潜在代表中提高了歧视信息。本研究表明使用此模型的可能性和实用性为新用户开发基于MI的BCI应用，而无需校准。

传统的脑电脑接口（BCI）需要在使用之前为每个用户提供完整的数据收集，训练和校准阶段。近年来，已经开发了许多主题独立的（SI）BCI。与受试者依赖性（SD）方法相比，这些方法中的许多方法产生较弱的性能，有些方法是计算昂贵的。潜在的真实世界应用程序将极大地受益于更准确，紧凑，并计算高效的主题的BCI。在这项工作中，我们提出了一个名为CCSPNET（卷积公共空间模式网络）的新型主题独立的BCI框架，该框架被训练在大型脑电图（EEG）信号数据库中的电动机图像（MI）范例上，由400个试验组成每54名科目执行两班手机MI任务。所提出的框架应用小波核卷积神经网络（WKCNN）和时间卷积神经网络（TCNN），以表示和提取EEG信号的光谱特征。对于空间特征提取来实现公共空间模式（CSP）算法，并且通过密集的神经网络减少了CSP特征的数量。最后，类标签由线性判别分析（LDA）分类器确定。 CCSPNET评估结果表明，可以具有紧凑的BCI，可实现与复杂和计算昂贵的模型相当的SD和SI最先进的性能。

目的：提出使用深神经网络（DNN）的新型SSVEP分类方法，提高单通道和用户独立的脑电电脑接口（BCIS）的性能，具有小的数据长度。方法：我们建议与DNN结合使用过滤器组（创建EEG信号的子带分量）。在这种情况下，我们创建了三种不同的模型：经常性的神经网络（FBRNN）分析时域，2D卷积神经网络（FBCNN-2D）处理复谱特征和3D卷积神经网络（FBCNN-3D）分析复杂谱图，我们在本研究中介绍了SSVEP分类的可能输入。我们通过开放数据集培训了我们的神经网络，并构思了它们，以便不需要从最终用户校准：因此，测试主题数据与训练和验证分开。结果：带滤波器银行的DNN超越了类似网络的准确性，在没有相当大的边距（高达4.6％）的情况下，它们甚至更高的边距（高达7.1％）超越了常见的SSVEP分类方法（SVM和FBCCA） 。在使用过滤器银行中的三个DNN中，FBRNN获得了最佳结果，然后是FBCNN-3D，最后由FBCNN-2D获得。结论和意义：滤波器银行允许不同类型的深神经网络，以更有效地分析SSVEP的谐波分量。复谱图比复杂频谱特征和幅度谱进行更多信息，允许FBCNN-3D超越另一个CNN。在具有挑战性的分类问题中获得的平均测试精度（87.3％）和F1分数（0.877）表示施工，经济，快速和低延迟BCIS建设的强大潜力。

尽管能够隔离视觉数据，但人类花了一些时间来检查一块，更不用说数千或数百万个样本了。深度学习模型在现代计算的帮助下有效地处理了相当大的信息。但是，他们可疑的决策过程引起了相当大的关注。最近的研究已经确定了一种新的方法，可以从EEG信号中提取图像特征，并将其与标准图像特征相结合。这些方法使深度学习模型更容易解释，并且还可以更快地将模型收敛。受最近研究的启发，我们开发了一种编码脑电图信号作为图像的有效方法，以促进使用深度学习模型对大脑信号的更微妙的理解。在此类编码方法中，我们使用两个变体对对应于39个图像类的编码EEG信号对六个受试者的分层数据集的基准精度为70％，这远高于现有工作。与纯净的深度学习方法的准确性稍好相比，我们的图像分类方法具有共同的EEG功能的精度为82％。然而，它证明了该理论的生存能力。

本文提出了一个新颖的框架，以根据权威的睡眠医学指导自动捕获人睡眠的脑电图（EEG）信号的时间频率。该框架由两个部分组成：第一部分通过将输入EEG频谱图将其划分为一系列时频贴片来提取信息特征。第二部分是由基于注意力的体系结构有效地搜索分配的时频贴片和并行睡眠阶段定义因素之间的相关性构成的。拟议的管道在Sleep Heart Health研究数据集上进行了验证，其阶段唤醒，N2和N3的新最新结果获得了相应的F1分数为0.93、0.88和0.87，仅使用EEG信号。该提出的方法还具有高评分者间可靠性为0.80 kappa。我们还可以看到睡眠分期决策与提出方法提取的特征之间的对应关系，为我们的模型提供了强大的解释性。

Seizure type identification is essential for the treatment and management of epileptic patients. However, it is a difficult process known to be time consuming and labor intensive. Automated diagnosis systems, with the advancement of machine learning algorithms, have the potential to accelerate the classification process, alert patients, and support physicians in making quick and accurate decisions. In this paper, we present a novel multi-path seizure-type classification deep learning network (MP-SeizNet), consisting of a convolutional neural network (CNN) and a bidirectional long short-term memory neural network (Bi-LSTM) with an attention mechanism. The objective of this study was to classify specific types of seizures, including complex partial, simple partial, absence, tonic, and tonic-clonic seizures, using only electroencephalogram (EEG) data. The EEG data is fed to our proposed model in two different representations. The CNN was fed with wavelet-based features extracted from the EEG signals, while the Bi-LSTM was fed with raw EEG signals to let our MP-SeizNet jointly learns from different representations of seizure data for more accurate information learning. The proposed MP-SeizNet was evaluated using the largest available EEG epilepsy database, the Temple University Hospital EEG Seizure Corpus, TUSZ v1.5.2. We evaluated our proposed model across different patient data using three-fold cross-validation and across seizure data using five-fold cross-validation, achieving F1 scores of 87.6% and 98.1%, respectively.

工作记忆（WM）表示在脑海中存储的信息，是人类认知领域的一个基本研究主题。可以监测大脑的电活动的脑电图（EEG）已被广泛用于测量WM的水平。但是，关键的挑战之一是个体差异可能会导致无效的结果，尤其是当既定模型符合陌生主题时。在这项工作中，我们提出了一个具有空间注意力（CS-DASA）的跨主题深层适应模型，以概括跨科目的工作负载分类。首先，我们将EEG时间序列转换为包含空间，光谱和时间信息的多帧EEG图像。首先，CS-DASA中的主题共享模块从源和目标主题中接收多帧的EEG图像数据，并学习了共同的特征表示。然后，在特定于主题的模块中，实现了最大平均差异，以测量重现的内核希尔伯特空间中的域分布差异，这可以为域适应增加有效的罚款损失。此外，采用主题对象的空间注意机制专注于目标图像数据的判别空间特征。在包含13个受试者的公共WM EEG数据集上进行的实验表明，所提出的模型能够达到比现有最新方法更好的性能。

Non-invasive brain-computer interface technology has been developed for detecting human mental states with high performances. Detection of the pilots' mental states is particularly critical because their abnormal mental states could cause catastrophic accidents. In this study, we presented the feasibility of classifying distraction levels (namely, normal state, low distraction, and high distraction) by applying the deep learning method. To the best of our knowledge, this study is the first attempt to classify distraction levels under a flight environment. We proposed a model for classifying distraction levels. A total of ten pilots conducted the experiment in a simulated flight environment. The grand-average accuracy was 0.8437 for classifying distraction levels across all subjects. Hence, we believe that it will contribute significantly to autonomous driving or flight based on artificial intelligence technology in the future.

目的：卷积神经网络（CNN）在脑部计算机界面（BCI）领域表现出巨大的潜力，因为它们能够直接处理无人工特征提取而直接处理原始脑电图（EEG）。原始脑电图通常表示为二维（2-D）矩阵，由通道和时间点组成，忽略了脑电图的空间拓扑信息。我们的目标是使带有原始脑电图信号的CNN作为输入具有学习EEG空间拓扑特征的能力，并改善其分类性能，同时实质上保持其原始结构。方法：我们提出了一个EEG地形表示模块（TRM）。该模块由（1）从原始脑电图信号到3-D地形图的映射块和（2）从地形图到与输入相同大小的输出的卷积块组成。我们将TRM嵌入了3个广泛使用的CNN中，并在2种不同类型的公开数据集中测试了它们。结果：结果表明，使用TRM后，两个数据集都在两个数据集上提高了3个CNN的分类精度。在模拟驾驶数据集（EBDSDD）和2.83 \％，2.17 \％和2.17 \％\％和2.17 \％和2.00 \％的紧急制动器上，具有TRM的DeepConvnet，Eegnet和ShandowConvnet的平均分类精度提高了4.70 \％，1.29 \％和0.91 \％高γ数据集（HGD）。意义：通过使用TRM来挖掘脑电图的空间拓扑特征，我们在2个数据集上提高了3个CNN的分类性能。另外，由于TRM的输出的大小与输入相同，因此任何具有RAW EEG信号的CNN作为输入可以使用此模块而无需更改原始结构。

上肢运动分类将输入信号映射到目标活动，是控制康复机器人技术的关键领域之一。分类器接受了康复系统的培训，以理解上肢无法正常工作的患者的欲望。肌电图（EMG）信号和脑电图（EEG）信号广泛用于上肢运动分类。通过分析实时脑电图和EMG信号的分类结果，系统可以理解用户的意图，并预测人们希望执行的事件。因此，它将为用户提供外部帮助，以协助一个人进行活动。但是，由于嘈杂的环境，并非所有用户都处理有效的脑电图和EMG信号。实时数据收集过程中的噪声污染了数据的有效性。此外，并非所有患者由于肌肉损伤和神经肌肉疾病而处理强大的EMG信号。为了解决这些问题，我们想提出一种新颖的决策级多传感器融合技术。简而言之，该系统将将EEG信号与EMG信号集成，从两个来源检索有效的信息以了解和预测用户的需求，从而提供帮助。通过对包含同时记录的脑电图和EMG信号的公开途径数据集进行测试，我们设法结论了新型系统的可行性和有效性。

近年来，深度学习显示了广泛区域的潜力和效率，包括计算机视觉，图像和信号处理。然而，由于缺乏算法决策和结果的解释性，用户应用程序仍然存在转化挑战。这个黑匣子问题对于高风险应用程序（例如与医疗相关的决策制定）尤其有问题。当前的研究目标是设计一个可解释的深度学习系统，用于对脑电图的时间序列分类（EEG）进行睡眠阶段评分，以此作为设计透明系统的一步。我们已经开发了一个可解释的深神经网络，该网络包括基于内核的层，该层是基于人类专家在视觉分析记录的视觉分析中用于睡眠评分的一组原理。将基于内核的卷积层定义并用作系统的第一层，并可用于用户解释。训练有素的系统及其结果从脑电图信号的微观结构（例如训练的内核）以及每个内核对检测到的阶段的效果，宏观结构（例如阶段之间的过渡）中解释了四个级别。拟议的系统表现出比先前的研究更大的性能，而解释的结果表明，该系统学习了与专家知识一致的信息。

基于脑电图（EEG）的脑生物识别技术已被越来越多地用于个人鉴定。传统的机器学习技术以及现代的深度学习方法已采用有希望的结果。在本文中，我们提出了EEG-BBNET，这是一个混合网络，该网络将卷积神经网络（CNN）与图形卷积神经网络（GCNN）集成在一起。 CNN在自动特征提取方面的好处以及GCNN通过图形表示在EEG电极之间学习连通性的能力被共同利用。我们检查了各种连通性度量，即欧几里得距离，皮尔逊的相关系数，相锁定值，相位滞后指数和RHO索引。在由各种脑部计算机界面（BCI）任务组成的基准数据集上评估了所提出的方法的性能，并将其与其他最先进的方法进行了比较。我们发现，使用会议内数据的平均正确识别率最高99.26％，我们的模型在事件相关电位（ERP）任务中的所有基线都优于所有基准。具有Pearson相关性和RHO指数的EEG-BBNET提供了最佳的分类结果。此外，我们的模型使用会议间和任务数据显示出更大的适应性。我们还研究了我们提出的模型的实用性，该模型的电极数量较少。额叶区域上的电极放置似乎最合适，性能损失最少。

在情感计算领域的基于生理信号的情感识别，已经支付了相当大的关注。对于可靠性和用户友好的采集，电卸电子活动（EDA）在实际应用中具有很大的优势。然而，基于EDA的情感识别与数百个科目仍然缺乏有效的解决方案。在本文中，我们的工作试图融合主题的各个EDA功能和外部诱发的音乐功能。我们提出了端到端的多模式框架，1维剩余时间和通道注意网络（RTCAN-1D）。对于EDA特征，基于新型的基于凸优化的EDA（CVXEDA）方法被应用于将EDA信号分解为PAHSIC和TONC信号，以进行动态和稳定的功能。首先涉及基于EDA的情感识别的渠道时间关注机制，以改善时间和渠道明智的表示。对于音乐功能，我们将音乐信号与开源工具包opensmile处理，以获取外部特征向量。来自EDA信号和来自音乐的外部情绪基准的个体情感特征在分类层中融合。我们对三个多模式数据集（PMEMO，DEAP，AMIGOS）进行了系统的比较，适用于2级薪酬/唤醒情感识别。我们提出的RTCAN-1D优于现有的最先进的模型，这也验证了我们的工作为大规模情感认可提供了可靠和有效的解决方案。我们的代码已在https://github.com/guanghaoyin/rtcan-1发布。

卷积神经网络（CNNS）在许多计算机视觉相关任务中取得了令人印象深刻的性能，例如对象检测，图像识别，图像检索等这些成就受益于CNNS的出色能力，以学习具有深层神经结构深层的鉴别特征和迭代培训过程。这激发了EEG研究界，通过CNN进行EEG分类任务。但是，CNNS学习的功能不是立即解释的，导致对CNNS的内部工作机制缺乏了解。为了提高CNN解释性，应用CNN可视化方法以将内部特征转换为视觉上可察觉的模式，以进行CNN层的定性分析。在计算机视觉文献中提出了许多CNN可视化方法，以解释CNN网络结构，操作和语义概念，但对EEG数据分析的应用已经有限。在这项工作中，我们使用3种不同的方法来从原始EEG数据上培训的CNN中提取EEG相关功能：每个分类类别的最佳样本，激活最大化和反向卷积。我们将这些方法应用于高性能的深度学习模型，具有最先进的性能的eEG性别分类任务，并表明该模型具有θ频带的差异。我们表明CNN模型的可视化可以揭示有趣的EEG结果。使用这些工具，使用深度学习的EEG研究人员可以更好地识别学习的EEG功能，可能识别新的相关生物标志物。

如今，提出了几种深度学习方法来应对癫痫发作预测的挑战。但是，由于其大型硬件和相应的高功率消耗，这些方法仍然无法作为可植入或有效的可穿戴设备的一部分实现。他们通常需要复杂的功能提取过程，用于存储高精度参数的大存储器和复杂的算术计算，从而大大增加了所需的硬件资源。此外，可用的预测性能差，因为它们直接从图像识别应用程序中采用网络体系结构无法准确考虑EEG信号的特征。我们在本文中提出了一个适合二进制卷积神经网络（BSDCNN）的硬件友好网络，用于癫痫发作预测。 BSDCNN利用1D卷积内核来提高预测性能。除了第一层外，所有参数均已二进制以减少所需的计算和存储。在美国癫痫社会癫痫发作预测挑战（AES）数据集和CHB-MIT方面，曲线，灵敏度和虚假预测率的总面积达到0.915、89.26％，0.117/h和0.970，94.69％，0.095/h。所提出的体系结构的表现优于最新作品，同时提供了7.2和25.5倍的参数和计算大小。

我们展示了一个新的数据集和基准，其目的是在大脑活动和眼球运动的交叉口中推进研究。我们的数据集EEGEYENET包括从三种不同实验范式中收集的356个不同受试者的同时脑电图（EEG）和眼睛跟踪（ET）录像。使用此数据集，我们还提出了一种评估EEG测量的凝视预测的基准。基准由三个任务组成，难度越来越高：左右，角度幅度和绝对位置。我们在该基准测试中运行大量实验，以便根据经典机器学习模型和大型神经网络提供实心基线。我们释放了我们的完整代码和数据，并提供了一种简单且易于使用的界面来评估新方法。

The key to electroencephalography (EEG)-based brain-computer interface (BCI) lies in neural decoding, and its accuracy can be improved by using hybrid BCI paradigms, that is, fusing multiple paradigms. However, hybrid BCIs usually require separate processing processes for EEG signals in each paradigm, which greatly reduces the efficiency of EEG feature extraction and the generalizability of the model. Here, we propose a two-stream convolutional neural network (TSCNN) based hybrid brain-computer interface. It combines steady-state visual evoked potential (SSVEP) and motor imagery (MI) paradigms. TSCNN automatically learns to extract EEG features in the two paradigms in the training process, and improves the decoding accuracy by 25.4% compared with the MI mode, and 2.6% compared with SSVEP mode in the test data. Moreover, the versatility of TSCNN is verified as it provides considerable performance in both single-mode (70.2% for MI, 93.0% for SSVEP) and hybrid-mode scenarios (95.6% for MI-SSVEP hybrid). Our work will facilitate the real-world applications of EEG-based BCI systems.