目的：提出使用深神经网络（DNN）的新型SSVEP分类方法，提高单通道和用户独立的脑电电脑接口（BCIS）的性能，具有小的数据长度。方法：我们建议与DNN结合使用过滤器组（创建EEG信号的子带分量）。在这种情况下，我们创建了三种不同的模型：经常性的神经网络（FBRNN）分析时域，2D卷积神经网络（FBCNN-2D）处理复谱特征和3D卷积神经网络（FBCNN-3D）分析复杂谱图，我们在本研究中介绍了SSVEP分类的可能输入。我们通过开放数据集培训了我们的神经网络，并构思了它们，以便不需要从最终用户校准：因此，测试主题数据与训练和验证分开。结果：带滤波器银行的DNN超越了类似网络的准确性，在没有相当大的边距（高达4.6％）的情况下，它们甚至更高的边距（高达7.1％）超越了常见的SSVEP分类方法（SVM和FBCCA） 。在使用过滤器银行中的三个DNN中，FBRNN获得了最佳结果，然后是FBCNN-3D，最后由FBCNN-2D获得。结论和意义：滤波器银行允许不同类型的深神经网络，以更有效地分析SSVEP的谐波分量。复谱图比复杂频谱特征和幅度谱进行更多信息，允许FBCNN-3D超越另一个CNN。在具有挑战性的分类问题中获得的平均测试精度（87.3％）和F1分数（0.877）表示施工，经济，快速和低延迟BCIS建设的强大潜力。

衡量心理工作量的主要原因是量化执行任务以预测人类绩效的认知成本。不幸的是，一种评估具有一般适用性的心理工作量的方法。这项研究提出了一种新型的自我监督方法，用于从脑电图数据中使用深度学习和持续的大脑率，即认知激活的指标，而无需人类声明性知识，从而从脑电图数据进行了精神负荷建模。该方法是可培训的卷积复发性神经网络，该神经网络可通过空间保留脑电图数据的光谱地形图训练，以适合大脑速率变量。发现证明了卷积层从脑电图数据中学习有意义的高级表示的能力，因为受试者内模型的测试平均绝对百分比误差平均为11％。尽管确实提高了其准确性，但增加了用于处理高级表示序列的长期期内存储层并不重要。发现指出，认知激活的高级高水平表示存在准稳定的块，因为它们可以通过卷积诱导，并且似乎随着时间的流逝而彼此依赖，从而直观地与大脑反应的非平稳性质相匹配。跨主体模型，从越来越多的参与者的数据诱导，因此包含更多的可变性，获得了与受试者内模型相似的精度。这突出了人们在人们之间诱发的高级表示的潜在普遍性，这表明存在非依赖于受试者的认知激活模式。这项研究通过为学者提供一种用于心理工作负载建模的新型计算方法来促进知识的体系，该方法旨在通常适用，不依赖于支持可复制性和可复制性的临时人工制作的模型。

在脑电图（EEG）的驾驶员的背景下，设计无校准系统仍然具有挑战性，因为EEG信号在不同的主题和录音会话之间显着变化。已经努力使用EEG信号的深度学习方法来利用精神状态识别。然而，现有工作主要将深入学习模型视为黑匣子分类器，而模型已经学习的是什么以及它们在脑电图数据中受到噪声的影响仍然是曝光的。在本文中，我们开发了一种新颖的卷积神经网络，可以通过突出显示包含分类重要信息的输入样本的本地区域来解释其决定。该网络具有紧凑的结构，利用可分离卷曲来处理空间序列中的EEG信号。结果表明，该模型在11个受试者上实现了78.35％的平均准确性，用于休假交叉对象嗜睡识别，其高于传统的基线方法为53.4％-72.68％和最先进的深层学习方法63.90％-65.78％。可视化结果表明，该模型已经学会了识别EEG信号的生物学可解释的特征，例如，α主轴，作为不同受试者的嗜睡的强指标。此外，我们还探讨了一些错误分类的样本背后的原因，具有可视化技术，并讨论了提高识别准确性的潜在方法。我们的作品说明了使用可解释的深度学习模型的有希望的方向，以从复杂的EEG信号发现与不同心理状态相关的有意义的模式。

这项工作引入了图像分类器的注意机制和相应的深神经网络（DNN）结构，称为ISNET。在训练过程中，ISNET使用分割目标来学习如何找到图像感兴趣的区域并将注意力集中在其上。该提案基于一个新颖的概念，即在说明热图中的背景相关性最小化。它几乎可以应用于任何分类神经网络体系结构，而在运行时没有任何额外的计算成本。能够忽略背景的单个DNN可以替换分段者的通用管道，然后是分类器，更快，更轻。我们测试了ISNET的三种应用：Covid-19和胸部X射线中的结核病检测以及面部属性估计。前两个任务采用了混合培训数据库，并培养了快捷方式学习。通过关注肺部并忽略背景中的偏见来源，ISNET减少了问题。因此，它改善了生物医学分类问题中外部（分布外）测试数据集的概括，超越了标准分类器，多任务DNN（执行分类和细分），注意力门控神经网络以及标准段 - 分类管道。面部属性估计表明，ISNET可以精确地集中在面孔上，也适用于自然图像。 ISNET提出了一种准确，快速和轻的方法，可忽略背景并改善各种领域的概括。

基于EEG的基于EEG的情感识别（EEG-ER）与消费者级EEG器件涉及使用减少数量的通道进行语调。这些设备通常仅提供四个或五个通道，与通常在最新的最先进的研究中通常使用的大量信道（32或更多）不同。在这项工作中，我们建议使用离散小波变换（DWT）来提取时间频域特征，并且我们使用几秒钟的时间窗口来执行EEG-ER分类。该技术可以实时使用，而不是在HOC上完成完整会话数据。我们还应用了在现有研究中开发的基线拆卸预处理，以我们提出的DWT熵和能量特征，这显着提高了分类精度。我们考虑两个不同的分类器架构，一个3D卷积神经网络（3D CNN）和支持向量机（SVM）。我们在主题和主题依赖设置上评估两个模型，以分类个人情绪状态的价值和唤醒维度。我们在Deap DataSet提供的完整32通道数据上测试它们，以及相同数据集的减少的5通道提取物。 SVM模型在所有呈现的场景上表现最佳，在唤起完整的32通道主题案例的唤醒时，在价值上实现95.32％的精度，95.68％，以前的实时EEG-EEG-EEG-EEG-EEG对象依赖性基准。在独立的案例上，还获得了80.70％的准确度，唤醒的唤醒器中的81.41％。将输入数据减少到5个通道仅在所有场景中平均降低3.54％，这使得该型号适合使用更可访问的低端EEG器件。

传统的脑电脑接口（BCI）需要在使用之前为每个用户提供完整的数据收集，训练和校准阶段。近年来，已经开发了许多主题独立的（SI）BCI。与受试者依赖性（SD）方法相比，这些方法中的许多方法产生较弱的性能，有些方法是计算昂贵的。潜在的真实世界应用程序将极大地受益于更准确，紧凑，并计算高效的主题的BCI。在这项工作中，我们提出了一个名为CCSPNET（卷积公共空间模式网络）的新型主题独立的BCI框架，该框架被训练在大型脑电图（EEG）信号数据库中的电动机图像（MI）范例上，由400个试验组成每54名科目执行两班手机MI任务。所提出的框架应用小波核卷积神经网络（WKCNN）和时间卷积神经网络（TCNN），以表示和提取EEG信号的光谱特征。对于空间特征提取来实现公共空间模式（CSP）算法，并且通过密集的神经网络减少了CSP特征的数量。最后，类标签由线性判别分析（LDA）分类器确定。 CCSPNET评估结果表明，可以具有紧凑的BCI，可实现与复杂和计算昂贵的模型相当的SD和SI最先进的性能。

Seizure type identification is essential for the treatment and management of epileptic patients. However, it is a difficult process known to be time consuming and labor intensive. Automated diagnosis systems, with the advancement of machine learning algorithms, have the potential to accelerate the classification process, alert patients, and support physicians in making quick and accurate decisions. In this paper, we present a novel multi-path seizure-type classification deep learning network (MP-SeizNet), consisting of a convolutional neural network (CNN) and a bidirectional long short-term memory neural network (Bi-LSTM) with an attention mechanism. The objective of this study was to classify specific types of seizures, including complex partial, simple partial, absence, tonic, and tonic-clonic seizures, using only electroencephalogram (EEG) data. The EEG data is fed to our proposed model in two different representations. The CNN was fed with wavelet-based features extracted from the EEG signals, while the Bi-LSTM was fed with raw EEG signals to let our MP-SeizNet jointly learns from different representations of seizure data for more accurate information learning. The proposed MP-SeizNet was evaluated using the largest available EEG epilepsy database, the Temple University Hospital EEG Seizure Corpus, TUSZ v1.5.2. We evaluated our proposed model across different patient data using three-fold cross-validation and across seizure data using five-fold cross-validation, achieving F1 scores of 87.6% and 98.1%, respectively.

基于电动机图像（MI）的脑电脑界面（BCIS）允许通过解码神经生理现象来控制几种应用，这些现象通常通过使用非侵入性技术被脑电图（EEG）记录。尽管在基于MI的BCI的进展方面很大，但脑电图有特定于受试者和各种变化随时间。这些问题指出了提高分类绩效的重大挑战，特别是在独立的方式。为了克服这些挑战，我们提出了Min2Net，这是一个新的端到端多任务学习来解决这项任务。我们将深度度量学习集成到多任务AutoEncoder中，以从脑电图中学习紧凑且识别的潜在表示，并同时执行分类。这种方法降低了预处理的复杂性，导致EEG分类的显着性能改善。实验结果以本语独立的方式表明，MIN2Net优于最先进的技术，在SMR-BCI和OpenBMI数据集中分别实现了6.72％的F1分数提高，以及2.23％。我们证明MIN2NET在潜在代表中提高了歧视信息。本研究表明使用此模型的可能性和实用性为新用户开发基于MI的BCI应用，而无需校准。

在神经科学领域，脑活动分析总是被认为是一个重要领域。精神分裂症（SZ）是一种严重影响世界各地人民的思想，行为和情感的大脑障碍。在Sz检测中被证明是一种有效的生物标志物的脑电图（EEG）。由于其非线性结构，EEG是非线性时间序列信号，并利用其进行调查，这是对其的影响。本文旨在利用深层学习方法提高基于EEG基于SZ检测的性能。已经提出了一种新的混合深度学习模型（精神分裂症混合神经网络），已经提出了卷积神经网络（CNN）和长短期存储器（LSTM）的组合。 CNN网络用于本地特征提取，LSTM已用于分类。所提出的模型仅与CNN，仅限LSTM和基于机器学习的模型进行了比较。已经在两个不同的数据集上进行了评估所有模型，其中数据集1由19个科目和数据集2组成，由16个科目组成。使用不同频带上的各种参数设置并在头皮上使用不同的电极组来进行几个实验。基于所有实验，显然提出的混合模型（SZHNN）与其他现有型号相比，拟议的混合模型（SZHNN）提供了99.9％的最高分类精度。该建议的模型克服了不同频带的影响，甚至没有5个电极显示出91％的更好的精度。该拟议的模型也在智能医疗保健和远程监控应用程序的医疗器互联网上进行评估。

尽管能够隔离视觉数据，但人类花了一些时间来检查一块，更不用说数千或数百万个样本了。深度学习模型在现代计算的帮助下有效地处理了相当大的信息。但是，他们可疑的决策过程引起了相当大的关注。最近的研究已经确定了一种新的方法，可以从EEG信号中提取图像特征，并将其与标准图像特征相结合。这些方法使深度学习模型更容易解释，并且还可以更快地将模型收敛。受最近研究的启发，我们开发了一种编码脑电图信号作为图像的有效方法，以促进使用深度学习模型对大脑信号的更微妙的理解。在此类编码方法中，我们使用两个变体对对应于39个图像类的编码EEG信号对六个受试者的分层数据集的基准精度为70％，这远高于现有工作。与纯净的深度学习方法的准确性稍好相比，我们的图像分类方法具有共同的EEG功能的精度为82％。然而，它证明了该理论的生存能力。

目的：脑电图（EEG）和肌电图（EMG）是两个非侵入性的生物信号，它们在人类机器界面（HMI）技术（EEG-HMI和EMG-HMI范式）中广泛用于康复，用于康复的物理残疾人。将脑电图和EMG信号成功解码为各自的控制命令是康复过程中的关键步骤。最近，提出了几个基于卷积的神经网络（CNN）架构，它们直接将原始的时间序列信号映射到决策空间中，并同时执行有意义的特征提取和分类的过程。但是，这些网络是根据学习给定生物信号的预期特征量身定制的，并且仅限于单个范式。在这项工作中，我们解决了一个问题，即我们可以构建一个单个体系结构，该架构能够从不同的HMI范式中学习不同的功能并仍然成功地对其进行分类。方法：在这项工作中，我们引入了一个称为Controanet的单个混合模型，该模型基于CNN和Transformer架构，该模型对EEG-HMI和EMG-HMI范式同样有用。 Contranet使用CNN块在模型中引入电感偏置并学习局部依赖性，而变压器块则使用自我注意机制来学习信号中的长距离依赖性，这对于EEG和EMG信号的分类至关重要。主要结果：我们在三个属于EEG-HMI和EMG-HMI范式的公开数据集上评估并比较了Contronet与最先进的方法。 Contranet在所有不同类别任务（2级，3类，4级和10级解码任务）中的表现优于其对应。意义：结果表明，与当前的最新算法状态相比，从不同的HMI范式中学习不同的特征并概述了矛盾。

分布式声音传感器（DAS）是有效的设备，在许多应用区域中广泛使用，用于记录各种事件的信号，这些事件沿光纤沿光纤沿着非常高的空间分辨率。为了正确地检测和识别记录的事件，具有高计算需求的高级信号处理算法至关重要。卷积神经网络是提取空间信息的高功能工具，非常适合DAS中的事件识别应用。长期术语内存（LSTM）是处理顺序数据的有效仪器。在这项研究中，我们提出了一种多输入的多输出，两个阶段特征提取方法，该方法将这些神经网络体系结构的能力与转移学习的能力结合在一起，以将压电传感器应用于光纤上的振动进行分类。首先，我们从相位-OTDR记录中提取了差幅度和相位信息，并将它们存储在时间空间数据矩阵中。然后，我们在第一阶段使用了最先进的预训练的CNN作为特征提取器。在第二阶段，我们使用LSTMS进一步分析了CNN提取的特征。最后，我们使用密集层来对提取的特征进行分类。为了观察使用的CNN体​​系结构的效果，我们通过五个最先进的预训练模型（VGG-16，Resnet-50，Densenet-121，Mobilenet和Inception-V3）测试了模型。结果表明，在我们的框架中使用VGG-16体系结构可以在50个培训中获得100％的分类精度，并在我们的相位数据集中获得最佳结果。这项研究的结果表明，与LSTM结合的预训练的CNN非常适合分析差分振幅和相位信息，在时间空间数据矩阵中表示，这对于DAS应用中的事件识别操作很有希望。

卷积神经网络（CNNS）在许多计算机视觉相关任务中取得了令人印象深刻的性能，例如对象检测，图像识别，图像检索等这些成就受益于CNNS的出色能力，以学习具有深层神经结构深层的鉴别特征和迭代培训过程。这激发了EEG研究界，通过CNN进行EEG分类任务。但是，CNNS学习的功能不是立即解释的，导致对CNNS的内部工作机制缺乏了解。为了提高CNN解释性，应用CNN可视化方法以将内部特征转换为视觉上可察觉的模式，以进行CNN层的定性分析。在计算机视觉文献中提出了许多CNN可视化方法，以解释CNN网络结构，操作和语义概念，但对EEG数据分析的应用已经有限。在这项工作中，我们使用3种不同的方法来从原始EEG数据上培训的CNN中提取EEG相关功能：每个分类类别的最佳样本，激活最大化和反向卷积。我们将这些方法应用于高性能的深度学习模型，具有最先进的性能的eEG性别分类任务，并表明该模型具有θ频带的差异。我们表明CNN模型的可视化可以揭示有趣的EEG结果。使用这些工具，使用深度学习的EEG研究人员可以更好地识别学习的EEG功能，可能识别新的相关生物标志物。

深度学习（DL）已在脑电图（EEG）基于脑电图（EEG）的大部分应用中广泛研究，尤其是在过去五年中对于运动成像（MI）分类。 MI-EEG分类的主流DL方法使用卷积神经网络（CNN）利用EEG信号的暂时性模式，这些模式在视觉图像中取得了显着成功。但是，由于视觉图像的统计特征从根本上偏离了脑电图信号，因此出现了一个自然的问题，除了CNN之外是否存在替代网络体系结构。为了解决这个问题，我们提出了一个名为Tensor-CSPNET的新型几何深度学习（GDL）框架，该框架是源自对称阳性（SPD）的EEG信号的空间协方差矩阵（SPD）歧管（SPD）歧管，并完全捕获了使用临时性跨性别模式，并使用现有的深神经网络捕获了现有的深神经网络SPD流形，与许多成功的MI-EEG分类器的经验集成以优化框架。在实验中，张量-CSPNET在两个常用的MI-EEG数据集中的交叉验证和保留方案上达到或略微优于当前最新性能。此外，可视化和可解释性分析还表现出张量-CSPNET对MI-EEG分类的有效性。总而言之，在这项研究中，我们通过将DL方法概括为SPD歧管，为问题提供了可行的答案，该方法表明了MI-EEG分类的特定GDL方法的开始。

近年来，深度学习显示了广泛区域的潜力和效率，包括计算机视觉，图像和信号处理。然而，由于缺乏算法决策和结果的解释性，用户应用程序仍然存在转化挑战。这个黑匣子问题对于高风险应用程序（例如与医疗相关的决策制定）尤其有问题。当前的研究目标是设计一个可解释的深度学习系统，用于对脑电图的时间序列分类（EEG）进行睡眠阶段评分，以此作为设计透明系统的一步。我们已经开发了一个可解释的深神经网络，该网络包括基于内核的层，该层是基于人类专家在视觉分析记录的视觉分析中用于睡眠评分的一组原理。将基于内核的卷积层定义并用作系统的第一层，并可用于用户解释。训练有素的系统及其结果从脑电图信号的微观结构（例如训练的内核）以及每个内核对检测到的阶段的效果，宏观结构（例如阶段之间的过渡）中解释了四个级别。拟议的系统表现出比先前的研究更大的性能，而解释的结果表明，该系统学习了与专家知识一致的信息。

One of the main challenges in electroencephalogram (EEG) based brain-computer interface (BCI) systems is learning the subject/session invariant features to classify cognitive activities within an end-to-end discriminative setting. We propose a novel end-to-end machine learning pipeline, EEG-NeXt, which facilitates transfer learning by: i) aligning the EEG trials from different subjects in the Euclidean-space, ii) tailoring the techniques of deep learning for the scalograms of EEG signals to capture better frequency localization for low-frequency, longer-duration events, and iii) utilizing pretrained ConvNeXt (a modernized ResNet architecture which supersedes state-of-the-art (SOTA) image classification models) as the backbone network via adaptive finetuning. On publicly available datasets (Physionet Sleep Cassette and BNCI2014001) we benchmark our method against SOTA via cross-subject validation and demonstrate improved accuracy in cognitive activity classification along with better generalizability across cohorts.

睡眠是一种基本的生理过程，对于维持健康的身心至关重要。临床睡眠监测的黄金标准是多核桃摄影（PSG），基于哪个睡眠可以分为五个阶段，包括尾脉冲睡眠（REM睡眠）/非REM睡眠1（N1）/非REM睡眠2 （n2）/非REM睡眠3（n3）。然而，PSG昂贵，繁重，不适合日常使用。对于长期睡眠监测，无处不在的感测可以是解决方案。最近，心脏和运动感测在分类三阶段睡眠方面变得流行，因为两种方式都可以从研究级或消费者级设备中获得（例如，Apple Watch）。但是，为最大准确性融合数据的最佳仍然是一个打开的问题。在这项工作中，我们综合地研究了深度学习（DL）的高级融合技术，包括三种融合策略，三个融合方法以及三级睡眠分类，基于两个公共数据集。实验结果表明，通过融合心脏/运动传感方式可以可靠地分类三阶段睡眠，这可能成为在睡眠中进行大规模睡眠阶段评估研究或长期自动跟踪的实用工具。为了加快普遍存在/可穿戴计算社区的睡眠研究的进展，我们制作了该项目开源，可以在：https://github.com/bzhai/ubi-sleepnet找到代码。

EEG信号是复杂且低频信号。因此，它们很容易受到外部因素的影响。脑电图伪像的去除对于神经科学至关重要，因为伪影对脑电图分析的结果有重大影响。在这些文物中，去除眼伪影是最具挑战性的。在这项研究中，通过开发基于双向长期记忆（BILSTM）的深度学习（DL）模型来提出一种新型的眼部伪像去除方法。我们创建了一个基准测试数据集，通过组合Eegdenoisenet和DEAP数据集来训练和测试提出的DL模型。我们还通过以各种SNR级别的EOG污染地面真相清洁的脑电图来增强数据。然后，使用小波同步转换（WSST）获得的高定位时频（TF）系数（WSST）获得的高定位时频（TF）系数，将Bilstm网络馈送到从增强信号中提取的特征。我们还将基于WSST的DL模型结果与传统TF分析（TFA）方法进行比较，即短期傅立叶变换（STFT）和连续小波转换（CWT）以及增强原始信号。最佳的平均MSE值为0.3066是通过首次基于BilstM的WSST-NET模型获得的。我们的结果表明，与传统的TF和原始信号方法相比，WSST-NET模型显着改善了伪影的性能。此外，提出的EOG去除方法表明，它的表现优于文献中许多基于常规和DL的眼神伪像去除方法。

State-of-the-art performance in electroencephalography (EEG) decoding tasks is currently often achieved with either Deep-Learning or Riemannian-Geometry-based decoders. Recently, there is growing interest in Deep Riemannian Networks (DRNs) possibly combining the advantages of both previous classes of methods. However, there are still a range of topics where additional insight is needed to pave the way for a more widespread application of DRNs in EEG. These include architecture design questions such as network size and end-to-end ability as well as model training questions. How these factors affect model performance has not been explored. Additionally, it is not clear how the data within these networks is transformed, and whether this would correlate with traditional EEG decoding. Our study aims to lay the groundwork in the area of these topics through the analysis of DRNs for EEG with a wide range of hyperparameters. Networks were tested on two public EEG datasets and compared with state-of-the-art ConvNets. Here we propose end-to-end EEG SPDNet (EE(G)-SPDNet), and we show that this wide, end-to-end DRN can outperform the ConvNets, and in doing so use physiologically plausible frequency regions. We also show that the end-to-end approach learns more complex filters than traditional band-pass filters targeting the classical alpha, beta, and gamma frequency bands of the EEG, and that performance can benefit from channel specific filtering approaches. Additionally, architectural analysis revealed areas for further improvement due to the possible loss of Riemannian specific information throughout the network. Our study thus shows how to design and train DRNs to infer task-related information from the raw EEG without the need of handcrafted filterbanks and highlights the potential of end-to-end DRNs such as EE(G)-SPDNet for high-performance EEG decoding.

眼目光信息的收集为人类认知，健康和行为的许多关键方面提供了一个窗口。此外，许多神经科学研究补充了从眼睛跟踪中获得的行为信息，以及脑电图（EEG）提供的高时间分辨率和神经生理学标记。必不可少的眼睛跟踪软件处理步骤之一是将连续数据流的分割为与扫视，固定和眨眼等眼睛跟踪应用程序相关的事件。在这里，我们介绍了Detrtime，这是一个新颖的时间序列分割框架，该框架创建了不需要额外记录的眼睛跟踪模式并仅依靠脑电图数据的眼部事件检测器。我们的端到端基于深度学习的框架将计算机视觉的最新进展带到了脑电图数据的《时代》系列分割的最前沿。 Detr Time在各种眼睛追踪实验范式上实现眼部事件检测中的最新性能。除此之外，我们还提供了证据表明我们的模型在脑电图阶段分割的任务中很好地概括了。