与经典信号处理和基于机器学习的框架相比,基于深度学习的方法基于深度学习的方法显着提高了分类准确性。但大多数是由于脑电图数据中存在的受试者间可变性而无法概括对象无关的任务的主题依赖性研究。在这项工作中,提出了一种新的深度学习框架,其能够进行独立的情感识别,由两部分组成。首先,提出了具有通道关注自动泊车的无监督的长短期存储器(LSTM),用于获取主体不变的潜航向量子空间,即每个人的EEG数据中存在的内部变量。其次,提出了一种具有注意力框架的卷积神经网络(CNN),用于对从提出的LSTM获得的编码的较低的潜在空间表示对具有通道 - 注意自身形拓的编码的低潜空间表示的任务。通过注意机制,所提出的方法可以突出EEG信号的显着时间段,这有助于所考虑的情绪,由结果验证。已经使用公共数据集进行了验证的方法,用于EEG信号,例如Deap DataSet,SEED数据集和CHB-MIT数据集。所提出的端到端深度学习框架消除了不同手工工程特征的要求,并提供了一个单一的全面任务不可知性EEG分析工具,能够对主题独立数据进行各种EEG分析。
translated by 谷歌翻译
人们对人类情感状态的稀疏代表性格式的需求日益增长,这些格式可以在有限的计算记忆资源的情况下使用。我们探讨了在潜在矢量空间中代表神经数据对情绪刺激的响应是否可以用于预测情绪状态,并生成参与者和/或情绪特定于情绪的合成EEG数据。我们提出了一个有条件的基于变异自动编码器的框架EEG2VEC,以从脑电图数据中学习生成歧视性表示。关于情感脑电图记录数据集的实验结果表明,我们的模型适用于无监督的脑电图建模,基于潜在表示的三个不同情绪类别(正,中性,负)的分类,可实现68.49%的稳健性能,并产生的合成eeg序列共同存在于真实的脑电图数据输入到特别重建低频信号组件。我们的工作推进了情感脑电图表示可以在例如生成人工(标签)训练数据或减轻手动功能提取的领域,并为记忆约束的边缘计算应用程序提供效率。
translated by 谷歌翻译
Seizure type identification is essential for the treatment and management of epileptic patients. However, it is a difficult process known to be time consuming and labor intensive. Automated diagnosis systems, with the advancement of machine learning algorithms, have the potential to accelerate the classification process, alert patients, and support physicians in making quick and accurate decisions. In this paper, we present a novel multi-path seizure-type classification deep learning network (MP-SeizNet), consisting of a convolutional neural network (CNN) and a bidirectional long short-term memory neural network (Bi-LSTM) with an attention mechanism. The objective of this study was to classify specific types of seizures, including complex partial, simple partial, absence, tonic, and tonic-clonic seizures, using only electroencephalogram (EEG) data. The EEG data is fed to our proposed model in two different representations. The CNN was fed with wavelet-based features extracted from the EEG signals, while the Bi-LSTM was fed with raw EEG signals to let our MP-SeizNet jointly learns from different representations of seizure data for more accurate information learning. The proposed MP-SeizNet was evaluated using the largest available EEG epilepsy database, the Temple University Hospital EEG Seizure Corpus, TUSZ v1.5.2. We evaluated our proposed model across different patient data using three-fold cross-validation and across seizure data using five-fold cross-validation, achieving F1 scores of 87.6% and 98.1%, respectively.
translated by 谷歌翻译
通过脑电图信号的情绪分类取得了许多进步。但是,诸如缺乏数据和学习重要特征和模式之类的问题始终是具有在计算和预测准确性方面改进的领域。这项工作分析了基线机器学习分类器在DEAP数据集上的性能以及一种表格学习方法,该方法提供了最新的可比结果,从而利用了性能提升,这是由于其深度学习架构而无需部署重型神经网络。
translated by 谷歌翻译
A systematic review on machine-learning strategies for improving generalizability (cross-subjects and cross-sessions) electroencephalography (EEG) based in emotion classification was realized. In this context, the non-stationarity of EEG signals is a critical issue and can lead to the Dataset Shift problem. Several architectures and methods have been proposed to address this issue, mainly based on transfer learning methods. 418 papers were retrieved from the Scopus, IEEE Xplore and PubMed databases through a search query focusing on modern machine learning techniques for generalization in EEG-based emotion assessment. Among these papers, 75 were found eligible based on their relevance to the problem. Studies lacking a specific cross-subject and cross-session validation strategy and making use of other biosignals as support were excluded. On the basis of the selected papers' analysis, a taxonomy of the studies employing Machine Learning (ML) methods was proposed, together with a brief discussion on the different ML approaches involved. The studies with the best results in terms of average classification accuracy were identified, supporting that transfer learning methods seem to perform better than other approaches. A discussion is proposed on the impact of (i) the emotion theoretical models and (ii) psychological screening of the experimental sample on the classifier performances.
translated by 谷歌翻译
认识到人类的感情在日常沟通中发挥着关键作用。神经科学已经证明,不同的情绪状态存在于不同脑区,脑电图频带和颞戳中不同程度的激活。在本文中,我们提出了一种新颖的结构来探索情感认可的信息脑电图。所提出的模块,由PST-Integn表示,由位置,光谱和颞件注意力模块组成,用于探索更多辨别性EEG特征。具体地,位置注意模块是捕获在空间尺寸中的不同情绪刺激的激活区域。光谱和时间注意力模块分别分配不同频带和时间片的权重。我们的方法是自适应的,也可以符合其作为插入式模块的3D卷积神经网络(3D-CNN)。我们在两个现实世界数据集进行实验。 3D-CNN结合我们的模块实现了有希望的结果,并证明了PST-关注能够从脑电图中捕获稳定的情感识别模式。
translated by 谷歌翻译
基于电动机图像(MI)的脑电脑界面(BCIS)允许通过解码神经生理现象来控制几种应用,这些现象通常通过使用非侵入性技术被脑电图(EEG)记录。尽管在基于MI的BCI的进展方面很大,但脑电图有特定于受试者和各种变化随时间。这些问题指出了提高分类绩效的重大挑战,特别是在独立的方式。为了克服这些挑战,我们提出了Min2Net,这是一个新的端到端多任务学习来解决这项任务。我们将深度度量学习集成到多任务AutoEncoder中,以从脑电图中学习紧凑且识别的潜在表示,并同时执行分类。这种方法降低了预处理的复杂性,导致EEG分类的显着性能改善。实验结果以本语独立的方式表明,MIN2Net优于最先进的技术,在SMR-BCI和OpenBMI数据集中分别实现了6.72%的F1分数提高,以及2.23%。我们证明MIN2NET在潜在代表中提高了歧视信息。本研究表明使用此模型的可能性和实用性为新用户开发基于MI的BCI应用,而无需校准。
translated by 谷歌翻译
工作记忆(WM)表示在脑海中存储的信息,是人类认知领域的一个基本研究主题。可以监测大脑的电活动的脑电图(EEG)已被广泛用于测量WM的水平。但是,关键的挑战之一是个体差异可能会导致无效的结果,尤其是当既定模型符合陌生主题时。在这项工作中,我们提出了一个具有空间注意力(CS-DASA)的跨主题深层适应模型,以概括跨科目的工作负载分类。首先,我们将EEG时间序列转换为包含空间,光谱和时间信息的多帧EEG图像。首先,CS-DASA中的主题共享模块从源和目标主题中接收多帧的EEG图像数据,并学习了共同的特征表示。然后,在特定于主题的模块中,实现了最大平均差异,以测量重现的内核希尔伯特空间中的域分布差异,这可以为域适应增加有效的罚款损失。此外,采用主题对象的空间注意机制专注于目标图像数据的判别空间特征。在包含13个受试者的公共WM EEG数据集上进行的实验表明,所提出的模型能够达到比现有最新方法更好的性能。
translated by 谷歌翻译
脑电图(EEG)是情绪识别的流行和有效工具。但是,研究人员仍然晦涩难懂,人脑中脑电图中脑电图的传播机制及其与情绪的内在相关性仍然晦涩难懂。这项工作提出了四个变体变压器框架〜(空间注意力,暂时关注,顺序的时空注意力和同时的空间临时注意),以探索情感与空间 - 周期性的EEG特征之间的关系。具体而言,空间注意力和时间关注是分别学习拓扑结构信息和时间变化的脑电图特征。顺序的时空注意力在一秒钟的段中引起空间注意力,并在一个样本中依次在一个样本中注意,以探索情绪刺激对同一时间段中不同EEG电极EEG电极的EEG信号的影响程度。同时进行空间和时间关注的同时时空注意力同时进行,用于模拟不同时间段中不同空间特征之间的关系。实验结果表明,同时的时空注意力会导致设计选择中的最佳情感识别精度,这表明建模EEG信号的空间和时间特征的相关性对于情绪识别是重要的。
translated by 谷歌翻译
在神经科学领域,脑活动分析总是被认为是一个重要领域。精神分裂症(SZ)是一种严重影响世界各地人民的思想,行为和情感的大脑障碍。在Sz检测中被证明是一种有效的生物标志物的脑电图(EEG)。由于其非线性结构,EEG是非线性时间序列信号,并利用其进行调查,这是对其的影响。本文旨在利用深层学习方法提高基于EEG基于SZ检测的性能。已经提出了一种新的混合深度学习模型(精神分裂症混合神经网络),已经提出了卷积神经网络(CNN)和长短期存储器(LSTM)的组合。 CNN网络用于本地特征提取,LSTM已用于分类。所提出的模型仅与CNN,仅限LSTM和基于机器学习的模型进行了比较。已经在两个不同的数据集上进行了评估所有模型,其中数据集1由19个科目和数据集2组成,由16个科目组成。使用不同频带上的各种参数设置并在头皮上使用不同的电极组来进行几个实验。基于所有实验,显然提出的混合模型(SZHNN)与其他现有型号相比,拟议的混合模型(SZHNN)提供了99.9%的最高分类精度。该建议的模型克服了不同频带的影响,甚至没有5个电极显示出91%的更好的精度。该拟议的模型也在智能医疗保健和远程监控应用程序的医疗器互联网上进行评估。
translated by 谷歌翻译
脑电图(EEG)解码旨在识别基于非侵入性测量的脑活动的神经处理的感知,语义和认知含量。当应用于在静态,受控的实验室环境中获取的数据时,传统的EEG解码方法取得了适度的成功。然而,开放世界的环境是一个更现实的环境,在影响EEG录音的情况下,可以意外地出现,显着削弱了现有方法的鲁棒性。近年来,由于其在特征提取的卓越容量,深入学习(DL)被出现为潜在的解决方案。它克服了使用浅架构提取的“手工制作”功能或功能的限制,但通常需要大量的昂贵,专业标记的数据 - 并不总是可获得的。结合具有域特定知识的DL可能允许开发即使具有小样本数据,也可以开发用于解码大脑活动的鲁棒方法。虽然已经提出了各种DL方法来解决EEG解码中的一些挑战,但目前缺乏系统的教程概述,特别是对于开放世界应用程序。因此,本文为开放世界EEG解码提供了对DL方法的全面调查,并确定了有前途的研究方向,以激发现实世界应用中的脑电图解码的未来研究。
translated by 谷歌翻译
情感估计是一个积极的研究领域,对人与计算机之间的互动产生了重要影响。在评估情绪的不同方式中,代表电脑活动的脑电图(EEG)在过去十年中呈现了激励结果。 EEG的情感估计可以有助于某些疾病的诊断或康复。在本文中,我们提出了一种考虑到专家定义的生理学知识,与最初致力于计算机视觉的新型深度学习(DL)模型。具有模型显着性分析的联合学习得到了增强。为了呈现全局方法,该模型已经在四个公共可用数据集中进行了评估,并实现了与TheS-of TheakeS的方法和优于两个所提出的数据集的结果,其具有较低标准偏差的较高的稳定性。为获得再现性,本文提出的代码和模型可在Github.com/vdelv/emotion-eeg中获得。
translated by 谷歌翻译
基于EEG的基于EEG的情感识别(EEG-ER)与消费者级EEG器件涉及使用减少数量的通道进行语调。这些设备通常仅提供四个或五个通道,与通常在最新的最先进的研究中通常使用的大量信道(32或更多)不同。在这项工作中,我们建议使用离散小波变换(DWT)来提取时间频域特征,并且我们使用几秒钟的时间窗口来执行EEG-ER分类。该技术可以实时使用,而不是在HOC上完成完整会话数据。我们还应用了在现有研究中开发的基线拆卸预处理,以我们提出的DWT熵和能量特征,这显着提高了分类精度。我们考虑两个不同的分类器架构,一个3D卷积神经网络(3D CNN)和支持向量机(SVM)。我们在主题和主题依赖设置上评估两个模型,以分类个人情绪状态的价值和唤醒维度。我们在Deap DataSet提供的完整32通道数据上测试它们,以及相同数据集的减少的5通道提取物。 SVM模型在所有呈现的场景上表现最佳,在唤起完整的32通道主题案例的唤醒时,在价值上实现95.32%的精度,95.68%,以前的实时EEG-EEG-EEG-EEG-EEG对象依赖性基准。在独立的案例上,还获得了80.70%的准确度,唤醒的唤醒器中的81.41%。将输入数据减少到5个通道仅在所有场景中平均降低3.54%,这使得该型号适合使用更可访问的低端EEG器件。
translated by 谷歌翻译
我们提出了Parse,这是一种新颖的半监督结构,用于学习强大的脑电图表现以进行情感识别。为了减少大量未标记数据与标记数据有限的潜在分布不匹配,Parse使用成对表示对准。首先,我们的模型执行数据增强,然后标签猜测大量原始和增强的未标记数据。然后将其锐化的标签和标记数据的凸组合锐化。最后,进行表示对准和情感分类。为了严格测试我们的模型,我们将解析与我们实施并适应脑电图学习的几种最先进的半监督方法进行了比较。我们对四个基于公共EEG的情绪识别数据集,种子,种子IV,种子V和Amigos(价和唤醒)进行这些实验。该实验表明,我们提出的框架在种子,种子-IV和Amigos(Valence)中的标记样品有限的情况下,取得了总体最佳效果,同时接近种子V和Amigos中的总体最佳结果(达到第二好) (唤醒)。分析表明,我们的成对表示对齐方式通过减少未标记数据和标记数据之间的分布比对来大大提高性能,尤其是当每类仅1个样本被标记时。
translated by 谷歌翻译
情感识别技术使计算机能够将人类情感状态分类为离散类别。但是,即使在短时间内,情绪也可能波动,而不是保持稳定状态。由于其3-D拓扑结构,也很难全面使用EEG空间分布。为了解决上述问题,我们在本研究中提出了一个本地时间空间模式学习图表网络(LTS-GAT)。在LTS-GAT中,使用划分和串扰方案来检查基于图形注意机制的脑电图模式的时间和空间维度的局部信息。添加了动力域歧视器,以提高针对脑电图统计数据的个体间变化的鲁棒性,以学习不同参与者的鲁棒性脑电图特征表示。我们在两个公共数据集上评估了LTS-GAT,用于在个人依赖和独立范式下进行情感计算研究。与其他现有主流方法相比,LTS-GAT模型的有效性被证明。此外,使用可视化方法来说明不同大脑区域和情绪识别的关系。同时,还对不同时间段的权重进行了可视化,以研究情绪稀疏问题。
translated by 谷歌翻译
近年来,基于脑电图的情绪识别的进步已受到人机相互作用和认知科学领域的广泛关注。但是,如何用有限的标签识别情绪已成为一种新的研究和应用瓶颈。为了解决这个问题,本文提出了一个基于人类中刺激一致的脑电图信号的自我监督组减数分裂对比学习框架(SGMC)。在SGMC中,开发了一种新型遗传学启发的数据增强方法,称为减数分裂。它利用了组中脑电图样品之间的刺激对齐,通过配对,交换和分离来生成增强组。该模型采用组投影仪,从相同的情感视频刺激触发的脑电图样本中提取组级特征表示。然后,使用对比度学习来最大程度地提高具有相同刺激的增强群体的组级表示的相似性。 SGMC在公开可用的DEAP数据集上实现了最先进的情感识别结果,其价值为94.72%和95.68%的价和唤醒维度,并且在公共种子数据集上的竞争性能也具有94.04的竞争性能。 %。值得注意的是,即使使用有限的标签,SGMC也会显示出明显的性能。此外,功能可视化的结果表明,该模型可能已经学习了与情感相关的特征表示,以改善情绪识别。在超级参数分析中进一步评估了组大小的影响。最后,进行了对照实验和消融研究以检查建筑的合理性。该代码是在线公开提供的。
translated by 谷歌翻译
目的:脑电图(EEG)和肌电图(EMG)是两个非侵入性的生物信号,它们在人类机器界面(HMI)技术(EEG-HMI和EMG-HMI范式)中广泛用于康复,用于康复的物理残疾人。将脑电图和EMG信号成功解码为各自的控制命令是康复过程中的关键步骤。最近,提出了几个基于卷积的神经网络(CNN)架构,它们直接将原始的时间序列信号映射到决策空间中,并同时执行有意义的特征提取和分类的过程。但是,这些网络是根据学习给定生物信号的预期特征量身定制的,并且仅限于单个范式。在这项工作中,我们解决了一个问题,即我们可以构建一个单个体系结构,该架构能够从不同的HMI范式中学习不同的功能并仍然成功地对其进行分类。方法:在这项工作中,我们引入了一个称为Controanet的单个混合模型,该模型基于CNN和Transformer架构,该模型对EEG-HMI和EMG-HMI范式同样有用。 Contranet使用CNN块在模型中引入电感偏置并学习局部依赖性,而变压器块则使用自我注意机制来学习信号中的长距离依赖性,这对于EEG和EMG信号的分类至关重要。主要结果:我们在三个属于EEG-HMI和EMG-HMI范式的公开数据集上评估并比较了Contronet与最先进的方法。 Contranet在所有不同类别任务(2级,3类,4级和10级解码任务)中的表现优于其对应。意义:结果表明,与当前的最新算法状态相比,从不同的HMI范式中学习不同的特征并概述了矛盾。
translated by 谷歌翻译
由于癫痫发生是由于大脑的异常活性引起的,因此癫痫发作会影响您的大脑处理的任何过程。癫痫发作的一些体征和症状包括混乱,异常凝视以及快速,突然和无法控制的手动运动。癫痫发作检测方法涉及神经检查,血液检查,神经心理学检查和神经影像学方法。其中,神经影像学的方式受到了专业医生的极大关注。一种促进癫痫发作准确,快速诊断的方法是基于深度学习(DL)和神经成像方式采用计算机辅助诊断系统(CADS)。本文研究了利用神经影像学方式利用用于癫痫发作检测和预测的DL方法的全面概述。首先,讨论了用于使用神经影像模式的癫痫发作检测和预测的基于DL的CAD。此外,还包括了用于癫痫发作检测和预测的各种数据集的描述,预处理算法和DL模型。然后,已经介绍了有关康复工具的研究,其中包含脑部计算机接口(BCI),可植入,云计算,物联网(IoT),在现场可编程栅极阵列(FPGA)上的DL技术实现,等等。讨论部分是关于癫痫发作检测和预测研究之间的比较。使用神经影像模式和DL模型的癫痫发作检测和预测中最重要的挑战。此外,已经提出了数据集,DL,康复和硬件模型领域的未来工作建议。最后一部分致力于结论,并在该领域结合了最重要的发现。
translated by 谷歌翻译
神经科学领域的研究揭示了情绪模式和脑功能区域之间的关系,展示了不同脑区之间的动态关系是影响通过脑电图(EEG)确定的情绪识别的必要因素。此外,在脑电情绪识别中,我们可以观察到,基于相同的脑电图数据,我们可以观察到粗粒情绪之间的粗粒情绪之间的边界;这表明大型粗糙和小细粒度情绪变化的同意。因此,来自粗糙到细粒度类别的渐进分类过程可能有助于EEG情绪识别。因此,在本研究中,我们提出了一种逐步的图表卷积网络(PGCN),用于捕获EEG情绪信号中的这种固有特性,并逐步学习鉴别性EEG特征。为了适应不同的EEG模式,我们构建了一个双图模块,以表征不同EEG通道之间的内在关系,其中包含神经科学研究的动态功能连接和脑区的静态空间接近信息。此外,通过观察粗糙和细粒度的情绪之间的关系,我们采用双头模块,使PGCN能够逐步了解更多辨别性EEG特征,从粗粒(简单)到细粒度的类别(困难),参考情绪的分层特征。为了验证我们模型的性能,在两个公共数据集中进行了广泛的实验:种子-46和多模态生理情绪数据库(MPED)。
translated by 谷歌翻译
衡量心理工作量的主要原因是量化执行任务以预测人类绩效的认知成本。不幸的是,一种评估具有一般适用性的心理工作量的方法。这项研究提出了一种新型的自我监督方法,用于从脑电图数据中使用深度学习和持续的大脑率,即认知激活的指标,而无需人类声明性知识,从而从脑电图数据进行了精神负荷建模。该方法是可培训的卷积复发性神经网络,该神经网络可通过空间保留脑电图数据的光谱地形图训练,以适合大脑速率变量。发现证明了卷积层从脑电图数据中学习有意义的高级表示的能力,因为受试者内模型的测试平均绝对百分比误差平均为11%。尽管确实提高了其准确性,但增加了用于处理高级表示序列的长期期内存储层并不重要。发现指出,认知激活的高级高水平表示存在准稳定的块,因为它们可以通过卷积诱导,并且似乎随着时间的流逝而彼此依赖,从而直观地与大脑反应的非平稳性质相匹配。跨主体模型,从越来越多的参与者的数据诱导,因此包含更多的可变性,获得了与受试者内模型相似的精度。这突出了人们在人们之间诱发的高级表示的潜在普遍性,这表明存在非依赖于受试者的认知激活模式。这项研究通过为学者提供一种用于心理工作负载建模的新型计算方法来促进知识的体系,该方法旨在通常适用,不依赖于支持可复制性和可复制性的临时人工制作的模型。
translated by 谷歌翻译