基于EEG的基于EEG的情感识别(EEG-ER)与消费者级EEG器件涉及使用减少数量的通道进行语调。这些设备通常仅提供四个或五个通道,与通常在最新的最先进的研究中通常使用的大量信道(32或更多)不同。在这项工作中,我们建议使用离散小波变换(DWT)来提取时间频域特征,并且我们使用几秒钟的时间窗口来执行EEG-ER分类。该技术可以实时使用,而不是在HOC上完成完整会话数据。我们还应用了在现有研究中开发的基线拆卸预处理,以我们提出的DWT熵和能量特征,这显着提高了分类精度。我们考虑两个不同的分类器架构,一个3D卷积神经网络(3D CNN)和支持向量机(SVM)。我们在主题和主题依赖设置上评估两个模型,以分类个人情绪状态的价值和唤醒维度。我们在Deap DataSet提供的完整32通道数据上测试它们,以及相同数据集的减少的5通道提取物。 SVM模型在所有呈现的场景上表现最佳,在唤起完整的32通道主题案例的唤醒时,在价值上实现95.32%的精度,95.68%,以前的实时EEG-EEG-EEG-EEG-EEG对象依赖性基准。在独立的案例上,还获得了80.70%的准确度,唤醒的唤醒器中的81.41%。将输入数据减少到5个通道仅在所有场景中平均降低3.54%,这使得该型号适合使用更可访问的低端EEG器件。
translated by 谷歌翻译
通过脑电图信号的情绪分类取得了许多进步。但是,诸如缺乏数据和学习重要特征和模式之类的问题始终是具有在计算和预测准确性方面改进的领域。这项工作分析了基线机器学习分类器在DEAP数据集上的性能以及一种表格学习方法,该方法提供了最新的可比结果,从而利用了性能提升,这是由于其深度学习架构而无需部署重型神经网络。
translated by 谷歌翻译
目的:提出使用深神经网络(DNN)的新型SSVEP分类方法,提高单通道和用户独立的脑电电脑接口(BCIS)的性能,具有小的数据长度。方法:我们建议与DNN结合使用过滤器组(创建EEG信号的子带分量)。在这种情况下,我们创建了三种不同的模型:经常性的神经网络(FBRNN)分析时域,2D卷积神经网络(FBCNN-2D)处理复谱特征和3D卷积神经网络(FBCNN-3D)分析复杂谱图,我们在本研究中介绍了SSVEP分类的可能输入。我们通过开放数据集培训了我们的神经网络,并构思了它们,以便不需要从最终用户校准:因此,测试主题数据与训练和验证分开。结果:带滤波器银行的DNN超越了类似网络的准确性,在没有相当大的边距(高达4.6%)的情况下,它们甚至更高的边距(高达7.1%)超越了常见的SSVEP分类方法(SVM和FBCCA) 。在使用过滤器银行中的三个DNN中,FBRNN获得了最佳结果,然后是FBCNN-3D,最后由FBCNN-2D获得。结论和意义:滤波器银行允许不同类型的深神经网络,以更有效地分析SSVEP的谐波分量。复谱图比复杂频谱特征和幅度谱进行更多信息,允许FBCNN-3D超越另一个CNN。在具有挑战性的分类问题中获得的平均测试精度(87.3%)和F1分数(0.877)表示施工,经济,快速和低延迟BCIS建设的强大潜力。
translated by 谷歌翻译
与经典信号处理和基于机器学习的框架相比,基于深度学习的方法基于深度学习的方法显着提高了分类准确性。但大多数是由于脑电图数据中存在的受试者间可变性而无法概括对象无关的任务的主题依赖性研究。在这项工作中,提出了一种新的深度学习框架,其能够进行独立的情感识别,由两部分组成。首先,提出了具有通道关注自动泊车的无监督的长短期存储器(LSTM),用于获取主体不变的潜航向量子空间,即每个人的EEG数据中存在的内部变量。其次,提出了一种具有注意力框架的卷积神经网络(CNN),用于对从提出的LSTM获得的编码的较低的潜在空间表示对具有通道 - 注意自身形拓的编码的低潜空间表示的任务。通过注意机制,所提出的方法可以突出EEG信号的显着时间段,这有助于所考虑的情绪,由结果验证。已经使用公共数据集进行了验证的方法,用于EEG信号,例如Deap DataSet,SEED数据集和CHB-MIT数据集。所提出的端到端深度学习框架消除了不同手工工程特征的要求,并提供了一个单一的全面任务不可知性EEG分析工具,能够对主题独立数据进行各种EEG分析。
translated by 谷歌翻译
上肢运动分类将输入信号映射到目标活动,是控制康复机器人技术的关键领域之一。分类器接受了康复系统的培训,以理解上肢无法正常工作的患者的欲望。肌电图(EMG)信号和脑电图(EEG)信号广泛用于上肢运动分类。通过分析实时脑电图和EMG信号的分类结果,系统可以理解用户的意图,并预测人们希望执行的事件。因此,它将为用户提供外部帮助,以协助一个人进行活动。但是,由于嘈杂的环境,并非所有用户都处理有效的脑电图和EMG信号。实时数据收集过程中的噪声污染了数据的有效性。此外,并非所有患者由于肌肉损伤和神经肌肉疾病而处理强大的EMG信号。为了解决这些问题,我们想提出一种新颖的决策级多传感器融合技术。简而言之,该系统将将EEG信号与EMG信号集成,从两个来源检索有效的信息以了解和预测用户的需求,从而提供帮助。通过对包含同时记录的脑电图和EMG信号的公开途径数据集进行测试,我们设法结论了新型系统的可行性和有效性。
translated by 谷歌翻译
情感识别技术使计算机能够将人类情感状态分类为离散类别。但是,即使在短时间内,情绪也可能波动,而不是保持稳定状态。由于其3-D拓扑结构,也很难全面使用EEG空间分布。为了解决上述问题,我们在本研究中提出了一个本地时间空间模式学习图表网络(LTS-GAT)。在LTS-GAT中,使用划分和串扰方案来检查基于图形注意机制的脑电图模式的时间和空间维度的局部信息。添加了动力域歧视器,以提高针对脑电图统计数据的个体间变化的鲁棒性,以学习不同参与者的鲁棒性脑电图特征表示。我们在两个公共数据集上评估了LTS-GAT,用于在个人依赖和独立范式下进行情感计算研究。与其他现有主流方法相比,LTS-GAT模型的有效性被证明。此外,使用可视化方法来说明不同大脑区域和情绪识别的关系。同时,还对不同时间段的权重进行了可视化,以研究情绪稀疏问题。
translated by 谷歌翻译
情感估计是一个积极的研究领域,对人与计算机之间的互动产生了重要影响。在评估情绪的不同方式中,代表电脑活动的脑电图(EEG)在过去十年中呈现了激励结果。 EEG的情感估计可以有助于某些疾病的诊断或康复。在本文中,我们提出了一种考虑到专家定义的生理学知识,与最初致力于计算机视觉的新型深度学习(DL)模型。具有模型显着性分析的联合学习得到了增强。为了呈现全局方法,该模型已经在四个公共可用数据集中进行了评估,并实现了与TheS-of TheakeS的方法和优于两个所提出的数据集的结果,其具有较低标准偏差的较高的稳定性。为获得再现性,本文提出的代码和模型可在Github.com/vdelv/emotion-eeg中获得。
translated by 谷歌翻译
我们提出了Parse,这是一种新颖的半监督结构,用于学习强大的脑电图表现以进行情感识别。为了减少大量未标记数据与标记数据有限的潜在分布不匹配,Parse使用成对表示对准。首先,我们的模型执行数据增强,然后标签猜测大量原始和增强的未标记数据。然后将其锐化的标签和标记数据的凸组合锐化。最后,进行表示对准和情感分类。为了严格测试我们的模型,我们将解析与我们实施并适应脑电图学习的几种最先进的半监督方法进行了比较。我们对四个基于公共EEG的情绪识别数据集,种子,种子IV,种子V和Amigos(价和唤醒)进行这些实验。该实验表明,我们提出的框架在种子,种子-IV和Amigos(Valence)中的标记样品有限的情况下,取得了总体最佳效果,同时接近种子V和Amigos中的总体最佳结果(达到第二好) (唤醒)。分析表明,我们的成对表示对齐方式通过减少未标记数据和标记数据之间的分布比对来大大提高性能,尤其是当每类仅1个样本被标记时。
translated by 谷歌翻译
在神经科学领域,脑活动分析总是被认为是一个重要领域。精神分裂症(SZ)是一种严重影响世界各地人民的思想,行为和情感的大脑障碍。在Sz检测中被证明是一种有效的生物标志物的脑电图(EEG)。由于其非线性结构,EEG是非线性时间序列信号,并利用其进行调查,这是对其的影响。本文旨在利用深层学习方法提高基于EEG基于SZ检测的性能。已经提出了一种新的混合深度学习模型(精神分裂症混合神经网络),已经提出了卷积神经网络(CNN)和长短期存储器(LSTM)的组合。 CNN网络用于本地特征提取,LSTM已用于分类。所提出的模型仅与CNN,仅限LSTM和基于机器学习的模型进行了比较。已经在两个不同的数据集上进行了评估所有模型,其中数据集1由19个科目和数据集2组成,由16个科目组成。使用不同频带上的各种参数设置并在头皮上使用不同的电极组来进行几个实验。基于所有实验,显然提出的混合模型(SZHNN)与其他现有型号相比,拟议的混合模型(SZHNN)提供了99.9%的最高分类精度。该建议的模型克服了不同频带的影响,甚至没有5个电极显示出91%的更好的精度。该拟议的模型也在智能医疗保健和远程监控应用程序的医疗器互联网上进行评估。
translated by 谷歌翻译
传统的脑电脑接口(BCI)需要在使用之前为每个用户提供完整的数据收集,训练和校准阶段。近年来,已经开发了许多主题独立的(SI)BCI。与受试者依赖性(SD)方法相比,这些方法中的许多方法产生较弱的性能,有些方法是计算昂贵的。潜在的真实世界应用程序将极大地受益于更准确,紧凑,并计算高效的主题的BCI。在这项工作中,我们提出了一个名为CCSPNET(卷积公共空间模式网络)的新型主题独立的BCI框架,该框架被训练在大型脑电图(EEG)信号数据库中的电动机图像(MI)范例上,由400个试验组成每54名科目执行两班手机MI任务。所提出的框架应用小波核卷积神经网络(WKCNN)和时间卷积神经网络(TCNN),以表示和提取EEG信号的光谱特征。对于空间特征提取来实现公共空间模式(CSP)算法,并且通过密集的神经网络减少了CSP特征的数量。最后,类标签由线性判别分析(LDA)分类器确定。 CCSPNET评估结果表明,可以具有紧凑的BCI,可实现与复杂和计算昂贵的模型相当的SD和SI最先进的性能。
translated by 谷歌翻译
在情感计算领域的基于生理信号的情感识别,已经支付了相当大的关注。对于可靠性和用户友好的采集,电卸电子活动(EDA)在实际应用中具有很大的优势。然而,基于EDA的情感识别与数百个科目仍然缺乏有效的解决方案。在本文中,我们的工作试图融合主题的各个EDA功能和外部诱发的音乐功能。我们提出了端到端的多模式框架,1维剩余时间和通道注意网络(RTCAN-1D)。对于EDA特征,基于新型的基于凸优化的EDA(CVXEDA)方法被应用于将EDA信号分解为PAHSIC和TONC信号,以进行动态和稳定的功能。首先涉及基于EDA的情感识别的渠道时间关注机制,以改善时间和渠道明智的表示。对于音乐功能,我们将音乐信号与开源工具包opensmile处理,以获取外部特征向量。来自EDA信号和来自音乐的外部情绪基准的个体情感特征在分类层中融合。我们对三个多模式数据集(PMEMO,DEAP,AMIGOS)进行了系统的比较,适用于2级薪酬/唤醒情感识别。我们提出的RTCAN-1D优于现有的最先进的模型,这也验证了我们的工作为大规模情感认可提供了可靠和有效的解决方案。我们的代码已在https://github.com/guanghaoyin/rtcan-1发布。
translated by 谷歌翻译
苏黎世认知语言处理语料库(Zuco)提供了来自两种读取范例,正常读取和特定任务读数的眼跟踪和脑电图信号。我们分析了机器学习方法是否能够使用眼睛跟踪和EEG功能对这两个任务进行分类。我们使用聚合的句子级别功能以及细粒度的单词级别来实现模型。我们在主题内和交叉对象评估方案中测试模型。所有模型都在Zuco 1.0和Zuco 2.0数据子集上进行测试,其特征在于不同的记录程序,因此允许不同的概括水平。最后,我们提供了一系列的控制实验,以更详细地分析结果。
translated by 谷歌翻译
在脑电图(EEG)的驾驶员的背景下,设计无校准系统仍然具有挑战性,因为EEG信号在不同的主题和录音会话之间显着变化。已经努力使用EEG信号的深度学习方法来利用精神状态识别。然而,现有工作主要将深入学习模型视为黑匣子分类器,而模型已经学习的是什么以及它们在脑电图数据中受到噪声的影响仍然是曝光的。在本文中,我们开发了一种新颖的卷积神经网络,可以通过突出显示包含分类重要信息的输入样本的本地区域来解释其决定。该网络具有紧凑的结构,利用可分离卷曲来处理空间序列中的EEG信号。结果表明,该模型在11个受试者上实现了78.35%的平均准确性,用于休假交叉对象嗜睡识别,其高于传统的基线方法为53.4%-72.68%和最先进的深层学习方法63.90%-65.78%。可视化结果表明,该模型已经学会了识别EEG信号的生物学可解释的特征,例如,α主轴,作为不同受试者的嗜睡的强指标。此外,我们还探讨了一些错误分类的样本背后的原因,具有可视化技术,并讨论了提高识别准确性的潜在方法。我们的作品说明了使用可解释的深度学习模型的有希望的方向,以从复杂的EEG信号发现与不同心理状态相关的有意义的模式。
translated by 谷歌翻译
认识到人类的感情在日常沟通中发挥着关键作用。神经科学已经证明,不同的情绪状态存在于不同脑区,脑电图频带和颞戳中不同程度的激活。在本文中,我们提出了一种新颖的结构来探索情感认可的信息脑电图。所提出的模块,由PST-Integn表示,由位置,光谱和颞件注意力模块组成,用于探索更多辨别性EEG特征。具体地,位置注意模块是捕获在空间尺寸中的不同情绪刺激的激活区域。光谱和时间注意力模块分别分配不同频带和时间片的权重。我们的方法是自适应的,也可以符合其作为插入式模块的3D卷积神经网络(3D-CNN)。我们在两个现实世界数据集进行实验。 3D-CNN结合我们的模块实现了有希望的结果,并证明了PST-关注能够从脑电图中捕获稳定的情感识别模式。
translated by 谷歌翻译
尽管能够隔离视觉数据,但人类花了一些时间来检查一块,更不用说数千或数百万个样本了。深度学习模型在现代计算的帮助下有效地处理了相当大的信息。但是,他们可疑的决策过程引起了相当大的关注。最近的研究已经确定了一种新的方法,可以从EEG信号中提取图像特征,并将其与标准图像特征相结合。这些方法使深度学习模型更容易解释,并且还可以更快地将模型收敛。受最近研究的启发,我们开发了一种编码脑电图信号作为图像的有效方法,以促进使用深度学习模型对大脑信号的更微妙的理解。在此类编码方法中,我们使用两个变体对对应于39个图像类的编码EEG信号对六个受试者的分层数据集的基准精度为70%,这远高于现有工作。与纯净的深度学习方法的准确性稍好相比,我们的图像分类方法具有共同的EEG功能的精度为82%。然而,它证明了该理论的生存能力。
translated by 谷歌翻译
A systematic review on machine-learning strategies for improving generalizability (cross-subjects and cross-sessions) electroencephalography (EEG) based in emotion classification was realized. In this context, the non-stationarity of EEG signals is a critical issue and can lead to the Dataset Shift problem. Several architectures and methods have been proposed to address this issue, mainly based on transfer learning methods. 418 papers were retrieved from the Scopus, IEEE Xplore and PubMed databases through a search query focusing on modern machine learning techniques for generalization in EEG-based emotion assessment. Among these papers, 75 were found eligible based on their relevance to the problem. Studies lacking a specific cross-subject and cross-session validation strategy and making use of other biosignals as support were excluded. On the basis of the selected papers' analysis, a taxonomy of the studies employing Machine Learning (ML) methods was proposed, together with a brief discussion on the different ML approaches involved. The studies with the best results in terms of average classification accuracy were identified, supporting that transfer learning methods seem to perform better than other approaches. A discussion is proposed on the impact of (i) the emotion theoretical models and (ii) psychological screening of the experimental sample on the classifier performances.
translated by 谷歌翻译
基于电动机图像(MI)的脑电脑界面(BCIS)允许通过解码神经生理现象来控制几种应用,这些现象通常通过使用非侵入性技术被脑电图(EEG)记录。尽管在基于MI的BCI的进展方面很大,但脑电图有特定于受试者和各种变化随时间。这些问题指出了提高分类绩效的重大挑战,特别是在独立的方式。为了克服这些挑战,我们提出了Min2Net,这是一个新的端到端多任务学习来解决这项任务。我们将深度度量学习集成到多任务AutoEncoder中,以从脑电图中学习紧凑且识别的潜在表示,并同时执行分类。这种方法降低了预处理的复杂性,导致EEG分类的显着性能改善。实验结果以本语独立的方式表明,MIN2Net优于最先进的技术,在SMR-BCI和OpenBMI数据集中分别实现了6.72%的F1分数提高,以及2.23%。我们证明MIN2NET在潜在代表中提高了歧视信息。本研究表明使用此模型的可能性和实用性为新用户开发基于MI的BCI应用,而无需校准。
translated by 谷歌翻译
State-of-the-art performance in electroencephalography (EEG) decoding tasks is currently often achieved with either Deep-Learning or Riemannian-Geometry-based decoders. Recently, there is growing interest in Deep Riemannian Networks (DRNs) possibly combining the advantages of both previous classes of methods. However, there are still a range of topics where additional insight is needed to pave the way for a more widespread application of DRNs in EEG. These include architecture design questions such as network size and end-to-end ability as well as model training questions. How these factors affect model performance has not been explored. Additionally, it is not clear how the data within these networks is transformed, and whether this would correlate with traditional EEG decoding. Our study aims to lay the groundwork in the area of these topics through the analysis of DRNs for EEG with a wide range of hyperparameters. Networks were tested on two public EEG datasets and compared with state-of-the-art ConvNets. Here we propose end-to-end EEG SPDNet (EE(G)-SPDNet), and we show that this wide, end-to-end DRN can outperform the ConvNets, and in doing so use physiologically plausible frequency regions. We also show that the end-to-end approach learns more complex filters than traditional band-pass filters targeting the classical alpha, beta, and gamma frequency bands of the EEG, and that performance can benefit from channel specific filtering approaches. Additionally, architectural analysis revealed areas for further improvement due to the possible loss of Riemannian specific information throughout the network. Our study thus shows how to design and train DRNs to infer task-related information from the raw EEG without the need of handcrafted filterbanks and highlights the potential of end-to-end DRNs such as EE(G)-SPDNet for high-performance EEG decoding.
translated by 谷歌翻译
交通事故是年轻人死亡的主要原因,这一问题今天占了大量受害者。已经提出了几种技术来预防事故,是脑部计算机界面(BCIS)最有前途的技术之一。在这种情况下,BCI被用来检测情绪状态,集中问题或压力很大的情况,这可能在道路上起着基本作用,因为它们与驾驶员的决定直接相关。但是,在驾驶场景中,没有广泛的文献应用BCI来检测受试者的情绪。在这种情况下,需要解决一些挑战,例如(i)执行驾驶任务对情绪检测的影响以及(ii)在驾驶场景中哪些情绪更可检测到的情绪。为了改善这些挑战,这项工作提出了一个框架,该框架着重于使用机器学习和深度学习算法的脑电图检测情绪。此外,已经设计了两个场景的用例。第一种情况是聆听声音作为要执行的主要任务,而在第二种情况下,聆听声音成为次要任务,这是使用驱动模拟器的主要任务。这样,它旨在证明BCI在这种驾驶方案中是否有用。结果改善了文献中现有的结果,可在发现两种情绪(非刺激性和愤怒)中达到99%的准确性,三种情绪(非刺激性,愤怒和中立)的93%,四种情绪(非刺激)(非 - 刺激,愤怒,中立和喜悦)。
translated by 谷歌翻译
基于脑电图(EEG)的脑生物识别技术已被越来越多地用于个人鉴定。传统的机器学习技术以及现代的深度学习方法已采用有希望的结果。在本文中,我们提出了EEG-BBNET,这是一个混合网络,该网络将卷积神经网络(CNN)与图形卷积神经网络(GCNN)集成在一起。 CNN在自动特征提取方面的好处以及GCNN通过图形表示在EEG电极之间学习连通性的能力被共同利用。我们检查了各种连通性度量,即欧几里得距离,皮尔逊的相关系数,相锁定值,相位滞后指数和RHO索引。在由各种脑部计算机界面(BCI)任务组成的基准数据集上评估了所提出的方法的性能,并将其与其他最先进的方法进行了比较。我们发现,使用会议内数据的平均正确识别率最高99.26%,我们的模型在事件相关电位(ERP)任务中的所有基线都优于所有基准。具有Pearson相关性和RHO指数的EEG-BBNET提供了最佳的分类结果。此外,我们的模型使用会议间和任务数据显示出更大的适应性。我们还研究了我们提出的模型的实用性,该模型的电极数量较少。额叶区域上的电极放置似乎最合适,性能损失最少。
translated by 谷歌翻译