交通事故是年轻人死亡的主要原因,这一问题今天占了大量受害者。已经提出了几种技术来预防事故,是脑部计算机界面(BCIS)最有前途的技术之一。在这种情况下,BCI被用来检测情绪状态,集中问题或压力很大的情况,这可能在道路上起着基本作用,因为它们与驾驶员的决定直接相关。但是,在驾驶场景中,没有广泛的文献应用BCI来检测受试者的情绪。在这种情况下,需要解决一些挑战,例如(i)执行驾驶任务对情绪检测的影响以及(ii)在驾驶场景中哪些情绪更可检测到的情绪。为了改善这些挑战,这项工作提出了一个框架,该框架着重于使用机器学习和深度学习算法的脑电图检测情绪。此外,已经设计了两个场景的用例。第一种情况是聆听声音作为要执行的主要任务,而在第二种情况下,聆听声音成为次要任务,这是使用驱动模拟器的主要任务。这样,它旨在证明BCI在这种驾驶方案中是否有用。结果改善了文献中现有的结果,可在发现两种情绪(非刺激性和愤怒)中达到99%的准确性,三种情绪(非刺激性,愤怒和中立)的93%,四种情绪(非刺激)(非 - 刺激,愤怒,中立和喜悦)。
translated by 谷歌翻译
嗜睡是驾驶员和交通事故主要原因之一的主要关注点。认知神经科学和计算机科学的进步已通过使用脑部计算机界面(BCIS)和机器学习(ML)来检测驾驶员的嗜睡。然而,几个挑战仍然开放,应该面对。首先,文献中缺少使用一组ML算法的多种ML算法对嗜睡检测性能的全面评估。最后,需要研究适合受试者组的可扩展ML模型的检测性能,并将其与文献中提出的单个模型进行比较。为了改善这些局限性,这项工作提出了一个智能框架,该框架采用了BCIS和基于脑电图(EEG)的功能,以检测驾驶场景中的嗜睡。 SEED-VIG数据集用于喂食不同的ML回归器和三类分类器,然后评估,分析和比较单个受试者和组的表现最佳模型。有关单个模型的更多详细信息,随机森林(RF)获得了78%的F1分数,改善了通过文献中使用的模型(例如支持向量机(SVM))获得的58%。关于可扩展模型,RF达到了79%的F1得分,证明了这些方法的有效性。所学的经验教训可以总结如下:i)不仅SVM,而且文献中未充分探索的其他模型与嗜睡检测有关,ii)ii)适用于受试者组的可伸缩方法也有效地检测嗜睡,即使新受试者也是如此评估模型培训中未包括的。
translated by 谷歌翻译
通过脑电图信号的情绪分类取得了许多进步。但是,诸如缺乏数据和学习重要特征和模式之类的问题始终是具有在计算和预测准确性方面改进的领域。这项工作分析了基线机器学习分类器在DEAP数据集上的性能以及一种表格学习方法,该方法提供了最新的可比结果,从而利用了性能提升,这是由于其深度学习架构而无需部署重型神经网络。
translated by 谷歌翻译
本文介绍了机器学习推动的各种脑电图应用程序和当前的脑电图市场生态系统。使用脑电图越来越多的开放医疗和健康数据集鼓励数据驱动的研究,并有望通过知识发现和机器学习数据科学算法开发来改善患者护理的神经病学。这项工作导致各种脑电图发展,目前构成了新的脑电图市场。本文试图对脑电图市场进行全面的调查,并涵盖脑电图的六个重要应用,包括诊断/筛查,药物开发,神经营销,日常健康,元元和年龄/残疾援助。这项调查的重点是研究领域与商业市场之间的比较和对比。我们的调查指出了脑电图的当前局限性,并指示了上面列出的每个脑电图应用程序的研究和商机的未来方向。根据我们的调查,对基于机器学习的脑电图应用程序的更多研究将导致与脑电图相关的更强大的市场。越来越多的公司将使用研究技术并将其应用于现实生活中。随着与EEG相关的市场的增长,与EEG相关的设备将收集更多的脑电图数据,并且将有更多的EEG数据供研究人员在他们的研究中使用,以作为一个良性周期。我们的市场分析表明,在上面列出的六个应用程序中使用脑电图数据和机器学习有关的研究指向脑电图生态系统和机器学习世界的增长和发展的明确趋势。
translated by 谷歌翻译
A systematic review on machine-learning strategies for improving generalizability (cross-subjects and cross-sessions) electroencephalography (EEG) based in emotion classification was realized. In this context, the non-stationarity of EEG signals is a critical issue and can lead to the Dataset Shift problem. Several architectures and methods have been proposed to address this issue, mainly based on transfer learning methods. 418 papers were retrieved from the Scopus, IEEE Xplore and PubMed databases through a search query focusing on modern machine learning techniques for generalization in EEG-based emotion assessment. Among these papers, 75 were found eligible based on their relevance to the problem. Studies lacking a specific cross-subject and cross-session validation strategy and making use of other biosignals as support were excluded. On the basis of the selected papers' analysis, a taxonomy of the studies employing Machine Learning (ML) methods was proposed, together with a brief discussion on the different ML approaches involved. The studies with the best results in terms of average classification accuracy were identified, supporting that transfer learning methods seem to perform better than other approaches. A discussion is proposed on the impact of (i) the emotion theoretical models and (ii) psychological screening of the experimental sample on the classifier performances.
translated by 谷歌翻译
最近的语音情绪识别分析与使用MFCCS频谱图特征和实现诸如卷积神经网络(CNNS)的神经网络方法的实施进行了相当大的进展。胶囊网络(CAPSNET)对CNN的替代品感谢其具有较大容量的分层表示。为了解决这些问题,本研究介绍了独立于文本和独立的讲话者独立的SER新颖体系结构,其中基于结构特征提出了双通道长短短期内存压缩帽(DC-LSTM Compsnet)算法Capsnet。我们所提出的新型分类器可以确保语音情感识别中模型和足够的压缩方法的能效,这不会通过彩铃的原始结构提供。此外,网格搜索方法用于获得最佳解决方案。结果目睹了培训和测试运行时间的性能和减少。用于评估我们的算法的语音数据集是:阿拉伯语Emirati-Egrented语料库,模拟和实际压力语料库下的英语演讲,情感语音和歌曲语料库的英语Ryerson Audio-Visual数据库,以及人群源性情绪多模式演员数据集。这项工作揭示了与其他已知方法相比的最佳特征提取方法是MFCCS Delta-Delta。使用四个数据集和MFCCS Delta-Delta,DC-LSTM CompsNet超越了所有最先进的系统,古典分类器,CNN和原始帽。我们的结果表明,基于Capsnet的拟议工作产生了89.3%的平均情绪识别准确性,其结果表明,拟议的工作产生了89.3%的89.3%。 CNN,支持向量机,多层Perceptron,K-最近邻居,径向基函数和幼稚贝叶斯。
translated by 谷歌翻译
在脑电图(EEG)的驾驶员的背景下,设计无校准系统仍然具有挑战性,因为EEG信号在不同的主题和录音会话之间显着变化。已经努力使用EEG信号的深度学习方法来利用精神状态识别。然而,现有工作主要将深入学习模型视为黑匣子分类器,而模型已经学习的是什么以及它们在脑电图数据中受到噪声的影响仍然是曝光的。在本文中,我们开发了一种新颖的卷积神经网络,可以通过突出显示包含分类重要信息的输入样本的本地区域来解释其决定。该网络具有紧凑的结构,利用可分离卷曲来处理空间序列中的EEG信号。结果表明,该模型在11个受试者上实现了78.35%的平均准确性,用于休假交叉对象嗜睡识别,其高于传统的基线方法为53.4%-72.68%和最先进的深层学习方法63.90%-65.78%。可视化结果表明,该模型已经学会了识别EEG信号的生物学可解释的特征,例如,α主轴,作为不同受试者的嗜睡的强指标。此外,我们还探讨了一些错误分类的样本背后的原因,具有可视化技术,并讨论了提高识别准确性的潜在方法。我们的作品说明了使用可解释的深度学习模型的有希望的方向,以从复杂的EEG信号发现与不同心理状态相关的有意义的模式。
translated by 谷歌翻译
在情感计算领域的基于生理信号的情感识别,已经支付了相当大的关注。对于可靠性和用户友好的采集,电卸电子活动(EDA)在实际应用中具有很大的优势。然而,基于EDA的情感识别与数百个科目仍然缺乏有效的解决方案。在本文中,我们的工作试图融合主题的各个EDA功能和外部诱发的音乐功能。我们提出了端到端的多模式框架,1维剩余时间和通道注意网络(RTCAN-1D)。对于EDA特征,基于新型的基于凸优化的EDA(CVXEDA)方法被应用于将EDA信号分解为PAHSIC和TONC信号,以进行动态和稳定的功能。首先涉及基于EDA的情感识别的渠道时间关注机制,以改善时间和渠道明智的表示。对于音乐功能,我们将音乐信号与开源工具包opensmile处理,以获取外部特征向量。来自EDA信号和来自音乐的外部情绪基准的个体情感特征在分类层中融合。我们对三个多模式数据集(PMEMO,DEAP,AMIGOS)进行了系统的比较,适用于2级薪酬/唤醒情感识别。我们提出的RTCAN-1D优于现有的最先进的模型,这也验证了我们的工作为大规模情感认可提供了可靠和有效的解决方案。我们的代码已在https://github.com/guanghaoyin/rtcan-1发布。
translated by 谷歌翻译
神经科学领域的研究揭示了情绪模式和脑功能区域之间的关系,展示了不同脑区之间的动态关系是影响通过脑电图(EEG)确定的情绪识别的必要因素。此外,在脑电情绪识别中,我们可以观察到,基于相同的脑电图数据,我们可以观察到粗粒情绪之间的粗粒情绪之间的边界;这表明大型粗糙和小细粒度情绪变化的同意。因此,来自粗糙到细粒度类别的渐进分类过程可能有助于EEG情绪识别。因此,在本研究中,我们提出了一种逐步的图表卷积网络(PGCN),用于捕获EEG情绪信号中的这种固有特性,并逐步学习鉴别性EEG特征。为了适应不同的EEG模式,我们构建了一个双图模块,以表征不同EEG通道之间的内在关系,其中包含神经科学研究的动态功能连接和脑区的静态空间接近信息。此外,通过观察粗糙和细粒度的情绪之间的关系,我们采用双头模块,使PGCN能够逐步了解更多辨别性EEG特征,从粗粒(简单)到细粒度的类别(困难),参考情绪的分层特征。为了验证我们模型的性能,在两个公共数据集中进行了广泛的实验:种子-46和多模态生理情绪数据库(MPED)。
translated by 谷歌翻译
基于EEG的基于EEG的情感识别(EEG-ER)与消费者级EEG器件涉及使用减少数量的通道进行语调。这些设备通常仅提供四个或五个通道,与通常在最新的最先进的研究中通常使用的大量信道(32或更多)不同。在这项工作中,我们建议使用离散小波变换(DWT)来提取时间频域特征,并且我们使用几秒钟的时间窗口来执行EEG-ER分类。该技术可以实时使用,而不是在HOC上完成完整会话数据。我们还应用了在现有研究中开发的基线拆卸预处理,以我们提出的DWT熵和能量特征,这显着提高了分类精度。我们考虑两个不同的分类器架构,一个3D卷积神经网络(3D CNN)和支持向量机(SVM)。我们在主题和主题依赖设置上评估两个模型,以分类个人情绪状态的价值和唤醒维度。我们在Deap DataSet提供的完整32通道数据上测试它们,以及相同数据集的减少的5通道提取物。 SVM模型在所有呈现的场景上表现最佳,在唤起完整的32通道主题案例的唤醒时,在价值上实现95.32%的精度,95.68%,以前的实时EEG-EEG-EEG-EEG-EEG对象依赖性基准。在独立的案例上,还获得了80.70%的准确度,唤醒的唤醒器中的81.41%。将输入数据减少到5个通道仅在所有场景中平均降低3.54%,这使得该型号适合使用更可访问的低端EEG器件。
translated by 谷歌翻译
与经典信号处理和基于机器学习的框架相比,基于深度学习的方法基于深度学习的方法显着提高了分类准确性。但大多数是由于脑电图数据中存在的受试者间可变性而无法概括对象无关的任务的主题依赖性研究。在这项工作中,提出了一种新的深度学习框架,其能够进行独立的情感识别,由两部分组成。首先,提出了具有通道关注自动泊车的无监督的长短期存储器(LSTM),用于获取主体不变的潜航向量子空间,即每个人的EEG数据中存在的内部变量。其次,提出了一种具有注意力框架的卷积神经网络(CNN),用于对从提出的LSTM获得的编码的较低的潜在空间表示对具有通道 - 注意自身形拓的编码的低潜空间表示的任务。通过注意机制,所提出的方法可以突出EEG信号的显着时间段,这有助于所考虑的情绪,由结果验证。已经使用公共数据集进行了验证的方法,用于EEG信号,例如Deap DataSet,SEED数据集和CHB-MIT数据集。所提出的端到端深度学习框架消除了不同手工工程特征的要求,并提供了一个单一的全面任务不可知性EEG分析工具,能够对主题独立数据进行各种EEG分析。
translated by 谷歌翻译
公开演讲期间的压力很普遍,会对绩效和自信产生不利影响。已经进行了广泛的研究以开发各种模型以识别情绪状态。但是,已经进行了最少的研究,以实时使用语音分析来检测公众演讲期间的压力。在这种情况下,当前的审查表明,算法的应用未正确探索,并有助于确定创建合适的测试环境的主要障碍,同时考虑当前的复杂性和局限性。在本文中,我们介绍了我们的主要思想,并提出了一个应力检测计算算法模型,该模型可以集成到虚拟现实(VR)应用程序中,以创建一个智能的虚拟受众,以提高公开讲话技能。当与VR集成时,开发的模型将能够通过分析与指示压力的生理参数相关的语音功能来实时检测过度压力,并帮助用户逐渐控制过度的压力并改善公众演讲表现
translated by 谷歌翻译
在神经科学领域,脑活动分析总是被认为是一个重要领域。精神分裂症(SZ)是一种严重影响世界各地人民的思想,行为和情感的大脑障碍。在Sz检测中被证明是一种有效的生物标志物的脑电图(EEG)。由于其非线性结构,EEG是非线性时间序列信号,并利用其进行调查,这是对其的影响。本文旨在利用深层学习方法提高基于EEG基于SZ检测的性能。已经提出了一种新的混合深度学习模型(精神分裂症混合神经网络),已经提出了卷积神经网络(CNN)和长短期存储器(LSTM)的组合。 CNN网络用于本地特征提取,LSTM已用于分类。所提出的模型仅与CNN,仅限LSTM和基于机器学习的模型进行了比较。已经在两个不同的数据集上进行了评估所有模型,其中数据集1由19个科目和数据集2组成,由16个科目组成。使用不同频带上的各种参数设置并在头皮上使用不同的电极组来进行几个实验。基于所有实验,显然提出的混合模型(SZHNN)与其他现有型号相比,拟议的混合模型(SZHNN)提供了99.9%的最高分类精度。该建议的模型克服了不同频带的影响,甚至没有5个电极显示出91%的更好的精度。该拟议的模型也在智能医疗保健和远程监控应用程序的医疗器互联网上进行评估。
translated by 谷歌翻译
Stress has a great effect on people's lives that can not be understated. While it can be good, since it helps humans to adapt to new and different situations, it can also be harmful when not dealt with properly, leading to chronic stress. The objective of this paper is developing a stress monitoring solution, that can be used in real life, while being able to tackle this challenge in a positive way. The SMILE data set was provided to team Anxolotl, and all it was needed was to develop a robust model. We developed a supervised learning model for classification in Python, presenting the final result of 64.1% in accuracy and a f1-score of 54.96%. The resulting solution stood the robustness test, presenting low variation between runs, which was a major point for it's possible integration in the Anxolotl app in the future.
translated by 谷歌翻译
A lack of driver's vigilance is the main cause of most vehicle crashes. Electroencephalography(EEG) has been reliable and efficient tool for drivers' drowsiness estimation. Even though previous studies have developed accurate and robust driver's vigilance detection algorithms, these methods are still facing challenges on following areas: (a) small sample size training, (b) anomaly signal detection, and (c) subject-independent classification. In this paper, we propose a generalized few-shot model, namely EEG-Fest, to improve aforementioned drawbacks. The EEG-Fest model can (a) classify the query sample's drowsiness with a few samples, (b) identify whether a query sample is anomaly signals or not, and (c) achieve subject independent classification. The proposed algorithm achieves state-of-the-art results on the SEED-VIG dataset and the SADT dataset. The accuracy of the drowsy class achieves 92% and 94% for 1-shot and 5-shot support samples in the SEED-VIG dataset, and 62% and 78% for 1-shot and 5-shot support samples in the SADT dataset.
translated by 谷歌翻译
认识到人类的感情在日常沟通中发挥着关键作用。神经科学已经证明,不同的情绪状态存在于不同脑区,脑电图频带和颞戳中不同程度的激活。在本文中,我们提出了一种新颖的结构来探索情感认可的信息脑电图。所提出的模块,由PST-Integn表示,由位置,光谱和颞件注意力模块组成,用于探索更多辨别性EEG特征。具体地,位置注意模块是捕获在空间尺寸中的不同情绪刺激的激活区域。光谱和时间注意力模块分别分配不同频带和时间片的权重。我们的方法是自适应的,也可以符合其作为插入式模块的3D卷积神经网络(3D-CNN)。我们在两个现实世界数据集进行实验。 3D-CNN结合我们的模块实现了有希望的结果,并证明了PST-关注能够从脑电图中捕获稳定的情感识别模式。
translated by 谷歌翻译
脑电图(EEG)解码旨在识别基于非侵入性测量的脑活动的神经处理的感知,语义和认知含量。当应用于在静态,受控的实验室环境中获取的数据时,传统的EEG解码方法取得了适度的成功。然而,开放世界的环境是一个更现实的环境,在影响EEG录音的情况下,可以意外地出现,显着削弱了现有方法的鲁棒性。近年来,由于其在特征提取的卓越容量,深入学习(DL)被出现为潜在的解决方案。它克服了使用浅架构提取的“手工制作”功能或功能的限制,但通常需要大量的昂贵,专业标记的数据 - 并不总是可获得的。结合具有域特定知识的DL可能允许开发即使具有小样本数据,也可以开发用于解码大脑活动的鲁棒方法。虽然已经提出了各种DL方法来解决EEG解码中的一些挑战,但目前缺乏系统的教程概述,特别是对于开放世界应用程序。因此,本文为开放世界EEG解码提供了对DL方法的全面调查,并确定了有前途的研究方向,以激发现实世界应用中的脑电图解码的未来研究。
translated by 谷歌翻译
情感计算在人与机器之间的关系中非常重要。在本文中,提出了一种基于语音信号的语音情感识别(SER)的系统,其利用不同处理阶段的新技术。该系统由三个阶段组成:功能提取,功能选择,最终要素分类。在第一阶段,使用新的和多样性特征(如韵律,光谱和频谱)特征,从语音信号和光泽 - 波形信号中提取复杂的长期统计特征。 SER系统的挑战之一是区分相关情绪。这些特征是言语情绪的好鉴别者,并提高Ser识别类似和不同情绪的能力。此特征向量具有大量维度自然具有冗余。在第二阶段,使用经典特征选择技术以及用于减少特征向量维度的新量子启发技术,减少了特征向量尺寸的数量。在第三阶段,优化的特征向量由加权深稀疏的极端学习机(ELM)分类器分类。分类器以三个步骤执行分类:稀疏随机特征学习,使用奇异值分解(SVD)技术的正交随机投影,以及使用广义Tikhonov正规技术的最后一步中的鉴别分类。此外,许多现有的情绪数据集遭受数据不平衡分布的问题,这反过来增加了分类误差并降低了系统性能。在本文中,还提出了一种新的加权方法来处理类别不平衡,比现有的加权方法更有效。所提出的方法是在三个标准情绪数据库上进行评估。
translated by 谷歌翻译
情感估计是一个积极的研究领域,对人与计算机之间的互动产生了重要影响。在评估情绪的不同方式中,代表电脑活动的脑电图(EEG)在过去十年中呈现了激励结果。 EEG的情感估计可以有助于某些疾病的诊断或康复。在本文中,我们提出了一种考虑到专家定义的生理学知识,与最初致力于计算机视觉的新型深度学习(DL)模型。具有模型显着性分析的联合学习得到了增强。为了呈现全局方法,该模型已经在四个公共可用数据集中进行了评估,并实现了与TheS-of TheakeS的方法和优于两个所提出的数据集的结果,其具有较低标准偏差的较高的稳定性。为获得再现性,本文提出的代码和模型可在Github.com/vdelv/emotion-eeg中获得。
translated by 谷歌翻译
目的:提出使用深神经网络(DNN)的新型SSVEP分类方法,提高单通道和用户独立的脑电电脑接口(BCIS)的性能,具有小的数据长度。方法:我们建议与DNN结合使用过滤器组(创建EEG信号的子带分量)。在这种情况下,我们创建了三种不同的模型:经常性的神经网络(FBRNN)分析时域,2D卷积神经网络(FBCNN-2D)处理复谱特征和3D卷积神经网络(FBCNN-3D)分析复杂谱图,我们在本研究中介绍了SSVEP分类的可能输入。我们通过开放数据集培训了我们的神经网络,并构思了它们,以便不需要从最终用户校准:因此,测试主题数据与训练和验证分开。结果:带滤波器银行的DNN超越了类似网络的准确性,在没有相当大的边距(高达4.6%)的情况下,它们甚至更高的边距(高达7.1%)超越了常见的SSVEP分类方法(SVM和FBCCA) 。在使用过滤器银行中的三个DNN中,FBRNN获得了最佳结果,然后是FBCNN-3D,最后由FBCNN-2D获得。结论和意义:滤波器银行允许不同类型的深神经网络,以更有效地分析SSVEP的谐波分量。复谱图比复杂频谱特征和幅度谱进行更多信息,允许FBCNN-3D超越另一个CNN。在具有挑战性的分类问题中获得的平均测试精度(87.3%)和F1分数(0.877)表示施工,经济,快速和低延迟BCIS建设的强大潜力。
translated by 谷歌翻译