苏黎世认知语言处理语料库(Zuco)提供了来自两种读取范例,正常读取和特定任务读数的眼跟踪和脑电图信号。我们分析了机器学习方法是否能够使用眼睛跟踪和EEG功能对这两个任务进行分类。我们使用聚合的句子级别功能以及细粒度的单词级别来实现模型。我们在主题内和交叉对象评估方案中测试模型。所有模型都在Zuco 1.0和Zuco 2.0数据子集上进行测试,其特征在于不同的记录程序,因此允许不同的概括水平。最后,我们提供了一系列的控制实验,以更详细地分析结果。
translated by 谷歌翻译
我们展示了一个新的数据集和基准,其目的是在大脑活动和眼球运动的交叉口中推进研究。我们的数据集EEGEYENET包括从三种不同实验范式中收集的356个不同受试者的同时脑电图(EEG)和眼睛跟踪(ET)录像。使用此数据集,我们还提出了一种评估EEG测量的凝视预测的基准。基准由三个任务组成,难度越来越高:左右,角度幅度和绝对位置。我们在该基准测试中运行大量实验,以便根据经典机器学习模型和大型神经网络提供实心基线。我们释放了我们的完整代码和数据,并提供了一种简单且易于使用的界面来评估新方法。
translated by 谷歌翻译
阅读理解是一个复杂的认知过程,涉及许多人类大脑活动。大量作品研究了在信息检索相关方案中阅读理解的模式和注意力分配。但是,关于阅读理解过程中人脑中发生的事情以及这些认知活动如何影响信息检索过程,知之甚少。此外,随着脑成像技术(例如脑电图(EEG))的进步,几乎可以实时收集大脑信号,并探索是否可以用作反馈来促进信息获取性能。在本文中,我们仔细设计了一项基于实验室的用户研究,以调查阅读理解过程中的大脑活动。我们的发现表明,神经反应随着不同类型的阅读内容而变化,即可以满足用户信息需求和无法无法满足的内容的内容。我们建议在阅读理解过程中以微观时间量表以微观时间量表来支持各种认知活动,例如认知负载,语义主题理解和推论处理。从这些发现中,我们说明了一些有关信息检索任务的见解,例如排名模型构建和界面设计。此外,我们建议有可能检测主动现实世界系统的阅读理解状态。为此,我们为基于脑电图的阅读理解建模(UERCM)提出了一个统一的框架。为了验证其有效性,我们基于脑电图特征进行了大量的实验,以进行两项阅读理解任务:回答句子分类和回答提取。结果表明,通过大脑信号提高两个任务的性能是可行的。
translated by 谷歌翻译
眼目光信息的收集为人类认知,健康和行为的许多关键方面提供了一个窗口。此外,许多神经科学研究补充了从眼睛跟踪中获得的行为信息,以及脑电图(EEG)提供的高时间分辨率和神经生理学标记。必不可少的眼睛跟踪软件处理步骤之一是将连续数据流的分割为与扫视,固定和眨眼等眼睛跟踪应用程序相关的事件。在这里,我们介绍了Detrtime,这是一个新颖的时间序列分割框架,该框架创建了不需要额外记录的眼睛跟踪模式并仅依靠脑电图数据的眼部事件检测器。我们的端到端基于深度学习的框架将计算机视觉的最新进展带到了脑电图数据的《时代》系列分割的最前沿。 Detr Time在各种眼睛追踪实验范式上实现眼部事件检测中的最新性能。除此之外,我们还提供了证据表明我们的模型在脑电图阶段分割的任务中很好地概括了。
translated by 谷歌翻译
认知处理信号可用于改善自然语言处理(NLP)任务。但是,目前尚不清楚这些信号如何与语言信息相关。在神经语言学中,人类语言处理和语言特征之间的桥接通常通过具有高度控制的刺激的单可变控制实验,广泛研究。这些方法不仅损害了自然读数的真实性,而且耗时且昂贵。在本文中,我们提出了一种数据驱动方法来研究认知处理信号与语言特征之间的关系。具体而言,我们提出了一种统一的注意力框架,它由嵌入,注意,编码和预测层组成,以选择性地将认知处理信号映射到语言特征。我们将映射过程定义为桥接任务,并为词汇,句法和语义特征开发12个桥接任务。所提出的框架仅需要在自然读数下记录的认知处理信号作为输入,并且可用于检测具有单个认知数据集的广泛的语言特征。实验结果的观察结果与以前的神经科学结果共鸣。除此之外,我们的实验还揭示了许多有趣的发现,例如语境上跟踪特征与句子时态之间的相关性。
translated by 谷歌翻译
While the brain connectivity network can inform the understanding and diagnosis of developmental dyslexia, its cause-effect relationships have not yet enough been examined. Employing electroencephalography signals and band-limited white noise stimulus at 4.8 Hz (prosodic-syllabic frequency), we measure the phase Granger causalities among channels to identify differences between dyslexic learners and controls, thereby proposing a method to calculate directional connectivity. As causal relationships run in both directions, we explore three scenarios, namely channels' activity as sources, as sinks, and in total. Our proposed method can be used for both classification and exploratory analysis. In all scenarios, we find confirmation of the established right-lateralized Theta sampling network anomaly, in line with the temporal sampling framework's assumption of oscillatory differences in the Theta and Gamma bands. Further, we show that this anomaly primarily occurs in the causal relationships of channels acting as sinks, where it is significantly more pronounced than when only total activity is observed. In the sink scenario, our classifier obtains 0.84 and 0.88 accuracy and 0.87 and 0.93 AUC for the Theta and Gamma bands, respectively.
translated by 谷歌翻译
我们在动态环境中跟踪多个物体的能力使我们能够执行日常任务,例如驾驶,运动运动和在拥挤的购物中心行走。尽管有关多个对象跟踪(MOT)任务的三十年文献,但基本和交织的神经机制仍然知之甚少。在这里,我们研究了脑电图(EEG)神经相关性及其在3D-MOT任务的三个阶段的变化,即识别,跟踪和回忆。我们记录了24名参与者的脑电图活动,而他们执行了3D-MOT任务,其中有1、2或3个目标,其中一些试验被横向进行,有些则没有。我们观察到从跟踪到回忆时,集中注意力与工作记忆过程之间似乎是一种交接。我们的发现表明,在跟踪过程中,从额叶区域的三角洲和theta频率有很强的抑制作用,随后在召回过程中对这些相同频率的激活强烈(重新)激活。我们的结果还显示了在识别阶段和召回阶段的对侧延迟活性(CDA),但在跟踪过程中没有。
translated by 谷歌翻译
关于人类阅读的研究长期以来一直记录在阅读行为表明特定于任务的效果,但是建立一个通用模型来预测人类在给定任务中将显示什么的通用模型。我们介绍了Neat,这是人类阅读中注意力分配的计算模型,基于人类阅读优化了一项任务中关注经济和成功之间的权衡。我们的模型是使用当代神经网络建模技术实施的,并对注意力分配的分配方式在不同任务中如何变化做出明确的测试预测。我们在一项针对阅读理解任务的两个版本的眼影研究中对此进行了测试,发现我们的模型成功说明了整个任务的阅读行为。因此,我们的工作提供了证据表明,任务效果可以建模为对任务需求的最佳适应。
translated by 谷歌翻译
对于许多下游任务(例如,情感分析,关系检测等),脑电图(EEG)和语言已被广泛探索。研究这两个领域的多模式方法尚未得到很好的探索,即使近年来,多模式学习被认为比单峰对应物更强大。在这项研究中,我们希望探索脑电图与语言之间的关系和依赖性,即一个领域如何反映和代表另一个领域。为了研究表示级别的关系,我们引入了MTAM(一种多模式变压器对准模型),以观察两种模式之间的协调表示,因此采用了转换表示来进行下游应用。我们使用各种关系对齐的寻求对准技术,例如规范相关性分析和Wasserstein距离,作为转化低级语言的损失函数,并将EEG特征转化为高级转化的特征。在下游应用程序,情感分析和关系检测上,我们在两个数据集(Zuco和k-emocon)上实现了新的最新结果。我们的方法在K-Emocon的情感分析中获得了16.5%的F1得分提高,对Zuco的情感分析的26.6%,以及对Zuco的关系检测的31.1%。此外,我们通过以下方式提供对性能改进的解释:(1)可视化原始特征分布和变换的特征分布,显示对齐模块发现和编码脑电图与语言之间的关系的有效性; (2)可视化单词级别和句子级的脑电图对齐权重,显示不同语言语义和脑电图频率特征的影响; (3)可视化大脑地形图,以提供有关大脑区域中脑电图和语言反应的连通性的直观演示。
translated by 谷歌翻译
在过去的几年中,深度学习用于脑电图(EEG)分类任务一直在迅速增长,但其应用程序受到EEG数据集相对较小的限制。数据扩展包括在培训过程中人为地增加数据集的大小,它一直是在计算机视觉或语音等应用程序中获得最新性能的关键要素。尽管文献中已经提出了一些脑电图数据的增强转换,但它们对跨任务的绩效的积极影响仍然难以捉摸。在这项工作中,我们提出了对主要现有脑电图增强的统一和详尽的分析,该分析在常见的实验环境中进行了比较。我们的结果强调了为睡眠阶段分类和大脑计算机界面界面的最佳数据增强,在某些情况下显示预测功率改善大于10%。
translated by 谷歌翻译
Eye movements are known to reflect cognitive processes in reading, and psychological reading research has shown that eye gaze patterns differ between readers with and without dyslexia. In recent years, researchers have attempted to classify readers with dyslexia based on their eye movements using Support Vector Machines (SVMs). However, these approaches (i) are based on highly aggregated features averaged over all words read by a participant, thus disregarding the sequential nature of the eye movements, and (ii) do not consider the linguistic stimulus and its interaction with the reader's eye movements. In the present work, we propose two simple sequence models that process eye movements on the entire stimulus without the need of aggregating features across the sentence. Additionally, we incorporate the linguistic stimulus into the model in two ways -- contextualized word embeddings and manually extracted linguistic features. The models are evaluated on a Mandarin Chinese dataset containing eye movements from children with and without dyslexia. Our results show that (i) even for a logographic script such as Chinese, sequence models are able to classify dyslexia on eye gaze sequences, reaching state-of-the-art performance, and (ii) incorporating the linguistic stimulus does not help to improve classification performance.
translated by 谷歌翻译
最先进的脑部到文本系统通过使用神经网络直接从脑信号直接取得了巨大的成功。然而,目前的方法仅限于小封闭词汇,远远超过自然通信。此外,大多数高性能方法都需要来自侵入性设备的数据(例如,ECOG)。在本文中,我们将问题扩展到打开词汇脑电图(EEG)-To文本序列到序列解码和自然读取任务的零击句情感分类。我们假设人类大脑用作特殊文本编码器,并提出了一种利用预先训练的语言模型(例如,BART)的新颖框架。我们的模型在EEG-to text解码中实现了40.1%的BLE-1分数,并获得了55.6%的基于eEG的Ternary情绪分类的F1分数,这显着优于受监管基线。此外,我们表明我们所提出的模型可以处理来自各种科目和源的数据,显示出高性能开放词汇脑到文本系统的巨大潜力,一旦提供足够的数据
translated by 谷歌翻译
在脑电图(EEG)的驾驶员的背景下,设计无校准系统仍然具有挑战性,因为EEG信号在不同的主题和录音会话之间显着变化。已经努力使用EEG信号的深度学习方法来利用精神状态识别。然而,现有工作主要将深入学习模型视为黑匣子分类器,而模型已经学习的是什么以及它们在脑电图数据中受到噪声的影响仍然是曝光的。在本文中,我们开发了一种新颖的卷积神经网络,可以通过突出显示包含分类重要信息的输入样本的本地区域来解释其决定。该网络具有紧凑的结构,利用可分离卷曲来处理空间序列中的EEG信号。结果表明,该模型在11个受试者上实现了78.35%的平均准确性,用于休假交叉对象嗜睡识别,其高于传统的基线方法为53.4%-72.68%和最先进的深层学习方法63.90%-65.78%。可视化结果表明,该模型已经学会了识别EEG信号的生物学可解释的特征,例如,α主轴,作为不同受试者的嗜睡的强指标。此外,我们还探讨了一些错误分类的样本背后的原因,具有可视化技术,并讨论了提高识别准确性的潜在方法。我们的作品说明了使用可解释的深度学习模型的有希望的方向,以从复杂的EEG信号发现与不同心理状态相关的有意义的模式。
translated by 谷歌翻译
嗜睡是驾驶员和交通事故主要原因之一的主要关注点。认知神经科学和计算机科学的进步已通过使用脑部计算机界面(BCIS)和机器学习(ML)来检测驾驶员的嗜睡。然而,几个挑战仍然开放,应该面对。首先,文献中缺少使用一组ML算法的多种ML算法对嗜睡检测性能的全面评估。最后,需要研究适合受试者组的可扩展ML模型的检测性能,并将其与文献中提出的单个模型进行比较。为了改善这些局限性,这项工作提出了一个智能框架,该框架采用了BCIS和基于脑电图(EEG)的功能,以检测驾驶场景中的嗜睡。 SEED-VIG数据集用于喂食不同的ML回归器和三类分类器,然后评估,分析和比较单个受试者和组的表现最佳模型。有关单个模型的更多详细信息,随机森林(RF)获得了78%的F1分数,改善了通过文献中使用的模型(例如支持向量机(SVM))获得的58%。关于可扩展模型,RF达到了79%的F1得分,证明了这些方法的有效性。所学的经验教训可以总结如下:i)不仅SVM,而且文献中未充分探索的其他模型与嗜睡检测有关,ii)ii)适用于受试者组的可伸缩方法也有效地检测嗜睡,即使新受试者也是如此评估模型培训中未包括的。
translated by 谷歌翻译
基于EEG的基于EEG的情感识别(EEG-ER)与消费者级EEG器件涉及使用减少数量的通道进行语调。这些设备通常仅提供四个或五个通道,与通常在最新的最先进的研究中通常使用的大量信道(32或更多)不同。在这项工作中,我们建议使用离散小波变换(DWT)来提取时间频域特征,并且我们使用几秒钟的时间窗口来执行EEG-ER分类。该技术可以实时使用,而不是在HOC上完成完整会话数据。我们还应用了在现有研究中开发的基线拆卸预处理,以我们提出的DWT熵和能量特征,这显着提高了分类精度。我们考虑两个不同的分类器架构,一个3D卷积神经网络(3D CNN)和支持向量机(SVM)。我们在主题和主题依赖设置上评估两个模型,以分类个人情绪状态的价值和唤醒维度。我们在Deap DataSet提供的完整32通道数据上测试它们,以及相同数据集的减少的5通道提取物。 SVM模型在所有呈现的场景上表现最佳,在唤起完整的32通道主题案例的唤醒时,在价值上实现95.32%的精度,95.68%,以前的实时EEG-EEG-EEG-EEG-EEG对象依赖性基准。在独立的案例上,还获得了80.70%的准确度,唤醒的唤醒器中的81.41%。将输入数据减少到5个通道仅在所有场景中平均降低3.54%,这使得该型号适合使用更可访问的低端EEG器件。
translated by 谷歌翻译
通过脑电图信号的情绪分类取得了许多进步。但是,诸如缺乏数据和学习重要特征和模式之类的问题始终是具有在计算和预测准确性方面改进的领域。这项工作分析了基线机器学习分类器在DEAP数据集上的性能以及一种表格学习方法,该方法提供了最新的可比结果,从而利用了性能提升,这是由于其深度学习架构而无需部署重型神经网络。
translated by 谷歌翻译
几项研究报告说,基于眼球运动特性的生物识别识别可用于认证。本文基于乔治和布线最初提出的方法的改进版本,通过跨多个数据集进行广泛研究用户识别。我们分析了对影响识别准确性的几个因素的方法,例如刺激类型,IVT参数(用于将轨迹分段为固定和扫视),添加新功能,例如眼球运动的高阶衍生物,包含眨眼信息,模板老化,年龄和性别。我们发现三种方法即选择最佳IVT参数,添加高阶导数特征,包括额外的眨眼分类器对识别准确性产生正影响。改进范围从几个百分点到一个数据集中的令人印象深刻的9%增加。
translated by 谷歌翻译
衡量心理工作量的主要原因是量化执行任务以预测人类绩效的认知成本。不幸的是,一种评估具有一般适用性的心理工作量的方法。这项研究提出了一种新型的自我监督方法,用于从脑电图数据中使用深度学习和持续的大脑率,即认知激活的指标,而无需人类声明性知识,从而从脑电图数据进行了精神负荷建模。该方法是可培训的卷积复发性神经网络,该神经网络可通过空间保留脑电图数据的光谱地形图训练,以适合大脑速率变量。发现证明了卷积层从脑电图数据中学习有意义的高级表示的能力,因为受试者内模型的测试平均绝对百分比误差平均为11%。尽管确实提高了其准确性,但增加了用于处理高级表示序列的长期期内存储层并不重要。发现指出,认知激活的高级高水平表示存在准稳定的块,因为它们可以通过卷积诱导,并且似乎随着时间的流逝而彼此依赖,从而直观地与大脑反应的非平稳性质相匹配。跨主体模型,从越来越多的参与者的数据诱导,因此包含更多的可变性,获得了与受试者内模型相似的精度。这突出了人们在人们之间诱发的高级表示的潜在普遍性,这表明存在非依赖于受试者的认知激活模式。这项研究通过为学者提供一种用于心理工作负载建模的新型计算方法来促进知识的体系,该方法旨在通常适用,不依赖于支持可复制性和可复制性的临时人工制作的模型。
translated by 谷歌翻译
数字虚假信息的传播(又称“假新闻”)可以说是互联网上最重要的威胁之一,它可能造成大规模的个人和社会伤害。虚假新闻攻击的敏感性取决于互联网用户在阅读后是否认为虚假新闻文章/摘要是合法的。在本文中,我们试图通过神经认知方法来深入了解用户对以文本为中心的假新闻攻击的敏感性。我们通过脑电图调查了与假/真实新闻有关的神经基础。我们与人类用户进行实验,以彻底调查用户对假/真实新闻的认知处理和认知处理。我们分析了不同类别新闻文章的假/真实新闻检测任务相关的神经活动。我们的结果表明,在人脑处理假新闻与真实新闻的方式上可能没有统计学意义或自动可推断的差异,而当人们受到(真实/假)新闻与安息状态甚至之间的差异时,会观察到明显的差异一些不同类别的假新闻。这一神经认知发现可能有助于证明用户对假新闻攻击的敏感性,这也从行为分析中得到了证实。换句话说,假新闻文章似乎与行为和神经领域的真实新闻文章几乎没有区别。我们的作品旨在剖析假新闻攻击的基本神经现象,并通过人类生物学的极限解释了用户对这些攻击的敏感性。我们认为,对于研究人员和从业者来说,这可能是一个显着的见解楷模
translated by 谷歌翻译
在神经科学领域,脑活动分析总是被认为是一个重要领域。精神分裂症(SZ)是一种严重影响世界各地人民的思想,行为和情感的大脑障碍。在Sz检测中被证明是一种有效的生物标志物的脑电图(EEG)。由于其非线性结构,EEG是非线性时间序列信号,并利用其进行调查,这是对其的影响。本文旨在利用深层学习方法提高基于EEG基于SZ检测的性能。已经提出了一种新的混合深度学习模型(精神分裂症混合神经网络),已经提出了卷积神经网络(CNN)和长短期存储器(LSTM)的组合。 CNN网络用于本地特征提取,LSTM已用于分类。所提出的模型仅与CNN,仅限LSTM和基于机器学习的模型进行了比较。已经在两个不同的数据集上进行了评估所有模型,其中数据集1由19个科目和数据集2组成,由16个科目组成。使用不同频带上的各种参数设置并在头皮上使用不同的电极组来进行几个实验。基于所有实验,显然提出的混合模型(SZHNN)与其他现有型号相比,拟议的混合模型(SZHNN)提供了99.9%的最高分类精度。该建议的模型克服了不同频带的影响,甚至没有5个电极显示出91%的更好的精度。该拟议的模型也在智能医疗保健和远程监控应用程序的医疗器互联网上进行评估。
translated by 谷歌翻译