功能连接是研究大脑振荡活动的关键方法,以便为神经元相互作用的潜在动态提供重要见解,并且主要用于脑活动分析。建立脑电脑界面信息几何的进步,我们提出了一种新颖的框架,它结合了功能连接估计和基于协方差的管道来对精神状态进行分类,例如电机图像。针对每个估算器培训的riemannian分类器,并且集合分类器将决策组合在每个特征空间中。提供了对功能连接估计器的全面评估,并在不同的条件和数据集上评估最佳表演管道,称为岩酮。使用Meta分析在数据集中聚合结果,FUCONE比所有最先进的方法更好地执行。性能增益主要是对特征空间的改进的改进的改进,增加了集合分类器相对于和内部主题间变异性的鲁棒性。
translated by 谷歌翻译
State-of-the-art performance in electroencephalography (EEG) decoding tasks is currently often achieved with either Deep-Learning or Riemannian-Geometry-based decoders. Recently, there is growing interest in Deep Riemannian Networks (DRNs) possibly combining the advantages of both previous classes of methods. However, there are still a range of topics where additional insight is needed to pave the way for a more widespread application of DRNs in EEG. These include architecture design questions such as network size and end-to-end ability as well as model training questions. How these factors affect model performance has not been explored. Additionally, it is not clear how the data within these networks is transformed, and whether this would correlate with traditional EEG decoding. Our study aims to lay the groundwork in the area of these topics through the analysis of DRNs for EEG with a wide range of hyperparameters. Networks were tested on two public EEG datasets and compared with state-of-the-art ConvNets. Here we propose end-to-end EEG SPDNet (EE(G)-SPDNet), and we show that this wide, end-to-end DRN can outperform the ConvNets, and in doing so use physiologically plausible frequency regions. We also show that the end-to-end approach learns more complex filters than traditional band-pass filters targeting the classical alpha, beta, and gamma frequency bands of the EEG, and that performance can benefit from channel specific filtering approaches. Additionally, architectural analysis revealed areas for further improvement due to the possible loss of Riemannian specific information throughout the network. Our study thus shows how to design and train DRNs to infer task-related information from the raw EEG without the need of handcrafted filterbanks and highlights the potential of end-to-end DRNs such as EE(G)-SPDNet for high-performance EEG decoding.
translated by 谷歌翻译
深度学习(DL)已在脑电图(EEG)基于脑电图(EEG)的大部分应用中广泛研究,尤其是在过去五年中对于运动成像(MI)分类。 MI-EEG分类的主流DL方法使用卷积神经网络(CNN)利用EEG信号的暂时性模式,这些模式在视觉图像中取得了显着成功。但是,由于视觉图像的统计特征从根本上偏离了脑电图信号,因此出现了一个自然的问题,除了CNN之外是否存在替代网络体系结构。为了解决这个问题,我们提出了一个名为Tensor-CSPNET的新型几何深度学习(GDL)框架,该框架是源自对称阳性(SPD)的EEG信号的空间协方差矩阵(SPD)歧管(SPD)歧管,并完全捕获了使用临时性跨性别模式,并使用现有的深神经网络捕获了现有的深神经网络SPD流形,与许多成功的MI-EEG分类器的经验集成以优化框架。在实验中,张量-CSPNET在两个常用的MI-EEG数据集中的交叉验证和保留方案上达到或略微优于当前最新性能。此外,可视化和可解释性分析还表现出张量-CSPNET对MI-EEG分类的有效性。总而言之,在这项研究中,我们通过将DL方法概括为SPD歧管,为问题提供了可行的答案,该方法表明了MI-EEG分类的特定GDL方法的开始。
translated by 谷歌翻译
校准仍然是脑电脑接口(BCI)中用户体验的重要问题。甚至在开始使用BCI之前,常见的实验设计往往涉及提高认知疲劳的冗长的训练期。通过依赖于先进的机器学习技术,例如转移学习,可以减少或抑制这种依赖的校准。在Riemannian BCI上建立,我们提出了一种简单有效的方案,可以在不同主题记录的数据上培训分类器,以减少校准,同时保持良好的性能。本文的主要新颖性是提出一种独特的方法,可以应用于非常不同的范式。为了展示这种方法的稳健性,我们对三个BCI范例的多个数据集进行了元分析:事件相关的电位(P300),电机图像和SSVEP。依靠MoABB开源框架来确保实验的再现性和统计分析,结果清楚地表明,该方法可以应用于任何类型的BCI范例,并且在大多数情况下都可以显着提高分级性可靠性。我们指出了一些关键特征,以进一步提高转移学习方法。
translated by 谷歌翻译
在过去的几年中,深度学习用于脑电图(EEG)分类任务一直在迅速增长,但其应用程序受到EEG数据集相对较小的限制。数据扩展包括在培训过程中人为地增加数据集的大小,它一直是在计算机视觉或语音等应用程序中获得最新性能的关键要素。尽管文献中已经提出了一些脑电图数据的增强转换,但它们对跨任务的绩效的积极影响仍然难以捉摸。在这项工作中,我们提出了对主要现有脑电图增强的统一和详尽的分析,该分析在常见的实验环境中进行了比较。我们的结果强调了为睡眠阶段分类和大脑计算机界面界面的最佳数据增强,在某些情况下显示预测功率改善大于10%。
translated by 谷歌翻译
基于电动机图像(MI)的脑电脑界面(BCIS)允许通过解码神经生理现象来控制几种应用,这些现象通常通过使用非侵入性技术被脑电图(EEG)记录。尽管在基于MI的BCI的进展方面很大,但脑电图有特定于受试者和各种变化随时间。这些问题指出了提高分类绩效的重大挑战,特别是在独立的方式。为了克服这些挑战,我们提出了Min2Net,这是一个新的端到端多任务学习来解决这项任务。我们将深度度量学习集成到多任务AutoEncoder中,以从脑电图中学习紧凑且识别的潜在表示,并同时执行分类。这种方法降低了预处理的复杂性,导致EEG分类的显着性能改善。实验结果以本语独立的方式表明,MIN2Net优于最先进的技术,在SMR-BCI和OpenBMI数据集中分别实现了6.72%的F1分数提高,以及2.23%。我们证明MIN2NET在潜在代表中提高了歧视信息。本研究表明使用此模型的可能性和实用性为新用户开发基于MI的BCI应用,而无需校准。
translated by 谷歌翻译
While the brain connectivity network can inform the understanding and diagnosis of developmental dyslexia, its cause-effect relationships have not yet enough been examined. Employing electroencephalography signals and band-limited white noise stimulus at 4.8 Hz (prosodic-syllabic frequency), we measure the phase Granger causalities among channels to identify differences between dyslexic learners and controls, thereby proposing a method to calculate directional connectivity. As causal relationships run in both directions, we explore three scenarios, namely channels' activity as sources, as sinks, and in total. Our proposed method can be used for both classification and exploratory analysis. In all scenarios, we find confirmation of the established right-lateralized Theta sampling network anomaly, in line with the temporal sampling framework's assumption of oscillatory differences in the Theta and Gamma bands. Further, we show that this anomaly primarily occurs in the causal relationships of channels acting as sinks, where it is significantly more pronounced than when only total activity is observed. In the sink scenario, our classifier obtains 0.84 and 0.88 accuracy and 0.87 and 0.93 AUC for the Theta and Gamma bands, respectively.
translated by 谷歌翻译
苏黎世认知语言处理语料库(Zuco)提供了来自两种读取范例,正常读取和特定任务读数的眼跟踪和脑电图信号。我们分析了机器学习方法是否能够使用眼睛跟踪和EEG功能对这两个任务进行分类。我们使用聚合的句子级别功能以及细粒度的单词级别来实现模型。我们在主题内和交叉对象评估方案中测试模型。所有模型都在Zuco 1.0和Zuco 2.0数据子集上进行测试,其特征在于不同的记录程序,因此允许不同的概括水平。最后,我们提供了一系列的控制实验,以更详细地分析结果。
translated by 谷歌翻译
传统的脑电脑接口(BCI)需要在使用之前为每个用户提供完整的数据收集,训练和校准阶段。近年来,已经开发了许多主题独立的(SI)BCI。与受试者依赖性(SD)方法相比,这些方法中的许多方法产生较弱的性能,有些方法是计算昂贵的。潜在的真实世界应用程序将极大地受益于更准确,紧凑,并计算高效的主题的BCI。在这项工作中,我们提出了一个名为CCSPNET(卷积公共空间模式网络)的新型主题独立的BCI框架,该框架被训练在大型脑电图(EEG)信号数据库中的电动机图像(MI)范例上,由400个试验组成每54名科目执行两班手机MI任务。所提出的框架应用小波核卷积神经网络(WKCNN)和时间卷积神经网络(TCNN),以表示和提取EEG信号的光谱特征。对于空间特征提取来实现公共空间模式(CSP)算法,并且通过密集的神经网络减少了CSP特征的数量。最后,类标签由线性判别分析(LDA)分类器确定。 CCSPNET评估结果表明,可以具有紧凑的BCI,可实现与复杂和计算昂贵的模型相当的SD和SI最先进的性能。
translated by 谷歌翻译
基于脑电图(EEG)的脑生物识别技术已被越来越多地用于个人鉴定。传统的机器学习技术以及现代的深度学习方法已采用有希望的结果。在本文中,我们提出了EEG-BBNET,这是一个混合网络,该网络将卷积神经网络(CNN)与图形卷积神经网络(GCNN)集成在一起。 CNN在自动特征提取方面的好处以及GCNN通过图形表示在EEG电极之间学习连通性的能力被共同利用。我们检查了各种连通性度量,即欧几里得距离,皮尔逊的相关系数,相锁定值,相位滞后指数和RHO索引。在由各种脑部计算机界面(BCI)任务组成的基准数据集上评估了所提出的方法的性能,并将其与其他最先进的方法进行了比较。我们发现,使用会议内数据的平均正确识别率最高99.26%,我们的模型在事件相关电位(ERP)任务中的所有基线都优于所有基准。具有Pearson相关性和RHO指数的EEG-BBNET提供了最佳的分类结果。此外,我们的模型使用会议间和任务数据显示出更大的适应性。我们还研究了我们提出的模型的实用性,该模型的电极数量较少。额叶区域上的电极放置似乎最合适,性能损失最少。
translated by 谷歌翻译
为了开发有效和高效的脑电器界面(BCI)系统,非常需要精确地解码脑电图(EEG)测量的大脑活动。传统作品在不考虑电极之间的拓扑关系的情况下分类EEG信号。然而,神经科学研究越来越强调了脑动力学的网络模式。因此,电极的欧几里德结构可能无法充分反映信号之间的相互作用。为了填补差距,提出了一种基于图形卷积神经网络(GCNS)的新型深度学习框架,以增强在不同类型的电动机图像(MI)任务期间的原始EEG信号的解码性能,同时与电极的功能拓扑关系协作。基于绝对Pearson的总体信号矩阵,建立了EEG电极的图拉普拉斯。由图形卷积层构建的GCNS-NET学会了广义特征。遵循的汇集层减少了维度,并且完全连接的软墨幅层衍射最终预测。已介绍的方法已被证明可以为个性化和群体的预测汇聚。与现有研究相比,它分别在受试者和组级别实现了最高平均准确度,93.056%和88.57%(物理仪数据集),96.24%和80.89%(高伽玛数据集),这表明个人适应性和鲁棒性变化性。此外,在交叉验证的重复实验中,性能稳定地再现。为了得出结论,基于功能拓扑关系的GCNS-Net滤波器EEG信号,该关系管理用于解码脑电机图像的相关特征。
translated by 谷歌翻译
One of the main challenges in electroencephalogram (EEG) based brain-computer interface (BCI) systems is learning the subject/session invariant features to classify cognitive activities within an end-to-end discriminative setting. We propose a novel end-to-end machine learning pipeline, EEG-NeXt, which facilitates transfer learning by: i) aligning the EEG trials from different subjects in the Euclidean-space, ii) tailoring the techniques of deep learning for the scalograms of EEG signals to capture better frequency localization for low-frequency, longer-duration events, and iii) utilizing pretrained ConvNeXt (a modernized ResNet architecture which supersedes state-of-the-art (SOTA) image classification models) as the backbone network via adaptive finetuning. On publicly available datasets (Physionet Sleep Cassette and BNCI2014001) we benchmark our method against SOTA via cross-subject validation and demonstrate improved accuracy in cognitive activity classification along with better generalizability across cohorts.
translated by 谷歌翻译
我们在动态环境中跟踪多个物体的能力使我们能够执行日常任务,例如驾驶,运动运动和在拥挤的购物中心行走。尽管有关多个对象跟踪(MOT)任务的三十年文献,但基本和交织的神经机制仍然知之甚少。在这里,我们研究了脑电图(EEG)神经相关性及其在3D-MOT任务的三个阶段的变化,即识别,跟踪和回忆。我们记录了24名参与者的脑电图活动,而他们执行了3D-MOT任务,其中有1、2或3个目标,其中一些试验被横向进行,有些则没有。我们观察到从跟踪到回忆时,集中注意力与工作记忆过程之间似乎是一种交接。我们的发现表明,在跟踪过程中,从额叶区域的三角洲和theta频率有很强的抑制作用,随后在召回过程中对这些相同频率的激活强烈(重新)激活。我们的结果还显示了在识别阶段和召回阶段的对侧延迟活性(CDA),但在跟踪过程中没有。
translated by 谷歌翻译
在这项工作中,我们提出了一种基于从Marmoset猴的大脑收集的局部场潜在数据,提出了与帕金森病相关的新生物物理计算模型。帕金森病是一种神经退行性疾病,与大量NIGRA PARSCACTCA的多巴胺能神经元的死亡有关,这影响了大脑基底神经节 - 丘脑 - 皮质神经元电路的正常动态。尽管存在多种疾病的机制,但仍然缺少这些机制和分子发病机制的完整描述,仍然没有治愈。为了解决这种差距,已经提出了类似于动物模型中发现的神经生物学方面的计算模型。在我们的模型中,我们执行了一种数据驱动方法,其中使用差分演变优化了一组生物学限制参数。进化模型成功地类似于来自健康和Parkinsonian Marmoset脑数据的单神经元均值射击和局部场势的光谱签名。据我们所知,这是帕金森病的第一个基于来自Marmoset Monkeys的七个脑区域的同时电生理学记录的第一个计算模型。结果表明,该拟议的模型可以促进PD机制的调查,并支持可以表明新疗法的技术的发展。它还可以应用于其他计算神经科学问题,其中可以使用生物数据来适应大规模模型的脑电路。
translated by 谷歌翻译
上肢运动分类将输入信号映射到目标活动,是控制康复机器人技术的关键领域之一。分类器接受了康复系统的培训,以理解上肢无法正常工作的患者的欲望。肌电图(EMG)信号和脑电图(EEG)信号广泛用于上肢运动分类。通过分析实时脑电图和EMG信号的分类结果,系统可以理解用户的意图,并预测人们希望执行的事件。因此,它将为用户提供外部帮助,以协助一个人进行活动。但是,由于嘈杂的环境,并非所有用户都处理有效的脑电图和EMG信号。实时数据收集过程中的噪声污染了数据的有效性。此外,并非所有患者由于肌肉损伤和神经肌肉疾病而处理强大的EMG信号。为了解决这些问题,我们想提出一种新颖的决策级多传感器融合技术。简而言之,该系统将将EEG信号与EMG信号集成,从两个来源检索有效的信息以了解和预测用户的需求,从而提供帮助。通过对包含同时记录的脑电图和EMG信号的公开途径数据集进行测试,我们设法结论了新型系统的可行性和有效性。
translated by 谷歌翻译
在大脑计算机界面(BCI)研究中,记录数据耗时且昂贵,这限制了对大数据集的访问。这可能会影响BCI系统的性能,因为机器学习方法在很大程度上取决于训练数据集的大小。出现重要的问题:考虑到神经元信号特征(例如,非平稳性),我们可以通过更多数据来实现更高的解码性能来训练解码器吗?在长期BCI研究的情况下,随着时间的推移进一步改善的观点是什么?在这项研究中,我们从两个主要角度研究了长期记录对电动图像解码的影响:有关数据集大小的模型要求和患者适应的潜力。我们评估了长期BCI和四边形NCT02550522的多线性模型和两个深度学习模型(DL)模型,其中包含43个由四脑术患者执行的ECOG记录的43次会议。在实验中,参与者使用运动图像模式执行了3D虚拟手工翻译。我们设计了多个计算实验,其中增加或翻译了训练数据集,以研究模型的性能与影响记录的不同因素之间的关系。我们的分析表明,在培训数据集中添加更多数据可能不会立即提高已经包含40分钟信号的数据集的性能。与多线性模型相比,DL解码器在数据集大小上显示出类似的要求,同时证明了更高的解码性能。此外,通过在实验后面记录的相对较小的数据集获得了高解码性能,这表明运动图像模式得到改善和患者适应。最后,我们提出了UMAP嵌入和局部固有维度,以可视化数据并可能评估数据质量。
translated by 谷歌翻译
工作记忆(WM)表示在脑海中存储的信息,是人类认知领域的一个基本研究主题。可以监测大脑的电活动的脑电图(EEG)已被广泛用于测量WM的水平。但是,关键的挑战之一是个体差异可能会导致无效的结果,尤其是当既定模型符合陌生主题时。在这项工作中,我们提出了一个具有空间注意力(CS-DASA)的跨主题深层适应模型,以概括跨科目的工作负载分类。首先,我们将EEG时间序列转换为包含空间,光谱和时间信息的多帧EEG图像。首先,CS-DASA中的主题共享模块从源和目标主题中接收多帧的EEG图像数据,并学习了共同的特征表示。然后,在特定于主题的模块中,实现了最大平均差异,以测量重现的内核希尔伯特空间中的域分布差异,这可以为域适应增加有效的罚款损失。此外,采用主题对象的空间注意机制专注于目标图像数据的判别空间特征。在包含13个受试者的公共WM EEG数据集上进行的实验表明,所提出的模型能够达到比现有最新方法更好的性能。
translated by 谷歌翻译
过去几十年来看,越来越多地采用的非侵入性神经影像学技术越来越大的进步,以检查人脑发展。然而,这些改进并不一定是更复杂的数据分析措施,能够解释功能性大脑发育的机制。例如,从单变量(大脑中的单个区域)转变为多变量(大脑中的多个区域)分析范式具有重要意义,因为它允许调查不同脑区之间的相互作用。然而,尽管对发育大脑区域之间的相互作用进行了多变量分析,但应用了人工智能(AI)技术,使分析不可解释。本文的目的是了解电流最先进的AI技术可以通知功能性大脑发展的程度。此外,还审查了哪种AI技术基于由发育认知神经科学(DCN)框架所定义的大脑发展的过程来解释他们的学习。这项工作还提出说明可解释的AI(Xai)可以提供可行的方法来调查功能性大脑发育,如DCN框架的假设。
translated by 谷歌翻译
and widely used information measurement metric, particularly popularized for SSVEP- based Brain-Computer (BCI) interfaces. By combining speed and accuracy into a single-valued parameter, this metric aids in the evaluation and comparison of various target identification algorithms across different BCI communities. To accurately depict performance and inspire an end-to-end design for futuristic BCI designs, a more thorough examination and definition of ITR is therefore required. We model the symbiotic communication medium, hosted by the retinogeniculate visual pathway, as a discrete memoryless channel and use the modified capacity expressions to redefine the ITR. We use graph theory to characterize the relationship between the asymmetry of the transition statistics and the ITR gain with the new definition, leading to potential bounds on data rate performance. On two well-known SSVEP datasets, we compared two cutting-edge target identification methods. Results indicate that the induced DM channel asymmetry has a greater impact on the actual perceived ITR than the change in input distribution. Moreover, it is demonstrated that the ITR gain under the new definition is inversely correlated with the asymmetry in the channel transition statistics. Individual input customizations are further shown to yield perceived ITR performance improvements. An algorithm is proposed to find the capacity of binary classification and further discussions are given to extend such results to ensemble techniques.We anticipate that the results of our study will contribute to the characterization of the highly dynamic BCI channel capacities, performance thresholds, and improved BCI stimulus designs for a tighter symbiosis between the human brain and computer systems while enhancing the efficiency of the underlying communication resources.
translated by 谷歌翻译
由于其出色的表现,深度学习框架在脑电脑界面(BCI)学习中越来越受欢迎。然而,在单独的分类模型方面,它们被视为黑匣子,因为它们没有提供有关LED它们达到特定决定的任何信息。换句话说,我们不能说服神经生理因素是否引起了高性能或简单的噪音。由于这个缺点,与他们的高性能相比,难以确保足够的可靠性。在这项研究中,我们向BCI提出了可解释的深度学习模式。具体地,我们的目标是对从电动机图像(MI)任务中获得的EEG信号进行分类。此外,我们采用了层次的相关性传播(LRP)到模型,以解释模型导出某些分类输出的原因。我们可视化热图,该热线图表明了地形形式的LRP输出,以证明神经生理因素。此外,我们通过避免主题依赖性来分类脑电图,以学习鲁棒和广义eEG特征。该方法还提供了避免为每个主题建立培训数据的牺牲的优势。通过我们所提出的模型,我们为所有受试者获得了广义的热爱图案。结果,我们可以得出结论,我们的拟议模型提供了神经生理学上可靠的解释。
translated by 谷歌翻译