我们展示了一个新的数据集和基准，其目的是在大脑活动和眼球运动的交叉口中推进研究。我们的数据集EEGEYENET包括从三种不同实验范式中收集的356个不同受试者的同时脑电图（EEG）和眼睛跟踪（ET）录像。使用此数据集，我们还提出了一种评估EEG测量的凝视预测的基准。基准由三个任务组成，难度越来越高：左右，角度幅度和绝对位置。我们在该基准测试中运行大量实验，以便根据经典机器学习模型和大型神经网络提供实心基线。我们释放了我们的完整代码和数据，并提供了一种简单且易于使用的界面来评估新方法。

眼目光信息的收集为人类认知，健康和行为的许多关键方面提供了一个窗口。此外，许多神经科学研究补充了从眼睛跟踪中获得的行为信息，以及脑电图（EEG）提供的高时间分辨率和神经生理学标记。必不可少的眼睛跟踪软件处理步骤之一是将连续数据流的分割为与扫视，固定和眨眼等眼睛跟踪应用程序相关的事件。在这里，我们介绍了Detrtime，这是一个新颖的时间序列分割框架，该框架创建了不需要额外记录的眼睛跟踪模式并仅依靠脑电图数据的眼部事件检测器。我们的端到端基于深度学习的框架将计算机视觉的最新进展带到了脑电图数据的《时代》系列分割的最前沿。 Detr Time在各种眼睛追踪实验范式上实现眼部事件检测中的最新性能。除此之外，我们还提供了证据表明我们的模型在脑电图阶段分割的任务中很好地概括了。

苏黎世认知语言处理语料库（Zuco）提供了来自两种读取范例，正常读取和特定任务读数的眼跟踪和脑电图信号。我们分析了机器学习方法是否能够使用眼睛跟踪和EEG功能对这两个任务进行分类。我们使用聚合的句子级别功能以及细粒度的单词级别来实现模型。我们在主题内和交叉对象评估方案中测试模型。所有模型都在Zuco 1.0和Zuco 2.0数据子集上进行测试，其特征在于不同的记录程序，因此允许不同的概括水平。最后，我们提供了一系列的控制实验，以更详细地分析结果。

使用脑电图（EEG）信号进行眼睛追踪（ET）预测的主要挑战是基准数据和现实世界数据之间的分布模式的差异以及来自多个来源大脑信号的意外干扰引起的噪声。因此，增加机器学习模型在预测脑电图数据中的眼神跟踪位置方面的鲁棒性是研究和消费者使用的组成部分。在医学研究中，已经探索了更复杂的数据收集方法来测试更简单的任务，以解决这个问题。在这项研究中，我们为EEG-ET数据收集提出了一种细颗粒数据方法，以创建更强大的基准测试。我们训练机器学习模型利用粗粒和细粒数据，并在对相似/不同分布模式的数据进行测试时比较其准确性，以确定易感的EEG-EEG-EEG-EEG-EEG基准分配分布数据的差异。我们应用协变量分布转移来测试这种敏感性。结果表明，与在粗粒细粒，二进制分类的数据中训练的模型相比，接受细粒度，基于媒介的数据训练的模型不容易分布。

注意缺陷/多动症（ADHD）是一种神经发育障碍，高度流行，需要临床专家才能诊断。众所周知，个人的观察行为反映在眼睛运动中，直接与注意机制和高阶认知过程有关。因此，我们探讨了是否可以根据记录的眼动动作以及在免费观看任务中的视频刺激信息进行检测到多动症。为此，我们开发了一个基于端到端的深度学习序列模型％，该模型％使用眼动扫描路径，我们将其预先培训在相关任务上，该任务可获得更多数据。我们发现该方法实际上能够检测ADHD并胜过相关的基线。我们在消融研究中研究了输入特征的相关性。有趣的是，我们发现该模型的性能与视频内容密切相关，该视频为未来的实验设计提供了见解。

我们在动态环境中跟踪多个物体的能力使我们能够执行日常任务，例如驾驶，运动运动和在拥挤的购物中心行走。尽管有关多个对象跟踪（MOT）任务的三十年文献，但基本和交织的神经机制仍然知之甚少。在这里，我们研究了脑电图（EEG）神经相关性及其在3D-MOT任务的三个阶段的变化，即识别，跟踪和回忆。我们记录了24名参与者的脑电图活动，而他们执行了3D-MOT任务，其中有1、2或3个目标，其中一些试验被横向进行，有些则没有。我们观察到从跟踪到回忆时，集中注意力与工作记忆过程之间似乎是一种交接。我们的发现表明，在跟踪过程中，从额叶区域的三角洲和theta频率有很强的抑制作用，随后在召回过程中对这些相同频率的激活强烈（重新）激活。我们的结果还显示了在识别阶段和召回阶段的对侧延迟活性（CDA），但在跟踪过程中没有。

阅读理解是一个复杂的认知过程，涉及许多人类大脑活动。大量作品研究了在信息检索相关方案中阅读理解的模式和注意力分配。但是，关于阅读理解过程中人脑中发生的事情以及这些认知活动如何影响信息检索过程，知之甚少。此外，随着脑成像技术（例如脑电图（EEG））的进步，几乎可以实时收集大脑信号，并探索是否可以用作反馈来促进信息获取性能。在本文中，我们仔细设计了一项基于实验室的用户研究，以调查阅读理解过程中的大脑活动。我们的发现表明，神经反应随着不同类型的阅读内容而变化，即可以满足用户信息需求和无法无法满足的内容的内容。我们建议在阅读理解过程中以微观时间量表以微观时间量表来支持各种认知活动，例如认知负载，语义主题理解和推论处理。从这些发现中，我们说明了一些有关信息检索任务的见解，例如排名模型构建和界面设计。此外，我们建议有可能检测主动现实世界系统的阅读理解状态。为此，我们为基于脑电图的阅读理解建模（UERCM）提出了一个统一的框架。为了验证其有效性，我们基于脑电图特征进行了大量的实验，以进行两项阅读理解任务：回答句子分类和回答提取。结果表明，通过大脑信号提高两个任务的性能是可行的。

近年来，神经科学家一直对脑部计算机界面（BCI）设备的开发感兴趣。患有运动障碍的患者可能会受益于BCIS作为通讯手段和恢复运动功能。脑电图（EEG）是评估神经元活性的最常用之一。在许多计算机视觉应用中，深度神经网络（DNN）都具有显着优势。为了最终使用DNN，我们在这里提出了一个浅神经网络，该网络主要使用两个卷积神经网络（CNN）层，其参数相对较少，并且快速从脑电图中学习光谱时期特征。我们将该模型与其他三个神经网络模型进行了比较，其深度不同于精神算术任务，该模型使用了针对患有运动障碍的患者和视觉功能下降的患者进行的眼神闭合状态。实验结果表明，浅CNN模型的表现优于所有其他模型，并达到了90.68％的最高分类精度。处理跨主题分类问题也更加健壮：准确性的标准偏差仅为3％，而不是传统方法的15.6％。

神经记录的进展现在在前所未有的细节中研究神经活动的机会。潜在的变量模型（LVMS）是用于分析各种神经系统和行为的丰富活动的有希望的工具，因为LVM不依赖于活动与外部实验变量之间的已知关系。然而，目前缺乏标准化目前阻碍了对神经元群体活性的LVM进行的进展，导致采用临时方式进行和比较方法。为协调这些建模工作，我们为神经人群活动的潜在变量建模介绍了基准套件。我们从认知，感官和机动领域策划了四种神经尖峰活动的数据集，以促进适用于这些地区各地的各种活动的模型。我们将无监督的评估视为用于评估数据集的模型的共同框架，并应用几个显示基准多样性的基线。我们通过评估释放此基准。 http://neurallatents.github.io.

生物视觉系统的神经基础在实验上研究很具有挑战性，特别是因为相对于视觉输入，神经元活性变得越来越非线性。人工神经网络（ANN）可以为改善我们对这一复杂系统的理解提供各种目标，不仅充当硅中新假设产生的感觉皮层的预测数字双胞胎，而且还融合了生物启发的建筑主题，以逐步桥接桥梁生物和机器视觉之间的差距。该鼠标最近已成为研究视觉信息处理的流行模型系统，但是尚未确定识别鼠标视觉系统最新模型的标准化大规模基准。为了填补这一空白，我们提出了感官基准竞赛。我们从小鼠初级视觉皮层中收集了一个大规模数据集，其中包含七个小鼠的28,000多个神经元的反应，并通过数千个自然图像刺激，以及同时的行为测量，包括跑步速度，瞳孔扩张和眼动。基准挑战将基于固定测试集​​中神经元响应的预测性能对模型进行对模型，其中包括两个模型输入的轨道，仅限于刺激（感觉到）或刺激加行为（感觉符号+）。我们提供一个起始套件，以降低进入障碍的障碍，包括教程，预训练的基线模型以及带有一条线命令以进行数据加载和提交的API。我们希望将其视为定期挑战和数据发布的起点，也是衡量鼠标视觉系统及其他大规模神经系统识别模型中进度的标准工具。

视觉关注估计是不同学科的十字路口的一个积极的研究领域：计算机视觉，人工智能和医学。估计表示关注的显着图的最常见方法之一是基于观察到的图像。在本文中，我们表明可以从EEG采集中检索视觉注意力。结果与观察到的图像的传统预测相当，这具有很大的兴趣。为此目的，已经记录了一组信号，并且已经开发出不同的模型来研究视觉关注与大脑活动之间的关系。结果令人鼓舞，与其他方式的其他方法令人鼓舞，与其他方式相比。本文考虑的代码和数据集已在\ URL {https://figshare.com/s/3e353bd1c621962888AD}中提供，以促进该领域的研究。

One of the main challenges in electroencephalogram (EEG) based brain-computer interface (BCI) systems is learning the subject/session invariant features to classify cognitive activities within an end-to-end discriminative setting. We propose a novel end-to-end machine learning pipeline, EEG-NeXt, which facilitates transfer learning by: i) aligning the EEG trials from different subjects in the Euclidean-space, ii) tailoring the techniques of deep learning for the scalograms of EEG signals to capture better frequency localization for low-frequency, longer-duration events, and iii) utilizing pretrained ConvNeXt (a modernized ResNet architecture which supersedes state-of-the-art (SOTA) image classification models) as the backbone network via adaptive finetuning. On publicly available datasets (Physionet Sleep Cassette and BNCI2014001) we benchmark our method against SOTA via cross-subject validation and demonstrate improved accuracy in cognitive activity classification along with better generalizability across cohorts.

闭环大脑刺激是指捕获诸如脑电图（EEG）之类的神经生理学措施，迅速识别感兴趣的神经事件，并产生听觉，磁性或电刺激，从而精确地与大脑过程相互作用。这是一种基本神经科学的新方法，也许是临床应用，例如恢复降解记忆功能；但是，现有工具很昂贵，繁琐，并且具有有限的实验灵活性。在本文中，我们提出了Portiloop，这是一种基于深度学习的，便携式和低成本的闭环刺激系统，能够靶向特定的脑振荡。我们首先记录可以从市售组件构建的开放式软件实现。我们还提供了快速，轻巧的神经网络模型和探索算法，该算法自动优化了所需的脑振荡的模型超参数。最后，我们在实时睡眠主轴检测的具有挑战性的测试案例中验证了该技术，结果可与大规模在线数据注释主轴数据集（MODA；组共识）上的离线专家绩效相当。社区可以提供软件和计划，作为开放科学计划，旨在鼓励进一步开发并推动闭环神经科学研究。

在脑电图（EEG）的驾驶员的背景下，设计无校准系统仍然具有挑战性，因为EEG信号在不同的主题和录音会话之间显着变化。已经努力使用EEG信号的深度学习方法来利用精神状态识别。然而，现有工作主要将深入学习模型视为黑匣子分类器，而模型已经学习的是什么以及它们在脑电图数据中受到噪声的影响仍然是曝光的。在本文中，我们开发了一种新颖的卷积神经网络，可以通过突出显示包含分类重要信息的输入样本的本地区域来解释其决定。该网络具有紧凑的结构，利用可分离卷曲来处理空间序列中的EEG信号。结果表明，该模型在11个受试者上实现了78.35％的平均准确性，用于休假交叉对象嗜睡识别，其高于传统的基线方法为53.4％-72.68％和最先进的深层学习方法63.90％-65.78％。可视化结果表明，该模型已经学会了识别EEG信号的生物学可解释的特征，例如，α主轴，作为不同受试者的嗜睡的强指标。此外，我们还探讨了一些错误分类的样本背后的原因，具有可视化技术，并讨论了提高识别准确性的潜在方法。我们的作品说明了使用可解释的深度学习模型的有希望的方向，以从复杂的EEG信号发现与不同心理状态相关的有意义的模式。

脑电图（EEG）解码旨在识别基于非侵入性测量的脑活动的神经处理的感知，语义和认知含量。当应用于在静态，受控的实验室环境中获取的数据时，传统的EEG解码方法取得了适度的成功。然而，开放世界的环境是一个更现实的环境，在影响EEG录音的情况下，可以意外地出现，显着削弱了现有方法的鲁棒性。近年来，由于其在特征提取的卓越容量，深入学习（DL）被出现为潜在的解决方案。它克服了使用浅架构提取的“手工制作”功能或功能的限制，但通常需要大量的昂贵，专业标记的数据 - 并不总是可获得的。结合具有域特定知识的DL可能允许开发即使具有小样本数据，也可以开发用于解码大脑活动的鲁棒方法。虽然已经提出了各种DL方法来解决EEG解码中的一些挑战，但目前缺乏系统的教程概述，特别是对于开放世界应用程序。因此，本文为开放世界EEG解码提供了对DL方法的全面调查，并确定了有前途的研究方向，以激发现实世界应用中的脑电图解码的未来研究。

The access to activity of subcortical structures offers unique opportunity for building intention dependent brain-computer interfaces, renders abundant options for exploring a broad range of cognitive phenomena in the realm of affective neuroscience including complex decision making processes and the eternal free-will dilemma and facilitates diagnostics of a range of neurological deceases. So far this was possible only using bulky, expensive and immobile fMRI equipment. Here we present an interpretable domain grounded solution to recover the activity of several subcortical regions from the multichannel EEG data and demonstrate up to 60% correlation between the actual subcortical blood oxygenation level dependent sBOLD signal and its EEG-derived twin. Then, using the novel and theoretically justified weight interpretation methodology we recover individual spatial and time-frequency patterns of scalp EEG predictive of the hemodynamic signal in the subcortical nuclei. The described results not only pave the road towards wearable subcortical activity scanners but also showcase an automatic knowledge discovery process facilitated by deep learning technology in combination with an interpretable domain constrained architecture and the appropriate downstream task.

在过去的几年中，深度学习用于脑电图（EEG）分类任务一直在迅速增长，但其应用程序受到EEG数据集相对较小的限制。数据扩展包括在培训过程中人为地增加数据集的大小，它一直是在计算机视觉或语音等应用程序中获得最新性能的关键要素。尽管文献中已经提出了一些脑电图数据的增强转换，但它们对跨任务的绩效的积极影响仍然难以捉摸。在这项工作中，我们提出了对主要现有脑电图增强的统一和详尽的分析，该分析在常见的实验环境中进行了比较。我们的结果强调了为睡眠阶段分类和大脑计算机界面界面的最佳数据增强，在某些情况下显示预测功率改善大于10％。

上肢运动分类将输入信号映射到目标活动，是控制康复机器人技术的关键领域之一。分类器接受了康复系统的培训，以理解上肢无法正常工作的患者的欲望。肌电图（EMG）信号和脑电图（EEG）信号广泛用于上肢运动分类。通过分析实时脑电图和EMG信号的分类结果，系统可以理解用户的意图，并预测人们希望执行的事件。因此，它将为用户提供外部帮助，以协助一个人进行活动。但是，由于嘈杂的环境，并非所有用户都处理有效的脑电图和EMG信号。实时数据收集过程中的噪声污染了数据的有效性。此外，并非所有患者由于肌肉损伤和神经肌肉疾病而处理强大的EMG信号。为了解决这些问题，我们想提出一种新颖的决策级多传感器融合技术。简而言之，该系统将将EEG信号与EMG信号集成，从两个来源检索有效的信息以了解和预测用户的需求，从而提供帮助。通过对包含同时记录的脑电图和EMG信号的公开途径数据集进行测试，我们设法结论了新型系统的可行性和有效性。

衡量心理工作量的主要原因是量化执行任务以预测人类绩效的认知成本。不幸的是，一种评估具有一般适用性的心理工作量的方法。这项研究提出了一种新型的自我监督方法，用于从脑电图数据中使用深度学习和持续的大脑率，即认知激活的指标，而无需人类声明性知识，从而从脑电图数据进行了精神负荷建模。该方法是可培训的卷积复发性神经网络，该神经网络可通过空间保留脑电图数据的光谱地形图训练，以适合大脑速率变量。发现证明了卷积层从脑电图数据中学习有意义的高级表示的能力，因为受试者内模型的测试平均绝对百分比误差平均为11％。尽管确实提高了其准确性，但增加了用于处理高级表示序列的长期期内存储层并不重要。发现指出，认知激活的高级高水平表示存在准稳定的块，因为它们可以通过卷积诱导，并且似乎随着时间的流逝而彼此依赖，从而直观地与大脑反应的非平稳性质相匹配。跨主体模型，从越来越多的参与者的数据诱导，因此包含更多的可变性，获得了与受试者内模型相似的精度。这突出了人们在人们之间诱发的高级表示的潜在普遍性，这表明存在非依赖于受试者的认知激活模式。这项研究通过为学者提供一种用于心理工作负载建模的新型计算方法来促进知识的体系，该方法旨在通常适用，不依赖于支持可复制性和可复制性的临时人工制作的模型。

基于电动机图像（MI）的脑电脑界面（BCIS）允许通过解码神经生理现象来控制几种应用，这些现象通常通过使用非侵入性技术被脑电图（EEG）记录。尽管在基于MI的BCI的进展方面很大，但脑电图有特定于受试者和各种变化随时间。这些问题指出了提高分类绩效的重大挑战，特别是在独立的方式。为了克服这些挑战，我们提出了Min2Net，这是一个新的端到端多任务学习来解决这项任务。我们将深度度量学习集成到多任务AutoEncoder中，以从脑电图中学习紧凑且识别的潜在表示，并同时执行分类。这种方法降低了预处理的复杂性，导致EEG分类的显着性能改善。实验结果以本语独立的方式表明，MIN2Net优于最先进的技术，在SMR-BCI和OpenBMI数据集中分别实现了6.72％的F1分数提高，以及2.23％。我们证明MIN2NET在潜在代表中提高了歧视信息。本研究表明使用此模型的可能性和实用性为新用户开发基于MI的BCI应用，而无需校准。