苏黎世认知语言处理语料库（Zuco）提供了来自两种读取范例，正常读取和特定任务读数的眼跟踪和脑电图信号。我们分析了机器学习方法是否能够使用眼睛跟踪和EEG功能对这两个任务进行分类。我们使用聚合的句子级别功能以及细粒度的单词级别来实现模型。我们在主题内和交叉对象评估方案中测试模型。所有模型都在Zuco 1.0和Zuco 2.0数据子集上进行测试，其特征在于不同的记录程序，因此允许不同的概括水平。最后，我们提供了一系列的控制实验，以更详细地分析结果。
translated by 谷歌翻译
在本文中，我们开发FaceQVEC，一种软件组件，用于估计ISO / IEC 19794-5中所考虑的每个要点的面部图像的符合性，这是一个质量标准，该标准定义了将它们可接受或不可接受的面部图像的一般质量指南用于官方文件，如护照或身份证。这种质量评估的工具可以有助于提高面部识别的准确性，并确定哪些因素影响给定的面部图像的质量，并采取行动消除或减少这些因素，例如，具有后处理技术或重新获取图像。 FaceQVEC由与上述标准中预期的不同点相关的25个单独测试的自动化，以及被认为与面部质量有关的图像的其他特征。我们首先包括在现实条件下捕获的开发数据集上评估的质量测试的结果。我们使用这些结果来调整每个测试的判定阈值。然后，我们再次在评估数据库中再次检查，该评估数据库包含在开发期间未见的新脸部图像。评估结果展示了个人测试的准确性，用于检查遵守ISO / IEC 19794-5。 Faceqvec可在线获取（https://github.com/uam-biometrics/faceqvec）。
translated by 谷歌翻译
在过去的十年中，电子学习已经彻底改变了学生通过随时随地获得素质教育的学习方式。然而，由于各种原因，学生经常会分心，这在很大程度上影响了学习能力。许多研究人员一直在努力提高在线教育的质量，但我们需要一个整体方法来解决这个问题。本文打算提供一种机制，该机制使用相机馈送和麦克风输入来监测在线类别期间学生的实时关注水平。我们探讨了本研究的各种图像处理技术和机器学习算法。我们提出了一个系统，它使用五个不同的非语言特征来计算基于计算机的任务期间学生的注意得分，并为学生和组织生成实时反馈。我们可以使用所产生的反馈作为启发式价值，以分析学生的整体性能以及讲师的教学标准。
translated by 谷歌翻译
在神经科学领域，脑活动分析总是被认为是一个重要领域。精神分裂症（SZ）是一种严重影响世界各地人民的思想，行为和情感的大脑障碍。在Sz检测中被证明是一种有效的生物标志物的脑电图（EEG）。由于其非线性结构，EEG是非线性时间序列信号，并利用其进行调查，这是对其的影响。本文旨在利用深层学习方法提高基于EEG基于SZ检测的性能。已经提出了一种新的混合深度学习模型（精神分裂症混合神经网络），已经提出了卷积神经网络（CNN）和长短期存储器（LSTM）的组合。 CNN网络用于本地特征提取，LSTM已用于分类。所提出的模型仅与CNN，仅限LSTM和基于机器学习的模型进行了比较。已经在两个不同的数据集上进行了评估所有模型，其中数据集1由19个科目和数据集2组成，由16个科目组成。使用不同频带上的各种参数设置并在头皮上使用不同的电极组来进行几个实验。基于所有实验，显然提出的混合模型（SZHNN）与其他现有型号相比，拟议的混合模型（SZHNN）提供了99.9％的最高分类精度。该建议的模型克服了不同频带的影响，甚至没有5个电极显示出91％的更好的精度。该拟议的模型也在智能医疗保健和远程监控应用程序的医疗器互联网上进行评估。
translated by 谷歌翻译
已经广泛地研究了使用虹膜和围眼区域作为生物特征，主要是由于虹膜特征的奇异性以及当图像分辨率不足以提取虹膜信息时的奇异区域的使用。除了提供有关个人身份的信息外，还可以探索从这些特征提取的功能，以获得其他信息，例如个人的性别，药物使用的影响，隐形眼镜的使用，欺骗等。这项工作提出了对为眼部识别创建的数据库的调查，详细说明其协议以及如何获取其图像。我们还描述并讨论了最受欢迎的眼镜识别比赛（比赛），突出了所提交的算法，只使用Iris特征和融合虹膜和周边地区信息实现了最佳结果。最后，我们描述了一些相关工程，将深度学习技术应用于眼镜识别，并指出了新的挑战和未来方向。考虑到有大量的眼部数据库，并且每个人通常都设计用于特定问题，我们认为这项调查可以广泛概述眼部生物识别学中的挑战。
translated by 谷歌翻译
我们展示了一个新的数据集和基准，其目的是在大脑活动和眼球运动的交叉口中推进研究。我们的数据集EEGEYENET包括从三种不同实验范式中收集的356个不同受试者的同时脑电图（EEG）和眼睛跟踪（ET）录像。使用此数据集，我们还提出了一种评估EEG测量的凝视预测的基准。基准由三个任务组成，难度越来越高：左右，角度幅度和绝对位置。我们在该基准测试中运行大量实验，以便根据经典机器学习模型和大型神经网络提供实心基线。我们释放了我们的完整代码和数据，并提供了一种简单且易于使用的界面来评估新方法。
translated by 谷歌翻译
眼目光信息的收集为人类认知，健康和行为的许多关键方面提供了一个窗口。此外，许多神经科学研究补充了从眼睛跟踪中获得的行为信息，以及脑电图（EEG）提供的高时间分辨率和神经生理学标记。必不可少的眼睛跟踪软件处理步骤之一是将连续数据流的分割为与扫视，固定和眨眼等眼睛跟踪应用程序相关的事件。在这里，我们介绍了Detrtime，这是一个新颖的时间序列分割框架，该框架创建了不需要额外记录的眼睛跟踪模式并仅依靠脑电图数据的眼部事件检测器。我们的端到端基于深度学习的框架将计算机视觉的最新进展带到了脑电图数据的《时代》系列分割的最前沿。 Detr Time在各种眼睛追踪实验范式上实现眼部事件检测中的最新性能。除此之外，我们还提供了证据表明我们的模型在脑电图阶段分割的任务中很好地概括了。
translated by 谷歌翻译
在脑电图（EEG）的驾驶员的背景下，设计无校准系统仍然具有挑战性，因为EEG信号在不同的主题和录音会话之间显着变化。已经努力使用EEG信号的深度学习方法来利用精神状态识别。然而，现有工作主要将深入学习模型视为黑匣子分类器，而模型已经学习的是什么以及它们在脑电图数据中受到噪声的影响仍然是曝光的。在本文中，我们开发了一种新颖的卷积神经网络，可以通过突出显示包含分类重要信息的输入样本的本地区域来解释其决定。该网络具有紧凑的结构，利用可分离卷曲来处理空间序列中的EEG信号。结果表明，该模型在11个受试者上实现了78.35％的平均准确性，用于休假交叉对象嗜睡识别，其高于传统的基线方法为53.4％-72.68％和最先进的深层学习方法63.90％-65.78％。可视化结果表明，该模型已经学会了识别EEG信号的生物学可解释的特征，例如，α主轴，作为不同受试者的嗜睡的强指标。此外，我们还探讨了一些错误分类的样本背后的原因，具有可视化技术，并讨论了提高识别准确性的潜在方法。我们的作品说明了使用可解释的深度学习模型的有希望的方向，以从复杂的EEG信号发现与不同心理状态相关的有意义的模式。
translated by 谷歌翻译
近年来，基于生理信号的认证表现出伟大的承诺，因为其固有的对抗伪造的鲁棒性。心电图（ECG）信号是最广泛研究的生物关像，也在这方面获得了最高的关注。已经证明，许多研究通过分析来自不同人的ECG信号，可以识别它们，可接受的准确性。在这项工作中，我们展示了EDITH，EDITH是一种基于深入的ECG生物识别认证系统的框架。此外，我们假设并证明暹罗架构可以在典型的距离指标上使用，以提高性能。我们使用4个常用的数据集进行了评估了伊迪丝，并使用少量节拍表现优于先前的工作。 Edith使用仅单一的心跳（精度为96-99.75％）进行竞争性，并且可以通过融合多个节拍（从3到6个节拍的100％精度）进一步提高。此外，所提出的暹罗架构管理以将身份验证等错误率（eer）降低至1.29％。具有现实世界实验数据的Edith的有限案例研究还表明其作为实际认证系统的潜力。
translated by 谷歌翻译
针灸是一种技术，从业者刺激身体上的特定点。这些点，称为针灸点（或穴位），解剖学上限定皮肤上的区域相对于身体上的一些地标。传统针灸治疗依靠经验丰富的针灸师进行精确定位穴位。由于缺乏视觉线索，新手通常会发现它很难。该项目提供了Faceatlasar，一个原型系统，在增强现实（AR）上下文中定位和可视化面部穴位。该系统旨在以解剖学但可行的方式定位面部穴位和耳廓区域图，2）通过AR中的类别覆盖所要求的穴位，3）在耳朵上显示檐耳区图。我们采用MediaPipe，一个跨平台机器学习框架，构建在桌面和Android手机上运行的管道。我们在不同的基准上执行实验，包括“野外”，AMI EAR数据集和我们自己的注释数据集。结果显示面部穴位的定位精度为95％，99％/ 97％（“野生”/ ami）用于耳廓区域地图和高稳健性。通过该系统，用户甚至不是专业人士，可以快速定位穴位以获得自我压缩处理。
translated by 谷歌翻译
目的：提出使用深神经网络（DNN）的新型SSVEP分类方法，提高单通道和用户独立的脑电电脑接口（BCIS）的性能，具有小的数据长度。方法：我们建议与DNN结合使用过滤器组（创建EEG信号的子带分量）。在这种情况下，我们创建了三种不同的模型：经常性的神经网络（FBRNN）分析时域，2D卷积神经网络（FBCNN-2D）处理复谱特征和3D卷积神经网络（FBCNN-3D）分析复杂谱图，我们在本研究中介绍了SSVEP分类的可能输入。我们通过开放数据集培训了我们的神经网络，并构思了它们，以便不需要从最终用户校准：因此，测试主题数据与训练和验证分开。结果：带滤波器银行的DNN超越了类似网络的准确性，在没有相当大的边距（高达4.6％）的情况下，它们甚至更高的边距（高达7.1％）超越了常见的SSVEP分类方法（SVM和FBCCA） 。在使用过滤器银行中的三个DNN中，FBRNN获得了最佳结果，然后是FBCNN-3D，最后由FBCNN-2D获得。结论和意义：滤波器银行允许不同类型的深神经网络，以更有效地分析SSVEP的谐波分量。复谱图比复杂频谱特征和幅度谱进行更多信息，允许FBCNN-3D超越另一个CNN。在具有挑战性的分类问题中获得的平均测试精度（87.3％）和F1分数（0.877）表示施工，经济，快速和低延迟BCIS建设的强大潜力。
translated by 谷歌翻译
视觉关注估计是不同学科的十字路口的一个积极的研究领域：计算机视觉，人工智能和医学。估计表示关注的显着图的最常见方法之一是基于观察到的图像。在本文中，我们表明可以从EEG采集中检索视觉注意力。结果与观察到的图像的传统预测相当，这具有很大的兴趣。为此目的，已经记录了一组信号，并且已经开发出不同的模型来研究视觉关注与大脑活动之间的关系。结果令人鼓舞，与其他方式的其他方法令人鼓舞，与其他方式相比。本文考虑的代码和数据集已在\ URL {https://figshare.com/s/3e353bd1c621962888AD}中提供，以促进该领域的研究。
translated by 谷歌翻译
闭环大脑刺激是指捕获诸如脑电图（EEG）之类的神经生理学措施，迅速识别感兴趣的神经事件，并产生听觉，磁性或电刺激，从而精确地与大脑过程相互作用。这是一种基本神经科学的新方法，也许是临床应用，例如恢复降解记忆功能；但是，现有工具很昂贵，繁琐，并且具有有限的实验灵活性。在本文中，我们提出了Portiloop，这是一种基于深度学习的，便携式和低成本的闭环刺激系统，能够靶向特定的脑振荡。我们首先记录可以从市售组件构建的开放式软件实现。我们还提供了快速，轻巧的神经网络模型和探索算法，该算法自动优化了所需的脑振荡的模型超参数。最后，我们在实时睡眠主轴检测的具有挑战性的测试案例中验证了该技术，结果可与大规模在线数据注释主轴数据集（MODA；组共识）上的离线专家绩效相当。社区可以提供软件和计划，作为开放科学计划，旨在鼓励进一步开发并推动闭环神经科学研究。
translated by 谷歌翻译
意识检测技术一直在各种企业中获得牵引力;最常用于驾驶员疲劳检测，最近的研究已经转向使用计算机视觉技术来分析在线教室等环境中的用户注意。本文旨在通过分析预测意识和疲劳的最大贡献，扩展了以前的分支检测研究。我们利用开源面部分析工具包OpenFace，以分析不同程度的注意力水平的受试者的视觉数据。然后，使用支持向量机（SVM），我们创建了几种用于用户注意的预测模型，并识别导向渐变（HOG）和动作单位的直方图，是我们测试的功能的最大预测因子。我们还将这种SVM的性能与利用卷积和/或经常性神经网络（CNN和CRNN）的性能进行了比较了这种SVM的性能。有趣的是，CRNN似乎没有比他们的CNN同行更好地表现出来。虽然深入学习方法实现了更大的预测精度，但使用较少的资源，使用某些参数来利用SVMS，能够逼近深度学习方法的性能。
translated by 谷歌翻译
情感估计是一个积极的研究领域，对人与计算机之间的互动产生了重要影响。在评估情绪的不同方式中，代表电脑活动的脑电图（EEG）在过去十年中呈现了激励结果。 EEG的情感估计可以有助于某些疾病的诊断或康复。在本文中，我们提出了一种考虑到专家定义的生理学知识，与最初致力于计算机视觉的新型深度学习（DL）模型。具有模型显着性分析的联合学习得到了增强。为了呈现全局方法，该模型已经在四个公共可用数据集中进行了评估，并实现了与TheS-of TheakeS的方法和优于两个所提出的数据集的结果，其具有较低标准偏差的较高的稳定性。为获得再现性，本文提出的代码和模型可在Github.com/vdelv/emotion-eeg中获得。
translated by 谷歌翻译
我们提出了一条新型的神经管道Msgazenet，该管道通过通过多发射框架利用眼睛解剖学信息来学习凝视的表示。我们提出的解决方案包括两个组件，首先是一个用于隔离解剖眼区域的网络，以及第二个用于多发达凝视估计的网络。眼睛区域的隔离是通过U-NET样式网络进行的，我们使用合成数据集训练该网络，该数据集包含可见眼球和虹膜区域的眼睛区域掩模。此阶段使用的合成数据集是一个由60,000张眼睛图像组成的新数据集，我们使用眼视线模拟器Unityeyes创建。然后将眼睛区域隔离网络转移到真实域，以生成真实世界图像的面具。为了成功进行转移，我们在训练过程中利用域随机化，这允许合成图像从较大的差异中受益，并在类似于伪影的增强的帮助下从更大的差异中受益。然后，生成的眼睛区域掩模与原始眼睛图像一起用作我们凝视估计网络的多式输入。我们在三个基准凝视估计数据集（Mpiigaze，Eyediap和Utmultiview）上评估框架，在那里我们通过分别获得7.57％和1.85％的性能，在Eyediap和Utmultiview数据集上设置了新的最新技术Mpiigaze的竞争性能。我们还研究了方法在数据中的噪声方面的鲁棒性，并证明我们的模型对噪声数据不太敏感。最后，我们执行各种实验，包括消融研究，以评估解决方案中不同组件和设计选择的贡献。
translated by 谷歌翻译
与经典信号处理和基于机器学习的框架相比，基于深度学习的方法基于深度学习的方法显着提高了分类准确性。但大多数是由于脑电图数据中存在的受试者间可变性而无法概括对象无关的任务的主题依赖性研究。在这项工作中，提出了一种新的深度学习框架，其能够进行独立的情感识别，由两部分组成。首先，提出了具有通道关注自动泊车的无监督的长短期存储器（LSTM），用于获取主体不变的潜航向量子空间，即每个人的EEG数据中存在的内部变量。其次，提出了一种具有注意力框架的卷积神经网络（CNN），用于对从提出的LSTM获得的编码的较低的潜在空间表示对具有通道 - 注意自身形拓的编码的低潜空间表示的任务。通过注意机制，所提出的方法可以突出EEG信号的显着时间段，这有助于所考虑的情绪，由结果验证。已经使用公共数据集进行了验证的方法，用于EEG信号，例如Deap DataSet，SEED数据集和CHB-MIT数据集。所提出的端到端深度学习框架消除了不同手工工程特征的要求，并提供了一个单一的全面任务不可知性EEG分析工具，能够对主题独立数据进行各种EEG分析。
translated by 谷歌翻译
基于全面的生物识别是一个广泛的研究区域。然而，仅使用部分可见的面，例如在遮盖的人的情况下，是一个具有挑战性的任务。在这项工作中使用深卷积神经网络（CNN）来提取来自遮盖者面部图像的特征。我们发现，第六和第七完全连接的层，FC6和FC7分别在VGG19网络的结构中提供了鲁棒特征，其中这两层包含4096个功能。这项工作的主要目标是测试基于深度学习的自动化计算机系统的能力，不仅要识别人，还要对眼睛微笑等性别，年龄和面部表达的认可。我们的实验结果表明，我们为所有任务获得了高精度。最佳记录的准确度值高达99.95％，用于识别人员，99.9％，年龄识别的99.9％，面部表情（眼睛微笑）认可为80.9％。
translated by 谷歌翻译
生物医学决策涉及来自不同传感器或来自不同信道的多个信号处理。在这两种情况下，信息融合发挥着重要作用。在脑电图循环交替模式中，在这项工作中进行了深度学习的脑电图通道的特征级融合。通过两个优化算法，即遗传算法和粒子群优化优化了频道选择，融合和分类程序。通过融合来自多个脑电图信道的信息来评估开发的方法，用于夜间胸癫痫和没有任何神经疾病的患者的患者，与其他艺术艺术的工作相比，这在显着更具挑战性。结果表明，两种优化算法都选择了一种具有类似特征级融合的可比结构，包括三个脑电图通道，这与帽协议一致，以确保多个通道的唤起帽检测。此外，两种优化模型在接收器的工作特性曲线下达到了0.82的一个区域，平均精度为77％至79％，这是在专业协议的上部范围内的结果。尽管数据集是困难的数据集，所提出的方法仍处于最佳状态的上层，并且具有困难的数据集，并且具有在不需要任何手动过程的情况下提供全自动分析的优点。最终，模型显示出抗噪声和有弹性的多声道损耗。
translated by 谷歌翻译
对医疗保健监控的远程工具的需求从未如此明显。摄像机测量生命体征利用成像装置通过分析人体的图像来计算生理变化。建立光学，机器学习，计算机视觉和医学的进步这些技术以来的数码相机的发明以来已经显着进展。本文介绍了对生理生命体征的相机测量综合调查，描述了它们可以测量的重要标志和实现所做的计算技术。我涵盖了临床和非临床应用以及这些应用需要克服的挑战，以便从概念上推进。最后，我描述了对研究社区可用的当前资源（数据集和代码），并提供了一个全面的网页（https://cameravitals.github.io/），其中包含这些资源的链接以及其中引用的所有文件的分类列表文章。
translated by 谷歌翻译