这项工作提出了基于眼闪烁频率的远程关注水平估计的可行性研究。我们首先提出了一种基于卷积神经网络(CNNS)的眼睛闪烁检测系统,对相关工程非常竞争。使用此探测器,我们通过在线会话期间通过实验评估眼睛眨眼率与学生的注意力水平之间的关系。实验框架是使用公共多模式数据库进行的用于眼睛眨眼检测和称为Mebal的注意力水平估计,包括来自38名学生的数据和倍数采集传感器,特别是i)提供时间信号的脑电图(EEG)频带从学生的认知信息和ii)RGB和NIR相机捕捉学生面部姿势。实现的结果表明眼睛闪烁频率与关注水平之间的反比相关性。在我们所提出的方法中使用该关系,称为ALEBK,用于估计注意力水平作为眼睛闪烁频率的倒数。我们的成果开设了新的研究线,以介绍这种技术的关注水平估计,以及这种行为生物识别基于面部分析的其他应用。
translated by 谷歌翻译
We present edBB-Demo, a demonstrator of an AI-powered research platform for student monitoring in remote education. The edBB platform aims to study the challenges associated to user recognition and behavior understanding in digital platforms. This platform has been developed for data collection, acquiring signals from a variety of sensors including keyboard, mouse, webcam, microphone, smartwatch, and an Electroencephalography band. The information captured from the sensors during the student sessions is modelled in a multimodal learning framework. The demonstrator includes: i) Biometric user authentication in an unsupervised environment; ii) Human action recognition based on remote video analysis; iii) Heart rate estimation from webcam video; and iv) Attention level estimation from facial expression analysis.
translated by 谷歌翻译
In education and intervention programs, user engagement has been identified as a major factor in successful program completion. Automatic measurement of user engagement provides helpful information for instructors to meet program objectives and individualize program delivery. In this paper, we present a novel approach for video-based engagement measurement in virtual learning programs. We propose to use affect states, continuous values of valence and arousal extracted from consecutive video frames, along with a new latent affective feature vector and behavioral features for engagement measurement. Deep-learning sequential models are trained and validated on the extracted frame-level features. In addition, due to the fact that engagement is an ordinal variable, we develop the ordinal versions of the above models in order to address the problem of engagement measurement as an ordinal classification problem. We evaluated the performance of the proposed method on the only two publicly available video engagement measurement datasets, DAiSEE and EmotiW-EW, containing videos of students in online learning programs. Our experiments show a state-of-the-art engagement level classification accuracy of 67.4% on the DAiSEE dataset, and a regression mean squared error of 0.0508 on the EmotiW-EW dataset. Our ablation study shows the effectiveness of incorporating affect states and ordinality of engagement in engagement measurement.
translated by 谷歌翻译
在本文中,我们开发FaceQVEC,一种软件组件,用于估计ISO / IEC 19794-5中所考虑的每个要点的面部图像的符合性,这是一个质量标准,该标准定义了将它们可接受或不可接受的面部图像的一般质量指南用于官方文件,如护照或身份证。这种质量评估的工具可以有助于提高面部识别的准确性,并确定哪些因素影响给定的面部图像的质量,并采取行动消除或减少这些因素,例如,具有后处理技术或重新获取图像。 FaceQVEC由与上述标准中预期的不同点相关的25个单独测试的自动化,以及被认为与面部质量有关的图像的其他特征。我们首先包括在现实条件下捕获的开发数据集上评估的质量测试的结果。我们使用这些结果来调整每个测试的判定阈值。然后,我们再次在评估数据库中再次检查,该评估数据库包含在开发期间未见的新脸部图像。评估结果展示了个人测试的准确性,用于检查遵守ISO / IEC 19794-5。 Faceqvec可在线获取(https://github.com/uam-biometrics/faceqvec)。
translated by 谷歌翻译
在神经科学领域,脑活动分析总是被认为是一个重要领域。精神分裂症(SZ)是一种严重影响世界各地人民的思想,行为和情感的大脑障碍。在Sz检测中被证明是一种有效的生物标志物的脑电图(EEG)。由于其非线性结构,EEG是非线性时间序列信号,并利用其进行调查,这是对其的影响。本文旨在利用深层学习方法提高基于EEG基于SZ检测的性能。已经提出了一种新的混合深度学习模型(精神分裂症混合神经网络),已经提出了卷积神经网络(CNN)和长短期存储器(LSTM)的组合。 CNN网络用于本地特征提取,LSTM已用于分类。所提出的模型仅与CNN,仅限LSTM和基于机器学习的模型进行了比较。已经在两个不同的数据集上进行了评估所有模型,其中数据集1由19个科目和数据集2组成,由16个科目组成。使用不同频带上的各种参数设置并在头皮上使用不同的电极组来进行几个实验。基于所有实验,显然提出的混合模型(SZHNN)与其他现有型号相比,拟议的混合模型(SZHNN)提供了99.9%的最高分类精度。该建议的模型克服了不同频带的影响,甚至没有5个电极显示出91%的更好的精度。该拟议的模型也在智能医疗保健和远程监控应用程序的医疗器互联网上进行评估。
translated by 谷歌翻译
在过去的十年中,电子学习已经彻底改变了学生通过随时随地获得素质教育的学习方式。然而,由于各种原因,学生经常会分心,这在很大程度上影响了学习能力。许多研究人员一直在努力提高在线教育的质量,但我们需要一个整体方法来解决这个问题。本文打算提供一种机制,该机制使用相机馈送和麦克风输入来监测在线类别期间学生的实时关注水平。我们探讨了本研究的各种图像处理技术和机器学习算法。我们提出了一个系统,它使用五个不同的非语言特征来计算基于计算机的任务期间学生的注意得分,并为学生和组织生成实时反馈。我们可以使用所产生的反馈作为启发式价值,以分析学生的整体性能以及讲师的教学标准。
translated by 谷歌翻译
With the increase in health consciousness, noninvasive body monitoring has aroused interest among researchers. As one of the most important pieces of physiological information, researchers have remotely estimated the heart rate (HR) from facial videos in recent years. Although progress has been made over the past few years, there are still some limitations, like the processing time increasing with accuracy and the lack of comprehensive and challenging datasets for use and comparison. Recently, it was shown that HR information can be extracted from facial videos by spatial decomposition and temporal filtering. Inspired by this, a new framework is introduced in this paper to remotely estimate the HR under realistic conditions by combining spatial and temporal filtering and a convolutional neural network. Our proposed approach shows better performance compared with the benchmark on the MMSE-HR dataset in terms of both the average HR estimation and short-time HR estimation. High consistency in short-time HR estimation is observed between our method and the ground truth.
translated by 谷歌翻译
苏黎世认知语言处理语料库(Zuco)提供了来自两种读取范例,正常读取和特定任务读数的眼跟踪和脑电图信号。我们分析了机器学习方法是否能够使用眼睛跟踪和EEG功能对这两个任务进行分类。我们使用聚合的句子级别功能以及细粒度的单词级别来实现模型。我们在主题内和交叉对象评估方案中测试模型。所有模型都在Zuco 1.0和Zuco 2.0数据子集上进行测试,其特征在于不同的记录程序,因此允许不同的概括水平。最后,我们提供了一系列的控制实验,以更详细地分析结果。
translated by 谷歌翻译
这项研究提出了一种新的数据库和方法,以检测由于酒精,药物消耗和昏昏欲睡而导致的警报条件的减少,而近亲(NIR)眼球周围眼部图像。该研究的重点是确定外部因素对中枢神经系统(CNS)的影响。目的是分析这如何影响虹膜和学生运动行为,以及是否可以用标准的IRIS NIR捕获装置对这些更改进行分类。本文提出了修改的MobileNetV2,以对来自酒精/药物/嗜睡影响的受试者拍摄的虹膜NIR图像进行分类。结果表明,基于MobileNETV2的分类器可以在耐心等方面从饮酒和药物消耗后捕获的虹膜样品的不合适性条件,分别检测精度分别为91.3%和99.1%。嗜睡状况是最具挑战性的72.4%。对于属于FIT/UNFIT类的两类分组图像,该模型的准确度分别为94.0%和84.0%,使用的参数数量较小,而不是标准的深度学习网络算法。这项工作是开发自动系统以对“适合值班”进行分类并防止因酒精/吸毒和嗜睡而导致事故的生物识别应用程序迈出的一步。
translated by 谷歌翻译
近年来,基于生理信号的认证表现出伟大的承诺,因为其固有的对抗伪造的鲁棒性。心电图(ECG)信号是最广泛研究的生物关像,也在这方面获得了最高的关注。已经证明,许多研究通过分析来自不同人的ECG信号,可以识别它们,可接受的准确性。在这项工作中,我们展示了EDITH,EDITH是一种基于深入的ECG生物识别认证系统的框架。此外,我们假设并证明暹罗架构可以在典型的距离指标上使用,以提高性能。我们使用4个常用的数据集进行了评估了伊迪丝,并使用少量节拍表现优于先前的工作。 Edith使用仅单一的心跳(精度为96-99.75%)进行竞争性,并且可以通过融合多个节拍(从3到6个节拍的100%精度)进一步提高。此外,所提出的暹罗架构管理以将身份验证等错误率(eer)降低至1.29%。具有现实世界实验数据的Edith的有限案例研究还表明其作为实际认证系统的潜力。
translated by 谷歌翻译
在驾驶的背景下进行警觉性监控可改善安全性并挽救生命。基于计算机视觉的警报监视是一个活跃的研究领域。但是,存在警觉性监控的算法和数据集主要针对年轻人(18-50岁)。我们提出了一个针对老年人进行车辆警报监控的系统。通过设计研究,我们确定了适合在5级车辆中独立旅行的老年人的变量和参数。我们实施了一个原型旅行者监测系统,并评估了十个老年人(70岁及以上)的警报检测算法。我们以适合初学者或从业者的详细级别报告系统设计和实施。我们的研究表明,数据集的开发是开发针对老年人的警觉性监测系统的首要挑战。这项研究是迄今为止研究不足的人群中的第一项研究,并通过参与方法对未来的算法开发和系统设计具有影响。
translated by 谷歌翻译
眼目光信息的收集为人类认知,健康和行为的许多关键方面提供了一个窗口。此外,许多神经科学研究补充了从眼睛跟踪中获得的行为信息,以及脑电图(EEG)提供的高时间分辨率和神经生理学标记。必不可少的眼睛跟踪软件处理步骤之一是将连续数据流的分割为与扫视,固定和眨眼等眼睛跟踪应用程序相关的事件。在这里,我们介绍了Detrtime,这是一个新颖的时间序列分割框架,该框架创建了不需要额外记录的眼睛跟踪模式并仅依靠脑电图数据的眼部事件检测器。我们的端到端基于深度学习的框架将计算机视觉的最新进展带到了脑电图数据的《时代》系列分割的最前沿。 Detr Time在各种眼睛追踪实验范式上实现眼部事件检测中的最新性能。除此之外,我们还提供了证据表明我们的模型在脑电图阶段分割的任务中很好地概括了。
translated by 谷歌翻译
早期发现焦虑症对于减少精神障碍患者的苦难并改善治疗结果至关重要。基于MHealth平台的焦虑筛查在提高筛选效率和降低筛查成本方面具有特殊实用价值。实际上,受试者的身体和心理评估中移动设备的差异以及数据质量不均匀的问题和现实世界中数据的少量数据量使现有方法无效。因此,我们提出了一个基于时空特征融合的框架,用于非触发焦虑。为了降低数据质量不平衡的影响,我们构建了一个基于“ 3DCNN+LSTM”的特征提取网络,并融合了面部行为和非接触式生理学的时空特征。此外,我们设计了一种相似性评估策略,以解决较小的数据样本量导致模型准确性下降的问题。我们的框架已通过现实世界中的机组数据集进行了验证,并且两个公共数据集UBFC-Phys和Swell-KW。实验结果表明,我们框架的总体性能要比最新的比较方法更好。
translated by 谷歌翻译
我们展示了一个新的数据集和基准,其目的是在大脑活动和眼球运动的交叉口中推进研究。我们的数据集EEGEYENET包括从三种不同实验范式中收集的356个不同受试者的同时脑电图(EEG)和眼睛跟踪(ET)录像。使用此数据集,我们还提出了一种评估EEG测量的凝视预测的基准。基准由三个任务组成,难度越来越高:左右,角度幅度和绝对位置。我们在该基准测试中运行大量实验,以便根据经典机器学习模型和大型神经网络提供实心基线。我们释放了我们的完整代码和数据,并提供了一种简单且易于使用的界面来评估新方法。
translated by 谷歌翻译
在脑电图(EEG)的驾驶员的背景下,设计无校准系统仍然具有挑战性,因为EEG信号在不同的主题和录音会话之间显着变化。已经努力使用EEG信号的深度学习方法来利用精神状态识别。然而,现有工作主要将深入学习模型视为黑匣子分类器,而模型已经学习的是什么以及它们在脑电图数据中受到噪声的影响仍然是曝光的。在本文中,我们开发了一种新颖的卷积神经网络,可以通过突出显示包含分类重要信息的输入样本的本地区域来解释其决定。该网络具有紧凑的结构,利用可分离卷曲来处理空间序列中的EEG信号。结果表明,该模型在11个受试者上实现了78.35%的平均准确性,用于休假交叉对象嗜睡识别,其高于传统的基线方法为53.4%-72.68%和最先进的深层学习方法63.90%-65.78%。可视化结果表明,该模型已经学会了识别EEG信号的生物学可解释的特征,例如,α主轴,作为不同受试者的嗜睡的强指标。此外,我们还探讨了一些错误分类的样本背后的原因,具有可视化技术,并讨论了提高识别准确性的潜在方法。我们的作品说明了使用可解释的深度学习模型的有希望的方向,以从复杂的EEG信号发现与不同心理状态相关的有意义的模式。
translated by 谷歌翻译
Drowsiness on the road is a widespread problem with fatal consequences; thus, a multitude of systems and techniques have been proposed. Among existing methods, Ghoddoosian et al. utilized temporal blinking patterns to detect early signs of drowsiness, but their algorithm was tested only on a powerful desktop computer, which is not practical to apply in a moving vehicle setting. In this paper, we propose an efficient platform to run Ghoddosian's algorithm, detail the performance tests we ran to determine this platform, and explain our threshold optimization logic. After considering the Jetson Nano and Beelink (Mini PC), we concluded that the Mini PC is the most efficient and practical to run our embedded system in a vehicle. To determine this, we ran communication speed tests and evaluated total processing times for inference operations. Based on our experiments, the average total processing time to run the drowsiness detection model was 94.27 ms for Jetson Nano and 22.73 ms for the Beelink (Mini PC). Considering the portability and power efficiency of each device, along with the processing time results, the Beelink (Mini PC) was determined to be most suitable. Also, we propose a threshold optimization algorithm, which determines whether the driver is drowsy or alert based on the trade-off between the sensitivity and specificity of the drowsiness detection model. Our study will serve as a crucial next step for drowsiness detection research and its application in vehicles. Through our experiment, we have determinend a favorable platform that can run drowsiness detection algorithms in real-time and can be used as a foundation to further advance drowsiness detection research. In doing so, we have bridged the gap between an existing embedded system and its actual implementation in vehicles to bring drowsiness technology a step closer to prevalent real-life implementation.
translated by 谷歌翻译
目的:提出使用深神经网络(DNN)的新型SSVEP分类方法,提高单通道和用户独立的脑电电脑接口(BCIS)的性能,具有小的数据长度。方法:我们建议与DNN结合使用过滤器组(创建EEG信号的子带分量)。在这种情况下,我们创建了三种不同的模型:经常性的神经网络(FBRNN)分析时域,2D卷积神经网络(FBCNN-2D)处理复谱特征和3D卷积神经网络(FBCNN-3D)分析复杂谱图,我们在本研究中介绍了SSVEP分类的可能输入。我们通过开放数据集培训了我们的神经网络,并构思了它们,以便不需要从最终用户校准:因此,测试主题数据与训练和验证分开。结果:带滤波器银行的DNN超越了类似网络的准确性,在没有相当大的边距(高达4.6%)的情况下,它们甚至更高的边距(高达7.1%)超越了常见的SSVEP分类方法(SVM和FBCCA) 。在使用过滤器银行中的三个DNN中,FBRNN获得了最佳结果,然后是FBCNN-3D,最后由FBCNN-2D获得。结论和意义:滤波器银行允许不同类型的深神经网络,以更有效地分析SSVEP的谐波分量。复谱图比复杂频谱特征和幅度谱进行更多信息,允许FBCNN-3D超越另一个CNN。在具有挑战性的分类问题中获得的平均测试精度(87.3%)和F1分数(0.877)表示施工,经济,快速和低延迟BCIS建设的强大潜力。
translated by 谷歌翻译
已经广泛地研究了使用虹膜和围眼区域作为生物特征,主要是由于虹膜特征的奇异性以及当图像分辨率不足以提取虹膜信息时的奇异区域的使用。除了提供有关个人身份的信息外,还可以探索从这些特征提取的功能,以获得其他信息,例如个人的性别,药物使用的影响,隐形眼镜的使用,欺骗等。这项工作提出了对为眼部识别创建的数据库的调查,详细说明其协议以及如何获取其图像。我们还描述并讨论了最受欢迎的眼镜识别比赛(比赛),突出了所提交的算法,只使用Iris特征和融合虹膜和周边地区信息实现了最佳结果。最后,我们描述了一些相关工程,将深度学习技术应用于眼镜识别,并指出了新的挑战和未来方向。考虑到有大量的眼部数据库,并且每个人通常都设计用于特定问题,我们认为这项调查可以广泛概述眼部生物识别学中的挑战。
translated by 谷歌翻译
注意缺陷/多动症(ADHD)是一种神经发育障碍,高度流行,需要临床专家才能诊断。众所周知,个人的观察行为反映在眼睛运动中,直接与注意机制和高阶认知过程有关。因此,我们探讨了是否可以根据记录的眼动动作以及在免费观看任务中的视频刺激信息进行检测到多动症。为此,我们开发了一个基于端到端的深度学习序列模型%,该模型%使用眼动扫描路径,我们将其预先培训在相关任务上,该任务可获得更多数据。我们发现该方法实际上能够检测ADHD并胜过相关的基线。我们在消融研究中研究了输入特征的相关性。有趣的是,我们发现该模型的性能与视频内容密切相关,该视频为未来的实验设计提供了见解。
translated by 谷歌翻译
闭环大脑刺激是指捕获诸如脑电图(EEG)之类的神经生理学措施,迅速识别感兴趣的神经事件,并产生听觉,磁性或电刺激,从而精确地与大脑过程相互作用。这是一种基本神经科学的新方法,也许是临床应用,例如恢复降解记忆功能;但是,现有工具很昂贵,繁琐,并且具有有限的实验灵活性。在本文中,我们提出了Portiloop,这是一种基于深度学习的,便携式和低成本的闭环刺激系统,能够靶向特定的脑振荡。我们首先记录可以从市售组件构建的开放式软件实现。我们还提供了快速,轻巧的神经网络模型和探索算法,该算法自动优化了所需的脑振荡的模型超参数。最后,我们在实时睡眠主轴检测的具有挑战性的测试案例中验证了该技术,结果可与大规模在线数据注释主轴数据集(MODA;组共识)上的离线专家绩效相当。社区可以提供软件和计划,作为开放科学计划,旨在鼓励进一步开发并推动闭环神经科学研究。
translated by 谷歌翻译