在本文中，我们报告了通过眼动的性别预测的第一个稳定结果。我们使用带有面部图像的数据集作为刺激和大量370名参与者。稳定性对我们有两种含义：首先，我们能够估计单个预测实验的标准偏差（SD）（约为4.1％）；这是通过改变参与者人数来实现的。其次，我们能够提供具有非常低标准误差的平均准确性（SEM）：我们的精度为65.2％，SEM为0.80％；这是通过许多随机选择预测的训练和测试集来实现的。我们的研究表明，两个特定的分类器达到了最佳精度：随机森林和逻辑回归。我们的结果重新确认了先前的发现，即女性对刺激的左眼更有偏见。
translated by 谷歌翻译
几项研究报告说，基于眼球运动特性的生物识别识别可用于认证。本文基于乔治和布线最初提出的方法的改进版本，通过跨多个数据集进行广泛研究用户识别。我们分析了对影响识别准确性的几个因素的方法，例如刺激类型，IVT参数（用于将轨迹分段为固定和扫视），添加新功能，例如眼球运动的高阶衍生物，包含眨眼信息，模板老化，年龄和性别。我们发现三种方法即选择最佳IVT参数，添加高阶导数特征，包括额外的眨眼分类器对识别准确性产生正影响。改进范围从几个百分点到一个数据集中的令人印象深刻的9％增加。
translated by 谷歌翻译
我们展示了一个新的数据集和基准，其目的是在大脑活动和眼球运动的交叉口中推进研究。我们的数据集EEGEYENET包括从三种不同实验范式中收集的356个不同受试者的同时脑电图（EEG）和眼睛跟踪（ET）录像。使用此数据集，我们还提出了一种评估EEG测量的凝视预测的基准。基准由三个任务组成，难度越来越高：左右，角度幅度和绝对位置。我们在该基准测试中运行大量实验，以便根据经典机器学习模型和大型神经网络提供实心基线。我们释放了我们的完整代码和数据，并提供了一种简单且易于使用的界面来评估新方法。
translated by 谷歌翻译
全球2019百万人被感染，450万失去了持续的Covid-19大流行病。直到疫苗变得广泛的可用，预防措施和安全措施，如戴着面具，身体疏远，避免面对面触摸是一些抑制病毒传播的主要手段。脸部触摸是一种强迫性的人Begvior，在不进行持续派生的情况下，不能防止，即使那么它是不可避免的。为了解决这个问题，我们设计了一种基于SmartWatch的解决方案，Covidalert，利用了随机森林算法，从SmartWatch训练了加速度计和陀螺数据，以检测到面部的手动转换，并向用户发送快速触觉警报。 Covidalert是高能量的，因为它使用STA / LTA算法作为网守，在用户处于非活动状态时缩短手表上随机林模型的使用。我们的系统的整体准确性为88.4％，具有低假阴性和误报。我们还通过在商业化石Gen 5 Smartwatch上实现了系统的活力。
translated by 谷歌翻译
注意缺陷/多动症（ADHD）是一种神经发育障碍，高度流行，需要临床专家才能诊断。众所周知，个人的观察行为反映在眼睛运动中，直接与注意机制和高阶认知过程有关。因此，我们探讨了是否可以根据记录的眼动动作以及在免费观看任务中的视频刺激信息进行检测到多动症。为此，我们开发了一个基于端到端的深度学习序列模型％，该模型％使用眼动扫描路径，我们将其预先培训在相关任务上，该任务可获得更多数据。我们发现该方法实际上能够检测ADHD并胜过相关的基线。我们在消融研究中研究了输入特征的相关性。有趣的是，我们发现该模型的性能与视频内容密切相关，该视频为未来的实验设计提供了见解。
translated by 谷歌翻译
苏黎世认知语言处理语料库（Zuco）提供了来自两种读取范例，正常读取和特定任务读数的眼跟踪和脑电图信号。我们分析了机器学习方法是否能够使用眼睛跟踪和EEG功能对这两个任务进行分类。我们使用聚合的句子级别功能以及细粒度的单词级别来实现模型。我们在主题内和交叉对象评估方案中测试模型。所有模型都在Zuco 1.0和Zuco 2.0数据子集上进行测试，其特征在于不同的记录程序，因此允许不同的概括水平。最后，我们提供了一系列的控制实验，以更详细地分析结果。
translated by 谷歌翻译
传统上，从眼动数据中提取模式取决于不同宏观事件（例如固定和扫视）的统计数据。这需要一个额外的预处理步骤，以分离眼睛运动亚型，通常具有许多参数，分类结果取决于这些参数。除此之外，此类宏事件的定义由不同的研究人员以不同的方式提出。我们建议将一类新功能应用于个人眼运动轨迹结构的定量分析。这一新的基于代数拓扑的特征允许从不同凝视方式的不同方式中提取图案，例如坐标和振幅，热图和点云的时间序列，以从微观到宏的各种规模。我们在实验上证明了新功能与传统功能的竞争力及其重要协同作用，同时在最近发表的眼动轨迹数据集中一起用于人身份验证任务。
translated by 谷歌翻译
新一代头戴式显示器，如VR和AR眼镜，正在进入市场，具有集成的眼踪，预计将能够在许多应用中启用人机交互的新方法。然而，由于眼睛运动属性包含生物信息，因此必须正确处理隐私问题。最近已经应用于从这种显示器获得的眼部移动数据等差分隐私机制等隐私保存技术。标准差异隐私机制;然而，由于眼睛运动观测之间的时间相关性而易受伤害。在这项工作中，我们提出了一种新颖的基于转换编码的差分隐私机制，以进一步调整它对眼球运动特征数据的统计数据并比较各种低复杂性方法。我们扩展了傅立叶扰动算法，这是一个差异隐私机制，并在证明中纠正了缩放错误。此外，除了查询敏感性之外，我们还说明了对样本相关性的显着还原，这提供了在眼睛跟踪文献中提供了最佳的效用隐私权衡。我们的结果提供了明显高的隐私，而在隐藏个人标识符的同时，在分类准确性损失的情况下提供了明显高的隐私。
translated by 谷歌翻译
人体步态是指不仅代表活动能力的每日运动，而且还可以用人类观察者或计算机来识别步行者。最近的研究表明，步态甚至传达了有关沃克情绪的信息。不同情绪状态中的个体可能显示出不同的步态模式。各种情绪和步态模式之间的映射为自动情绪识别提供了新的来源。与传统的情绪检测生物识别技术（例如面部表达，言语和生理参数）相比，步态是可以观察到的，更难以模仿，并且需要从该主题中进行较少的合作。这些优势使步态成为情感检测的有前途的来源。本文回顾了有关基于步态的情绪检测的当前研究，尤其是关于步态参数如何受到不同情绪状态的影响以及如何通过不同的步态模式识别情绪状态的研究。我们专注于情感识别过程中应用的详细方法和技术：数据收集，预处理和分类。最后，我们讨论了使用智能计算和大数据的最先进技术的状态来讨论高效有效的基于步态的情感识别的可能发展。
translated by 谷歌翻译
使用脑电图（EEG）信号进行眼睛追踪（ET）预测的主要挑战是基准数据和现实世界数据之间的分布模式的差异以及来自多个来源大脑信号的意外干扰引起的噪声。因此，增加机器学习模型在预测脑电图数据中的眼神跟踪位置方面的鲁棒性是研究和消费者使用的组成部分。在医学研究中，已经探索了更复杂的数据收集方法来测试更简单的任务，以解决这个问题。在这项研究中，我们为EEG-ET数据收集提出了一种细颗粒数据方法，以创建更强大的基准测试。我们训练机器学习模型利用粗粒和细粒数据，并在对相似/不同分布模式的数据进行测试时比较其准确性，以确定易感的EEG-EEG-EEG-EEG-EEG基准分配分布数据的差异。我们应用协变量分布转移来测试这种敏感性。结果表明，与在粗粒细粒，二进制分类的数据中训练的模型相比，接受细粒度，基于媒介的数据训练的模型不容易分布。
translated by 谷歌翻译
口吃是一种言语障碍，在此期间，语音流被非自愿停顿和声音重复打断。口吃识别是一个有趣的跨学科研究问题，涉及病理学，心理学，声学和信号处理，使检测很难且复杂。机器和深度学习的最新发展已经彻底彻底改变了语音领域，但是对口吃的识别受到了最小的关注。这项工作通过试图将研究人员从跨学科领域聚集在一起来填补空白。在本文中，我们回顾了全面的声学特征，基于统计和深度学习的口吃/不足分类方法。我们还提出了一些挑战和未来的指示。
translated by 谷歌翻译
眼目光信息的收集为人类认知，健康和行为的许多关键方面提供了一个窗口。此外，许多神经科学研究补充了从眼睛跟踪中获得的行为信息，以及脑电图（EEG）提供的高时间分辨率和神经生理学标记。必不可少的眼睛跟踪软件处理步骤之一是将连续数据流的分割为与扫视，固定和眨眼等眼睛跟踪应用程序相关的事件。在这里，我们介绍了Detrtime，这是一个新颖的时间序列分割框架，该框架创建了不需要额外记录的眼睛跟踪模式并仅依靠脑电图数据的眼部事件检测器。我们的端到端基于深度学习的框架将计算机视觉的最新进展带到了脑电图数据的《时代》系列分割的最前沿。 Detr Time在各种眼睛追踪实验范式上实现眼部事件检测中的最新性能。除此之外，我们还提供了证据表明我们的模型在脑电图阶段分割的任务中很好地概括了。
translated by 谷歌翻译
上肢运动分类将输入信号映射到目标活动，是控制康复机器人技术的关键领域之一。分类器接受了康复系统的培训，以理解上肢无法正常工作的患者的欲望。肌电图（EMG）信号和脑电图（EEG）信号广泛用于上肢运动分类。通过分析实时脑电图和EMG信号的分类结果，系统可以理解用户的意图，并预测人们希望执行的事件。因此，它将为用户提供外部帮助，以协助一个人进行活动。但是，由于嘈杂的环境，并非所有用户都处理有效的脑电图和EMG信号。实时数据收集过程中的噪声污染了数据的有效性。此外，并非所有患者由于肌肉损伤和神经肌肉疾病而处理强大的EMG信号。为了解决这些问题，我们想提出一种新颖的决策级多传感器融合技术。简而言之，该系统将将EEG信号与EMG信号集成，从两个来源检索有效的信息以了解和预测用户的需求，从而提供帮助。通过对包含同时记录的脑电图和EMG信号的公开途径数据集进行测试，我们设法结论了新型系统的可行性和有效性。
translated by 谷歌翻译
很少有研究重点是研究人们如何识别变形攻击，即使有一些出版物已经检查了自动化FRS的敏感性并提供了变形攻击检测（MAD）方法。 MAD接近他们的决策要么基于单个图像，因此没有参考以比较（S-MAD）或使用参考图像（D-MAD）。一个普遍的误解是，审查员或观察者的面部变体检测能力取决于他们的主题专业知识，经验和对这个问题的熟悉程度，并且没有任何作品报告了定期验证身份（ID）文档的观察者的具体结果。当人类观察者参与检查具有面部图像的ID文件时，其能力的失误可能会面临重大的社会挑战。为了评估观察者的熟练程度，这项工作首先构建了来自48位不同受试者的现实变形攻击的新基准数据库，从而产生了400个变形图像。我们还捕获了从自动边界控制（ABC）门的图像，以模仿D-MAD设置中现实的边界横断场景，并使用400个探针图像研究人类观察者检测变形图像的能力。还生产了一个新的180个变形图像的数据集，以研究S-MAD环境中的人类能力。除了创建一个新的评估平台来进行S-MAD和D-MAD分析外，该研究还雇用了469位D-MAD的观察员，S-MAD的410位观察员和410位观察员，他们主要是来自40多个国家 /地区的政府雇员，以及103个科目谁不是考官。该分析提供了有趣的见解，并突出了缺乏专业知识和未能认识到专家大量变形攻击的缺乏。这项研究的结果旨在帮助制定培训计划，以防止安全失败，同时确定图像是真正的还是改变了图像。
translated by 谷歌翻译
队列研究越来越多地使用加速度计进行体育活动和久坐行为估计。这些设备往往比自我报告易于错误，可以全天捕获活动，并且是经济的。但是，在自由生活的情况下和受试者对象变化下，基于髋关节wor的数据估算久坐行为的先前方法通常是无效的或次优的。在本文中，我们提出了一个本地马尔可夫切换模型，该模型考虑了这种情况，并引入了一种姿势分类和久坐行为分析的一般程序，该程序自然适合该模型。我们的方法在时间序列中具有更改点检测方法，也是一个两个阶段分类步骤，将数据标记为3类（坐着，站立，步进）。通过严格的训练测试范例，我们表明我们的方法达到了80％的精度。此外，我们的方法是强大的，易于解释。
translated by 谷歌翻译
可穿戴设备，不断收集用户的各种传感器数据，增加了无意和敏感信息的推论的机会，例如在物理键盘上键入的密码。我们彻底看看使用电拍摄（EMG）数据的潜力，这是一个新的传感器模式，这是市场新的，但最近在可穿戴物的上下文中受到关注，用于增强现实（AR），用于键盘侧通道攻击。我们的方法是基于使用Myo Armband收集传感器数据的逼真场景中对象攻击之间的神经网络。在我们的方法中，与加速度计和陀螺相比，EMG数据被证明是最突出的信息来源，增加了击键检测性能。对于我们对原始数据的端到端方法，我们报告了击键检测的平均平衡准确性，击键检测的平均高度高精度为52级，为不同优势密码的密钥识别约32％ 。我们创建了一个广泛的数据集，包括从37个志愿者录制的310 000次击键，它可作为开放式访问，以及用于创建给定结果的源代码。
translated by 谷歌翻译
自闭症谱系障碍（ASD）是一种神经发育障碍，导致发生改变的行为，社会发展和通信模式。在过去几年中，自闭症患病率增加了两倍，现在有1分中有1个现在受到影响。鉴于传统诊断是一种冗长，劳动密集型的过程，已经对自动筛选自闭症的发展系统来说，已经提出了重大关注。韵律异常是自闭症的最明显的迹象，受影响的儿童展示言语特质，包括梯度，单调的语调，非典型音高和不规则语言压力模式。在这项工作中，我们展示了一套机器学习方法，以检测自闭症和神经典型（NT）儿童在家庭环境中捕获的自闭症语音音频中的自闭症。我们考虑了三种方法来检测儿童的自闭症语言：首先，在提取的音频特征（包括熔融频率跳跃系数）上培训的随机森林;二，卷积神经网络（CNNS）培训谱图;第三，微调Wav2Vec 2.0 - 基于最先进的基于变压器的ASR模型。我们在从斯坦福的猜测中培训我们的小说Todaset的小说数据集的分类器？移动游戏，一个应用程序，旨在在自然家庭环境中占有自闭症和神经典型的儿童的视频。随机森林分类器实现了70％的精度，微调Wav2Vec 2.0型号达到了77％的精度，CNN在将儿童的音频视为ASD或NT时，CNN可实现79％的准确性。我们的模型能够在具有不一致的录制质量选择的家庭音频剪辑上培训时预测自闭症状态，这可能更广泛地对现实世界的条件。这些结果表明，机器学习方法提供了在没有专门设备的语音中自动检测自闭症的承诺。
translated by 谷歌翻译
深度卷积神经网络（DCNN）最初是受生物视觉原理的启发，已演变为对象识别的最佳当前计算模型，因此表明在整个与神经图像和神经时间序列数据的比较中，都表明了与腹视觉途径的强大结构和功能并行性。随着深度学习的最新进展似乎降低了这种相似性，计算神经科学面临挑战，以逆转工程，以获得有用模型的生物学合理性。虽然先前的研究表明，生物学启发的体系结构能够扩大模型的人类风格，但在本研究中，我们研究了一种纯粹的数据驱动方法。我们使用人类的眼睛跟踪数据来直接修改训练示例，从而指导模型在自然图像中对象识别期间的视觉注意力朝着或远离人类固定的焦点。我们通过GARGCAM显着性图比较和验证不同的操纵类型（即标准，类人类和非人类的注意力）与人类参与者的眼动数据。我们的结果表明，与人类相比，所提出的指导焦点操作的作用是在负方向上的意图，而非人类样模型则集中在明显不同的图像部分上。观察到的效果是高度类别特异性的，它通过动画和面部的存在增强，仅在完成前馈处理后才开发，并表明对面部检测产生了强烈的影响。然而，使用这种方法，没有发现人类的类似性。讨论了公开视觉注意力在DCNN中的可能应用，并讨论了对面部检测理论的进一步影响。
translated by 谷歌翻译
夫妻通常在一起管理慢性疾病，管理层对患者及其浪漫伴侣造成了情感上的伤害。因此，认识到日常生活中每个伴侣的情绪可以提供对他们在慢性疾病管理中的情感健康的见解。当前，评估每个伴侣的情绪的过程是手动，时间密集和昂贵的。尽管夫妻之间存在着关于情感识别的作品，但这些作品都没有使用夫妻在日常生活中的互动中收集的数据。在这项工作中，我们收集了85小时（1,021个5分钟样本）现实世界多模式智能手表传感器数据（语音，心率，加速度计和陀螺仪）和自我报告的情绪数据（n = 612）（13个伙伴）（13）夫妻）在日常生活中管理2型糖尿病。我们提取了生理，运动，声学和语言特征，以及训练有素的机器学习模型（支持向量机和随机森林），以识别每个伴侣的自我报告的情绪（价和唤醒）。我们最佳模型的结果比偶然的结果更好，唤醒和价值分别为63.8％和78.1％。这项工作有助于建立自动情绪识别系统，最终使伙伴能够监视他们在日常生活中的情绪，并能够提供干预措施以改善其情感幸福感。
translated by 谷歌翻译
基于全面的生物识别是一个广泛的研究区域。然而，仅使用部分可见的面，例如在遮盖的人的情况下，是一个具有挑战性的任务。在这项工作中使用深卷积神经网络（CNN）来提取来自遮盖者面部图像的特征。我们发现，第六和第七完全连接的层，FC6和FC7分别在VGG19网络的结构中提供了鲁棒特征，其中这两层包含4096个功能。这项工作的主要目标是测试基于深度学习的自动化计算机系统的能力，不仅要识别人，还要对眼睛微笑等性别，年龄和面部表达的认可。我们的实验结果表明，我们为所有任务获得了高精度。最佳记录的准确度值高达99.95％，用于识别人员，99.9％，年龄识别的99.9％，面部表情（眼睛微笑）认可为80.9％。
translated by 谷歌翻译