与幸福,悲伤,恐惧,愤怒,厌恶,令人厌恶,令人厌恶的六种基本情绪不同,在价值(积极性 - 消极性)和唤醒(强度)方面的建模和预测尺寸影响已被证明是更加灵活,适用和对自然主义有用的真实世界的设置。在本文中,我们的目标是当用户在不同难度级别(基线,容易,艰难和压力条件)下的多个工作样任务时推断用户面部影响,包括(i)他们承接的办公室样地址少物理要求但需要更大的精神菌株的任务; (ii)一种装配线状设置,需要使用精细电机技能; (iii)代表远程工作和电话会议的办公室类似的环境。符合此目的,我们首先设计具有不同条件的研究,并从12个科目收集多模式数据。然后,我们用各种机器学习模型执行多个实验,并找到:(i)面部影响的显示和预测因非工作而异; (ii)通过在类似上下文中捕获的数据集可以升高预测能力; (III)段级(光谱表示)信息对于改善面部影响预测至关重要。
translated by 谷歌翻译
本文详细概述了将连续学习(CL)应用于单课的人类机器人互动(HRI)会议(AVG。31 +-10分钟)的案例研究,其中机器人的心理健康教练是积极的(n = 20)参与者的心理学(PP)练习。我们介绍了互动会议后与参与者进行的简短半结构访谈记录的数据的主题分析(TA)的结果,以及对统计结果的分析,证明了参与者的个性如何影响他们如何看待机器人的方式及其互动。
translated by 谷歌翻译
最近十年表明,人们对机器人作为福祉教练的兴趣越来越大。但是,尚未提出针对机器人设计作为促进心理健康的教练的凝聚力和全面的准则。本文详细介绍了基于基于扎根理论方法的定性荟萃分析的设计和道德建议,该方法是通过三项以用户为中心的涉及机器人福祉教练的三个不同的以用户为中心进行的,即:(1)与参与性设计研究一起进行的。 11名参与者由两位潜在用户组成,他们与人类教练一起参加了简短的专注于解决方案的实践研究,以及不同学科的教练,(2)半结构化的个人访谈数据,这些数据来自20名参加积极心理学干预研究的参与者借助机器人福祉教练胡椒,(3)与3名积极心理学研究的参与者以及2名相关的福祉教练进行了一项参与式设计研究。在进行主题分析和定性荟萃分析之后,我们将收集到收敛性和不同主题的数据整理在一起,并从这些结果中提炼了一套设计准则和道德考虑。我们的发现可以在设计机器人心理福祉教练时考虑到关键方面的关键方面。
translated by 谷歌翻译
近年来,虚拟学习已成为传统课堂教学的替代方法。学生参与虚拟学习可能会对满足学习目标和计划辍学风险产生重大影响。在虚拟学习环境中,有许多专门针对学生参与度(SE)的测量工具。在这项关键综述中,我们分析了这些作品,并从不同的参与定义和测量量表上突出了不一致之处。现有研究人员之间的这种多样性在比较不同的注释和构建可推广的预测模型时可能会出现问题。我们进一步讨论了有关参与注释和设计缺陷的问题。我们根据我们定义的七个参与注释的七个维度分析现有的SE注释量表,包括来源,用于注释的数据模式,注释发生的时间,注释发生的时间段,抽象,组合和组合水平的时间段,定量。令人惊讶的发现之一是,在SE测量中,很少有审查的数据集使用了现有的精神法法学验证量表中的注释中。最后,我们讨论了除虚拟学习以外的其他一些范围,这些量表具有用于测量虚拟学习中SE的潜力。
translated by 谷歌翻译
我们介绍了Daisee,这是第一个多标签视频分类数据集,该数据集由112个用户捕获的9068个视频片段,用于识别野外无聊,混乱,参与度和挫败感的用户情感状态。该数据集具有四个级别的标签 - 每个情感状态都非常低,低,高和很高,它们是人群注释并与使用专家心理学家团队创建的黄金标准注释相关的。我们还使用当今可用的最先进的视频分类方法在此数据集上建立了基准结果。我们认为,黛西(Daisee)将为研究社区提供特征提取,基于上下文的推理以及为相关任务开发合适的机器学习方法的挑战,从而为进一步的研究提供了跳板。该数据集可在https://people.iith.ac.in/vineethnb/resources/daisee/daisee/index.html下载。
translated by 谷歌翻译
情绪可以提供自然的交流方式,以补充许多领域中社交机器人(例如文本和语音)现有的多模式能力。我们与112、223和151名参与者进行了三项在线研究,以调查使用情绪作为搜救(SAR)机器人的交流方式的好处。在第一个实验中,我们研究了通过机器人的情绪传达与SAR情况有关的信息的可行性,从而导致了从SAR情况到情绪的映射。第二项研究使用控制控制理论是推导此类映射的替代方法。此方法更灵活,例如允许对不同的情绪集和不同机器人进行调整。在第三个实验中,我们使用LED作为表达通道为外观受限的室外现场研究机器人创建了情感表达。在各种模拟的SAR情况下,使用这些情感表达式,我们评估了这些表达式对参与者(采用救援人员的作用)的影响。我们的结果和提议的方法提供了(a)有关情感如何帮助在SAR背景下传达信息的见解,以及(b)在(模拟)SAR通信环境中添加情绪为传播方式的有效性的证据。
translated by 谷歌翻译
人类机器人协作组装系统提高了工作场所的效率和生产力,但可能会增加工人的认知需求。本文提出了一个在线和定量框架,以评估与同事的互动,即人类运营商或具有不同控制策略的工业协作机器人所引起的认知工作量。该方法可以监视操作员的注意力分布和上身运动学,从而受益于低成本立体声摄像机和尖端的人工智能算法的输入图像(即头姿势估计和骨架跟踪)。三种实验场景具有工作站特征和互动方式的变化,旨在测试我们在线方法的性能,以防止最新的离线测量。结果证明,我们基于视觉的认知负荷评估有可能将其集成到新一代的协作机器人技术中。后者将使人类的认知状态监测和机器人控制策略适应改善人类舒适,人体工程学和对自动化的信任。
translated by 谷歌翻译
我们提出了一系列两项研究,以了解基于语音的人机相互作用期间用户的情感状态。重点放在通信错误或失败的情况下。特别是,我们有兴趣了解与其他情感状态有关的“混乱”。研究由两种类型的任务组成:(1)与基于语音的虚拟代理的通信有关:与机器交谈并了解机器所说的话,(2)与参与者解决的无通信,解决问题的任务难题和谜语,但被要求口头解释机器的答案。我们收集了参与者情感状态的视听数据和自我报告。我们报告了两项研究的结果和分析收集的数据。根据注释者的观察对第一项研究进行了分析,并根据自我报告分析了第二项研究。
translated by 谷歌翻译
为了帮助现有的Telemental Mechanical服务,我们提出Deeptmh,这是一种通过提取对应于心理学文献经常使用的情感和认知特征的潜视和认知特征来模拟Telemental Mealth Session视频的新框架。我们的方法利用半监督学习的进步来解决Telemental Healts Sessience视频领域的数据稀缺,包括多模式半监督GaN,以检测Telemental卫生课程中的重要心理健康指标。我们展示了我们框架的有用性和与现有工作中的两项任务对比:参与回归和价值回归,这两者都对心理学家在眼药性健康会议期间对心理学家很重要。我们的框架报告了RMSE在参与回归中的RMSE方法的40%,并在价值唤醒回归中的SOTA方法中的50%改善。为了解决Telemental Health空间中公开的数据集的稀缺性,我们发布了一个新的数据集,Medica,用于心理健康患者参与检测。我们的数据集,Medica由1299个视频组成,每节3秒长。据我们所知,我们的方法是基于心理驱动的情感和认知功能来模拟Telemental Healts会话数据的第一种方法,这也通过利用半监督设置来解决数据稀疏性。
translated by 谷歌翻译
情绪分析中最突出的任务是为文本分配情绪,并了解情绪如何在语言中表现出来。自然语言处理的一个重要观察结果是,即使没有明确提及情感名称,也可以通过单独参考事件来隐式传达情绪。在心理学中,被称为评估理论的情感理论类别旨在解释事件与情感之间的联系。评估可以被形式化为变量,通过他们认为相关的事件的人们的认知评估来衡量认知评估。其中包括评估事件是否是新颖的,如果该人认为自己负责,是否与自己的目标以及许多其他人保持一致。这样的评估解释了哪些情绪是基于事件开发的,例如,新颖的情况会引起惊喜或不确定后果的人可能引起恐惧。我们在文本中分析了评估理论对情绪分析的适用性,目的是理解注释者是否可以可靠地重建评估概念,如果可以通过文本分类器预测,以及评估概念是否有助于识别情感类别。为了实现这一目标,我们通过要求人们发短信描述触发特定情绪并披露其评估的事件来编译语料库。然后,我们要求读者重建文本中的情感和评估。这种设置使我们能够衡量是否可以纯粹从文本中恢复情绪和评估,并为判断模型的绩效指标提供人体基准。我们将文本分类方法与人类注释者的比较表明,两者都可以可靠地检测出具有相似性能的情绪和评估。我们进一步表明,评估概念改善了文本中情绪的分类。
translated by 谷歌翻译
Training facial emotion recognition models requires large sets of data and costly annotation processes. To alleviate this problem, we developed a gamified method of acquiring annotated facial emotion data without an explicit labeling effort by humans. The game, which we named Facegame, challenges the players to imitate a displayed image of a face that portrays a particular basic emotion. Every round played by the player creates new data that consists of a set of facial features and landmarks, already annotated with the emotion label of the target facial expression. Such an approach effectively creates a robust, sustainable, and continuous machine learning training process. We evaluated Facegame with an experiment that revealed several contributions to the field of affective computing. First, the gamified data collection approach allowed us to access a rich variation of facial expressions of each basic emotion due to the natural variations in the players' facial expressions and their expressive abilities. We report improved accuracy when the collected data were used to enrich well-known in-the-wild facial emotion datasets and consecutively used for training facial emotion recognition models. Second, the natural language prescription method used by the Facegame constitutes a novel approach for interpretable explainability that can be applied to any facial emotion recognition model. Finally, we observed significant improvements in the facial emotion perception and expression skills of the players through repeated game play.
translated by 谷歌翻译
由于几个因素之间的微妙权衡:参与者的隐私,生态有效性,数据保真度和后勤开销,记录野外未脚本人类互动的动态是具有挑战性的。为了解决这些问题,在社区精神上为社区的“数据集”之后,我们提出了会议生活实验室(Conflab):一个新的概念,用于多模式多模式数据收集,野生野外社交对话。对于此处描述的Conflab的首次实例化,我们在一次大型国际会议上组织了现实生活中的专业网络活动。该数据集涉及48个会议参与者,捕捉了地位,熟人和网络动机的各种组合。我们的捕获设置改善了先前野外数据集的数据保真度,同时保留隐私敏感性:从非侵入性的架空视图中获得8个视频(1920x1080,60 fps),并具有定制的可穿戴传感器,并带有车载记录(完整9) - 轴IMU),具有隐私性的低频音频(1250 Hz)和基于蓝牙的接近度。此外,我们开发了用于采集时分布式硬件同步的自定义解决方案,并以高采样速率对身体关键点和动作进行了及时的连续注释。我们的基准测试展示了与野外隐私保护社交数据分析有关的一些开放研究任务:从高架摄像头视图,基于骨架的No-Audio扬声器检测和F-Formation检测中的关键点检测。
translated by 谷歌翻译
动物运动跟踪和姿势识别的进步一直是动物行为研究的游戏规则改变者。最近,越来越多的作品比跟踪“更深”,并解决了对动物内部状态(例如情绪和痛苦)的自动认识,目的是改善动物福利,这使得这是对该领域进行系统化的及时时刻。本文对基于计算机的识别情感状态和动物的疼痛的研究进行了全面调查,并涉及面部行为和身体行为分析。我们总结了迄今为止在这个主题中所付出的努力 - 对它们进行分类,从不同的维度进行分类,突出挑战和研究差距,并提供最佳实践建议,以推进该领域以及一些未来的研究方向。
translated by 谷歌翻译
与社会辅助性机器人纵向相互作用的研究是确保机器人相关的长期使用和它的看法是不容易的新奇效果的关键。在本文中,我们提出了一个动态贝叶斯网络(DBN)来捕捉纵向互动与会者与远程操作机器人教练(RC)提供正念会话。该DBN模型用于研究复杂,时间参与者自我报告的人格特质之间每周基线福利得分会话评级在5周的纵向研究会议期间引起的面部AU的相互作用,以及。 DBN建模涉及学习促进的多个组件如何有助于会议评级对应RC的看法纵向变化直观的了解,和参与者放松和平静水平的图形表示。该学习模型捕获内和纵向互动学习的会议方面的以下内容:对面部AU状态和会话评级5个人格维度的影响,面部AU的影响对会话等级状态,和项内的影响会议评级。该DBN结构了解使用第一3个时间点和所获得的模型被用于预测的5周的纵向数据的最后2个时间点的会话收视率。该预测是使用了被摄体明智RMSE和R2分数量化。我们也证明了该模型的两个应用程序,即缺少数据集中和新的参与者的纵向会议的收视率估计与给定的个性特征值的估算。由此所获得的DBN模型有利于在纵向数据,并提供推论和概念的理解,其是不可能通过其它回归方法变量之间的条件依赖结构的学习。
translated by 谷歌翻译
Studying facial expressions is a notoriously difficult endeavor. Recent advances in the field of affective computing have yielded impressive progress in automatically detecting facial expressions from pictures and videos. However, much of this work has yet to be widely disseminated in social science domains such as psychology. Current state of the art models require considerable domain expertise that is not traditionally incorporated into social science training programs. Furthermore, there is a notable absence of user-friendly and open-source software that provides a comprehensive set of tools and functions that support facial expression research. In this paper, we introduce Py-Feat, an open-source Python toolbox that provides support for detecting, preprocessing, analyzing, and visualizing facial expression data. Py-Feat makes it easy for domain experts to disseminate and benchmark computer vision models and also for end users to quickly process, analyze, and visualize face expression data. We hope this platform will facilitate increased use of facial expression data in human behavior research.
translated by 谷歌翻译
夫妻通常在一起管理慢性疾病,管理层对患者及其浪漫伴侣造成了情感上的伤害。因此,认识到日常生活中每个伴侣的情绪可以提供对他们在慢性疾病管理中的情感健康的见解。当前,评估每个伴侣的情绪的过程是手动,时间密集和昂贵的。尽管夫妻之间存在着关于情感识别的作品,但这些作品都没有使用夫妻在日常生活中的互动中收集的数据。在这项工作中,我们收集了85小时(1,021个5分钟样本)现实世界多模式智能手表传感器数据(语音,心率,加速度计和陀螺仪)和自我报告的情绪数据(n = 612)(13个伙伴)(13)夫妻)在日常生活中管理2型糖尿病。我们提取了生理,运动,声学和语言特征,以及训练有素的机器学习模型(支持向量机和随机森林),以识别每个伴侣的自我报告的情绪(价和唤醒)。我们最佳模型的结果比偶然的结果更好,唤醒和价值分别为63.8%和78.1%。这项工作有助于建立自动情绪识别系统,最终使伙伴能够监视他们在日常生活中的情绪,并能够提供干预措施以改善其情感幸福感。
translated by 谷歌翻译
最近的工作表明,在Covid-19筛选中使用音频数据的可能性。然而,对监测疾病进展进行了很少的探索,特别是通过音频在Covid-19中恢复。跟踪疾病进展特征和复苏模式可能导致巨大的见解和更及时的治疗或治疗调整,以及在医疗保健系统中更好的资源管理。本研究的主要目的是利用顺序深度学习技术探讨Covid-19监测的纵向音频动力学的潜力,专注于疾病进展预测,特别是恢复趋势预测。我们分析了5天至385天的212个个体中众包呼吸系统数据,以及其自我报告的Covid-19测试结果。我们首先探讨捕获音频生物标志物的纵向动态的好处,用于Covid-19检测。强化性能,产生0.79的AUC-ROC,灵敏度为0.75,特异性为0.70,与不利用纵向动态的方法相比,该方法的有效性。我们进一步检查了预测的疾病进展轨迹,其显示出高一致性与纵向试验结果,测试队列中的0.76中的相关性,测试队列的子集中为0.86,其中12名参与者报告疾病恢复。我们的研究结果表明,通过纵向音频数据监测Covid-19进展在追踪个人疾病进展和恢复方面具有巨大潜力。
translated by 谷歌翻译
人机交互的参与是参与互动的实体建立,维护和结束他们感知连接的过程。必须监测各种基于AI的医疗范式范式的患者的参与状态。这包括改变社会行为的医疗条件,例如自闭症谱系障碍(ASD)或注意力缺陷/多动障碍(ADHD)。订婚是一种多方面构造,由行为,情感和精神组成部分组成。以前的研究忽视了参与的多面条性质。在本文中,提出了一种系统以使用上下文和关系特征来区分这些方面。这可以促进进一步细粒度的分析。将多种机器学习分类器包括传统和深度学习模型,以获得此任务。在具有基于神经网络的分类的22242个实例的平衡数据集上,可以获得具有F分数和0.74和0.23的F分和0.23%的最高精度。
translated by 谷歌翻译
在驾驶的背景下进行警觉性监控可改善安全性并挽救生命。基于计算机视觉的警报监视是一个活跃的研究领域。但是,存在警觉性监控的算法和数据集主要针对年轻人(18-50岁)。我们提出了一个针对老年人进行车辆警报监控的系统。通过设计研究,我们确定了适合在5级车辆中独立旅行的老年人的变量和参数。我们实施了一个原型旅行者监测系统,并评估了十个老年人(70岁及以上)的警报检测算法。我们以适合初学者或从业者的详细级别报告系统设计和实施。我们的研究表明,数据集的开发是开发针对老年人的警觉性监测系统的首要挑战。这项研究是迄今为止研究不足的人群中的第一项研究,并通过参与方法对未来的算法开发和系统设计具有影响。
translated by 谷歌翻译
在人机协作中,机器人错误是不可避免的 - 损害用户信任,愿意共同努力以及任务绩效。先前的工作表明,人们自然会对机器人错误的社会响应,并且在社交互动中,可以使用人类反应来检测错误。但是,在非社交,人类机器人协作(例如组装和工具检索)的领域中,几乎没有探索。在这项工作中,我们研究了人们对机器人错误的有机社会反应如何用于及时自动检测物理人类机器人相互作用中的错误。我们进行了一项数据收集研究,以获取面部响应以培训实时检测算法和案例研究,以探索我们通过不同的任务设置和错误的方法的普遍性。我们的结果表明,自然的社会响应是即使在非社会上下文中的机器人错误及时检测和定位的有效信号,并且我们的方法在各种任务上下文,机器人错误和用户响应中都具有牢固性。这项工作有助于无需详细的任务规格检测强大的错误检测。
translated by 谷歌翻译