人体步态是指不仅代表活动能力的每日运动，而且还可以用人类观察者或计算机来识别步行者。最近的研究表明，步态甚至传达了有关沃克情绪的信息。不同情绪状态中的个体可能显示出不同的步态模式。各种情绪和步态模式之间的映射为自动情绪识别提供了新的来源。与传统的情绪检测生物识别技术（例如面部表达，言语和生理参数）相比，步态是可以观察到的，更难以模仿，并且需要从该主题中进行较少的合作。这些优势使步态成为情感检测的有前途的来源。本文回顾了有关基于步态的情绪检测的当前研究，尤其是关于步态参数如何受到不同情绪状态的影响以及如何通过不同的步态模式识别情绪状态的研究。我们专注于情感识别过程中应用的详细方法和技术：数据收集，预处理和分类。最后，我们讨论了使用智能计算和大数据的最先进技术的状态来讨论高效有效的基于步态的情感识别的可能发展。

步态识别是从步行或跑步等两足动力中识别人类的过程。因此，步态数据是隐私敏感信息，应在可能的情况下匿名化。随着高质量步态记录技术的兴起，例如深度摄像头或运动捕获西服，捕获和处理越来越多的详细步态数据。 Metaverse的介绍和崛起只是一种流行的应用程序场景，在该方案中，用户步态被转移到数字化头像上。作为开发高质量步态数据有效匿名技术的第一步，我们研究了运动数据的不同方面，以量化其对步态识别的贡献。我们首先从有关人步态感知的文献中提取特征类别，然后为每个类别设计实验，以评估它们所包含的信息有助于识别成功。我们的结果表明，步态匿名化将具有挑战性，因为数据是高度冗余和相互依存的。

外骨骼和矫形器是可穿戴移动系统，为用户提供机械益处。尽管在过去几十年中有重大改进，但该技术不会完全成熟，以便采用剧烈和非编程任务。为了适应这种功能不全，需要分析和改进该技术的不同方面。许多研究一直在努力解决外骨骼的某些方面，例如，机构设计，意向预测和控制方案。但是，大多数作品都专注于设计或应用的特定元素，而无需提供全面的审查框架。本研究旨在分析和调查为改进和广泛采用这项技术的贡献方面。为了解决此问题，在引入辅助设备和外骨骼后，将从物理人员 - 机器人接口（HRI）的角度来研究主要的设计标准。通过概述不同类别的已知辅助设备的几个例子，将进一步开发该研究。为了建立智能HRI策略并为用户提供直观的控制，将研究认知HRI。将审查这种策略的各种方法，并提出了意图预测的模型。该模型用于从单个电拍摄（EMG）通道输入的栅极相位。建模结果显示出低功耗辅助设备中单通道输入的潜在使用。此外，所提出的模型可以在具有复杂控制策略的设备中提供冗余。

近年来，抑郁症的发病率在全世界迅速上升，但大规模的抑郁症筛查仍然具有挑战性。步态分析提供了抑郁症的非接触，低成本和高效的早期筛查方法。然而，基于步态分析的抑郁症的早期筛查缺乏足够的有效样本数据。在本文中，我们提出了一种用于评估抑郁症风险的骨架数据增强方法。首先，我们提出了五种技术来增加骨架数据并将其应用于抑郁和情感数据集。然后，我们将增强方法分为两种类型（非噪声增强和噪声增强），基于互信息和分类准确性。最后，我们探索了哪些增强策略可以更有效地捕捉人骨架数据的特征。实验结果表明，保留了更多原始骨架数据属性的增强训练数据集确定了检测模型的性能。具体而言，旋转增强和通道掩码增强使抑郁检测精度分别达到92.15％和91.34％。

通常，基于生物谱系的控制系统可能不依赖于各个预期行为或合作适当运行。相反，这种系统应该了解未经授权的访问尝试的恶意程序。文献中提供的一些作品建议通过步态识别方法来解决问题。这些方法旨在通过内在的可察觉功能来识别人类，尽管穿着衣服或配件。虽然该问题表示相对长时间的挑战，但是为处理问题的大多数技术存在与特征提取和低分类率相关的几个缺点，以及其他问题。然而，最近的深度学习方法是一种强大的一组工具，可以处理几乎任何图像和计算机视觉相关问题，为步态识别提供最重要的结果。因此，这项工作提供了通过步态认可的关于生物识别检测的最近作品的调查汇编，重点是深入学习方法，强调他们的益处，暴露出弱点。此外，它还呈现用于解决相关约束的数据集，方法和体系结构的分类和表征描述。

由于它们过去证明的准确性较低，因此对3D摄像机进行步态分析的使用受到了高度质疑。本文介绍的研究的目的是提高机器人安装在人体步态分析中的估计的准确性，通过应用监督的学习阶段。 3D摄像头安装在移动机器人中，以获得更长的步行距离。这项研究表明，通过使用从认证的Vicon系统获得的数据训练的人工神经网络对相机的原始估计进行后处理，从而改善了运动步态信号和步态描述符的检测。为此，招募了37名健康参与者，并使用ORBBEC ASTRA 3D摄像头收集了207个步态序列的数据。有两种基本的训练方法：使用运动学步态信号并使用步态描述符。前者试图通过减少误差并增加相对于Vicon系统的相关性来改善运动步态信号的波形。第二个是一种更直接的方法，专注于直接使用步态描述符训练人工神经网络。在训练之前和之后测量了3D摄像头的精度。在两种训练方法中，都观察到了改进。运动步态信号显示出较低的错误和相对于地面真理的较高相关性。检测步态描述符的系统的准确性也显示出很大的改进，主要是运动学描述符，而不是时空。在比较两种训练方法时，不可能定义哪个是绝对最好的。因此，我们认为，培训方法的选择将取决于要进行的研究的目的。这项研究揭示了3D摄像机的巨大潜力，并鼓励研究界继续探索他们在步态分析中的使用。

人类身份是对日常生活中许多应用的关键要求，例如个性化服务，自动监视，连续身份验证和大流行期间的接触跟踪等。这项工作研究了跨模式人类重新识别（REID）的问题，对跨摄像机允许区域（例如街道）和摄像头限制区域（例如办公室）的常规人类运动的反应。通过利用新出现的低成本RGB-D摄像机和MMWave雷达，我们提出了同时跨模式多人REID的首个视觉RF系统。首先，为了解决基本模式间差异，我们提出了一种基于人体观察到的镜面反射模型的新型签名合成算法。其次，引入了有效的跨模式深度度量学习模型，以应对在雷达和相机之间由非同步数据引起的干扰。通过在室内和室外环境中进行的广泛实验，我们证明了我们所提出的系统能够达到约92.5％的TOP-1准确性，而在56名志愿者中，〜97.5％的前5位精度。我们还表明，即使传感器的视野中存在多个主题，我们提出的系统也能够重新识别受试者。

这项工作对最近的努力进行了系统的综述（自2010年以来），旨在自动分析面对面共同关联的人类社交互动中显示的非语言提示。专注于非语言提示的主要原因是，这些是社会和心理现象的物理，可检测到的痕迹。因此，检测和理解非语言提示至少在一定程度上意味着检测和理解社会和心理现象。所涵盖的主题分为三个：a）建模社会特征，例如领导力，主导，人格特质，b）社会角色认可和社会关系检测以及c）群体凝聚力，同情，rapport和so的互动动态分析向前。我们针对共同的相互作用，其中相互作用的人永远是人类。该调查涵盖了各种各样的环境和场景，包括独立的互动，会议，室内和室外社交交流，二元对话以及人群动态。对于他们每个人，调查都考虑了非语言提示分析的三个主要要素，即数据，传感方法和计算方法。目的是突出显示过去十年的主要进步，指出现有的限制并概述未来的方向。

低成本毫米波（MMWAVE）通信和雷达设备的商业可用性开始提高消费市场中这种技术的渗透，为第五代（5G）的大规模和致密的部署铺平了道路（5G） - 而且以及6G网络。同时，普遍存在MMWAVE访问将使设备定位和无设备的感测，以前所未有的精度，特别是对于Sub-6 GHz商业级设备。本文使用MMWAVE通信和雷达设备在基于设备的定位和无设备感应中进行了现有技术的调查，重点是室内部署。我们首先概述关于MMWAVE信号传播和系统设计的关键概念。然后，我们提供了MMWaves启用的本地化和感应方法和算法的详细说明。我们考虑了在我们的分析中的几个方面，包括每个工作的主要目标，技术和性能，每个研究是否达到了一定程度的实现，并且该硬件平台用于此目的。我们通过讨论消费者级设备的更好算法，密集部署的数据融合方法以及机器学习方法的受过教育应用是有前途，相关和及时的研究方向的结论。

动物运动跟踪和姿势识别的进步一直是动物行为研究的游戏规则改变者。最近，越来越多的作品比跟踪“更深”，并解决了对动物内部状态（例如情绪和痛苦）的自动认识，目的是改善动物福利，这使得这是对该领域进行系统化的及时时刻。本文对基于计算机的识别情感状态和动物的疼痛的研究进行了全面调查，并涉及面部行为和身体行为分析。我们总结了迄今为止在这个主题中所付出的努力 - 对它们进行分类，从不同的维度进行分类，突出挑战和研究差距，并提供最佳实践建议，以推进该领域以及一些未来的研究方向。

信号处理是几乎任何传感器系统的基本组件，具有不同科学学科的广泛应用。时间序列数据，图像和视频序列包括可以增强和分析信息提取和量化的代表性形式的信号。人工智能和机器学习的最近进步正在转向智能，数据驱动，信号处理的研究。该路线图呈现了最先进的方法和应用程序的关键概述，旨在突出未来的挑战和对下一代测量系统的研究机会。它涵盖了广泛的主题，从基础到工业研究，以简明的主题部分组织，反映了每个研究领域的当前和未来发展的趋势和影响。此外，它为研究人员和资助机构提供了识别新前景的指导。

在各种条件下行走期间关节阻抗的知识与临床决策以及机器人步态培训师，腿部假体，腿矫形器和可穿戴外骨骼的发展相关。虽然步行过程中的脚踝阻抗已经通过实验评估，但尚未识别步行期间的膝盖和髋关节阻抗。在这里，我们开发并评估了下肢扰动器，以识别跑步机行走期间髋关节，膝关节和踝关节阻抗。下肢扰动器（Loper）由致动器组成，致动器通过杆连接到大腿。 Loper允许将力扰动施加到自由悬挂的腿上，同时站立在对侧腿上，带宽高达39Hz。在以最小的阻抗模式下行走时，Loper和大腿之间的相互作用力低（<5N），并且对行走图案的效果小于正常行走期间的对象内变异性。使用摆动腿动力学的非线性多体动力学模型，在摆动阶段在速度为0.5米/秒的速度的九个受试者期间估计臀部，膝关节和踝关节阻抗。所识别的模型能够预测实验反应，因为分别占髋部，膝关节和踝部的平均方差为99％，96％和77％。对受试者刚度的平均分别在34-66nm / rad，0-3.5nm / rad，0-3.5nm / rad和2.5-24nm / rad的三个时间点之间变化，分别用于臀部，膝部和踝关节。阻尼分别在1.9-4.6 nms / rad，0.02-0.14 nms / rad和0.2-2.4 nms / rad的0.02-0.14 nms / rad供应到0.2-2.4nms / rad。发达的洛普勒对不受干扰的行走模式具有可忽略的影响，并且允许在摆动阶段识别臀部，膝关节和踝关节阻抗。

夫妻通常在一起管理慢性疾病，管理层对患者及其浪漫伴侣造成了情感上的伤害。因此，认识到日常生活中每个伴侣的情绪可以提供对他们在慢性疾病管理中的情感健康的见解。当前，评估每个伴侣的情绪的过程是手动，时间密集和昂贵的。尽管夫妻之间存在着关于情感识别的作品，但这些作品都没有使用夫妻在日常生活中的互动中收集的数据。在这项工作中，我们收集了85小时（1,021个5分钟样本）现实世界多模式智能手表传感器数据（语音，心率，加速度计和陀螺仪）和自我报告的情绪数据（n = 612）（13个伙伴）（13）夫妻）在日常生活中管理2型糖尿病。我们提取了生理，运动，声学和语言特征，以及训练有素的机器学习模型（支持向量机和随机森林），以识别每个伴侣的自我报告的情绪（价和唤醒）。我们最佳模型的结果比偶然的结果更好，唤醒和价值分别为63.8％和78.1％。这项工作有助于建立自动情绪识别系统，最终使伙伴能够监视他们在日常生活中的情绪，并能够提供干预措施以改善其情感幸福感。

我们研究了精神病学临床领域中脑唤醒的调节改变了面部行为的统计特性。潜在的机制与对某些心理状态的行为替代测量的警惕性连续体的经验解释有关。我们以基于经典的头皮的审视传感器（OEG）的意义命名了所提出的测量，该传感器光电脑摄影（OEG）仅依赖于现代基于摄像机的实时信号处理和计算机视觉。基于随机表示作为面部动力学的连贯性，反映了情绪表达中的半径不对称性，我们证明了患者与健康对照之间几乎没有完美的区别，以及精神疾病抑郁症和精神分裂症和症状的严重性。与标准诊断过程相反，该过程耗时，主观，不包含神经生物学数据，例如实时面部动力学，情感响应能力的客观随机建模仅需要几分钟的基于视频的面部录制。我们还强调了该方法作为因果推断模型在转诊分析中的潜力，以预测药理治疗的结果。所有结果均在临床纵向数据收集中获得，其中有100名患者和50例对照。

步行是人类陆地运动的最常见模式之一。步行对于人类进行大多数日常活动至关重要。当一个人走路时，其中有一个模式，被称为步态。步态分析用于体育和医疗保健。我们可以以不同的方式分析该步态，例如使用监视摄像机捕获的视频或在实验室环境中的深度图像摄像机。它也可以通过可穿戴传感器识别。例如，加速度计，力传感器，陀螺仪，柔性旋转仪，磁电阻传感​​器，电磁跟踪系统，力传感器和肌电图（EMG）。通过这些传感器进行分析需要实验室条件，否则用户必须佩戴这些传感器。为了检测人的步态作用异常，我们需要分别合并传感器。我们可以在发现后通过异常步态知道自己的健康状况。了解常规的步态与异常步态可能会使用智能可穿戴技术对受试者的健康状况有所了解。因此，在本文中，我们提出了一种通过智能手机传感器分析异常步态的方法。尽管如今，大多数人都使用了智能手机和智能手表等智能设备。因此，我们可以使用这些智能可穿戴设备的传感器来追踪他们的步态。

步态情绪识别在智能系统中起着至关重要的作用。大多数现有方法通过随着时间的推移专注于当地行动来识别情绪。但是，他们忽略了时间域中不同情绪的有效距离是不同的，而且步行过程中的当地行动非常相似。因此，情绪应由全球状态而不是间接的本地行动代表。为了解决这些问题，这项工作通过构建动态的时间接受场并设计多尺度信息聚集以识别情绪，从而在这项工作中介绍了新型的多量表自适应图卷积网络（MSA-GCN）。在我们的模型中，自适应选择性时空图卷积旨在动态选择卷积内核，以获得不同情绪的软时空特征。此外，跨尺度映射融合机制（CSFM）旨在构建自适应邻接矩阵，以增强信息相互作用并降低冗余。与以前的最先进方法相比，所提出的方法在两个公共数据集上实现了最佳性能，将地图提高了2 \％。我们还进行了广泛的消融研究，以显示不同组件在我们的方法中的有效性。

人体肢体运动跟踪和识别在医疗康复训练，下肢辅助，截肢者的假肢设计，辅助机器人的反馈控制等中起着重要作用。轻质可穿戴的传感器，包括惯性传感器，表面肌电图传感器以及柔性应变/压力，柔性应变/压力，有望成为下一代人类运动捕获装置。本文中，我们提供了一种无线可穿戴设备，该设备由16通道柔性海绵的压力传感器阵列组成，通过检测由小腿胃gastrocnemius肌肉作用引起的人类皮肤上的轮廓来识别各种人类下肢运动。每个感应元件都是薄碳纳米管/聚二甲基硅氧烷纳米复合材料的圆形多孔结构，直径为4 mm，厚度约为400 {\ mu} m。招募了十个人类受试者，以执行十个不同的下肢运动，同时佩戴开发设备。用支持向量机方法的运动分类结果显示，所有十项测试的动作的宏记录约为97.3％。这项工作证明了具有下肢运动识别应用的便携式可穿戴肌肉活动检测装置，可以在辅助机器人控制，医疗保健，体育监测等中使用该设备。

Sensory and emotional experiences such as pain and empathy are essential for mental and physical health. Cognitive neuroscience has been working on revealing mechanisms underlying pain and empathy. Furthermore, as trending research areas, computational pain recognition and empathic artificial intelligence (AI) show progress and promise for healthcare or human-computer interaction. Although AI research has recently made it increasingly possible to create artificial systems with affective processing, most cognitive neuroscience and AI research do not jointly address the issues of empathy in AI and cognitive neuroscience. The main aim of this paper is to introduce key advances, cognitive challenges and technical barriers in computational pain recognition and the implementation of artificial empathy. Our discussion covers the following topics: How can AI recognize pain from unimodal and multimodal information? Is it crucial for AI to be empathic? What are the benefits and challenges of empathic AI? Despite some consensus on the importance of AI, including empathic recognition and responses, we also highlight future challenges for artificial empathy and possible paths from interdisciplinary perspectives. Furthermore, we discuss challenges for responsible evaluation of cognitive methods and computational techniques and show approaches to future work to contribute to affective assistants capable of empathy.

众所周知，学习障碍主要干扰阅读，写作和数学等基本学习技能，会影响世界上约10％的儿童。作为神经发育障碍的一部分的运动技能和运动协调不足可能成为学习写作困难（障碍）的原因因素，从而阻碍了个人的学术轨道。障碍症的体征和症状包括但不限于不规则的笔迹，不正确的写作媒介处理，缓慢或劳力的写作，不寻常的手部位等。所有类型的学习障碍的评估标准是由医学医学进行的检查专家。少数可用的人工智能筛查系统用于障碍症，依赖于相应图像中手写的独特特征。这项工作对文献中儿童的现有自动化障碍诊断系统进行了综述。这项工作的主要重点是审查基于人工智能的儿童诊断的基于人工智能的系统。这项工作讨论了数据收集方法，重要的手写功能，用于诊断障碍症的文献中使用的机器学习算法。除此之外，本文还讨论了一些基于非人工智能的自动化系统。此外，本文讨论了现有系统的缺点，并提出了一个新颖的障碍诊断框架。

对医疗保健监控的远程工具的需求从未如此明显。摄像机测量生命体征利用成像装置通过分析人体的图像来计算生理变化。建立光学，机器学习，计算机视觉和医学的进步这些技术以来的数码相机的发明以来已经显着进展。本文介绍了对生理生命体征的相机测量综合调查，描述了它们可以测量的重要标志和实现所做的计算技术。我涵盖了临床和非临床应用以及这些应用需要克服的挑战，以便从概念上推进。最后，我描述了对研究社区可用的当前资源（数据集和代码），并提供了一个全面的网页（https://cameravitals.github.io/），其中包含这些资源的链接以及其中引用的所有文件的分类列表文章。