由于它们过去证明的准确性较低，因此对3D摄像机进行步态分析的使用受到了高度质疑。本文介绍的研究的目的是提高机器人安装在人体步态分析中的估计的准确性，通过应用监督的学习阶段。 3D摄像头安装在移动机器人中，以获得更长的步行距离。这项研究表明，通过使用从认证的Vicon系统获得的数据训练的人工神经网络对相机的原始估计进行后处理，从而改善了运动步态信号和步态描述符的检测。为此，招募了37名健康参与者，并使用ORBBEC ASTRA 3D摄像头收集了207个步态序列的数据。有两种基本的训练方法：使用运动学步态信号并使用步态描述符。前者试图通过减少误差并增加相对于Vicon系统的相关性来改善运动步态信号的波形。第二个是一种更直接的方法，专注于直接使用步态描述符训练人工神经网络。在训练之前和之后测量了3D摄像头的精度。在两种训练方法中，都观察到了改进。运动步态信号显示出较低的错误和相对于地面真理的较高相关性。检测步态描述符的系统的准确性也显示出很大的改进，主要是运动学描述符，而不是时空。在比较两种训练方法时，不可能定义哪个是绝对最好的。因此，我们认为，培训方法的选择将取决于要进行的研究的目的。这项研究揭示了3D摄像机的巨大潜力，并鼓励研究界继续探索他们在步态分析中的使用。

人体步态是指不仅代表活动能力的每日运动，而且还可以用人类观察者或计算机来识别步行者。最近的研究表明，步态甚至传达了有关沃克情绪的信息。不同情绪状态中的个体可能显示出不同的步态模式。各种情绪和步态模式之间的映射为自动情绪识别提供了新的来源。与传统的情绪检测生物识别技术（例如面部表达，言语和生理参数）相比，步态是可以观察到的，更难以模仿，并且需要从该主题中进行较少的合作。这些优势使步态成为情感检测的有前途的来源。本文回顾了有关基于步态的情绪检测的当前研究，尤其是关于步态参数如何受到不同情绪状态的影响以及如何通过不同的步态模式识别情绪状态的研究。我们专注于情感识别过程中应用的详细方法和技术：数据收集，预处理和分类。最后，我们讨论了使用智能计算和大数据的最先进技术的状态来讨论高效有效的基于步态的情感识别的可能发展。

In this paper, a Kinect-based distributed and real-time motion capture system is developed. A trigonometric method is applied to calculate the relative position of Kinect v2 sensors with a calibration wand and register the sensors' positions automatically. By combining results from multiple sensors with a nonlinear least square method, the accuracy of the motion capture is optimized. Moreover, to exclude inaccurate results from sensors, a computational geometry is applied in the occlusion approach, which discovers occluded joint data. The synchronization approach is based on an NTP protocol that synchronizes the time between the clocks of a server and clients dynamically, ensuring that the proposed system is a real-time system. Experiments for validating the proposed system are conducted from the perspective of calibration, occlusion, accuracy, and efficiency. Furthermore, to demonstrate the practical performance of our system, a comparison of previously developed motion capture systems (the linear trilateration approach and the geometric trilateration approach) with the benchmark OptiTrack system is conducted, therein showing that the accuracy of our proposed system is $38.3\%$ and 24.1% better than the two aforementioned trilateration systems, respectively.

基于标记的光运动捕获（OMC）系统和相关的肌肉骨骼（MSK）建模预测提供了能够洞悉体内关节和肌肉载荷的能力，并有助于临床决策。但是，OMC系统基于实验室，昂贵，需要视线。一种广泛使用的替代方案是惯性运动捕获（IMC）系统，该系统具有便携式，用户友好且相对较低的成本，尽管它不如OMC系统准确。不管选择运动捕获技术的选择，都需要使用MSK模型来获取运动学和动力学输出，这是一种计算昂贵的工具，越来越多地通过机器学习（ML）方法近似。在这里，我们提出了一种ML方法，将IMC数据映射到从OMC输入数据计算出的人类上限MSK输出。从本质上讲，我们试图从相对易于获取的IMC数据中预测高质量的MSK输出。我们使用同一受试者同时收集的OMC和IMC数据来训练ML（前馈多层感知器）模型，该模型可预测IMC测量值的基于OMC的MSK输出。我们证明我们的ML预测与所需的基于OMC的MSK估计值具有很高的一致性。因此，这种方法将有助于将基于OMC的系统不可行的“实验室到现场”的技术发挥作用。

We tackle the problem of tracking the human lower body as an initial step toward an automatic motion assessment system for clinical mobility evaluation, using a multimodal system that combines Inertial Measurement Unit (IMU) data, RGB images, and point cloud depth measurements. This system applies the factor graph representation to an optimization problem that provides 3-D skeleton joint estimations. In this paper, we focus on improving the temporal consistency of the estimated human trajectories to greatly extend the range of operability of the depth sensor. More specifically, we introduce a new factor graph factor based on Koopman theory that embeds the nonlinear dynamics of several lower-limb movement activities. This factor performs a two-step process: first, a custom activity recognition module based on spatial temporal graph convolutional networks recognizes the walking activity; then, a Koopman pose prediction of the subsequent skeleton is used as an a priori estimation to drive the optimization problem toward more consistent results. We tested the performance of this module on datasets composed of multiple clinical lowerlimb mobility tests, and we show that our approach reduces outliers on the skeleton form by almost 1 m, while preserving natural walking trajectories at depths up to more than 10 m.

为了改善对步态辅助的可穿戴机器人技术的控制，我们提出了一种基于包括时间历史信息的人工神经网络的连续运动模式识别以及步态阶段和楼梯坡度估算的方法。输入功能仅由处理变量组成，这些变量可以通过单个柄安装的惯性测量单元进行测量。我们引入了可穿戴设备，以获取现实世界环境测试数据，以证明该方法的性能和鲁棒性。确定平均绝对误差（步态相，楼梯斜率）和准确性（运动模式），以进行稳定的步行和稳定的楼梯移动。使用来自不同传感器硬件，传感器固定，移动环境和受试者的测试数据评估鲁棒性。步态阶段稳定步态测试数据的平均绝对误差为2.0-3.5％，对于楼梯斜率估计，步态阶段的平均绝对误差为3.3-3.8 {\ deg}。在测试数据上使用时间历史记录信息的利用在98.51％和99.67％之间的测试数据上正确的运动模式的准确性。结果表明，在稳定步态期间，持续预测步态阶段，楼梯斜率和运动模式的高性能和鲁棒性。如假设的那样，时间历史信息改善了运动模式识别。但是，尽管步射阶段在运动模式之间未经训练的过渡方面表现良好，但我们的定性分析表明，将过渡数据纳入神经网络的训练以改善斜率和运动模式的预测可能是有益的。我们的结果表明，人工神经网络可用于对可穿戴下肢机器人技术的高水平控制。

近年来，抑郁症的发病率在全世界迅速上升，但大规模的抑郁症筛查仍然具有挑战性。步态分析提供了抑郁症的非接触，低成本和高效的早期筛查方法。然而，基于步态分析的抑郁症的早期筛查缺乏足够的有效样本数据。在本文中，我们提出了一种用于评估抑郁症风险的骨架数据增强方法。首先，我们提出了五种技术来增加骨架数据并将其应用于抑郁和情感数据集。然后，我们将增强方法分为两种类型（非噪声增强和噪声增强），基于互信息和分类准确性。最后，我们探索了哪些增强策略可以更有效地捕捉人骨架数据的特征。实验结果表明，保留了更多原始骨架数据属性的增强训练数据集确定了检测模型的性能。具体而言，旋转增强和通道掩码增强使抑郁检测精度分别达到92.15％和91.34％。

步态识别是从步行或跑步等两足动力中识别人类的过程。因此，步态数据是隐私敏感信息，应在可能的情况下匿名化。随着高质量步态记录技术的兴起，例如深度摄像头或运动捕获西服，捕获和处理越来越多的详细步态数据。 Metaverse的介绍和崛起只是一种流行的应用程序场景，在该方案中，用户步态被转移到数字化头像上。作为开发高质量步态数据有效匿名技术的第一步，我们研究了运动数据的不同方面，以量化其对步态识别的贡献。我们首先从有关人步态感知的文献中提取特征类别，然后为每个类别设计实验，以评估它们所包含的信息有助于识别成功。我们的结果表明，步态匿名化将具有挑战性，因为数据是高度冗余和相互依存的。

在各种条件下行走期间关节阻抗的知识与临床决策以及机器人步态培训师，腿部假体，腿矫形器和可穿戴外骨骼的发展相关。虽然步行过程中的脚踝阻抗已经通过实验评估，但尚未识别步行期间的膝盖和髋关节阻抗。在这里，我们开发并评估了下肢扰动器，以识别跑步机行走期间髋关节，膝关节和踝关节阻抗。下肢扰动器（Loper）由致动器组成，致动器通过杆连接到大腿。 Loper允许将力扰动施加到自由悬挂的腿上，同时站立在对侧腿上，带宽高达39Hz。在以最小的阻抗模式下行走时，Loper和大腿之间的相互作用力低（<5N），并且对行走图案的效果小于正常行走期间的对象内变异性。使用摆动腿动力学的非线性多体动力学模型，在摆动阶段在速度为0.5米/秒的速度的九个受试者期间估计臀部，膝关节和踝关节阻抗。所识别的模型能够预测实验反应，因为分别占髋部，膝关节和踝部的平均方差为99％，96％和77％。对受试者刚度的平均分别在34-66nm / rad，0-3.5nm / rad，0-3.5nm / rad和2.5-24nm / rad的三个时间点之间变化，分别用于臀部，膝部和踝关节。阻尼分别在1.9-4.6 nms / rad，0.02-0.14 nms / rad和0.2-2.4 nms / rad的0.02-0.14 nms / rad供应到0.2-2.4nms / rad。发达的洛普勒对不受干扰的行走模式具有可忽略的影响，并且允许在摆动阶段识别臀部，膝关节和踝关节阻抗。

人类身份是对日常生活中许多应用的关键要求，例如个性化服务，自动监视，连续身份验证和大流行期间的接触跟踪等。这项工作研究了跨模式人类重新识别（REID）的问题，对跨摄像机允许区域（例如街道）和摄像头限制区域（例如办公室）的常规人类运动的反应。通过利用新出现的低成本RGB-D摄像机和MMWave雷达，我们提出了同时跨模式多人REID的首个视觉RF系统。首先，为了解决基本模式间差异，我们提出了一种基于人体观察到的镜面反射模型的新型签名合成算法。其次，引入了有效的跨模式深度度量学习模型，以应对在雷达和相机之间由非同步数据引起的干扰。通过在室内和室外环境中进行的广泛实验，我们证明了我们所提出的系统能够达到约92.5％的TOP-1准确性，而在56名志愿者中，〜97.5％的前5位精度。我们还表明，即使传感器的视野中存在多个主题，我们提出的系统也能够重新识别受试者。

通常，基于生物谱系的控制系统可能不依赖于各个预期行为或合作适当运行。相反，这种系统应该了解未经授权的访问尝试的恶意程序。文献中提供的一些作品建议通过步态识别方法来解决问题。这些方法旨在通过内在的可察觉功能来识别人类，尽管穿着衣服或配件。虽然该问题表示相对长时间的挑战，但是为处理问题的大多数技术存在与特征提取和低分类率相关的几个缺点，以及其他问题。然而，最近的深度学习方法是一种强大的一组工具，可以处理几乎任何图像和计算机视觉相关问题，为步态识别提供最重要的结果。因此，这项工作提供了通过步态认可的关于生物识别检测的最近作品的调查汇编，重点是深入学习方法，强调他们的益处，暴露出弱点。此外，它还呈现用于解决相关约束的数据集，方法和体系结构的分类和表征描述。

MoCap-based human identification, as a pattern recognition discipline, can be optimized using a machine learning approach. Yet in some applications such as video surveillance new identities can appear on the fly and labeled data for all encountered people may not always be available. This work introduces the concept of learning walker-independent gait features directly from raw joint coordinates by a modification of the Fisher Linear Discriminant Analysis with Maximum Margin Criterion. Our new approach shows not only that these features can discriminate different people than who they are learned on, but also that the number of learning identities can be much smaller than the number of walkers encountered in the real operation.

外骨骼和矫形器是可穿戴移动系统，为用户提供机械益处。尽管在过去几十年中有重大改进，但该技术不会完全成熟，以便采用剧烈和非编程任务。为了适应这种功能不全，需要分析和改进该技术的不同方面。许多研究一直在努力解决外骨骼的某些方面，例如，机构设计，意向预测和控制方案。但是，大多数作品都专注于设计或应用的特定元素，而无需提供全面的审查框架。本研究旨在分析和调查为改进和广泛采用这项技术的贡献方面。为了解决此问题，在引入辅助设备和外骨骼后，将从物理人员 - 机器人接口（HRI）的角度来研究主要的设计标准。通过概述不同类别的已知辅助设备的几个例子，将进一步开发该研究。为了建立智能HRI策略并为用户提供直观的控制，将研究认知HRI。将审查这种策略的各种方法，并提出了意图预测的模型。该模型用于从单个电拍摄（EMG）通道输入的栅极相位。建模结果显示出低功耗辅助设备中单通道输入的潜在使用。此外，所提出的模型可以在具有复杂控制策略的设备中提供冗余。

Gait recognition from motion capture data, as a pattern classification discipline, can be improved by the use of machine learning. This paper contributes to the state-of-the-art with a statistical approach for extracting robust gait features directly from raw data by a modification of Linear Discriminant Analysis with Maximum Margin Criterion. Experiments on the CMU MoCap database show that the suggested method outperforms thirteen relevant methods based on geometric features and a method to learn the features by a combination of Principal Component Analysis and Linear Discriminant Analysis. The methods are evaluated in terms of the distribution of biometric templates in respective feature spaces expressed in a number of class separability coefficients and classification metrics. Results also indicate a high portability of learned features, that means, we can learn what aspects of walk people generally differ in and extract those as general gait features. Recognizing people without needing group-specific features is convenient as particular people might not always provide annotated learning data. As a contribution to reproducible research, our evaluation framework and database have been made publicly available. This research makes motion capture technology directly applicable for human recognition.

3D姿势估计对于分析和改善人体机器人相互作用的人体工程学和降低肌肉骨骼疾病的风险很重要。基于视觉的姿势估计方法容易出现传感器和模型误差以及遮挡，而姿势估计仅来自相互作用的机器人的轨迹，却遭受了模棱两可的解决方案。为了从两种方法的优势中受益并改善了它们的弊端，我们引入了低成本，非侵入性和遮挡刺激性多感应3D姿势估计算法中的物理人类手机相互作用。我们在单个相机上使用openpose的2D姿势，以及人类执行任务时相互作用的机器人的轨迹。我们将问题建模为部分观察的动力学系统，并通过粒子滤波器推断3D姿势。我们介绍了远程操作的工作，但可以将其推广到其他人类机器人互动的其他应用。我们表明，我们的多感官系统比仅使用机器人的轨迹仅使用openpose或姿势估计的姿势估计来更好地解决人运动冗余。与金标准运动捕获姿势相比，这将提高估计姿势的准确性。此外，当使用Rula评估工具进行姿势评估时，我们的方法也比其他单一感觉方法更好。

As a contribution to reproducible research, this paper presents a framework and a database to improve the development, evaluation and comparison of methods for gait recognition from motion capture (MoCap) data. The evaluation framework provides implementation details and source codes of state-of-the-art human-interpretable geometric features as well as our own approaches where gait features are learned by a modification of Fisher's Linear Discriminant Analysis with the Maximum Margin Criterion, and by a combination of Principal Component Analysis and Linear Discriminant Analysis. It includes a description and source codes of a mechanism for evaluating four class separability coefficients of feature space and four rank-based classifier performance metrics. This framework also contains a tool for learning a custom classifier and for classifying a custom query on a custom gallery. We provide an experimental database along with source codes for its extraction from the general CMU MoCap database.

In this work, we propose a method that combines a single hand-held camera and a set of Inertial Measurement Units (IMUs) attached at the body limbs to estimate accurate 3D poses in the wild. This poses many new challenges: the moving camera, heading drift, cluttered background, occlusions and many people visible in the video. We associate 2D pose detections in each image to the corresponding IMUequipped persons by solving a novel graph based optimization problem that forces 3D to 2D coherency within a frame and across long range frames. Given associations, we jointly optimize the pose of a statistical body model, the camera pose and heading drift using a continuous optimization framework. We validated our method on the TotalCapture dataset, which provides video and IMU synchronized with ground truth. We obtain an accuracy of 26mm, which makes it accurate enough to serve as a benchmark for image-based 3D pose estimation in the wild. Using our method, we recorded 3D Poses in the Wild (3DPW ), a new dataset consisting of more than 51, 000 frames with accurate 3D pose in challenging sequences, including walking in the city, going up-stairs, having coffee or taking the bus. We make the reconstructed 3D poses, video, IMU and 3D models available for research purposes at http://virtualhumans.mpi-inf.mpg.de/3DPW.

三维临床步态分析对于选择脑瘫患者（CP）的最佳治疗干预措施至关重要，但会产生大量的时间序列数据。对于对这些数据的自动分析，机器学习方法产生了有希望的结果。但是，由于其黑盒的性质，这种方法常常受到临床医生的不信任。我们提出了GaitxPlorer，这是一种视觉分析方法，用于对CP相关的步态模式进行分类，该方法集成了Grad-CAM（一种完善的可解释的人工智能算法），用于解释机器学习分类。交互式视觉界面中突出显示了与分类高相关的区域。在两名临床步态专家的案例研究中评估了该方法。他们检查了使用视觉界面的八名患者的样本的解释，并表达了他们认为值得信赖的相关性得分，并且他们发现哪些相关性得分。总体而言，临床医生对该方法给出了积极的反馈，因为它使他们可以更好地了解数据中的哪些区域与分类有关。

使用脚压力/力量测量硬件和运动捕获（MOCAP）技术对人类稳定的定量评估昂贵，耗时，并且仅限于实验室（基于实验室）。我们提出了一种基于图像的新方法来估计稳定计算的三个关键组件：质量中心（COM），支持基础（BOS）和压力中心（COP）。此外，我们通过使用公共可用的多模式（MOCAP，脚压力，2视频视频），定量验证基于图像的方法来计算两种经典稳定度量，以直接从基于实验室的感觉输出（地面真相）产生的方法来计算两种经典稳定性措施。十个受试者人类运动数据集。我们的实验结果表明：1）我们的COM估计方法（COMNET）始终优于最先进的基于惯性传感器的COM估计技术； 2）我们基于图像的方法与单独的鞋垫脚压结合，与地面真相稳定性度量产生一致且具有统计学意义的相关性（comtocop r = 0.79 p <0.001，comtobos r = 0.75 p <0.001）; 3）我们完全基于图像的稳定性度量估计在两个稳定性指标上产生一致，正且具有统计学意义的相关性（ComtoCop r = 0.31 P <0.001，comtobos r = 0.22 P <0.001）。我们的研究为自然环境中的稳定性计算和监测提供了有希望的定量证据。

社会偏移和温度筛选已被广泛用于抵消Covid-19大流行，从全世界的学术界，工业和公共主管部门引发极大的兴趣。虽然大多数解决方案分别处理了这些方面，但它们的组合将极大地利用对公共空间的持续监测，并有助于触发有效的对策。这项工作介绍了毫米杀虫雷达和红外成像传感系统，在室内空间中进行了不引人注目的和隐私，在室内空间中进行了不显眼和隐私。 Millitrace-IR通过强大的传感器融合方法，MM波雷达和红外热摄像机结合。它通过在热摄像机图像平面和雷达参考系统中的人体运动中共同跟踪受试者的面，实现了偏移和体温的完全自动测量。此外，毫米itrace-IR执行接触跟踪：热相机传感器可靠地检测体温高的人，随后通过雷达以非侵入方式追踪大型室内区域。进入新房间时，通过深神经网络从雷达反射计算与雷达反射的步态相关的特征，并使用加权的极端学习机作为最终重新识别工具，在其他人之间重新识别一个主题。从实际实施中获得的实验结果，从毫米 - IR的实际实施中展示了距离/轨迹估计的排入量级精度，个人间距离估计（对受试者接近0.2米的受试者有效），以及精确的温度监测（最大误差0.5 {\ deg} c）。此外，毫米itrace-IR通过高精度（95％）的人重新识别，在不到20秒内提供接触跟踪。