步态识别是从步行或跑步等两足动力中识别人类的过程。因此，步态数据是隐私敏感信息，应在可能的情况下匿名化。随着高质量步态记录技术的兴起，例如深度摄像头或运动捕获西服，捕获和处理越来越多的详细步态数据。 Metaverse的介绍和崛起只是一种流行的应用程序场景，在该方案中，用户步态被转移到数字化头像上。作为开发高质量步态数据有效匿名技术的第一步，我们研究了运动数据的不同方面，以量化其对步态识别的贡献。我们首先从有关人步态感知的文献中提取特征类别，然后为每个类别设计实验，以评估它们所包含的信息有助于识别成功。我们的结果表明，步态匿名化将具有挑战性，因为数据是高度冗余和相互依存的。

人体步态是指不仅代表活动能力的每日运动，而且还可以用人类观察者或计算机来识别步行者。最近的研究表明，步态甚至传达了有关沃克情绪的信息。不同情绪状态中的个体可能显示出不同的步态模式。各种情绪和步态模式之间的映射为自动情绪识别提供了新的来源。与传统的情绪检测生物识别技术（例如面部表达，言语和生理参数）相比，步态是可以观察到的，更难以模仿，并且需要从该主题中进行较少的合作。这些优势使步态成为情感检测的有前途的来源。本文回顾了有关基于步态的情绪检测的当前研究，尤其是关于步态参数如何受到不同情绪状态的影响以及如何通过不同的步态模式识别情绪状态的研究。我们专注于情感识别过程中应用的详细方法和技术：数据收集，预处理和分类。最后，我们讨论了使用智能计算和大数据的最先进技术的状态来讨论高效有效的基于步态的情感识别的可能发展。

通常，基于生物谱系的控制系统可能不依赖于各个预期行为或合作适当运行。相反，这种系统应该了解未经授权的访问尝试的恶意程序。文献中提供的一些作品建议通过步态识别方法来解决问题。这些方法旨在通过内在的可察觉功能来识别人类，尽管穿着衣服或配件。虽然该问题表示相对长时间的挑战，但是为处理问题的大多数技术存在与特征提取和低分类率相关的几个缺点，以及其他问题。然而，最近的深度学习方法是一种强大的一组工具，可以处理几乎任何图像和计算机视觉相关问题，为步态识别提供最重要的结果。因此，这项工作提供了通过步态认可的关于生物识别检测的最近作品的调查汇编，重点是深入学习方法，强调他们的益处，暴露出弱点。此外，它还呈现用于解决相关约束的数据集，方法和体系结构的分类和表征描述。

Gait recognition from motion capture data, as a pattern classification discipline, can be improved by the use of machine learning. This paper contributes to the state-of-the-art with a statistical approach for extracting robust gait features directly from raw data by a modification of Linear Discriminant Analysis with Maximum Margin Criterion. Experiments on the CMU MoCap database show that the suggested method outperforms thirteen relevant methods based on geometric features and a method to learn the features by a combination of Principal Component Analysis and Linear Discriminant Analysis. The methods are evaluated in terms of the distribution of biometric templates in respective feature spaces expressed in a number of class separability coefficients and classification metrics. Results also indicate a high portability of learned features, that means, we can learn what aspects of walk people generally differ in and extract those as general gait features. Recognizing people without needing group-specific features is convenient as particular people might not always provide annotated learning data. As a contribution to reproducible research, our evaluation framework and database have been made publicly available. This research makes motion capture technology directly applicable for human recognition.

人的步态被认为是一种独特的生物识别标识符，其可以在距离处以覆盖方式获取。但是，在受控场景中捕获的现有公共领域步态数据集接受的模型导致应用于现实世界无约束步态数据时的剧烈性能下降。另一方面，视频人员重新识别技术在大规模公共可用数据集中实现了有希望的性能。鉴于服装特性的多样性，衣物提示对于人们的认可不可靠。因此，实际上尚不清楚为什么最先进的人重新识别方法以及他们的工作。在本文中，我们通过从现有的视频人重新识别挑战中提取剪影来构建一个新的步态数据集，该挑战包括1,404人以不受约束的方式行走。基于该数据集，可以进行步态认可与人重新识别之间的一致和比较研究。鉴于我们的实验结果表明，目前在受控情景收集的数据下设计的目前的步态识别方法不适合真实监视情景，我们提出了一种名为Realgait的新型步态识别方法。我们的结果表明，在实际监视情景中识别人的步态是可行的，并且潜在的步态模式可能是视频人重新设计在实践中的真正原因。

人类身份是对日常生活中许多应用的关键要求，例如个性化服务，自动监视，连续身份验证和大流行期间的接触跟踪等。这项工作研究了跨模式人类重新识别（REID）的问题，对跨摄像机允许区域（例如街道）和摄像头限制区域（例如办公室）的常规人类运动的反应。通过利用新出现的低成本RGB-D摄像机和MMWave雷达，我们提出了同时跨模式多人REID的首个视觉RF系统。首先，为了解决基本模式间差异，我们提出了一种基于人体观察到的镜面反射模型的新型签名合成算法。其次，引入了有效的跨模式深度度量学习模型，以应对在雷达和相机之间由非同步数据引起的干扰。通过在室内和室外环境中进行的广泛实验，我们证明了我们所提出的系统能够达到约92.5％的TOP-1准确性，而在56名志愿者中，〜97.5％的前5位精度。我们还表明，即使传感器的视野中存在多个主题，我们提出的系统也能够重新识别受试者。

步态识别旨在通过相机来识别一个距离的人。随着深度学习的出现，步态识别的重大进步通过使用深度学习技术在许多情况下取得了鼓舞人心的成功。然而，对视频监视的越来越多的需求引入了更多的挑战，包括在各种方差下进行良好的识别，步态序列中的运动信息建模，由于协议方差，生物量标准安全性和预防隐私而引起的不公平性能比较。本文对步态识别的深度学习进行了全面的调查。我们首先介绍了从传统算法到深层模型的步态识别的奥德赛，从而提供了对步态识别系统的整个工作流程的明确知识。然后，从深度表示和建筑的角度讨论了步态识别的深入学习，并深入摘要。具体而言，深层步态表示分为静态和动态特征，而深度体系结构包括单流和多流架构。遵循我们提出的新颖性分类法，它可能有益于提供灵感并促进对步态认识的感知。此外，我们还提供了所有基于视觉的步态数据集和性能分析的全面摘要。最后，本文讨论了一些潜在潜在前景的开放问题。

MoCap-based human identification, as a pattern recognition discipline, can be optimized using a machine learning approach. Yet in some applications such as video surveillance new identities can appear on the fly and labeled data for all encountered people may not always be available. This work introduces the concept of learning walker-independent gait features directly from raw joint coordinates by a modification of the Fisher Linear Discriminant Analysis with Maximum Margin Criterion. Our new approach shows not only that these features can discriminate different people than who they are learned on, but also that the number of learning identities can be much smaller than the number of walkers encountered in the real operation.

对医疗保健监控的远程工具的需求从未如此明显。摄像机测量生命体征利用成像装置通过分析人体的图像来计算生理变化。建立光学，机器学习，计算机视觉和医学的进步这些技术以来的数码相机的发明以来已经显着进展。本文介绍了对生理生命体征的相机测量综合调查，描述了它们可以测量的重要标志和实现所做的计算技术。我涵盖了临床和非临床应用以及这些应用需要克服的挑战，以便从概念上推进。最后，我描述了对研究社区可用的当前资源（数据集和代码），并提供了一个全面的网页（https://cameravitals.github.io/），其中包含这些资源的链接以及其中引用的所有文件的分类列表文章。

由于它们过去证明的准确性较低，因此对3D摄像机进行步态分析的使用受到了高度质疑。本文介绍的研究的目的是提高机器人安装在人体步态分析中的估计的准确性，通过应用监督的学习阶段。 3D摄像头安装在移动机器人中，以获得更长的步行距离。这项研究表明，通过使用从认证的Vicon系统获得的数据训练的人工神经网络对相机的原始估计进行后处理，从而改善了运动步态信号和步态描述符的检测。为此，招募了37名健康参与者，并使用ORBBEC ASTRA 3D摄像头收集了207个步态序列的数据。有两种基本的训练方法：使用运动学步态信号并使用步态描述符。前者试图通过减少误差并增加相对于Vicon系统的相关性来改善运动步态信号的波形。第二个是一种更直接的方法，专注于直接使用步态描述符训练人工神经网络。在训练之前和之后测量了3D摄像头的精度。在两种训练方法中，都观察到了改进。运动步态信号显示出较低的错误和相对于地面真理的较高相关性。检测步态描述符的系统的准确性也显示出很大的改进，主要是运动学描述符，而不是时空。在比较两种训练方法时，不可能定义哪个是绝对最好的。因此，我们认为，培训方法的选择将取决于要进行的研究的目的。这项研究揭示了3D摄像机的巨大潜力，并鼓励研究界继续探索他们在步态分析中的使用。

这项工作对最近的努力进行了系统的综述（自2010年以来），旨在自动分析面对面共同关联的人类社交互动中显示的非语言提示。专注于非语言提示的主要原因是，这些是社会和心理现象的物理，可检测到的痕迹。因此，检测和理解非语言提示至少在一定程度上意味着检测和理解社会和心理现象。所涵盖的主题分为三个：a）建模社会特征，例如领导力，主导，人格特质，b）社会角色认可和社会关系检测以及c）群体凝聚力，同情，rapport和so的互动动态分析向前。我们针对共同的相互作用，其中相互作用的人永远是人类。该调查涵盖了各种各样的环境和场景，包括独立的互动，会议，室内和室外社交交流，二元对话以及人群动态。对于他们每个人，调查都考虑了非语言提示分析的三个主要要素，即数据，传感方法和计算方法。目的是突出显示过去十年的主要进步，指出现有的限制并概述未来的方向。

本文审查了视觉隐私保护技术中最先进的技术，特别注意适用于主动和辅助生活领域的技术（aal）。介绍了一种新的分类，可以归类最先进的视觉隐私保护方法。突出显示了传教性的感知混淆方法，是分类学中的一个类别。这些是一类视觉隐私保存技术，特别是在考虑基于视频的AAL监控的情况时特别相关。还探讨了对机器学习模型的混淆。设计的不同隐私层面的高级分类方案与视觉隐私保存技术的拟议分类有关。最后，我们注意到现场存在的开放问题，并将读者介绍给一些令人兴奋的途径，以便在视觉隐私区域的未来研究。

As a contribution to reproducible research, this paper presents a framework and a database to improve the development, evaluation and comparison of methods for gait recognition from motion capture (MoCap) data. The evaluation framework provides implementation details and source codes of state-of-the-art human-interpretable geometric features as well as our own approaches where gait features are learned by a modification of Fisher's Linear Discriminant Analysis with the Maximum Margin Criterion, and by a combination of Principal Component Analysis and Linear Discriminant Analysis. It includes a description and source codes of a mechanism for evaluating four class separability coefficients of feature space and four rank-based classifier performance metrics. This framework also contains a tool for learning a custom classifier and for classifying a custom query on a custom gallery. We provide an experimental database along with source codes for its extraction from the general CMU MoCap database.

在各种条件下行走期间关节阻抗的知识与临床决策以及机器人步态培训师，腿部假体，腿矫形器和可穿戴外骨骼的发展相关。虽然步行过程中的脚踝阻抗已经通过实验评估，但尚未识别步行期间的膝盖和髋关节阻抗。在这里，我们开发并评估了下肢扰动器，以识别跑步机行走期间髋关节，膝关节和踝关节阻抗。下肢扰动器（Loper）由致动器组成，致动器通过杆连接到大腿。 Loper允许将力扰动施加到自由悬挂的腿上，同时站立在对侧腿上，带宽高达39Hz。在以最小的阻抗模式下行走时，Loper和大腿之间的相互作用力低（<5N），并且对行走图案的效果小于正常行走期间的对象内变异性。使用摆动腿动力学的非线性多体动力学模型，在摆动阶段在速度为0.5米/秒的速度的九个受试者期间估计臀部，膝关节和踝关节阻抗。所识别的模型能够预测实验反应，因为分别占髋部，膝关节和踝部的平均方差为99％，96％和77％。对受试者刚度的平均分别在34-66nm / rad，0-3.5nm / rad，0-3.5nm / rad和2.5-24nm / rad的三个时间点之间变化，分别用于臀部，膝部和踝关节。阻尼分别在1.9-4.6 nms / rad，0.02-0.14 nms / rad和0.2-2.4 nms / rad的0.02-0.14 nms / rad供应到0.2-2.4nms / rad。发达的洛普勒对不受干扰的行走模式具有可忽略的影响，并且允许在摆动阶段识别臀部，膝关节和踝关节阻抗。

深度神经网络在人类分析中已经普遍存在，增强了应用的性能，例如生物识别识别，动作识别以及人重新识别。但是，此类网络的性能通过可用的培训数据缩放。在人类分析中，对大规模数据集的需求构成了严重的挑战，因为数据收集乏味，廉价，昂贵，并且必须遵守数据保护法。当前的研究研究了\ textit {合成数据}的生成，作为在现场收集真实数据的有效且具有隐私性的替代方案。这项调查介绍了基本定义和方法，在生成和采用合成数据进行人类分析时必不可少。我们进行了一项调查，总结了当前的最新方法以及使用合成数据的主要好处。我们还提供了公开可用的合成数据集和生成模型的概述。最后，我们讨论了该领域的局限性以及开放研究问题。这项调查旨在为人类分析领域的研究人员和从业人员提供。

三维临床步态分析对于选择脑瘫患者（CP）的最佳治疗干预措施至关重要，但会产生大量的时间序列数据。对于对这些数据的自动分析，机器学习方法产生了有希望的结果。但是，由于其黑盒的性质，这种方法常常受到临床医生的不信任。我们提出了GaitxPlorer，这是一种视觉分析方法，用于对CP相关的步态模式进行分类，该方法集成了Grad-CAM（一种完善的可解释的人工智能算法），用于解释机器学习分类。交互式视觉界面中突出显示了与分类高相关的区域。在两名临床步态专家的案例研究中评估了该方法。他们检查了使用视觉界面的八名患者的样本的解释，并表达了他们认为值得信赖的相关性得分，并且他们发现哪些相关性得分。总体而言，临床医生对该方法给出了积极的反馈，因为它使他们可以更好地了解数据中的哪些区域与分类有关。

人类的物体感知能力令人印象深刻，当试图开发具有类似机器人的解决方案时，这变得更加明显。从人类如何将视觉和触觉用于对象感知和相关任务的灵感中，本文总结了机器人应用的多模式对象感知的当前状态。它涵盖了生物学灵感，传感器技术，数据集以及用于对象识别和掌握的感觉数据处理的各个方面。首先，概述了多模式对象感知的生物学基础。然后讨论了传感技术和数据收集策略。接下来，介绍了主要计算方面的介绍，突出显示了每个主要应用领域的一些代表性文章，包括对象识别，传输学习以及对象操纵和掌握。最后，在每个领域的当前进步中，本文概述了有希望的新研究指示。

跌倒是致命和非致命伤害的主要原因，尤其是对于老年人。身体内部原因（例如疾病）或外部原因（例如主动或被动扰动）可能导致不平衡。主动扰动是将外力施加到人的结果，而被动扰动是由于人类运动与静态障碍相互作用而导致的。这项工作提出了一个指标，该指标允许监视躯干及其与主动和被动扰动的相关性。我们表明，躯干摇摆的巨大变化可以与主动扰动密切相关。我们还表明，通过调节过去的轨迹，躯干运动和周围场景的预期路径和躯干摇摆，我们可以合理地预测躯干摇摆的未来路径和预期变化。这将有直接的预防应用程序。结果表明，躯干摇摆与扰动密切相关。而且我们的模型能够利用全景图中介绍的视觉提示并相应地调节预测。

由于价格合理的可穿戴摄像头和大型注释数据集的可用性，在过去几年中，Egintric Vision（又名第一人称视觉-FPV）的应用程序在过去几年中蓬勃发展。可穿戴摄像机的位置（通常安装在头部上）允许准确记录摄像头佩戴者在其前面的摄像头，尤其是手和操纵物体。这种内在的优势可以从多个角度研究手：将手及其部分定位在图像中；了解双手涉及哪些行动和活动；并开发依靠手势的人类计算机界面。在这项调查中，我们回顾了使用以自我为中心的愿景专注于手的文献，将现有方法分类为：本地化（其中的手或部分在哪里？）；解释（手在做什么？）；和应用程序（例如，使用以上为中心的手提示解决特定问题的系统）。此外，还提供了带有手基注释的最突出的数据集的列表。

在过去的几年中，计算机视觉的显着进步总的来说是归因于深度学习，这是由于大量标记数据的可用性所推动的，并与GPU范式的爆炸性增长配对。在订阅这一观点的同时，本书批评了该领域中所谓的科学进步，并在基于信息的自然法则的框架内提出了对愿景的调查。具体而言，目前的作品提出了有关视觉的基本问题，这些问题尚未被理解，引导读者走上了一个由新颖挑战引起的与机器学习基础共鸣的旅程。中心论点是，要深入了解视觉计算过程，有必要超越通用机器学习算法的应用，而要专注于考虑到视觉信号的时空性质的适当学习理论。