如果不正确地进行，无监督的自我锻炼练习和体育训练可能会造成严重伤害。我们介绍了一个基于学习的框架，该框架可以识别用户犯的错误，并提出纠正措施，以更轻松，更安全的个人培训。我们的框架不依赖于硬编码的启发式规则。取而代之的是，它从数据中学习，这有助于其适应特定用户需求。为此，我们使用作用于用户姿势序列的图形卷积网络（GCN）体系结构来模拟身体关节轨迹之间的关系。为了评估我们的方法，我们介绍了一个具有3种不同体育锻炼的数据集。我们的方法产生了90.9％的错误识别准确性，并成功纠正了94.2％的错误。

长期人体运动预测对于安全关键应用是必不可少的，例如人机互动和自主驾驶。在本文中，我们展示了实现长期预测，预测每次瞬间的人类姿势是不必要的。相反，通过线性地插入键盘来预测几个小折叠和近似中间组更有效。我们将证明我们的方法使我们能够在未来预测最多5秒的现实运动，远远大于文献中遇到的典型1秒。此外，由于我们模拟了未来的重叠概率，因此我们可以通过在推理时间采样来产生多种合理的未来动作。在这个延长的时间内，我们的预测更加现实，更多样化，更好地保护运动动力学而不是那些最先进的方法产量。

现有的基于3D骨架的动作识别方法通过将手工制作的动作功能编码为图像格式和CNN解码，从而达到了令人印象深刻的性能。但是，这种方法在两种方面受到限制：a）手工制作的动作功能很难处理具有挑战性的动作，b）通常需要复杂的CNN模型来提高动作识别精度，这通常会发生重大计算负担。为了克服这些局限性，我们引入了一种新颖的AFE-CNN，它致力于增强基于3D骨架的动作的特征，以适应具有挑战性的动作。我们提出了功能增强从关键关节，骨向量，关键框架和时间视角的模块，因此，AFE-CNN对摄像头视图和车身大小变化更为强大，并显着提高了对挑战性动作的识别精度。此外，我们的AFE-CNN采用了轻巧的CNN模型以增强动作功能来解码图像，从而确保了比最新方法低得多的计算负担。我们在三个基于基准骨架的动作数据集上评估了AFE-CNN：NTU RGB+D，NTU RGB+D 120和UTKINECT-ACTION3D，并取得了广泛的实验结果，这表明我们对AFE-CNN的出色表现。

在人类运动预测上的事后大多专注于预测单一受试者的未来动作与过去的姿势序列隔离。然而，在密切互动的人面前，这种策略未能考虑不同主题运动之间的依赖关系。在本文中，我们引入了运动预测框架，其明确原因是关于两个观察到的对象的相互作用。具体而言，我们通过引入一对对应的对准机制来实现这一目标，该机制模拟了两个受试者的运动历史中的相互依赖性。这使我们能够以更现实的方式保留长期运动动态，并且更加强大地预测不寻常和快节奏的运动，例如在舞蹈场景中发生的运动。为了评估这一点，因为没有现有的运动预测数据集描述了两个紧密互动的主体，我们介绍了Lindyhop600K舞蹈数据集。我们的结果证明我们的方法优于最先进的单人运动预测技术。

人类行动识别是计算机视觉中的重要应用领域。它的主要目的是准确地描述人类的行为及其相互作用，从传感器获得的先前看不见的数据序列中。识别，理解和预测复杂人类行动的能力能够构建许多重要的应用，例如智能监视系统，人力计算机界面，医疗保健，安全和军事应用。近年来，计算机视觉社区特别关注深度学习。本文使用深度学习技术的视频分析概述了当前的动作识别最新识别。我们提出了识别人类行为的最重要的深度学习模型，并分析它们，以提供用于解决人类行动识别问题的深度学习算法的当前进展，以突出其优势和缺点。基于文献中报道的识别精度的定量分析，我们的研究确定了动作识别中最新的深层体系结构，然后为该领域的未来工作提供当前的趋势和开放问题。

我们提出了一种新的深度学习方法，用于实时3D人类行动从骨骼数据识别，并将其应用于开发基于视觉的智能监视系统。给定骨骼序列，我们建议将骨骼姿势及其运动编码为单个RGB图像。然后将自适应直方图均衡（AHE）算法应用于颜色图像上，以增强其局部模式并产生更多的判别特征。为了学习和分类任务，我们根据密度连接的卷积体系结构（Densenet）设计深神经网络，以从增强色彩图像中提取特征并将其分类为类。两个具有挑战性的数据集的实验结果表明，所提出的方法达到了最先进的准确性，同时需要培训和推理的计算时间较低。本文还介绍了Cemest，Cemest是一种新的RGB-D数据集，描绘了公共交通中的客运行为。它由203个未经修剪的现实世界监视视频，记录了现实的正常事件和异常事件。在支持数据增强和转移学习技术的支持下，我们在该数据集的实际条件下取得了令人鼓舞的结果。这使基于深度学习的现实应用程序的构建可以增强公共交通中的监控和安全性。

我们解决了人类反应生成的挑战性任务，该任务旨在基于输入动作产生相应的反应。大多数现有作品并不集中于产生和预测反应，并且在仅给出动作作为输入时就无法产生运动。为了解决这一限制，我们提出了一种新型的相互作用变压器（Interformer），该变压器由具有时间和空间浓度的变压器网络组成。具体而言，时间的注意力捕获了字符及其相互作用的运动的时间依赖性，而空间注意力则了解每个字符的不同身体部位与相互作用的一部分之间的依赖关系。此外，我们建议使用图形通过相互作用距离模块提高空间注意力的性能，以帮助关注两个字符的附近关节。关于SBU相互作用，K3HI和Duetdance数据集的广泛实验证明了Interformer的有效性。我们的方法是一般的，可用于产生更复杂和长期的相互作用。

多个摄像机制造的视频录制的可用性越来越多，为姿势和运动重建方法中的减少和深度歧义提供了新的方法。然而，多视图算法强烈依赖于相机参数;特别地，相机之间的相对介绍。在不受控制的设置中，这种依赖变为一旦转移到动态捕获一次。我们介绍Flex（免费多视图重建），一个端到端的无参数多视图模型。 Flex是无意义的参数，即它不需要任何相机参数，都不是内在的也不是外在的。我们的关键思想是骨架部件和骨长之间的3D角度是不变的相机位置。因此，学习3D旋转和骨长而不是位置允许预测所有相机视图的公共值。我们的网络采用多个视频流，学习通过新型多视图融合层的融合深度特征，并重建单一一致的骨架，其具有时间上相干的关节旋转。我们展示了人类3.6M和KTH多视图足球II数据集的定量和定性结果，以及动态摄像头捕获的合成多人视频流。我们将模型与最先进的方法进行比较，这些方法没有参与参数，并在没有相机参数的情况下显示，我们在获得相机参数可用时获取可比结果的同时优于较大的余量。我们的项目页面上可以使用代码，培训的模型，视频示例和更多材料。

骨架序列轻巧且紧凑，因此是在边缘设备上进行动作识别的理想候选者。最新的基于骨架的动作识别方法从3D关节坐标作为时空提示提取特征，在图神经网络中使用这些表示形式来提高识别性能。一阶和二阶特征（即关节和骨骼表示）的使用导致了很高的精度。但是，许多模型仍然被具有相似运动轨迹的动作所困惑。为了解决这些问题，我们建议以角度编码为现代体系结构的形式融合高阶特征，以稳健地捕获关节和身体部位之间的关系。这种与流行的时空图神经网络的简单融合可在包括NTU60和NTU120在内的两个大型基准中实现新的最新精度，同时使用较少的参数和减少的运行时间。我们的源代码可公开可用：https：//github.com/zhenyueqin/angular-skeleton-soding。

时间动作分割（TAS）旨在在长期未经修剪的动作序列中对作用进行分类和定位。随着深度学习的成功，出现了许多深入的行动分割模型。但是，很少有TAS仍然是一个具有挑战性的问题。这项研究提出了一个基于少数骨架的TA的有效框架，包括数据增强方法和改进的模型。此处介绍了基于运动插值的数据增强方法，以解决数据不足的问题，并可以通过合成动作序列大大增加样品数量。此外，我们将连接式时间分类（CTC）层与设计用于基于骨架的TA的网络以获得优化的模型。利用CTC可以增强预测和地面真理之间的时间一致性，并进一步改善细分段的分割结果指标。对公共和自我结构的数据集进行了广泛的实验，包括两个小规模数据集和一个大规模数据集，显示了两种建议方法在改善基于少数骨架的TAS任务的性能方面的有效性。

Action recognition with skeleton data has recently attracted much attention in computer vision. Previous studies are mostly based on fixed skeleton graphs, only capturing local physical dependencies among joints, which may miss implicit joint correlations. To capture richer dependencies, we introduce an encoder-decoder structure, called A-link inference module, to capture action-specific latent dependencies, i.e. actional links, directly from actions. We also extend the existing skeleton graphs to represent higherorder dependencies, i.e. structural links. Combing the two types of links into a generalized skeleton graph, we further propose the actional-structural graph convolution network (AS-GCN), which stacks actional-structural graph convolution and temporal convolution as a basic building block, to learn both spatial and temporal features for action recognition. A future pose prediction head is added in parallel to the recognition head to help capture more detailed action patterns through self-supervision. We validate AS-GCN in action recognition using two skeleton data sets, NTU-RGB+D and Kinetics. The proposed AS-GCN achieves consistently large improvement compared to the state-of-the-art methods. As a side product, AS-GCN also shows promising results for future pose prediction. Our code is available at https://github.com/limaosen0/AS-GCN . 1

基于骨架的动作识别方法受到时空骨骼图的语义提取的限制。但是，当前方法在有效地结合时间和空间图尺寸的特征方面很难，一侧往往厚度厚，另一侧较薄。在本文中，我们提出了一个时间通道聚合图卷积网络（TCA-GCN），以动态有效地学习基于骨架动作识别的不同时间和通道维度中的空间和时间拓扑。我们使用时间聚合模块来学习时间维特征和通道聚合模块，以有效地将空间动态通道拓扑特征与时间动态拓扑特征相结合。此外，我们在时间建模上提取多尺度的骨骼特征，并将其与注意机制融合。广泛的实验表明，在NTU RGB+D，NTU RGB+D 120和NW-UCLA数据集上，我们的模型结果优于最先进的方法。

本文认为共同解决估计3D人体的高度相关任务，并从RGB图像序列预测未来的3D运动。基于Lie代数姿势表示，提出了一种新的自投影机制，自然保留了人类运动运动学。通过基于编码器 - 解码器拓扑的序列到序列的多任务架构进一步促进了这一点，这使我们能够利用两个任务共享的公共场所。最后，提出了一个全球细化模块来提高框架的性能。我们的方法称为PoMomemet的效力是通过消融测试和人文3.6M和Humaneva-I基准的实证评估，从而获得与最先进的竞争性能。

骨架序列是紧凑而轻巧的。已经提出了许多基于骨架的动作识别者来对人类行为进行分类。在这项工作中，我们旨在结合与现有模型兼容的组件，并进一步提高其准确性。为此，我们设计了两个时间配件：离散余弦编码（DCE）和按时间顺序损失（CRL）。DCE促进模型以分析频域的运动模式，同时减轻信号噪声的影响。CRL指导网络明确捕获序列的时间顺序。这两个组件一致地赋予许多最近提供的动作识别器具有准确性的提升，从而在两个大数据集上实现了新的最先进（SOTA）精度。

Human activity recognition (HAR) using drone-mounted cameras has attracted considerable interest from the computer vision research community in recent years. A robust and efficient HAR system has a pivotal role in fields like video surveillance, crowd behavior analysis, sports analysis, and human-computer interaction. What makes it challenging are the complex poses, understanding different viewpoints, and the environmental scenarios where the action is taking place. To address such complexities, in this paper, we propose a novel Sparse Weighted Temporal Attention (SWTA) module to utilize sparsely sampled video frames for obtaining global weighted temporal attention. The proposed SWTA is comprised of two parts. First, temporal segment network that sparsely samples a given set of frames. Second, weighted temporal attention, which incorporates a fusion of attention maps derived from optical flow, with raw RGB images. This is followed by a basenet network, which comprises a convolutional neural network (CNN) module along with fully connected layers that provide us with activity recognition. The SWTA network can be used as a plug-in module to the existing deep CNN architectures, for optimizing them to learn temporal information by eliminating the need for a separate temporal stream. It has been evaluated on three publicly available benchmark datasets, namely Okutama, MOD20, and Drone-Action. The proposed model has received an accuracy of 72.76%, 92.56%, and 78.86% on the respective datasets thereby surpassing the previous state-of-the-art performances by a margin of 25.26%, 18.56%, and 2.94%, respectively.

Dynamics of human body skeletons convey significant information for human action recognition. Conventional approaches for modeling skeletons usually rely on hand-crafted parts or traversal rules, thus resulting in limited expressive power and difficulties of generalization. In this work, we propose a novel model of dynamic skeletons called Spatial-Temporal Graph Convolutional Networks (ST-GCN), which moves beyond the limitations of previous methods by automatically learning both the spatial and temporal patterns from data. This formulation not only leads to greater expressive power but also stronger generalization capability. On two large datasets, Kinetics and NTU-RGBD, it achieves substantial improvements over mainstream methods.

由于自我批判性和歧义，了解动态的手动运动和动态动作是一项基本而又具有挑战性的任务。为了解决遮挡和歧义，我们开发了一个基于变压器的框架来利用时间信息以进行稳健的估计。注意到手部姿势估计和动作识别之间的不同时间粒度和语义相关性，我们建立了一个网络层次结构，其中有两个级联变压器编码器，其中第一个利用了短期的时间cue进行手姿势估算，而后者则每次聚集物，后者每次聚集体 - 帧姿势和对象信息在更长的时间范围内识别动作。我们的方法在两个第一人称手动作基准（即FPHA和H2O）上取得了竞争成果。广泛的消融研究验证了我们的设计选择。我们将开放源代码和数据以促进未来的研究。

基于骨架的人类行动识别是由于其复杂的动态而是一项长期挑战。动态的一些细颗粒细节在分类中起着至关重要的作用。现有的工作主要集中在设计带有更复杂的相邻矩阵的增量神经网络上，以捕获关节关系的细节。但是，他们仍然很难区分具有广泛相似运动模式但属于不同类别的动作。有趣的是，我们发现运动模式上的细微差异可以显着放大，并且可以轻松地通过指定的视图方向来区分观众，在这些方向上，该属性以前从未得到充分探索。与以前的工作截然不同，我们通过提出一种概念上简单而有效的多视图策略来提高性能，该策略从一系列动态视图功能中识别动作。具体而言，我们设计了一个新颖的骨骼锚定建议（SAP）模块，该模块包含一个多头结构来学习一组视图。为了学习不同观点的特征学习，我们引入了一个新的角度表示，以在不同视图下的动作转换并将转换归因于基线模型。我们的模块可以与现有的动作分类模型无缝合作。与基线模型合并，我们的SAP模块在许多具有挑战性的基准上展示了明显的性能增长。此外，全面的实验表明，我们的模型始终击败了最新的实验，并且在处理损坏的数据时保持有效和健壮。相关代码将在https://github.com/ideal-idea/sap上提供。

人类相互作用的分析是人类运动分析的一个重要研究主题。它已经使用第一人称视觉（FPV）或第三人称视觉（TPV）进行了研究。但是，到目前为止，两种视野的联合学习几乎没有引起关注。原因之一是缺乏涵盖FPV和TPV的合适数据集。此外，FPV或TPV的现有基准数据集具有多个限制，包括样本数量有限，参与者，交互类别和模态。在这项工作中，我们贡献了一个大规模的人类交互数据集，即FT-HID数据集。 FT-HID包含第一人称和第三人称愿景的成对对齐的样本。该数据集是从109个不同受试者中收集的，并具有三种模式的90K样品。该数据集已通过使用几种现有的动作识别方法验证。此外，我们还引入了一种新型的骨骼序列的多视图交互机制，以及针对第一人称和第三人称视野的联合学习多流框架。两种方法都在FT-HID数据集上产生有希望的结果。可以预期，这一视力一致的大规模数据集的引入将促进FPV和TPV的发展，以及他们用于人类行动分析的联合学习技术。该数据集和代码可在\ href {https://github.com/endlichere/ft-hid} {here} {herefichub.com/endlichere.com/endlichere}中获得。

设计可以成功部署在日常生活环境中的活动检测系统需要构成现实情况典型挑战的数据集。在本文中，我们介绍了一个新的未修剪日常生存数据集，该数据集具有几个现实世界中的挑战：Toyota Smarthome Untrimmed（TSU）。 TSU包含以自发方式进行的各种活动。数据集包含密集的注释，包括基本的，复合活动和涉及与对象相互作用的活动。我们提供了对数据集所需的现实世界挑战的分析，突出了检测算法的开放问题。我们表明，当前的最新方法无法在TSU数据集上实现令人满意的性能。因此，我们提出了一种新的基线方法，以应对数据集提供的新挑战。此方法利用一种模态（即视线流）生成注意力权重，以指导另一种模态（即RGB）以更好地检测活动边界。这对于检测以高时间差异为特征的活动特别有益。我们表明，我们建议在TSU和另一个受欢迎的挑战数据集Charades上优于最先进方法的方法。