在本文中，我们提出了几次学习管道，通过关节时间和相机视点对齐（Jeanie）提出了基于3D骨架的动作识别。要考虑查询和支持3D身体关节的支持序列之间的错位，我们提出了一种动态时间翘曲的先进变体，该动态时间翘曲是共同模拟查询和支持帧之间的每个平滑路径，同时实现时间和模拟摄像机视点空间中的最佳对准在有限的几次训练数据下的端到端学习。序列用基于简单的光谱图卷积的时间块编码器来编码，轻量级线性图形神经网络骨架（我们还包括具有变压器的设置）。最后，我们提出了一种基于相似性的损失，这鼓励相同阶级的序列对准，同时防止不相关序列的对准。我们在NTU-60，NTU-120，动力学 - 骨架和UWA3D多视图活动II上展示了最先进的结果。

人类相互作用的分析是人类运动分析的一个重要研究主题。它已经使用第一人称视觉（FPV）或第三人称视觉（TPV）进行了研究。但是，到目前为止，两种视野的联合学习几乎没有引起关注。原因之一是缺乏涵盖FPV和TPV的合适数据集。此外，FPV或TPV的现有基准数据集具有多个限制，包括样本数量有限，参与者，交互类别和模态。在这项工作中，我们贡献了一个大规模的人类交互数据集，即FT-HID数据集。 FT-HID包含第一人称和第三人称愿景的成对对齐的样本。该数据集是从109个不同受试者中收集的，并具有三种模式的90K样品。该数据集已通过使用几种现有的动作识别方法验证。此外，我们还引入了一种新型的骨骼序列的多视图交互机制，以及针对第一人称和第三人称视野的联合学习多流框架。两种方法都在FT-HID数据集上产生有希望的结果。可以预期，这一视力一致的大规模数据集的引入将促进FPV和TPV的发展，以及他们用于人类行动分析的联合学习技术。该数据集和代码可在\ href {https://github.com/endlichere/ft-hid} {here} {herefichub.com/endlichere.com/endlichere}中获得。

基于骨架的人类行动识别是由于其复杂的动态而是一项长期挑战。动态的一些细颗粒细节在分类中起着至关重要的作用。现有的工作主要集中在设计带有更复杂的相邻矩阵的增量神经网络上，以捕获关节关系的细节。但是，他们仍然很难区分具有广泛相似运动模式但属于不同类别的动作。有趣的是，我们发现运动模式上的细微差异可以显着放大，并且可以轻松地通过指定的视图方向来区分观众，在这些方向上，该属性以前从未得到充分探索。与以前的工作截然不同，我们通过提出一种概念上简单而有效的多视图策略来提高性能，该策略从一系列动态视图功能中识别动作。具体而言，我们设计了一个新颖的骨骼锚定建议（SAP）模块，该模块包含一个多头结构来学习一组视图。为了学习不同观点的特征学习，我们引入了一个新的角度表示，以在不同视图下的动作转换并将转换归因于基线模型。我们的模块可以与现有的动作分类模型无缝合作。与基线模型合并，我们的SAP模块在许多具有挑战性的基准上展示了明显的性能增长。此外，全面的实验表明，我们的模型始终击败了最新的实验，并且在处理损坏的数据时保持有效和健壮。相关代码将在https://github.com/ideal-idea/sap上提供。

Recent approaches in depth-based human activity analysis achieved outstanding performance and proved the effectiveness of 3D representation for classification of action classes. Currently available depth-based and RGB+Dbased action recognition benchmarks have a number of limitations, including the lack of training samples, distinct class labels, camera views and variety of subjects. In this paper we introduce a large-scale dataset for RGB+D human action recognition with more than 56 thousand video samples and 4 million frames, collected from 40 distinct subjects. Our dataset contains 60 different action classes including daily, mutual, and health-related actions. In addition, we propose a new recurrent neural network structure to model the long-term temporal correlation of the features for each body part, and utilize them for better action classification. Experimental results show the advantages of applying deep learning methods over state-of-the-art handcrafted features on the suggested cross-subject and crossview evaluation criteria for our dataset. The introduction of this large scale dataset will enable the community to apply, develop and adapt various data-hungry learning techniques for the task of depth-based and RGB+D-based human activity analysis.

Recent approaches in depth-based human activity analysis achieved outstanding performance and proved the effectiveness of 3D representation for classification of action classes. Currently available depth-based and RGB+Dbased action recognition benchmarks have a number of limitations, including the lack of training samples, distinct class labels, camera views and variety of subjects. In this paper we introduce a large-scale dataset for RGB+D human action recognition with more than 56 thousand video samples and 4 million frames, collected from 40 distinct subjects. Our dataset contains 60 different action classes including daily, mutual, and health-related actions. In addition, we propose a new recurrent neural network structure to model the long-term temporal correlation of the features for each body part, and utilize them for better action classification. Experimental results show the advantages of applying deep learning methods over state-of-the-art handcrafted features on the suggested cross-subject and crossview evaluation criteria for our dataset. The introduction of this large scale dataset will enable the community to apply, develop and adapt various data-hungry learning techniques for the task of depth-based and RGB+D-based human activity analysis.

在本文中，我们研究了基于骨架的动作识别的问题，该问题在学习从基础阶级到新颖类的可转移表示方面构成了独特的挑战，尤其是针对细粒度的动作。现有的元学习框架通常依赖于空间维度中的身体级表示，这限制了概括以捕获细粒标签空间中细微的视觉差异。为了克服上述局限性，我们提出了一种基于单发骨架的动作识别的部分感知的原型代表。我们的方法捕获了两个独特的空间级别的骨架运动模式，一种用于所有身体关节的全球环境，称为身体水平，另一个则参与了身体部位的局部空间区域，称为零件水平。我们还设计了一种类不足的注意机制，以突出每个动作类别的重要部分。具体而言，我们开发了一个由三个模块组成的零件感知原型图网络：我们的双层建模的级联嵌入模块，一个基于注意力的零件融合模块，用于融合零件并生成零件感知的原型，以及可以执行匹配的模块。与部分意识表示的分类。我们证明了我们方法对两个基于公共骨架的动作识别数据集的有效性：NTU RGB+D 120和NW-UCLA。

Dynamics of human body skeletons convey significant information for human action recognition. Conventional approaches for modeling skeletons usually rely on hand-crafted parts or traversal rules, thus resulting in limited expressive power and difficulties of generalization. In this work, we propose a novel model of dynamic skeletons called Spatial-Temporal Graph Convolutional Networks (ST-GCN), which moves beyond the limitations of previous methods by automatically learning both the spatial and temporal patterns from data. This formulation not only leads to greater expressive power but also stronger generalization capability. On two large datasets, Kinetics and NTU-RGBD, it achieves substantial improvements over mainstream methods.

我们提出了一种新的深度学习方法，用于实时3D人类行动从骨骼数据识别，并将其应用于开发基于视觉的智能监视系统。给定骨骼序列，我们建议将骨骼姿势及其运动编码为单个RGB图像。然后将自适应直方图均衡（AHE）算法应用于颜色图像上，以增强其局部模式并产生更多的判别特征。为了学习和分类任务，我们根据密度连接的卷积体系结构（Densenet）设计深神经网络，以从增强色彩图像中提取特征并将其分类为类。两个具有挑战性的数据集的实验结果表明，所提出的方法达到了最先进的准确性，同时需要培训和推理的计算时间较低。本文还介绍了Cemest，Cemest是一种新的RGB-D数据集，描绘了公共交通中的客运行为。它由203个未经修剪的现实世界监视视频，记录了现实的正常事件和异常事件。在支持数据增强和转移学习技术的支持下，我们在该数据集的实际条件下取得了令人鼓舞的结果。这使基于深度学习的现实应用程序的构建可以增强公共交通中的监控和安全性。

人类行动识别仍然存在许多具有挑战性的问题，例如不同的观点，遮挡，照明条件，人体大小和行动速度，尽管它已被广泛用于不同的领域。为了解决这些挑战，已经开发了Kinect深度传感器以记录实时深度序列，这对人类衣服和照明条件的颜色不敏感。在文献中报告了许多关于识别人类行动的方法，例如HON4D，HOPC，RBD和HDG，它们分别使用4D表面法线，POINTCLOUD，基于骨架的模型和深度梯度，以捕获来自深度视频或骨架数据的判别信息。在本研究项目中，将使用五个基准数据集进行分析和评估四个上述算法的性能，该数据集涵盖了诸如噪声，视点，背景折叠和闭塞等诸如噪声的具有挑战性的问题。我们还通过UWA3D MultiView活动数据集实现并改进了HDG算法，并应用于跨视图动作识别。此外，我们使用HDG中各个特征向量的不同组合进行性能评估。实验结果表明，我们对HDG的改进优于其他三种最先进的算法，用于跨视图动作识别。

设计可以成功部署在日常生活环境中的活动检测系统需要构成现实情况典型挑战的数据集。在本文中，我们介绍了一个新的未修剪日常生存数据集，该数据集具有几个现实世界中的挑战：Toyota Smarthome Untrimmed（TSU）。 TSU包含以自发方式进行的各种活动。数据集包含密集的注释，包括基本的，复合活动和涉及与对象相互作用的活动。我们提供了对数据集所需的现实世界挑战的分析，突出了检测算法的开放问题。我们表明，当前的最新方法无法在TSU数据集上实现令人满意的性能。因此，我们提出了一种新的基线方法，以应对数据集提供的新挑战。此方法利用一种模态（即视线流）生成注意力权重，以指导另一种模态（即RGB）以更好地检测活动边界。这对于检测以高时间差异为特征的活动特别有益。我们表明，我们建议在TSU和另一个受欢迎的挑战数据集Charades上优于最先进方法的方法。

现有的基于3D骨架的动作识别方法通过将手工制作的动作功能编码为图像格式和CNN解码，从而达到了令人印象深刻的性能。但是，这种方法在两种方面受到限制：a）手工制作的动作功能很难处理具有挑战性的动作，b）通常需要复杂的CNN模型来提高动作识别精度，这通常会发生重大计算负担。为了克服这些局限性，我们引入了一种新颖的AFE-CNN，它致力于增强基于3D骨架的动作的特征，以适应具有挑战性的动作。我们提出了功能增强从关键关节，骨向量，关键框架和时间视角的模块，因此，AFE-CNN对摄像头视图和车身大小变化更为强大，并显着提高了对挑战性动作的识别精度。此外，我们的AFE-CNN采用了轻巧的CNN模型以增强动作功能来解码图像，从而确保了比最新方法低得多的计算负担。我们在三个基于基准骨架的动作数据集上评估了AFE-CNN：NTU RGB+D，NTU RGB+D 120和UTKINECT-ACTION3D，并取得了广泛的实验结果，这表明我们对AFE-CNN的出色表现。

骨架序列轻巧且紧凑，因此是在边缘设备上进行动作识别的理想候选者。最新的基于骨架的动作识别方法从3D关节坐标作为时空提示提取特征，在图神经网络中使用这些表示形式来提高识别性能。一阶和二阶特征（即关节和骨骼表示）的使用导致了很高的精度。但是，许多模型仍然被具有相似运动轨迹的动作所困惑。为了解决这些问题，我们建议以角度编码为现代体系结构的形式融合高阶特征，以稳健地捕获关节和身体部位之间的关系。这种与流行的时空图神经网络的简单融合可在包括NTU60和NTU120在内的两个大型基准中实现新的最新精度，同时使用较少的参数和减少的运行时间。我们的源代码可公开可用：https：//github.com/zhenyueqin/angular-skeleton-soding。

基于骨架的人类动作识别最近引起了人们对外观变化的敏感性和更多骨架数据的可访问性的敏感性。但是，即使在实践中捕获的3D骨骼也对观点和方向仍然敏感，并给出了不同人体关节的阻塞和人类关节定位中的误差。骨骼数据的这种视图差异可能会严重影响动作识别的性能。为了解决这个问题，我们在本文中提出了一种新的视图不变的表示方法，而没有任何手动动作标签，用于基于骨架的人类行动识别。具体而言，我们通过最大化从不同观点提取的表示形式之间的相互信息来利用同一个人同时对同一个人进行的多视图骨架数据，然后提出一个全局 - 局部对比度损失，以模拟多规模CO - 空间和时间域中的发生关系。广泛的实验结果表明，所提出的方法对输入骨骼数据的视图差异是可靠的，并显着提高了基于无监督骨架的人类动作方法的性能，从而在两个具有挑战性的多视图上产生了新的最新精确度Pkummd和NTU RGB+d的基准。

基于骨架的动作识别会受到越来越多的关注，因为骨架表示通过消除与动作无关的视觉信息来减少训练数据的量。为了进一步提高样本效率，为基于骨架的动作识别而开发了基于元学习的一局学习解决方案。这些方法根据实例级全局平均嵌入之间的相似性找到最近的邻居。但是，由于对局部不变和嘈杂特征的广义学习不足，这种测量具有不稳定的代表性，而直觉上，更细粒度的识别通常依赖于确定关键的局部身体运动。为了解决这一限制，我们介绍了自适应的局部成分感知图卷积网络，该网络将比较指标替换为相似性测量的集中之和，以对对齐的局部局部嵌入行动至关重要的空间/时间段。 NTU-RGB+D 120公共基准的全面单发实验表明，我们的方法比全球嵌入提供了更强的表示，并有助于我们的模型达到最新的最新能力。

这项工作的目的是为视障和盲人的触觉设备做出贡献，以便让他们了解周围人的行为并与他们互动。首先，基于来自RGB-D序列的人类行动识别的最先进方法，我们使用Kinect提供的骨架信息，与解开的和统一的多尺度图卷积（MS-G3D）模型识别执行的行动。我们在真实场景中测试了这个模型，发现了一些约束和限制。接下来，我们使用CNN的MS-G3D和深度模态应用骨架模型之间的融合，以绕过讨论的限制。第三，识别的操作是用语义标记的标记，并将被映射到触摸感知的输出设备。

捕获关节之间的依赖关系对于基于骨架的动作识别任务至关重要。变压器显示出模拟重要关节相关性的巨大潜力。然而，基于变压器的方法不能捕获帧之间的不同关节的相关性，因此相邻帧之间的不同体部（例如在长跳跃中的臂和腿）一起移动的相关性非常有用。专注于这个问题，提出了一种新的时空组元变压器（Sttformer）方法。骨架序列被分成几个部分，并且每个部分包含的几个连续帧被编码。然后提出了一种时空元组的自我关注模块，以捕获连续帧中不同关节的关系。另外，在非相邻帧之间引入特征聚合模块以增强区分类似动作的能力。与最先进的方法相比，我们的方法在两个大型数据集中实现了更好的性能。

本文提出了一种新的图形卷积运算符，称为中央差异图卷积（CDGC），用于基于骨架的动作识别。它不仅能够聚合节点信息，如vanilla图卷积操作，而且还可以介绍梯度信息。在不引入任何其他参数的情况下，CDGC可以在任何现有的图形卷积网络（GCN）中取代VANILLA图表卷积。此外，开发了一种加速版的CDGC，这大大提高了培训速度。两个流行的大型数据集NTU RGB + D 60和120的实验表明了所提出的CDGC的功效。代码可在https://github.com/iesymiao/cd-gcn获得。

人类在理解视觉皮层引起的观点变化方面非常灵活，从而支持3D结构的感知。相反，大多数从2D图像池学习视觉表示的计算机视觉模型通常无法概括新颖的相机观点。最近，视觉体系结构已转向无卷积的架构，视觉变压器，该构造在从图像贴片中得出的令牌上运行。但是，这些变压器和2D卷积网络都没有执行明确的操作来学习视图 - 不合稳定表示以进行视觉理解。为此，我们提出了一个3D令牌表示层（3DTRL），该层估计了视觉令牌的3D位置信息，并利用它来学习视图点 - 不可能的表示。 3DTRL的关键元素包括伪深度估计器和学习的相机矩阵，以对令牌施加几何变换。这些使3DTRL能够从2D贴片中恢复令牌的3D位置信息。实际上，3DTRL很容易插入变压器。我们的实验证明了3DTRL在许多视觉任务中的有效性，包括图像分类，多视频视频对准和动作识别。带有3DTRL的模型在所有任务中都超过了骨干变压器，并以最小的添加计算。我们的项目页面位于https://www3.cs.stonybrook.edu/~jishang/3dtrl/3dtrl.html

骨架数据具有低维度。然而，存在使用非常深刻和复杂的前馈神经网络来模拟骨架序列的趋势，而不考虑近年的复杂性。本文提出了一种简单但有效的多尺度语义引导的神经网络（MS-SGN），用于基于骨架的动作识别。我们明确地将关节（关节类型和帧指数）的高级语义引入网络，以增强关节的特征表示能力。此外，提出了一种多尺度策略对时间尺度变化具有鲁棒。此外，我们通过两个模块分层地利用了关节的关系，即，联合级模块，用于建模同一帧中的关节的相关性和帧级模块，用于建模帧的时间依赖性。 MSSGN在NTU60，NTU120和Sysu数据集上实现了比大多数方法更小的模型尺寸。

基于骨架的动作识别广泛用于各种区域，例如监视和人机相互作用。现有模型主要以监督方式学习，从而根据标签昂贵时可能是不可行的大规模标记数据。在本文中，我们提出了一种新的对比度重建表示学习网络（CRRL），其同时为无监督的基于骨架的动作识别捕获姿势和运动动力学。它主要由三部分组成：序列重建器，对比运动学习者和信息定影器。序列重建者通过重建学习从骨架坐标序列的表示，因此学习的表示倾向于聚焦在琐碎的姿势坐标上并且在运动学习中犹豫不决。为了增强运动的学习，对比运动学习者分别在从坐标序列和附加速度序列中学到的表示之间进行对比学习。最后，在信息定位器中，我们探讨了将序列重建器和对比运动学习者结合的各种策略，并建议通过基于知识蒸馏的融合策略同时捕获姿势和动作，从而将动作学习从对比运动学习者转移到序列中的序列重建者。在若干基准测试中，即NTU RGB + D 60，NTU RGB + D 120，CMU Mocap和NW-UCLA的实验结果证明了所提出的CRRL方法​​的承诺，到目前为止的现有方法。