这项工作的目的是为视障和盲人的触觉设备做出贡献，以便让他们了解周围人的行为并与他们互动。首先，基于来自RGB-D序列的人类行动识别的最先进方法，我们使用Kinect提供的骨架信息，与解开的和统一的多尺度图卷积（MS-G3D）模型识别执行的行动。我们在真实场景中测试了这个模型，发现了一些约束和限制。接下来，我们使用CNN的MS-G3D和深度模态应用骨架模型之间的融合，以绕过讨论的限制。第三，识别的操作是用语义标记的标记，并将被映射到触摸感知的输出设备。

人类相互作用的分析是人类运动分析的一个重要研究主题。它已经使用第一人称视觉（FPV）或第三人称视觉（TPV）进行了研究。但是，到目前为止，两种视野的联合学习几乎没有引起关注。原因之一是缺乏涵盖FPV和TPV的合适数据集。此外，FPV或TPV的现有基准数据集具有多个限制，包括样本数量有限，参与者，交互类别和模态。在这项工作中，我们贡献了一个大规模的人类交互数据集，即FT-HID数据集。 FT-HID包含第一人称和第三人称愿景的成对对齐的样本。该数据集是从109个不同受试者中收集的，并具有三种模式的90K样品。该数据集已通过使用几种现有的动作识别方法验证。此外，我们还引入了一种新型的骨骼序列的多视图交互机制，以及针对第一人称和第三人称视野的联合学习多流框架。两种方法都在FT-HID数据集上产生有希望的结果。可以预期，这一视力一致的大规模数据集的引入将促进FPV和TPV的发展，以及他们用于人类行动分析的联合学习技术。该数据集和代码可在\ href {https://github.com/endlichere/ft-hid} {here} {herefichub.com/endlichere.com/endlichere}中获得。

Dynamics of human body skeletons convey significant information for human action recognition. Conventional approaches for modeling skeletons usually rely on hand-crafted parts or traversal rules, thus resulting in limited expressive power and difficulties of generalization. In this work, we propose a novel model of dynamic skeletons called Spatial-Temporal Graph Convolutional Networks (ST-GCN), which moves beyond the limitations of previous methods by automatically learning both the spatial and temporal patterns from data. This formulation not only leads to greater expressive power but also stronger generalization capability. On two large datasets, Kinetics and NTU-RGBD, it achieves substantial improvements over mainstream methods.

图表卷积网络（GCNS）的方法在基于骨架的动作识别任务上实现了高级性能。然而，骨架图不能完全代表骨架数据中包含的运动信息。此外，基于GCN的方法中的骨架图的拓扑是根据自然连接手动设置的，并且它为所有样本都固定，这不能很好地适应不同的情况。在这项工作中，我们提出了一种新的动态超图卷积网络（DHGCN），用于基于骨架的动作识别。 DHGCN使用超图来表示骨架结构，以有效利用人类关节中包含的运动信息。根据其移动动态地分配了骨架超图中的每个接头，并且我们模型中的超图拓扑可以根据关节之间的关系动态调整到不同的样本。实验结果表明，我们的模型的性能在三个数据集中实现了竞争性能：动力学 - 骨架400，NTU RGB + D 60和NTU RGB + D 120。

捕获关节之间的依赖关系对于基于骨架的动作识别任务至关重要。变压器显示出模拟重要关节相关性的巨大潜力。然而，基于变压器的方法不能捕获帧之间的不同关节的相关性，因此相邻帧之间的不同体部（例如在长跳跃中的臂和腿）一起移动的相关性非常有用。专注于这个问题，提出了一种新的时空组元变压器（Sttformer）方法。骨架序列被分成几个部分，并且每个部分包含的几个连续帧被编码。然后提出了一种时空元组的自我关注模块，以捕获连续帧中不同关节的关系。另外，在非相邻帧之间引入特征聚合模块以增强区分类似动作的能力。与最先进的方法相比，我们的方法在两个大型数据集中实现了更好的性能。

基于骨架的人类行动识别是由于其复杂的动态而是一项长期挑战。动态的一些细颗粒细节在分类中起着至关重要的作用。现有的工作主要集中在设计带有更复杂的相邻矩阵的增量神经网络上，以捕获关节关系的细节。但是，他们仍然很难区分具有广泛相似运动模式但属于不同类别的动作。有趣的是，我们发现运动模式上的细微差异可以显着放大，并且可以轻松地通过指定的视图方向来区分观众，在这些方向上，该属性以前从未得到充分探索。与以前的工作截然不同，我们通过提出一种概念上简单而有效的多视图策略来提高性能，该策略从一系列动态视图功能中识别动作。具体而言，我们设计了一个新颖的骨骼锚定建议（SAP）模块，该模块包含一个多头结构来学习一组视图。为了学习不同观点的特征学习，我们引入了一个新的角度表示，以在不同视图下的动作转换并将转换归因于基线模型。我们的模块可以与现有的动作分类模型无缝合作。与基线模型合并，我们的SAP模块在许多具有挑战性的基准上展示了明显的性能增长。此外，全面的实验表明，我们的模型始终击败了最新的实验，并且在处理损坏的数据时保持有效和健壮。相关代码将在https://github.com/ideal-idea/sap上提供。

图形卷积网络（GCN）优于基于骨架的人类动作识别领域的先前方法，包括人类的互动识别任务。但是，在处理相互作用序列时，基于GCN的当前方法只需将两人骨架分为两个离散序列，然后以单人动作分类的方式分别执行图形卷积。这种操作忽略了丰富的交互信息，并阻碍了语义模式学习的有效空间关系建模。为了克服上述缺点，我们引入了一个新型的统一的两人图，代表关节之间的空间相互作用相关性。此外，提出了适当设计的图形标记策略，以使我们的GCN模型学习判别时空交互特征。实验显示了使用拟议的两人图形拓扑时的相互作用和单个动作的准确性提高。最后，我们提出了一个两人的图形卷积网络（2P-GCN）。提出的2P-GCN在三个相互作用数据集（SBU，NTU-RGB+D和NTU-RGB+D 120）的四个基准测试基准上获得了最新结果。

图形卷积网络由于非欧几里得数据的出色建模能力而广泛用于基于骨架的动作识别。由于图形卷积是局部操作，因此它只能利用短距离关节依赖性和短期轨迹，但无法直接建模遥远的关节关系和远程时间信息，这些信息对于区分各种动作至关重要。为了解决此问题，我们提出了多尺度的空间图卷积（MS-GC）模块和一个多尺度的时间图卷积（MT-GC）模块，以在空间和时间尺寸中丰富模型的接受场。具体而言，MS-GC和MT-GC模块将相应的局部图卷积分解为一组子图形卷积，形成了层次的残差体系结构。在不引入其他参数的情况下，该功能将通过一系列子图卷积处理，每个节点都可以与其邻域一起完成多个空间和时间聚集。因此，最终的等效接收场被扩大，能够捕获空间和时间域中的短期和远程依赖性。通过将这两个模块耦合为基本块，我们进一步提出了一个多尺度的空间时间图卷积网络（MST-GCN），该网络（MST-GCN）堆叠了多个块以学习有效的运动表示行动识别的运动表示。拟议的MST-GCN在三个具有挑战性的基准数据集（NTU RGB+D，NTU-1220 RGB+D和动力学 - 骨骼）上实现了出色的性能，用于基于骨架的动作识别。

现有的基于3D骨架的动作识别方法通过将手工制作的动作功能编码为图像格式和CNN解码，从而达到了令人印象深刻的性能。但是，这种方法在两种方面受到限制：a）手工制作的动作功能很难处理具有挑战性的动作，b）通常需要复杂的CNN模型来提高动作识别精度，这通常会发生重大计算负担。为了克服这些局限性，我们引入了一种新颖的AFE-CNN，它致力于增强基于3D骨架的动作的特征，以适应具有挑战性的动作。我们提出了功能增强从关键关节，骨向量，关键框架和时间视角的模块，因此，AFE-CNN对摄像头视图和车身大小变化更为强大，并显着提高了对挑战性动作的识别精度。此外，我们的AFE-CNN采用了轻巧的CNN模型以增强动作功能来解码图像，从而确保了比最新方法低得多的计算负担。我们在三个基于基准骨架的动作数据集上评估了AFE-CNN：NTU RGB+D，NTU RGB+D 120和UTKINECT-ACTION3D，并取得了广泛的实验结果，这表明我们对AFE-CNN的出色表现。

人类行动识别仍然存在许多具有挑战性的问题，例如不同的观点，遮挡，照明条件，人体大小和行动速度，尽管它已被广泛用于不同的领域。为了解决这些挑战，已经开发了Kinect深度传感器以记录实时深度序列，这对人类衣服和照明条件的颜色不敏感。在文献中报告了许多关于识别人类行动的方法，例如HON4D，HOPC，RBD和HDG，它们分别使用4D表面法线，POINTCLOUD，基于骨架的模型和深度梯度，以捕获来自深度视频或骨架数据的判别信息。在本研究项目中，将使用五个基准数据集进行分析和评估四个上述算法的性能，该数据集涵盖了诸如噪声，视点，背景折叠和闭塞等诸如噪声的具有挑战性的问题。我们还通过UWA3D MultiView活动数据集实现并改进了HDG算法，并应用于跨视图动作识别。此外，我们使用HDG中各个特征向量的不同组合进行性能评估。实验结果表明，我们对HDG的改进优于其他三种最先进的算法，用于跨视图动作识别。

Recent approaches in depth-based human activity analysis achieved outstanding performance and proved the effectiveness of 3D representation for classification of action classes. Currently available depth-based and RGB+Dbased action recognition benchmarks have a number of limitations, including the lack of training samples, distinct class labels, camera views and variety of subjects. In this paper we introduce a large-scale dataset for RGB+D human action recognition with more than 56 thousand video samples and 4 million frames, collected from 40 distinct subjects. Our dataset contains 60 different action classes including daily, mutual, and health-related actions. In addition, we propose a new recurrent neural network structure to model the long-term temporal correlation of the features for each body part, and utilize them for better action classification. Experimental results show the advantages of applying deep learning methods over state-of-the-art handcrafted features on the suggested cross-subject and crossview evaluation criteria for our dataset. The introduction of this large scale dataset will enable the community to apply, develop and adapt various data-hungry learning techniques for the task of depth-based and RGB+D-based human activity analysis.

Recent approaches in depth-based human activity analysis achieved outstanding performance and proved the effectiveness of 3D representation for classification of action classes. Currently available depth-based and RGB+Dbased action recognition benchmarks have a number of limitations, including the lack of training samples, distinct class labels, camera views and variety of subjects. In this paper we introduce a large-scale dataset for RGB+D human action recognition with more than 56 thousand video samples and 4 million frames, collected from 40 distinct subjects. Our dataset contains 60 different action classes including daily, mutual, and health-related actions. In addition, we propose a new recurrent neural network structure to model the long-term temporal correlation of the features for each body part, and utilize them for better action classification. Experimental results show the advantages of applying deep learning methods over state-of-the-art handcrafted features on the suggested cross-subject and crossview evaluation criteria for our dataset. The introduction of this large scale dataset will enable the community to apply, develop and adapt various data-hungry learning techniques for the task of depth-based and RGB+D-based human activity analysis.

由于其轻质和紧凑的特性，骨架序列广泛用于动作识别任务。最近的图表卷积网络（GCN）方法为基于骨架的动作识别取得了巨大的成功，因为它的非欧几里德数据的感激建模能力。 GCN能够利用短程关节依赖性，同时缺乏直接模拟对区分各种行动至关重要的遥感关节关系。因此，许多GCN方法尝试采用分层机制来聚合更广泛的邻域信息。我们提出了一种基于新颖的自我关注的骨架锚提案（SAP）模块，全面模拟人体的内部关系进行运动特征学习。所提出的SAP模块旨在利用通过编码高阶角度信息的三联网形式而不是现有的分层GCN方法中使用的固定对骨连接来探讨人体内的固有关系。基于自我注意的锚选择方法设计在所提出的SAP模块中，用于提取编码角信息的根点。通过耦合具有流行空间 - 时间图神经网络的所提出的SAP模块，例如， MSG3D，它在具有挑战性的基准数据集上实现了新的最先进的准确性。进一步的消融研究表明了我们所提出的SAP模块的有效性，能够明显提高许多流行的基于骨架的动作识别方法的性能。

人类骨骼数据由于其背景鲁棒性和高效率而受到行动识别的越来越多。在基于骨架的动作识别中，图形卷积网络（GCN）已成为主流方法。本文分析了基于GCN的模型的基本因素 - 邻接矩阵。我们注意到，大多数基于GCN的方法基于人类天然骨架结构进行其邻接矩阵。根据我们以前的工作和分析，我们建议人类的自然骨骼结构邻接矩阵不适合基于骨架的动作识别。我们提出了一个新的邻接矩阵，该矩阵放弃了所有刚性邻居的连接，但使该模型可以适应地学习关节的关系。我们对两个基于骨架的动作识别数据集（NTURGBD60和FINEGYM）进行了验证模型进行广泛的实验和分析。全面的实验结果和分析表明，1）最广泛使用的人类天然骨骼结构邻接矩阵在基于骨架的动作识别中不适合； 2）所提出的邻接矩阵在模型性能，噪声稳健性和可传递性方面表现出色。

建模各种时空依赖项是识别骨架序列中人类动作的关键。大多数现有方法过度依赖于遍历规则或图形拓扑的设计，以利用动态关节的依赖性，这是反映远处但重要的关节的关系不足。此外，由于本地采用的操作，因此在现有的工作中探索了重要的远程时间信息。为了解决这个问题，在这项工作中，我们提出了LSTA-Net：一种新型长期短期时空聚合网络，可以以时空的方式有效地捕获长/短距离依赖性。我们将我们的模型设计成纯粹的分解体系结构，可以交替执行空间特征聚合和时间特征聚合。为了改善特征聚合效果，还设计和采用了一种通道明智的注意机制。在三个公共基准数据集中进行了广泛的实验，结果表明，我们的方法可以在空间和时域中捕获长短短程依赖性，从而产生比其他最先进的方法更高的结果。代码可在https://github.com/tailin1009/lsta-net。

骨架数据具有低维度。然而，存在使用非常深刻和复杂的前馈神经网络来模拟骨架序列的趋势，而不考虑近年的复杂性。本文提出了一种简单但有效的多尺度语义引导的神经网络（MS-SGN），用于基于骨架的动作识别。我们明确地将关节（关节类型和帧指数）的高级语义引入网络，以增强关节的特征表示能力。此外，提出了一种多尺度策略对时间尺度变化具有鲁棒。此外，我们通过两个模块分层地利用了关节的关系，即，联合级模块，用于建模同一帧中的关节的相关性和帧级模块，用于建模帧的时间依赖性。 MSSGN在NTU60，NTU120和Sysu数据集上实现了比大多数方法更小的模型尺寸。

人类行动识别是计算机视觉中的重要应用领域。它的主要目的是准确地描述人类的行为及其相互作用，从传感器获得的先前看不见的数据序列中。识别，理解和预测复杂人类行动的能力能够构建许多重要的应用，例如智能监视系统，人力计算机界面，医疗保健，安全和军事应用。近年来，计算机视觉社区特别关注深度学习。本文使用深度学习技术的视频分析概述了当前的动作识别最新识别。我们提出了识别人类行为的最重要的深度学习模型，并分析它们，以提供用于解决人类行动识别问题的深度学习算法的当前进展，以突出其优势和缺点。基于文献中报道的识别精度的定量分析，我们的研究确定了动作识别中最新的深层体系结构，然后为该领域的未来工作提供当前的趋势和开放问题。

基于骨架的动作识别方法受到时空骨骼图的语义提取的限制。但是，当前方法在有效地结合时间和空间图尺寸的特征方面很难，一侧往往厚度厚，另一侧较薄。在本文中，我们提出了一个时间通道聚合图卷积网络（TCA-GCN），以动态有效地学习基于骨架动作识别的不同时间和通道维度中的空间和时间拓扑。我们使用时间聚合模块来学习时间维特征和通道聚合模块，以有效地将空间动态通道拓扑特征与时间动态拓扑特征相结合。此外，我们在时间建模上提取多尺度的骨骼特征，并将其与注意机制融合。广泛的实验表明，在NTU RGB+D，NTU RGB+D 120和NW-UCLA数据集上，我们的模型结果优于最先进的方法。

基于骨架的人类动作识别最近引起了人们对外观变化的敏感性和更多骨架数据的可访问性的敏感性。但是，即使在实践中捕获的3D骨骼也对观点和方向仍然敏感，并给出了不同人体关节的阻塞和人类关节定位中的误差。骨骼数据的这种视图差异可能会严重影响动作识别的性能。为了解决这个问题，我们在本文中提出了一种新的视图不变的表示方法，而没有任何手动动作标签，用于基于骨架的人类行动识别。具体而言，我们通过最大化从不同观点提取的表示形式之间的相互信息来利用同一个人同时对同一个人进行的多视图骨架数据，然后提出一个全局 - 局部对比度损失，以模拟多规模CO - 空间和时间域中的发生关系。广泛的实验结果表明，所提出的方法对输入骨骼数据的视图差异是可靠的，并显着提高了基于无监督骨架的人类动作方法的性能，从而在两个具有挑战性的多视图上产生了新的最新精确度Pkummd和NTU RGB+d的基准。

骨架序列轻巧且紧凑，因此是在边缘设备上进行动作识别的理想候选者。最新的基于骨架的动作识别方法从3D关节坐标作为时空提示提取特征，在图神经网络中使用这些表示形式来提高识别性能。一阶和二阶特征（即关节和骨骼表示）的使用导致了很高的精度。但是，许多模型仍然被具有相似运动轨迹的动作所困惑。为了解决这些问题，我们建议以角度编码为现代体系结构的形式融合高阶特征，以稳健地捕获关节和身体部位之间的关系。这种与流行的时空图神经网络的简单融合可在包括NTU60和NTU120在内的两个大型基准中实现新的最新精度，同时使用较少的参数和减少的运行时间。我们的源代码可公开可用：https：//github.com/zhenyueqin/angular-skeleton-soding。