Action recognition with skeleton data has recently attracted much attention in computer vision. Previous studies are mostly based on fixed skeleton graphs, only capturing local physical dependencies among joints, which may miss implicit joint correlations. To capture richer dependencies, we introduce an encoder-decoder structure, called A-link inference module, to capture action-specific latent dependencies, i.e. actional links, directly from actions. We also extend the existing skeleton graphs to represent higherorder dependencies, i.e. structural links. Combing the two types of links into a generalized skeleton graph, we further propose the actional-structural graph convolution network (AS-GCN), which stacks actional-structural graph convolution and temporal convolution as a basic building block, to learn both spatial and temporal features for action recognition. A future pose prediction head is added in parallel to the recognition head to help capture more detailed action patterns through self-supervision. We validate AS-GCN in action recognition using two skeleton data sets, NTU-RGB+D and Kinetics. The proposed AS-GCN achieves consistently large improvement compared to the state-of-the-art methods. As a side product, AS-GCN also shows promising results for future pose prediction. Our code is available at https://github.com/limaosen0/AS-GCN . 1

图形卷积网络由于非欧几里得数据的出色建模能力而广泛用于基于骨架的动作识别。由于图形卷积是局部操作，因此它只能利用短距离关节依赖性和短期轨迹，但无法直接建模遥远的关节关系和远程时间信息，这些信息对于区分各种动作至关重要。为了解决此问题，我们提出了多尺度的空间图卷积（MS-GC）模块和一个多尺度的时间图卷积（MT-GC）模块，以在空间和时间尺寸中丰富模型的接受场。具体而言，MS-GC和MT-GC模块将相应的局部图卷积分解为一组子图形卷积，形成了层次的残差体系结构。在不引入其他参数的情况下，该功能将通过一系列子图卷积处理，每个节点都可以与其邻域一起完成多个空间和时间聚集。因此，最终的等效接收场被扩大，能够捕获空间和时间域中的短期和远程依赖性。通过将这两个模块耦合为基本块，我们进一步提出了一个多尺度的空间时间图卷积网络（MST-GCN），该网络（MST-GCN）堆叠了多个块以学习有效的运动表示行动识别的运动表示。拟议的MST-GCN在三个具有挑战性的基准数据集（NTU RGB+D，NTU-1220 RGB+D和动力学 - 骨骼）上实现了出色的性能，用于基于骨架的动作识别。

Dynamics of human body skeletons convey significant information for human action recognition. Conventional approaches for modeling skeletons usually rely on hand-crafted parts or traversal rules, thus resulting in limited expressive power and difficulties of generalization. In this work, we propose a novel model of dynamic skeletons called Spatial-Temporal Graph Convolutional Networks (ST-GCN), which moves beyond the limitations of previous methods by automatically learning both the spatial and temporal patterns from data. This formulation not only leads to greater expressive power but also stronger generalization capability. On two large datasets, Kinetics and NTU-RGBD, it achieves substantial improvements over mainstream methods.

建模各种时空依赖项是识别骨架序列中人类动作的关键。大多数现有方法过度依赖于遍历规则或图形拓扑的设计，以利用动态关节的依赖性，这是反映远处但重要的关节的关系不足。此外，由于本地采用的操作，因此在现有的工作中探索了重要的远程时间信息。为了解决这个问题，在这项工作中，我们提出了LSTA-Net：一种新型长期短期时空聚合网络，可以以时空的方式有效地捕获长/短距离依赖性。我们将我们的模型设计成纯粹的分解体系结构，可以交替执行空间特征聚合和时间特征聚合。为了改善特征聚合效果，还设计和采用了一种通道明智的注意机制。在三个公共基准数据集中进行了广泛的实验，结果表明，我们的方法可以在空间和时域中捕获长短短程依赖性，从而产生比其他最先进的方法更高的结果。代码可在https://github.com/tailin1009/lsta-net。

图形卷积网络（GCN）优于基于骨架的人类动作识别领域的先前方法，包括人类的互动识别任务。但是，在处理相互作用序列时，基于GCN的当前方法只需将两人骨架分为两个离散序列，然后以单人动作分类的方式分别执行图形卷积。这种操作忽略了丰富的交互信息，并阻碍了语义模式学习的有效空间关系建模。为了克服上述缺点，我们引入了一个新型的统一的两人图，代表关节之间的空间相互作用相关性。此外，提出了适当设计的图形标记策略，以使我们的GCN模型学习判别时空交互特征。实验显示了使用拟议的两人图形拓扑时的相互作用和单个动作的准确性提高。最后，我们提出了一个两人的图形卷积网络（2P-GCN）。提出的2P-GCN在三个相互作用数据集（SBU，NTU-RGB+D和NTU-RGB+D 120）的四个基准测试基准上获得了最新结果。

Spatial-temporal graphs have been widely used by skeleton-based action recognition algorithms to model human action dynamics. To capture robust movement patterns from these graphs, long-range and multi-scale context aggregation and spatial-temporal dependency modeling are critical aspects of a powerful feature extractor. However, existing methods have limitations in achieving (1) unbiased long-range joint relationship modeling under multiscale operators and (2) unobstructed cross-spacetime information flow for capturing complex spatial-temporal dependencies. In this work, we present (1) a simple method to disentangle multi-scale graph convolutions and (2) a unified spatial-temporal graph convolutional operator named G3D. The proposed multi-scale aggregation scheme disentangles the importance of nodes in different neighborhoods for effective long-range modeling. The proposed G3D module leverages dense cross-spacetime edges as skip connections for direct information propagation across the spatial-temporal graph. By coupling these proposals, we develop a powerful feature extractor named MS-G3D based on which our model 1 outperforms previous state-of-the-art methods on three large-scale datasets: NTU RGB+D 60, NTU RGB+D 120, and Kinetics Skeleton 400.

对于基于骨架的动作识别中的当前方法通常是将长期时间依赖性作为骨骼序列捕获通常长的（> 128帧），这很常见，这对于先前的方法构成了一个具有挑战性的问题。在这种情况下，短期依赖性很少被正式考虑，这对于对类似动作进行分类至关重要。大多数当前的方法包括相互交织的仅空间模块和仅时间的模块，在这些模块中，在相邻框架中的关节之间的直接信息流受到阻碍，因此不如捕获短期运动并区分相似的动作对。为了应对这一限制，我们提出了一个作为stgat创造的一般框架，以建模跨天空信息流。它使仅空间模块与区域感知的时空建模相称。尽管STGAT在理论上对时空建模具有有效性，但我们提出了三个简单的模块，以减少局部时空特征冗余，并进一步释放STGAT的潜力，（1）（1）自我关注机制的范围，（2）动态重量的范围（2）沿时间尺寸的关节和（3）分别与静态特征分开的微妙运动。作为一个可靠的特征提取器，STGAT在对以前的方法进行分类时，在定性和定量结果中都证明了相似的动作。 STGAT在三个大规模数据集上实现了最先进的性能：NTU RGB+D 60，NTU RGB+D 120和动力学骨架400。释放了代码。

In skeleton-based action recognition, graph convolutional networks (GCNs), which model the human body skeletons as spatiotemporal graphs, have achieved remarkable performance. However, in existing GCN-based methods, the topology of the graph is set manually, and it is fixed over all layers and input samples. This may not be optimal for the hierarchical GCN and diverse samples in action recognition tasks. In addition, the second-order information (the lengths and directions of bones) of the skeleton data, which is naturally more informative and discriminative for action recognition, is rarely investigated in existing methods. In this work, we propose a novel two-stream adaptive graph convolutional network (2s-AGCN) for skeletonbased action recognition. The topology of the graph in our model can be either uniformly or individually learned by the BP algorithm in an end-to-end manner. This data-driven method increases the flexibility of the model for graph construction and brings more generality to adapt to various data samples. Moreover, a two-stream framework is proposed to model both the first-order and the second-order information simultaneously, which shows notable improvement for the recognition accuracy. Extensive experiments on the two large-scale datasets, NTU-RGBD and Kinetics-Skeleton, demonstrate that the performance of our model exceeds the state-of-the-art with a significant margin.

捕获关节之间的依赖关系对于基于骨架的动作识别任务至关重要。变压器显示出模拟重要关节相关性的巨大潜力。然而，基于变压器的方法不能捕获帧之间的不同关节的相关性，因此相邻帧之间的不同体部（例如在长跳跃中的臂和腿）一起移动的相关性非常有用。专注于这个问题，提出了一种新的时空组元变压器（Sttformer）方法。骨架序列被分成几个部分，并且每个部分包含的几个连续帧被编码。然后提出了一种时空元组的自我关注模块，以捕获连续帧中不同关节的关系。另外，在非相邻帧之间引入特征聚合模块以增强区分类似动作的能力。与最先进的方法相比，我们的方法在两个大型数据集中实现了更好的性能。

骨架数据具有低维度。然而，存在使用非常深刻和复杂的前馈神经网络来模拟骨架序列的趋势，而不考虑近年的复杂性。本文提出了一种简单但有效的多尺度语义引导的神经网络（MS-SGN），用于基于骨架的动作识别。我们明确地将关节（关节类型和帧指数）的高级语义引入网络，以增强关节的特征表示能力。此外，提出了一种多尺度策略对时间尺度变化具有鲁棒。此外，我们通过两个模块分层地利用了关节的关系，即，联合级模块，用于建模同一帧中的关节的相关性和帧级模块，用于建模帧的时间依赖性。 MSSGN在NTU60，NTU120和Sysu数据集上实现了比大多数方法更小的模型尺寸。

步态情绪识别在智能系统中起着至关重要的作用。大多数现有方法通过随着时间的推移专注于当地行动来识别情绪。但是，他们忽略了时间域中不同情绪的有效距离是不同的，而且步行过程中的当地行动非常相似。因此，情绪应由全球状态而不是间接的本地行动代表。为了解决这些问题，这项工作通过构建动态的时间接受场并设计多尺度信息聚集以识别情绪，从而在这项工作中介绍了新型的多量表自适应图卷积网络（MSA-GCN）。在我们的模型中，自适应选择性时空图卷积旨在动态选择卷积内核，以获得不同情绪的软时空特征。此外，跨尺度映射融合机制（CSFM）旨在构建自适应邻接矩阵，以增强信息相互作用并降低冗余。与以前的最先进方法相比，所提出的方法在两个公共数据集上实现了最佳性能，将地图提高了2 \％。我们还进行了广泛的消融研究，以显示不同组件在我们的方法中的有效性。

图表卷积网络（GCNS）的方法在基于骨架的动作识别任务上实现了高级性能。然而，骨架图不能完全代表骨架数据中包含的运动信息。此外，基于GCN的方法中的骨架图的拓扑是根据自然连接手动设置的，并且它为所有样本都固定，这不能很好地适应不同的情况。在这项工作中，我们提出了一种新的动态超图卷积网络（DHGCN），用于基于骨架的动作识别。 DHGCN使用超图来表示骨架结构，以有效利用人类关节中包含的运动信息。根据其移动动态地分配了骨架超图中的每个接头，并且我们模型中的超图拓扑可以根据关节之间的关系动态调整到不同的样本。实验结果表明，我们的模型的性能在三个数据集中实现了竞争性能：动力学 - 骨架400，NTU RGB + D 60和NTU RGB + D 120。

在基于骨架的动作识别中，图形卷积网络将人类骨骼关节模拟为顶点，并通过邻接矩阵将其连接起来，可以将其视为局部注意力掩码。但是，在大多数现有的图形卷积网络中，局部注意力面膜是根据人类骨架关节的自然连接来定义的，而忽略了例如头部，手和脚关节之间的动态关系。此外，注意机制已被证明在自然语言处理和图像描述中有效，在现有方法中很少研究。在这项工作中，我们提出了一个新的自适应空间注意层，该层将局部注意力图扩展到基于相对距离和相对角度信息的全局。此外，我们设计了一个连接头部，手脚的新初始图邻接矩阵，该矩阵在动作识别精度方面显示出可见的改进。在日常生活中人类活动领域的两个大规模且挑战性的数据集上，评估了该模型：NTU-RGB+D和动力学骨架。结果表明，我们的模型在两个数据集上都有很强的性能。

基于图形卷积网络的方法对车身连接关系进行建模，最近在基于3D骨架的人体运动预测中显示出巨大的希望。但是，这些方法有两个关键问题：首先，仅在有限的图形频谱中过滤特征，在整个频段中丢失了足够的信息；其次，使用单个图对整个身体进行建模，低估了各个身体部门的各种模式。为了解决第一个问题，我们提出了自适应图散射，该散射利用了多个可训练的带通滤波器将姿势特征分解为较丰富的图形频谱频段。为了解决第二个问题，分别对身体零件进行建模以学习多种动力学，从而沿空间维度提取更精细的特征提取。整合了上述两种设计，我们提出了一个新型的骨架派对图散射网络（SPGSN）。该模型的核心是级联的多部分图形散射块（MPGSB），在不同的身体部门建立自适应图散射，并基于推断的频谱重要性和身体零件相互作用融合分解的特征。广泛的实验表明，SPGSN的表现优于最先进的方法，其优于13.8％，9.3％和2.7％的SPGSN在每个联合位置误差（MPJPE）上，在36m，CMU MOCAP和3DPW Dataset，3D平均位置误差（MPJPE）方面，SPGSN优于最先进的方法。分别。

现有的基于3D骨架的动作识别方法通过将手工制作的动作功能编码为图像格式和CNN解码，从而达到了令人印象深刻的性能。但是，这种方法在两种方面受到限制：a）手工制作的动作功能很难处理具有挑战性的动作，b）通常需要复杂的CNN模型来提高动作识别精度，这通常会发生重大计算负担。为了克服这些局限性，我们引入了一种新颖的AFE-CNN，它致力于增强基于3D骨架的动作的特征，以适应具有挑战性的动作。我们提出了功能增强从关键关节，骨向量，关键框架和时间视角的模块，因此，AFE-CNN对摄像头视图和车身大小变化更为强大，并显着提高了对挑战性动作的识别精度。此外，我们的AFE-CNN采用了轻巧的CNN模型以增强动作功能来解码图像，从而确保了比最新方法低得多的计算负担。我们在三个基于基准骨架的动作数据集上评估了AFE-CNN：NTU RGB+D，NTU RGB+D 120和UTKINECT-ACTION3D，并取得了广泛的实验结果，这表明我们对AFE-CNN的出色表现。

骨架序列轻巧且紧凑，因此是在边缘设备上进行动作识别的理想候选者。最新的基于骨架的动作识别方法从3D关节坐标作为时空提示提取特征，在图神经网络中使用这些表示形式来提高识别性能。一阶和二阶特征（即关节和骨骼表示）的使用导致了很高的精度。但是，许多模型仍然被具有相似运动轨迹的动作所困惑。为了解决这些问题，我们建议以角度编码为现代体系结构的形式融合高阶特征，以稳健地捕获关节和身体部位之间的关系。这种与流行的时空图神经网络的简单融合可在包括NTU60和NTU120在内的两个大型基准中实现新的最新精度，同时使用较少的参数和减少的运行时间。我们的源代码可公开可用：https：//github.com/zhenyueqin/angular-skeleton-soding。

本文提出了一种新的图形卷积运算符，称为中央差异图卷积（CDGC），用于基于骨架的动作识别。它不仅能够聚合节点信息，如vanilla图卷积操作，而且还可以介绍梯度信息。在不引入任何其他参数的情况下，CDGC可以在任何现有的图形卷积网络（GCN）中取代VANILLA图表卷积。此外，开发了一种加速版的CDGC，这大大提高了培训速度。两个流行的大型数据集NTU RGB + D 60和120的实验表明了所提出的CDGC的功效。代码可在https://github.com/iesymiao/cd-gcn获得。

我们提出了一个新的变压器模型，用于无监督学习骨架运动序列的任务。用于基于无监督骨骼的动作学习的现有变压器模型被了解到每个关节从相邻帧的瞬时速度没有全球运动信息。因此，该模型在学习全身运动和暂时遥远的关节方面的关注方面存在困难。此外，模型中尚未考虑人与人之间的互动。为了解决全身运动，远程时间动态和人与人之间的互动的学习，我们设计了一种全球和本地的注意机制，在其中，全球身体动作和本地关节运动相互关注。此外，我们提出了一种新颖的预处理策略，即多间隔姿势位移预测，以在不同的时间范围内学习全球和本地关注。提出的模型成功地学习了关节的局部动力学，并从运动序列中捕获了全局上下文。我们的模型优于代表性基准中明显边缘的最先进模型。代码可在https://github.com/boeun-kim/gl-transformer上找到。

基于骨架的动作识别方法受到时空骨骼图的语义提取的限制。但是，当前方法在有效地结合时间和空间图尺寸的特征方面很难，一侧往往厚度厚，另一侧较薄。在本文中，我们提出了一个时间通道聚合图卷积网络（TCA-GCN），以动态有效地学习基于骨架动作识别的不同时间和通道维度中的空间和时间拓扑。我们使用时间聚合模块来学习时间维特征和通道聚合模块，以有效地将空间动态通道拓扑特征与时间动态拓扑特征相结合。此外，我们在时间建模上提取多尺度的骨骼特征，并将其与注意机制融合。广泛的实验表明，在NTU RGB+D，NTU RGB+D 120和NW-UCLA数据集上，我们的模型结果优于最先进的方法。

随着姿势估计和图形卷积网络的进步，基于骨架的两人互动识别一直在越来越多的关注。尽管准确性逐渐提高，但计算复杂性的提高使其在现实环境中更不切实际。由于常规方法不能完全代表体内关节之间的关系，因此仍然存在准确性改善的空间。在本文中，我们提出了一个轻巧的模型，以准确识别两人的交互。除了结合了中间融合的体系结构外，我们还引入了一种分解卷积技术，以减少模型的重量参数。我们还引入了一个网络流，该网络说明体内关节之间的相对距离变化以提高准确性。使用两个大规模数据集NTU RGB+D 60和120的实验表明，与常规方法相比，我们的方法同时达到了最高准确性和相对较低的计算复杂性。