基于骨架的动作识别吸引了其对照明条件的计算效率和鲁棒性的关注。现有的基于骨架的动作识别方法通常是作为单次分类任务而不充分利用动作之间的语义关系的一项单次分类任务。例如，“胜利标志”和“拇指”是手势的两个动作，其主要区别在于手的运动。该信息是从分类的动作类别编码的不可知论，但可以在动作的语言描述中揭示。因此，在培训中利用动作语言描述可能会受益于代表性学习。在这项工作中，我们提出了一种基于骨架的动作识别的语言监督培训（LST）方法。更具体地说，我们采用大型语言模型作为知识引擎来为身体部件的动作运动提供文本描述，并通过利用文本编码器来生成特征向量来为不同的身体部位生成特征向量并监督多模式训练方案并监督动作表示学习的骨架编码器。实验表明，我们提出的LST方法在没有推理时没有额外的计算成本的情况下，对各种基线模型实现了明显的改进。 LST在基于流行的骨架的动作识别基准上实现了新的最新技术，包括NTU RGB+D，NTU RGB+D 120和NW-UCLA。该代码可以在https://github.com/martinxm/lst上找到。

基于骨架的动作识别方法受到时空骨骼图的语义提取的限制。但是，当前方法在有效地结合时间和空间图尺寸的特征方面很难，一侧往往厚度厚，另一侧较薄。在本文中，我们提出了一个时间通道聚合图卷积网络（TCA-GCN），以动态有效地学习基于骨架动作识别的不同时间和通道维度中的空间和时间拓扑。我们使用时间聚合模块来学习时间维特征和通道聚合模块，以有效地将空间动态通道拓扑特征与时间动态拓扑特征相结合。此外，我们在时间建模上提取多尺度的骨骼特征，并将其与注意机制融合。广泛的实验表明，在NTU RGB+D，NTU RGB+D 120和NW-UCLA数据集上，我们的模型结果优于最先进的方法。

在基于骨架的动作识别的背景下，图表卷积网络（GCNS）已经迅速开发，而卷积神经网络（CNNS）则受到不太关注。一个原因是CNNS在模拟不规则骨架拓​​扑中被认为是差的。为了缓解这一限制，我们提出了一个纯CNN架构，本文提出了名为拓扑信息的CNN（TA-CNN）。特别是，我们开发一种新颖的跨通道功能增强模块，它是地图参加组操作的组合。通过将模块应用于坐标水平并且随后将模块应用于坐标水平，拓扑功能得到有效增强。值得注意的是，我们理论上证明了图形卷积是当关节尺寸被视为通道时正常卷积的特殊情况。这证实了GCN的拓扑建模能力也可以通过使用CNN来实现。此外，我们创造性地设计了一种以独特的方式混合两个人的骨架混合物策略，并进一步提高了性能。广泛的实验是在四个广泛使用的数据集中进行的，即N-UCLA，SBU，NTU RGB + D和NTU RGB + D 120，以验证TA-CNN的有效性。我们显着超过现有的基于CNN的方法。与基于GCN的领先的方法相比，我们在所需的GFLOPS和参数方面实现了相当的性能。

图形卷积网络由于非欧几里得数据的出色建模能力而广泛用于基于骨架的动作识别。由于图形卷积是局部操作，因此它只能利用短距离关节依赖性和短期轨迹，但无法直接建模遥远的关节关系和远程时间信息，这些信息对于区分各种动作至关重要。为了解决此问题，我们提出了多尺度的空间图卷积（MS-GC）模块和一个多尺度的时间图卷积（MT-GC）模块，以在空间和时间尺寸中丰富模型的接受场。具体而言，MS-GC和MT-GC模块将相应的局部图卷积分解为一组子图形卷积，形成了层次的残差体系结构。在不引入其他参数的情况下，该功能将通过一系列子图卷积处理，每个节点都可以与其邻域一起完成多个空间和时间聚集。因此，最终的等效接收场被扩大，能够捕获空间和时间域中的短期和远程依赖性。通过将这两个模块耦合为基本块，我们进一步提出了一个多尺度的空间时间图卷积网络（MST-GCN），该网络（MST-GCN）堆叠了多个块以学习有效的运动表示行动识别的运动表示。拟议的MST-GCN在三个具有挑战性的基准数据集（NTU RGB+D，NTU-1220 RGB+D和动力学 - 骨骼）上实现了出色的性能，用于基于骨架的动作识别。

尽管完全监督的人类骨架序列建模成功，但使用自我监督的预训练进行骨架序列表示学习一直是一个活跃的领域，因为很难在大规模上获取特定于任务的骨骼注释。最近的研究重点是使用对比学习学习视频级别的时间和歧视性信息，但忽略了人类骨骼的层次空间时间。与视频级别的这种表面监督不同，我们提出了一种自我监督的分层预训练方案，该方案纳入了基于层次变压器的骨骼骨骼序列编码器（HI-TRS），以明确捕获空间，短期和长期和长期框架，剪辑和视频级别的时间依赖性分别。为了通过HI-TR评估提出的自我监督预训练方案，我们进行了广泛的实验，涵盖了三个基于骨架的下游任务，包括动作识别，动作检测和运动预测。根据监督和半监督评估协议，我们的方法实现了最新的性能。此外，我们证明了我们的模型在训练阶段中学到的先验知识具有强大的下游任务的转移能力。

骨架数据具有低维度。然而，存在使用非常深刻和复杂的前馈神经网络来模拟骨架序列的趋势，而不考虑近年的复杂性。本文提出了一种简单但有效的多尺度语义引导的神经网络（MS-SGN），用于基于骨架的动作识别。我们明确地将关节（关节类型和帧指数）的高级语义引入网络，以增强关节的特征表示能力。此外，提出了一种多尺度策略对时间尺度变化具有鲁棒。此外，我们通过两个模块分层地利用了关节的关系，即，联合级模块，用于建模同一帧中的关节的相关性和帧级模块，用于建模帧的时间依赖性。 MSSGN在NTU60，NTU120和Sysu数据集上实现了比大多数方法更小的模型尺寸。

基于姿势的动作识别主要是通过以整体化处理输入骨骼的方法来解决的，即姿势树中的关节是整体处理的。但是，这种方法忽略了这样一个事实，即行动类别通常以局部动力动力学为特征，这些动力动力学仅涉及涉及手（例如“竖起大拇指”）或腿部（例如``踢''）的零件联合组的小子集。尽管存在基于部分组的方法，但在全球姿势框架内并未考虑每个部分组，从而导致这种方法缺乏。此外，常规方法采用独立的方式流（例如关节，骨，关节速度，骨速度），并在这些流中多次训练网络，从而大大增加了训练参数的数量。为了解决这些问题，我们介绍了PSUMNET，这是一种新颖的方法，用于可扩展有效的基于姿势的动作识别。在表示级别，我们提出了一种基于全球框架的部分流方法，而不是基于常规模态流。在每个部分流中，从多种模式的相关数据被处理管道统一和消耗。在实验上，PSumnet在广泛使用的NTURGB+D 60/120数据集和密集的关节骨架数据集NTU 60-X/120-X上实现了最先进的性能。 PSUMNET高效，优于竞争方法，使用100％-400％的参数。 PSUMNET还概括为具有竞争性能的SHREC手势数据集。总体而言，PSUMNET的可伸缩性，性能和效率使其成为动作识别以及在Compute限制的嵌入式和边缘设备上部署的吸引人选择。可以在https://github.com/skelemoa/psumnet上访问代码和预算模型

基于骨架的人类动作识别最近引起了人们对外观变化的敏感性和更多骨架数据的可访问性的敏感性。但是，即使在实践中捕获的3D骨骼也对观点和方向仍然敏感，并给出了不同人体关节的阻塞和人类关节定位中的误差。骨骼数据的这种视图差异可能会严重影响动作识别的性能。为了解决这个问题，我们在本文中提出了一种新的视图不变的表示方法，而没有任何手动动作标签，用于基于骨架的人类行动识别。具体而言，我们通过最大化从不同观点提取的表示形式之间的相互信息来利用同一个人同时对同一个人进行的多视图骨架数据，然后提出一个全局 - 局部对比度损失，以模拟多规模CO - 空间和时间域中的发生关系。广泛的实验结果表明，所提出的方法对输入骨骼数据的视图差异是可靠的，并显着提高了基于无监督骨架的人类动作方法的性能，从而在两个具有挑战性的多视图上产生了新的最新精确度Pkummd和NTU RGB+d的基准。

Correctly recognizing the behaviors of children with Autism Spectrum Disorder (ASD) is of vital importance for the diagnosis of Autism and timely early intervention. However, the observation and recording during the treatment from the parents of autistic children may not be accurate and objective. In such cases, automatic recognition systems based on computer vision and machine learning (in particular deep learning) technology can alleviate this issue to a large extent. Existing human action recognition models can now achieve persuasive performance on challenging activity datasets, e.g. daily activity, and sports activity. However, problem behaviors in children with ASD are very different from these general activities, and recognizing these problem behaviors via computer vision is less studied. In this paper, we first evaluate a strong baseline for action recognition, i.e. Video Swin Transformer, on two autism behaviors datasets (SSBD and ESBD) and show that it can achieve high accuracy and outperform the previous methods by a large margin, demonstrating the feasibility of vision-based problem behaviors recognition. Moreover, we propose language-assisted training to further enhance the action recognition performance. Specifically, we develop a two-branch multimodal deep learning framework by incorporating the "freely available" language description for each type of problem behavior. Experimental results demonstrate that incorporating additional language supervision can bring an obvious performance boost for the autism problem behaviors recognition task as compared to using the video information only (i.e. 3.49% improvement on ESBD and 1.46% on SSBD).

在许多应用中，人类互动识别非常重要。识别相互作用的一种关键提示是交互式部位。在这项工作中，我们提出了一个新型的交互图形变压器（Igformer）网络，以通过将交互式身体部位建模为图形，以用于基于骨架的交互识别。更具体地说，所提出的Igformer根据交互式身体部位之间的语义和距离相关性构造了相互作用图，并通过基于学习的图来汇总交互式身体部位的信息来增强每个人的表示。此外，我们提出了一个语义分区模块，以将每个人类骨架序列转换为一个身体零件序列，以更好地捕获用于学习图形的骨骼序列的空间和时间信息。在三个基准数据集上进行的广泛实验表明，我们的模型的表现优于最先进的利润率。

This paper targets unsupervised skeleton-based action representation learning and proposes a new Hierarchical Contrast (HiCo) framework. Different from the existing contrastive-based solutions that typically represent an input skeleton sequence into instance-level features and perform contrast holistically, our proposed HiCo represents the input into multiple-level features and performs contrast in a hierarchical manner. Specifically, given a human skeleton sequence, we represent it into multiple feature vectors of different granularities from both temporal and spatial domains via sequence-to-sequence (S2S) encoders and unified downsampling modules. Besides, the hierarchical contrast is conducted in terms of four levels: instance level, domain level, clip level, and part level. Moreover, HiCo is orthogonal to the S2S encoder, which allows us to flexibly embrace state-of-the-art S2S encoders. Extensive experiments on four datasets, i.e., NTU-60, NTU-120, PKU-MMD I and II, show that HiCo achieves a new state-of-the-art for unsupervised skeleton-based action representation learning in two downstream tasks including action recognition and retrieval, and its learned action representation is of good transferability. Besides, we also show that our framework is effective for semi-supervised skeleton-based action recognition. Our code is available at https://github.com/HuiGuanLab/HiCo.

We introduce LaViLa, a new approach to learning video-language representations by leveraging Large Language Models (LLMs). We repurpose pre-trained LLMs to be conditioned on visual input, and finetune them to create automatic video narrators. Our auto-generated narrations offer a number of advantages, including dense coverage of long videos, better temporal synchronization of the visual information and text, and much higher diversity of text. The video-text embedding learned contrastively with these additional auto-generated narrations outperforms the previous state-of-the-art on multiple first-person and third-person video tasks, both in zero-shot and finetuned setups. Most notably, LaViLa obtains an absolute gain of 10.1% on EGTEA classification and 5.9% Epic-Kitchens-100 multi-instance retrieval benchmarks. Furthermore, LaViLa trained with only half the narrations from the Ego4D dataset outperforms baseline models trained on the full set, and shows positive scaling behavior on increasing pre-training data and model size.

Action recognition with skeleton data has recently attracted much attention in computer vision. Previous studies are mostly based on fixed skeleton graphs, only capturing local physical dependencies among joints, which may miss implicit joint correlations. To capture richer dependencies, we introduce an encoder-decoder structure, called A-link inference module, to capture action-specific latent dependencies, i.e. actional links, directly from actions. We also extend the existing skeleton graphs to represent higherorder dependencies, i.e. structural links. Combing the two types of links into a generalized skeleton graph, we further propose the actional-structural graph convolution network (AS-GCN), which stacks actional-structural graph convolution and temporal convolution as a basic building block, to learn both spatial and temporal features for action recognition. A future pose prediction head is added in parallel to the recognition head to help capture more detailed action patterns through self-supervision. We validate AS-GCN in action recognition using two skeleton data sets, NTU-RGB+D and Kinetics. The proposed AS-GCN achieves consistently large improvement compared to the state-of-the-art methods. As a side product, AS-GCN also shows promising results for future pose prediction. Our code is available at https://github.com/limaosen0/AS-GCN . 1

基于骨架的人类行动识别是由于其复杂的动态而是一项长期挑战。动态的一些细颗粒细节在分类中起着至关重要的作用。现有的工作主要集中在设计带有更复杂的相邻矩阵的增量神经网络上，以捕获关节关系的细节。但是，他们仍然很难区分具有广泛相似运动模式但属于不同类别的动作。有趣的是，我们发现运动模式上的细微差异可以显着放大，并且可以轻松地通过指定的视图方向来区分观众，在这些方向上，该属性以前从未得到充分探索。与以前的工作截然不同，我们通过提出一种概念上简单而有效的多视图策略来提高性能，该策略从一系列动态视图功能中识别动作。具体而言，我们设计了一个新颖的骨骼锚定建议（SAP）模块，该模块包含一个多头结构来学习一组视图。为了学习不同观点的特征学习，我们引入了一个新的角度表示，以在不同视图下的动作转换并将转换归因于基线模型。我们的模块可以与现有的动作分类模型无缝合作。与基线模型合并，我们的SAP模块在许多具有挑战性的基准上展示了明显的性能增长。此外，全面的实验表明，我们的模型始终击败了最新的实验，并且在处理损坏的数据时保持有效和健壮。相关代码将在https://github.com/ideal-idea/sap上提供。

基于骨架的动作识别旨在将骨骼序列投影到动作类别，其中骨骼序列源自多种形式的预测点。与较早的方法相比，该方法专注于通过图形卷积网络（GCN）探索单一形式的骨架，现有方法倾向于通过互补提示来利用多色骨架来改善GCN。但是，这些方法（GCNS的适应结构或模型集合的适应结构）都需要在训练和推理阶段共存所有形式的骨骼，而现实生活中的典型情况是仅存在推论的部分形式。为了解决这个问题，我们提出了自适应的交叉形式学习（ACFL），该学习促进了精心设计的GCN，以在不改变模型容量的情况下从单色骨架中生成互补的表示。具体而言，ACFL中的每个GCN模型不仅从单一形式的骨架中学习动作表示，而且还可以自适应地模拟从其他形式的骨骼中得出的有用表示。这样，每个GCN都可以学习如何增强所学的知识，从而利用模型潜力并促进行动识别。在三个具有挑战性的基准上进行的广泛实验，即NTU-RGB+D 120，NTU-RGB+D 60和UAV-Human，证明了该方法的有效性和普遍性。具体而言，ACFL显着改善了各种GCN模型（即CTR-GCN，MS-G3D和Shift-GCN），从而获得了基于骨架的动作识别的新记录。

在基于骨架的动作识别中，图形卷积网络将人类骨骼关节模拟为顶点，并通过邻接矩阵将其连接起来，可以将其视为局部注意力掩码。但是，在大多数现有的图形卷积网络中，局部注意力面膜是根据人类骨架关节的自然连接来定义的，而忽略了例如头部，手和脚关节之间的动态关系。此外，注意机制已被证明在自然语言处理和图像描述中有效，在现有方法中很少研究。在这项工作中，我们提出了一个新的自适应空间注意层，该层将局部注意力图扩展到基于相对距离和相对角度信息的全局。此外，我们设计了一个连接头部，手脚的新初始图邻接矩阵，该矩阵在动作识别精度方面显示出可见的改进。在日常生活中人类活动领域的两个大规模且挑战性的数据集上，评估了该模型：NTU-RGB+D和动力学骨架。结果表明，我们的模型在两个数据集上都有很强的性能。

视觉变压器正在成为解决计算机视觉问题的强大工具。最近的技术还证明了超出图像域之外的变压器来解决许多与视频相关的任务的功效。其中，由于其广泛的应用，人类的行动识别是从研究界受到特别关注。本文提供了对动作识别的视觉变压器技术的首次全面调查。我们朝着这个方向分析并总结了现有文献和新兴文献，同时突出了适应变形金刚以进行动作识别的流行趋势。由于其专业应用，我们将这些方法统称为``动作变压器''。我们的文献综述根据其架构，方式和预期目标为动作变压器提供了适当的分类法。在动作变压器的背景下，我们探讨了编码时空数据，降低维度降低，框架贴片和时空立方体构造以及各种表示方法的技术。我们还研究了变压器层中时空注意的优化，以处理更长的序列，通常通过减少单个注意操作中的令牌数量。此外，我们还研究了不同的网络学习策略，例如自我监督和零局学习，以及它们对基于变压器的行动识别的相关损失。这项调查还总结了在具有动作变压器重要基准的评估度量评分方面取得的进步。最后，它提供了有关该研究方向的挑战，前景和未来途径的讨论。

Dynamics of human body skeletons convey significant information for human action recognition. Conventional approaches for modeling skeletons usually rely on hand-crafted parts or traversal rules, thus resulting in limited expressive power and difficulties of generalization. In this work, we propose a novel model of dynamic skeletons called Spatial-Temporal Graph Convolutional Networks (ST-GCN), which moves beyond the limitations of previous methods by automatically learning both the spatial and temporal patterns from data. This formulation not only leads to greater expressive power but also stronger generalization capability. On two large datasets, Kinetics and NTU-RGBD, it achieves substantial improvements over mainstream methods.

基于骨架的动作识别会受到越来越多的关注，因为骨架表示通过消除与动作无关的视觉信息来减少训练数据的量。为了进一步提高样本效率，为基于骨架的动作识别而开发了基于元学习的一局学习解决方案。这些方法根据实例级全局平均嵌入之间的相似性找到最近的邻居。但是，由于对局部不变和嘈杂特征的广义学习不足，这种测量具有不稳定的代表性，而直觉上，更细粒度的识别通常依赖于确定关键的局部身体运动。为了解决这一限制，我们介绍了自适应的局部成分感知图卷积网络，该网络将比较指标替换为相似性测量的集中之和，以对对齐的局部局部嵌入行动至关重要的空间/时间段。 NTU-RGB+D 120公共基准的全面单发实验表明，我们的方法比全球嵌入提供了更强的表示，并有助于我们的模型达到最新的最新能力。

现有的基于3D骨架的动作识别方法通过将手工制作的动作功能编码为图像格式和CNN解码，从而达到了令人印象深刻的性能。但是，这种方法在两种方面受到限制：a）手工制作的动作功能很难处理具有挑战性的动作，b）通常需要复杂的CNN模型来提高动作识别精度，这通常会发生重大计算负担。为了克服这些局限性，我们引入了一种新颖的AFE-CNN，它致力于增强基于3D骨架的动作的特征，以适应具有挑战性的动作。我们提出了功能增强从关键关节，骨向量，关键框架和时间视角的模块，因此，AFE-CNN对摄像头视图和车身大小变化更为强大，并显着提高了对挑战性动作的识别精度。此外，我们的AFE-CNN采用了轻巧的CNN模型以增强动作功能来解码图像，从而确保了比最新方法低得多的计算负担。我们在三个基于基准骨架的动作数据集上评估了AFE-CNN：NTU RGB+D，NTU RGB+D 120和UTKINECT-ACTION3D，并取得了广泛的实验结果，这表明我们对AFE-CNN的出色表现。