运动同步反映了相互作用二元组之间身体运动的协调。强大的深度学习模型（例如变压器网络）对运动同步的估计已自动化。但是，与其设计用于运动同步估计的专业网络，不如先前基于变压器的作品从其他任务（例如人类活动识别）中广泛采用了体系结构。因此，本文提出了一种基于骨架的图形变压器来进行运动同步估计。提出的模型应用了ST-GCN，这是一种空间图卷积神经网络，用于骨骼特征提取，然后是用于空间特征生成的空间变压器。空间变压器的指导是由相同的个体相同关节之间共享的独特设计的关节位置嵌入。此外，考虑到身体运动的周期性固有性，我们将时间相似性矩阵纳入了时间注意计算中。此外，与每个关节相关的置信度得分反映了姿势的不确定性，而先前关于运动同步估计的作品尚未充分强调这一点。由于变形金刚网络要求大量的数据进行训练，因此我们使用人类36M，一个用于人类活动识别的基准数据集构建了一个用于运动同步估算的数据集，并使用对比度学习鉴定了我们的模型。我们进一步应用知识蒸馏以减轻姿势探测器失败以隐私的方式引入的信息损失。我们将我们的方法与PT13上的代表性方法进行了比较，PT13是从自闭症治疗干预措施中收集的数据集。我们的方法达到了88.98％的总体准确性，并在保持数据隐私的同时超过了同行。

运动同步是指互动人的动作之间的动态时间联系。运动同步的应用是广泛而广泛的。例如，作为队友之间的协调量度，体育中经常报告同步分数。自闭症社区还将运动同步视为儿童社会和发展成就的关键指标。一般而言，原始视频录制通常用于运动同步估计，并且可能会揭示人们的身份。此外，这种隐私问题也阻碍了数据共享，这是自闭症研究不同方法之间公平比较的主要障碍。为了解决这个问题，本文提出了一种用于运动同步估计的合奏方法，这是在隐私保护条件下进行自动运动同步评估的首批基于深度学习的方法之一。我们的方法完全依赖于可公开共享的身份不足的二级数据，例如骨架数据和光流。我们在两个数据集上验证我们的方法：（1）从自闭症治疗干预措施中收集的PT13数据集以及（2）从同步潜水竞赛中收集的TASD-2数据集。在这种情况下，我们的方法优于其对应方法的方法，包括深层神经网络和替代方法。

基于可穿戴传感器的人类动作识别（HAR）最近取得了杰出的成功。但是，基于可穿戴传感器的HAR的准确性仍然远远落后于基于视觉模式的系统（即RGB视频，骨架和深度）。多样化的输入方式可以提供互补的提示，从而提高HAR的准确性，但是如何利用基于可穿戴传感器的HAR的多模式数据的优势很少探索。当前，可穿戴设备（即智能手表）只能捕获有限的非视态模式数据。这阻碍了多模式HAR关联，因为它无法同时使用视觉和非视态模态数据。另一个主要挑战在于如何在有限的计算资源上有效地利用可穿戴设备上的多模式数据。在这项工作中，我们提出了一种新型的渐进骨骼到传感器知识蒸馏（PSKD）模型，该模型仅利用时间序列数据，即加速度计数据，从智能手表来解决基于可穿戴传感器的HAR问题。具体而言，我们使用来自教师（人类骨架序列）和学生（时间序列加速度计数据）模式的数据构建多个教师模型。此外，我们提出了一种有效的渐进学习计划，以消除教师和学生模型之间的绩效差距。我们还设计了一种称为自适应信心语义（ACS）的新型损失功能，以使学生模型可以自适应地选择其中一种教师模型或所需模拟的地面真实标签。为了证明我们提出的PSKD方法的有效性，我们对伯克利-MHAD，UTD-MHAD和MMACT数据集进行了广泛的实验。结果证实，与以前的基于单传感器的HAR方法相比，提出的PSKD方法具有竞争性能。

基于骨架的动作识别广泛用于各种区域，例如监视和人机相互作用。现有模型主要以监督方式学习，从而根据标签昂贵时可能是不可行的大规模标记数据。在本文中，我们提出了一种新的对比度重建表示学习网络（CRRL），其同时为无监督的基于骨架的动作识别捕获姿势和运动动力学。它主要由三部分组成：序列重建器，对比运动学习者和信息定影器。序列重建者通过重建学习从骨架坐标序列的表示，因此学习的表示倾向于聚焦在琐碎的姿势坐标上并且在运动学习中犹豫不决。为了增强运动的学习，对比运动学习者分别在从坐标序列和附加速度序列中学到的表示之间进行对比学习。最后，在信息定位器中，我们探讨了将序列重建器和对比运动学习者结合的各种策略，并建议通过基于知识蒸馏的融合策略同时捕获姿势和动作，从而将动作学习从对比运动学习者转移到序列中的序列重建者。在若干基准测试中，即NTU RGB + D 60，NTU RGB + D 120，CMU Mocap和NW-UCLA的实验结果证明了所提出的CRRL方法​​的承诺，到目前为止的现有方法。

Dynamics of human body skeletons convey significant information for human action recognition. Conventional approaches for modeling skeletons usually rely on hand-crafted parts or traversal rules, thus resulting in limited expressive power and difficulties of generalization. In this work, we propose a novel model of dynamic skeletons called Spatial-Temporal Graph Convolutional Networks (ST-GCN), which moves beyond the limitations of previous methods by automatically learning both the spatial and temporal patterns from data. This formulation not only leads to greater expressive power but also stronger generalization capability. On two large datasets, Kinetics and NTU-RGBD, it achieves substantial improvements over mainstream methods.

基于骨架的人类动作识别最近引起了人们对外观变化的敏感性和更多骨架数据的可访问性的敏感性。但是，即使在实践中捕获的3D骨骼也对观点和方向仍然敏感，并给出了不同人体关节的阻塞和人类关节定位中的误差。骨骼数据的这种视图差异可能会严重影响动作识别的性能。为了解决这个问题，我们在本文中提出了一种新的视图不变的表示方法，而没有任何手动动作标签，用于基于骨架的人类行动识别。具体而言，我们通过最大化从不同观点提取的表示形式之间的相互信息来利用同一个人同时对同一个人进行的多视图骨架数据，然后提出一个全局 - 局部对比度损失，以模拟多规模CO - 空间和时间域中的发生关系。广泛的实验结果表明，所提出的方法对输入骨骼数据的视图差异是可靠的，并显着提高了基于无监督骨架的人类动作方法的性能，从而在两个具有挑战性的多视图上产生了新的最新精确度Pkummd和NTU RGB+d的基准。

尽管完全监督的人类骨架序列建模成功，但使用自我监督的预训练进行骨架序列表示学习一直是一个活跃的领域，因为很难在大规模上获取特定于任务的骨骼注释。最近的研究重点是使用对比学习学习视频级别的时间和歧视性信息，但忽略了人类骨骼的层次空间时间。与视频级别的这种表面监督不同，我们提出了一种自我监督的分层预训练方案，该方案纳入了基于层次变压器的骨骼骨骼序列编码器（HI-TRS），以明确捕获空间，短期和长期和长期框架，剪辑和视频级别的时间依赖性分别。为了通过HI-TR评估提出的自我监督预训练方案，我们进行了广泛的实验，涵盖了三个基于骨架的下游任务，包括动作识别，动作检测和运动预测。根据监督和半监督评估协议，我们的方法实现了最新的性能。此外，我们证明了我们的模型在训练阶段中学到的先验知识具有强大的下游任务的转移能力。

我们提出了一个新的变压器模型，用于无监督学习骨架运动序列的任务。用于基于无监督骨骼的动作学习的现有变压器模型被了解到每个关节从相邻帧的瞬时速度没有全球运动信息。因此，该模型在学习全身运动和暂时遥远的关节方面的关注方面存在困难。此外，模型中尚未考虑人与人之间的互动。为了解决全身运动，远程时间动态和人与人之间的互动的学习，我们设计了一种全球和本地的注意机制，在其中，全球身体动作和本地关节运动相互关注。此外，我们提出了一种新颖的预处理策略，即多间隔姿势位移预测，以在不同的时间范围内学习全球和本地关注。提出的模型成功地学习了关节的局部动力学，并从运动序列中捕获了全局上下文。我们的模型优于代表性基准中明显边缘的最先进模型。代码可在https://github.com/boeun-kim/gl-transformer上找到。

图表卷积网络（GCNS）已成为基于骨架的动作识别的主要方法。然而，它们仍然遭受两个问题，即邻域约束和纠缠的时空特征表示。大多数研究侧重于改善图形拓扑的设计，以解决第一个问题，但他们尚未充分探索后者。在这项工作中，我们设计了一个解开的时空变压器（DSTT）块，以克服GCN的上述限制三个步骤：（i）脱离时尚分解的分离;（ii）用于捕获全球背景下的相关性的全球时空注意; （iii）利用更多本地信息的本地信息增强。在其上，我们提出了一种名为分层图卷积件骨架变压器（HGCT）的新型架构，用于采用GCN（即，本地拓扑，时间动态和层级）和变压器的互补优势（即，全球背景和动态注意）。 HGCT轻量级和计算效率。定量分析证明了HGCT的优越性和良好的解释性。

目前，现有的步态识别系统专注于从轮廓图像中提取强大的步态特征的开发方法，他们确实取得了巨大的成功。然而，步态可以对衣服和携带物品等外观特征敏感。与基于外观的方法相比，由于对这些变化的稳健性，基于模型的步态识别是有前途的。近年来，随着人类姿势估计的发展，基于模型的步态识别方法的难度已被减轻。在本文中，为了抵抗受试者的增加和视图变化，建立了局部特征，提出了暹罗网络以最大化来自相同主题的样本的距离。我们利用近期行动识别的进步将人类姿势序列嵌入到向量中，并引入空间 - 时间图卷积块（STGCB），该卷积块（STGCB）已经过去用于步态识别的动作识别。在名为OuMVLP-POSE的非常大的人口数据集的实验和流行的DataSet，Casia-B，表明我们的方法在基于模型的步态识别中归档一些最先进的（SOTA）性能。我们的方法的代码和模型可在接受后的https://github.com/timelesnive/gait-for-large-dataset中获得。

通过深度学习技术的开花，完全有监督的基于骨架的动作识别取得了巨大进步。但是，这些方法需要足够的标记数据，这不容易获得。相比之下，基于自我监督的骨骼的动作识别引起了更多的关注。通过利用未标记的数据，可以学会更多可概括的功能来减轻过度拟合的问题并减少大规模标记的培训数据的需求。受到MAE的启发，我们提出了一个空间式蒙面的自动编码器框架，用于基于3D骨架的自我监管的动作识别（Skeletonmae）。在MAE的掩蔽和重建管道之后，我们利用基于骨架的编码器变压器体系结构来重建蒙版的骨架序列。一种新颖的掩蔽策略，称为时空掩蔽，是根据骨架序列的联合级别和框架级别引入的。这种预训练策略使编码器输出可推广的骨骼特征具有空间和时间依赖性。给定未掩盖的骨架序列，编码器用于动作识别任务。广泛的实验表明，我们的骨架达到了出色的性能，并优于NTU RGB+D和NTU RGB+D 120数据集的最新方法。

图形卷积网络（GCN）优于基于骨架的人类动作识别领域的先前方法，包括人类的互动识别任务。但是，在处理相互作用序列时，基于GCN的当前方法只需将两人骨架分为两个离散序列，然后以单人动作分类的方式分别执行图形卷积。这种操作忽略了丰富的交互信息，并阻碍了语义模式学习的有效空间关系建模。为了克服上述缺点，我们引入了一个新型的统一的两人图，代表关节之间的空间相互作用相关性。此外，提出了适当设计的图形标记策略，以使我们的GCN模型学习判别时空交互特征。实验显示了使用拟议的两人图形拓扑时的相互作用和单个动作的准确性提高。最后，我们提出了一个两人的图形卷积网络（2P-GCN）。提出的2P-GCN在三个相互作用数据集（SBU，NTU-RGB+D和NTU-RGB+D 120）的四个基准测试基准上获得了最新结果。

视频自我监督的学习是一项挑战的任务，这需要模型的显着表达力量来利用丰富的空间时间知识，并从大量未标记的视频产生有效的监督信号。但是，现有方法未能提高未标记视频的时间多样性，并以明确的方式忽略精心建模的多尺度时间依赖性。为了克服这些限制，我们利用视频中的多尺度时间依赖性，并提出了一个名为时间对比图学习（TCGL）的新型视频自我监督学习框架，该框架共同模拟了片段间和片段间的时间依赖性用混合图对比学习策略学习的时间表示学习。具体地，首先引入空间 - 时间知识发现（STKD）模块以基于离散余弦变换的频域分析从视频中提取运动增强的空间时间表。为了显式模拟未标记视频的多尺度时间依赖性，我们的TCGL将关于帧和片段命令的先前知识集成到图形结构中，即片段/间隙间时间对比图（TCG）。然后，特定的对比学习模块旨在最大化不同图形视图中节点之间的协议。为了为未标记的视频生成监控信号，我们介绍了一种自适应片段订购预测（ASOP）模块，它利用视频片段之间的关系知识来学习全局上下文表示并自适应地重新校准通道明智的功能。实验结果表明我们的TCGL在大规模行动识别和视频检索基准上的最先进方法中的优势。

最近，自我监督的表示学习（SSRL）在计算机视觉，语音，自然语言处理（NLP）以及最近的其他类型的模式（包括传感器的时间序列）中引起了很多关注。自我监督学习的普及是由传统模型通常需要大量通知数据进行培训的事实所驱动的。获取带注释的数据可能是一个困难且昂贵的过程。已经引入了自我监督的方法，以通过使用从原始数据自由获得的监督信号对模型进行判别预训练来提高训练数据的效率。与现有的对SSRL的评论不同，该评论旨在以单一模式为重点介绍CV或NLP领域的方法，我们旨在为时间数据提供对多模式自我监督学习方法的首次全面审查。为此，我们1）提供现有SSRL方法的全面分类，2）通过定义SSRL框架的关键组件来引入通用管道，3）根据其目标功能，网络架构和潜在应用程序，潜在的应用程序，潜在的应用程序，比较现有模型， 4）查看每个类别和各种方式中的现有多模式技术。最后，我们提出了现有的弱点和未来的机会。我们认为，我们的工作对使用多模式和/或时间数据的域中SSRL的要求有了一个观点

Facial action units (FAUs) are critical for fine-grained facial expression analysis. Although FAU detection has been actively studied using ideally high quality images, it was not thoroughly studied under heavily occluded conditions. In this paper, we propose the first occlusion-robust FAU recognition method to maintain FAU detection performance under heavy occlusions. Our novel approach takes advantage of rich information from the latent space of masked autoencoder (MAE) and transforms it into FAU features. Bypassing the occlusion reconstruction step, our model efficiently extracts FAU features of occluded faces by mining the latent space of a pretrained masked autoencoder. Both node and edge-level knowledge distillation are also employed to guide our model to find a mapping between latent space vectors and FAU features. Facial occlusion conditions, including random small patches and large blocks, are thoroughly studied. Experimental results on BP4D and DISFA datasets show that our method can achieve state-of-the-art performances under the studied facial occlusion, significantly outperforming existing baseline methods. In particular, even under heavy occlusion, the proposed method can achieve comparable performance as state-of-the-art methods under normal conditions.

Wearable sensor-based human activity recognition (HAR) has emerged as a principal research area and is utilized in a variety of applications. Recently, deep learning-based methods have achieved significant improvement in the HAR field with the development of human-computer interaction applications. However, they are limited to operating in a local neighborhood in the process of a standard convolution neural network, and correlations between different sensors on body positions are ignored. In addition, they still face significant challenging problems with performance degradation due to large gaps in the distribution of training and test data, and behavioral differences between subjects. In this work, we propose a novel Transformer-based Adversarial learning framework for human activity recognition using wearable sensors via Self-KnowledgE Distillation (TASKED), that accounts for individual sensor orientations and spatial and temporal features. The proposed method is capable of learning cross-domain embedding feature representations from multiple subjects datasets using adversarial learning and the maximum mean discrepancy (MMD) regularization to align the data distribution over multiple domains. In the proposed method, we adopt the teacher-free self-knowledge distillation to improve the stability of the training procedure and the performance of human activity recognition. Experimental results show that TASKED not only outperforms state-of-the-art methods on the four real-world public HAR datasets (alone or combined) but also improves the subject generalization effectively.

在3D动作识别中，存在骨骼模式之间的丰富互补信息。然而，如何建模和利用这些信息仍然是一个充满挑战的3D动作表示学习的问题。在这项工作中，我们将交叉模式相互作用作为双向知识蒸馏问题。不同于经典的蒸馏解决方案，这些解决方案将固定和预训练的教师的知识转移到学生中，在这项工作中，知识在模式之间不断更新和双向蒸馏。为此，我们提出了一个新的跨模式相互蒸馏（CMD）框架，并采用以下设计。一方面，引入了相邻的相似性分布来对每种模式中学习的知识进行建模，其中关系信息自然适合对比框架。另一方面，不对称的配置用于教师和学生来稳定蒸馏过程并在模式之间传递高信心信息。通过派生，我们发现以前作品中的跨模式阳性采矿可以被视为我们CMD的退化版本。我们对NTU RGB+D 60，NTU RGB+D 120和PKU-MMD II数据集执行了广泛的实验。我们的方法的表现优于现有的自我监督方法，并设置了一系列新记录。该代码可在以下网址找到：https：//github.com/maoyunyao/cmd

Astounding results from Transformer models on natural language tasks have intrigued the vision community to study their application to computer vision problems. Among their salient benefits, Transformers enable modeling long dependencies between input sequence elements and support parallel processing of sequence as compared to recurrent networks e.g., Long short-term memory (LSTM). Different from convolutional networks, Transformers require minimal inductive biases for their design and are naturally suited as set-functions. Furthermore, the straightforward design of Transformers allows processing multiple modalities (e.g., images, videos, text and speech) using similar processing blocks and demonstrates excellent scalability to very large capacity networks and huge datasets. These strengths have led to exciting progress on a number of vision tasks using Transformer networks. This survey aims to provide a comprehensive overview of the Transformer models in the computer vision discipline. We start with an introduction to fundamental concepts behind the success of Transformers i.e., self-attention, large-scale pre-training, and bidirectional feature encoding. We then cover extensive applications of transformers in vision including popular recognition tasks (e.g., image classification, object detection, action recognition, and segmentation), generative modeling, multi-modal tasks (e.g., visual-question answering, visual reasoning, and visual grounding), video processing (e.g., activity recognition, video forecasting), low-level vision (e.g., image super-resolution, image enhancement, and colorization) and 3D analysis (e.g., point cloud classification and segmentation). We compare the respective advantages and limitations of popular techniques both in terms of architectural design and their experimental value. Finally, we provide an analysis on open research directions and possible future works. We hope this effort will ignite further interest in the community to solve current challenges towards the application of transformer models in computer vision.

图形卷积网络由于非欧几里得数据的出色建模能力而广泛用于基于骨架的动作识别。由于图形卷积是局部操作，因此它只能利用短距离关节依赖性和短期轨迹，但无法直接建模遥远的关节关系和远程时间信息，这些信息对于区分各种动作至关重要。为了解决此问题，我们提出了多尺度的空间图卷积（MS-GC）模块和一个多尺度的时间图卷积（MT-GC）模块，以在空间和时间尺寸中丰富模型的接受场。具体而言，MS-GC和MT-GC模块将相应的局部图卷积分解为一组子图形卷积，形成了层次的残差体系结构。在不引入其他参数的情况下，该功能将通过一系列子图卷积处理，每个节点都可以与其邻域一起完成多个空间和时间聚集。因此，最终的等效接收场被扩大，能够捕获空间和时间域中的短期和远程依赖性。通过将这两个模块耦合为基本块，我们进一步提出了一个多尺度的空间时间图卷积网络（MST-GCN），该网络（MST-GCN）堆叠了多个块以学习有效的运动表示行动识别的运动表示。拟议的MST-GCN在三个具有挑战性的基准数据集（NTU RGB+D，NTU-1220 RGB+D和动力学 - 骨骼）上实现了出色的性能，用于基于骨架的动作识别。

对于人类的行动理解，流行的研究方向是分析具有明确的语义含量的短视频剪辑，例如跳跃和饮酒。然而，了解短语行动的方法不能直接翻译成长期以来的人类动态，如跳舞，即使在语义上也是挑战的挑战。同时，自然语言处理（NLP）社区通过大规模预培训解决了稀缺的类似挑战，这改善了一种模型的几个下游任务。在这项工作中，我们研究如何以自我监督的方式进行分段和群集视频，即Acton Discovery，朝向视频标记的主要障碍。我们提出了一种两级框架，首先通过对应于它们的时间上下文的视频帧的两个增强视图对比其次的视频帧的两个增强视图来获得帧智表示。然后通过k-means群集视频集集中的帧展表示。然后通过从同一簇内的帧形成连续的运动序列来自动提取actons。通过标准化的相互信息和语言熵，我们通过Kendall的Tau和Lexicon构建步骤进行评估框架明智的表现。我们还研究了这个标记化的三种应用：类型分类，行动细分和行动组成。在AIST ++和PKU-MMD数据集上，与几个基线相比，Actons带来了显着的性能改进。