This paper targets unsupervised skeleton-based action representation learning and proposes a new Hierarchical Contrast (HiCo) framework. Different from the existing contrastive-based solutions that typically represent an input skeleton sequence into instance-level features and perform contrast holistically, our proposed HiCo represents the input into multiple-level features and performs contrast in a hierarchical manner. Specifically, given a human skeleton sequence, we represent it into multiple feature vectors of different granularities from both temporal and spatial domains via sequence-to-sequence (S2S) encoders and unified downsampling modules. Besides, the hierarchical contrast is conducted in terms of four levels: instance level, domain level, clip level, and part level. Moreover, HiCo is orthogonal to the S2S encoder, which allows us to flexibly embrace state-of-the-art S2S encoders. Extensive experiments on four datasets, i.e., NTU-60, NTU-120, PKU-MMD I and II, show that HiCo achieves a new state-of-the-art for unsupervised skeleton-based action representation learning in two downstream tasks including action recognition and retrieval, and its learned action representation is of good transferability. Besides, we also show that our framework is effective for semi-supervised skeleton-based action recognition. Our code is available at https://github.com/HuiGuanLab/HiCo.

尽管完全监督的人类骨架序列建模成功，但使用自我监督的预训练进行骨架序列表示学习一直是一个活跃的领域，因为很难在大规模上获取特定于任务的骨骼注释。最近的研究重点是使用对比学习学习视频级别的时间和歧视性信息，但忽略了人类骨骼的层次空间时间。与视频级别的这种表面监督不同，我们提出了一种自我监督的分层预训练方案，该方案纳入了基于层次变压器的骨骼骨骼序列编码器（HI-TRS），以明确捕获空间，短期和长期和长期框架，剪辑和视频级别的时间依赖性分别。为了通过HI-TR评估提出的自我监督预训练方案，我们进行了广泛的实验，涵盖了三个基于骨架的下游任务，包括动作识别，动作检测和运动预测。根据监督和半监督评估协议，我们的方法实现了最新的性能。此外，我们证明了我们的模型在训练阶段中学到的先验知识具有强大的下游任务的转移能力。

近年来，已经通过对比学习方法的进展来开发了基于骨架的动作识别的自我监督的代表学习。现有的对比学习方法使用正常的增强来构建类似的正样品，这限制了探索新颖运动模式的能力。在本文中，为了更好地利用极端增强引入的运动模式，提出了利用对自我监督动作表示（AIMCLR）的丰富信息挖掘的对比学习框架。首先，提出了极端的增强和基于能量的注意力指导模块（EADM）来获得各种阳性样本，这带来了新的运动模式来改善学习陈述的普遍性。其次，由于直接使用极端增强可能无法提高由于原始身份的剧烈变化导致的性能，因此提出了双分配发散最小化损失（D $ ^ 3 $ M损失），以最大限度地减少更温和的分配分配大大地。第三，提出了最近的邻居挖掘（NNM）以进一步扩展正样品以使丰富的信息挖掘过程更合理。 NTU RGB + D 60的详尽实验，PKU-MMD，NTU RGB + D 120数据集已经验证，我们的AIMCLR可以在各种评估协议下对最先进的方法进行有利的方法，以观察到更高质量的作用表示。我们的代码可在https://github.com/levigty/aimclr中找到。

基于对比度学习的基于自我监督的骨架识别引起了很多关注。最近的文献表明，数据增强和大量对比度对对于学习此类表示至关重要。在本文中，我们发现，基于正常增强的直接扩展对对比对的表现有限，因为随着培训的进展，对比度对从正常数据增强到损失的贡献越小。因此，我们深入研究了对比对比对的，以进行对比学习。由混合增强策略的成功激励，通过综合新样本来改善许多任务的执行，我们提出了Skelemixclr：一种与时空的学习框架，具有时空骨架混合增强（Skelemix），以补充当前的对比样品，以补充当前的对比样品。首先，Skelemix利用骨架数据的拓扑信息将两个骨骼序列混合在一起，通过将裁切的骨骼片段（修剪视图）与其余的骨架序列（截断视图）随机梳理。其次，应用时空掩码池在特征级别上分开这两个视图。第三，我们将对比度对与这两种观点扩展。 SkelemixClr利用修剪和截断的视图来提供丰富的硬对比度对，因为它们由于图形卷积操作而涉及彼此的某些上下文信息，这使模型可以学习更好的运动表示以进行动作识别。在NTU-RGB+D，NTU120-RGB+D和PKU-MMD数据集上进行了广泛的实验表明，SkelemixClr实现了最先进的性能。代码可在https://github.com/czhaneva/skelemixclr上找到。

最近基于对比的3D动作表示学习取得了长足的进步。但是，严格的正/负约束尚未放松，并且使用非自我阳性的使用尚待探索。在本文中，为无监督的骨骼3D动作表示学习提出了对比度阳性挖掘（CPM）框架。 CPM在上下文队列中识别非自我阳性以提高学习。具体而言，采用和培训了暹罗编码器，以匹配增强实例的相似性分布，以参考上下文队列中的所有实例。通过确定队列中的非自我积极实例，提出了一种积极增强的学习策略，以利用采矿阳性的知识来增强学习潜在空间的稳健性，以抵抗阶级内部和阶层间多样性。实验结果表明，所提出的CPM具有有效性，并且在挑战性的NTU和PKU-MMD数据集上胜过现有的最新无监督方法。

基于骨架的动作识别广泛用于各种区域，例如监视和人机相互作用。现有模型主要以监督方式学习，从而根据标签昂贵时可能是不可行的大规模标记数据。在本文中，我们提出了一种新的对比度重建表示学习网络（CRRL），其同时为无监督的基于骨架的动作识别捕获姿势和运动动力学。它主要由三部分组成：序列重建器，对比运动学习者和信息定影器。序列重建者通过重建学习从骨架坐标序列的表示，因此学习的表示倾向于聚焦在琐碎的姿势坐标上并且在运动学习中犹豫不决。为了增强运动的学习，对比运动学习者分别在从坐标序列和附加速度序列中学到的表示之间进行对比学习。最后，在信息定位器中，我们探讨了将序列重建器和对比运动学习者结合的各种策略，并建议通过基于知识蒸馏的融合策略同时捕获姿势和动作，从而将动作学习从对比运动学习者转移到序列中的序列重建者。在若干基准测试中，即NTU RGB + D 60，NTU RGB + D 120，CMU Mocap和NW-UCLA的实验结果证明了所提出的CRRL方法​​的承诺，到目前为止的现有方法。

在3D动作识别中，存在骨骼模式之间的丰富互补信息。然而，如何建模和利用这些信息仍然是一个充满挑战的3D动作表示学习的问题。在这项工作中，我们将交叉模式相互作用作为双向知识蒸馏问题。不同于经典的蒸馏解决方案，这些解决方案将固定和预训练的教师的知识转移到学生中，在这项工作中，知识在模式之间不断更新和双向蒸馏。为此，我们提出了一个新的跨模式相互蒸馏（CMD）框架，并采用以下设计。一方面，引入了相邻的相似性分布来对每种模式中学习的知识进行建模，其中关系信息自然适合对比框架。另一方面，不对称的配置用于教师和学生来稳定蒸馏过程并在模式之间传递高信心信息。通过派生，我们发现以前作品中的跨模式阳性采矿可以被视为我们CMD的退化版本。我们对NTU RGB+D 60，NTU RGB+D 120和PKU-MMD II数据集执行了广泛的实验。我们的方法的表现优于现有的自我监督方法，并设置了一系列新记录。该代码可在以下网址找到：https：//github.com/maoyunyao/cmd

当前的骨架动作表示方法学习的方法通常集中在受约束的场景上，其中在实验室环境中记录了视频和骨骼数据。在处理现实世界视频中估计的骨骼数据时，由于受试者和摄像机观点之间的差异很大，因此此类方法的性能差。为了解决这个问题，我们通过一种新颖的视图自动编码器介绍了自我监视的骨架动作表示学习。通过Leverage在不同的人类表演者之间进行运动重新定位作为借口任务，以便在2D或3D骨架序列的视觉表示之上删除潜在的动作特异性“运动”特征。这种“运动”功能对于骨架几何和相机视图是不变的，并允许通过辅助，跨视图和跨视图动作分类任务。我们进行了一项研究，重点是针对基于骨架的动作识别的转移学习，并在现实世界数据（例如Posetics）上进行自我监督的预训练。我们的结果表明，从VIA中学到的骨架表示足以提高最新动作分类精度，不仅在3D实验室数据集（例如NTU-RGB+D 60和NTU-RGB+D 120）上，而且还在在仅准确估计2D数据的现实数据集中，例如Toyota Smarthome，UAV-Human和Penn Action。

基于骨架的人类动作识别最近引起了人们对外观变化的敏感性和更多骨架数据的可访问性的敏感性。但是，即使在实践中捕获的3D骨骼也对观点和方向仍然敏感，并给出了不同人体关节的阻塞和人类关节定位中的误差。骨骼数据的这种视图差异可能会严重影响动作识别的性能。为了解决这个问题，我们在本文中提出了一种新的视图不变的表示方法，而没有任何手动动作标签，用于基于骨架的人类行动识别。具体而言，我们通过最大化从不同观点提取的表示形式之间的相互信息来利用同一个人同时对同一个人进行的多视图骨架数据，然后提出一个全局 - 局部对比度损失，以模拟多规模CO - 空间和时间域中的发生关系。广泛的实验结果表明，所提出的方法对输入骨骼数据的视图差异是可靠的，并显着提高了基于无监督骨架的人类动作方法的性能，从而在两个具有挑战性的多视图上产生了新的最新精确度Pkummd和NTU RGB+d的基准。

时空表示学习对于视频自我监督的表示至关重要。最近的方法主要使用对比学习和借口任务。然而，这些方法通过在潜在空间中的特征相似性判断所学习表示的中间状态的同时通过潜伏空间中的特征相似性来学习表示，这限制了整体性能。在这项工作中，考虑到采样实例的相似性作为中级状态，我们提出了一种新的借口任务 - 时空 - 时间重叠速率（Stor）预测。它源于观察到，人类能够区分空间和时间在视频中的重叠率。此任务鼓励模型区分两个生成的样本的存储来学习表示。此外，我们采用了联合优化，将借口任务与对比学习相结合，以进一步增强时空表示学习。我们还研究了所提出的计划中每个组分的相互影响。广泛的实验表明，我们的拟议Stor任务可以赞成对比学习和借口任务。联合优化方案可以显着提高视频理解中的时空表示。代码可在https://github.com/katou2/cstp上获得。

我们提出了一个新的变压器模型，用于无监督学习骨架运动序列的任务。用于基于无监督骨骼的动作学习的现有变压器模型被了解到每个关节从相邻帧的瞬时速度没有全球运动信息。因此，该模型在学习全身运动和暂时遥远的关节方面的关注方面存在困难。此外，模型中尚未考虑人与人之间的互动。为了解决全身运动，远程时间动态和人与人之间的互动的学习，我们设计了一种全球和本地的注意机制，在其中，全球身体动作和本地关节运动相互关注。此外，我们提出了一种新颖的预处理策略，即多间隔姿势位移预测，以在不同的时间范围内学习全球和本地关注。提出的模型成功地学习了关节的局部动力学，并从运动序列中捕获了全局上下文。我们的模型优于代表性基准中明显边缘的最先进模型。代码可在https://github.com/boeun-kim/gl-transformer上找到。

Previous work on action representation learning focused on global representations for short video clips. In contrast, many practical applications, such as video alignment, strongly demand learning the intensive representation of long videos. In this paper, we introduce a new framework of contrastive action representation learning (CARL) to learn frame-wise action representation in a self-supervised or weakly-supervised manner, especially for long videos. Specifically, we introduce a simple but effective video encoder that considers both spatial and temporal context by combining convolution and transformer. Inspired by the recent massive progress in self-supervised learning, we propose a new sequence contrast loss (SCL) applied to two related views obtained by expanding a series of spatio-temporal data in two versions. One is the self-supervised version that optimizes embedding space by minimizing KL-divergence between sequence similarity of two augmented views and prior Gaussian distribution of timestamp distance. The other is the weakly-supervised version that builds more sample pairs among videos using video-level labels by dynamic time wrapping (DTW). Experiments on FineGym, PennAction, and Pouring datasets show that our method outperforms previous state-of-the-art by a large margin for downstream fine-grained action classification and even faster inference. Surprisingly, although without training on paired videos like in previous works, our self-supervised version also shows outstanding performance in video alignment and fine-grained frame retrieval tasks.

我们介绍了一种对比视频表示方法，它使用课程学习在对比度培训中施加动态抽样策略。更具体地说，Concur以易于正面样本（在时间上和语义上相似的剪辑上）开始对比度训练，并且随着训练的进行，它会有效地提高时间跨度，从而有效地采样了硬质阳性（时间为时间和语义上不同）。为了学习更好的上下文感知表示形式，我们还提出了一个辅助任务，以预测积极剪辑之间的时间距离。我们对两个流行的动作识别数据集进行了广泛的实验，即UCF101和HMDB51，我们提出的方法在两项视频动作识别和视频检索的基准任务上实现了最新的性能。我们通过使用R（2+1）D和C3D编码器以及对Kinetics-400和Kinetics-200200数据集的R（2+1）D和C3D编码器以及预训练的影响来探讨编码器骨架和预训练策略的影响。此外，一项详细的消融研究显示了我们提出的方法的每个组成部分的有效性。

对于人类的行动理解，流行的研究方向是分析具有明确的语义含量的短视频剪辑，例如跳跃和饮酒。然而，了解短语行动的方法不能直接翻译成长期以来的人类动态，如跳舞，即使在语义上也是挑战的挑战。同时，自然语言处理（NLP）社区通过大规模预培训解决了稀缺的类似挑战，这改善了一种模型的几个下游任务。在这项工作中，我们研究如何以自我监督的方式进行分段和群集视频，即Acton Discovery，朝向视频标记的主要障碍。我们提出了一种两级框架，首先通过对应于它们的时间上下文的视频帧的两个增强视图对比其次的视频帧的两个增强视图来获得帧智表示。然后通过k-means群集视频集集中的帧展表示。然后通过从同一簇内的帧形成连续的运动序列来自动提取actons。通过标准化的相互信息和语言熵，我们通过Kendall的Tau和Lexicon构建步骤进行评估框架明智的表现。我们还研究了这个标记化的三种应用：类型分类，行动细分和行动组成。在AIST ++和PKU-MMD数据集上，与几个基线相比，Actons带来了显着的性能改进。

现代自我监督的学习算法通常强制执行跨视图实例的表示的持久性。虽然非常有效地学习整体图像和视频表示，但这种方法成为在视频中学习时空时间细粒度的特征的子最优，其中场景和情况通过空间和时间演变。在本文中，我们介绍了上下文化的时空对比学习（Const-CL）框架，以利用自我监督有效学习时空时间细粒度的表示。我们首先设计一种基于区域的自我监督的借口任务，该任务要求模型从一个视图中学习将实例表示转换为上下文特征的另一个视图。此外，我们介绍了一个简单的网络设计，有效地调和了整体和本地表示的同时学习过程。我们评估我们对各种下游任务和CONST-CL的学习表现，实现了四个数据集的最先进结果。对于时空行动本地化，Const-CL可以使用AVA-Kinetics验证集的检测到框实现39.4％的地图和30.5％地图。对于对象跟踪，Const-CL在OTB2015上实现了78.1％的精度和55.2％的成功分数。此外，Const-CL分别在视频动作识别数据集，UCF101和HMDB51上实现了94.8％和71.9％的前1个微调精度。我们计划向公众发布我们的代码和模型。

视频的对比表示高度依赖于数百万未老化视频的可用性。这对于网络上可用的视频来说是实用的，但获取真实应用的大规模视频非常昂贵和费力。因此，在本文中，我们专注于为自我监督学习设计视频增强，首先分析最佳策略来混合视频以创建新的增强视频样本。然后，问题仍然存在，我们可以利用数据混合视频中的其他方式吗？为此，我们提出了跨模块歧管Cutmix（CMMC），其将视频TESSERACT插入到两个不同模式中的特征空间中的另一个视频TESERACT中。我们发现我们的视频混合策略STC-MIX，即视频的初步混合，然后在视频中跨越不同方式的CMMC，提高了学习视频表示的质量。我们对两个下游任务进行了彻底的实验：在两个小型视频数据集UCF101和HMDB51上进行动作识别和视频检索。我们还展示了我们STC-Mix在NTU数据集上的有效性，其中域名知识有限。我们表明，我们对下游任务的STC混合的表现与其他自我监督的方法有关，同时需要较少的培训数据。

鉴于在图像领域的对比学习的成功，目前的自我监督视频表示学习方法通​​常采用对比损失来促进视频表示学习。然而，当空闲地拉动视频的两个增强视图更接近时，该模型倾向于将常见的静态背景作为快捷方式学习但不能捕获运动信息，作为背景偏置的现象。这种偏差使模型遭受弱泛化能力，导致在等下游任务中的性能较差，例如动作识别。为了减轻这种偏见，我们提出\ textbf {f} Oreground-b \ textbf {a} ckground \ textbf {me} rging（sm} rging（fame）故意将所选视频的移动前景区域故意构成到其他人的静态背景上。具体而言，没有任何非货架探测器，我们通过帧差和颜色统计从背景区域中提取移动前景，并在视频中擦拭背景区域。通过利用原始剪辑和熔融夹之间的语义一致性，该模型更多地关注运动模式，并从背景快捷方式中脱位。广泛的实验表明，FAME可以有效地抵抗背景作弊，从而在UCF101，HMDB51和Diving48数据集中实现了最先进的性能。

最近的自我监督视频表示学习方法通​​过探索视频的基本属性，例如探讨了视频的基本属性。速度，时间顺序等。这项工作利用了一个必不可少的视频，\ Texit {视频连续性}的必要性，以获取自我监督表示学习的监督信号。具体而言，我们制定了三个新的连续性相关的借口任务，即连续性理由，不连续的本地化和缺失部分近似，该近似地监督用于视频表示学习的共享骨干。这种自我监督方法被称为连续性感知网络（CPNet），解决了三个任务，并鼓励骨干网络学习本地和长距离的运动和情境表示。它在多个下游任务中优于现有技术，例如动作识别，视频检索和动作定位。另外，视频连续性可以与其他粗粒度视频属性互补，用于表示学习的其他粗粒视频属性，并将所提出的借口任务集成到现有技术中，可以产生很大的性能增益。

通过深度学习技术的开花，完全有监督的基于骨架的动作识别取得了巨大进步。但是，这些方法需要足够的标记数据，这不容易获得。相比之下，基于自我监督的骨骼的动作识别引起了更多的关注。通过利用未标记的数据，可以学会更多可概括的功能来减轻过度拟合的问题并减少大规模标记的培训数据的需求。受到MAE的启发，我们提出了一个空间式蒙面的自动编码器框架，用于基于3D骨架的自我监管的动作识别（Skeletonmae）。在MAE的掩蔽和重建管道之后，我们利用基于骨架的编码器变压器体系结构来重建蒙版的骨架序列。一种新颖的掩蔽策略，称为时空掩蔽，是根据骨架序列的联合级别和框架级别引入的。这种预训练策略使编码器输出可推广的骨骼特征具有空间和时间依赖性。给定未掩盖的骨架序列，编码器用于动作识别任务。广泛的实验表明，我们的骨架达到了出色的性能，并优于NTU RGB+D和NTU RGB+D 120数据集的最新方法。

学习自我监督的视频表示主要集中在简单数据增强方案中产生的判别实例。然而，学习的表示通常无法通过看不见的相机观点来概括。为此，我们提出了ViewClr，它将自我监督的视频表示不变到相机视点变化。我们介绍了一个视图生成器，可以被视为任何自我监督的预先文本任务的学习增强，以生成视频的潜在视点表示。ViewClr最大化潜像观点表示与原始视点表示的相似性，使学习的视频编码器能够概括未见的相机视点。在跨视图基准数据集的实验，包括NTU RGB + D数据集，显示ViewClr代表了一种最先进的ViewPoint不变自我监控方法。