对比学习在视频表示学习中表现出了巨大的潜力。但是，现有方法无法充分利用短期运动动态，这对于各种下游视频理解任务至关重要。在本文中，我们提出了运动敏感的对比度学习（MSCL），该学习将光学流捕获的运动信息注入RGB帧中，以增强功能学习。为了实现这一目标，除了剪辑级全球对比度学习外，我们还开发了局部运动对比度学习（LMCL），具有两种模式的框架级对比目标。此外，我们引入流动旋转增强（FRA），以生成额外的运动除件负面样品和运动差分采样（MDS）以准确筛选训练样品。对标准基准测试的广泛实验验证了该方法的有效性。以常用的3D RESNET-18为骨干，我们在UCF101上获得了91.5 \％的前1个精度，而在视频分类中进行了一些v2的v2，以及65.6 \％的top-1 top-1召回ucf1011对于视频检索，特别是改善了最新的。

运动，作为视频中最明显的现象，涉及随时间的变化，对视频表示学习的发展是独一无二的。在本文中，我们提出了问题：特别是对自我监督视频表示学习的运动有多重要。为此，我们撰写了一个二重奏，用于利用对比学习政权的数据增强和特征学习的动作。具体而言，我们介绍了一种以前的对比学习（MCL）方法，其将这种二重奏视为基础。一方面，MCL大写视频中的每个帧的光流量，以在时间上和空间地样本地样本（即，横跨时间的相关帧斑块的序列）作为数据增强。另一方面，MCL进一步将卷积层的梯度图对准来自空间，时间和时空视角的光流程图，以便在特征学习中地进行地面运动信息。在R（2 + 1）D骨架上进行的广泛实验证明了我们MCL的有效性。在UCF101上，在MCL学习的表示上培训的线性分类器实现了81.91％的前1个精度，表现优于6.78％的训练预测。在动力学-400上，MCL在线方案下实现66.62％的前1个精度。代码可在https://github.com/yihengzhang-cv/mcl-motion-focused-contrastive-learning。

鉴于在图像领域的对比学习的成功，目前的自我监督视频表示学习方法通​​常采用对比损失来促进视频表示学习。然而，当空闲地拉动视频的两个增强视图更接近时，该模型倾向于将常见的静态背景作为快捷方式学习但不能捕获运动信息，作为背景偏置的现象。这种偏差使模型遭受弱泛化能力，导致在等下游任务中的性能较差，例如动作识别。为了减轻这种偏见，我们提出\ textbf {f} Oreground-b \ textbf {a} ckground \ textbf {me} rging（sm} rging（fame）故意将所选视频的移动前景区域故意构成到其他人的静态背景上。具体而言，没有任何非货架探测器，我们通过帧差和颜色统计从背景区域中提取移动前景，并在视频中擦拭背景区域。通过利用原始剪辑和熔融夹之间的语义一致性，该模型更多地关注运动模式，并从背景快捷方式中脱位。广泛的实验表明，FAME可以有效地抵抗背景作弊，从而在UCF101，HMDB51和Diving48数据集中实现了最先进的性能。

对比学习表明，在自我监督时空表示学习中有希望的潜力。大多数作品天真地采样不同的剪辑以构建正面和负对。但是，我们观察到该公式将模型倾向于背景场景偏见。根本原因是双重的。首先，场景差异通常比运动差异更明显，更容易区分。其次，从同一视频中采样的剪辑通常具有相似的背景，但具有不同的动作。仅将它们作为正对就可以将模型绘制为静态背景而不是运动模式。为了应对这一挑战，本文提出了一种新颖的双重对比配方。具体而言，我们将输入RGB视频序列分解为两种互补模式，静态场景和动态运动。然后，将原始的RGB功能分别靠近静态特征和对齐动态特征。这样，将静态场景和动态运动同时编码为紧凑的RGB表示。我们通过激活图进一步进行特征空间解耦，以提炼静态和动态相关的特征。我们将我们的方法称为\ textbf {d} ual \ textbf {c} intrastive \ textbf {l} ginal for spatio-tempormal \ textbf {r} ePresentation（dclr）。广泛的实验表明，DCLR学习有效的时空表示，并在UCF-101，HMDB-51和潜水-48数据集中获得最先进或可比性的性能。

视频自我监督的学习是一项挑战的任务，这需要模型的显着表达力量来利用丰富的空间时间知识，并从大量未标记的视频产生有效的监督信号。但是，现有方法未能提高未标记视频的时间多样性，并以明确的方式忽略精心建模的多尺度时间依赖性。为了克服这些限制，我们利用视频中的多尺度时间依赖性，并提出了一个名为时间对比图学习（TCGL）的新型视频自我监督学习框架，该框架共同模拟了片段间和片段间的时间依赖性用混合图对比学习策略学习的时间表示学习。具体地，首先引入空间 - 时间知识发现（STKD）模块以基于离散余弦变换的频域分析从视频中提取运动增强的空间时间表。为了显式模拟未标记视频的多尺度时间依赖性，我们的TCGL将关于帧和片段命令的先前知识集成到图形结构中，即片段/间隙间时间对比图（TCG）。然后，特定的对比学习模块旨在最大化不同图形视图中节点之间的协议。为了为未标记的视频生成监控信号，我们介绍了一种自适应片段订购预测（ASOP）模块，它利用视频片段之间的关系知识来学习全局上下文表示并自适应地重新校准通道明智的功能。实验结果表明我们的TCGL在大规模行动识别和视频检索基准上的最先进方法中的优势。

我们提出了MACLR，这是一种新颖的方法，可显式执行从视觉和运动方式中学习的跨模式自我监督的视频表示。与以前的视频表示学习方法相比，主要关注学习运动线索的研究方法是隐含的RGB输入，MACLR丰富了RGB视频片段的标准对比度学习目标，具有运动途径和视觉途径之间的跨模式学习目标。我们表明，使用我们的MACLR方法学到的表示形式更多地关注前景运动区域，因此可以更好地推广到下游任务。为了证明这一点，我们在五个数据集上评估了MACLR，以进行动作识别和动作检测，并在所有数据集上展示最先进的自我监督性能。此外，我们表明MACLR表示可以像在UCF101和HMDB51行动识别的全面监督下所学的表示一样有效，甚至超过了对Vidsitu和SSV2的行动识别的监督表示，以及对AVA的动作检测。

We present a self-supervised Contrastive Video Representation Learning (CVRL) method to learn spatiotemporal visual representations from unlabeled videos. Our representations are learned using a contrastive loss, where two augmented clips from the same short video are pulled together in the embedding space, while clips from different videos are pushed away. We study what makes for good data augmentations for video self-supervised learning and find that both spatial and temporal information are crucial. We carefully design data augmentations involving spatial and temporal cues. Concretely, we propose a temporally consistent spatial augmentation method to impose strong spatial augmentations on each frame of the video while maintaining the temporal consistency across frames. We also propose a sampling-based temporal augmentation method to avoid overly enforcing invariance on clips that are distant in time. On Kinetics-600, a linear classifier trained on the representations learned by CVRL achieves 70.4% top-1 accuracy with a 3D-ResNet-50 (R3D-50) backbone, outperforming ImageNet supervised pre-training by 15.7% and SimCLR unsupervised pre-training by 18.8% using the same inflated R3D-50. The performance of CVRL can be further improved to 72.9% with a larger R3D-152 (2× filters) backbone, significantly closing the gap between unsupervised and supervised video representation learning. Our code and models will be available at https://github.com/tensorflow/models/tree/master/official/.

Previous work on action representation learning focused on global representations for short video clips. In contrast, many practical applications, such as video alignment, strongly demand learning the intensive representation of long videos. In this paper, we introduce a new framework of contrastive action representation learning (CARL) to learn frame-wise action representation in a self-supervised or weakly-supervised manner, especially for long videos. Specifically, we introduce a simple but effective video encoder that considers both spatial and temporal context by combining convolution and transformer. Inspired by the recent massive progress in self-supervised learning, we propose a new sequence contrast loss (SCL) applied to two related views obtained by expanding a series of spatio-temporal data in two versions. One is the self-supervised version that optimizes embedding space by minimizing KL-divergence between sequence similarity of two augmented views and prior Gaussian distribution of timestamp distance. The other is the weakly-supervised version that builds more sample pairs among videos using video-level labels by dynamic time wrapping (DTW). Experiments on FineGym, PennAction, and Pouring datasets show that our method outperforms previous state-of-the-art by a large margin for downstream fine-grained action classification and even faster inference. Surprisingly, although without training on paired videos like in previous works, our self-supervised version also shows outstanding performance in video alignment and fine-grained frame retrieval tasks.

半监控视频动作识别倾向于使深神经网络能够实现显着性能，即使具有非常有限的标记数据。然而，现有方法主要从当前的基于图像的方法转移（例如，FixMatch）。不具体利用时间动态和固有的多模式属性，它们的结果可能是次优。为了更好地利用视频中的编码的时间信息，我们将时间梯度引入了本文中的更多细小特征提取的额外模态。具体而言，我们的方法明确地蒸馏从时间梯度（TG）的细粒度运动表示，并施加不同方式的一致性（即RGB和TG）。在推理期间，没有额外的计算或参数，在没有额外的计算或参数的情况下显着提高了半监督动作识别的性能。我们的方法在若干典型的半监督设置（即标记数据的不同比率）下实现三个视频动作识别基准（即动态-400，UCF-101和HMDB-51）的最先进的性能。

现代自我监督的学习算法通常强制执行跨视图实例的表示的持久性。虽然非常有效地学习整体图像和视频表示，但这种方法成为在视频中学习时空时间细粒度的特征的子最优，其中场景和情况通过空间和时间演变。在本文中，我们介绍了上下文化的时空对比学习（Const-CL）框架，以利用自我监督有效学习时空时间细粒度的表示。我们首先设计一种基于区域的自我监督的借口任务，该任务要求模型从一个视图中学习将实例表示转换为上下文特征的另一个视图。此外，我们介绍了一个简单的网络设计，有效地调和了整体和本地表示的同时学习过程。我们评估我们对各种下游任务和CONST-CL的学习表现，实现了四个数据集的最先进结果。对于时空行动本地化，Const-CL可以使用AVA-Kinetics验证集的检测到框实现39.4％的地图和30.5％地图。对于对象跟踪，Const-CL在OTB2015上实现了78.1％的精度和55.2％的成功分数。此外，Const-CL分别在视频动作识别数据集，UCF101和HMDB51上实现了94.8％和71.9％的前1个微调精度。我们计划向公众发布我们的代码和模型。

我们介绍了一种对比视频表示方法，它使用课程学习在对比度培训中施加动态抽样策略。更具体地说，Concur以易于正面样本（在时间上和语义上相似的剪辑上）开始对比度训练，并且随着训练的进行，它会有效地提高时间跨度，从而有效地采样了硬质阳性（时间为时间和语义上不同）。为了学习更好的上下文感知表示形式，我们还提出了一个辅助任务，以预测积极剪辑之间的时间距离。我们对两个流行的动作识别数据集进行了广泛的实验，即UCF101和HMDB51，我们提出的方法在两项视频动作识别和视频检索的基准任务上实现了最新的性能。我们通过使用R（2+1）D和C3D编码器以及对Kinetics-400和Kinetics-200200数据集的R（2+1）D和C3D编码器以及预训练的影响来探讨编码器骨架和预训练策略的影响。此外，一项详细的消融研究显示了我们提出的方法的每个组成部分的有效性。

Learning effective motion features is an essential pursuit of video representation learning. This paper presents a simple yet effective sample construction strategy to boost the learning of motion features in video contrastive learning. The proposed method, dubbed Motion-focused Quadruple Construction (MoQuad), augments the instance discrimination by meticulously disturbing the appearance and motion of both the positive and negative samples to create a quadruple for each video instance, such that the model is encouraged to exploit motion information. Unlike recent approaches that create extra auxiliary tasks for learning motion features or apply explicit temporal modelling, our method keeps the simple and clean contrastive learning paradigm (i.e.,SimCLR) without multi-task learning or extra modelling. In addition, we design two extra training strategies by analyzing initial MoQuad experiments. By simply applying MoQuad to SimCLR, extensive experiments show that we achieve superior performance on downstream tasks compared to the state of the arts. Notably, on the UCF-101 action recognition task, we achieve 93.7% accuracy after pre-training the model on Kinetics-400 for only 200 epochs, surpassing various previous methods

时空表示学习对于视频自我监督的表示至关重要。最近的方法主要使用对比学习和借口任务。然而，这些方法通过在潜在空间中的特征相似性判断所学习表示的中间状态的同时通过潜伏空间中的特征相似性来学习表示，这限制了整体性能。在这项工作中，考虑到采样实例的相似性作为中级状态，我们提出了一种新的借口任务 - 时空 - 时间重叠速率（Stor）预测。它源于观察到，人类能够区分空间和时间在视频中的重叠率。此任务鼓励模型区分两个生成的样本的存储来学习表示。此外，我们采用了联合优化，将借口任务与对比学习相结合，以进一步增强时空表示学习。我们还研究了所提出的计划中每个组分的相互影响。广泛的实验表明，我们的拟议Stor任务可以赞成对比学习和借口任务。联合优化方案可以显着提高视频理解中的时空表示。代码可在https://github.com/katou2/cstp上获得。

The objective of this paper is visual-only self-supervised video representation learning. We make the following contributions: (i) we investigate the benefit of adding semantic-class positives to instance-based Info Noise Contrastive Estimation (In-foNCE) training, showing that this form of supervised contrastive learning leads to a clear improvement in performance; (ii) we propose a novel self-supervised co-training scheme to improve the popular infoNCE loss, exploiting the complementary information from different views, RGB streams and optical flow, of the same data source by using one view to obtain positive class samples for the other; (iii) we thoroughly evaluate the quality of the learnt representation on two different downstream tasks: action recognition and video retrieval. In both cases, the proposed approach demonstrates state-of-the-art or comparable performance with other self-supervised approaches, whilst being significantly more efficient to train, i.e. requiring far less training data to achieve similar performance.

在本文中，我们提出了一种新颖的学习方案，用于自我监督的视频表示学习。受到人类如何理解视频的激励，我们建议先学习一般视觉概念，然后参加歧视性的局部区域以进行视频理解。具体而言，我们利用静态框架和框架差异来帮助解开静态和动态概念，并分别使潜在空间中的概念分布对齐。我们增加了多样性和忠诚的正常化，以确保我们学习一套紧凑的有意义的概念。然后，我们采用跨注意机制来汇总不同概念的详细局部特征，并滤除具有低激活的冗余概念以执行局部概念对比。广泛的实验表明，我们的方法提炼有意义的静态和动态概念来指导视频理解，并在UCF-101，HMDB-51和潜水-48上获得最新的结果。

这项工作提出了一个名为TEG的自我监督的学习框架，探讨学习视频表示中的时间粒度。在TEG中，我们从视频中抽出一个长剪辑，以及在长夹内部的短夹。然后我们提取密集的时间嵌入品。培训目标由两部分组成：一个细粒度的时间学习目的，以最大化短夹和长剪辑中的相应时间嵌入之间的相似性，以及持续的时间学习目标，以将两个剪辑的全局嵌入在一起。我们的研究揭示了时间粒度与三个主要发现的影响。 1）不同的视频任务可能需要不同时间粒度的特征。 2）有趣的是，广泛认为需要时间感知的一些任务实际上可以通过时间持久的功能来解决。 3）TEG的灵活性对8个视频基准测试产生最先进的结果，在大多数情况下优于监督预训练。

最近的自我监督视频表示学习方法通​​过探索视频的基本属性，例如探讨了视频的基本属性。速度，时间顺序等。这项工作利用了一个必不可少的视频，\ Texit {视频连续性}的必要性，以获取自我监督表示学习的监督信号。具体而言，我们制定了三个新的连续性相关的借口任务，即连续性理由，不连续的本地化和缺失部分近似，该近似地监督用于视频表示学习的共享骨干。这种自我监督方法被称为连续性感知网络（CPNet），解决了三个任务，并鼓励骨干网络学习本地和长距离的运动和情境表示。它在多个下游任务中优于现有技术，例如动作识别，视频检索和动作定位。另外，视频连续性可以与其他粗粒度视频属性互补，用于表示学习的其他粗粒视频属性，并将所提出的借口任务集成到现有技术中，可以产生很大的性能增益。

从未标记的视频中学习时间通信对于计算机视觉至关重要，并且已经通过各种自我监督的借口来解决。对于自我监督的学习，最近的研究表明，尽管经过培训成本，但使用大型视频数据集。我们提出了一个时空的借口任务来解决培训数据成本问题。该任务由两个步骤组成。首先，我们使用来自未标记的静止图像数据的对比度学习来获得对外观敏感的特征。然后，我们切换到未标记的视频数据，并通过重建帧来学习运动敏感的功能。在第二步中，我们提出了一个全局相关蒸馏损失，以保留第一步中学到的外观灵敏度，以及金字塔结构中的局部相关蒸馏损失以应对时间不连续性。实验结果表明，我们的方法超过了一系列基于对应的任务的最新自我监督方法。进行的消融研究验证了提出的两步任务和损失功能的有效性。

我们介绍了一种新颖的自我监督的对比学习方法，以了解来自未标记视频的表示。现有方法忽略了输入失真的细节，例如，通过学习与时间转换的不变性。相反，我们认为视频表示应该保留视频动态并反映输入的时间操纵。因此，我们利用新的约束来构建对时间转换和更好的捕获视频动态的表示表示。在我们的方法中，视频的增强剪辑之间的相对时间转换被编码在向量中并与其他转换向量形成对比。为了支持时间的设备，我们还提出了将视频的两个剪辑的自我监督分类为1.重叠2.订购或3.无序。我们的实验表明，时代的表示达到最先进的结果，导致UCF101，HMDB51和潜水48上的视频检索和动作识别基准。

尽管通过深度卷积神经网络进行了视频理解的巨大进展，但现有方法学到的特征表示可能偏置到静态视觉线索。为了解决这个问题，我们提出了一种基于自我监督视频表示学习的概率分析来抑制静态视觉提示（SSVC）的新方法。在我们的方法中，首先编码视频帧以通过标准化流程根据标准正常分布获得潜在变量。通过将视频中的静态因子建模为随机变量，每个潜在变量的条件分布变为偏移并缩放正常。然后，选择沿着时间的较大潜伏变量作为静态线索并抑制以生成运动保留的视频。最后，通过运动保存的视频构建了正对，以便对比学习，以减轻对静态线索的表示偏差问题。较少偏置的视频表示可以更广泛地推广到各种下游任务。关于公开的基准测试的广泛实验表明，当仅使用单个RGB模型用于预训练时，所提出的方法优于现有技术。