The objective of this paper is visual-only self-supervised video representation learning. We make the following contributions: (i) we investigate the benefit of adding semantic-class positives to instance-based Info Noise Contrastive Estimation (In-foNCE) training, showing that this form of supervised contrastive learning leads to a clear improvement in performance; (ii) we propose a novel self-supervised co-training scheme to improve the popular infoNCE loss, exploiting the complementary information from different views, RGB streams and optical flow, of the same data source by using one view to obtain positive class samples for the other; (iii) we thoroughly evaluate the quality of the learnt representation on two different downstream tasks: action recognition and video retrieval. In both cases, the proposed approach demonstrates state-of-the-art or comparable performance with other self-supervised approaches, whilst being significantly more efficient to train, i.e. requiring far less training data to achieve similar performance.

自我监督的方法已通过端到端监督学习的图像分类显着缩小了差距。但是，在人类动作视频的情况下，外观和运动都是变化的重要因素，因此该差距仍然很大。这样做的关键原因之一是，采样对类似的视频剪辑，这是许多自我监督的对比学习方法所需的步骤，目前是保守的，以避免误报。一个典型的假设是，类似剪辑仅在单个视频中暂时关闭，从而导致运动相似性的示例不足。为了减轻这种情况，我们提出了SLIC，这是一种基于聚类的自我监督的对比度学习方法，用于人类动作视频。我们的关键贡献是，我们通过使用迭代聚类来分组类似的视频实例来改善传统的视频内积极采样。这使我们的方法能够利用集群分配中的伪标签来取样更艰难的阳性和负面因素。在UCF101上，SLIC的表现优于最先进的视频检索基线 +15.4％，而直接转移到HMDB51时，SLIC检索基线的率高为15.4％， +5.7％。通过用于动作分类的端到端登录，SLIC在UCF101上获得了83.2％的TOP-1准确性（+0.8％），而HMDB51（+1.6％）上的fric fineTuns in top-1 finetuning。在动力学预处理后，SLIC还与最先进的行动分类竞争。

视频的对比表示高度依赖于数百万未老化视频的可用性。这对于网络上可用的视频来说是实用的，但获取真实应用的大规模视频非常昂贵和费力。因此，在本文中，我们专注于为自我监督学习设计视频增强，首先分析最佳策略来混合视频以创建新的增强视频样本。然后，问题仍然存在，我们可以利用数据混合视频中的其他方式吗？为此，我们提出了跨模块歧管Cutmix（CMMC），其将视频TESSERACT插入到两个不同模式中的特征空间中的另一个视频TESERACT中。我们发现我们的视频混合策略STC-MIX，即视频的初步混合，然后在视频中跨越不同方式的CMMC，提高了学习视频表示的质量。我们对两个下游任务进行了彻底的实验：在两个小型视频数据集UCF101和HMDB51上进行动作识别和视频检索。我们还展示了我们STC-Mix在NTU数据集上的有效性，其中域名知识有限。我们表明，我们对下游任务的STC混合的表现与其他自我监督的方法有关，同时需要较少的培训数据。

我们提出了MACLR，这是一种新颖的方法，可显式执行从视觉和运动方式中学习的跨模式自我监督的视频表示。与以前的视频表示学习方法相比，主要关注学习运动线索的研究方法是隐含的RGB输入，MACLR丰富了RGB视频片段的标准对比度学习目标，具有运动途径和视觉途径之间的跨模式学习目标。我们表明，使用我们的MACLR方法学到的表示形式更多地关注前景运动区域，因此可以更好地推广到下游任务。为了证明这一点，我们在五个数据集上评估了MACLR，以进行动作识别和动作检测，并在所有数据集上展示最先进的自我监督性能。此外，我们表明MACLR表示可以像在UCF101和HMDB51行动识别的全面监督下所学的表示一样有效，甚至超过了对Vidsitu和SSV2的行动识别的监督表示，以及对AVA的动作检测。

我们介绍了一种对比视频表示方法，它使用课程学习在对比度培训中施加动态抽样策略。更具体地说，Concur以易于正面样本（在时间上和语义上相似的剪辑上）开始对比度训练，并且随着训练的进行，它会有效地提高时间跨度，从而有效地采样了硬质阳性（时间为时间和语义上不同）。为了学习更好的上下文感知表示形式，我们还提出了一个辅助任务，以预测积极剪辑之间的时间距离。我们对两个流行的动作识别数据集进行了广泛的实验，即UCF101和HMDB51，我们提出的方法在两项视频动作识别和视频检索的基准任务上实现了最新的性能。我们通过使用R（2+1）D和C3D编码器以及对Kinetics-400和Kinetics-200200数据集的R（2+1）D和C3D编码器以及预训练的影响来探讨编码器骨架和预训练策略的影响。此外，一项详细的消融研究显示了我们提出的方法的每个组成部分的有效性。

学习自我监督的视频表示主要集中在简单数据增强方案中产生的判别实例。然而，学习的表示通常无法通过看不见的相机观点来概括。为此，我们提出了ViewClr，它将自我监督的视频表示不变到相机视点变化。我们介绍了一个视图生成器，可以被视为任何自我监督的预先文本任务的学习增强，以生成视频的潜在视点表示。ViewClr最大化潜像观点表示与原始视点表示的相似性，使学习的视频编码器能够概括未见的相机视点。在跨视图基准数据集的实验，包括NTU RGB + D数据集，显示ViewClr代表了一种最先进的ViewPoint不变自我监控方法。

鉴于在图像领域的对比学习的成功，目前的自我监督视频表示学习方法通​​常采用对比损失来促进视频表示学习。然而，当空闲地拉动视频的两个增强视图更接近时，该模型倾向于将常见的静态背景作为快捷方式学习但不能捕获运动信息，作为背景偏置的现象。这种偏差使模型遭受弱泛化能力，导致在等下游任务中的性能较差，例如动作识别。为了减轻这种偏见，我们提出\ textbf {f} Oreground-b \ textbf {a} ckground \ textbf {me} rging（sm} rging（fame）故意将所选视频的移动前景区域故意构成到其他人的静态背景上。具体而言，没有任何非货架探测器，我们通过帧差和颜色统计从背景区域中提取移动前景，并在视频中擦拭背景区域。通过利用原始剪辑和熔融夹之间的语义一致性，该模型更多地关注运动模式，并从背景快捷方式中脱位。广泛的实验表明，FAME可以有效地抵抗背景作弊，从而在UCF101，HMDB51和Diving48数据集中实现了最先进的性能。

对比学习表明，在自我监督时空表示学习中有希望的潜力。大多数作品天真地采样不同的剪辑以构建正面和负对。但是，我们观察到该公式将模型倾向于背景场景偏见。根本原因是双重的。首先，场景差异通常比运动差异更明显，更容易区分。其次，从同一视频中采样的剪辑通常具有相似的背景，但具有不同的动作。仅将它们作为正对就可以将模型绘制为静态背景而不是运动模式。为了应对这一挑战，本文提出了一种新颖的双重对比配方。具体而言，我们将输入RGB视频序列分解为两种互补模式，静态场景和动态运动。然后，将原始的RGB功能分别靠近静态特征和对齐动态特征。这样，将静态场景和动态运动同时编码为紧凑的RGB表示。我们通过激活图进一步进行特征空间解耦，以提炼静态和动态相关的特征。我们将我们的方法称为\ textbf {d} ual \ textbf {c} intrastive \ textbf {l} ginal for spatio-tempormal \ textbf {r} ePresentation（dclr）。广泛的实验表明，DCLR学习有效的时空表示，并在UCF-101，HMDB-51和潜水-48数据集中获得最先进或可比性的性能。

运动，作为视频中最明显的现象，涉及随时间的变化，对视频表示学习的发展是独一无二的。在本文中，我们提出了问题：特别是对自我监督视频表示学习的运动有多重要。为此，我们撰写了一个二重奏，用于利用对比学习政权的数据增强和特征学习的动作。具体而言，我们介绍了一种以前的对比学习（MCL）方法，其将这种二重奏视为基础。一方面，MCL大写视频中的每个帧的光流量，以在时间上和空间地样本地样本（即，横跨时间的相关帧斑块的序列）作为数据增强。另一方面，MCL进一步将卷积层的梯度图对准来自空间，时间和时空视角的光流程图，以便在特征学习中地进行地面运动信息。在R（2 + 1）D骨架上进行的广泛实验证明了我们MCL的有效性。在UCF101上，在MCL学习的表示上培训的线性分类器实现了81.91％的前1个精度，表现优于6.78％的训练预测。在动力学-400上，MCL在线方案下实现66.62％的前1个精度。代码可在https://github.com/yihengzhang-cv/mcl-motion-focused-contrastive-learning。

通过自学学习的视觉表示是一项极具挑战性的任务，因为网络需要在没有监督提供的主动指导的情况下筛选出相关模式。这是通过大量数据增强，大规模数据集和过量量的计算来实现的。视频自我监督学习（SSL）面临着额外的挑战：视频数据集通常不如图像数据集那么大，计算是一个数量级，并且优化器所必须通过的伪造模式数量乘以几倍。因此，直接从视频数据中学习自我监督的表示可能会导致次优性能。为了解决这个问题，我们建议在视频表示学习框架中利用一个以自我或语言监督为基础的强大模型，并在不依赖视频标记的数据的情况下学习强大的空间和时间信息。为此，我们修改了典型的基于视频的SSL设计和目标，以鼓励视频编码器\ textit {subsume}基于图像模型的语义内容，该模型在通用域上训练。所提出的算法被证明可以更有效地学习（即在较小的时期和较小的批次中），并在单模式SSL方法中对标准下游任务进行了新的最新性能。

Videos are a rich source of multi-modal supervision. In this work, we learn representations using self-supervision by leveraging three modalities naturally present in videos: visual, audio and language streams. To this end, we introduce the notion of a multimodal versatile network -a network that can ingest multiple modalities and whose representations enable downstream tasks in multiple modalities. In particular, we explore how best to combine the modalities, such that fine-grained representations of the visual and audio modalities can be maintained, whilst also integrating text into a common embedding. Driven by versatility, we also introduce a novel process of deflation, so that the networks can be effortlessly applied to the visual data in the form of video or a static image. We demonstrate how such networks trained on large collections of unlabelled video data can be applied on video, video-text, image and audio tasks. Equipped with these representations, we obtain state-of-the-art performance on multiple challenging benchmarks including UCF101, HMDB51, Kinetics600, Audioset and ESC-50 when compared to previous self-supervised work. Our models are publicly available [1, 2, 3]. * Equal contribution. † Work done during an internship at DeepMind. 34th Conference on Neural Information Processing Systems (NeurIPS 2020),

There is a natural correlation between the visual and auditive elements of a video. In this work we leverage this connection to learn general and effective models for both audio and video analysis from self-supervised temporal synchronization. We demonstrate that a calibrated curriculum learning scheme, a careful choice of negative examples, and the use of a contrastive loss are critical ingredients to obtain powerful multi-sensory representations from models optimized to discern temporal synchronization of audio-video pairs. Without further finetuning, the resulting audio features achieve performance superior or comparable to the state-of-the-art on established audio classification benchmarks (DCASE2014 and ESC-50). At the same time, our visual subnet provides a very effective initialization to improve the accuracy of video-based action recognition models: compared to learning from scratch, our self-supervised pretraining yields a remarkable gain of +19.9% in action recognition accuracy on UCF101 and a boost of +17.7% on HMDB51.

对比学习在视频表示学习中表现出了巨大的潜力。但是，现有方法无法充分利用短期运动动态，这对于各种下游视频理解任务至关重要。在本文中，我们提出了运动敏感的对比度学习（MSCL），该学习将光学流捕获的运动信息注入RGB帧中，以增强功能学习。为了实现这一目标，除了剪辑级全球对比度学习外，我们还开发了局部运动对比度学习（LMCL），具有两种模式的框架级对比目标。此外，我们引入流动旋转增强（FRA），以生成额外的运动除件负面样品和运动差分采样（MDS）以准确筛选训练样品。对标准基准测试的广泛实验验证了该方法的有效性。以常用的3D RESNET-18为骨干，我们在UCF101上获得了91.5 \％的前1个精度，而在视频分类中进行了一些v2的v2，以及65.6 \％的top-1 top-1召回ucf1011对于视频检索，特别是改善了最新的。

We present a self-supervised Contrastive Video Representation Learning (CVRL) method to learn spatiotemporal visual representations from unlabeled videos. Our representations are learned using a contrastive loss, where two augmented clips from the same short video are pulled together in the embedding space, while clips from different videos are pushed away. We study what makes for good data augmentations for video self-supervised learning and find that both spatial and temporal information are crucial. We carefully design data augmentations involving spatial and temporal cues. Concretely, we propose a temporally consistent spatial augmentation method to impose strong spatial augmentations on each frame of the video while maintaining the temporal consistency across frames. We also propose a sampling-based temporal augmentation method to avoid overly enforcing invariance on clips that are distant in time. On Kinetics-600, a linear classifier trained on the representations learned by CVRL achieves 70.4% top-1 accuracy with a 3D-ResNet-50 (R3D-50) backbone, outperforming ImageNet supervised pre-training by 15.7% and SimCLR unsupervised pre-training by 18.8% using the same inflated R3D-50. The performance of CVRL can be further improved to 72.9% with a larger R3D-152 (2× filters) backbone, significantly closing the gap between unsupervised and supervised video representation learning. Our code and models will be available at https://github.com/tensorflow/models/tree/master/official/.

Contrastive representation learning has proven to be an effective self-supervised learning method for images and videos. Most successful approaches are based on Noise Contrastive Estimation (NCE) and use different views of an instance as positives that should be contrasted with other instances, called negatives, that are considered as noise. However, several instances in a dataset are drawn from the same distribution and share underlying semantic information. A good data representation should contain relations between the instances, or semantic similarity and dissimilarity, that contrastive learning harms by considering all negatives as noise. To circumvent this issue, we propose a novel formulation of contrastive learning using semantic similarity between instances called Similarity Contrastive Estimation (SCE). Our training objective is a soft contrastive one that brings the positives closer and estimates a continuous distribution to push or pull negative instances based on their learned similarities. We validate empirically our approach on both image and video representation learning. We show that SCE performs competitively with the state of the art on the ImageNet linear evaluation protocol for fewer pretraining epochs and that it generalizes to several downstream image tasks. We also show that SCE reaches state-of-the-art results for pretraining video representation and that the learned representation can generalize to video downstream tasks.

Previous work on action representation learning focused on global representations for short video clips. In contrast, many practical applications, such as video alignment, strongly demand learning the intensive representation of long videos. In this paper, we introduce a new framework of contrastive action representation learning (CARL) to learn frame-wise action representation in a self-supervised or weakly-supervised manner, especially for long videos. Specifically, we introduce a simple but effective video encoder that considers both spatial and temporal context by combining convolution and transformer. Inspired by the recent massive progress in self-supervised learning, we propose a new sequence contrast loss (SCL) applied to two related views obtained by expanding a series of spatio-temporal data in two versions. One is the self-supervised version that optimizes embedding space by minimizing KL-divergence between sequence similarity of two augmented views and prior Gaussian distribution of timestamp distance. The other is the weakly-supervised version that builds more sample pairs among videos using video-level labels by dynamic time wrapping (DTW). Experiments on FineGym, PennAction, and Pouring datasets show that our method outperforms previous state-of-the-art by a large margin for downstream fine-grained action classification and even faster inference. Surprisingly, although without training on paired videos like in previous works, our self-supervised version also shows outstanding performance in video alignment and fine-grained frame retrieval tasks.

最近，自我监督的表示学习（SSRL）在计算机视觉，语音，自然语言处理（NLP）以及最近的其他类型的模式（包括传感器的时间序列）中引起了很多关注。自我监督学习的普及是由传统模型通常需要大量通知数据进行培训的事实所驱动的。获取带注释的数据可能是一个困难且昂贵的过程。已经引入了自我监督的方法，以通过使用从原始数据自由获得的监督信号对模型进行判别预训练来提高训练数据的效率。与现有的对SSRL的评论不同，该评论旨在以单一模式为重点介绍CV或NLP领域的方法，我们旨在为时间数据提供对多模式自我监督学习方法的首次全面审查。为此，我们1）提供现有SSRL方法的全面分类，2）通过定义SSRL框架的关键组件来引入通用管道，3）根据其目标功能，网络架构和潜在应用程序，潜在的应用程序，潜在的应用程序，比较现有模型， 4）查看每个类别和各种方式中的现有多模式技术。最后，我们提出了现有的弱点和未来的机会。我们认为，我们的工作对使用多模式和/或时间数据的域中SSRL的要求有了一个观点

聚类是无监督学习中无处不在的工具。大多数现有的自我监督表示方法通常基于视觉上的特征聚类样本。尽管这对于基于图像的自我审视非常有效，但它通常会失败，因为视频需要理解运动而不是专注于背景。将光流作为与RGB的互补信息可以减轻此问题。但是，我们观察到，两种观点的幼稚组合并不能带来有意义的收益。在本文中，我们提出了一种结合两种观点的原则方法。具体而言，我们提出了一种新颖的聚类策略，在该策略中，我们将每个视图的初始群集分配作为指导其他视图的最终群集分配。这个想法将对这两种视图强制执行类似的群集结构，并且形成的簇在语义上是抽象的，并且对来自每个单独视图的嘈杂输入。此外，我们提出了一种新颖的正则化策略来解决特征崩溃问题，这在基于聚类的自学学习方法中很常见。我们的广泛评估表明，我们学到的表示对下游任务的有效性，例如视频检索和动作识别。具体来说，我们在UCF上胜过7％，在HMDB上胜过4％，用于视频检索，而在UCF上的最高状态为5％，而HMDB则在HMDB上进行视频分类6％

时空表示学习对于视频自我监督的表示至关重要。最近的方法主要使用对比学习和借口任务。然而，这些方法通过在潜在空间中的特征相似性判断所学习表示的中间状态的同时通过潜伏空间中的特征相似性来学习表示，这限制了整体性能。在这项工作中，考虑到采样实例的相似性作为中级状态，我们提出了一种新的借口任务 - 时空 - 时间重叠速率（Stor）预测。它源于观察到，人类能够区分空间和时间在视频中的重叠率。此任务鼓励模型区分两个生成的样本的存储来学习表示。此外，我们采用了联合优化，将借口任务与对比学习相结合，以进一步增强时空表示学习。我们还研究了所提出的计划中每个组分的相互影响。广泛的实验表明，我们的拟议Stor任务可以赞成对比学习和借口任务。联合优化方案可以显着提高视频理解中的时空表示。代码可在https://github.com/katou2/cstp上获得。

对于人类的行动理解，流行的研究方向是分析具有明确的语义含量的短视频剪辑，例如跳跃和饮酒。然而，了解短语行动的方法不能直接翻译成长期以来的人类动态，如跳舞，即使在语义上也是挑战的挑战。同时，自然语言处理（NLP）社区通过大规模预培训解决了稀缺的类似挑战，这改善了一种模型的几个下游任务。在这项工作中，我们研究如何以自我监督的方式进行分段和群集视频，即Acton Discovery，朝向视频标记的主要障碍。我们提出了一种两级框架，首先通过对应于它们的时间上下文的视频帧的两个增强视图对比其次的视频帧的两个增强视图来获得帧智表示。然后通过k-means群集视频集集中的帧展表示。然后通过从同一簇内的帧形成连续的运动序列来自动提取actons。通过标准化的相互信息和语言熵，我们通过Kendall的Tau和Lexicon构建步骤进行评估框架明智的表现。我们还研究了这个标记化的三种应用：类型分类，行动细分和行动组成。在AIST ++和PKU-MMD数据集上，与几个基线相比，Actons带来了显着的性能改进。