Recent self-supervised video representation learning methods focus on maximizing the similarity between multiple augmented views from the same video and largely rely on the quality of generated views. However, most existing methods lack a mechanism to prevent representation learning from bias towards static information in the video. In this paper, we propose frequency augmentation (FreqAug), a spatio-temporal data augmentation method in the frequency domain for video representation learning. FreqAug stochastically removes specific frequency components from the video so that learned representation captures essential features more from the remaining information for various downstream tasks. Specifically, FreqAug pushes the model to focus more on dynamic features rather than static features in the video via dropping spatial or temporal low-frequency components. To verify the generality of the proposed method, we experiment with FreqAug on multiple self-supervised learning frameworks along with standard augmentations. Transferring the improved representation to five video action recognition and two temporal action localization downstream tasks shows consistent improvements over baselines.

最近，数据增强已成为视觉识别任务的现代培训食谱的重要组成部分。但是，尽管有效性，但很少探索视频识别的数据增强。很少有用于视频识别的现有增强食谱通过将相同的操作应用于整个视频框架来天真地扩展图像增强方法。我们的主要思想是，每帧的增强操作的大小都需要随着时间的推移而更改，以捕获现实世界视频的时间变化。在训练过程中，应使用更少的额外超参数来尽可能多地生成这些变化。通过这种动机，我们提出了一个简单而有效的视频数据增强框架Dynaaugment。每个帧上增强操作的大小通过有效的机制，傅立叶采样更改，该采样将各种，平滑和现实的时间变化参数化。 Dynaaugment还包括一个适用于视频的扩展搜索空间，用于自动数据增强方法。 Dynaaugment在实验上表明，从各种视频模型的静态增强中可以改善其他性能室。具体而言，我们在各种视频数据集和任务上显示了Dynaaugment的有效性：大规模视频识别（Kinetics-400和Sothings-Something-v2），小规模视频识别（UCF-101和HMDB-51），精细元素视频识别（潜水48和FINEGYM），早餐的视频动作细分，Thumos'14上的视频动作本地化以及MOT17DET上的视频对象检测。 Dynaaugment还使视频模型能够学习更广泛的表示形式，以改善损坏视频的模型鲁棒性。

通过自学学习的视觉表示是一项极具挑战性的任务，因为网络需要在没有监督提供的主动指导的情况下筛选出相关模式。这是通过大量数据增强，大规模数据集和过量量的计算来实现的。视频自我监督学习（SSL）面临着额外的挑战：视频数据集通常不如图像数据集那么大，计算是一个数量级，并且优化器所必须通过的伪造模式数量乘以几倍。因此，直接从视频数据中学习自我监督的表示可能会导致次优性能。为了解决这个问题，我们建议在视频表示学习框架中利用一个以自我或语言监督为基础的强大模型，并在不依赖视频标记的数据的情况下学习强大的空间和时间信息。为此，我们修改了典型的基于视频的SSL设计和目标，以鼓励视频编码器\ textit {subsume}基于图像模型的语义内容，该模型在通用域上训练。所提出的算法被证明可以更有效地学习（即在较小的时期和较小的批次中），并在单模式SSL方法中对标准下游任务进行了新的最新性能。

时空表示学习对于视频自我监督的表示至关重要。最近的方法主要使用对比学习和借口任务。然而，这些方法通过在潜在空间中的特征相似性判断所学习表示的中间状态的同时通过潜伏空间中的特征相似性来学习表示，这限制了整体性能。在这项工作中，考虑到采样实例的相似性作为中级状态，我们提出了一种新的借口任务 - 时空 - 时间重叠速率（Stor）预测。它源于观察到，人类能够区分空间和时间在视频中的重叠率。此任务鼓励模型区分两个生成的样本的存储来学习表示。此外，我们采用了联合优化，将借口任务与对比学习相结合，以进一步增强时空表示学习。我们还研究了所提出的计划中每个组分的相互影响。广泛的实验表明，我们的拟议Stor任务可以赞成对比学习和借口任务。联合优化方案可以显着提高视频理解中的时空表示。代码可在https://github.com/katou2/cstp上获得。

We present a self-supervised Contrastive Video Representation Learning (CVRL) method to learn spatiotemporal visual representations from unlabeled videos. Our representations are learned using a contrastive loss, where two augmented clips from the same short video are pulled together in the embedding space, while clips from different videos are pushed away. We study what makes for good data augmentations for video self-supervised learning and find that both spatial and temporal information are crucial. We carefully design data augmentations involving spatial and temporal cues. Concretely, we propose a temporally consistent spatial augmentation method to impose strong spatial augmentations on each frame of the video while maintaining the temporal consistency across frames. We also propose a sampling-based temporal augmentation method to avoid overly enforcing invariance on clips that are distant in time. On Kinetics-600, a linear classifier trained on the representations learned by CVRL achieves 70.4% top-1 accuracy with a 3D-ResNet-50 (R3D-50) backbone, outperforming ImageNet supervised pre-training by 15.7% and SimCLR unsupervised pre-training by 18.8% using the same inflated R3D-50. The performance of CVRL can be further improved to 72.9% with a larger R3D-152 (2× filters) backbone, significantly closing the gap between unsupervised and supervised video representation learning. Our code and models will be available at https://github.com/tensorflow/models/tree/master/official/.

Contrastive representation learning has proven to be an effective self-supervised learning method for images and videos. Most successful approaches are based on Noise Contrastive Estimation (NCE) and use different views of an instance as positives that should be contrasted with other instances, called negatives, that are considered as noise. However, several instances in a dataset are drawn from the same distribution and share underlying semantic information. A good data representation should contain relations between the instances, or semantic similarity and dissimilarity, that contrastive learning harms by considering all negatives as noise. To circumvent this issue, we propose a novel formulation of contrastive learning using semantic similarity between instances called Similarity Contrastive Estimation (SCE). Our training objective is a soft contrastive one that brings the positives closer and estimates a continuous distribution to push or pull negative instances based on their learned similarities. We validate empirically our approach on both image and video representation learning. We show that SCE performs competitively with the state of the art on the ImageNet linear evaluation protocol for fewer pretraining epochs and that it generalizes to several downstream image tasks. We also show that SCE reaches state-of-the-art results for pretraining video representation and that the learned representation can generalize to video downstream tasks.

视频自我监督的学习是一项挑战的任务，这需要模型的显着表达力量来利用丰富的空间时间知识，并从大量未标记的视频产生有效的监督信号。但是，现有方法未能提高未标记视频的时间多样性，并以明确的方式忽略精心建模的多尺度时间依赖性。为了克服这些限制，我们利用视频中的多尺度时间依赖性，并提出了一个名为时间对比图学习（TCGL）的新型视频自我监督学习框架，该框架共同模拟了片段间和片段间的时间依赖性用混合图对比学习策略学习的时间表示学习。具体地，首先引入空间 - 时间知识发现（STKD）模块以基于离散余弦变换的频域分析从视频中提取运动增强的空间时间表。为了显式模拟未标记视频的多尺度时间依赖性，我们的TCGL将关于帧和片段命令的先前知识集成到图形结构中，即片段/间隙间时间对比图（TCG）。然后，特定的对比学习模块旨在最大化不同图形视图中节点之间的协议。为了为未标记的视频生成监控信号，我们介绍了一种自适应片段订购预测（ASOP）模块，它利用视频片段之间的关系知识来学习全局上下文表示并自适应地重新校准通道明智的功能。实验结果表明我们的TCGL在大规模行动识别和视频检索基准上的最先进方法中的优势。

鉴于在图像领域的对比学习的成功，目前的自我监督视频表示学习方法通​​常采用对比损失来促进视频表示学习。然而，当空闲地拉动视频的两个增强视图更接近时，该模型倾向于将常见的静态背景作为快捷方式学习但不能捕获运动信息，作为背景偏置的现象。这种偏差使模型遭受弱泛化能力，导致在等下游任务中的性能较差，例如动作识别。为了减轻这种偏见，我们提出\ textbf {f} Oreground-b \ textbf {a} ckground \ textbf {me} rging（sm} rging（fame）故意将所选视频的移动前景区域故意构成到其他人的静态背景上。具体而言，没有任何非货架探测器，我们通过帧差和颜色统计从背景区域中提取移动前景，并在视频中擦拭背景区域。通过利用原始剪辑和熔融夹之间的语义一致性，该模型更多地关注运动模式，并从背景快捷方式中脱位。广泛的实验表明，FAME可以有效地抵抗背景作弊，从而在UCF101，HMDB51和Diving48数据集中实现了最先进的性能。

现代自我监督的学习算法通常强制执行跨视图实例的表示的持久性。虽然非常有效地学习整体图像和视频表示，但这种方法成为在视频中学习时空时间细粒度的特征的子最优，其中场景和情况通过空间和时间演变。在本文中，我们介绍了上下文化的时空对比学习（Const-CL）框架，以利用自我监督有效学习时空时间细粒度的表示。我们首先设计一种基于区域的自我监督的借口任务，该任务要求模型从一个视图中学习将实例表示转换为上下文特征的另一个视图。此外，我们介绍了一个简单的网络设计，有效地调和了整体和本地表示的同时学习过程。我们评估我们对各种下游任务和CONST-CL的学习表现，实现了四个数据集的最先进结果。对于时空行动本地化，Const-CL可以使用AVA-Kinetics验证集的检测到框实现39.4％的地图和30.5％地图。对于对象跟踪，Const-CL在OTB2015上实现了78.1％的精度和55.2％的成功分数。此外，Const-CL分别在视频动作识别数据集，UCF101和HMDB51上实现了94.8％和71.9％的前1个微调精度。我们计划向公众发布我们的代码和模型。

近年来，随着深度神经网络方法的普及，手术计算机视觉领域经历了相当大的突破。但是，用于培训的标准全面监督方法需要大量的带注释的数据，从而实现高昂的成本；特别是在临床领域。已经开始在一般计算机视觉社区中获得吸引力的自我监督学习（SSL）方法代表了对这些注释成本的潜在解决方案，从而使仅从未标记的数据中学习有用的表示形式。尽管如此，SSL方法在更复杂和有影响力的领域（例如医学和手术）中的有效性仍然有限且未开发。在这项工作中，我们通过在手术计算机视觉的背景下研究了四种最先进的SSL方法（Moco V2，Simclr，Dino，SWAV），以解决这一关键需求。我们对这些方法在cholec80数据集上的性能进行了广泛的分析，以在手术环境理解，相位识别和工具存在检测中为两个基本和流行的任务。我们检查了它们的参数化，然后在半监督设置中相对于训练数据数量的行为。如本工作所述和进行的那样，将这些方法的正确转移到手术中，可以使SSL的一般用途获得可观的性能 - 相位识别率高达7％，而在工具存在检测方面，则具有20％ - 半监督相位识别方法高达14％。该代码将在https://github.com/camma-public/selfsupsurg上提供。

在视频数据中，来自移动区域的忙碌运动细节在频域中的特定频率带宽内传送。同时，视频数据的其余频率是用具有实质冗余的安静信息编码，这导致现有视频模型中的低处理效率作为输入原始RGB帧。在本文中，我们考虑为处理重要忙碌信息的处理和对安静信息的计算的处理分配。我们设计可训练的运动带通量模块（MBPM），用于将繁忙信息从RAW视频数据中的安静信息分开。通过将MBPM嵌入到两个路径CNN架构中，我们定义了一个繁忙的网络（BQN）。 BQN的效率是通过避免由两个路径处理的特征空间中的冗余来确定：一个在低分辨率的安静特征上运行，而另一个处理繁忙功能。所提出的BQN在某物V1，Kinetics400，UCF101和HMDB51数据集中略高于最近最近的视频处理模型。

运动，作为视频中最明显的现象，涉及随时间的变化，对视频表示学习的发展是独一无二的。在本文中，我们提出了问题：特别是对自我监督视频表示学习的运动有多重要。为此，我们撰写了一个二重奏，用于利用对比学习政权的数据增强和特征学习的动作。具体而言，我们介绍了一种以前的对比学习（MCL）方法，其将这种二重奏视为基础。一方面，MCL大写视频中的每个帧的光流量，以在时间上和空间地样本地样本（即，横跨时间的相关帧斑块的序列）作为数据增强。另一方面，MCL进一步将卷积层的梯度图对准来自空间，时间和时空视角的光流程图，以便在特征学习中地进行地面运动信息。在R（2 + 1）D骨架上进行的广泛实验证明了我们MCL的有效性。在UCF101上，在MCL学习的表示上培训的线性分类器实现了81.91％的前1个精度，表现优于6.78％的训练预测。在动力学-400上，MCL在线方案下实现66.62％的前1个精度。代码可在https://github.com/yihengzhang-cv/mcl-motion-focused-contrastive-learning。

由于存在对象的自然时间转换，视频是一种具有自我监督学习（SSL）的丰富来源。然而，目前的方法通常是随机采样用于学习的视频剪辑，这导致监督信号差。在这项工作中，我们提出了预先使用无监督跟踪信号的SSL框架，用于选择包含相同对象的剪辑，这有助于更好地利用对象的时间变换。预先使用跟踪信号在空间上限制帧区域以学习并通过在Grad-CAM注意图上提供监督来定位模型以定位有意义的物体。为了评估我们的方法，我们在VGG-Sound和Kinetics-400数据集上培训势头对比（MOCO）编码器，预先使用预先。使用Previts的培训优于Moco在图像识别和视频分类下游任务中独自学习的表示，从而获得了行动分类的最先进的性能。预先帮助学习更强大的功能表示，以便在背景和视频数据集上进行背景和上下文更改。从大规模未婚视频中学习具有预算的大规模未能视频可能会导致更准确和强大的视觉功能表示。

空间卷积广泛用于许多深度视频模型。它基本上假设了时空不变性，即，使用不同帧中的每个位置的共享权重。这项工作提出了用于视频理解的时间 - 自适应卷积（Tadaconv），这表明沿着时间维度的自适应权重校准是促进在视频中建模复杂的时间动态的有效方法。具体而言，Tadaconv根据其本地和全局时间上下文校准每个帧的卷积权重，使空间卷积具有时间建模能力。与先前的时间建模操作相比，Tadaconv在通过卷积内核上运行而不是特征，其维度是比空间分辨率小的数量级更有效。此外，内核校准还具有增加的模型容量。通过用Tadaconv替换Reset中的空间互联网来构建坦达2D网络，这与多个视频动作识别和定位基准测试的最先进方法相比，导致PAR或更好的性能。我们还表明，作为可忽略的计算开销的容易插入操作，Tadaconv可以有效地改善许多具有令人信服的边距的现有视频模型。 HTTPS：//github.com/alibaba-mmai-research/pytorch-video -Undersing提供代码和模型。

监督深度学习方法的最新进展是使用面部视频实现基于光电觉描绘的生理信号的远程测量。然而，这些监督方法的性能取决于大标记数据的可用性。作为自我监督方法的对比学习，最近通过最大化不同增强视图之间的互信息来实现学习代表数据特征的最先进的性能。然而，用于对比学学习的现有数据增强技术不是设计用于从视频中学习来自视频的生理信号，并且当存在复杂的噪声和微妙和微妙和周期性的颜色或视频帧之间的形状变化时，通常会失败。为了解决这些问题，我们为远程生理信号表示学习提供了一种新的自我监督的时空学习框架，其中缺乏标记的培训数据。首先，我们提出了一种基于地标的空间增强，其基于Shafer Dichromatic反射模型将面部分成几个信息部件，以表征微妙的肤色波动。我们还制定了一种基于稀疏的时间增强，利用奈奎斯特 - 香农采样定理来通过建模生理信号特征有效地捕获周期性的时间变化。此外，我们介绍了一个受限制的时空损失，为增强视频剪辑产生伪标签。它用于调节训练过程并处理复杂的噪声。我们在3个公共数据集中评估了我们的框架，并展示了比其他自我监督方法的卓越表现，并与最先进的监督方法相比实现了竞争精度。

我们呈现蒙版特征预测（MaskFeat），用于自我监督的视频模型的预训练。我们的方法首先随机地掩盖输入序列的一部分，然后预测蒙面区域的特征。我们研究五种不同类型的功能，找到面向导向渐变（HOG）的直方图，手工制作的特征描述符，在性能和效率方面尤其良好。我们观察到猪中的局部对比标准化对于良好的结果至关重要，这与使用HOG进行视觉识别的早期工作符合。我们的方法可以学习丰富的视觉知识和基于大规模的变压器的模型。在不使用额外的模型重量或监督的情况下，在未标记视频上预先培训的MaskFeat在动力学-400上使用MVIT-L达到86.7％的前所未有的结果，在动力学-600，88.3％上，88.3％，在动力学-700,88.8地图上SSV2上的75.0％。 MaskFeat进一步推广到图像输入，其可以被解释为具有单个帧的视频，并在想象中获得竞争结果。

我们提出了MACLR，这是一种新颖的方法，可显式执行从视觉和运动方式中学习的跨模式自我监督的视频表示。与以前的视频表示学习方法相比，主要关注学习运动线索的研究方法是隐含的RGB输入，MACLR丰富了RGB视频片段的标准对比度学习目标，具有运动途径和视觉途径之间的跨模式学习目标。我们表明，使用我们的MACLR方法学到的表示形式更多地关注前景运动区域，因此可以更好地推广到下游任务。为了证明这一点，我们在五个数据集上评估了MACLR，以进行动作识别和动作检测，并在所有数据集上展示最先进的自我监督性能。此外，我们表明MACLR表示可以像在UCF101和HMDB51行动识别的全面监督下所学的表示一样有效，甚至超过了对Vidsitu和SSV2的行动识别的监督表示，以及对AVA的动作检测。

尽管视频自我监督的学习模型最近取得了成功，但关于它们的概括能力仍然有很多了解。在本文中，我们研究了敏感的视频自我监督学习对当前常规基准的方式以及方法是否超出规范评估设置的概括。我们在敏感性的四个不同因素上做到这一点：域，样本，动作和任务。我们的研究包括7个视频数据集，9种自学方法和6种视频理解任务的500多个实验，揭示了视频自我监督学习中的当前基准测试不是沿这些敏感性因素的概括指标。此外，我们发现自我监督的方法在香草的监督前训练后落后，尤其是当域移动较大并且可用下游样品的量很低时。从我们的分析中，我们将严重的基准测试（实验的一个子集）提炼出来，并讨论其对评估现有和未来自我监督视频学习方法获得的表示的普遍性的意义。

我们呈现了一个用于学习视听表示的自我监督的框架。在我们的框架中引入了一种小说概念，其中除了学习模态和标准的“同步的”跨模型关系之外，riscross也会学习“异步”的跨模式关系。我们展示通过放松音频和视觉模态之间的时间同步性，网络了解强劲的时间不变的表示。我们的实验表明，音频和视觉方式的强大增强，可放松交叉模态时间同步优化性能。要预先绘制我们提出的框架，我们使用具有不同大小，动力学，动力学-400和augioset的不同数据集。学习的表示是在许多下游任务中评估的，即行动识别，声音分类和检索。 Crisscross显示了动作识别的最先进的性能（UCF101和HMDB51）和声音分类（ESC50）。将公开可用的代码和预赠品模型。

最近的自我监督视频表示学习方法通​​过探索视频的基本属性，例如探讨了视频的基本属性。速度，时间顺序等。这项工作利用了一个必不可少的视频，\ Texit {视频连续性}的必要性，以获取自我监督表示学习的监督信号。具体而言，我们制定了三个新的连续性相关的借口任务，即连续性理由，不连续的本地化和缺失部分近似，该近似地监督用于视频表示学习的共享骨干。这种自我监督方法被称为连续性感知网络（CPNet），解决了三个任务，并鼓励骨干网络学习本地和长距离的运动和情境表示。它在多个下游任务中优于现有技术，例如动作识别，视频检索和动作定位。另外，视频连续性可以与其他粗粒度视频属性互补，用于表示学习的其他粗粒视频属性，并将所提出的借口任务集成到现有技术中，可以产生很大的性能增益。