尽管事实证明，视听表征适用于许多下游任务，但舞蹈视频的表示，这是更具体的，并且总是伴随着具有复杂听觉内容的音乐，但仍然具有挑战性且没有评估。考虑到舞者和音乐节奏的节奏运动之间的内在结合，我们介绍了Mudar，这是一个新颖的音乐舞蹈表示学习框架，以明确和隐性的方式执行音乐和舞蹈节奏的同步。具体而言，我们根据音乐节奏分析启发的视觉外观和运动提示得出舞蹈节奏。然后，视觉节奏在时间上与音乐对应物对齐，这些音乐由声音强度的幅度提取。同时，我们利用对比度学习在音频和视觉流中隐含的节奏的隐式连贯性。该模型通过预测视听对之间的时间一致性来学习关节嵌入。音乐舞蹈表示以及检测音频和视觉节奏的能力，可以进一步应用于三个下游任务：（a）舞蹈分类，（b）音乐舞蹈检索，以及（c）音乐舞蹈重新定位。广泛的实验表明，我们提出的框架以大幅度优于其他自我监督方法。

识别和本地化视频中的事件是视频理解的基本任务。由于事件可能发生在听觉和视觉方式中，因此多式联合的详细感知对于完全的场景理解至关重要。最先前的作品试图从整体角度分析视频。但是，它们不考虑多个尺度的语义信息，这使得模型难以定位各种长度的事件。在本文中，我们提供了一个多模式金字塔注意网络（MM-PYRAMID），用于捕获和集成多级时间特征，用于视听事件定位和视听视频解析。具体而言，我们首先提出了专注特征金字塔模块。该模块通过多个堆叠金字塔单元捕获时间金字塔特征，每个单元都由固定尺寸的注意力块和扩张的卷积块组成。我们还设计了一种自适应语义融合模块，它利用单位级注意块和选择性融合块以交互地集成金字塔特征。对视听事件定位的广泛实验和虚线监督的视听视频解析任务验证了我们方法的有效性。

There is a natural correlation between the visual and auditive elements of a video. In this work we leverage this connection to learn general and effective models for both audio and video analysis from self-supervised temporal synchronization. We demonstrate that a calibrated curriculum learning scheme, a careful choice of negative examples, and the use of a contrastive loss are critical ingredients to obtain powerful multi-sensory representations from models optimized to discern temporal synchronization of audio-video pairs. Without further finetuning, the resulting audio features achieve performance superior or comparable to the state-of-the-art on established audio classification benchmarks (DCASE2014 and ESC-50). At the same time, our visual subnet provides a very effective initialization to improve the accuracy of video-based action recognition models: compared to learning from scratch, our self-supervised pretraining yields a remarkable gain of +19.9% in action recognition accuracy on UCF101 and a boost of +17.7% on HMDB51.

在本文中，我们考虑了视听同步的问题应用于视频`in-wild'（即，超越语音的一般类）。作为一项新任务，我们识别并策划具有高视听相关性的测试集，即VGG-SOCK SYNC。我们比较了一些专门设计的基于变压器的架构变体，用于模拟任意长度的音频和视觉信号，同时显着降低训练期间的内存要求。我们进一步对策划数据集进行了深入的分析，并定义了开放域视听同步的评估度量。我们在标准唇读语音基准测试中应用我们的方法，LRS2和LRS3，在各个方面的消融。最后，我们在新的VGG-SOCKC SYNC视频数据集中设置了与超过160个不同类别的通用视听同步的第一个基准。在所有情况下，我们所提出的模型通过显着的保证金优于以前的最先进。

弱监督的视听暴力检测旨在区分包含带有视频级标签的多模式暴力事件的片段。许多先前的作品以早期或中间的方式执行视听整合和互动，但在弱监督的设置上忽略了模态异质性。在本文中，我们分析了多种实例学习（MIL）程序的模式异步和未分化的实例现象，并进一步研究了其对弱监督视听学习的负面影响。为了解决这些问题，我们提出了一种以自我验证（MACIL-SD）策略学习的方式感知的对比实例。具体而言，我们利用轻量级的两流网络来生成音频和视觉袋，其中单峰背景，暴力和普通实例以一种无监督的方式聚集到半袋中。然后，将音频和视觉剧烈的半袋表示作为正对组装，将暴力半袋与背景和正常实例相结合，以对比性负对。此外，将自我验证模块应用于将单峰视觉知识传输到视听模型，该模型减轻了噪音并缩小单峰和多模式特征之间的语义差距。实验表明，我们的框架在大规模XD-Violence数据集上的复杂性较低的方法优于先前的方法。结果还表明，我们提出的方法可以用作增强其他网络的插件模块。代码可在https://github.com/justinyuu/macil_sd上找到。

In this paper our objectives are, first, networks that can embed audio and visual inputs into a common space that is suitable for cross-modal retrieval; and second, a network that can localize the object that sounds in an image, given the audio signal. We achieve both these objectives by training from unlabelled video using only audio-visual correspondence (AVC) as the objective function. This is a form of crossmodal self-supervision from video. To this end, we design new network architectures that can be trained for cross-modal retrieval and localizing the sound source in an image, by using the AVC task. We make the following contributions: (i) show that audio and visual embeddings can be learnt that enable both within-mode (e.g. audio-to-audio) and between-mode retrieval; (ii) explore various architectures for the AVC task, including those for the visual stream that ingest a single image, or multiple images, or a single image and multi-frame optical flow; (iii) show that the semantic object that sounds within an image can be localized (using only the sound, no motion or flow information); and (iv) give a cautionary tale on how to avoid undesirable shortcuts in the data preparation.

我们提出了MACLR，这是一种新颖的方法，可显式执行从视觉和运动方式中学习的跨模式自我监督的视频表示。与以前的视频表示学习方法相比，主要关注学习运动线索的研究方法是隐含的RGB输入，MACLR丰富了RGB视频片段的标准对比度学习目标，具有运动途径和视觉途径之间的跨模式学习目标。我们表明，使用我们的MACLR方法学到的表示形式更多地关注前景运动区域，因此可以更好地推广到下游任务。为了证明这一点，我们在五个数据集上评估了MACLR，以进行动作识别和动作检测，并在所有数据集上展示最先进的自我监督性能。此外，我们表明MACLR表示可以像在UCF101和HMDB51行动识别的全面监督下所学的表示一样有效，甚至超过了对Vidsitu和SSV2的行动识别的监督表示，以及对AVA的动作检测。

Humans perceive the world by concurrently processing and fusing high-dimensional inputs from multiple modalities such as vision and audio. Machine perception models, in stark contrast, are typically modality-specific and optimised for unimodal benchmarks, and hence late-stage fusion of final representations or predictions from each modality (`late-fusion') is still a dominant paradigm for multimodal video classification. Instead, we introduce a novel transformer based architecture that uses `fusion bottlenecks' for modality fusion at multiple layers. Compared to traditional pairwise self-attention, our model forces information between different modalities to pass through a small number of bottleneck latents, requiring the model to collate and condense the most relevant information in each modality and only share what is necessary. We find that such a strategy improves fusion performance, at the same time reducing computational cost. We conduct thorough ablation studies, and achieve state-of-the-art results on multiple audio-visual classification benchmarks including Audioset, Epic-Kitchens and VGGSound. All code and models will be released.

The remarkable success of deep learning in various domains relies on the availability of large-scale annotated datasets. However, obtaining annotations is expensive and requires great effort, which is especially challenging for videos. Moreover, the use of human-generated annotations leads to models with biased learning and poor domain generalization and robustness. As an alternative, self-supervised learning provides a way for representation learning which does not require annotations and has shown promise in both image and video domains. Different from the image domain, learning video representations are more challenging due to the temporal dimension, bringing in motion and other environmental dynamics. This also provides opportunities for video-exclusive ideas that advance self-supervised learning in the video and multimodal domain. In this survey, we provide a review of existing approaches on self-supervised learning focusing on the video domain. We summarize these methods into four different categories based on their learning objectives: 1) pretext tasks, 2) generative learning, 3) contrastive learning, and 4) cross-modal agreement. We further introduce the commonly used datasets, downstream evaluation tasks, insights into the limitations of existing works, and the potential future directions in this area.

视频突出显示检测是一个至关重要但充满挑战的问题，旨在识别未修剪视频中有趣的时刻。该任务的关键在于有效的视频表示形式共同追求两个目标，即\ textit {i.e。}，跨模式表示学习和精细元素特征歧视。在本文中，这两个挑战不仅通过丰富表示建模的模式内部和跨模式关系来应对，而且还以歧视性的方式塑造了这些特征。我们提出的方法主要利用模式内编码和交叉模式共发生编码来完全表示建模。具体而言，编码的模式内模式可以增强模态特征，并通过音频和视觉信号中的模式关系学习来抑制无关的模态。同时，跨模式的共同发生编码着重于同时模式间关系，并选择性地捕获了多模式之间的有效信息。从本地上下文中抽象的全局信息进一步增强了多模式表示。此外，我们使用硬对对比度学习（HPCL）方案扩大了特征嵌入的判别能力。进一步采用了硬对采样策略来开采硬样品，以改善HPCL中的特征歧视。与其他最新方法相比，在两个基准上进行的广泛实验证明了我们提出的方法的有效性和优势。

Learning to localize the sound source in videos without explicit annotations is a novel area of audio-visual research. Existing work in this area focuses on creating attention maps to capture the correlation between the two modalities to localize the source of the sound. In a video, oftentimes, the objects exhibiting movement are the ones generating the sound. In this work, we capture this characteristic by modeling the optical flow in a video as a prior to better aid in localizing the sound source. We further demonstrate that the addition of flow-based attention substantially improves visual sound source localization. Finally, we benchmark our method on standard sound source localization datasets and achieve state-of-the-art performance on the Soundnet Flickr and VGG Sound Source datasets. Code: https://github.com/denfed/heartheflow.

最近，自我监督的表示学习（SSRL）在计算机视觉，语音，自然语言处理（NLP）以及最近的其他类型的模式（包括传感器的时间序列）中引起了很多关注。自我监督学习的普及是由传统模型通常需要大量通知数据进行培训的事实所驱动的。获取带注释的数据可能是一个困难且昂贵的过程。已经引入了自我监督的方法，以通过使用从原始数据自由获得的监督信号对模型进行判别预训练来提高训练数据的效率。与现有的对SSRL的评论不同，该评论旨在以单一模式为重点介绍CV或NLP领域的方法，我们旨在为时间数据提供对多模式自我监督学习方法的首次全面审查。为此，我们1）提供现有SSRL方法的全面分类，2）通过定义SSRL框架的关键组件来引入通用管道，3）根据其目标功能，网络架构和潜在应用程序，潜在的应用程序，潜在的应用程序，比较现有模型， 4）查看每个类别和各种方式中的现有多模式技术。最后，我们提出了现有的弱点和未来的机会。我们认为，我们的工作对使用多模式和/或时间数据的域中SSRL的要求有了一个观点

对比学习表明，在自我监督时空表示学习中有希望的潜力。大多数作品天真地采样不同的剪辑以构建正面和负对。但是，我们观察到该公式将模型倾向于背景场景偏见。根本原因是双重的。首先，场景差异通常比运动差异更明显，更容易区分。其次，从同一视频中采样的剪辑通常具有相似的背景，但具有不同的动作。仅将它们作为正对就可以将模型绘制为静态背景而不是运动模式。为了应对这一挑战，本文提出了一种新颖的双重对比配方。具体而言，我们将输入RGB视频序列分解为两种互补模式，静态场景和动态运动。然后，将原始的RGB功能分别靠近静态特征和对齐动态特征。这样，将静态场景和动态运动同时编码为紧凑的RGB表示。我们通过激活图进一步进行特征空间解耦，以提炼静态和动态相关的特征。我们将我们的方法称为\ textbf {d} ual \ textbf {c} intrastive \ textbf {l} ginal for spatio-tempormal \ textbf {r} ePresentation（dclr）。广泛的实验表明，DCLR学习有效的时空表示，并在UCF-101，HMDB-51和潜水-48数据集中获得最先进或可比性的性能。

在我们的日常生活中，视听场景是普遍存在的。对于人类来说是常见的常见地定位不同的探测物体，但是对于在没有类别注释的情况下实现类感知的声音对象本地化的机器非常具有挑战性，即，本地化声音对象并识别其类别。为了解决这个问题，我们提出了一个两阶段的逐步学习框架，以仅使用音频和视觉之间的对应方式本地化和识别复杂的视听方案中的探测对象。首先，我们建议通过单一源案例中通过粗粒化的视听对应来确定声音区域。然后，声音区域中的视觉功能被利用为候选对象表示，以建立类别表示对象字典，用于表达视觉字符提取。我们在鸡尾酒会方案中生成类感知对象本地化映射，并使用视听对应来抑制静音区域来引用此字典。最后，我们使用类别级视听一致性作为达到细粒度音频和探测物体分布对齐的监督。关于现实和综合视频的实验表明，我们的模型在本地化和识别物体方面是优越的，以及滤除静音。我们还将学习的视听网络转移到无监督的对象检测任务中，获得合理的性能。

对比学习在视频表示学习中表现出了巨大的潜力。但是，现有方法无法充分利用短期运动动态，这对于各种下游视频理解任务至关重要。在本文中，我们提出了运动敏感的对比度学习（MSCL），该学习将光学流捕获的运动信息注入RGB帧中，以增强功能学习。为了实现这一目标，除了剪辑级全球对比度学习外，我们还开发了局部运动对比度学习（LMCL），具有两种模式的框架级对比目标。此外，我们引入流动旋转增强（FRA），以生成额外的运动除件负面样品和运动差分采样（MDS）以准确筛选训练样品。对标准基准测试的广泛实验验证了该方法的有效性。以常用的3D RESNET-18为骨干，我们在UCF101上获得了91.5 \％的前1个精度，而在视频分类中进行了一些v2的v2，以及65.6 \％的top-1 top-1召回ucf1011对于视频检索，特别是改善了最新的。

主动演讲者的检测和语音增强已成为视听场景中越来越有吸引力的主题。根据它们各自的特征，独立设计的体系结构方案已被广泛用于与每个任务的对应。这可能导致模型特定于任务所学的表示形式，并且不可避免地会导致基于多模式建模的功能缺乏概括能力。最近的研究表明，建立听觉和视觉流之间的跨模式关系是针对视听多任务学习挑战的有前途的解决方案。因此，作为弥合视听任务中多模式关联的动机，提出了一个统一的框架，以通过在本研究中通过联合学习视听模型来实现目标扬声器的检测和语音增强。

The objective of this paper is visual-only self-supervised video representation learning. We make the following contributions: (i) we investigate the benefit of adding semantic-class positives to instance-based Info Noise Contrastive Estimation (In-foNCE) training, showing that this form of supervised contrastive learning leads to a clear improvement in performance; (ii) we propose a novel self-supervised co-training scheme to improve the popular infoNCE loss, exploiting the complementary information from different views, RGB streams and optical flow, of the same data source by using one view to obtain positive class samples for the other; (iii) we thoroughly evaluate the quality of the learnt representation on two different downstream tasks: action recognition and video retrieval. In both cases, the proposed approach demonstrates state-of-the-art or comparable performance with other self-supervised approaches, whilst being significantly more efficient to train, i.e. requiring far less training data to achieve similar performance.

Videos are a rich source of multi-modal supervision. In this work, we learn representations using self-supervision by leveraging three modalities naturally present in videos: visual, audio and language streams. To this end, we introduce the notion of a multimodal versatile network -a network that can ingest multiple modalities and whose representations enable downstream tasks in multiple modalities. In particular, we explore how best to combine the modalities, such that fine-grained representations of the visual and audio modalities can be maintained, whilst also integrating text into a common embedding. Driven by versatility, we also introduce a novel process of deflation, so that the networks can be effortlessly applied to the visual data in the form of video or a static image. We demonstrate how such networks trained on large collections of unlabelled video data can be applied on video, video-text, image and audio tasks. Equipped with these representations, we obtain state-of-the-art performance on multiple challenging benchmarks including UCF101, HMDB51, Kinetics600, Audioset and ESC-50 when compared to previous self-supervised work. Our models are publicly available [1, 2, 3]. * Equal contribution. † Work done during an internship at DeepMind. 34th Conference on Neural Information Processing Systems (NeurIPS 2020),

Current audio-visual separation methods share a standard architecture design where an audio encoder-decoder network is fused with visual encoding features at the encoder bottleneck. This design confounds the learning of multi-modal feature encoding with robust sound decoding for audio separation. To generalize to a new instrument: one must finetune the entire visual and audio network for all musical instruments. We re-formulate visual-sound separation task and propose Instrument as Query (iQuery) with a flexible query expansion mechanism. Our approach ensures cross-modal consistency and cross-instrument disentanglement. We utilize "visually named" queries to initiate the learning of audio queries and use cross-modal attention to remove potential sound source interference at the estimated waveforms. To generalize to a new instrument or event class, drawing inspiration from the text-prompt design, we insert an additional query as an audio prompt while freezing the attention mechanism. Experimental results on three benchmarks demonstrate that our iQuery improves audio-visual sound source separation performance.

鉴于在图像领域的对比学习的成功，目前的自我监督视频表示学习方法通​​常采用对比损失来促进视频表示学习。然而，当空闲地拉动视频的两个增强视图更接近时，该模型倾向于将常见的静态背景作为快捷方式学习但不能捕获运动信息，作为背景偏置的现象。这种偏差使模型遭受弱泛化能力，导致在等下游任务中的性能较差，例如动作识别。为了减轻这种偏见，我们提出\ textbf {f} Oreground-b \ textbf {a} ckground \ textbf {me} rging（sm} rging（fame）故意将所选视频的移动前景区域故意构成到其他人的静态背景上。具体而言，没有任何非货架探测器，我们通过帧差和颜色统计从背景区域中提取移动前景，并在视频中擦拭背景区域。通过利用原始剪辑和熔融夹之间的语义一致性，该模型更多地关注运动模式，并从背景快捷方式中脱位。广泛的实验表明，FAME可以有效地抵抗背景作弊，从而在UCF101，HMDB51和Diving48数据集中实现了最先进的性能。