Current audio-visual separation methods share a standard architecture design where an audio encoder-decoder network is fused with visual encoding features at the encoder bottleneck. This design confounds the learning of multi-modal feature encoding with robust sound decoding for audio separation. To generalize to a new instrument: one must finetune the entire visual and audio network for all musical instruments. We re-formulate visual-sound separation task and propose Instrument as Query (iQuery) with a flexible query expansion mechanism. Our approach ensures cross-modal consistency and cross-instrument disentanglement. We utilize "visually named" queries to initiate the learning of audio queries and use cross-modal attention to remove potential sound source interference at the estimated waveforms. To generalize to a new instrument or event class, drawing inspiration from the text-prompt design, we insert an additional query as an audio prompt while freezing the attention mechanism. Experimental results on three benchmarks demonstrate that our iQuery improves audio-visual sound source separation performance.

我们建议探索一个称为视听分割（AVS）的新问题，其中的目标是输出在图像帧时产生声音的对象的像素级映射。为了促进这项研究，我们构建了第一个视频分割基准（AVSBENCH），为声音视频中的声音对象提供像素的注释。使用此基准测试了两个设置：1）具有单个声源的半监督音频分割和2）完全监督的音频段段，并带有多个声源。为了解决AVS问题，我们提出了一种新颖的方法，该方法使用时间像素的视听相互作用模块注入音频语义作为视觉分割过程的指导。我们还设计正规化损失，以鼓励训练期间的视听映射。 AVSBench上的定量和定性实验将我们的方法与相关任务中的几种现有方法进行了比较，这表明所提出的方法有望在音频和像素视觉语义之间建立桥梁。代码可从https://github.com/opennlplab/avsbench获得。

We present a method for simultaneously localizing multiple sound sources within a visual scene. This task requires a model to both group a sound mixture into individual sources, and to associate them with a visual signal. Our method jointly solves both tasks at once, using a formulation inspired by the contrastive random walk of Jabri et al. We create a graph in which images and separated sounds correspond to nodes, and train a random walker to transition between nodes from different modalities with high return probability. The transition probabilities for this walk are determined by an audio-visual similarity metric that is learned by our model. We show through experiments with musical instruments and human speech that our model can successfully localize multiple sounds, outperforming other self-supervised methods. Project site: https://hxixixh.github.io/mix-and-localize

在本文中，我们考虑了视听同步的问题应用于视频`in-wild'（即，超越语音的一般类）。作为一项新任务，我们识别并策划具有高视听相关性的测试集，即VGG-SOCK SYNC。我们比较了一些专门设计的基于变压器的架构变体，用于模拟任意长度的音频和视觉信号，同时显着降低训练期间的内存要求。我们进一步对策划数据集进行了深入的分析，并定义了开放域视听同步的评估度量。我们在标准唇读语音基准测试中应用我们的方法，LRS2和LRS3，在各个方面的消融。最后，我们在新的VGG-SOCKC SYNC视频数据集中设置了与超过160个不同类别的通用视听同步的第一个基准。在所有情况下，我们所提出的模型通过显着的保证金优于以前的最先进。

主动演讲者的检测和语音增强已成为视听场景中越来越有吸引力的主题。根据它们各自的特征，独立设计的体系结构方案已被广泛用于与每个任务的对应。这可能导致模型特定于任务所学的表示形式，并且不可避免地会导致基于多模式建模的功能缺乏概括能力。最近的研究表明，建立听觉和视觉流之间的跨模式关系是针对视听多任务学习挑战的有前途的解决方案。因此，作为弥合视听任务中多模式关联的动机，提出了一个统一的框架，以通过在本研究中通过联合学习视听模型来实现目标扬声器的检测和语音增强。

Recent years have seen progress beyond domain-specific sound separation for speech or music towards universal sound separation for arbitrary sounds. Prior work on universal sound separation has investigated separating a target sound out of an audio mixture given a text query. Such text-queried sound separation systems provide a natural and scalable interface for specifying arbitrary target sounds. However, supervised text-queried sound separation systems require costly labeled audio-text pairs for training. Moreover, the audio provided in existing datasets is often recorded in a controlled environment, causing a considerable generalization gap to noisy audio in the wild. In this work, we aim to approach text-queried universal sound separation by using only unlabeled data. We propose to leverage the visual modality as a bridge to learn the desired audio-textual correspondence. The proposed CLIPSep model first encodes the input query into a query vector using the contrastive language-image pretraining (CLIP) model, and the query vector is then used to condition an audio separation model to separate out the target sound. While the model is trained on image-audio pairs extracted from unlabeled videos, at test time we can instead query the model with text inputs in a zero-shot setting, thanks to the joint language-image embedding learned by the CLIP model. Further, videos in the wild often contain off-screen sounds and background noise that may hinder the model from learning the desired audio-textual correspondence. To address this problem, we further propose an approach called noise invariant training for training a query-based sound separation model on noisy data. Experimental results show that the proposed models successfully learn text-queried universal sound separation using only noisy unlabeled videos, even achieving competitive performance against a supervised model in some settings.

视频实例细分（VIS）旨在在视频序列中对对象实例进行分类，分割和跟踪。最近基于变压器的神经网络证明了它们为VIS任务建模时空相关性的强大能力。依靠视频或剪辑级输入，它们的潜伏期和计算成本很高。我们提出了一个强大的上下文融合网络来以在线方式解决VIS，该网络可以预测实例通过前几个框架进行逐帧的细分框架。为了有效地获取每个帧的精确和时间一致的预测，关键思想是将有效和紧凑的上下文从参考框架融合到目标框架中。考虑到参考和目标框架对目标预测的不同影响，我们首先通过重要性感知的压缩总结上下文特征。采用变压器编码器来融合压缩上下文。然后，我们利用嵌入订单的实例来传达身份感知信息，并将身份与预测的实例掩码相对应。我们证明，我们强大的融合网络在现有的在线VIS方法中取得了最佳性能，并且比以前在YouTube-VIS 2019和2021基准上发布的剪辑级方法更好。此外，视觉对象通常具有声学签名，这些签名自然与它们在录音录像中自然同步。通过利用我们的上下文融合网络在多模式数据上的灵活性，我们进一步研究了音频对视频密集预测任务的影响，这在现有作品中从未讨论过。我们建立了一个视听实例分割数据集，并证明野外场景中的声学信号可以使VIS任务受益。

在我们的日常生活中，视听场景是普遍存在的。对于人类来说是常见的常见地定位不同的探测物体，但是对于在没有类别注释的情况下实现类感知的声音对象本地化的机器非常具有挑战性，即，本地化声音对象并识别其类别。为了解决这个问题，我们提出了一个两阶段的逐步学习框架，以仅使用音频和视觉之间的对应方式本地化和识别复杂的视听方案中的探测对象。首先，我们建议通过单一源案例中通过粗粒化的视听对应来确定声音区域。然后，声音区域中的视觉功能被利用为候选对象表示，以建立类别表示对象字典，用于表达视觉字符提取。我们在鸡尾酒会方案中生成类感知对象本地化映射，并使用视听对应来抑制静音区域来引用此字典。最后，我们使用类别级视听一致性作为达到细粒度音频和探测物体分布对齐的监督。关于现实和综合视频的实验表明，我们的模型在本地化和识别物体方面是优越的，以及滤除静音。我们还将学习的视听网络转移到无监督的对象检测任务中，获得合理的性能。

我们介绍了Audioscopev2，这是一种最先进的通用音频视频在屏幕上的声音分离系统，该系统能够通过观看野外视频来学习将声音与屏幕上的对象相关联。我们确定了先前关于视听屏幕上的声音分离的几个局限性，包括对时空注意力的粗略分辨率，音频分离模型的收敛性不佳，培训和评估数据的差异有限，以及未能说明贸易。在保存屏幕声音和抑制屏幕外声音之间的关闭。我们为所有这些问题提供解决方案。我们提出的跨模式和自我发场网络体系结构随着时间的推移以精细的分辨率捕获了视听依赖性，我们还提出了有效的可分离变体，这些变体能够扩展到更长的视频而不牺牲太多性能。我们还发现，仅在音频上进行预训练模型可大大改善结果。为了进行培训和评估，我们从大型野外视频数据库（YFCC100M）中收集了新的屏幕上的人类注释。这个新数据集更加多样化和具有挑战性。最后，我们提出了一个校准过程，该过程允许对屏幕重建与屏幕外抑制进行精确调整，从而大大简化了具有不同操作点的模型之间的性能。总体而言，我们的实验结果表明，在屏幕上的分离性能在更一般条件下的屏幕分离性能的改善要比以前具有最小的额外计算复杂性的方法更为普遍。

The thud of a bouncing ball, the onset of speech as lips open -when visual and audio events occur together, it suggests that there might be a common, underlying event that produced both signals. In this paper, we argue that the visual and audio components of a video signal should be modeled jointly using a fused multisensory representation. We propose to learn such a representation in a self-supervised way, by training a neural network to predict whether video frames and audio are temporally aligned. We use this learned representation for three applications: (a) sound source localization, i.e. visualizing the source of sound in a video; (b) audio-visual action recognition; and (c) on/offscreen audio source separation, e.g. removing the off-screen translator's voice from a foreign official's speech. Code, models, and video results are available on our webpage: http://andrewowens.com/multisensory.

Learning to localize the sound source in videos without explicit annotations is a novel area of audio-visual research. Existing work in this area focuses on creating attention maps to capture the correlation between the two modalities to localize the source of the sound. In a video, oftentimes, the objects exhibiting movement are the ones generating the sound. In this work, we capture this characteristic by modeling the optical flow in a video as a prior to better aid in localizing the sound source. We further demonstrate that the addition of flow-based attention substantially improves visual sound source localization. Finally, we benchmark our method on standard sound source localization datasets and achieve state-of-the-art performance on the Soundnet Flickr and VGG Sound Source datasets. Code: https://github.com/denfed/heartheflow.

我们提出了一个简单而有效的自我监督框架，用于视听表示学习，以将声源定位在视频中。为了了解什么使能够学习有用的表示形式，我们系统地研究了数据增强的效果，并揭示（1）数据增强的组成起着关键作用，{\ em I.E.}〜明确鼓励音频表征是不变的各种转换〜（{\ em转换不变性}）; （2）强制执行几何一致性基本上提高了学会表示的质量，{\ em，即}〜所检测到的声源应遵循在输入视频帧〜（{\ em em transive equivarianciance}）上应用的相同转换。广泛的实验表明，我们的模型在两个声音定位基准上的先前方法（即Flickr-soundnet和vgg-sounds）都显着优于先前的方法。此外，我们还评估了音频检索和跨模式检索任务。在这两种情况下，我们的自我监管模型都表现出了出色的检索性能，甚至在音频检索中具有监督方法竞争。这揭示了所提出的框架学会了强大的多模式表示，这些表示有益于声音定位和对进一步应用的概括。 \ textIt {所有代码都将可用}。

Vision transformers (ViTs) have achieved impressive results on various computer vision tasks in the last several years. In this work, we study the capability of frozen ViTs, pretrained only on visual data, to generalize to audio-visual data without finetuning any of its original parameters. To do so, we propose a latent audio-visual hybrid (LAVISH) adapter that adapts pretrained ViTs to audio-visual tasks by injecting a small number of trainable parameters into every layer of a frozen ViT. To efficiently fuse visual and audio cues, our LAVISH adapter uses a small set of latent tokens, which form an attention bottleneck, thus, eliminating the quadratic cost of standard cross-attention. Compared to the existing modality-specific audio-visual methods, our approach achieves competitive or even better performance on various audio-visual tasks while using fewer tunable parameters and without relying on costly audio pretraining or external audio encoders. Our code is available at https://genjib.github.io/project_page/LAVISH/

在视觉和声音内利用时间同步和关联是朝向探测物体的强大定位的重要一步。为此，我们提出了一个节省空间内存网络，用于探测视频中的对象本地化。它可以同时通过音频和视觉方式的单模和跨模型表示来同时学习时空关注。我们在定量和定性地展示和分析了在本地化视听物体中结合时空学习的有效性。我们展示了我们的方法通过各种复杂的视听场景概括，最近最先进的方法概括。

我们提出了Dance2Music-Gan（D2M-GAN），这是一种新颖的对抗性多模式框架，生成了以舞蹈视频为条件的复杂音乐样品。我们提出的框架将舞蹈视频框架和人体运动作为输入，并学会生成合理伴随相应输入的音乐样本。与大多数现有的有条件音乐的作品不同，它们使用符号音频表示（例如MIDI）生成特定类型的单乐器声音，并且通常依赖于预定义的音乐合成器，在这项工作中，我们以复杂风格（例如，例如，通过使用量化矢量（VQ）音频表示形式，并利用其符号和连续对应物的高抽象能力来利用POP，BREAKING等）。通过在多个数据集上执行广泛的实验，并遵循全面的评估协议，我们评估了建议针对替代方案的生成品质。所达到的定量结果衡量音乐一致性，击败了对应和音乐多样性，证明了我们提出的方法的有效性。最后但并非最不重要的一点是，我们策划了一个充满挑战的野生式Tiktok视频的舞蹈音乐数据集，我们用来进一步证明我们在现实世界中的方法的功效 - 我们希望它能作为起点进行相关的未来研究。

双耳音频提供具有沉浸式空间声音体验的人类听众，但大多数现有视频缺乏双耳录音。我们提出了一种音频空间化方法，它借鉴视频中的视觉信息，以将其单声道（单通道）音频转换为双耳音频。现有方法利用直接从视频帧提取的可视化功能，我们的方法明确地解除了视觉流中存在的几何线索以指导学习过程。特别是，我们开发了一种多任务框架，通过考虑底层室脉冲响应，从而为底层室的脉冲响应而学习几何感知功能，从声音源的位置，以及声音几何形状的一致性随着时间的推移。此外，我们介绍了一个新的大型视频数据集，具有逼真的双链条音频，用于真实世界扫描环境。在两个数据集上，我们展示了我们方法的功效，这实现了最先进的结果。

我们介绍了一种视听方法，用于远程文本到视频检索。与以前专为简短视频检索设计的方法（例如，持续时间为5-15秒）不同，我们的方法旨在检索捕获复杂人类动作的长时间视频。仅标准视频方法的一个挑战是与从这样的长视频中处理数百个密集提取的帧相关的大量计算成本。为了解决这个问题，我们建议用紧凑的音频提示替换视频的部分，这些线索简洁地汇总了动态音频事件，并且处理便宜。我们的方法称为Eclipse（带有声音编码的有效剪辑），通过添加一个统一的视听变压器块，将流行的剪辑模型调整为视听视频设置，该块从视频和音频流中捕获互补的提示。除了比仅长期视频的方法快2.92倍和2.34倍的内存效率外，我们的方法还可以在几个不同的远程视频数据集上，例如ActivityNet，QVHighighlights，Youcoook2，Youcoook2，Youcook2，Youcook2，Youcook2，Youcook2，Youcook2，Youcook2， Didemo和Charades。

在本文中，我们解决了包含人脸和声音的视频中的唇彩同步问题。我们的方法是基于确定视频中的嘴唇运动和声音是否同步，具体取决于其视听对应得分。我们提出了一个基于视听的跨模式变压器模型，该模型在标准的唇读语音基准数据集LRS2上胜过音频视频同步任务中的几个基线模型。尽管现有的方法主要集中在语音视频中的唇部同步上，但我们也考虑了歌声的特殊情况。由于持续的元音声音，唱歌声音是同步的更具挑战性的用例。我们还研究了在唱歌语音的背景下在语音数据集中训练的LIP同步模型的相关性。最后，我们使用在唱歌语音分离任务中通过唇部同步模型学到的冷冻视觉特征，以优于训练有素的端到端的基线音频视觉模型。演示，源代码和预训练的模型可在https://ipcv.github.io/vocalist/上找到。

视频突出显示检测是一个至关重要但充满挑战的问题，旨在识别未修剪视频中有趣的时刻。该任务的关键在于有效的视频表示形式共同追求两个目标，即\ textit {i.e。}，跨模式表示学习和精细元素特征歧视。在本文中，这两个挑战不仅通过丰富表示建模的模式内部和跨模式关系来应对，而且还以歧视性的方式塑造了这些特征。我们提出的方法主要利用模式内编码和交叉模式共发生编码来完全表示建模。具体而言，编码的模式内模式可以增强模态特征，并通过音频和视觉信号中的模式关系学习来抑制无关的模态。同时，跨模式的共同发生编码着重于同时模式间关系，并选择性地捕获了多模式之间的有效信息。从本地上下文中抽象的全局信息进一步增强了多模式表示。此外，我们使用硬对对比度学习（HPCL）方案扩大了特征嵌入的判别能力。进一步采用了硬对采样策略来开采硬样品，以改善HPCL中的特征歧视。与其他最新方法相比，在两个基准上进行的广泛实验证明了我们提出的方法的有效性和优势。

本文提出了一种语音分离的视听方法，在两种情况下以低潜伏期产生最先进的结果：语音和唱歌声音。该模型基于两个阶段网络。运动提示是通过轻巧的图形卷积网络获得的，该网络处理面对地标。然后，将音频和运动功能馈送到视听变压器中，该变压器对隔离目标源产生相当好的估计。在第二阶段，仅使用音频网络增强了主导语音。我们提出了不同的消融研究和与最新方法的比较。最后，我们探讨了在演唱语音分离的任务中训练训练语音分离的模型的可传递性。https://ipcv.github.io/vovit/可用演示，代码和权重