主动扬声器检测（ASD）系统是用于分析多对话对话的重要模块。他们的目的是在任何给定时间都在视觉场景中检测哪些扬声器或没有说话。关于ASD的现有研究不同意主动演讲者的定义。我们阐明了这项工作的定义，需要在音频和视觉演讲活动之间进行同步。这种定义的澄清是由我们的广泛实验激发的，我们发现现有的ASD方法无法在模拟视听同步建模时无法将非同步视频分类为主动语言。为了解决这个问题，我们提出了一种跨模式对比度学习策略，并在注意模块中应用位置编码，以使受监督的ASD模型利用同步提示。实验结果表明，我们的模型可以成功地检测出不同步的口语，因为它不说话，以解决当前模型的局限性。

主动演讲者的检测和语音增强已成为视听场景中越来越有吸引力的主题。根据它们各自的特征，独立设计的体系结构方案已被广泛用于与每个任务的对应。这可能导致模型特定于任务所学的表示形式，并且不可避免地会导致基于多模式建模的功能缺乏概括能力。最近的研究表明，建立听觉和视觉流之间的跨模式关系是针对视听多任务学习挑战的有前途的解决方案。因此，作为弥合视听任务中多模式关联的动机，提出了一个统一的框架，以通过在本研究中通过联合学习视听模型来实现目标扬声器的检测和语音增强。

视听扬声器日复速度旨在检测使用听觉和视觉信号时的``谁说话。现有的视听深度数据集主要专注于会议室或新闻工作室等室内环境，这些工作室与电影，纪录片和观众情景喜剧等许多情景中的野外视频完全不同。要创建一个能够有效地比较野外视频的日复速度方法的测试平台，我们向AVA电影数据集注释说话者深度标签，并创建一个名为AVA-AVD的新基准。由于不同的场景，复杂的声学条件和完全偏离屏幕扬声器，该基准是挑战。然而，如何处理偏离屏幕和屏幕上的扬声器仍然是一个关键挑战。为了克服它，我们提出了一种新的视听关系网络（AVR-Net），它引入了有效的模态掩模，以基于可见性捕获辨别信息。实验表明，我们的方法不仅可以优于最先进的方法，而且可以更加强大，因为改变屏幕扬声器的比率。消融研究证明了拟议的AVR-NET和尤其是日复一化的模态掩模的优点。我们的数据和代码将公开可用。

Active speaker detection in videos addresses associating a source face, visible in the video frames, with the underlying speech in the audio modality. The two primary sources of information to derive such a speech-face relationship are i) visual activity and its interaction with the speech signal and ii) co-occurrences of speakers' identities across modalities in the form of face and speech. The two approaches have their limitations: the audio-visual activity models get confused with other frequently occurring vocal activities, such as laughing and chewing, while the speakers' identity-based methods are limited to videos having enough disambiguating information to establish a speech-face association. Since the two approaches are independent, we investigate their complementary nature in this work. We propose a novel unsupervised framework to guide the speakers' cross-modal identity association with the audio-visual activity for active speaker detection. Through experiments on entertainment media videos from two benchmark datasets, the AVA active speaker (movies) and Visual Person Clustering Dataset (TV shows), we show that a simple late fusion of the two approaches enhances the active speaker detection performance.

在本文中，我们解决了包含人脸和声音的视频中的唇彩同步问题。我们的方法是基于确定视频中的嘴唇运动和声音是否同步，具体取决于其视听对应得分。我们提出了一个基于视听的跨模式变压器模型，该模型在标准的唇读语音基准数据集LRS2上胜过音频视频同步任务中的几个基线模型。尽管现有的方法主要集中在语音视频中的唇部同步上，但我们也考虑了歌声的特殊情况。由于持续的元音声音，唱歌声音是同步的更具挑战性的用例。我们还研究了在唱歌语音的背景下在语音数据集中训练的LIP同步模型的相关性。最后，我们使用在唱歌语音分离任务中通过唇部同步模型学到的冷冻视觉特征，以优于训练有素的端到端的基线音频视觉模型。演示，源代码和预训练的模型可在https://ipcv.github.io/vocalist/上找到。

对媒体描绘的客观理解，例如在电影和电视中被听到并在屏幕上听到并在屏幕上看到和看过的包容性描写，要求机器自动辨别谁，何时，如何以及某人正在谈论的人，而不是。可以从媒体内容中存在的丰富的多模式信息自动侦听扬声器活动。然而，由于媒体内容中的众多种类和上下文可变性以及缺乏标记数据，这是一个具有挑战性的问题。在这项工作中，我们提出了一种用于学习视觉表示的跨模型神经网络，其具有与视觉帧中扬声器的空间位置有关的隐式信息。避免对视觉帧中的活动扬声器进行手动注释，获取非常昂贵的是，我们为在电影内容中定位有源扬声器的任务提供弱监督系统。我们使用学习的跨模型视觉表示，并从充当语音活动的电影字幕提供弱监督，从而需要没有手动注释。我们评估所提出的系统在AVA主动扬声器数据集上的性能，并展示与完全监督系统相比，跨模型嵌入式的跨模型嵌入式的有效性。我们还展示了语音活动检测任务在视听框架中的最先进的性能，尤其是当语音伴随着噪声和音乐时。

我们为电视节目和电影等媒体内容中的主动扬声器检测提供了一个跨模式的无监督框架。机器学习的进步使能够从语音和面部图像中识别个人方面令人印象深刻的表现。我们利用言语和面部的说话者身份信息，并将主动的说话者检测作为语音面条分配任务，从而使主动的说话者的脸和基本语音识别同一个人（角色）。我们以相关的说话者身份距离（来自所有其他语音段）来表达语音段，以捕获视频的相对身份结构。然后，我们从同时出现的面上的每个语音段分配一个主动扬声器的面孔，以使所获得的一组活跃的扬声器面显示相似的相对身份结构。此外，我们提出了一种简单有效的方法来解决言语在屏幕外出现的语音细分。我们在三个基准数据集上评估了拟议的系统 - 视觉人群聚类数据集，AVA Active Speaker数据集和哥伦比亚数据集 - 由娱乐和广播媒体的视频组成，并显示出对最先进的竞争性能，充分监督方法。

The thud of a bouncing ball, the onset of speech as lips open -when visual and audio events occur together, it suggests that there might be a common, underlying event that produced both signals. In this paper, we argue that the visual and audio components of a video signal should be modeled jointly using a fused multisensory representation. We propose to learn such a representation in a self-supervised way, by training a neural network to predict whether video frames and audio are temporally aligned. We use this learned representation for three applications: (a) sound source localization, i.e. visualizing the source of sound in a video; (b) audio-visual action recognition; and (c) on/offscreen audio source separation, e.g. removing the off-screen translator's voice from a foreign official's speech. Code, models, and video results are available on our webpage: http://andrewowens.com/multisensory.

本文调查了视听扬声器表示的自我监督的预训练，其中显示了视觉流，显示说话者的口腔区域与语音一起用作输入。我们的研究重点是视听隐藏单元BERT（AV-HUBERT）方法，该方法是最近开发的通用音频语音训练前训练框架。我们进行了广泛的实验，以探测预训练和视觉方式的有效性。实验结果表明，AV-Hubert可以很好地概括与说话者相关的下游任务，从而使标签效率提高了大约10倍的仅10倍，仅音频和视听扬声器验证。我们还表明，结合视觉信息，甚至仅仅是唇部区域，都大大提高了性能和噪声稳健性，在清洁条件下将EER降低了38％，在嘈杂的条件下将EER降低了75％。

在本文中，我们提出了一个多模式的多关系学习框架，针对视听语音分离的任务。尽管以前的努力已经在结合音频和视觉方式方面进行了广泛的努力，但其中大多数仅采用音频和视觉功能的直接串联。为了利用这两种方式背后的实际有用信息，我们定义了两个关键相关性，即：（1）身份相关性（在音色和面部属性之间）； （2）语音相关性（音素和唇部运动之间）。这两种相关性共同包含完整的信息，这表明将目标扬声器的声音分开，尤其是在某些困难的情况下，例如相同的性别或类似内容。为了实施，采用对比度学习或对抗性训练方法来最大化这两个相关性。他们俩都表现良好，而对抗性训练则通过避免对比度学习的某些局限性显示出其优势。与先前的研究相比，我们的解决方案证明了对实验指标的明显改进而没有额外的复杂性。进一步的分析揭示了拟议的体系结构的有效性及其未来扩展的良好潜力。

本文重点介绍了弱监督的视频视频解析任务，该任务旨在识别属于每种模式的所有事件并定位其时间界。此任务是具有挑战性的，因为只有表示视频事件的整体标签用于培训。但是，事件可能被标记，但不会出现在其中一种方式中，这导致了特定于模态的嘈杂标签问题。在这项工作中，我们提出了一种培训策略，以动态识别和删除特定于模式的嘈杂标签。它是由两个关键观察的动机：1）网络倾向于首先学习干净的样本； 2）标记的事件至少以一种方式出现。具体而言，我们将每个实例在每种模式中单独分别对所有实例的损失进行排序，然后根据模式内和模式间损耗之间的关系选择嘈杂的样本。此外，我们还通过计算置信度低于预设阈值的实例的比例来提出一种简单但有效的噪声比率估计方法。我们的方法对先前的艺术状态进行了大量改进（\ eg，从60.0 \％到63.8 \％\％在细分级视觉度量中），这证明了我们方法的有效性。代码和训练有素的模型可在\ url {https://github.com/mcg-nju/jomold}上公开获得。

视频突出显示检测是一个至关重要但充满挑战的问题，旨在识别未修剪视频中有趣的时刻。该任务的关键在于有效的视频表示形式共同追求两个目标，即\ textit {i.e。}，跨模式表示学习和精细元素特征歧视。在本文中，这两个挑战不仅通过丰富表示建模的模式内部和跨模式关系来应对，而且还以歧视性的方式塑造了这些特征。我们提出的方法主要利用模式内编码和交叉模式共发生编码来完全表示建模。具体而言，编码的模式内模式可以增强模态特征，并通过音频和视觉信号中的模式关系学习来抑制无关的模态。同时，跨模式的共同发生编码着重于同时模式间关系，并选择性地捕获了多模式之间的有效信息。从本地上下文中抽象的全局信息进一步增强了多模式表示。此外，我们使用硬对对比度学习（HPCL）方案扩大了特征嵌入的判别能力。进一步采用了硬对采样策略来开采硬样品，以改善HPCL中的特征歧视。与其他最新方法相比，在两个基准上进行的广泛实验证明了我们提出的方法的有效性和优势。

在本文中，我们考虑了视听同步的问题应用于视频`in-wild'（即，超越语音的一般类）。作为一项新任务，我们识别并策划具有高视听相关性的测试集，即VGG-SOCK SYNC。我们比较了一些专门设计的基于变压器的架构变体，用于模拟任意长度的音频和视觉信号，同时显着降低训练期间的内存要求。我们进一步对策划数据集进行了深入的分析，并定义了开放域视听同步的评估度量。我们在标准唇读语音基准测试中应用我们的方法，LRS2和LRS3，在各个方面的消融。最后，我们在新的VGG-SOCKC SYNC视频数据集中设置了与超过160个不同类别的通用视听同步的第一个基准。在所有情况下，我们所提出的模型通过显着的保证金优于以前的最先进。

The task of emotion recognition in conversations (ERC) benefits from the availability of multiple modalities, as offered, for example, in the video-based MELD dataset. However, only a few research approaches use both acoustic and visual information from the MELD videos. There are two reasons for this: First, label-to-video alignments in MELD are noisy, making those videos an unreliable source of emotional speech data. Second, conversations can involve several people in the same scene, which requires the detection of the person speaking the utterance. In this paper we demonstrate that by using recent automatic speech recognition and active speaker detection models, we are able to realign the videos of MELD, and capture the facial expressions from uttering speakers in 96.92% of the utterances provided in MELD. Experiments with a self-supervised voice recognition model indicate that the realigned MELD videos more closely match the corresponding utterances offered in the dataset. Finally, we devise a model for emotion recognition in conversations trained on the face and audio information of the MELD realigned videos, which outperforms state-of-the-art models for ERC based on vision alone. This indicates that active speaker detection is indeed effective for extracting facial expressions from the uttering speakers, and that faces provide more informative visual cues than the visual features state-of-the-art models have been using so far.

本文提出了一种语音分离的视听方法，在两种情况下以低潜伏期产生最先进的结果：语音和唱歌声音。该模型基于两个阶段网络。运动提示是通过轻巧的图形卷积网络获得的，该网络处理面对地标。然后，将音频和运动功能馈送到视听变压器中，该变压器对隔离目标源产生相当好的估计。在第二阶段，仅使用音频网络增强了主导语音。我们提出了不同的消融研究和与最新方法的比较。最后，我们探讨了在演唱语音分离的任务中训练训练语音分离的模型的可传递性。https://ipcv.github.io/vovit/可用演示，代码和权重

当我们讲话时，可以从嘴唇的运动中推断出演讲的韵律和内容。在这项工作中，我们探讨了唇部综合的唇部任务，即，仅考虑说话者的唇部运动，我们将学习言语的唇部运动，我们专注于学习准确的唇部，以在不受限制的大型词汇环境中为多个说话者提供语音映射。我们通过其面部特征，即年龄，性别，种族和嘴唇动作来捕捉说话者的声音身份，即产生说话者身份的言语。为此，我们提出了一种新颖的方法“ lip2speech”，并采用关键设计选择，以实现无约束场景中语音合成的准确唇部。我们还使用定量，定性指标和人类评估进行了各种实验和广泛的评估。

We present a method for simultaneously localizing multiple sound sources within a visual scene. This task requires a model to both group a sound mixture into individual sources, and to associate them with a visual signal. Our method jointly solves both tasks at once, using a formulation inspired by the contrastive random walk of Jabri et al. We create a graph in which images and separated sounds correspond to nodes, and train a random walker to transition between nodes from different modalities with high return probability. The transition probabilities for this walk are determined by an audio-visual similarity metric that is learned by our model. We show through experiments with musical instruments and human speech that our model can successfully localize multiple sounds, outperforming other self-supervised methods. Project site: https://hxixixh.github.io/mix-and-localize

视听目标语音提取旨在通过查看唇部运动来从嘈杂的混合物中提取某个说话者的语音，这取得了重大进展，结合了时间域的语音分离模型和视觉特征提取器（CNN）。融合音频和视频信息的一个问题是它们具有不同的时间分辨率。当前的大多数研究都会沿时间维度进行视觉特征，以便音频和视频功能能够随时间对齐。但是，我们认为唇部运动主要包含长期或电话级信息。基于这个假设，我们提出了一种融合视听功能的新方法。我们观察到，对于dprnn \ cite {dprnn}，互联维度的时间分辨率可能非常接近视频帧的时间分辨率。像\ cite {sepformer}一样，dprnn中的LSTM被内部内部和牙间的自我注意力所取代，但是在提出的算法中，界界的注意力将视觉特征作为附加特征流。这样可以防止视觉提示的提高采样，从而导致更有效的视听融合。结果表明，与其他基于时间域的视听融合模型相比，我们获得了优越的结果。

语音的视频录制包含相关的音频和视觉信息，为语音表示从扬声器的唇部运动和产生的声音提供了强大的信号。我们介绍了视听隐藏单元BERT（AV-HUBERT），是视听语音的自我监督的代表学习框架，这些屏幕屏蔽了多流视频输入并预测自动发现和迭代地精制多模式隐藏单元。 AV-HUBERT学习强大的视听语音表示，这些语音表示受益于唇读和自动语音识别。在最大的公众唇读基准LRS3（433小时）中，AV-Hubert达到32.5％WER，只有30个小时的标签数据，优于前一种最先进的方法（33.6％）培训，达到了一千次转录的视频数据（31k小时）。当使用来自LRS3的所有433小时的标记数据并结合自培训时，唇读WER进一步降低至26.9％。使用我们在相同的基准测试中使用您的视听表示，用于音频语音识别的相对效率为40％，而最先进的性能（1.3％Vs 2.3％）。我们的代码和模型可在https://github.com/facebookResearch/av_hubert获得

We focus on the audio-visual video parsing (AVVP) problem that involves detecting audio and visual event labels with temporal boundaries. The task is especially challenging since it is weakly supervised with only event labels available as a bag of labels for each video. An existing state-of-the-art model for AVVP uses a hybrid attention network (HAN) to generate cross-modal features for both audio and visual modalities, and an attentive pooling module that aggregates predicted audio and visual segment-level event probabilities to yield video-level event probabilities. We provide a detailed analysis of modality bias in the existing HAN architecture, where a modality is completely ignored during prediction. We also propose a variant of feature aggregation in HAN that leads to an absolute gain in F-scores of about 2% and 1.6% for visual and audio-visual events at both segment-level and event-level, in comparison to the existing HAN model.