本文着重于设计一种噪声端到端音频语音识别（AVSR）系统。为此，我们提出了视觉上下文驱动的音频功能增强模块（V-Cafe），以在视听通讯的帮助下增强输入噪声音频语音。所提出的V-Cafe旨在捕获唇部运动的过渡，即视觉上下文，并通过考虑获得的视觉上下文来产生降噪面膜。通过与上下文相关的建模，可以完善掩模生成Viseme-to-phoneme映射中的歧义。嘈杂的表示用降噪面膜掩盖，从而增强了音频功能。增强的音频功能与视觉特征融合在一起，并将其带入由构象异构体和变压器组成的编码器模型，以进行语音识别。我们显示了带有V-fafe的端到端AVSR，可以进一步改善AVSR的噪声。使用两个最大的视听数据集LRS2和LRS3评估了所提出方法的有效性。

主动演讲者的检测和语音增强已成为视听场景中越来越有吸引力的主题。根据它们各自的特征，独立设计的体系结构方案已被广泛用于与每个任务的对应。这可能导致模型特定于任务所学的表示形式，并且不可避免地会导致基于多模式建模的功能缺乏概括能力。最近的研究表明，建立听觉和视觉流之间的跨模式关系是针对视听多任务学习挑战的有前途的解决方案。因此，作为弥合视听任务中多模式关联的动机，提出了一个统一的框架，以通过在本研究中通过联合学习视听模型来实现目标扬声器的检测和语音增强。

Recognizing a word shortly after it is spoken is an important requirement for automatic speech recognition (ASR) systems in real-world scenarios. As a result, a large body of work on streaming audio-only ASR models has been presented in the literature. However, streaming audio-visual automatic speech recognition (AV-ASR) has received little attention in earlier works. In this work, we propose a streaming AV-ASR system based on a hybrid connectionist temporal classification (CTC)/attention neural network architecture. The audio and the visual encoder neural networks are both based on the conformer architecture, which is made streamable using chunk-wise self-attention (CSA) and causal convolution. Streaming recognition with a decoder neural network is realized by using the triggered attention technique, which performs time-synchronous decoding with joint CTC/attention scoring. For frame-level ASR criteria, such as CTC, a synchronized response from the audio and visual encoders is critical for a joint AV decision making process. In this work, we propose a novel alignment regularization technique that promotes synchronization of the audio and visual encoder, which in turn results in better word error rates (WERs) at all SNR levels for streaming and offline AV-ASR models. The proposed AV-ASR model achieves WERs of 2.0% and 2.6% on the Lip Reading Sentences 3 (LRS3) dataset in an offline and online setup, respectively, which both present state-of-the-art results when no external training data are used.

基于音频的自动语音识别（ASR）在嘈杂的环境中显着降低，并且特别容易受到干扰语音的影响，因为模型无法确定要转录的扬声器。视听语音识别（AVSR）系统通过将音频流与不变噪声不变的可视信息补充，帮助模型对所需扬声器的视觉信息来提高鲁棒性。但是，以前的AVSR工作仅关注监督学习设置;因此，通过可用的标记数据量阻碍了进度。在这项工作中，我们提出了一个自我监督的AVSR框架，建立在视听休伯特（AV-HUBERT），是最先进的视听语音表示学习模型。在最大可用的AVSR基准数据集LRS3中，我们的方法在存在的情况下使用少于10％的标签数据（433HR与30HR）之前的最先进（28.0％与14.1％）优于〜50％（28.0％vs.14.1％）禁止噪声，平均减少了基于音频模型的WER以上超过75％（25.8％与5.8％）。

语音的视频录制包含相关的音频和视觉信息，为语音表示从扬声器的唇部运动和产生的声音提供了强大的信号。我们介绍了视听隐藏单元BERT（AV-HUBERT），是视听语音的自我监督的代表学习框架，这些屏幕屏蔽了多流视频输入并预测自动发现和迭代地精制多模式隐藏单元。 AV-HUBERT学习强大的视听语音表示，这些语音表示受益于唇读和自动语音识别。在最大的公众唇读基准LRS3（433小时）中，AV-Hubert达到32.5％WER，只有30个小时的标签数据，优于前一种最先进的方法（33.6％）培训，达到了一千次转录的视频数据（31k小时）。当使用来自LRS3的所有433小时的标记数据并结合自培训时，唇读WER进一步降低至26.9％。使用我们在相同的基准测试中使用您的视听表示，用于音频语音识别的相对效率为40％，而最先进的性能（1.3％Vs 2.3％）。我们的代码和模型可在https://github.com/facebookResearch/av_hubert获得

视听自动语音识别（AV-ASR）是ASR的扩展，它通常来自扬声器嘴的动作。与仅关注唇部运动的作品不同，我们研究了整个视觉框架（视觉动作，对象，背景等）的贡献。这对于不一定可见的说话者不一定可见的视频特别有用。为了解决这项任务，我们提出了一个新的序列到序列视听ASR变压器（Avatar），该序列是从频谱图和全帧RGB端到端训练的。为了防止音频流主导训练，我们提出了不同的单词掩盖策略，从而鼓励我们的模型注意视觉流。我们证明了视觉模态对2 AV-ASR基准测试的贡献，尤其是在模拟噪声的情况下，并表明我们的模型以很大的边距优于所有其他先前的工作。最后，我们还为AV-ASR创建了一个名为Visspeech的新的现实世界测试床，该床在挑战性的音频条件下展示了视觉模态的贡献。

Audio-visual speech recognition (AVSR) has gained remarkable success for ameliorating the noise-robustness of speech recognition. Mainstream methods focus on fusing audio and visual inputs to obtain modality-invariant representations. However, such representations are prone to over-reliance on audio modality as it is much easier to recognize than video modality in clean conditions. As a result, the AVSR model underestimates the importance of visual stream in face of noise corruption. To this end, we leverage visual modality-specific representations to provide stable complementary information for the AVSR task. Specifically, we propose a reinforcement learning (RL) based framework called MSRL, where the agent dynamically harmonizes modality-invariant and modality-specific representations in the auto-regressive decoding process. We customize a reward function directly related to task-specific metrics (i.e., word error rate), which encourages the MSRL to effectively explore the optimal integration strategy. Experimental results on the LRS3 dataset show that the proposed method achieves state-of-the-art in both clean and various noisy conditions. Furthermore, we demonstrate the better generality of MSRL system than other baselines when test set contains unseen noises.

这项工作的目的是通过利用视频中的音频和视觉流的自然共同发生来研究语音重建（视频到音频）对语音重建（视频到音频）的影响。我们提出了Lipsound2，其包括编码器 - 解码器架构和位置感知注意机制，可直接将面部图像序列映射到熔化谱图，而无需任何人类注释。提出的Lipsound2模型首先在$ 2400H的$ 2400h多语言（例如英语和德语）视听数据（VoxceleB2）上进行预先培训。为了验证所提出的方法的概括性，我们将在与以前的方法相比，微调在域特定数据集（网格，TCD-Timit）上进行预先训练的模型，以实现对语音质量和可懂度的显着提高扬声器依赖和依赖的设置。除了英语外，我们还在CMLR数据集上进行中文语音重建，以验证对转移性的影响。最后，我们通过微调在预先训练的语音识别系统上产生生成的音频并在英语和中文基准数据集中实现最先进的性能来培训级联唇读（视频到文本）系统。

Prior works on improving speech quality with visual input typically study each type of auditory distortion separately (e.g., separation, inpainting, video-to-speech) and present tailored algorithms. This paper proposes to unify these subjects and study Generalized Speech Enhancement, where the goal is not to reconstruct the exact reference clean signal, but to focus on improving certain aspects of speech. In particular, this paper concerns intelligibility, quality, and video synchronization. We cast the problem as audio-visual speech resynthesis, which is composed of two steps: pseudo audio-visual speech recognition (P-AVSR) and pseudo text-to-speech synthesis (P-TTS). P-AVSR and P-TTS are connected by discrete units derived from a self-supervised speech model. Moreover, we utilize self-supervised audio-visual speech model to initialize P-AVSR. The proposed model is coined ReVISE. ReVISE is the first high-quality model for in-the-wild video-to-speech synthesis and achieves superior performance on all LRS3 audio-visual enhancement tasks with a single model. To demonstrates its applicability in the real world, ReVISE is also evaluated on EasyCom, an audio-visual benchmark collected under challenging acoustic conditions with only 1.6 hours of training data. Similarly, ReVISE greatly suppresses noise and improves quality. Project page: https://wnhsu.github.io/ReVISE.

视听自动语音识别（AV-ASR）通过引入视频模式作为其他信息来源来扩展语音识别。在这项工作中，使用说话者嘴的运动中包含的信息用于增强音频功能。传统上，视频模式是通过3D卷积神经网络（例如VGG的3D版本）处理的。最近，图像变压器网络ARXIV：2010.11929展示了为图像分类任务提取丰富的视觉特征的能力。在这里，我们建议用视频变压器替换3D卷积以提取视觉特征。我们在YouTube视频的大规模语料库上训练基准和提议的模型。在YouTube视频的标记子集以及LRS3-TED公共语料库中评估了我们的方法的性能。我们最好的仅视频模型在YTDEV18上获得了34.9％的WER，而LRS3-TED则获得了19.3％，比我们的卷积基线获得了10％和9％的相对改善。在微调模型（1.6％WER）之后，我们实现了在LRS3-TED上进行视听识别的最先进的状态。此外，在一系列关于多人AV-ASR的实验中，我们在卷积视频前端获得了2％的平均相对降低。

唇读旨在仅基于唇部运动来预测语音。当它专注于视觉信息以建模语音时，其性能本质上对个人唇部外观和动作敏感。这使得唇读模型由于训练和测试条件之间的不匹配而将其应用于看不见的说话者时显示出降级的性能。演讲者的适应技术旨在减少火车和测试扬声器之间的不匹配，从而指导训练有素的模型，以专注于对语音内容进行建模而不由说话者变化介入。与数十年来基于音频的语音识别所做的努力相反，扬声器适应方法在唇部阅读中尚未得到很好的研究。在本文中，为了纠正看不见的扬声器的唇读模型的性能降解，我们提出了一种扬声器自适应的唇部阅读方法，即用户依赖用户。依赖用户的填充是一种特定于扬声器的输入，可以参与预训练的唇读模型的视觉特征提取阶段。因此，可以在编码视觉功能期间考虑不同扬声器的唇外观和动作信息，适合单个扬声器。此外，所提出的方法不需要1）任何其他层，2）修改预训练模型的学习权重，以及3）预训练期间使用的火车数据的扬声器标签。它只能以受监督或无监督的方式仅学习用户依赖的填充，直接适应了看不见的说话者。最后，为了减轻公共唇阅读数据库中的扬声器信息不足，我们将众所周知的视听数据库的扬声器标记为LRW，并设计出一种名为LRW-ID的不可见语的唇lip阅读方案。

We present RAVEn, a self-supervised multi-modal approach to jointly learn visual and auditory speech representations. Our pre-training objective involves encoding masked inputs, and then predicting contextualised targets generated by slowly-evolving momentum encoders. Driven by the inherent differences between video and audio, our design is asymmetric w.r.t. the two modalities' pretext tasks: Whereas the auditory stream predicts both the visual and auditory targets, the visual one predicts only the auditory targets. We observe strong results in low- and high-resource labelled data settings when fine-tuning the visual and auditory encoders resulting from a single pre-training stage, in which the encoders are jointly trained. Notably, RAVEn surpasses all self-supervised methods on visual speech recognition (VSR) on LRS3, and combining RAVEn with self-training using only 30 hours of labelled data even outperforms a recent semi-supervised method trained on 90,000 hours of non-public data. At the same time, we achieve state-of-the-art results in the LRS3 low-resource setting for auditory speech recognition (as well as for VSR). Our findings point to the viability of learning powerful speech representations entirely from raw video and audio, i.e., without relying on handcrafted features. Code and models will be made public.

在本文中，我们解决了包含人脸和声音的视频中的唇彩同步问题。我们的方法是基于确定视频中的嘴唇运动和声音是否同步，具体取决于其视听对应得分。我们提出了一个基于视听的跨模式变压器模型，该模型在标准的唇读语音基准数据集LRS2上胜过音频视频同步任务中的几个基线模型。尽管现有的方法主要集中在语音视频中的唇部同步上，但我们也考虑了歌声的特殊情况。由于持续的元音声音，唱歌声音是同步的更具挑战性的用例。我们还研究了在唱歌语音的背景下在语音数据集中训练的LIP同步模型的相关性。最后，我们使用在唱歌语音分离任务中通过唇部同步模型学到的冷冻视觉特征，以优于训练有素的端到端的基线音频视觉模型。演示，源代码和预训练的模型可在https://ipcv.github.io/vocalist/上找到。

人类脑中脑中的背景利用异质感官信息，以有效地执行包括视觉和听力的认知任务。例如，在鸡尾酒会党的情况下，人类听觉Cortex上下文中的视听（AV）提示才能更好地感知言论。最近的研究表明，与音频SE模型相比，AV语音增强（SE）模型可以显着提高信噪比（SNR）环境的极低信号的语音质量和可懂度。然而，尽管在AV SE的领域进行了显着的研究，但具有低延迟的实时处理模型的开发仍然是一个强大的技术挑战。在本文中，我们为低延迟扬声器的独立AV SE提供了一种新颖的框架，可以概括一系列视觉和声学噪声。特别地，提出了一种生成的对抗性网络（GaN）来解决AV SE的视觉缺陷的实际问题。此外，我们提出了一种基于神经网络的深度神经网络的实时AV SE模型，考虑到从GaN的清洁的视觉语音输出来提供更强大的SE。拟议的框架使用客观语音质量和可懂度指标和主观上市测试对合成和真实嘈杂的AV语料库进行评估。比较仿真结果表明，我们的实时AV SE框架优于最先进的SE方法，包括最近的基于DNN的SE模型。

本文的目标是学习强烈的唇读模型，可以在静音视频中识别语音。大多数事先有效地处理开放式视觉语音识别问题，通过调整在漫步的可视化功能之上的现有自动语音识别技术。相反，在本文中，我们专注于唇读中遇到的独特挑战，并提出量身定制的解决方案。为此，我们提出以下贡献：（1）我们提出了一种基于关注的汇集机制来聚合视觉语音表示; （2）我们首次使用Sub-Word单元进行唇读，并显示这使我们能够更好地模拟任务的含糊不限; （3）我们提出了一种用于视觉语音检测（VSD）的模型，在唇读网络顶部培训。在上文之后，我们在公共数据集训练时获得最先进的LRS2和LRS3基准，甚至通过使用更少的数据量级验证的大规模工业数据集培训的型号。我们最好的模型在LRS2数据集中实现了22.6％的字错误率，这是唇读模型前所未有的性能，显着降低了唇读和自动语音识别之间的性能差距。此外，在AVA-ActiveSpeaker基准测试中，我们的VSD模型超越了所有可视基线，甚至优于最近的几种视听方法。

尽管视听模型与仅限音频模型相比可以产生卓越的性能和鲁棒性，但由于缺乏标记和未标记的视听数据以及每种方式部署一个模型的成本，它们的开发和采用受到阻碍。在本文中，我们提出了U-Hubert，这是一个自制的预训练框架，可以通过统一的蒙版群集预测目标来利用多模式和单峰语音。通过在预训练期间利用模态辍学，我们证明了一个微调模型可以在PAR上取得比较的性能或比最先进的模态特异性模型更好。此外，我们仅在音频上进行微调的模型可以通过视听和视觉语音输入来表现良好，从而实现了零击的模态概括，以实现语音识别和扬声器验证。特别是，我们的单个模型在带有音频/视听/视觉输入的LRS3上产生1.2％/1.4％/27.2％的语音识别单词错误率。

本文调查了视听扬声器表示的自我监督的预训练，其中显示了视觉流，显示说话者的口腔区域与语音一起用作输入。我们的研究重点是视听隐藏单元BERT（AV-HUBERT）方法，该方法是最近开发的通用音频语音训练前训练框架。我们进行了广泛的实验，以探测预训练和视觉方式的有效性。实验结果表明，AV-Hubert可以很好地概括与说话者相关的下游任务，从而使标签效率提高了大约10倍的仅10倍，仅音频和视听扬声器验证。我们还表明，结合视觉信息，甚至仅仅是唇部区域，都大大提高了性能和噪声稳健性，在清洁条件下将EER降低了38％，在嘈杂的条件下将EER降低了75％。

以前的研究已经证实了利用明晰度信息达到改善的语音增强（SE）性能的有效性。通过使用铰接特征的地点/方式增强原始声学特征，可以引导SE过程考虑执行增强时输入语音的剖视特性。因此，我们认为关节属性的上下文信息应包括有用的信息，并可以进一步利用不同的语言。在这项研究中，我们提出了一个SE系统，通过优化英语和普通话的增强演讲中的上下文清晰度信息来提高其性能。我们通过联合列车与端到端的自动语音识别（E2E ASR）模型进行联合列车，预测广播序列（BPC）而不是单词序列的序列。同时，开发了两种培训策略，以基于基于BPC的ASR：多任务学习和深度特征培训策略来培训SE系统。 Timit和TMhint DataSet上的实验结果证实了上下文化学信息促进了SE系统，以实现比传统声学模型（AM）更好的结果。此外，与用单声道ASR培训的另一SE系统相比，基于BPC的ASR（提供上下文化学信息）可以在不同的信噪比（SNR）下更有效地改善SE性能。

在本文中，我们考虑了视听同步的问题应用于视频`in-wild'（即，超越语音的一般类）。作为一项新任务，我们识别并策划具有高视听相关性的测试集，即VGG-SOCK SYNC。我们比较了一些专门设计的基于变压器的架构变体，用于模拟任意长度的音频和视觉信号，同时显着降低训练期间的内存要求。我们进一步对策划数据集进行了深入的分析，并定义了开放域视听同步的评估度量。我们在标准唇读语音基准测试中应用我们的方法，LRS2和LRS3，在各个方面的消融。最后，我们在新的VGG-SOCKC SYNC视频数据集中设置了与超过160个不同类别的通用视听同步的第一个基准。在所有情况下，我们所提出的模型通过显着的保证金优于以前的最先进。

This paper studies audio-visual suppression for egocentric videos -- where the speaker is not captured in the video. Instead, potential noise sources are visible on screen with the camera emulating the off-screen speaker's view of the outside world. This setting is different from prior work in audio-visual speech enhancement that relies on lip and facial visuals. In this paper, we first demonstrate that egocentric visual information is helpful for noise suppression. We compare object recognition and action classification based visual feature extractors, and investigate methods to align audio and visual representations. Then, we examine different fusion strategies for the aligned features, and locations within the noise suppression model to incorporate visual information. Experiments demonstrate that visual features are most helpful when used to generate additive correction masks. Finally, in order to ensure that the visual features are discriminative with respect to different noise types, we introduce a multi-task learning framework that jointly optimizes audio-visual noise suppression and video based acoustic event detection. This proposed multi-task framework outperforms the audio only baseline on all metrics, including a 0.16 PESQ improvement. Extensive ablations reveal the improved performance of the proposed model with multiple active distractors, over all noise types and across different SNRs.