基于全注意力的变压器体系结构的强大建模能力通常会导致过度拟合，并且 - 对于自然语言处理任务，导致自动回归变压器解码器中隐式学习的内部语言模型，使外部语言模型的集成变得复杂。在本文中，我们探索了放松的注意力，对注意力的重量进行了简单易于实现的平滑平滑，从编码器。其次，我们表明它自然支持外部语言模型的整合，因为它通过放松解码器中的交叉注意来抑制隐式学习的内部语言模型。我们证明了在几项任务中放松注意力的好处，并与最近的基准方法相结合，并明显改善。具体而言，我们超过了最大的最大公共唇部阅读LRS3基准的26.90％单词错误率的先前最新性能，单词错误率为26.31％，并且我们达到了最佳表现的BLEU分数37.67在IWSLT14（de $ \ rightarrow $ en）的机器翻译任务没有外部语言模型，几乎没有其他模型参数。代码和模型将公开可用。

最近，基于注意的编码器 - 解码器（AED）模型对多个任务的端到端自动语音识别（ASR）显示了高性能。在此类模型中解决了过度控制，本文介绍了轻松关注的概念，这是一种简单地逐渐注入对训练期间对编码器 - 解码器注意重量的统一分配，其易于用两行代码实现。我们调查轻松关注跨不同AED模型架构和两个突出的ASR任务，华尔街日志（WSJ）和LibRisPeech的影响。我们发现，在用外部语言模型解码时，随着宽松的注意力训练的变压器始终如一地始终如一地遵循标准基线模型。在WSJ中，我们为基于变压器的端到端语音识别设置了一个新的基准，以3.65％的单词错误率，最优于13.1％的相对状态，同时仅引入单个HyperParameter。

语音的视频录制包含相关的音频和视觉信息，为语音表示从扬声器的唇部运动和产生的声音提供了强大的信号。我们介绍了视听隐藏单元BERT（AV-HUBERT），是视听语音的自我监督的代表学习框架，这些屏幕屏蔽了多流视频输入并预测自动发现和迭代地精制多模式隐藏单元。 AV-HUBERT学习强大的视听语音表示，这些语音表示受益于唇读和自动语音识别。在最大的公众唇读基准LRS3（433小时）中，AV-Hubert达到32.5％WER，只有30个小时的标签数据，优于前一种最先进的方法（33.6％）培训，达到了一千次转录的视频数据（31k小时）。当使用来自LRS3的所有433小时的标记数据并结合自培训时，唇读WER进一步降低至26.9％。使用我们在相同的基准测试中使用您的视听表示，用于音频语音识别的相对效率为40％，而最先进的性能（1.3％Vs 2.3％）。我们的代码和模型可在https://github.com/facebookResearch/av_hubert获得

最先进的编码器模型（例如，用于机器翻译（MT）或语音识别（ASR））作为原子单元构造并端到端训练。没有其他模型的任何组件都无法（重新）使用。我们描述了Legonn，这是一种使用解码器模块构建编码器架构的过程，可以在各种MT和ASR任务中重复使用，而无需进行任何微调。为了实现可重复性，每个编码器和解码器模块之间的界面都基于模型设计器预先定义的离散词汇，将其接地到边缘分布序列。我们提出了两种摄入这些边缘的方法。一个是可区分的，可以使整个网络的梯度流动，另一个是梯度分离的。为了使MT任务之间的解码器模块的可移植性用于不同的源语言和其他任务（例如ASR），我们引入了一种模态不可思议的编码器，该模态编码器由长度控制机制组成，以动态调整编码器的输出长度，以匹配预期的输入长度范围的范围预训练的解码器。我们提出了几项实验来证明Legonn模型的有效性：可以重复使用德国英语（DE-EN）MT任务的训练有素的语言解码器模块，而没有对Europarl English ASR和ROMANIAN-ENGLISH进行微调（RO）（RO）（RO）（RO） -en）MT任务以匹配或击败相应的基线模型。当针对数千个更新的目标任务进行微调时，我们的Legonn模型将RO-EN MT任务提高了1.5个BLEU点，并为Europarl ASR任务降低了12.5％的相对减少。此外，为了显示其可扩展性，我们从三个模块中构成了一个legonn ASR模型 - 每个模块都在三个不同数据集的不同端到端训练的模型中学习 - 将降低的减少降低到19.5％。

事实证明，构象异构体在许多语音处理任务中都是有效的。它结合了使用卷积和使用自我注意的全球依赖性提取本地依赖的好处。受此启发，我们提出了一个更灵活，可解释和可自定义的编码器替代方案，分支机构，并在端到端语音处理中对各种远程依赖关系进行建模。在每个编码器层中，一个分支都采用自我注意事项或其变体来捕获远程依赖性，而另一个分支则利用带有卷积门控（CGMLP）的MLP模块来提取局部关系。我们对几种语音识别和口语理解基准进行实验。结果表明，我们的模型优于变压器和CGMLP。它还与构象异构体获得的最先进结果相匹配。此外，由于两分支结构，我们展示了减少计算的各种策略，包括在单个训练有素的模型中具有可变的推理复杂性的能力。合并分支的权重表明如何在不同层中使用本地和全球依赖性，从而使模型设计受益。

本文的目标是学习强烈的唇读模型，可以在静音视频中识别语音。大多数事先有效地处理开放式视觉语音识别问题，通过调整在漫步的可视化功能之上的现有自动语音识别技术。相反，在本文中，我们专注于唇读中遇到的独特挑战，并提出量身定制的解决方案。为此，我们提出以下贡献：（1）我们提出了一种基于关注的汇集机制来聚合视觉语音表示; （2）我们首次使用Sub-Word单元进行唇读，并显示这使我们能够更好地模拟任务的含糊不限; （3）我们提出了一种用于视觉语音检测（VSD）的模型，在唇读网络顶部培训。在上文之后，我们在公共数据集训练时获得最先进的LRS2和LRS3基准，甚至通过使用更少的数据量级验证的大规模工业数据集培训的型号。我们最好的模型在LRS2数据集中实现了22.6％的字错误率，这是唇读模型前所未有的性能，显着降低了唇读和自动语音识别之间的性能差距。此外，在AVA-ActiveSpeaker基准测试中，我们的VSD模型超越了所有可视基线，甚至优于最近的几种视听方法。

最近，自我监督的预先磨普已经实现了端到端（E2E）自动语音识别（ASR）的令人印象深刻的结果。然而，主要的序列到序列（S2S）E2E模型仍然很难充分利用自我监督的预训练方法，因为其解码器在声学表示上被调节，因此不能分开预先磨损。在本文中，我们提出了一种基于混合CTC /注意E2E模型的预磨削变压器（Preformer）S2S ASR架构，以充分利用预磨削的声学模型（AMS）和语言模型（LMS）。在我们的框架中，编码器初始化了Preprina（Wav2Vec2.0）。 Preformer在训练和推理期间利用CTC作为辅助任务。此外，我们设计了一个十字解码器（OCD），其放宽对声学表示的依赖性，以便可以用预净化的LM（DistilGPT2）初始化它。实验在Aishell-1语料库上进行，并在测试集上达到4.6±6 \％$ Character error rate（cer）。与我们的Vanilla混合CTC /注意力变压器基线相比，我们所提出的CTC /注意力的预浆料产生27亿美元的相对CER减少。据我们所知，这是第一个在S2S ASR系统中使用普里雷米和LM的第一项工作。

自我监督学习（SSL）在语音识别方面取得了巨大的成功，而有限的探索已尝试完成其他语音处理任务。由于语音信号包含多方面的信息，包括说话者身份，副语言学，口语内容等，学习所有语音任务的通用表示都具有挑战性。为了解决该问题，我们提出了一个新的预培训模型WAVLM，以解决全堆栈的下游语音任务。 Wavlm共同学习了蒙面的语音预测和预训练。通过这种方式，WAVLM不仅可以通过掩盖的语音预测来保持语音内容建模能力，而且还可以通过语音denoing来提高非ASR任务的潜力。此外，WAVLM还采用封闭式的变压器结构的封闭相对位置偏置，以更好地捕获输入语音的序列排序。我们还将培训数据集从60k小时扩展到94K小时。 WAVLM大型在精湛的基准上实现了最先进的性能，并在其代表性基准上为各种语音处理任务带来了重大改进。代码和预培训模型可在https://aka.ms/wavlm上找到。

最近的言语和语言技术的方法预先rain非常大型模型，用于特定任务。然而，这种大型模型的好处通常仅限于世界上少数资源丰富的语言。在这项工作中，我们对来自印度次大陆的低资源语言构建ASR系统进行多种贡献。首先，我们从各种领域策划40个印度语言的17,000小时的原始语音数据，包括教育，新闻，技术和金融。其次，使用这种原始语音数据，我们预先存在于40个印度语言的Wav2Vec样式模型的多个变体。第三，我们分析佩带的模型以查找关键特点：码本矢量的类似探测音素在语言中共享，跨层的表示是语言系列的判别，并且注意力头通常会在小型本地窗口中注意。第四，我们微调了9种语言的下游ASR模型，并在3个公共数据集上获得最先进的结果，包括非常低的资源语言，如Sinhala和Nepali。我们的工作建立了多语言预介质是建立ASR系统的有效策略，为印度次大陆的语言上不同的扬声器建立ASR系统。

尽管视听模型与仅限音频模型相比可以产生卓越的性能和鲁棒性，但由于缺乏标记和未标记的视听数据以及每种方式部署一个模型的成本，它们的开发和采用受到阻碍。在本文中，我们提出了U-Hubert，这是一个自制的预训练框架，可以通过统一的蒙版群集预测目标来利用多模式和单峰语音。通过在预训练期间利用模态辍学，我们证明了一个微调模型可以在PAR上取得比较的性能或比最先进的模态特异性模型更好。此外，我们仅在音频上进行微调的模型可以通过视听和视觉语音输入来表现良好，从而实现了零击的模态概括，以实现语音识别和扬声器验证。特别是，我们的单个模型在带有音频/视听/视觉输入的LRS3上产生1.2％/1.4％/27.2％的语音识别单词错误率。

变压器建立在多头缩放的点产生关注和位置编码的基础上，旨在学习特征表示和令牌依赖性。在这项工作中，我们专注于通过学习通过变压器中的自我发项机制来增强特征图来增强独特的表示。具体而言，我们提出了水平的关注，以重新权重降低维度降低的点产量注意的多头输出，并提出垂直注意力以通过对不同的相互依赖性在不同的相互依赖性的方面自适应重新校准的频道响应，以使不同频道。我们证明了配备了两种专注的变压器模型在不同监督的学习任务中具有很高的概括能力，并具有较小的额外计算成本开销。提出的水平和垂直注意力是高度模块化的，可以将其插入各种变压器模型中，以进一步提高性能。我们的代码在补充材料中可用。

知识蒸馏（KD），最称为模型压缩的有效方法，旨在将更大的网络（教师）的知识转移到更小的网络（学生）。传统的KD方法通常采用以监督方式培训的教师模型，其中输出标签仅作为目标处理。我们进一步扩展了这一受监督方案，我们为KD，即Oracle老师推出了一种新型的教师模型，它利用源输入和输出标签的嵌入来提取更准确的知识来转移到学生。所提出的模型遵循变压器网络的编码器解码器注意结构，这允许模型从输出标签上参加相关信息。在三种不同的序列学习任务中进行了广泛的实验：语音识别，场景文本识别和机器翻译。从实验结果来看，我们经验证明，拟议的模型在这些任务中改善了学生，同时在教师模型的培训时间内实现了相当大的速度。

没有位置信息，基于关注的变压器神经网络是置换不变的。绝对或相对位置嵌入是使用位置信息提供变压器模型的最流行的方式。绝对位置嵌入式易于实施，但是当在比训练时间更长的序列进行评估时遭受泛化问题。对于输入长度变化，相对位置更加稳健，但由于额外的计算和内存成本，实现和产生较差的模型吞吐量更复杂。在本文中，我们提出了一种基于增强的方法（CAPE），用于绝对位置嵌入物，其保持绝对（简单和速度）和相对位置嵌入（更好的泛化）的优点。此外，我们对机器翻译，图像和语音识别的最先进模型的实证评估表明，CAPE导致更好的泛化性能以及对培训超参数的稳定性增加。

Automatic Speech Recognition (ASR) systems frequently use a search-based decoding strategy aiming to find the best attainable transcript by considering multiple candidates. One prominent speech recognition decoding heuristic is beam search, which seeks the transcript with the greatest likelihood computed using the predicted distribution. While showing substantial performance gains in various tasks, beam search loses some of its effectiveness when the predicted probabilities are highly confident, i.e., the predicted distribution is massed for a single or very few classes. We show that recently proposed Self-Supervised Learning (SSL)-based ASR models tend to yield exceptionally confident predictions that may hamper beam search from truly considering a diverse set of candidates. We perform a layer analysis to reveal and visualize how predictions evolve, and propose a decoding procedure that improves the performance of fine-tuned ASR models. Our proposed approach does not require further training beyond the original fine-tuning, nor additional model parameters. In fact, we find that our proposed method requires significantly less inference computation than current approaches. We propose aggregating the top M layers, potentially leveraging useful information encoded in intermediate layers, and relaxing model confidence. We demonstrate the effectiveness of our approach by conducting an empirical study on varying amounts of labeled resources and different model sizes, showing consistent improvements in particular when applied to low-resource scenarios.

We study the capabilities of speech processing systems trained simply to predict large amounts of transcripts of audio on the internet. When scaled to 680,000 hours of multilingual and multitask supervision, the resulting models generalize well to standard benchmarks and are often competitive with prior fully supervised results but in a zero-shot transfer setting without the need for any fine-tuning. When compared to humans, the models approach their accuracy and robustness. We are releasing models and inference code to serve as a foundation for further work on robust speech processing.

最近，卷积增强的变压器（构象异构体）在自动语音识别（ASR）中显示出令人鼓舞的结果，表现优于先前发表的最佳变压器传感器。在这项工作中，我们认为编码器和解码器中每个块的输出信息并不完全包容，换句话说，它们的输出信息可能是互补的。我们研究如何以参数效率的方式利用每个块的互补信息，并且可以预期这可能会导致更强的性能。因此，我们提出了刻板的变压器以进行语音识别，名为BlockFormer。我们已经实现了两个块集合方法：块输出的基本加权总和（基本WSBO），以及挤压和激气模块到块输出的加权总和（SE-WSBO）。实验已经证明，阻滞剂在Aishell-1上大大优于基于最新的构象模型，我们的模型在不使用语言模型的情况下达到了4.35 \％的CER，并且在4.10 \％上具有外部语言模型的4.10 \％测试集。

Astounding results from Transformer models on natural language tasks have intrigued the vision community to study their application to computer vision problems. Among their salient benefits, Transformers enable modeling long dependencies between input sequence elements and support parallel processing of sequence as compared to recurrent networks e.g., Long short-term memory (LSTM). Different from convolutional networks, Transformers require minimal inductive biases for their design and are naturally suited as set-functions. Furthermore, the straightforward design of Transformers allows processing multiple modalities (e.g., images, videos, text and speech) using similar processing blocks and demonstrates excellent scalability to very large capacity networks and huge datasets. These strengths have led to exciting progress on a number of vision tasks using Transformer networks. This survey aims to provide a comprehensive overview of the Transformer models in the computer vision discipline. We start with an introduction to fundamental concepts behind the success of Transformers i.e., self-attention, large-scale pre-training, and bidirectional feature encoding. We then cover extensive applications of transformers in vision including popular recognition tasks (e.g., image classification, object detection, action recognition, and segmentation), generative modeling, multi-modal tasks (e.g., visual-question answering, visual reasoning, and visual grounding), video processing (e.g., activity recognition, video forecasting), low-level vision (e.g., image super-resolution, image enhancement, and colorization) and 3D analysis (e.g., point cloud classification and segmentation). We compare the respective advantages and limitations of popular techniques both in terms of architectural design and their experimental value. Finally, we provide an analysis on open research directions and possible future works. We hope this effort will ignite further interest in the community to solve current challenges towards the application of transformer models in computer vision.

We show for the first time that learning powerful representations from speech audio alone followed by fine-tuning on transcribed speech can outperform the best semi-supervised methods while being conceptually simpler. wav2vec 2.0 masks the speech input in the latent space and solves a contrastive task defined over a quantization of the latent representations which are jointly learned. Experiments using all labeled data of Librispeech achieve 1.8/3.3 WER on the clean/other test sets. When lowering the amount of labeled data to one hour, wav2vec 2.0 outperforms the previous state of the art on the 100 hour subset while using 100 times less labeled data. Using just ten minutes of labeled data and pre-training on 53k hours of unlabeled data still achieves 4.8/8.2 WER. This demonstrates the feasibility of speech recognition with limited amounts of labeled data. 1 1 Code and models are available at https://github.com/pytorch/fairseq Preprint. Under review.

We present RAVEn, a self-supervised multi-modal approach to jointly learn visual and auditory speech representations. Our pre-training objective involves encoding masked inputs, and then predicting contextualised targets generated by slowly-evolving momentum encoders. Driven by the inherent differences between video and audio, our design is asymmetric w.r.t. the two modalities' pretext tasks: Whereas the auditory stream predicts both the visual and auditory targets, the visual one predicts only the auditory targets. We observe strong results in low- and high-resource labelled data settings when fine-tuning the visual and auditory encoders resulting from a single pre-training stage, in which the encoders are jointly trained. Notably, RAVEn surpasses all self-supervised methods on visual speech recognition (VSR) on LRS3, and combining RAVEn with self-training using only 30 hours of labelled data even outperforms a recent semi-supervised method trained on 90,000 hours of non-public data. At the same time, we achieve state-of-the-art results in the LRS3 low-resource setting for auditory speech recognition (as well as for VSR). Our findings point to the viability of learning powerful speech representations entirely from raw video and audio, i.e., without relying on handcrafted features. Code and models will be made public.

While the Transformer architecture has become the de-facto standard for natural language processing tasks, its applications to computer vision remain limited. In vision, attention is either applied in conjunction with convolutional networks, or used to replace certain components of convolutional networks while keeping their overall structure in place. We show that this reliance on CNNs is not necessary and a pure transformer applied directly to sequences of image patches can perform very well on image classification tasks. When pre-trained on large amounts of data and transferred to multiple mid-sized or small image recognition benchmarks (ImageNet, CIFAR-100, VTAB, etc.), Vision Transformer (ViT) attains excellent results compared to state-of-the-art convolutional networks while requiring substantially fewer computational resources to train. 1