Multilingual end-to-end models have shown great improvement over monolingual systems. With the development of pre-training methods on speech, self-supervised multilingual speech representation learning like XLSR has shown success in improving the performance of multilingual automatic speech recognition (ASR). However, similar to the supervised learning, multilingual pre-training may also suffer from language interference and further affect the application of multilingual system. In this paper, we introduce several techniques for improving self-supervised multilingual pre-training by leveraging auxiliary language information, including the language adversarial training, language embedding and language adaptive training during the pre-training stage. We conduct experiments on a multilingual ASR task consisting of 16 languages. Our experimental results demonstrate 14.3% relative gain over the standard XLSR model, and 19.8% relative gain over the no pre-training multilingual model.

交叉语言语音适应旨在解决利用多种丰富资源语言来构建低资源目标语言的模型的问题。由于低资源语言具有有限的培训数据，语音识别模型可以容易地过度装备。在本文中，我们建议使用适配器来研究多种适配器的性能，用于参数有效的交叉语音语音适应。基于我们以前的MetaAdapter，隐含地利用适配器，我们提出了一种名为SimAdapter的新算法，用于从Adapters明确学习知识。我们的算法利用了可以轻松集成到变压器结构中的适配器.METAADAPTER利用元学习将一般知识从训练数据转移到测试语言。 SimAdapter旨在使用适配器微调期间了解源语言与目标语言之间的相似性。我们在公共语音数据集中对五种低资源语言进行广泛的实验。结果表明，与强大的全型微调基线相比，我们的MetaAdapter和SimAdapter方法可以将WER减小2.98％和2.55％，只有2.5％和15.5％的培训参数。此外，我们还表明这两种新型算法可以集成，以便更好的性能，相对减少高达3.55％。

我们介绍了一个CLSRIL-23，一个自我监督的基于学习的音频预训练模型，它学习了来自23个指示语言的原始音频的交叉语言语音表示。它基于Wav2Vec 2.0之上，通过培训蒙面潜在语音表示的对比任务来解决，并共同了解所有语言共享的潜伏的量化。我们在预磨练期间比较语言明智的损失，以比较单机和多语言预制的影响。还比较了一些下游微调任务的表现，并且我们的实验表明，在学习语音表示方面，我们的实验表明，在学习语言的语音表示方面，以及在沿着流的性能方面的学习语音表示。在Hindi中使用多语言预磨模模型时，在WER中观察到5％的减少，9.5％。所有代码模型也都是开放的。 CLSRIL-23是一款以23美元的价格培训的型号，以及近10,000小时的音频数据培训，以促进在语言中的语音识别研究。我们希望将使用自我监督方法创建新的最新状态，特别是对于低资源指示语言。

学习高级语音表征的自学学习（SSL）一直是在低资源环境中构建自动语音识别（ASR）系统的一种流行方法。但是，文献中提出的共同假设是，可以使用可用于SSL预训练的相同域或语言的大量未标记数据，我们承认，在现实世界中，这是不可行的。在本文中，作为Interspeech Gram Vaani ASR挑战的一部分，我们尝试研究域，语言，数据集大小和上游训练SSL数据对最终性能下游ASR任务的效果。我们还建立在持续的训练范式的基础上，以研究使用SSL训练的模型所拥有的先验知识的效果。广泛的实验和研究表明，ASR系统的性能易受用于SSL预训练的数据。它们的性能随着相似性和预训练数据量的增加而提高。我们认为，我们的工作将有助于语音社区在低资源环境中建立更好的ASR系统，并引导研究改善基于SSL的语音系统预培训的概括。

本文介绍了基于Wav2VEC 2.0的跨语言语音表示学习的大规模模型。我们在128种语言中培训最多2B个公共讲话音频的近半小时的型号的模型，比公共数据的数量级比最大的已知事先工作。我们的评估涵盖了广泛的任务，域，数据制度和语言，都是高低资源。在Covost-2语音翻译基准测试中，我们将先前的最先进的状态平均为7.4 BLEU超过21个翻译方向进入英语。对于语音识别，XLS-R在Babel，MLS，CommonVoice以及Voxpopuli上的最佳已知工作中提高，降低了相对的误差率14-34％。 XLS-R还在Voxlingua107语言识别上设置了新的技术状态。此外，我们表明，具有足够的模型规模，交叉思维预先预测可以在将英语演讲翻译成其他语言时才能优于英语撇印，这是一个有利于单晶的预借预制的设置。我们希望XLS-R可以帮助改善世界上更多语言的语音处理任务。

我们提出了一种简单有效的自我监督学习方法，以供语音识别。该方法以随机预测量化器生成的离散标签的形式学习了一个模型，以预测蒙版的语音信号。尤其是量化器的语音输入带有随机初始化的矩阵，并在随机限制的代码簿中进行最近的邻居查找。在自我监督的学习过程中，矩阵和密码簿均未更新。由于未对随机预测量化器进行训练，并与语音识别模型分开，因此该设计使该方法具有灵活性，并且与通用语音识别体系结构兼容。在LibrisPeech上，我们的方法与以前的工作相比，使用非流式模型获得了与以前的工作相似的单词率，并且比WAV2VEC 2.0和WAP2VEC 2.0和w2v-bert提供了较低的单词率率和延迟。在多语言任务上，该方法还提供了与WAV2VEC 2.0和W2V-bert的显着改进。

We show for the first time that learning powerful representations from speech audio alone followed by fine-tuning on transcribed speech can outperform the best semi-supervised methods while being conceptually simpler. wav2vec 2.0 masks the speech input in the latent space and solves a contrastive task defined over a quantization of the latent representations which are jointly learned. Experiments using all labeled data of Librispeech achieve 1.8/3.3 WER on the clean/other test sets. When lowering the amount of labeled data to one hour, wav2vec 2.0 outperforms the previous state of the art on the 100 hour subset while using 100 times less labeled data. Using just ten minutes of labeled data and pre-training on 53k hours of unlabeled data still achieves 4.8/8.2 WER. This demonstrates the feasibility of speech recognition with limited amounts of labeled data. 1 1 Code and models are available at https://github.com/pytorch/fairseq Preprint. Under review.

自我监督学习（SSL）在语音识别方面取得了巨大的成功，而有限的探索已尝试完成其他语音处理任务。由于语音信号包含多方面的信息，包括说话者身份，副语言学，口语内容等，学习所有语音任务的通用表示都具有挑战性。为了解决该问题，我们提出了一个新的预培训模型WAVLM，以解决全堆栈的下游语音任务。 Wavlm共同学习了蒙面的语音预测和预训练。通过这种方式，WAVLM不仅可以通过掩盖的语音预测来保持语音内容建模能力，而且还可以通过语音denoing来提高非ASR任务的潜力。此外，WAVLM还采用封闭式的变压器结构的封闭相对位置偏置，以更好地捕获输入语音的序列排序。我们还将培训数据集从60k小时扩展到94K小时。 WAVLM大型在精湛的基准上实现了最先进的性能，并在其代表性基准上为各种语音处理任务带来了重大改进。代码和预培训模型可在https://aka.ms/wavlm上找到。

自我监督的预训练可以有效地改善低资源自动语音识别（ASR）的性能。但是，现有的自我监督的预训练是任务不合时宜的，即可以应用于各种下游任务。尽管它扩大了其应用的范围，但预训练模型的容量并未完全用于ASR任务，并且学习的表示形式可能对ASR不最佳。在这项工作中，为了为低资源ASR构建更好的预训练模型，我们提出了一种称为WAV2VEC-S的预训练方法，我们使用特定于任务的半监督预培训来完善自我监督的预培训因此，ASR任务的预训练模型更有效地利用了预培训模型的能力来生成针对ASR的任务特定表示。实验表明，与WAV2VEC 2.0相比，WAV2VEC-S仅需要训练前时间的边际增长，但可以显着改善在内域，跨域和跨语言数据集上的ASR性能。 1H和10H微调分别为24.5％和6.6％。此外，我们表明，半监督的预训练可以通过规范相关分析来弥合自我监管的预训练模型与相应的微调模型之间的表示差距。

自我监督的培训表明预先训练模型的有希望的收益，并促进了对语音识别的下游尖端，如多语言ASR。大多数现有方法采用一个2阶段方案，其中自我监督损失在第一个预先预订阶段进行了优化，并在第二阶段的标准监督的FINETUNING恢复。在本文中，我们提出了一部结束（E2E）联合无监督和监督培训（Just）方法，以将监督的RNN-T损失和自我监督的对比和屏蔽语言建模（MLM）损失结合起来。我们在公共数据集多语言LibrisPeech（MLS）上验证其性能，其中包括8种语言，非常不平衡。在MLS上，我们探索（1）刚从划痕训练，（2）刚从佩戴检查站训练。实验表明，只需始终如一地胜过其他现有的最先进的方法，并通过显着的保证金击败单声道基线，展示了在多语言ASR中处理低资源语言的能力。我们的平均WER所有语言都优于平均单声道基线33.3％，最先进的2级XLSR达到32％。在低资源语言如波兰语，我们的WER不到一半的单机基线，甚至击败了使用外部监管的监督转移学习方法。

最近，先驱工作发现，演讲预训练模型可以解决全堆栈语音处理任务，因为该模型利用底层学习扬声器相关信息和顶层以编码与内容相关的信息。由于网络容量有限，我们认为如果模型专用于音频内容信息学习，则可以进一步提高语音识别性能。为此，我们向自我监督学习（ILS-SSL）提出中间层监督，这将模型通过在中间层上添加额外的SSL丢失来尽可能地专注于内容信息。 LibrisPeech测试 - 其他集合的实验表明，我们的方法显着优于Hubert，这实现了基数/大型模型的W / O语言模型设置的相对字错误率降低了23.5％/ 11.6％。详细分析显示我们模型的底层与拼音单元具有更好的相关性，这与我们的直觉一致，并解释了我们对ASR的方法的成功。

我们提出了Maestro，这是一种自制的培训方法，可以统一从语音和文本方式中学到的表示形式。从语音信号中进行的自我监督学习旨在学习信号中固有的潜在结构，而从文本尝试捕获词汇信息的文本尝试中学习。从不配对的语音和文本序列中学习对齐表示是一项具有挑战性的任务。先前的工作要么隐含地强制执行从这两种方式中学到的表示形式，要通过多任务和参数共享在潜在空间中对齐，或通过语音综合通过模态转换而明确地进行。前者受到两种方式之间的干扰，而后者则引入了额外的复杂性。在本文中，我们提出了一种新颖的算法Maestro，旨在同时从这两种方式中学习统一的表示，可以转移到各种下游任务，例如自动语音识别（ASR）和语音翻译（ST）。 Maestro通过序列比对，持续时间预测和匹配的嵌入在学习空间中通过对齐的蒙版模型损失来学习统一的表示形式。我们在Voxpopuli多语言ASR上建立了一个新的最先进（SOTA），单词错误率相对相对降低8％（WER），多域Speetstew ASR（相对3.7％）和21种英语多语言ST在Covost 2上2.8 BLEU的改善平均21种语言。

本文介绍了Thuee团队的语音识别系统，用于IARPA Open自动语音识别挑战（OpenASR21），并进行了进一步的实验探索。我们在受限和受约束的训练条件下取得了出色的成果。对于受限的训练条件，我们基于标准混合体系结构构建基本ASR系统。为了减轻摄影库（OOV）的问题，我们使用针对OOV和潜在的新单词的素式至phoneme（G2P）技术扩展了发音词典。采用了标准的声学模型结构，例如CNN-TDNN-F和CNN-TDNN-F-A。此外，还应用了多种数据增强技术。对于约束训练条件，我们使用自我监督的学习框架WAV2VEC2.0。我们在公开可用的预训练XLSR-53的基础上使用连接式时间分类（CTC）标准进行各种微调技术。我们发现，在将WAV2VEC2.0预训练的模型应用于基于编码器的CTC/CTC/COATION ASR体系结构时，前端特征提取器在将WAV2VEC2.0预训练的模型应用时起着重要作用。通过将目标语言用作为前端功能提取器使用的CTC模型填充可以实现额外的改进。

多语言语言模型（\ mllms），如mbert，xlm，xlm-r，\ textit {etc。}已成为一种可行的选择，使预先估计到大量语言的力量。鉴于他们的成功在零射击转移学习中，在（i）建立更大的\ mllms〜覆盖了大量语言（ii）创建覆盖更广泛的任务和语言来评估的详尽工作基准mllms〜（iii）分析单音零点，零拍摄交叉和双语任务（iv）对Monolingual的性能，了解\ mllms〜（v）增强（通常）学习的通用语言模式（如果有的话）有限的容量\ mllms〜以提高他们在已见甚至看不见语言的表现。在这项调查中，我们审查了现有的文学，涵盖了上述与\ MLLMS有关的广泛研究领域。根据我们的调查，我们建议您有一些未来的研究方向。

本文研究了一种新型的预训练技术，该技术具有未配对的语音数据Segend2C，用于基于编码器的自动语音识别（ASR）。在一个多任务学习框架内，我们使用声音单元（即伪代码）介绍了编码器 - 编码器网络的两个预训练任务，这些任务来自离线聚类模型。一种是通过在编码器输出中通过掩盖语言建模来预测伪代码，例如Hubert模型，而另一个使解码器学会学会重建伪代码自动加工，而不是生成文本脚本。通过这种方式，解码器学会了在学习生成正确的文本之前先用代码重建原始语音信息。在Librispeech语料库上进行的综合实验表明，在没有解码器预训练的情况下，提出的Speek2C可以相对将单词错误率（WER）降低19.2％，并且在最先进的WAV2VEC 2.0和HUBERT上的表现显着优于微调子集为10h和100h。我们在https://github.com/microsoft/speecht5/tree/main/main/speech2c上发布代码和模型。

We present Mu$^{2}$SLAM, a multilingual sequence-to-sequence model pre-trained jointly on unlabeled speech, unlabeled text and supervised data spanning Automatic Speech Recognition (ASR), Automatic Speech Translation (AST) and Machine Translation (MT), in over 100 languages. By leveraging a quantized representation of speech as a target, Mu$^{2}$SLAM trains the speech-text models with a sequence-to-sequence masked denoising objective similar to T5 on the decoder and a masked language modeling (MLM) objective on the encoder, for both unlabeled speech and text, while utilizing the supervised tasks to improve cross-lingual and cross-modal representation alignment within the model. On CoVoST AST, Mu$^{2}$SLAM establishes a new state-of-the-art for models trained on public datasets, improving on xx-en translation over the previous best by 1.9 BLEU points and on en-xx translation by 1.1 BLEU points. On Voxpopuli ASR, our model matches the performance of an mSLAM model fine-tuned with an RNN-T decoder, despite using a relatively weaker sequence-to-sequence architecture. On text understanding tasks, our model improves by more than 6\% over mSLAM on XNLI, getting closer to the performance of mT5 models of comparable capacity on XNLI and TydiQA, paving the way towards a single model for all speech and text understanding tasks.

直接语音到语音翻译（S2ST）模型与传统级联系统可用的数据量相比，几乎没有平行的S2ST数据遇到数据稀缺问题，该数据包括自动语音识别（ASR），机器翻译（MT）和文本到语音（TTS）合成。在这项工作中，我们使用未标记的语音数据和数据扩展来探索自我监督的预训练，以解决此问题。我们利用了最近提出的语音到单位翻译（S2UT）框架，该框架将目标语音编码为离散表示形式，并转移前训练前和有效的部分填充技术，可很好地适用于语音到文本翻译（S2T）通过研究语音编码器和离散单位解码器预训练，S2UT域。我们在西班牙语 - 英语翻译上进行的实验表明，与多任务学习相比，自我监督的预训练始终如一地提高模型性能，平均为6.6-12.1 BLEU增长，并且可以与数据增强技术相结合，以应用MT来创建弱监督监督的培训数据。音频样本可在以下网址获得：https：//facebookresearch.github.io/speech_translation/enhanced_direct_s2st_units/index.html。

Self-supervised approaches for speech representation learning are challenged by three unique problems: (1) there are multiple sound units in each input utterance, (2) there is no lexicon of input sound units during the pre-training phase, and (3) sound units have variable lengths with no explicit segmentation. To deal with these three problems, we propose the Hidden-Unit BERT (HuBERT) approach for self-supervised speech representation learning, which utilizes an offline clustering step to provide aligned target labels for a BERT-like prediction loss. A key ingredient of our approach is applying the prediction loss over the masked regions only, which forces the model to learn a combined acoustic and language model over the continuous inputs. HuBERT relies primarily on the consistency of the unsupervised clustering step rather than the intrinsic quality of the assigned cluster labels. Starting with a simple k-means teacher of 100 clusters, and using two iterations of clustering, the HuBERT model either matches or improves upon the state-ofthe-art wav2vec 2.0 performance on the Librispeech (960h) and Libri-light (60,000h) benchmarks with 10min, 1h, 10h, 100h, and 960h fine-tuning subsets. Using a 1B parameter model, HuBERT shows up to 19% and 13% relative WER reduction on the more challenging dev-other and test-other evaluation subsets. 1

In speech recognition, it is essential to model the phonetic content of the input signal while discarding irrelevant factors such as speaker variations and noise, which is challenging in low-resource settings. Self-supervised pre-training has been proposed as a way to improve both supervised and unsupervised speech recognition, including frame-level feature representations and Acoustic Word Embeddings (AWE) for variable-length segments. However, self-supervised models alone cannot learn perfect separation of the linguistic content as they are trained to optimize indirect objectives. In this work, we experiment with different pre-trained self-supervised features as input to AWE models and show that they work best within a supervised framework. Models trained on English can be transferred to other languages with no adaptation and outperform self-supervised models trained solely on the target languages.

语音的视频录制包含相关的音频和视觉信息，为语音表示从扬声器的唇部运动和产生的声音提供了强大的信号。我们介绍了视听隐藏单元BERT（AV-HUBERT），是视听语音的自我监督的代表学习框架，这些屏幕屏蔽了多流视频输入并预测自动发现和迭代地精制多模式隐藏单元。 AV-HUBERT学习强大的视听语音表示，这些语音表示受益于唇读和自动语音识别。在最大的公众唇读基准LRS3（433小时）中，AV-Hubert达到32.5％WER，只有30个小时的标签数据，优于前一种最先进的方法（33.6％）培训，达到了一千次转录的视频数据（31k小时）。当使用来自LRS3的所有433小时的标记数据并结合自培训时，唇读WER进一步降低至26.9％。使用我们在相同的基准测试中使用您的视听表示，用于音频语音识别的相对效率为40％，而最先进的性能（1.3％Vs 2.3％）。我们的代码和模型可在https://github.com/facebookResearch/av_hubert获得