自我监督的预训练可以有效地改善低资源自动语音识别（ASR）的性能。但是，现有的自我监督的预训练是任务不合时宜的，即可以应用于各种下游任务。尽管它扩大了其应用的范围，但预训练模型的容量并未完全用于ASR任务，并且学习的表示形式可能对ASR不最佳。在这项工作中，为了为低资源ASR构建更好的预训练模型，我们提出了一种称为WAV2VEC-S的预训练方法，我们使用特定于任务的半监督预培训来完善自我监督的预培训因此，ASR任务的预训练模型更有效地利用了预培训模型的能力来生成针对ASR的任务特定表示。实验表明，与WAV2VEC 2.0相比，WAV2VEC-S仅需要训练前时间的边际增长，但可以显着改善在内域，跨域和跨语言数据集上的ASR性能。 1H和10H微调分别为24.5％和6.6％。此外，我们表明，半监督的预训练可以通过规范相关分析来弥合自我监管的预训练模型与相应的微调模型之间的表示差距。

由于训练和测试分布之间的不匹配，自动语音识别（ASR）的跨域性能可能会受到严重阻碍。由于目标域通常缺乏标记的数据，并且在声学和语言水平上存在域移位，因此对ASR进行无监督的域适应性（UDA）是一项挑战。先前的工作表明，通过利用未标记的数据的自我检查，自我监督的学习（SSL）或伪标记（PL）可以有效地进行UDA。但是，这些自我介绍也面临不匹配的域分布中的性能退化，而以前的工作未能解决。这项工作提出了一个系统的UDA框架，可以在预训练和微调范式中充分利用具有自学贴标签的未标记数据。一方面，我们应用持续的预训练和数据重播技术来减轻SSL预训练模型的域不匹配。另一方面，我们提出了一种基于PL技术的域自适应微调方法，并具有三种独特的修改：首先，我们设计了一种双分支PL方法，以降低对错误的伪标签的敏感性；其次，我们设计了一种不确定性感知的置信度过滤策略，以提高伪标签的正确性。第三，我们引入了两步PL方法，以结合目标域语言知识，从而产生更准确的目标域伪标记。各种跨域场景的实验结果表明，所提出的方法可以有效地提高跨域的性能，并显着超过以前的方法。

学习高级语音表征的自学学习（SSL）一直是在低资源环境中构建自动语音识别（ASR）系统的一种流行方法。但是，文献中提出的共同假设是，可以使用可用于SSL预训练的相同域或语言的大量未标记数据，我们承认，在现实世界中，这是不可行的。在本文中，作为Interspeech Gram Vaani ASR挑战的一部分，我们尝试研究域，语言，数据集大小和上游训练SSL数据对最终性能下游ASR任务的效果。我们还建立在持续的训练范式的基础上，以研究使用SSL训练的模型所拥有的先验知识的效果。广泛的实验和研究表明，ASR系统的性能易受用于SSL预训练的数据。它们的性能随着相似性和预训练数据量的增加而提高。我们认为，我们的工作将有助于语音社区在低资源环境中建立更好的ASR系统，并引导研究改善基于SSL的语音系统预培训的概括。

本文介绍了基于Wav2VEC 2.0的跨语言语音表示学习的大规模模型。我们在128种语言中培训最多2B个公共讲话音频的近半小时的型号的模型，比公共数据的数量级比最大的已知事先工作。我们的评估涵盖了广泛的任务，域，数据制度和语言，都是高低资源。在Covost-2语音翻译基准测试中，我们将先前的最先进的状态平均为7.4 BLEU超过21个翻译方向进入英语。对于语音识别，XLS-R在Babel，MLS，CommonVoice以及Voxpopuli上的最佳已知工作中提高，降低了相对的误差率14-34％。 XLS-R还在Voxlingua107语言识别上设置了新的技术状态。此外，我们表明，具有足够的模型规模，交叉思维预先预测可以在将英语演讲翻译成其他语言时才能优于英语撇印，这是一个有利于单晶的预借预制的设置。我们希望XLS-R可以帮助改善世界上更多语言的语音处理任务。

最近，蒙面的预测预训练在自我监督的学习（SSL）方面取得了显着的进展，以进行语音识别。它通常需要以无监督的方式获得的代码簿，从而使其准确和难以解释。我们提出了两种监督指导的代码书生成方法，以提高自动语音识别（ASR）的性能以及预训练效率，要么通过使用混合ASR系统来解码以生成音素级别对准（命名为PBERT），要么通过在上进行集群进行聚类。从端到端CTC模型（命名CTC聚类）提取的监督语音功能。混合动力和CTC模型均经过与微调相同的少量标记语音训练。实验表明，我们的方法对各种SSL和自我训练基准的优势具有显着优势，相对减少了17.0％。我们的预训练模型在非ASR语音任务中还显示出良好的可传递性。

Self-supervised approaches for speech representation learning are challenged by three unique problems: (1) there are multiple sound units in each input utterance, (2) there is no lexicon of input sound units during the pre-training phase, and (3) sound units have variable lengths with no explicit segmentation. To deal with these three problems, we propose the Hidden-Unit BERT (HuBERT) approach for self-supervised speech representation learning, which utilizes an offline clustering step to provide aligned target labels for a BERT-like prediction loss. A key ingredient of our approach is applying the prediction loss over the masked regions only, which forces the model to learn a combined acoustic and language model over the continuous inputs. HuBERT relies primarily on the consistency of the unsupervised clustering step rather than the intrinsic quality of the assigned cluster labels. Starting with a simple k-means teacher of 100 clusters, and using two iterations of clustering, the HuBERT model either matches or improves upon the state-ofthe-art wav2vec 2.0 performance on the Librispeech (960h) and Libri-light (60,000h) benchmarks with 10min, 1h, 10h, 100h, and 960h fine-tuning subsets. Using a 1B parameter model, HuBERT shows up to 19% and 13% relative WER reduction on the more challenging dev-other and test-other evaluation subsets. 1

语音的视频录制包含相关的音频和视觉信息，为语音表示从扬声器的唇部运动和产生的声音提供了强大的信号。我们介绍了视听隐藏单元BERT（AV-HUBERT），是视听语音的自我监督的代表学习框架，这些屏幕屏蔽了多流视频输入并预测自动发现和迭代地精制多模式隐藏单元。 AV-HUBERT学习强大的视听语音表示，这些语音表示受益于唇读和自动语音识别。在最大的公众唇读基准LRS3（433小时）中，AV-Hubert达到32.5％WER，只有30个小时的标签数据，优于前一种最先进的方法（33.6％）培训，达到了一千次转录的视频数据（31k小时）。当使用来自LRS3的所有433小时的标记数据并结合自培训时，唇读WER进一步降低至26.9％。使用我们在相同的基准测试中使用您的视听表示，用于音频语音识别的相对效率为40％，而最先进的性能（1.3％Vs 2.3％）。我们的代码和模型可在https://github.com/facebookResearch/av_hubert获得

本文研究了一种新型的预训练技术，该技术具有未配对的语音数据Segend2C，用于基于编码器的自动语音识别（ASR）。在一个多任务学习框架内，我们使用声音单元（即伪代码）介绍了编码器 - 编码器网络的两个预训练任务，这些任务来自离线聚类模型。一种是通过在编码器输出中通过掩盖语言建模来预测伪代码，例如Hubert模型，而另一个使解码器学会学会重建伪代码自动加工，而不是生成文本脚本。通过这种方式，解码器学会了在学习生成正确的文本之前先用代码重建原始语音信息。在Librispeech语料库上进行的综合实验表明，在没有解码器预训练的情况下，提出的Speek2C可以相对将单词错误率（WER）降低19.2％，并且在最先进的WAV2VEC 2.0和HUBERT上的表现显着优于微调子集为10h和100h。我们在https://github.com/microsoft/speecht5/tree/main/main/speech2c上发布代码和模型。

我们总结了使用巨大的自动语音识别（ASR）模型的大量努力的结果，该模型使用包含大约一百万小时音频的大型，多样的未标记数据集进行了预训练。我们发现，即使对于拥有数万个小时的标记数据的非常大的任务，预训练，自我培训和扩大模型大小的组合也大大提高了数据效率。特别是，在具有34K小时标记数据的ASR任务上，通过微调80亿个参数预先训练的构象异构体模型，我们可以匹配最先进的（SOTA）性能（SOTA）的性能，只有3％的培训数据和通过完整的训练集可以显着改善SOTA。我们还报告了从使用大型预训练和自我训练的模型来完成一系列下游任务所获得的普遍利益，这些任务涵盖了广泛的语音域，并涵盖了多个数据集大小的大小，包括在许多人中获得SOTA性能公共基准。此外，我们利用预先训练的网络的学会表示，在非ASR任务上实现SOTA结果。

虽然自我监督的语音表示学习（SSL）模型执行了各种下游任务，但已经观察到这些模型过于拟合未标记数据来源的域。为了减轻此问题，我们提出了PADA（修剪辅助域的适应性），并在大量室外（OOD）数据上进行预训练的模型中的冗余权重。直观地，这有助于为目标域ASR芬太尼腾出空间。可以通过各种修剪策略来识别多余的权重，这些策略已作为本工作的一部分进行了详细讨论。具体而言，我们研究了最近发现的任务不合时宜的和任务感知的修剪对PADA的效果，并根据后者提出了一个新的修剪范式，我们称之为跨域任务意识到的修剪（CD-TAW）。 CD-TAW从精心调整的OOD模型中获得了初始修剪面膜，这使其与本文讨论的其余修剪策略完全不同。当在没有语言模型（LM）解码的2小时子集中进行微调时，我们提出的CD-TAW方法比基线相对相对改善高达20.6％。此外，我们进行了详细的分析，以突出提出的方法的关键设计选择。

在过去的几年中，语音表征的自我监督学习（SSL）受到了很多关注，但大多数工作都集中在具有大量未标记数据的语言和域上。但是，对于许多语言，即使在未标记的数据中也存在短缺，这限制了SSL的有效性。在这项工作中，我们专注于通过利用WAV2VEC 2.0预处理的数据增强来将SSL应用于域具有有限数据的域的问题。此外，我们建议对模型的每个组件进行改进，从而与LibrisPeech测试清除 /其他的WAV2VEC 2.0相比，将相对单词错误率（WER）提高高达13％。

最近，先驱工作发现，演讲预训练模型可以解决全堆栈语音处理任务，因为该模型利用底层学习扬声器相关信息和顶层以编码与内容相关的信息。由于网络容量有限，我们认为如果模型专用于音频内容信息学习，则可以进一步提高语音识别性能。为此，我们向自我监督学习（ILS-SSL）提出中间层监督，这将模型通过在中间层上添加额外的SSL丢失来尽可能地专注于内容信息。 LibrisPeech测试 - 其他集合的实验表明，我们的方法显着优于Hubert，这实现了基数/大型模型的W / O语言模型设置的相对字错误率降低了23.5％/ 11.6％。详细分析显示我们模型的底层与拼音单元具有更好的相关性，这与我们的直觉一致，并解释了我们对ASR的方法的成功。

We show for the first time that learning powerful representations from speech audio alone followed by fine-tuning on transcribed speech can outperform the best semi-supervised methods while being conceptually simpler. wav2vec 2.0 masks the speech input in the latent space and solves a contrastive task defined over a quantization of the latent representations which are jointly learned. Experiments using all labeled data of Librispeech achieve 1.8/3.3 WER on the clean/other test sets. When lowering the amount of labeled data to one hour, wav2vec 2.0 outperforms the previous state of the art on the 100 hour subset while using 100 times less labeled data. Using just ten minutes of labeled data and pre-training on 53k hours of unlabeled data still achieves 4.8/8.2 WER. This demonstrates the feasibility of speech recognition with limited amounts of labeled data. 1 1 Code and models are available at https://github.com/pytorch/fairseq Preprint. Under review.

自我监督学习（SSL）在语音识别方面取得了巨大的成功，而有限的探索已尝试完成其他语音处理任务。由于语音信号包含多方面的信息，包括说话者身份，副语言学，口语内容等，学习所有语音任务的通用表示都具有挑战性。为了解决该问题，我们提出了一个新的预培训模型WAVLM，以解决全堆栈的下游语音任务。 Wavlm共同学习了蒙面的语音预测和预训练。通过这种方式，WAVLM不仅可以通过掩盖的语音预测来保持语音内容建模能力，而且还可以通过语音denoing来提高非ASR任务的潜力。此外，WAVLM还采用封闭式的变压器结构的封闭相对位置偏置，以更好地捕获输入语音的序列排序。我们还将培训数据集从60k小时扩展到94K小时。 WAVLM大型在精湛的基准上实现了最先进的性能，并在其代表性基准上为各种语音处理任务带来了重大改进。代码和预培训模型可在https://aka.ms/wavlm上找到。

In this paper, we propose a novel multi-modal multi-task encoder-decoder pre-training framework (MMSpeech) for Mandarin automatic speech recognition (ASR), which employs both unlabeled speech and text data. The main difficulty in speech-text joint pre-training comes from the significant difference between speech and text modalities, especially for Mandarin speech and text. Unlike English and other languages with an alphabetic writing system, Mandarin uses an ideographic writing system where character and sound are not tightly mapped to one another. Therefore, we propose to introduce the phoneme modality into pre-training, which can help capture modality-invariant information between Mandarin speech and text. Specifically, we employ a multi-task learning framework including five self-supervised and supervised tasks with speech and text data. For end-to-end pre-training, we introduce self-supervised speech-to-pseudo-codes (S2C) and phoneme-to-text (P2T) tasks utilizing unlabeled speech and text data, where speech-pseudo-codes pairs and phoneme-text pairs are a supplement to the supervised speech-text pairs. To train the encoder to learn better speech representation, we introduce self-supervised masked speech prediction (MSP) and supervised phoneme prediction (PP) tasks to learn to map speech into phonemes. Besides, we directly add the downstream supervised speech-to-text (S2T) task into the pre-training process, which can further improve the pre-training performance and achieve better recognition results even without fine-tuning. Experiments on AISHELL-1 show that our proposed method achieves state-of-the-art performance, with a more than 40% relative improvement compared with other pre-training methods.

基于自我监督的变压器模型，例如WAV2VEC 2.0和Hubert，对现有的自动语音识别方法（ASR）产生了重大改进。当用可用标记的数据进行微调时，在许多语言的基于WAV2VEC 2.0预验证的XLSR-53模型的性能中很明显。但是，鉴定这些模型的性能可能取决于预训练数据集中包含的语言或类似语言数据的数量。在本文中，我们使用几种低资源语言的XLSR-53预告片预测模型进行了持续预处理（COPT）。 COPT比半监督训练（SST）更有效，这是使用ASR中未标记数据的标准方法，因为它忽略了对未标记数据的伪标记的需求。我们在单词错误率（WERS）中显示了COPT结果，等于或稍好于使用SST。此外，我们表明，使用COPT模型进行伪标记，并在SST中使用这些标签，从而进一步改善了WER。

Multilingual end-to-end models have shown great improvement over monolingual systems. With the development of pre-training methods on speech, self-supervised multilingual speech representation learning like XLSR has shown success in improving the performance of multilingual automatic speech recognition (ASR). However, similar to the supervised learning, multilingual pre-training may also suffer from language interference and further affect the application of multilingual system. In this paper, we introduce several techniques for improving self-supervised multilingual pre-training by leveraging auxiliary language information, including the language adversarial training, language embedding and language adaptive training during the pre-training stage. We conduct experiments on a multilingual ASR task consisting of 16 languages. Our experimental results demonstrate 14.3% relative gain over the standard XLSR model, and 19.8% relative gain over the no pre-training multilingual model.

交叉语言语音适应旨在解决利用多种丰富资源语言来构建低资源目标语言的模型的问题。由于低资源语言具有有限的培训数据，语音识别模型可以容易地过度装备。在本文中，我们建议使用适配器来研究多种适配器的性能，用于参数有效的交叉语音语音适应。基于我们以前的MetaAdapter，隐含地利用适配器，我们提出了一种名为SimAdapter的新算法，用于从Adapters明确学习知识。我们的算法利用了可以轻松集成到变压器结构中的适配器.METAADAPTER利用元学习将一般知识从训练数据转移到测试语言。 SimAdapter旨在使用适配器微调期间了解源语言与目标语言之间的相似性。我们在公共语音数据集中对五种低资源语言进行广泛的实验。结果表明，与强大的全型微调基线相比，我们的MetaAdapter和SimAdapter方法可以将WER减小2.98％和2.55％，只有2.5％和15.5％的培训参数。此外，我们还表明这两种新型算法可以集成，以便更好的性能，相对减少高达3.55％。

Automatic speech recognition (ASR) has been established as a well-performing technique for many scenarios where lots of labeled data is available. Additionally, unsupervised representation learning recently helped to tackle tasks with limited data. Following this, hardware limitations and applications give rise to the question how to efficiently take advantage of large pretrained models and reduce their complexity for downstream tasks. In this work, we study a challenging low resource conversational telephony speech corpus from the medical domain in Vietnamese and German. We show the benefits of using unsupervised techniques beyond simple fine-tuning of large pre-trained models, discuss how to adapt them to a practical telephony task including bandwidth transfer and investigate different data conditions for pre-training and fine-tuning. We outperform the project baselines by 22% relative using pretraining techniques. Further gains of 29% can be achieved by refinements of architecture and training and 6% by adding 0.8 h of in-domain adaptation data.

我们介绍了一个CLSRIL-23，一个自我监督的基于学习的音频预训练模型，它学习了来自23个指示语言的原始音频的交叉语言语音表示。它基于Wav2Vec 2.0之上，通过培训蒙面潜在语音表示的对比任务来解决，并共同了解所有语言共享的潜伏的量化。我们在预磨练期间比较语言明智的损失，以比较单机和多语言预制的影响。还比较了一些下游微调任务的表现，并且我们的实验表明，在学习语音表示方面，我们的实验表明，在学习语言的语音表示方面，以及在沿着流的性能方面的学习语音表示。在Hindi中使用多语言预磨模模型时，在WER中观察到5％的减少，9.5％。所有代码模型也都是开放的。 CLSRIL-23是一款以23美元的价格培训的型号，以及近10,000小时的音频数据培训，以促进在语言中的语音识别研究。我们希望将使用自我监督方法创建新的最新状态，特别是对于低资源指示语言。