最新的语音识别模型依赖于大型监督数据集，这些数据集对于许多低资源语言而言不可用。在这项工作中，我们提出了一条语音识别管道，该管道不需要目标语言的任何音频。唯一的假设是我们可以访问原始文本数据集或一组N-Gram统计信息。我们的语音管道包括三个组成部分：声学，发音和语言模型。与标准管道不同，我们的声学和​​发音模型在没有任何监督的情况下使用多语言模型。语言模型是使用n-gram统计信息或原始文本数据集构建的。我们通过将其与Croubadan结合使用：一种大型濒危语言N-Gram数据库来构建1909年语言的语音识别。此外，我们在两个数据集中测试了129种语言的方法：常见语音和CMU Wilderness数据集。我们在使用Crubadan统计数据的荒野数据集上获得了50％的CER和74％WER，并在使用10000原始文本说话时将其提高到45％的CER和69％。

我们研究应用语言模型（LM）对指示语言自动语音识别（ASR）系统输出的影响。我们微调WAV2VEC $ 2.0 $型号的$ 18 $指示性语言，并通过根据各种来源派生的文本训练的语言模型调整结果。我们的发现表明，平均字符错误率（CER）降低了$ 28 $ \％，平均单词错误率（WER）在解码LM后降低了$ 36 $ \％。我们表明，与多样化的LM相比，大型LM可能无法提供实质性的改进。我们还证明，可以在特定于域的数据上获得高质量的转录，而无需重新培训ASR模型并显示了生物医学领域的结果。

我们介绍了一种用于跨语言训练ASR系统的方法，使用目标语言绝对没有转录的训练数据，并且没有相关语言的语音知识。我们的方法使用了一种解密算法的新应用，该算法仅在目标语言中仅操作不配对的语音和文本数据。我们将此破译应用于由通用电话识别器产生的电话序列，由语言语音语料库培训，我们遵循平稳半监督培训，以获得新语言的声学模型。据我们所知，这是零资源交叉语言ASR的第一种实用方法，不依赖于任何手工制作的语音信息。我们对来自Globalphone语料库的读语音进行了实验，并表明可以在目标语言中仅在20分钟的数据上学习解密模型。当用于生成半监督培训的伪标签时，我们获得了比在同一数据上培训的等同完全监督模型的25％至仅5％的绝对差。

捷克语是一种非常特殊的语言，因为它在形式和口语形式之间的差异很大。虽然正式（书面）形式主要用于官方文件，文学和公开演讲，但通言（口语）表格在休闲演讲中被广泛使用。该差距引入了ASR系统的严重问题，尤其是在培训或评估包含大量口语语音（例如Malach Project）的数据集上的ASR模型时。在本文中，我们正在根据端到端ASR系统中的新范式解决这个问题，最近引入了自我监督的音频变压器。具体而言，我们正在研究口语语音对WAV2VEC 2.0模型性能的影响及其直接转录口语演讲的能力。我们在培训成绩单，语言模型和评估笔录中以正式和口语形式提出结果。

最近的言语和语言技术的方法预先rain非常大型模型，用于特定任务。然而，这种大型模型的好处通常仅限于世界上少数资源丰富的语言。在这项工作中，我们对来自印度次大陆的低资源语言构建ASR系统进行多种贡献。首先，我们从各种领域策划40个印度语言的17,000小时的原始语音数据，包括教育，新闻，技术和金融。其次，使用这种原始语音数据，我们预先存在于40个印度语言的Wav2Vec样式模型的多个变体。第三，我们分析佩带的模型以查找关键特点：码本矢量的类似探测音素在语言中共享，跨层的表示是语言系列的判别，并且注意力头通常会在小型本地窗口中注意。第四，我们微调了9种语言的下游ASR模型，并在3个公共数据集上获得最先进的结果，包括非常低的资源语言，如Sinhala和Nepali。我们的工作建立了多语言预介质是建立ASR系统的有效策略，为印度次大陆的语言上不同的扬声器建立ASR系统。

我们提出Vakyansh，这是一种用指示语言识别语音识别的端到端工具包。印度拥有近121种语言和大约125亿扬声器。然而，大多数语言在数据和预验证的模型方面都是低资源。通过Vakyansh，我们介绍了自动数据管道，用于数据创建，模型培训，模型评估和部署。我们以23个指示语言和Train Wav2Vec 2.0预验证的模型创建14,000小时的语音数据。然后，对这些预审预告措施的模型进行了修订，以创建18个指示语言的最先进的语音识别模型，其次是语言模型和标点符号修复模型。我们以使命开源所有这些资源，这将激发语音社区使用ASR模型以指示语言开发语音的首次应用程序。

无监督的文本到语音综合（TTS）系统学会通过观察以下语言来生成与任何语言中任何书面句子相对应的语音波形：1）用该语言收集的未转录语音波形的集合； 2）用该语言编写的文本集合，无需访问任何抄录的语音。开发这种系统可以显着提高语言技术对语言的可用性，而无需大量平行的语音和文本数据。本文提出了一个基于对齐模块的无监督的TTS系统，该模块输出了伪文本和另一个使用伪文本进行训练和真实文本进行推理的合成模块。我们的无监督系统可以以七种语言的方式实现与监督系统相当的性能，每种语音约10-20小时。还对文本单元和声码器的效果进行了仔细的研究，以更好地了解哪些因素可能影响无监督的TTS性能。可以在https://cactuswiththoughts.github.io/unsuptts-demo上找到我们的模型生成的样品，可以在https://github.com/lwang114/unsuptts上找到我们的代码。

在本文中，我们提出了一种三阶段培训方法，提高低资源语言的语音识别准确性。我们探索并提出了一种有效的技术组合，如传输学习，编码器冻结，使用文本到语音（TTS）和半监督学习（SSL）。为了提高低资源意大利ASR的准确性，我们可以分别利用训练有素的英语模型，未标记的文本语料库和未标记的音频语料库，分别分别使用传输学习，TTS增强和SSL。在第一阶段，我们使用从训练有素的英语模型的转移学习。这主要有助于学习来自资源丰富的语言的声学信息。该阶段通过基线减少约24％的相对字错误率（WER）。在第二阶段，我们通过TTS数据增强利用未标记的文本数据来将语言信息合并到模型中。我们还在此阶段探索冻结声学编码器。 TTS数据增强有助于我们进一步减少〜21％相对〜21％。最后，在第三阶段，我们通过使用来自未标记的音频数据的SSL来减少另一个4％的相对。总体而言，我们的双通话识别系统在第一次通过的单调散文注意力（Mocha）和第二次通过的全部关注，相对于基线，减少了〜42％的WER。

无监督的语音识别表现出了使每种语言都可以访问的自动语音识别（ASR）系统的巨大潜力。但是，现有方法仍然严重依赖手工制作的预处理。与端到端进行监督语音识别的趋势类似，我们介绍了WAV2VEC-U 2.0，它消除了所有音频端的预处理，并通过更好的体系结构提高了准确性。此外，我们引入了一个辅助自我监督的目标，该目标将模型的预测与输入联系起来。实验表明，WAV2VEC-U 2.0在概念上更简单的同时，可以改善不同语言的无监督识别结果。

Collecting sufficient labeled data for spoken language understanding (SLU) is expensive and time-consuming. Recent studies achieved promising results by using pre-trained models in low-resource scenarios. Inspired by this, we aim to ask: which (if any) pre-training strategies can improve performance across SLU benchmarks? To answer this question, we employ four types of pre-trained models and their combinations for SLU. We leverage self-supervised speech and language models (LM) pre-trained on large quantities of unpaired data to extract strong speech and text representations. We also explore using supervised models pre-trained on larger external automatic speech recognition (ASR) or SLU corpora. We conduct extensive experiments on the SLU Evaluation (SLUE) benchmark and observe self-supervised pre-trained models to be more powerful, with pre-trained LM and speech models being most beneficial for the Sentiment Analysis and Named Entity Recognition task, respectively.

已经证明了深度学习技术在各种任务中有效，特别是在语音识别系统的发展中，即旨在以一系列写词中的音频句子转录音频句子的系统。尽管该地区进展，但语音识别仍然可以被认为是困难的，特别是对于缺乏可用数据的语言，例如巴西葡萄牙语（BP）。从这个意义上讲，这项工作介绍了仅使用打开可用的音频数据的公共自动语音识别（ASR）系统的开发，从Wav2Vec 2.0 XLSR-53模型的微调，在许多语言中，通过BP数据进行了多种。最终模型在7个不同的数据集中呈现12.4％的平均误差率（在应用语言模型时10.5％）。根据我们的知识，这是开放ASR系统中BP的最佳结果。

培训多语言自动语音识别（ASR）系统具有挑战性，因为声学和词汇信息通常是特定于语言的。由于缺乏开源数据集和不同方法的结果，培训对Indo语言的多语言系统更加困难。我们将端到端多语言语音识别系统的性能与以语言识别（LID）为条件的单语模型的性能进行比较。来自多语言模型的解码信息用于语言识别，然后与单语模型结合使用，以改善跨语言的50％WER。我们还提出了一种类似的技术来解决代码切换问题，并在印度英语和孟加拉国英语中分别达到21.77和28.27。我们的工作谈到了如何将基于变压器的ASR尤其是WAV2VEC 2.0应用于开发用于指示语言的多语言ASR和代码转换ASR。

在本文中，我们介绍了从包含超过80,000个小时的未标记的语音的大型数据集预处理捷克单语音频变压器方面的进展，随后使用内域数据组合对自动语音识别任务进行微调，并对模型进行微调。6000小时的跨域转录语音。我们在两个公共数据集（CommunVoice和Voxpopuli）和Malach Project中的一个非常具有挑战性的数据集中评估了各种微调设置的大量实验调色板。我们的结果表明，单语WAV2VEC 2.0模型是强大的ASR系统，它可以利用大型标记和未标记的数据集并成功与最先进的LVCSR系统竞争。此外，当没有用于目标ASR任务的培训数据时，WAV2VEC模型被证明是很好的零射门学习者。

We study the capabilities of speech processing systems trained simply to predict large amounts of transcripts of audio on the internet. When scaled to 680,000 hours of multilingual and multitask supervision, the resulting models generalize well to standard benchmarks and are often competitive with prior fully supervised results but in a zero-shot transfer setting without the need for any fine-tuning. When compared to humans, the models approach their accuracy and robustness. We are releasing models and inference code to serve as a foundation for further work on robust speech processing.

Modern speech recognition systems exhibits rapid performance degradation under domain shift. This issue is especially prevalent in data-scarce settings, such as low-resource languages, where diversity of training data is limited. In this work we propose M2DS2, a simple and sample-efficient finetuning strategy for large pretrained speech models, based on mixed source and target domain self-supervision. We find that including source domain self-supervision stabilizes training and avoids mode collapse of the latent representations. For evaluation, we collect HParl, a $120$ hour speech corpus for Greek, consisting of plenary sessions in the Greek Parliament. We merge HParl with two popular Greek corpora to create GREC-MD, a test-bed for multi-domain evaluation of Greek ASR systems. In our experiments we find that, while other Unsupervised Domain Adaptation baselines fail in this resource-constrained environment, M2DS2 yields significant improvements for cross-domain adaptation, even when a only a few hours of in-domain audio are available. When we relax the problem in a weakly supervised setting, we find that independent adaptation for audio using M2DS2 and language using simple LM augmentation techniques is particularly effective, yielding word error rates comparable to the fully supervised baselines.

本文介绍了基于Wav2VEC 2.0的跨语言语音表示学习的大规模模型。我们在128种语言中培训最多2B个公共讲话音频的近半小时的型号的模型，比公共数据的数量级比最大的已知事先工作。我们的评估涵盖了广泛的任务，域，数据制度和语言，都是高低资源。在Covost-2语音翻译基准测试中，我们将先前的最先进的状态平均为7.4 BLEU超过21个翻译方向进入英语。对于语音识别，XLS-R在Babel，MLS，CommonVoice以及Voxpopuli上的最佳已知工作中提高，降低了相对的误差率14-34％。 XLS-R还在Voxlingua107语言识别上设置了新的技术状态。此外，我们表明，具有足够的模型规模，交叉思维预先预测可以在将英语演讲翻译成其他语言时才能优于英语撇印，这是一个有利于单晶的预借预制的设置。我们希望XLS-R可以帮助改善世界上更多语言的语音处理任务。

开发语音技术是对低资源语言的挑战，其中注释和原始语音数据稀疏。马耳他是一种这样的语言。近年来，对马耳他的计算处理有所增加，包括语音技术，但后者的资源仍然稀疏。在本文中，我们考虑提高这些语言的语音识别的数据增强技术，专注于马耳他作为测试用例。我们考虑三种不同类型的数据增强：无监督的培训，多语言培训和合成演讲的使用作为培训数据。目标是确定这些技术或它们的组合，是改善起始点是大约7小时转录语音的语言的语言的最有效。我们的结果表明，在这里研究了三种数据增强技术，导致我们在不使用语言模型的情况下实现15％的绝对增长。

End-to-end multilingual ASR has become more appealing because of several reasons such as simplifying the training and deployment process and positive performance transfer from high-resource to low-resource languages. However, scaling up the number of languages, total hours, and number of unique tokens is not a trivial task. This paper explores large-scale multilingual ASR models on 70 languages. We inspect two architectures: (1) Shared embedding and output and (2) Multiple embedding and output model. In the shared model experiments, we show the importance of tokenization strategy across different languages. Later, we use our optimal tokenization strategy to train multiple embedding and output model to further improve our result. Our multilingual ASR achieves 13.9%-15.6% average WER relative improvement compared to monolingual models. We show that our multilingual ASR generalizes well on an unseen dataset and domain, achieving 9.5% and 7.5% WER on Multilingual Librispeech (MLS) with zero-shot and finetuning, respectively.

This paper describes the ESPnet Unsupervised ASR Open-source Toolkit (EURO), an end-to-end open-source toolkit for unsupervised automatic speech recognition (UASR). EURO adopts the state-of-the-art UASR learning method introduced by the Wav2vec-U, originally implemented at FAIRSEQ, which leverages self-supervised speech representations and adversarial training. In addition to wav2vec2, EURO extends the functionality and promotes reproducibility for UASR tasks by integrating S3PRL and k2, resulting in flexible frontends from 27 self-supervised models and various graph-based decoding strategies. EURO is implemented in ESPnet and follows its unified pipeline to provide UASR recipes with a complete setup. This improves the pipeline's efficiency and allows EURO to be easily applied to existing datasets in ESPnet. Extensive experiments on three mainstream self-supervised models demonstrate the toolkit's effectiveness and achieve state-of-the-art UASR performance on TIMIT and LibriSpeech datasets. EURO will be publicly available at https://github.com/espnet/espnet, aiming to promote this exciting and emerging research area based on UASR through open-source activity.

自动语音识别（ASR）是新服务的关键元素，可帮助用户与自动化系统进行交互。深度学习方法使得用单词错误率低于5％的英语ASR部署系统成为可能。但是，这些方法的使用仅适用于具有数百或数千小时音频及其相应转录的语言。为了使所谓的低资源语言加快可以改善其ASR系统性能的资源的可用性，正在研究基于现有的资源来创建新资源的方法。在本文中，我们描述了我们的数据增强方法，以改善低资源和凝集性语言的ASR模型的结果。我们使用Wav2letter ++模型进行了为Quechua开发ASR的实验。通过我们的基本模型方法，我们将WER降低了8.73％。由此产生的ASR模型获得了22.75％的WER，并接受了99小时的原始资源和99小时的合成数据的培训，并结合了文本增强和合成语音发电