已经证明了深度学习技术在各种任务中有效，特别是在语音识别系统的发展中，即旨在以一系列写词中的音频句子转录音频句子的系统。尽管该地区进展，但语音识别仍然可以被认为是困难的，特别是对于缺乏可用数据的语言，例如巴西葡萄牙语（BP）。从这个意义上讲，这项工作介绍了仅使用打开可用的音频数据的公共自动语音识别（ASR）系统的开发，从Wav2Vec 2.0 XLSR-53模型的微调，在许多语言中，通过BP数据进行了多种。最终模型在7个不同的数据集中呈现12.4％的平均误差率（在应用语言模型时10.5％）。根据我们的知识，这是开放ASR系统中BP的最佳结果。

本文提出了我们为在葡萄牙语中自发和准备的语音和语音情感识别的共享任务自动语音识别（SE＆R 2022）的共同任务自动语音识别的努力。挑战的目的是考虑葡萄牙语的ASR研究，考虑到不同方言的准备和自发语音。我们的方法包括在域特异性方法中微调ASR模型，应用增益归一化和选择性噪声插入。提出的方法比可用的4个曲目中的3个曲目中提供的强大基线改进了

自动语音识别（ASR）是一个复杂和具有挑战性的任务。近年来，该地区出现了重大进展。特别是对于巴西葡萄牙语（BP）语言，在2020年的下半年，有大约376小时的公众可供ASR任务。在2021年初发布新数据集，这个数字增加到574小时。但是，现有资源由仅包含读取和准备的演讲的Audios组成。缺少数据集包括自发性语音，这在不同的ASR应用中是必不可少的。本文介绍了Coraa（注释Audios语料库）V1。使用290.77小时，在包含验证对（音频转录）的BP中ASR的公共可用数据集。科拉还含有欧洲葡萄牙音像（4.69小时）。我们还提供了一个基于Wav2VEC 2.0 XLSR-53的公共ASR模型，并通过CoraA进行微调。我们的模型在CoraA测试集中实现了24.18％的单词误差率，并且在常见的语音测试集上为20.08％。测量字符错误率时，我们分别获得11.02％和6.34％，分别为CoraA和常见声音。 Coraa Corpora在自发言论中与BP中的改进ASR模型进行了组装，并激励年轻研究人员开始研究葡萄牙语的ASR。所有Corpora都在CC By-NC-ND 4.0许可证下公开提供Https://github.com/nilc-nlp/coraa。

开发语音技术是对低资源语言的挑战，其中注释和原始语音数据稀疏。马耳他是一种这样的语言。近年来，对马耳他的计算处理有所增加，包括语音技术，但后者的资源仍然稀疏。在本文中，我们考虑提高这些语言的语音识别的数据增强技术，专注于马耳他作为测试用例。我们考虑三种不同类型的数据增强：无监督的培训，多语言培训和合成演讲的使用作为培训数据。目标是确定这些技术或它们的组合，是改善起始点是大约7小时转录语音的语言的语言的最有效。我们的结果表明，在这里研究了三种数据增强技术，导致我们在不使用语言模型的情况下实现15％的绝对增长。

我们探索跨语性多演讲者语音综合，并将跨语性语音转换应用于自动语音识别（ASR）系统的数据增强。通过广泛的实验，我们表明我们的方法允许语音合成和语音转换的应用，以在模型培训期间仅使用一个目标语言使用者在目标语言上改善ASR系统。与使用许多讲话者的其他作品相比，我们设法缩小了经过合成的与人类语音训练的ASR模型之间的差距。最后，我们表明，只使用目标语言的单个真实扬声器，可以通过我们的数据增强方法获得有希望的ASR培训结果。

最近的言语和语言技术的方法预先rain非常大型模型，用于特定任务。然而，这种大型模型的好处通常仅限于世界上少数资源丰富的语言。在这项工作中，我们对来自印度次大陆的低资源语言构建ASR系统进行多种贡献。首先，我们从各种领域策划40个印度语言的17,000小时的原始语音数据，包括教育，新闻，技术和金融。其次，使用这种原始语音数据，我们预先存在于40个印度语言的Wav2Vec样式模型的多个变体。第三，我们分析佩带的模型以查找关键特点：码本矢量的类似探测音素在语言中共享，跨层的表示是语言系列的判别，并且注意力头通常会在小型本地窗口中注意。第四，我们微调了9种语言的下游ASR模型，并在3个公共数据集上获得最先进的结果，包括非常低的资源语言，如Sinhala和Nepali。我们的工作建立了多语言预介质是建立ASR系统的有效策略，为印度次大陆的语言上不同的扬声器建立ASR系统。

构建可用的无线电监控自动语音识别（ASR）系统是资源不足的语言的一项挑战性任务，但这在广播是公众沟通和讨论的主要媒介的社会中至关重要。联合国在乌干达的最初努力证明了如何理解被社交媒体排除在社交媒体中的农村人的看法在国家规划中很重要。但是，由于缺乏转录的语音数据集，这些努力正受到挑战。在本文中，Makerere人工智能研究实验室发布了155小时的Luganda Radio演讲语料库。据我们所知，这是撒哈拉以南非洲第一个公开可用的广播数据集。本文描述了语音语料库的开发，并使用开源语音识别工具包Coqui STT Toolkit提出了基线Luganda ASR绩效结果。

AI研究中的基石是创建和采用标准化培训和测试数据集，以指定最新模型的进度。一个特别成功的例子是用于培训和评估英语自然语言理解（NLU）模型的胶水数据集。围绕基于BERT的语言模型的大量研究围绕着胶水中NLU任务的性能改进。为了评估其他语言的语言模型，创建了几个特定语言的胶水数据集。语音语言理解（SLU）的领域遵循了类似的轨迹。大型自我监督模型（例如WAV2VEC2）的成功实现了具有相对易于访问的未标记数据的语音模型。然后可以在SLU任务（例如出色的基准测试）上评估这些模型。在这项工作中，我们将其扩展到通过释放Indicsuperb基准测试来指示语言。具体来说，我们做出以下三项贡献。 （i）我们收集了Kathbath，其中包含来自印度203个地区的1,218个贡献者的12个印度语言的1,684小时的标记语音数据。 （ii）使用Kathbath，我们在6个语音任务中创建基准：自动语音识别，扬声器验证，说话者识别（单声道/多），语言识别，逐个示例查询以及对12种语言的关键字发现。 （iii）在发布的基准测试中，我们与常用的基线Fbank一起训练和评估不同的自我监督模型。我们表明，在大多数任务上，特定于语言的微调模型比基线更准确，包括对于语言识别任务的76 \％差距。但是，对于说话者识别，在大型数据集上训练的自我监督模型证明了一个优势。我们希望Indicsuperb有助于发展印度语言的语音语言理解模型的进步。

Modern speech recognition systems exhibits rapid performance degradation under domain shift. This issue is especially prevalent in data-scarce settings, such as low-resource languages, where diversity of training data is limited. In this work we propose M2DS2, a simple and sample-efficient finetuning strategy for large pretrained speech models, based on mixed source and target domain self-supervision. We find that including source domain self-supervision stabilizes training and avoids mode collapse of the latent representations. For evaluation, we collect HParl, a $120$ hour speech corpus for Greek, consisting of plenary sessions in the Greek Parliament. We merge HParl with two popular Greek corpora to create GREC-MD, a test-bed for multi-domain evaluation of Greek ASR systems. In our experiments we find that, while other Unsupervised Domain Adaptation baselines fail in this resource-constrained environment, M2DS2 yields significant improvements for cross-domain adaptation, even when a only a few hours of in-domain audio are available. When we relax the problem in a weakly supervised setting, we find that independent adaptation for audio using M2DS2 and language using simple LM augmentation techniques is particularly effective, yielding word error rates comparable to the fully supervised baselines.

自动语音识别和文本到语音系统主要以监督方式培训，需要高质量，准确标记的语音数据集。在这项工作中，我们研究语音数据的常见问题，并为语音数据集的构建和交互式错误分析引入工具箱。施工工具基于K \“urzinger等。工作，并且，尽我们所知，数据集探索工具是世界上第一个这类开源工具。我们演示了如何应用这些工具来创建一个俄语语音数据集并分析现有语音数据集（多语种LibrisPeech，Mozilla Common语音）。该工具是开放的，作为Nemo框架的一部分。

在本文中，我们介绍了从包含超过80,000个小时的未标记的语音的大型数据集预处理捷克单语音频变压器方面的进展，随后使用内域数据组合对自动语音识别任务进行微调，并对模型进行微调。6000小时的跨域转录语音。我们在两个公共数据集（CommunVoice和Voxpopuli）和Malach Project中的一个非常具有挑战性的数据集中评估了各种微调设置的大量实验调色板。我们的结果表明，单语WAV2VEC 2.0模型是强大的ASR系统，它可以利用大型标记和未标记的数据集并成功与最先进的LVCSR系统竞争。此外，当没有用于目标ASR任务的培训数据时，WAV2VEC模型被证明是很好的零射门学习者。

最近，将音频转换为文本的系统自动语音识别（ASR）在机器学习社区中引起了很多关注。因此，Huggingface发布了许多公开模型。但是，这些ASR模型中的大多数都有英文提供。泰语中只有少数模型可用。此外，大多数泰国ASR型号都是封闭的，现有开源模型的性能缺乏稳健性。为了解决这个问题，我们使用泰语CommonVoice Corpus V8培训了一种新的ASR模型，并在预训练的XLSR-WAV2VEC模型上训练ASR模型，并训练Trigram语言模型以提高我们的ASR模型的性能。我们希望我们的模型对泰国的个人和ASR社区有益。

We show for the first time that learning powerful representations from speech audio alone followed by fine-tuning on transcribed speech can outperform the best semi-supervised methods while being conceptually simpler. wav2vec 2.0 masks the speech input in the latent space and solves a contrastive task defined over a quantization of the latent representations which are jointly learned. Experiments using all labeled data of Librispeech achieve 1.8/3.3 WER on the clean/other test sets. When lowering the amount of labeled data to one hour, wav2vec 2.0 outperforms the previous state of the art on the 100 hour subset while using 100 times less labeled data. Using just ten minutes of labeled data and pre-training on 53k hours of unlabeled data still achieves 4.8/8.2 WER. This demonstrates the feasibility of speech recognition with limited amounts of labeled data. 1 1 Code and models are available at https://github.com/pytorch/fairseq Preprint. Under review.

最近，用于语音处理的自我监督模型最近作为语音处理管道中流行的基础块出现。这些模型在未标记的音频数据上进行了预训练，然后用于语音处理下游任务，例如自动语音识别（ASR）或语音翻译（ST）。由于这些模型现在都用于研究和工业系统，因此有必要理解某些特征在培训数据中的性别分布等特征所引起的影响。我们以法语为我们的调查语言，训练和比较性别特定的WAV2VEC 2.0模型与在其预训练数据中包含不同性别平衡的模型。通过将这些模型应用于两个语音到文本下游任务：ASR和ST进行比较。结果显示了下游集成的类型。在微调端到端ASR系统之前，我们使用性别特定的预训练观察到较低的总体性能。但是，当将自我监督模型用作特征提取器时，总体ASR和ST结果遵循更复杂的模式，在这种模式下，平衡的预训练模型不一定会带来最佳结果。最后，我们粗制的“公平”度量标准（男性测试集之间测量的相对性能差异）并未显示出从平衡到特定性别的预训练的Preaded Wav2Vec 2.0模型的强烈变化。

我们介绍了一个CLSRIL-23，一个自我监督的基于学习的音频预训练模型，它学习了来自23个指示语言的原始音频的交叉语言语音表示。它基于Wav2Vec 2.0之上，通过培训蒙面潜在语音表示的对比任务来解决，并共同了解所有语言共享的潜伏的量化。我们在预磨练期间比较语言明智的损失，以比较单机和多语言预制的影响。还比较了一些下游微调任务的表现，并且我们的实验表明，在学习语音表示方面，我们的实验表明，在学习语言的语音表示方面，以及在沿着流的性能方面的学习语音表示。在Hindi中使用多语言预磨模模型时，在WER中观察到5％的减少，9.5％。所有代码模型也都是开放的。 CLSRIL-23是一款以23美元的价格培训的型号，以及近10,000小时的音频数据培训，以促进在语言中的语音识别研究。我们希望将使用自我监督方法创建新的最新状态，特别是对于低资源指示语言。

本文介绍了基于Wav2VEC 2.0的跨语言语音表示学习的大规模模型。我们在128种语言中培训最多2B个公共讲话音频的近半小时的型号的模型，比公共数据的数量级比最大的已知事先工作。我们的评估涵盖了广泛的任务，域，数据制度和语言，都是高低资源。在Covost-2语音翻译基准测试中，我们将先前的最先进的状态平均为7.4 BLEU超过21个翻译方向进入英语。对于语音识别，XLS-R在Babel，MLS，CommonVoice以及Voxpopuli上的最佳已知工作中提高，降低了相对的误差率14-34％。 XLS-R还在Voxlingua107语言识别上设置了新的技术状态。此外，我们表明，具有足够的模型规模，交叉思维预先预测可以在将英语演讲翻译成其他语言时才能优于英语撇印，这是一个有利于单晶的预借预制的设置。我们希望XLS-R可以帮助改善世界上更多语言的语音处理任务。

低资源语言的自动语音识别（ASR）改善了语言少数群体的访问，以便人工智能（AI）提供的技术优势。在本文中，我们通过创建一个新的粤语数据集来解决香港广东语言的数据稀缺问题。我们的数据集多域粤语语料库（MDCC）由73.6小时的清洁阅读语音与成绩单配对，从香港的粤语有声读物收集。它结合了哲学，政治，教育，文化，生活方式和家庭领域，涵盖了广泛的主题。我们还查看所有现有的粤语数据集，并在两个最大的数据集（MDCC和公共语音ZH-HK）上执行实验。我们根据其语音类型，数据源，总大小和可用性分析现有数据集。使用Fairseq S2T变压器，最先进的ASR模型进行实验结果，显示了我们数据集的有效性。此外，我们通过在MDCC和常见的声音ZH-HK上应用多数据集学习来创建一个强大而强大的粤语ASR模型。

捷克语是一种非常特殊的语言，因为它在形式和口语形式之间的差异很大。虽然正式（书面）形式主要用于官方文件，文学和公开演讲，但通言（口语）表格在休闲演讲中被广泛使用。该差距引入了ASR系统的严重问题，尤其是在培训或评估包含大量口语语音（例如Malach Project）的数据集上的ASR模型时。在本文中，我们正在根据端到端ASR系统中的新范式解决这个问题，最近引入了自我监督的音频变压器。具体而言，我们正在研究口语语音对WAV2VEC 2.0模型性能的影响及其直接转录口语演讲的能力。我们在培训成绩单，语言模型和评估笔录中以正式和口语形式提出结果。

We study the capabilities of speech processing systems trained simply to predict large amounts of transcripts of audio on the internet. When scaled to 680,000 hours of multilingual and multitask supervision, the resulting models generalize well to standard benchmarks and are often competitive with prior fully supervised results but in a zero-shot transfer setting without the need for any fine-tuning. When compared to humans, the models approach their accuracy and robustness. We are releasing models and inference code to serve as a foundation for further work on robust speech processing.

YOUTTS为零拍摄多扬声器TTS的任务带来了多语言方法的力量。我们的方法在VITS模型上构建，并为零拍摄的多扬声器和多语言训练增加了几种新颖的修改。我们实现了最先进的（SOTA）导致零拍摄的多扬声器TTS以及与VCTK数据集上的零拍语音转换中的SOTA相当的结果。此外，我们的方法可以实现具有单扬声器数据集的目标语言的有希望的结果，以低资源语言为零拍摄多扬声器TTS和零拍语音转换系统的开放可能性。最后，可以微调言论不到1分钟的言论，并实现最先进的语音相似性和合理的质量。这对于允许具有非常不同的语音或从训练期间的记录特征的讲话来合成非常重要。