通过首先通过自动语音识别（ASR）转换话语，然后将输出馈送到基于文本的模型，通常通过转录语言理解（SLU）任务来解决。自我监督代表学习的最新进展旨在改善ASR组件。我们调查了是否对演讲的代表性学习已经成熟，以取代SLU中的ASR。我们将学位语音特征与Wav2Vec 2.0，最先进的ASR成绩单以及基于新型语音的名称实体识别任务的输入，是真实世界紧急呼叫和两个基于语音的命名实体识别任务的输入。现有的SLU基准。我们表明，学习的语音功能优于三种分类任务的ASR成绩单。对于机器翻译，ASR成绩单仍然是更好的选择。我们突出了Wav2VEC 2.0表示的内在稳健性，以失控的单词作为更好的性能的关键。

通过共享数据集和基准，已经促进了语音处理的进展。历史上，这些都集中在自动语音识别（ASR），扬声器标识或其他较低级别的任务上。兴趣在更高层次的口语中越来越多，理解任务，包括使用端到端模型，但是此类任务的注释数据集较少。与此同时，最近的工作显示了预先培训通用表示的可能性，然后使用相对较少标记的数据进行微调的多个任务。我们建议为口语语言理解（屠宰）创建一套基准任务，由有限尺寸标记的培训集和相应的评估集组成。该资源将允许研究界跟踪进度，评估高级任务的预先接受预期的表示，并研究开放的问题，例如管道与端到端方法的实用性。我们介绍了雪橇基准套件的第一阶段，包括指定实体识别，情感分析和相应数据集上的ASR。我们专注于自然产生的（未读取或综合）语音和自由可用的数据集。我们为VoxceReb和Voxpopuli数据集的子集提供新的转录和注释，基线模型的评估指标和结果，以及重现基线的开源工具包，并评估新模型。

已经证明了深度学习技术在各种任务中有效，特别是在语音识别系统的发展中，即旨在以一系列写词中的音频句子转录音频句子的系统。尽管该地区进展，但语音识别仍然可以被认为是困难的，特别是对于缺乏可用数据的语言，例如巴西葡萄牙语（BP）。从这个意义上讲，这项工作介绍了仅使用打开可用的音频数据的公共自动语音识别（ASR）系统的开发，从Wav2Vec 2.0 XLSR-53模型的微调，在许多语言中，通过BP数据进行了多种。最终模型在7个不同的数据集中呈现12.4％的平均误差率（在应用语言模型时10.5％）。根据我们的知识，这是开放ASR系统中BP的最佳结果。

自我监督学习（SSL）在语音识别方面取得了巨大的成功，而有限的探索已尝试完成其他语音处理任务。由于语音信号包含多方面的信息，包括说话者身份，副语言学，口语内容等，学习所有语音任务的通用表示都具有挑战性。为了解决该问题，我们提出了一个新的预培训模型WAVLM，以解决全堆栈的下游语音任务。 Wavlm共同学习了蒙面的语音预测和预训练。通过这种方式，WAVLM不仅可以通过掩盖的语音预测来保持语音内容建模能力，而且还可以通过语音denoing来提高非ASR任务的潜力。此外，WAVLM还采用封闭式的变压器结构的封闭相对位置偏置，以更好地捕获输入语音的序列排序。我们还将培训数据集从60k小时扩展到94K小时。 WAVLM大型在精湛的基准上实现了最先进的性能，并在其代表性基准上为各种语音处理任务带来了重大改进。代码和预培训模型可在https://aka.ms/wavlm上找到。

AI研究中的基石是创建和采用标准化培训和测试数据集，以指定最新模型的进度。一个特别成功的例子是用于培训和评估英语自然语言理解（NLU）模型的胶水数据集。围绕基于BERT的语言模型的大量研究围绕着胶水中NLU任务的性能改进。为了评估其他语言的语言模型，创建了几个特定语言的胶水数据集。语音语言理解（SLU）的领域遵循了类似的轨迹。大型自我监督模型（例如WAV2VEC2）的成功实现了具有相对易于访问的未标记数据的语音模型。然后可以在SLU任务（例如出色的基准测试）上评估这些模型。在这项工作中，我们将其扩展到通过释放Indicsuperb基准测试来指示语言。具体来说，我们做出以下三项贡献。 （i）我们收集了Kathbath，其中包含来自印度203个地区的1,218个贡献者的12个印度语言的1,684小时的标记语音数据。 （ii）使用Kathbath，我们在6个语音任务中创建基准：自动语音识别，扬声器验证，说话者识别（单声道/多），语言识别，逐个示例查询以及对12种语言的关键字发现。 （iii）在发布的基准测试中，我们与常用的基线Fbank一起训练和评估不同的自我监督模型。我们表明，在大多数任务上，特定于语言的微调模型比基线更准确，包括对于语言识别任务的76 \％差距。但是，对于说话者识别，在大型数据集上训练的自我监督模型证明了一个优势。我们希望Indicsuperb有助于发展印度语言的语音语言理解模型的进步。

本文介绍了基于Wav2VEC 2.0的跨语言语音表示学习的大规模模型。我们在128种语言中培训最多2B个公共讲话音频的近半小时的型号的模型，比公共数据的数量级比最大的已知事先工作。我们的评估涵盖了广泛的任务，域，数据制度和语言，都是高低资源。在Covost-2语音翻译基准测试中，我们将先前的最先进的状态平均为7.4 BLEU超过21个翻译方向进入英语。对于语音识别，XLS-R在Babel，MLS，CommonVoice以及Voxpopuli上的最佳已知工作中提高，降低了相对的误差率14-34％。 XLS-R还在Voxlingua107语言识别上设置了新的技术状态。此外，我们表明，具有足够的模型规模，交叉思维预先预测可以在将英语演讲翻译成其他语言时才能优于英语撇印，这是一个有利于单晶的预借预制的设置。我们希望XLS-R可以帮助改善世界上更多语言的语音处理任务。

最近，用于语音处理的自我监督模型最近作为语音处理管道中流行的基础块出现。这些模型在未标记的音频数据上进行了预训练，然后用于语音处理下游任务，例如自动语音识别（ASR）或语音翻译（ST）。由于这些模型现在都用于研究和工业系统，因此有必要理解某些特征在培训数据中的性别分布等特征所引起的影响。我们以法语为我们的调查语言，训练和比较性别特定的WAV2VEC 2.0模型与在其预训练数据中包含不同性别平衡的模型。通过将这些模型应用于两个语音到文本下游任务：ASR和ST进行比较。结果显示了下游集成的类型。在微调端到端ASR系统之前，我们使用性别特定的预训练观察到较低的总体性能。但是，当将自我监督模型用作特征提取器时，总体ASR和ST结果遵循更复杂的模式，在这种模式下，平衡的预训练模型不一定会带来最佳结果。最后，我们粗制的“公平”度量标准（男性测试集之间测量的相对性能差异）并未显示出从平衡到特定性别的预训练的Preaded Wav2Vec 2.0模型的强烈变化。

Collecting sufficient labeled data for spoken language understanding (SLU) is expensive and time-consuming. Recent studies achieved promising results by using pre-trained models in low-resource scenarios. Inspired by this, we aim to ask: which (if any) pre-training strategies can improve performance across SLU benchmarks? To answer this question, we employ four types of pre-trained models and their combinations for SLU. We leverage self-supervised speech and language models (LM) pre-trained on large quantities of unpaired data to extract strong speech and text representations. We also explore using supervised models pre-trained on larger external automatic speech recognition (ASR) or SLU corpora. We conduct extensive experiments on the SLU Evaluation (SLUE) benchmark and observe self-supervised pre-trained models to be more powerful, with pre-trained LM and speech models being most beneficial for the Sentiment Analysis and Named Entity Recognition task, respectively.

Through solving pretext tasks, self-supervised learning leverages unlabeled data to extract useful latent representations replacing traditional input features in the downstream task. In audio/speech signal processing, a wide range of features where engineered through decades of research efforts. As it turns out, learning to predict such features (a.k.a pseudo-labels) has proven to be a particularly relevant pretext task, leading to useful self-supervised representations which prove to be effective for downstream tasks. However, methods and common practices for combining such pretext tasks for better performance on the downstream task have not been explored and understood properly. In fact, the process relies almost exclusively on a computationally heavy experimental procedure, which becomes intractable with the increase of the number of pretext tasks. This paper introduces a method to select a group of pretext tasks among a set of candidates. The method we propose estimates calibrated weights for the partial losses corresponding to the considered pretext tasks during the self-supervised training process. The experiments conducted on automatic speech recognition, speaker and emotion recognition validate our approach, as the groups selected and weighted with our method perform better than classic baselines, thus facilitating the selection and combination of relevant pseudo-labels for self-supervised representation learning.

口语语言理解（SLU）任务涉及从语音音频信号映射到语义标签。鉴于此类任务的复杂性，可能预期良好的性能需要大量标记的数据集，这很难为每个新任务和域收集。但是，最近的自我监督讲话表现的进步使得考虑使用有限标记的数据学习SLU模型是可行的。在这项工作中，我们专注于低资源讨论（ner）并解决问题：超越自我监督的预培训，我们如何使用未为任务注释的外部语音和/或文本数据？我们借鉴了各种方法，包括自我训练，知识蒸馏和转移学习，并考虑其对端到端模型和管道（语音识别后跟文本型号）的适用性。我们发现，这些方法中的几种方法可以在资源受限的环境中提高绩效，超出了训练有素的表示的福利。与事先工作相比，我们发现改进的F1分数高达16％。虽然最好的基线模型是一种管道方法，但使用外部数据时最终通过端到端模型实现的最佳性能。我们提供了详细的比较和分析，例如，端到端模型能够专注于更加立列人的单词。

自我监督的语音表示，如Wav2Vec 2.0和Hubert正在自动语音识别（ASR）中进行革命性进展。但是，未经监督模型没有完全证明在ASR以外的任务中产生更好的性能。在这项工作中，我们探索了Wav2Vec 2.0和Hubert预先训练模型的部分微调和整个微调，适用于三个非ASR语音任务：语音情感识别，发言者验证和口语理解。我们还比较带有/没有ASR微调的预训练型号。通过简单的下游框架，最佳分数对IEMocap上的语音情感识别的加权精度达到79.58％，扬声器验证对voxcereB1的2.36％，意图分类的准确性为87.51％，Slotp的槽填充的75.32％f1，因此为这三个基准设置新的最先进，证明了微调Wave2VEC 2.0和Hubert模型可以更好地学习韵律，语音印刷和语义表示。

随着自动语音处理（ASR）系统越来越好，使用ASR输出越来越令于进行下游自然语言处理（NLP）任务。但是，很少的开源工具包可用于在不同口语理解（SLU）基准上生成可重复的结果。因此，需要建立一个开源标准，可以用于具有更快的开始进入SLU研究。我们展示了Espnet-SLU，它旨在在一个框架中快速发展口语语言理解。 Espnet-SLU是一个项目内部到结束语音处理工具包，ESPNET，它是一个广泛使用的开源标准，用于各种语音处理任务，如ASR，文本到语音（TTS）和语音转换（ST）。我们增强了工具包，为各种SLU基准提供实现，使研究人员能够无缝混合和匹配不同的ASR和NLU模型。我们还提供预磨损的模型，具有集中调谐的超参数，可以匹配或甚至优于最新的最先进的性能。该工具包在https://github.com/espnet/espnet上公开提供。

毒性言论，也被称为仇恨言论，被认为是今天批评在线社交媒体的重要问题之一。最近关于有毒语音检测的工作受到文本的模型，没有现有的毒性检测从口语中的出口检测。在本文中，我们提出了一种从口语中检测毒性的新口语处理任务。我们介绍了排毒，这是英语演讲的第一个公开的毒性注释数据集，来自各种公开可用的语音数据库，包括超过200万个话语。最后，我们还提供了对毒性注释的语音语料库的分析可以帮助促进E2E模型的发展，更好地捕获语音中的各种韵律线索，从而提高了口语的毒性分类。

我们介绍了CVSS，这是一种大规模的多语言对语音转换（S2ST）语料库，从21种语言覆盖了21种语言的句子级并行S2ST对。通过将Covost 2从Covost 2的翻译文本综合将翻译文本与最先进的TTS系统合成语音，源自公共语音语音语料库和COVOST 2语音到文本转换（ST）语料库。提供了两个版本的翻译演讲：1）CVSS-C：所有翻译演讲都是一种高质量的规范声音; 2）CVSS-T：翻译语音从相应的源语音传输。此外，CVSS提供标准化的翻译文本，它与翻译语音中的发音匹配。在每个版本的CVSS上，我们建立了基线多语言直接S2ST模型和Cascade S2ST模型，验证了语料库的有效性。为了构建强大的Cascade S2ST基准，我们在Covost 2上培训了St模型，这优于前一种最先进的培训，而无需额外的数据。尽管如此，直接S2ST模型的性能在从头开始训练时接近强级联基线，并且在匹配ST模型中初始化时，仅在ASR转换转换时的0.1或0.7bleu差异。

Spoken language understanding (SLU) tasks have been studied for many decades in the speech research community, but have not received as much attention as lower-level tasks like speech and speaker recognition. In particular, there are not nearly as many SLU task benchmarks, and many of the existing ones use data that is not freely available to all researchers. Recent work has begun to introduce such benchmark datasets for several tasks. In this work, we introduce several new annotated SLU benchmark tasks based on freely available speech data, which complement existing benchmarks and address gaps in the SLU evaluation landscape. We contribute four tasks: question answering and summarization involve inference over longer speech sequences; named entity localization addresses the speech-specific task of locating the targeted content in the signal; dialog act classification identifies the function of a given speech utterance. We follow the blueprint of the Spoken Language Understanding Evaluation (SLUE) benchmark suite. In order to facilitate the development of SLU models that leverage the success of pre-trained speech representations, we will be publishing for each task (i) annotations for a relatively small fine-tuning set, (ii) annotated development and test sets, and (iii) baseline models for easy reproducibility and comparisons. In this work, we present the details of data collection and annotation and the performance of the baseline models. We also perform sensitivity analysis of pipeline models' performance (speech recognizer + text model) to the speech recognition accuracy, using more than 20 state-of-the-art speech recognition models.

本文提出了我们为在葡萄牙语中自发和准备的语音和语音情感识别的共享任务自动语音识别（SE＆R 2022）的共同任务自动语音识别的努力。挑战的目的是考虑葡萄牙语的ASR研究，考虑到不同方言的准备和自发语音。我们的方法包括在域特异性方法中微调ASR模型，应用增益归一化和选择性噪声插入。提出的方法比可用的4个曲目中的3个曲目中提供的强大基线改进了

In this paper, we perform an exhaustive evaluation of different representations to address the intent classification problem in a Spoken Language Understanding (SLU) setup. We benchmark three types of systems to perform the SLU intent detection task: 1) text-based, 2) lattice-based, and a novel 3) multimodal approach. Our work provides a comprehensive analysis of what could be the achievable performance of different state-of-the-art SLU systems under different circumstances, e.g., automatically- vs. manually-generated transcripts. We evaluate the systems on the publicly available SLURP spoken language resource corpus. Our results indicate that using richer forms of Automatic Speech Recognition (ASR) outputs allows SLU systems to improve in comparison to the 1-best setup (4% relative improvement). However, crossmodal approaches, i.e., learning from acoustic and text embeddings, obtains performance similar to the oracle setup, and a relative improvement of 18% over the 1-best configuration. Thus, crossmodal architectures represent a good alternative to overcome the limitations of working purely automatically generated textual data.

最近，先驱工作发现，演讲预训练模型可以解决全堆栈语音处理任务，因为该模型利用底层学习扬声器相关信息和顶层以编码与内容相关的信息。由于网络容量有限，我们认为如果模型专用于音频内容信息学习，则可以进一步提高语音识别性能。为此，我们向自我监督学习（ILS-SSL）提出中间层监督，这将模型通过在中间层上添加额外的SSL丢失来尽可能地专注于内容信息。 LibrisPeech测试 - 其他集合的实验表明，我们的方法显着优于Hubert，这实现了基数/大型模型的W / O语言模型设置的相对字错误率降低了23.5％/ 11.6％。详细分析显示我们模型的底层与拼音单元具有更好的相关性，这与我们的直觉一致，并解释了我们对ASR的方法的成功。

Personal assistants, automatic speech recognizers and dialogue understanding systems are becoming more critical in our interconnected digital world. A clear example is air traffic control (ATC) communications. ATC aims at guiding aircraft and controlling the airspace in a safe and optimal manner. These voice-based dialogues are carried between an air traffic controller (ATCO) and pilots via very-high frequency radio channels. In order to incorporate these novel technologies into ATC (low-resource domain), large-scale annotated datasets are required to develop the data-driven AI systems. Two examples are automatic speech recognition (ASR) and natural language understanding (NLU). In this paper, we introduce the ATCO2 corpus, a dataset that aims at fostering research on the challenging ATC field, which has lagged behind due to lack of annotated data. The ATCO2 corpus covers 1) data collection and pre-processing, 2) pseudo-annotations of speech data, and 3) extraction of ATC-related named entities. The ATCO2 corpus is split into three subsets. 1) ATCO2-test-set corpus contains 4 hours of ATC speech with manual transcripts and a subset with gold annotations for named-entity recognition (callsign, command, value). 2) The ATCO2-PL-set corpus consists of 5281 hours of unlabeled ATC data enriched with automatic transcripts from an in-domain speech recognizer, contextual information, speaker turn information, signal-to-noise ratio estimate and English language detection score per sample. Both available for purchase through ELDA at http://catalog.elra.info/en-us/repository/browse/ELRA-S0484. 3) The ATCO2-test-set-1h corpus is a one-hour subset from the original test set corpus, that we are offering for free at https://www.atco2.org/data. We expect the ATCO2 corpus will foster research on robust ASR and NLU not only in the field of ATC communications but also in the general research community.

在本文中，我们介绍了一个高质量的大规模基准数据集，用于英语 - 越南语音翻译，其中有508音频小时，由331k的三胞胎组成（句子长度的音频，英语源笔录句，越南人目标subtitle句子）。我们还使用强基础进行了经验实验，发现传统的“级联”方法仍然优于现代“端到端”方法。据我们所知，这是第一个大规模的英语 - 越南语音翻译研究。我们希望我们的公开数据集和研究都可以作为未来研究和英语语音翻译应用的起点。我们的数据集可从https://github.com/vinairesearch/phost获得