In this paper, we perform an exhaustive evaluation of different representations to address the intent classification problem in a Spoken Language Understanding (SLU) setup. We benchmark three types of systems to perform the SLU intent detection task: 1) text-based, 2) lattice-based, and a novel 3) multimodal approach. Our work provides a comprehensive analysis of what could be the achievable performance of different state-of-the-art SLU systems under different circumstances, e.g., automatically- vs. manually-generated transcripts. We evaluate the systems on the publicly available SLURP spoken language resource corpus. Our results indicate that using richer forms of Automatic Speech Recognition (ASR) outputs allows SLU systems to improve in comparison to the 1-best setup (4% relative improvement). However, crossmodal approaches, i.e., learning from acoustic and text embeddings, obtains performance similar to the oracle setup, and a relative improvement of 18% over the 1-best configuration. Thus, crossmodal architectures represent a good alternative to overcome the limitations of working purely automatically generated textual data.

随着自动语音处理（ASR）系统越来越好，使用ASR输出越来越令于进行下游自然语言处理（NLP）任务。但是，很少的开源工具包可用于在不同口语理解（SLU）基准上生成可重复的结果。因此，需要建立一个开源标准，可以用于具有更快的开始进入SLU研究。我们展示了Espnet-SLU，它旨在在一个框架中快速发展口语语言理解。 Espnet-SLU是一个项目内部到结束语音处理工具包，ESPNET，它是一个广泛使用的开源标准，用于各种语音处理任务，如ASR，文本到语音（TTS）和语音转换（ST）。我们增强了工具包，为各种SLU基准提供实现，使研究人员能够无缝混合和匹配不同的ASR和NLU模型。我们还提供预磨损的模型，具有集中调谐的超参数，可以匹配或甚至优于最新的最先进的性能。该工具包在https://github.com/espnet/espnet上公开提供。

口语理解（SLU）系统提取文本成绩单和语义与意图和插槽相关的语言。 SLU系统通常由（1）自动语音识别（ASR）模块组成，（2）接口来自ASR相关输出的接口模块，以及（3）自然语言理解（NLU）模块。 SLU系统中的接口随附文本转录或更丰富的信息（例如从ASR到NLU）的信息。在本文中，我们研究界面如何影响与口语理解的联合培训。最值得注意的是，我们在公开可用的50小时SLURP数据集中获得了最新结果。我们首先利用通过文本界面连接的大型ASR和NLU模型，然后通过序列损耗函数共同训练这两个模型。对于未利用预位模型的场景，使用更丰富的神经界面通过联合序列损失训练获得了最佳结果。最后，我们显示了利用预期模型随培训数据规模增加的总体减少影响。

端到端（E2E）模型在口语理解（SLU）系统中变得越来越流行，并开始实现基于管道的方法的竞争性能。但是，最近的工作表明，这些模型努力以相同的意图概括为新的措辞，这表明模型无法理解给定话语的语义内容。在这项工作中，我们在E2E-SLU框架内的未标记文本数据中预先训练了在未标记的文本数据上进行预先训练的语言模型，以构建强大的语义表示。同时结合语义信息和声学信息可以增加推理时间，从而在语音助手等应用程序中部署时会导致高潜伏期。我们开发了一个2频道的SLU系统，该系统使用第一张音频的几秒钟的声学信息进行低潜伏期预测，并通过结合语义和声学表示在第二次通过中进行更高质量的预测。我们从先前的2次端到端语音识别系统上的工作中获得了灵感，该系统同时使用审议网络就可以在音频和第一通道假设上进行。所提出的2个通用SLU系统在Fluent Speech命令挑战集和SLURP数据集上优于基于声学的SLU模型，并减少了延迟，从而改善了用户体验。作为ESPNET-SLU工具包的一部分，我们的代码和模型公开可用。

口语理解（SLU）是大多数人机相互作用系统中的核心任务。随着智能家居，智能手机和智能扬声器的出现，SLU已成为该行业的关键技术。在经典的SLU方法中，自动语音识别（ASR）模块将语音信号转录为文本表示，自然语言理解（NLU）模块从中提取语义信息。最近，基于深神经网络的端到端SLU（E2E SLU）已经获得了动力，因为它受益于ASR和NLU部分的联合优化，因此限制了管道架构的误差效应的级联反应。但是，对于E2E模型用于预测语音输入的概念和意图的实际语言特性知之甚少。在本文中，我们提出了一项研究，以确定E2E模型执行SLU任务的信号特征和其他语言特性。该研究是在必须处理非英语（此处法语）语音命令的智能房屋的应用领域进行的。结果表明，良好的E2E SLU性能并不总是需要完美的ASR功能。此外，结果表明，与管道模型相比，E2E模型在处理背景噪声和句法变化方面具有出色的功能。最后，更细粒度的分析表明，E2E模型使用输入信号的音调信息来识别语音命令概念。本文概述的结果和方法提供了一个跳板，以进一步分析语音处理中的E2E模型。

This paper describes a simple yet efficient repetition-based modular system for speeding up air-traffic controllers (ATCos) training. E.g., a human pilot is still required in EUROCONTROL's ESCAPE lite simulator (see https://www.eurocontrol.int/simulator/escape) during ATCo training. However, this need can be substituted by an automatic system that could act as a pilot. In this paper, we aim to develop and integrate a pseudo-pilot agent into the ATCo training pipeline by merging diverse artificial intelligence (AI) powered modules. The system understands the voice communications issued by the ATCo, and, in turn, it generates a spoken prompt that follows the pilot's phraseology to the initial communication. Our system mainly relies on open-source AI tools and air traffic control (ATC) databases, thus, proving its simplicity and ease of replicability. The overall pipeline is composed of the following: (1) a submodule that receives and pre-processes the input stream of raw audio, (2) an automatic speech recognition (ASR) system that transforms audio into a sequence of words; (3) a high-level ATC-related entity parser, which extracts relevant information from the communication, i.e., callsigns and commands, and finally, (4) a speech synthesizer submodule that generates responses based on the high-level ATC entities previously extracted. Overall, we show that this system could pave the way toward developing a real proof-of-concept pseudo-pilot system. Hence, speeding up the training of ATCos while drastically reducing its overall cost.

Collecting sufficient labeled data for spoken language understanding (SLU) is expensive and time-consuming. Recent studies achieved promising results by using pre-trained models in low-resource scenarios. Inspired by this, we aim to ask: which (if any) pre-training strategies can improve performance across SLU benchmarks? To answer this question, we employ four types of pre-trained models and their combinations for SLU. We leverage self-supervised speech and language models (LM) pre-trained on large quantities of unpaired data to extract strong speech and text representations. We also explore using supervised models pre-trained on larger external automatic speech recognition (ASR) or SLU corpora. We conduct extensive experiments on the SLU Evaluation (SLUE) benchmark and observe self-supervised pre-trained models to be more powerful, with pre-trained LM and speech models being most beneficial for the Sentiment Analysis and Named Entity Recognition task, respectively.

毒性言论，也被称为仇恨言论，被认为是今天批评在线社交媒体的重要问题之一。最近关于有毒语音检测的工作受到文本的模型，没有现有的毒性检测从口语中的出口检测。在本文中，我们提出了一种从口语中检测毒性的新口语处理任务。我们介绍了排毒，这是英语演讲的第一个公开的毒性注释数据集，来自各种公开可用的语音数据库，包括超过200万个话语。最后，我们还提供了对毒性注释的语音语料库的分析可以帮助促进E2E模型的发展，更好地捕获语音中的各种韵律线索，从而提高了口语的毒性分类。

口语理解（SLU）将自动语音识别（ASR）和自然语言理解（NLU）视为一项统一任务，通常遭受数据稀缺。我们基于元辅助学习来利用ASR和NLU联合培训方法，通过仅利用大量的语音数据来提高低资源SLU任务的性能。这种方法的一个明显优势是，它提供了一个灵活的框架来实施低资源的SLU训练任务，而无需访问任何进一步的语义注释。特别是，NLU模型被视为标签生成网络，以预测文本的意图和插槽标签。多任务网络网络从语音同步训练ASR任务和SLU任务；标签生成网络的预测作为语义目标传递到多任务网络。通过公共CATSLU数据集的实验证明了所提出的算法的效率，该数据集对下游NLU任务产生了更合适的ASR假设。

The advances in language-based Artificial Intelligence (AI) technologies applied to build educational applications can present AI for social-good opportunities with a broader positive impact. Across many disciplines, enhancing the quality of mathematics education is crucial in building critical thinking and problem-solving skills at younger ages. Conversational AI systems have started maturing to a point where they could play a significant role in helping students learn fundamental math concepts. This work presents a task-oriented Spoken Dialogue System (SDS) built to support play-based learning of basic math concepts for early childhood education. The system has been evaluated via real-world deployments at school while the students are practicing early math concepts with multimodal interactions. We discuss our efforts to improve the SDS pipeline built for math learning, for which we explore utilizing MathBERT representations for potential enhancement to the Natural Language Understanding (NLU) module. We perform an end-to-end evaluation using real-world deployment outputs from the Automatic Speech Recognition (ASR), Intent Recognition, and Dialogue Manager (DM) components to understand how error propagation affects the overall performance in real-world scenarios.

Personal assistants, automatic speech recognizers and dialogue understanding systems are becoming more critical in our interconnected digital world. A clear example is air traffic control (ATC) communications. ATC aims at guiding aircraft and controlling the airspace in a safe and optimal manner. These voice-based dialogues are carried between an air traffic controller (ATCO) and pilots via very-high frequency radio channels. In order to incorporate these novel technologies into ATC (low-resource domain), large-scale annotated datasets are required to develop the data-driven AI systems. Two examples are automatic speech recognition (ASR) and natural language understanding (NLU). In this paper, we introduce the ATCO2 corpus, a dataset that aims at fostering research on the challenging ATC field, which has lagged behind due to lack of annotated data. The ATCO2 corpus covers 1) data collection and pre-processing, 2) pseudo-annotations of speech data, and 3) extraction of ATC-related named entities. The ATCO2 corpus is split into three subsets. 1) ATCO2-test-set corpus contains 4 hours of ATC speech with manual transcripts and a subset with gold annotations for named-entity recognition (callsign, command, value). 2) The ATCO2-PL-set corpus consists of 5281 hours of unlabeled ATC data enriched with automatic transcripts from an in-domain speech recognizer, contextual information, speaker turn information, signal-to-noise ratio estimate and English language detection score per sample. Both available for purchase through ELDA at http://catalog.elra.info/en-us/repository/browse/ELRA-S0484. 3) The ATCO2-test-set-1h corpus is a one-hour subset from the original test set corpus, that we are offering for free at https://www.atco2.org/data. We expect the ATCO2 corpus will foster research on robust ASR and NLU not only in the field of ATC communications but also in the general research community.

Spoken language understanding (SLU) tasks have been studied for many decades in the speech research community, but have not received as much attention as lower-level tasks like speech and speaker recognition. In particular, there are not nearly as many SLU task benchmarks, and many of the existing ones use data that is not freely available to all researchers. Recent work has begun to introduce such benchmark datasets for several tasks. In this work, we introduce several new annotated SLU benchmark tasks based on freely available speech data, which complement existing benchmarks and address gaps in the SLU evaluation landscape. We contribute four tasks: question answering and summarization involve inference over longer speech sequences; named entity localization addresses the speech-specific task of locating the targeted content in the signal; dialog act classification identifies the function of a given speech utterance. We follow the blueprint of the Spoken Language Understanding Evaluation (SLUE) benchmark suite. In order to facilitate the development of SLU models that leverage the success of pre-trained speech representations, we will be publishing for each task (i) annotations for a relatively small fine-tuning set, (ii) annotated development and test sets, and (iii) baseline models for easy reproducibility and comparisons. In this work, we present the details of data collection and annotation and the performance of the baseline models. We also perform sensitivity analysis of pipeline models' performance (speech recognizer + text model) to the speech recognition accuracy, using more than 20 state-of-the-art speech recognition models.

基于语音的投入在我们日常生活中获得了智能手机和平板电脑的普及，因为声音是人类计算机交互的最简单而有效的方式。本文旨在设计更有效的基于语音的接口，以查询关系数据库中的结构化数据。我们首先识别名为Speep-to-SQL的新任务，旨在了解人类语音传达的信息，并直接将其转换为结构化查询语言（SQL）语句。对此问题的天真解决方案可以以级联方式工作，即，自动语音识别（ASR）组件，后跟文本到SQL组件。然而，它需要高质量的ASR系统，并且还遭受了两种组件之间的错误复合问题，从而产生有限的性能。为了处理这些挑战，我们进一步提出了一个名为SpeepSQLNET的新型端到端神经结构，直接将人类语音转化为没有外部ASR步骤的SQL查询。 SpeemSQLNET具有充分利用演讲中提供的丰富语言信息的优势。据我们所知，这是第一次尝试根据任意自然语言问题直接综合SQL，而不是基于自然语言的SQL版本或其具有有限的SQL语法的变体。为了验证所提出的问题和模型的有效性，我们还通过捎带广泛使用的文本到SQL数据集来进一步构建名为SpeemQL的数据集。对该数据集的广泛实验评估表明，SpeemSQLNET可以直接从人类语音中直接综合高质量的SQL查询，优于各种竞争对手，以及在精确匹配的准确性方面的级联方法。

无监督的文本到语音综合（TTS）系统学会通过观察以下语言来生成与任何语言中任何书面句子相对应的语音波形：1）用该语言收集的未转录语音波形的集合； 2）用该语言编写的文本集合，无需访问任何抄录的语音。开发这种系统可以显着提高语言技术对语言的可用性，而无需大量平行的语音和文本数据。本文提出了一个基于对齐模块的无监督的TTS系统，该模块输出了伪文本和另一个使用伪文本进行训练和真实文本进行推理的合成模块。我们的无监督系统可以以七种语言的方式实现与监督系统相当的性能，每种语音约10-20小时。还对文本单元和声码器的效果进行了仔细的研究，以更好地了解哪些因素可能影响无监督的TTS性能。可以在https://cactuswiththoughts.github.io/unsuptts-demo上找到我们的模型生成的样品，可以在https://github.com/lwang114/unsuptts上找到我们的代码。

通过共享数据集和基准，已经促进了语音处理的进展。历史上，这些都集中在自动语音识别（ASR），扬声器标识或其他较低级别的任务上。兴趣在更高层次的口语中越来越多，理解任务，包括使用端到端模型，但是此类任务的注释数据集较少。与此同时，最近的工作显示了预先培训通用表示的可能性，然后使用相对较少标记的数据进行微调的多个任务。我们建议为口语语言理解（屠宰）创建一套基准任务，由有限尺寸标记的培训集和相应的评估集组成。该资源将允许研究界跟踪进度，评估高级任务的预先接受预期的表示，并研究开放的问题，例如管道与端到端方法的实用性。我们介绍了雪橇基准套件的第一阶段，包括指定实体识别，情感分析和相应数据集上的ASR。我们专注于自然产生的（未读取或综合）语音和自由可用的数据集。我们为VoxceReb和Voxpopuli数据集的子集提供新的转录和注释，基线模型的评估指标和结果，以及重现基线的开源工具包，并评估新模型。

语音的视频录制包含相关的音频和视觉信息，为语音表示从扬声器的唇部运动和产生的声音提供了强大的信号。我们介绍了视听隐藏单元BERT（AV-HUBERT），是视听语音的自我监督的代表学习框架，这些屏幕屏蔽了多流视频输入并预测自动发现和迭代地精制多模式隐藏单元。 AV-HUBERT学习强大的视听语音表示，这些语音表示受益于唇读和自动语音识别。在最大的公众唇读基准LRS3（433小时）中，AV-Hubert达到32.5％WER，只有30个小时的标签数据，优于前一种最先进的方法（33.6％）培训，达到了一千次转录的视频数据（31k小时）。当使用来自LRS3的所有433小时的标记数据并结合自培训时，唇读WER进一步降低至26.9％。使用我们在相同的基准测试中使用您的视听表示，用于音频语音识别的相对效率为40％，而最先进的性能（1.3％Vs 2.3％）。我们的代码和模型可在https://github.com/facebookResearch/av_hubert获得

近年来已经看到了最终（E2E）口语理解（SLU）系统的重要进展，它直接从口头音频预测意图和插槽。虽然对话历史被利用以改善基于传统的基于文本的自然语言理解系统，但是当前的E2E SLU方法尚未在多转义和面向任务的对话中尚未结合这种关键的上下文信号。在这项工作中，我们提出了一个上下文E2E SLU模型架构，它使用多针关注机制来通过编码的先前的话语和对话框（语音助手所采取的动作）进行多转对对话。我们详细介绍了将这些上下文集成到最先进的复制和转换器的模型中的替代方法。当应用于由语音助理收集的大型识别的话语数据集时，我们的方法分别将平均单词和语义误差率降低10.8％和12.6％。我们还在公开可用的数据集中呈现结果，并显示我们的方法显着提高了非联盟基线的性能

自我监督学习（SSL）在语音识别方面取得了巨大的成功，而有限的探索已尝试完成其他语音处理任务。由于语音信号包含多方面的信息，包括说话者身份，副语言学，口语内容等，学习所有语音任务的通用表示都具有挑战性。为了解决该问题，我们提出了一个新的预培训模型WAVLM，以解决全堆栈的下游语音任务。 Wavlm共同学习了蒙面的语音预测和预训练。通过这种方式，WAVLM不仅可以通过掩盖的语音预测来保持语音内容建模能力，而且还可以通过语音denoing来提高非ASR任务的潜力。此外，WAVLM还采用封闭式的变压器结构的封闭相对位置偏置，以更好地捕获输入语音的序列排序。我们还将培训数据集从60k小时扩展到94K小时。 WAVLM大型在精湛的基准上实现了最先进的性能，并在其代表性基准上为各种语音处理任务带来了重大改进。代码和预培训模型可在https://aka.ms/wavlm上找到。

情绪识别（ER）旨在将人的话语分类为不同的情感类别。基于本文和声学模式之间的早期融合和基于自我注意力的多模式相互作用，在本文中，我们提出了一种多模式多任务学习方法，用于从孤立的单个话语中进行ER。Iemocap基准测试的实验表明，我们提出的模型的表现要比我们对最新的改性的重新实现要好，并且比文献中所有其他单峰和多模式方法更好地实现了性能。此外，强大的基准和消融研究证明了我们提出的方法的有效性。我们在GitHub上公开提供所有代码。

在空中交通管制（ATC）控制器飞行员谈话的自动语音指令的理解（SIU）不仅需要认识到的演讲词和语义，但也确定了演讲者的角色。然而，很少有在空中交通通信专注于扬声器的作用识别（SRI）自动认识系统发表的作品。在本文中，我们制定管制员 - 驾驶员通信的SRI任务作为二元分类问题。提出此外，基于文本的，基于语音和语音和文本为基础的多模态的方法来达到SRI任务的全面比较。消融的比较方法的影响，各种先进的神经网络架构应用进行优化的，基于语音的基于文本和方法的实现。最重要的是，多模态扬声器的作用识别网络（MMSRINet）设计同时考虑语音和文本模式功能实现的SRI任务。聚集形态特征，模态融合模块提出了保险丝和模态注意机制和自我关注池层，分别挤声音和文本表示。最后，比较的方法进行验证从现实世界ATC环境中收集的语料库ATCSpeech。实验结果表明，所有的比较方法是对SRI任务分别工作，并提议MMSRINet显示出比上都看到和看不到数据的其他方法的有竞争力的性能和稳定性，达到98.56％，98.08和％的准确度。