在自然性和可读性方面，韵律边界在文本到语音综合（TTS）中起着重要作用。但是，获得韵律边界标签的获取依赖于手动注释，这是昂贵且耗时的。在本文中，我们建议通过带有预训练的音频编码器的神经文本语音模型自动从文本审计数据中提取韵律边界标签。该模型分别对文本和语音数据进行了预先训练，并以三重态格式对TTS数据进行了微调：{语音，文本，韵律}。自动评估和人类评估的实验结果表明：1）提出的文本言论韵律注释框架极大地超过了文本基本线；2）自动韵律边界注释的质量与人类注释相当；3）经过模型通知边界训练的TTS系统比使用手动系统的系统要好得多。

最近结束语音合成的最新进步使得能够产生高度自然的语音。然而，训练这些模型通常需要大量的高保真语音数据，并且对于看不见的文本，合成语音的韵律相对不自然。为了解决这些问题，我们建议将基于精细的BERT基前端与基于预先训练的FastSeech2的声学模型结合起来，以改善韵律建模。在多任务学习中，预训练的伯爵在多电话消歧任务中，联合中文词组分割任务，联合中文字分割（CWS）和演讲（POS）标记任务，以及在多任务学习中的韵律结构预测（PSP）任务框架。FastSeech 2在大规模的外部数据上预先培训，这些数据很少，但更容易获得。实验结果表明，微调BERT模型和预训练的禁止轴2可以改善韵律，特别是对于那些结构复杂的句子。

在空中交通管制（ATC）控制器飞行员谈话的自动语音指令的理解（SIU）不仅需要认识到的演讲词和语义，但也确定了演讲者的角色。然而，很少有在空中交通通信专注于扬声器的作用识别（SRI）自动认识系统发表的作品。在本文中，我们制定管制员 - 驾驶员通信的SRI任务作为二元分类问题。提出此外，基于文本的，基于语音和语音和文本为基础的多模态的方法来达到SRI任务的全面比较。消融的比较方法的影响，各种先进的神经网络架构应用进行优化的，基于语音的基于文本和方法的实现。最重要的是，多模态扬声器的作用识别网络（MMSRINet）设计同时考虑语音和文本模式功能实现的SRI任务。聚集形态特征，模态融合模块提出了保险丝和模态注意机制和自我关注池层，分别挤声音和文本表示。最后，比较的方法进行验证从现实世界ATC环境中收集的语料库ATCSpeech。实验结果表明，所有的比较方法是对SRI任务分别工作，并提议MMSRINet显示出比上都看到和看不到数据的其他方法的有竞争力的性能和稳定性，达到98.56％，98.08和％的准确度。

利用上下文信息是提高对话自动语音识别（ASR）的性能的直观想法。以前的作品通常采用公认的历史话语假设作为前面的背景，这可能会偏向于由于不可避免的历史认可错误而导致的当前公认假设。为了避免此问题，我们提出了一个音频文本跨模式表示器，以直接从先前的语音中学习上下文表示。具体而言，它由两个与模态相关的编码器组成，从语音和相应的文本中提取高级潜在特征，以及一个跨模式编码器，旨在学习语音和文本之间的相关性。我们随机掩盖每种模式的一些输入令牌和输入序列。然后，在交叉模式编码器上使用模态级别的CTC损失进行令牌错失或模态失误预测。因此，该模型不仅捕获了特定模式中的双向上下文依赖性，还捕获了不同模态之间的关系。然后，在训练对话ASR系统的训练期间，提取器将被冻结以提取上述语音的文本表示，而该表示形式则用作通过注意机制将其作为供应给ASR解码器的上下文。拟议方法的有效性在几个普通话对话中得到了验证，并且在MagicData数据集中，达到了最高的字符错误率（CER）最高16％。

In this paper, we perform an exhaustive evaluation of different representations to address the intent classification problem in a Spoken Language Understanding (SLU) setup. We benchmark three types of systems to perform the SLU intent detection task: 1) text-based, 2) lattice-based, and a novel 3) multimodal approach. Our work provides a comprehensive analysis of what could be the achievable performance of different state-of-the-art SLU systems under different circumstances, e.g., automatically- vs. manually-generated transcripts. We evaluate the systems on the publicly available SLURP spoken language resource corpus. Our results indicate that using richer forms of Automatic Speech Recognition (ASR) outputs allows SLU systems to improve in comparison to the 1-best setup (4% relative improvement). However, crossmodal approaches, i.e., learning from acoustic and text embeddings, obtains performance similar to the oracle setup, and a relative improvement of 18% over the 1-best configuration. Thus, crossmodal architectures represent a good alternative to overcome the limitations of working purely automatically generated textual data.

神经端到端TTS模型的最新进展显示出在常规句子的TTS中表现出高质量的自然合成语音。但是，当TTS中考虑整个段落时，重现相似的高质量，在构建基于段落的TTS模型时需要考虑大量上下文信息。为了减轻培训的困难，我们建议通过考虑跨性别，嵌入式结构在培训中对语言和韵律信息进行建模。三个子模块，包括语言学意识，韵律和句子位置网络。具体而言，要了解嵌入在段落中的信息以及相应的组件句子之间的关系，我们利用语言学意识和韵律感知网络。段落中的信息由编码器捕获，段落中的句子间信息通过多头注意机制学习。段落中的相对句子位置由句子位置网络明确利用。拟议中的TTS模型在女性普通话中录制的讲故事的音频语料库（4.08小时）接受了培训，该模型表明，它可以产生相当自然而良好的语音段落。与基于句子的模型相比，可以更好地预测和渲染的跨句子上下文信息，例如连续句子之间的断裂和韵律变化。在段落文本上进行了测试，其长度与培训数据的典型段落长度相似，比训练数据的典型段落长得多，新模型产生的TTS语音始终优先于主观测试和基于句子的模型和在客观措施中确认。

Spoken language understanding (SLU) tasks have been studied for many decades in the speech research community, but have not received as much attention as lower-level tasks like speech and speaker recognition. In particular, there are not nearly as many SLU task benchmarks, and many of the existing ones use data that is not freely available to all researchers. Recent work has begun to introduce such benchmark datasets for several tasks. In this work, we introduce several new annotated SLU benchmark tasks based on freely available speech data, which complement existing benchmarks and address gaps in the SLU evaluation landscape. We contribute four tasks: question answering and summarization involve inference over longer speech sequences; named entity localization addresses the speech-specific task of locating the targeted content in the signal; dialog act classification identifies the function of a given speech utterance. We follow the blueprint of the Spoken Language Understanding Evaluation (SLUE) benchmark suite. In order to facilitate the development of SLU models that leverage the success of pre-trained speech representations, we will be publishing for each task (i) annotations for a relatively small fine-tuning set, (ii) annotated development and test sets, and (iii) baseline models for easy reproducibility and comparisons. In this work, we present the details of data collection and annotation and the performance of the baseline models. We also perform sensitivity analysis of pipeline models' performance (speech recognizer + text model) to the speech recognition accuracy, using more than 20 state-of-the-art speech recognition models.

最近，自我监督的预先磨普已经实现了端到端（E2E）自动语音识别（ASR）的令人印象深刻的结果。然而，主要的序列到序列（S2S）E2E模型仍然很难充分利用自我监督的预训练方法，因为其解码器在声学表示上被调节，因此不能分开预先磨损。在本文中，我们提出了一种基于混合CTC /注意E2E模型的预磨削变压器（Preformer）S2S ASR架构，以充分利用预磨削的声学模型（AMS）和语言模型（LMS）。在我们的框架中，编码器初始化了Preprina（Wav2Vec2.0）。 Preformer在训练和推理期间利用CTC作为辅助任务。此外，我们设计了一个十字解码器（OCD），其放宽对声学表示的依赖性，以便可以用预净化的LM（DistilGPT2）初始化它。实验在Aishell-1语料库上进行，并在测试集上达到4.6±6 \％$ Character error rate（cer）。与我们的Vanilla混合CTC /注意力变压器基线相比，我们所提出的CTC /注意力的预浆料产生27亿美元的相对CER减少。据我们所知，这是第一个在S2S ASR系统中使用普里雷米和LM的第一项工作。

In this paper, we propose a novel multi-modal multi-task encoder-decoder pre-training framework (MMSpeech) for Mandarin automatic speech recognition (ASR), which employs both unlabeled speech and text data. The main difficulty in speech-text joint pre-training comes from the significant difference between speech and text modalities, especially for Mandarin speech and text. Unlike English and other languages with an alphabetic writing system, Mandarin uses an ideographic writing system where character and sound are not tightly mapped to one another. Therefore, we propose to introduce the phoneme modality into pre-training, which can help capture modality-invariant information between Mandarin speech and text. Specifically, we employ a multi-task learning framework including five self-supervised and supervised tasks with speech and text data. For end-to-end pre-training, we introduce self-supervised speech-to-pseudo-codes (S2C) and phoneme-to-text (P2T) tasks utilizing unlabeled speech and text data, where speech-pseudo-codes pairs and phoneme-text pairs are a supplement to the supervised speech-text pairs. To train the encoder to learn better speech representation, we introduce self-supervised masked speech prediction (MSP) and supervised phoneme prediction (PP) tasks to learn to map speech into phonemes. Besides, we directly add the downstream supervised speech-to-text (S2T) task into the pre-training process, which can further improve the pre-training performance and achieve better recognition results even without fine-tuning. Experiments on AISHELL-1 show that our proposed method achieves state-of-the-art performance, with a more than 40% relative improvement compared with other pre-training methods.

人类通过不同的渠道表达感受或情绪。以语言为例，它在不同的视觉声学上下文下需要不同的情绪。为了精确了解人类意图，并减少歧义和讽刺引起的误解，我们应该考虑多式联路信号，包括文本，视觉和声学信号。至关重要的挑战是融合不同的特征模式以进行情绪分析。为了有效地融合不同的方式携带的信息，更好地预测情绪，我们设计了一种基于新的多主题的融合网络，这是由任何两个对方式之间的相互作用不同的观察来启发，它们是不同的，并且它们不同样有助于最终的情绪预测。通过分配具有合理关注和利用残余结构的声学 - 视觉，声学 - 文本和视觉文本特征，我们参加了重要的特征。我们对四个公共多模式数据集进行了广泛的实验，包括中文和三种英文中的一个。结果表明，我们的方法优于现有的方法，并可以解释双模相互作用在多种模式中的贡献。

为了自动纠正手写作业，传统方法是使用OCR模型来识别字符并将其与答案进行比较。 OCR模型在识别手写的汉字时很容易混淆，并且在模型推断过程中缺少答案的文本信息。但是，教师总是考虑到这些答案来审查和纠正作业。在本文中，我们专注于中国披肩测试校正并提出一种多模式方法（命名为AIM）。答案的编码表示与学生笔迹的视觉信息进行了交互。我们没有预测“正确”或“错误”，而是在答案文本上执行序列标记，以推断哪个答案字符与手写内容以细粒度的方式不同。我们将OCR数据集的样本作为此任务的正样本，并开发一种负面样本增强方法来扩展培训数据。实验结果表明，目标的范围优于基于OCR的方法。广泛的研究证明了我们多模式方法的有效性。

多模式意图识别是理解现实世界中人类语言的重要任务。大多数现有意图识别方法在利用基准数据集的限制中利用多模式信息的局限性，仅使用文本信息。本文介绍了一个用于多模式意图识别（MinTreec）的新型数据集，以解决此问题。它根据电视系列超市收集的数据制定了粗粒和细粒度的分类法。该数据集由2,224个具有文本，视频和音频模式的高质量样本组成，并在二十个意图类别中具有多模式注释。此外，我们在每个视频段中提供带注释的扬声器框架框，并实现扬声器注释的自动过程。 MinTrec对研究人员有助于挖掘不同方式之间的关系，以增强意图识别的能力。我们通过适应三种强大的多模式融合方法来构建基准，从每种模式和模型跨模式相互作用中提取特征。广泛的实验表明，采用非语言方式与仅文本模式相比，实现了实质性改进，这表明使用多模式信息进行意图识别的有效性。表现最佳的方法与人类之间的差距表明了这项任务对社区的挑战和重要性。完整的数据集和代码可在https://github.com/thuiar/mintrec上使用。

毒性言论，也被称为仇恨言论，被认为是今天批评在线社交媒体的重要问题之一。最近关于有毒语音检测的工作受到文本的模型，没有现有的毒性检测从口语中的出口检测。在本文中，我们提出了一种从口语中检测毒性的新口语处理任务。我们介绍了排毒，这是英语演讲的第一个公开的毒性注释数据集，来自各种公开可用的语音数据库，包括超过200万个话语。最后，我们还提供了对毒性注释的语音语料库的分析可以帮助促进E2E模型的发展，更好地捕获语音中的各种韵律线索，从而提高了口语的毒性分类。

通过共享数据集和基准，已经促进了语音处理的进展。历史上，这些都集中在自动语音识别（ASR），扬声器标识或其他较低级别的任务上。兴趣在更高层次的口语中越来越多，理解任务，包括使用端到端模型，但是此类任务的注释数据集较少。与此同时，最近的工作显示了预先培训通用表示的可能性，然后使用相对较少标记的数据进行微调的多个任务。我们建议为口语语言理解（屠宰）创建一套基准任务，由有限尺寸标记的培训集和相应的评估集组成。该资源将允许研究界跟踪进度，评估高级任务的预先接受预期的表示，并研究开放的问题，例如管道与端到端方法的实用性。我们介绍了雪橇基准套件的第一阶段，包括指定实体识别，情感分析和相应数据集上的ASR。我们专注于自然产生的（未读取或综合）语音和自由可用的数据集。我们为VoxceReb和Voxpopuli数据集的子集提供新的转录和注释，基线模型的评估指标和结果，以及重现基线的开源工具包，并评估新模型。

关于多模式情绪识别的最新作品转向端到端模型，该模型可以提取与两阶段管道相比，目标任务监督的特定任务特征。但是，以前的方法仅模拟文本和声学和视觉方式之间的特征相互作用，而忽略了捕获声学和视觉方式之间的特征相互作用。在本文中，我们提出了多模式的端到端变压器（ME2ET），该变压器可以有效地对低级和高级水平的文本，声学和视觉方式之间的三模式特征进行建模。在低水平，我们提出了进行性三模式的注意，可以通过采用两次通行策略来对三模式特征相互作用进行建模，并可以进一步利用这种相互作用，以通过降低输入令牌来显着降低计算和记忆复杂性长度。在高水平上，我们引入了三模式特征融合层，以明确汇总三种模式的语义表示。 CMU-MOSEI和IEMOCAP数据集的实验结果表明，ME2ET实现了最新性能。进一步的深入分析证明了拟议的渐进三模式关注的有效性，效率和解释性，这可以帮助我们的模型实现更好的性能，同时显着降低计算和记忆成本。我们的代码将公开可用。

End-to-end text-to-speech synthesis (TTS) can generate highly natural synthetic speech from raw text. However, rendering the correct pitch accents is still a challenging problem for end-to-end TTS. To tackle the challenge of rendering correct pitch accent in Japanese end-to-end TTS, we adopt PnG~BERT, a self-supervised pretrained model in the character and phoneme domain for TTS. We investigate the effects of features captured by PnG~BERT on Japanese TTS by modifying the fine-tuning condition to determine the conditions helpful inferring pitch accents. We manipulate content of PnG~BERT features from being text-oriented to speech-oriented by changing the number of fine-tuned layers during TTS. In addition, we teach PnG~BERT pitch accent information by fine-tuning with tone prediction as an additional downstream task. Our experimental results show that the features of PnG~BERT captured by pretraining contain information helpful inferring pitch accent, and PnG~BERT outperforms baseline Tacotron on accent correctness in a listening test.

多模式的细粒情感分析最近由于其广泛的应用而引起了人们的关注。但是，现有的多模式细颗粒情感数据集最关注注释文本中的细粒元素，但忽略图像中的元素，这导致视觉内容中的细粒度元素没有得到应有的全部关注。在本文中，我们提出了一个新的数据集，即多模式方面类别情感分析（MACSA）数据集，其中包含超过21k的文本图像对。该数据集为文本和视觉内容提供细粒度的注释，并首先将方面类别用作枢轴，以对齐两种模态之间的细粒元素。基于我们的数据集，我们提出了多模式ACSA任务和基于多模式的对齐模型（MGAM），该模型（MGAM）采用了细粒度的跨模式融合方法。实验结果表明，我们的方法可以促进基线比较，以实现该语料库的未来研究。我们将使数据集和代码公开可用。

文档信息提取（DIE）由于其在现实世界中的各种高级应用而引起了越来越多的关注。尽管最近的文献已经取得了竞争成果，但在处理具有嘈杂的OCR结果或突变布局的复杂文档时，这些方法通常会失败。本文提出了用于现实世界情景的生成多模式网络（GMN），以解决这些问题，这是一种强大的多模式生成方法，没有预定义的标签类别。借助精心设计的空间编码器和模态感知的蒙版模块，GMN可以处理复杂的文档，这些文档很难序列化为顺序。此外，GMN可以容忍OCR结果中的错误，并且不需要字符级注释，这是至关重要的，因为对众多文档的细粒注释很费力，甚至需要具有专门域知识的注释者。广泛的实验表明，GMN在几个公共模具数据集上实现了新的最新性能，并超过了其他方法，尤其是在现实的场景中。

自动音频字幕是一项跨模式翻译任务，旨在为给定的音频剪辑生成自然语言描述。近年来，随着免费可用数据集的发布，该任务受到了越来越多的关注。该问题主要通过深度学习技术解决。已经提出了许多方法，例如研究不同的神经网络架构，利用辅助信息，例如关键字或句子信息来指导字幕生成，并采用了不同的培训策略，这些策略极大地促进了该领域的发展。在本文中，我们对自动音频字幕的已发表贡献进行了全面综述，从各种现有方法到评估指标和数据集。我们还讨论了公开挑战，并设想可能的未来研究方向。

基于语音的投入在我们日常生活中获得了智能手机和平板电脑的普及，因为声音是人类计算机交互的最简单而有效的方式。本文旨在设计更有效的基于语音的接口，以查询关系数据库中的结构化数据。我们首先识别名为Speep-to-SQL的新任务，旨在了解人类语音传达的信息，并直接将其转换为结构化查询语言（SQL）语句。对此问题的天真解决方案可以以级联方式工作，即，自动语音识别（ASR）组件，后跟文本到SQL组件。然而，它需要高质量的ASR系统，并且还遭受了两种组件之间的错误复合问题，从而产生有限的性能。为了处理这些挑战，我们进一步提出了一个名为SpeepSQLNET的新型端到端神经结构，直接将人类语音转化为没有外部ASR步骤的SQL查询。 SpeemSQLNET具有充分利用演讲中提供的丰富语言信息的优势。据我们所知，这是第一次尝试根据任意自然语言问题直接综合SQL，而不是基于自然语言的SQL版本或其具有有限的SQL语法的变体。为了验证所提出的问题和模型的有效性，我们还通过捎带广泛使用的文本到SQL数据集来进一步构建名为SpeemQL的数据集。对该数据集的广泛实验评估表明，SpeemSQLNET可以直接从人类语音中直接综合高质量的SQL查询，优于各种竞争对手，以及在精确匹配的准确性方面的级联方法。