基于内部语言模型估计（ILME）语言模型（LM）融合已显示出明显改善的识别结果，而识别域内和跨域语音识别任务的常规浅融合。在本文中，我们试图将ILME方法应用于跨域代码转换语音识别（CSSR）工作。具体而言，我们的好奇心来自几个方面。首先，我们很好奇基于ILME的LM融合对内域和跨域CSSR任务的有效性。我们在不合并两个代码转换域的情况下对此进行验证。更重要的是，我们通过合并两个单语言数据集训练端到端（E2E）语音识别模型，并观察到拟议的基于ILME的LM Fusion对CSSR的功效。来自东南亚和另一个中国大陆CS数据集的SEAME的实验结果证明了拟议的基于ILME的LM融合方法的有效性。

代码切换（CS）是多语言社区中的常见语言现象，其包括在说话时在语言之间切换。本文提出了我们对普通话 - 英语CS演讲的结束地理识别的调查。我们分析了不同的CS特定问题，例如CS语言对中语言之间的属性不匹配，切换点的不可预测性质，以及数据稀缺问题。通过使用分层Softmax的语言识别通过建模子字单元来利用非语言识别来利用非统计符号来利用和改善最先进的端到端系统，通过人为地降低说话率，并通过使用增强数据来实现子字单元。使用速度扰动技术和几个单机数据集不仅可以在CS语音上提高最终性能，还可以在单​​格式基准上，以使系统更适用于现实生活环境。最后，我们探讨了不同语言模型集成方法对提出模型性能的影响。我们的实验结果表明，所有提出的技术都提高了识别性能。最佳组合系统在混合误差率方面将基线系统提高到35％，并在单机基准上提供可接受的性能。

代码转换是关于在通信过程中处理替代语言。训练端到端（E2E）自动语音识别（ASR）系统用于代码开关是一个充满挑战的问题，因为由于存在多种语言，因此缺乏增加语言上下文混乱的数据加剧的数据。在本文中，我们提出了一种与语言相关的注意机制，以减少基于等价约束理论（EC）的E2E代码转换ASR模型的多语言上下文混乱。语言理论要求在代码转换句子中发生的任何单语片段都必须发生在一个单语句子中。它在单语言数据和代码转换数据之间建立了一个桥梁。通过计算多种语言的各自注意力，我们的方法可以从丰富的单语言数据中有效地传输语言知识。我们在ASRU 2019-English代码转换挑战数据集上评估我们的方法。与基线模型相比，提出的方法可实现11.37％的相对混合错误率降低。

In this work, we seek to build effective code-switched (CS) automatic speech recognition systems (ASR) under the zero-shot setting where no transcribed CS speech data is available for training. Previously proposed frameworks which conditionally factorize the bilingual task into its constituent monolingual parts are a promising starting point for leveraging monolingual data efficiently. However, these methods require the monolingual modules to perform language segmentation. That is, each monolingual module has to simultaneously detect CS points and transcribe speech segments of one language while ignoring those of other languages -- not a trivial task. We propose to simplify each monolingual module by allowing them to transcribe all speech segments indiscriminately with a monolingual script (i.e. transliteration). This simple modification passes the responsibility of CS point detection to subsequent bilingual modules which determine the final output by considering multiple monolingual transliterations along with external language model information. We apply this transliteration-based approach in an end-to-end differentiable neural network and demonstrate its efficacy for zero-shot CS ASR on Mandarin-English SEAME test sets.

在端到端RNN-TransDucer（RNN-T）中使用外部语言模型（ELM）使用仅文本数据进行语音识别是具有挑战性的。最近，已经开发了一类方法，例如密度比（DR）和内部语言模型估计（ILME），表现优于经典的浅融合（SF）方法。这些方法背后的基本思想是，RNN-T后验应首先先于隐式学习的内部语言模型（ILM），以便整合ELM。尽管最近的研究表明RNN-T仅学习一些低阶语言模型信息，但DR方法使用具有完整背景的训练有素的神经语言模型，这可能不适合估计ILM并恶化整合性能。基于DR方法，我们通过用低阶弱语言模型代替估计来提出低阶密度比方法（LODR）。在英语librispeech＆tedlium-2和中国wenetspeech和aishell-1数据集的内域和跨域情景上进行了广泛的经验实验。结果表明，在大多数测试中，LODR在所有任务中始终胜过所有任务，而通常接近ILME，并且比DR更好。

会话双语语言包括三种类型的话语：两个纯粹单色类型和一个内侧型代码切换类型。在这项工作中，我们提出了一个综合框架，共同模拟包括双语语音识别的单声道和代码交换机子任务的可能性。通过定义具有标签到帧同步的单个子任务，我们的联合建模框架可以条件地分解，使得可以仅获得或可能不切换的最终双语输出，仅给出单格式信息。我们表明，该条件分解的联合框架可以由端到端可分解的神经网络进行建模。我们展示了我们拟议模型在单语和代码切换的语料中对双语普通话语音识别的效果。

本文提出了我们在改进患有数据稀缺的代码切换语言模型的最新努力。我们调查通过人为生成它们来增加代码切换培训文本数据的方法。具体地，我们提出了一种基于循环一致的对手网络的基于框架，将单晶文本传输到代码切换文本中，考虑代码切换为讲话方式。我们在Seame Corpus上的实验结果表明，利用人工生成的码切换文本数据始终如一地提高语言模型以及自动语音识别性能。

双重编码器结构成功地利用了两个特定语言的编码器（LSE）进行代码转换语音识别。由于LSE由两个预训练的语言特定模型（LSM）初始化，因此双编码器结构可以利用足够的单语言数据并捕获单个语言属性。但是，现有方法对LSE的语言没有限制，并且不足以针对LSM的语言知识。在本文中，我们提出了一种特定语言的特征辅助（LSCA）方法来减轻上述问题。具体来说，在培训期间，我们引入了两种特定语言的损失作为语言限制，并为其生成相应的语言目标。在解码过程中，我们通过组合两个LSM和混合模型的输出概率来考虑LSM的解码能力，以获得最终预测。实验表明，LSCA的训练或解码方法可以改善模型的性能。此外，通过组合LSCA的训练和解码方法，最佳结果可以在代码切换测试集上获得多达15.4％的相对误差。此外，该系统可以通过使用我们的方法来很好地处理代码转换语音识别任务，而无需额外的共享参数，甚至可以基于两个预训练的LSM进行重新训练。

口语内容中的话语码切换（CS）的普及性具有强制ASR系统来处理混合输入。然而，设计CS-ASR具有许多挑战，主要原因是数据稀缺，语法结构复杂性和不匹配以及不平衡的语言使用分配。最近的ASR研究表明E2E-ASR使用多语种数据来处理CS现象的少量CS数据。但是，对CS数据的依赖仍然存在。在这项工作中，我们提出了一种方法来增加用于人工生成的CS文本的单格式数据以改善不同的语音模块。我们在利用对齐的转换对的同时基于对等效约束理论的方法，以生成语法有效的CS内容。我们的经验结果表明，两种生态和嘈杂的CS测试集，在困惑中的相对增益为29-34％，而在WER中约为2％。最后，人类评估表明，人类可以获得83.8％的生成数据。

最近，语音界正在看到从基于深神经网络的混合模型移动到自动语音识别（ASR）的端到端（E2E）建模的显着趋势。虽然E2E模型在大多数基准测试中实现最先进的，但在ASR精度方面，混合模型仍然在当前的大部分商业ASR系统中使用。有很多实际的因素会影响生产模型部署决定。传统的混合模型，用于数十年的生产优化，通常擅长这些因素。在不为所有这些因素提供优异的解决方案，E2E模型很难被广泛商业化。在本文中，我们将概述最近的E2E模型的进步，专注于解决行业视角的挑战技术。

本文介绍了一种新的普通话 - 英语代码转换语音识别的语料库 - 塔尔奇语料库，适用于培训和评估代码转换语音识别系统。滑石乐谱来自TAL教育小组中真正的在线在线一对一的英语教学场景，其中包含大约587个小时的语音采样16 kHz。据我们所知，滑石科目是世界上标签最大的普通话 - 英语密码开关开源自动语音识别（ASR）数据集。在本文中，我们将详细介绍录制过程，包括捕获设备和语料库环境的音频。并且滑石场可以根据允许许可证免费下载。我们使用滑石乐谱，在两个流行的语音识别工具包中进行ASR实验，以制造包括ESPNET和WENET在内的基线系统。在滑石粉中比较了两个语音识别工具包中的混合错误率（MER）性能。实验结果表明，音频记录和转录的质量是有希望的，基线系统是可行的。

Recent studies have shown that using an external Language Model (LM) benefits the end-to-end Automatic Speech Recognition (ASR). However, predicting tokens that appear less frequently in the training set is still quite challenging. The long-tail prediction problems have been widely studied in many applications, but only been addressed by a few studies for ASR and LMs. In this paper, we propose a new memory augmented lookup dictionary based Transformer architecture for LM. The newly introduced lookup dictionary incorporates rich contextual information in training set, which is vital to correctly predict long-tail tokens. With intensive experiments on Chinese and English data sets, our proposed method is proved to outperform the baseline Transformer LM by a great margin on both word/character error rate and tail tokens error rate. This is achieved without impact on the decoding efficiency. Overall, we demonstrate the effectiveness of our proposed method in boosting the ASR decoding performance, especially for long-tail tokens.

最近，自我监督的预先磨普已经实现了端到端（E2E）自动语音识别（ASR）的令人印象深刻的结果。然而，主要的序列到序列（S2S）E2E模型仍然很难充分利用自我监督的预训练方法，因为其解码器在声学表示上被调节，因此不能分开预先磨损。在本文中，我们提出了一种基于混合CTC /注意E2E模型的预磨削变压器（Preformer）S2S ASR架构，以充分利用预磨削的声学模型（AMS）和语言模型（LMS）。在我们的框架中，编码器初始化了Preprina（Wav2Vec2.0）。 Preformer在训练和推理期间利用CTC作为辅助任务。此外，我们设计了一个十字解码器（OCD），其放宽对声学表示的依赖性，以便可以用预净化的LM（DistilGPT2）初始化它。实验在Aishell-1语料库上进行，并在测试集上达到4.6±6 \％$ Character error rate（cer）。与我们的Vanilla混合CTC /注意力变压器基线相比，我们所提出的CTC /注意力的预浆料产生27亿美元的相对CER减少。据我们所知，这是第一个在S2S ASR系统中使用普里雷米和LM的第一项工作。

端到端（E2E）模型的仅文本适应仍然是自动语音识别（ASR）的具有挑战性的任务。基于语言模型（LM）基于融合的方法需要在推理过程中额外的外部LM，从而大大增加了计算成本。为了克服这一点，我们建议使用仅文本数据的E2E模型的内部LM适应（ILMA）。经过音频转录对训练，E2E模型隐含地学习了一个内部LM，该LM表征令牌序列概率，该序列概率在零零贡献后由E2E模型输出近似。在ILMA期间，我们对内部LM微调，即不包括编码器的E2E组件，以最大程度地减少跨熵损失。为了使ILMA有效，除了标准E2E损失外，必须使用内部LM损失来训练E2E模型。此外，我们建议通过最大程度地减少适应性和非适应性内部LMS的输出分布之间的kullback-leibler差异来使ILMA正规化。当我们仅更新关节网络的最后一个线性层时，ILMA是最有效的。 ILMA可以在不增加运行时计算成本的情况下对E2E模型进行快速的文本适应。 ILMA通过经过30k训练的变压器传感器模型进行了实验，可从非适应性基线实现高达34.9％的相对单词错误率。

我们提出了Maestro，这是一种自制的培训方法，可以统一从语音和文本方式中学到的表示形式。从语音信号中进行的自我监督学习旨在学习信号中固有的潜在结构，而从文本尝试捕获词汇信息的文本尝试中学习。从不配对的语音和文本序列中学习对齐表示是一项具有挑战性的任务。先前的工作要么隐含地强制执行从这两种方式中学到的表示形式，要通过多任务和参数共享在潜在空间中对齐，或通过语音综合通过模态转换而明确地进行。前者受到两种方式之间的干扰，而后者则引入了额外的复杂性。在本文中，我们提出了一种新颖的算法Maestro，旨在同时从这两种方式中学习统一的表示，可以转移到各种下游任务，例如自动语音识别（ASR）和语音翻译（ST）。 Maestro通过序列比对，持续时间预测和匹配的嵌入在学习空间中通过对齐的蒙版模型损失来学习统一的表示形式。我们在Voxpopuli多语言ASR上建立了一个新的最先进（SOTA），单词错误率相对相对降低8％（WER），多域Speetstew ASR（相对3.7％）和21种英语多语言ST在Covost 2上2.8 BLEU的改善平均21种语言。

多语言自动语音识别（ASR）系统大多受益于低资源语言，但相对于单语言对应物，多种语言的性能下降。有限的研究集中在理解多语言语音识别设置中的语言行为。在本文中，提出了一种新型的数据驱动方法来研究跨语性的声学表达相似性。该技术衡量了各种单语言模型与目标语音信号的后验分布之间的相似性。深度神经网络被训练为映射网络，以将分布从不同的声学模型转换为直接比较的形式。分析观察到，语言接近性无法通过集合音素的体积真正估计。对拟议的映射网络的熵分析表明，具有较小重叠的语言可以更适合跨语性转移，因此在多语言设置中更有益。最后，提出的后验变换方法被利用为目标语言的单语模型融合。比单语言对应物的相对提高约为8％。

语言模型（LMS）显着提高端到端模型（E2E）模型在训练过程中很少见的单词的识别准确性，当时在浅融合或重新恢复设置中。在这项工作中，我们介绍了LMS在判别培训框架中学习混合自动回旋传感器（HAT）模型的研究，以减轻有关使用LMS的训练与推理差距。对于浅融合设置，我们在假设生成和损失计算过程中都使用LMS，而LM感知的MWER训练模型可实现10 \％的相对改进，比用标准MWER在语音搜索测试集中培训的模型相对改进，其中包含稀有单词。对于重新设置，我们学会了一个小型神经模块，以数据依赖性方式产生串联的融合权重。该模型与常规MWER训练的模型相同，但无需清除融合重量。

设备的端到端（E2E）模型已显示出对质量和延迟的英语语音搜索任务的常规模型的改进。 E2E模型还显示了多语言自动语音识别（ASR）的有希望的结果。在本文中，我们将以前的容量解决方案扩展到流应用程序，并提出流媒体多语言E2E ASR系统，该系统在设备上完全运行，质量和延迟与单个单语言模型相当。为了实现这一目标，我们提出了一个编码器端量模型和一个终端（EOU）联合层，以提高质量和延迟权衡。我们的系统以语言不可知论的方式构建，允许它实时支持本条件的代码切换。为了解决大型模型的可行性问题，我们进行了设备分析，并用最近开发的嵌入解码器代替了耗时的LSTM解码器。通过这些更改，我们设法在不到实时的时间内在移动设备上运行了这样的系统。

培训多语言自动语音识别（ASR）系统具有挑战性，因为声学和词汇信息通常是特定于语言的。由于缺乏开源数据集和不同方法的结果，培训对Indo语言的多语言系统更加困难。我们将端到端多语言语音识别系统的性能与以语言识别（LID）为条件的单语模型的性能进行比较。来自多语言模型的解码信息用于语言识别，然后与单语模型结合使用，以改善跨语言的50％WER。我们还提出了一种类似的技术来解决代码切换问题，并在印度英语和孟加拉国英语中分别达到21.77和28.27。我们的工作谈到了如何将基于变压器的ASR尤其是WAV2VEC 2.0应用于开发用于指示语言的多语言ASR和代码转换ASR。

对于普通话端到端（E2E）自动语音识别（ASR）任务，与基于角色的建模单元相比，基于发音的建模单元可以改善模型培训中的建模单元的共享，但遇到了同音词。在这项研究中，我们建议使用一种新颖的发音意识到的独特字符编码来构建基于E2E RNN-T的普通话ASR系统。所提出的编码是发音基本音节和字符索引（CI）的组合。通过引入CI，RNN-T模型可以在利用发音信息来提取建模单元的同时克服同音问题。通过提出的编码，可以通过一对一的映射将模型输出转换为最终识别结果。我们在Aishell和MagicData数据集上进行了实验，实验结果表明了该方法的有效性。