双重编码器结构成功地利用了两个特定语言的编码器（LSE）进行代码转换语音识别。由于LSE由两个预训练的语言特定模型（LSM）初始化，因此双编码器结构可以利用足够的单语言数据并捕获单个语言属性。但是，现有方法对LSE的语言没有限制，并且不足以针对LSM的语言知识。在本文中，我们提出了一种特定语言的特征辅助（LSCA）方法来减轻上述问题。具体来说，在培训期间，我们引入了两种特定语言的损失作为语言限制，并为其生成相应的语言目标。在解码过程中，我们通过组合两个LSM和混合模型的输出概率来考虑LSM的解码能力，以获得最终预测。实验表明，LSCA的训练或解码方法可以改善模型的性能。此外，通过组合LSCA的训练和解码方法，最佳结果可以在代码切换测试集上获得多达15.4％的相对误差。此外，该系统可以通过使用我们的方法来很好地处理代码转换语音识别任务，而无需额外的共享参数，甚至可以基于两个预训练的LSM进行重新训练。

代码转换是关于在通信过程中处理替代语言。训练端到端（E2E）自动语音识别（ASR）系统用于代码开关是一个充满挑战的问题，因为由于存在多种语言，因此缺乏增加语言上下文混乱的数据加剧的数据。在本文中，我们提出了一种与语言相关的注意机制，以减少基于等价约束理论（EC）的E2E代码转换ASR模型的多语言上下文混乱。语言理论要求在代码转换句子中发生的任何单语片段都必须发生在一个单语句子中。它在单语言数据和代码转换数据之间建立了一个桥梁。通过计算多种语言的各自注意力，我们的方法可以从丰富的单语言数据中有效地传输语言知识。我们在ASRU 2019-English代码转换挑战数据集上评估我们的方法。与基线模型相比，提出的方法可实现11.37％的相对混合错误率降低。

本文介绍了一种新的普通话 - 英语代码转换语音识别的语料库 - 塔尔奇语料库，适用于培训和评估代码转换语音识别系统。滑石乐谱来自TAL教育小组中真正的在线在线一对一的英语教学场景，其中包含大约587个小时的语音采样16 kHz。据我们所知，滑石科目是世界上标签最大的普通话 - 英语密码开关开源自动语音识别（ASR）数据集。在本文中，我们将详细介绍录制过程，包括捕获设备和语料库环境的音频。并且滑石场可以根据允许许可证免费下载。我们使用滑石乐谱，在两个流行的语音识别工具包中进行ASR实验，以制造包括ESPNET和WENET在内的基线系统。在滑石粉中比较了两个语音识别工具包中的混合错误率（MER）性能。实验结果表明，音频记录和转录的质量是有希望的，基线系统是可行的。

代码切换（CS）是多语言社区中的常见语言现象，其包括在说话时在语言之间切换。本文提出了我们对普通话 - 英语CS演讲的结束地理识别的调查。我们分析了不同的CS特定问题，例如CS语言对中语言之间的属性不匹配，切换点的不可预测性质，以及数据稀缺问题。通过使用分层Softmax的语言识别通过建模子字单元来利用非语言识别来利用非统计符号来利用和改善最先进的端到端系统，通过人为地降低说话率，并通过使用增强数据来实现子字单元。使用速度扰动技术和几个单机数据集不仅可以在CS语音上提高最终性能，还可以在单​​格式基准上，以使系统更适用于现实生活环境。最后，我们探讨了不同语言模型集成方法对提出模型性能的影响。我们的实验结果表明，所有提出的技术都提高了识别性能。最佳组合系统在混合误差率方面将基线系统提高到35％，并在单机基准上提供可接受的性能。

设备的端到端（E2E）模型已显示出对质量和延迟的英语语音搜索任务的常规模型的改进。 E2E模型还显示了多语言自动语音识别（ASR）的有希望的结果。在本文中，我们将以前的容量解决方案扩展到流应用程序，并提出流媒体多语言E2E ASR系统，该系统在设备上完全运行，质量和延迟与单个单语言模型相当。为了实现这一目标，我们提出了一个编码器端量模型和一个终端（EOU）联合层，以提高质量和延迟权衡。我们的系统以语言不可知论的方式构建，允许它实时支持本条件的代码切换。为了解决大型模型的可行性问题，我们进行了设备分析，并用最近开发的嵌入解码器代替了耗时的LSTM解码器。通过这些更改，我们设法在不到实时的时间内在移动设备上运行了这样的系统。

基于内部语言模型估计（ILME）语言模型（LM）融合已显示出明显改善的识别结果，而识别域内和跨域语音识别任务的常规浅融合。在本文中，我们试图将ILME方法应用于跨域代码转换语音识别（CSSR）工作。具体而言，我们的好奇心来自几个方面。首先，我们很好奇基于ILME的LM融合对内域和跨域CSSR任务的有效性。我们在不合并两个代码转换域的情况下对此进行验证。更重要的是，我们通过合并两个单语言数据集训练端到端（E2E）语音识别模型，并观察到拟议的基于ILME的LM Fusion对CSSR的功效。来自东南亚和另一个中国大陆CS数据集的SEAME的实验结果证明了拟议的基于ILME的LM融合方法的有效性。

End-to-end multilingual ASR has become more appealing because of several reasons such as simplifying the training and deployment process and positive performance transfer from high-resource to low-resource languages. However, scaling up the number of languages, total hours, and number of unique tokens is not a trivial task. This paper explores large-scale multilingual ASR models on 70 languages. We inspect two architectures: (1) Shared embedding and output and (2) Multiple embedding and output model. In the shared model experiments, we show the importance of tokenization strategy across different languages. Later, we use our optimal tokenization strategy to train multiple embedding and output model to further improve our result. Our multilingual ASR achieves 13.9%-15.6% average WER relative improvement compared to monolingual models. We show that our multilingual ASR generalizes well on an unseen dataset and domain, achieving 9.5% and 7.5% WER on Multilingual Librispeech (MLS) with zero-shot and finetuning, respectively.

培训多语言自动语音识别（ASR）系统具有挑战性，因为声学和词汇信息通常是特定于语言的。由于缺乏开源数据集和不同方法的结果，培训对Indo语言的多语言系统更加困难。我们将端到端多语言语音识别系统的性能与以语言识别（LID）为条件的单语模型的性能进行比较。来自多语言模型的解码信息用于语言识别，然后与单语模型结合使用，以改善跨语言的50％WER。我们还提出了一种类似的技术来解决代码切换问题，并在印度英语和孟加拉国英语中分别达到21.77和28.27。我们的工作谈到了如何将基于变压器的ASR尤其是WAV2VEC 2.0应用于开发用于指示语言的多语言ASR和代码转换ASR。

Uyghur语音常常遇到辅音和元音减少，这可能导致Uyghur自动语音识别（ASR）的性能下降。我们最近提出的基于掩蔽的学习策略，电话遮蔽训练（PMT），减轻了这种现象在Uyghur Asr的影响。尽管PMT实现了显着改进，但由于PMT（音素）和建模单元（字件）的掩模单元之间的粒度不匹配，仍然存在进一步提升的空间。为了提高PMT的性能，我们提出了PMT（PM-MET）的多建模单元训练（MMUT）架构融合。 MUT框架的概念是将编码器分成两个部分，包括声学级表示（AF-TO-PLR）和音素级表示的声学特征序列（PLR-TO-WPLR）。它允许通过基于中间音素的CTC丢失来优化AF-To-PLR，以了解PMT带来的富音素级上下文信息。 UYGHUR ASR上的实验结果表明，该提出的方法显着改善，优于纯PMT（减少24.0至23.7，在Read-Test上，分别在口服检验中的38.4至36.8。我们还使用ESPNET1对960小时的LibrisPeech基准进行实验，该基准测试在没有LM Fusion的所有测试集上实现约10％的相对WER减少，与最新的ESPNET1预先训练的模型相比。

会话双语语言包括三种类型的话语：两个纯粹单色类型和一个内侧型代码切换类型。在这项工作中，我们提出了一个综合框架，共同模拟包括双语语音识别的单声道和代码交换机子任务的可能性。通过定义具有标签到帧同步的单个子任务，我们的联合建模框架可以条件地分解，使得可以仅获得或可能不切换的最终双语输出，仅给出单格式信息。我们表明，该条件分解的联合框架可以由端到端可分解的神经网络进行建模。我们展示了我们拟议模型在单语和代码切换的语料中对双语普通话语音识别的效果。

代码切换是在对话期间交换语言时的语音现象。尽管对会话语言中的代码切换的自发性，但大多数现有工程通过读取语音而不是自发的语音来收集代码切换数据。Ascend（一个自发的中国英语数据集）介绍了香港收集的自发多转对话对话中英语代码切换语料库的高质量资源。我们报告了提升的设计和收集语音数据的程序，包括在这项工作中的注释。上升包括23个双语，这些双语流利，汉英都流利，而且由9.23小时的清洁语音组成。

最近，语音界正在看到从基于深神经网络的混合模型移动到自动语音识别（ASR）的端到端（E2E）建模的显着趋势。虽然E2E模型在大多数基准测试中实现最先进的，但在ASR精度方面，混合模型仍然在当前的大部分商业ASR系统中使用。有很多实际的因素会影响生产模型部署决定。传统的混合模型，用于数十年的生产优化，通常擅长这些因素。在不为所有这些因素提供优异的解决方案，E2E模型很难被广泛商业化。在本文中，我们将概述最近的E2E模型的进步，专注于解决行业视角的挑战技术。

在这项工作中，我们提出了基于特征的学习和空中交通管制（ATC）系统的终端到终端的训练过程一个新的自动语音识别（ASR）系统。该模型集成了地物学习块，回归神经网络（RNN），以及联结时间分类的损失建立一个终端到终端的ASR模式。面对代替手工功能ATC讲话的复杂环境，学习型块设计能够从声学建模原始波形信息量大的特点。两者SincNet和1D卷积块被施加到处理原始波形，其输出被连接到RNN层用于时间建模。由于学习从原始波形交涉的能力，该模型可以在一个完整的端至端的方式进行优化，即从波形文本。最后，在ATC域的多语言问题也被认为是通过构建中国字符和英文字母的组合词汇来实现ASR任务。所提出的方法进行验证在一个多语种的真实世界的语料库（ATCSpeech），实验结果表明，该方法比其他基线，实现了6.9 \％字符错误率。

In this work, we seek to build effective code-switched (CS) automatic speech recognition systems (ASR) under the zero-shot setting where no transcribed CS speech data is available for training. Previously proposed frameworks which conditionally factorize the bilingual task into its constituent monolingual parts are a promising starting point for leveraging monolingual data efficiently. However, these methods require the monolingual modules to perform language segmentation. That is, each monolingual module has to simultaneously detect CS points and transcribe speech segments of one language while ignoring those of other languages -- not a trivial task. We propose to simplify each monolingual module by allowing them to transcribe all speech segments indiscriminately with a monolingual script (i.e. transliteration). This simple modification passes the responsibility of CS point detection to subsequent bilingual modules which determine the final output by considering multiple monolingual transliterations along with external language model information. We apply this transliteration-based approach in an end-to-end differentiable neural network and demonstrate its efficacy for zero-shot CS ASR on Mandarin-English SEAME test sets.

最近，我们提供了Wenet，这是一种面向生产的端到端语音识别工具包，它引入了统一的两通道（U2）框架和内置运行时，以解决单个中的流和非流传输模式。模型。为了进一步提高ASR性能并促进各种生产要求，在本文中，我们提出了Wenet 2.0，并提供四个重要的更新。 （1）我们提出了U2 ++，这是一个带有双向注意解码器的统一的两次通行框架，其中包括通过左右注意力解码器的未来上下文信息，以提高共享编码器的代表性和在夺回阶段的表现。 （2）我们将基于N-Gram的语言模型和基于WFST的解码器引入WENET 2.0，从而促进了在生产方案中使用丰富的文本数据。 （3）我们设计了一个统一的上下文偏见框架，该框架利用特定于用户的上下文（例如联系人列表）为生产提供快速适应能力，并提高了使用LM和没有LM场景的ASR准确性。 （4）我们设计了一个统一的IO，以支持大规模数据进行有效的模型培训。总而言之，全新的WENET 2.0可在各种Corpora上的原始WENET上取得高达10 \％的相对识别性能提高，并提供了一些重要的以生产为导向的功能。

本文提出了我们在改进患有数据稀缺的代码切换语言模型的最新努力。我们调查通过人为生成它们来增加代码切换培训文本数据的方法。具体地，我们提出了一种基于循环一致的对手网络的基于框架，将单晶文本传输到代码切换文本中，考虑代码切换为讲话方式。我们在Seame Corpus上的实验结果表明，利用人工生成的码切换文本数据始终如一地提高语言模型以及自动语音识别性能。

利用上下文信息是提高对话自动语音识别（ASR）的性能的直观想法。以前的作品通常采用公认的历史话语假设作为前面的背景，这可能会偏向于由于不可避免的历史认可错误而导致的当前公认假设。为了避免此问题，我们提出了一个音频文本跨模式表示器，以直接从先前的语音中学习上下文表示。具体而言，它由两个与模态相关的编码器组成，从语音和相应的文本中提取高级潜在特征，以及一个跨模式编码器，旨在学习语音和文本之间的相关性。我们随机掩盖每种模式的一些输入令牌和输入序列。然后，在交叉模式编码器上使用模态级别的CTC损失进行令牌错失或模态失误预测。因此，该模型不仅捕获了特定模式中的双向上下文依赖性，还捕获了不同模态之间的关系。然后，在训练对话ASR系统的训练期间，提取器将被冻结以提取上述语音的文本表示，而该表示形式则用作通过注意机制将其作为供应给ASR解码器的上下文。拟议方法的有效性在几个普通话对话中得到了验证，并且在MagicData数据集中，达到了最高的字符错误率（CER）最高16％。

对于普通话端到端（E2E）自动语音识别（ASR）任务，与基于角色的建模单元相比，基于发音的建模单元可以改善模型培训中的建模单元的共享，但遇到了同音词。在这项研究中，我们建议使用一种新颖的发音意识到的独特字符编码来构建基于E2E RNN-T的普通话ASR系统。所提出的编码是发音基本音节和字符索引（CI）的组合。通过引入CI，RNN-T模型可以在利用发音信息来提取建模单元的同时克服同音问题。通过提出的编码，可以通过一对一的映射将模型输出转换为最终识别结果。我们在Aishell和MagicData数据集上进行了实验，实验结果表明了该方法的有效性。

以前的研究已经证实了利用明晰度信息达到改善的语音增强（SE）性能的有效性。通过使用铰接特征的地点/方式增强原始声学特征，可以引导SE过程考虑执行增强时输入语音的剖视特性。因此，我们认为关节属性的上下文信息应包括有用的信息，并可以进一步利用不同的语言。在这项研究中，我们提出了一个SE系统，通过优化英语和普通话的增强演讲中的上下文清晰度信息来提高其性能。我们通过联合列车与端到端的自动语音识别（E2E ASR）模型进行联合列车，预测广播序列（BPC）而不是单词序列的序列。同时，开发了两种培训策略，以基于基于BPC的ASR：多任务学习和深度特征培训策略来培训SE系统。 Timit和TMhint DataSet上的实验结果证实了上下文化学信息促进了SE系统，以实现比传统声学模型（AM）更好的结果。此外，与用单声道ASR培训的另一SE系统相比，基于BPC的ASR（提供上下文化学信息）可以在不同的信噪比（SNR）下更有效地改善SE性能。

In this paper, we propose a novel multi-modal multi-task encoder-decoder pre-training framework (MMSpeech) for Mandarin automatic speech recognition (ASR), which employs both unlabeled speech and text data. The main difficulty in speech-text joint pre-training comes from the significant difference between speech and text modalities, especially for Mandarin speech and text. Unlike English and other languages with an alphabetic writing system, Mandarin uses an ideographic writing system where character and sound are not tightly mapped to one another. Therefore, we propose to introduce the phoneme modality into pre-training, which can help capture modality-invariant information between Mandarin speech and text. Specifically, we employ a multi-task learning framework including five self-supervised and supervised tasks with speech and text data. For end-to-end pre-training, we introduce self-supervised speech-to-pseudo-codes (S2C) and phoneme-to-text (P2T) tasks utilizing unlabeled speech and text data, where speech-pseudo-codes pairs and phoneme-text pairs are a supplement to the supervised speech-text pairs. To train the encoder to learn better speech representation, we introduce self-supervised masked speech prediction (MSP) and supervised phoneme prediction (PP) tasks to learn to map speech into phonemes. Besides, we directly add the downstream supervised speech-to-text (S2T) task into the pre-training process, which can further improve the pre-training performance and achieve better recognition results even without fine-tuning. Experiments on AISHELL-1 show that our proposed method achieves state-of-the-art performance, with a more than 40% relative improvement compared with other pre-training methods.