对于普通话端到端（E2E）自动语音识别（ASR）任务，与基于角色的建模单元相比，基于发音的建模单元可以改善模型培训中的建模单元的共享，但遇到了同音词。在这项研究中，我们建议使用一种新颖的发音意识到的独特字符编码来构建基于E2E RNN-T的普通话ASR系统。所提出的编码是发音基本音节和字符索引（CI）的组合。通过引入CI，RNN-T模型可以在利用发音信息来提取建模单元的同时克服同音问题。通过提出的编码，可以通过一对一的映射将模型输出转换为最终识别结果。我们在Aishell和MagicData数据集上进行了实验，实验结果表明了该方法的有效性。

声学和语言特征是口语识别（LID）任务的重要提示。最近的高级盖系统主要使用缺乏明确语言特征编码的声学特征。在本文中，我们通过将RNN换能器模型集成到语言嵌入框架中，提出了一种基于换能器的新型语言嵌入方法，用于盖子任务。从RNN传感器的语言表示能力的优势中受益，该方法可以利用语音感知的声学特征和盖子任务的明确语言特征。实验是在大规模的多语言Librispeech和Voxlingua107数据集上进行的。实验结果表明，所提出的方法显着提高了盖子任务的性能，分别对内域和跨域数据集的相对改善为12％至59％和16％至24％。

在端到端RNN-TransDucer（RNN-T）中使用外部语言模型（ELM）使用仅文本数据进行语音识别是具有挑战性的。最近，已经开发了一类方法，例如密度比（DR）和内部语言模型估计（ILME），表现优于经典的浅融合（SF）方法。这些方法背后的基本思想是，RNN-T后验应首先先于隐式学习的内部语言模型（ILM），以便整合ELM。尽管最近的研究表明RNN-T仅学习一些低阶语言模型信息，但DR方法使用具有完整背景的训练有素的神经语言模型，这可能不适合估计ILM并恶化整合性能。基于DR方法，我们通过用低阶弱语言模型代替估计来提出低阶密度比方法（LODR）。在英语librispeech＆tedlium-2和中国wenetspeech和aishell-1数据集的内域和跨域情景上进行了广泛的经验实验。结果表明，在大多数测试中，LODR在所有任务中始终胜过所有任务，而通常接近ILME，并且比DR更好。

尽管端到端（E2E）自动语音识别（ASR）的快速进展，但已经证明将外部语言模型（LMS）结合到解码中可以进一步提高E2E ASR系统的识别性能。为了与E2E ASR系统中采用的建模单元对准，通常使用子字级（例如，字符，BPE）LMS与当前的E2E ASR系统配合。但是，使用子字级LMS将忽略单词级信息，这可能会限制E2E ASR中的外部LMS的强度。虽然已经提出了几种方法在E2E ASR中包含了单词级外部LMS，但这些方法主要针对具有清晰字界的语言，例如英语，并且不能直接应用于普通话等语言，其中每个字符序列可以具有多个对应的语言字序列。为此，我们提出了一种新颖的解码算法，其中在飞行中构造了单词级格子，以考虑每个部分假设的所有可能的字序列。然后，通过将产生的格子与外部单词N-GRAM LM交叉来获得假设的LM得分。在关注的基于编码器 - 解码器（AED）和神经换能器（NT）框架上检查所述方法。实验表明，我们的方法始终如一地优于次字级LMS，包括N-GRAM LM和神经网络LM。我们在Aishell-1（Cer 4.18％）和Aishell-2（Cer 5.06％）数据集上实现最先进的结果，并在21k小时的普通话数据集中减少14.8％。

经常性的神经网络传感器（RNN-T）目标在建立当今最好的自动语音识别（ASR）系统中发挥着重要作用。与连接员时间分类（CTC）目标类似，RNN-T损失使用特定规则来定义生成一组对准以形成用于全汇训练的格子。但是，如果这些规则是最佳的，则在很大程度上未知，并且会导致最佳ASR结果。在这项工作中，我们介绍了一种新的传感器目标函数，它概括了RNN-T丢失来接受标签的图形表示，从而提供灵活和有效的框架来操纵训练格子，例如用于限制对齐或研究不同的转换规则。我们证明，与标准RNN-T相比，具有CTC样格子的基于传感器的ASR实现了更好的结果，同时确保了严格的单调对齐，这将允许更好地优化解码过程。例如，所提出的CTC样换能器系统对于测试 - LibrisPeech的其他条件，实现了5.9％的字误差率，相对于基于等效的RNN-T系统的提高，对应于4.8％。

最近，语音界正在看到从基于深神经网络的混合模型移动到自动语音识别（ASR）的端到端（E2E）建模的显着趋势。虽然E2E模型在大多数基准测试中实现最先进的，但在ASR精度方面，混合模型仍然在当前的大部分商业ASR系统中使用。有很多实际的因素会影响生产模型部署决定。传统的混合模型，用于数十年的生产优化，通常擅长这些因素。在不为所有这些因素提供优异的解决方案，E2E模型很难被广泛商业化。在本文中，我们将概述最近的E2E模型的进步，专注于解决行业视角的挑战技术。

Recent studies have shown that using an external Language Model (LM) benefits the end-to-end Automatic Speech Recognition (ASR). However, predicting tokens that appear less frequently in the training set is still quite challenging. The long-tail prediction problems have been widely studied in many applications, but only been addressed by a few studies for ASR and LMs. In this paper, we propose a new memory augmented lookup dictionary based Transformer architecture for LM. The newly introduced lookup dictionary incorporates rich contextual information in training set, which is vital to correctly predict long-tail tokens. With intensive experiments on Chinese and English data sets, our proposed method is proved to outperform the baseline Transformer LM by a great margin on both word/character error rate and tail tokens error rate. This is achieved without impact on the decoding efficiency. Overall, we demonstrate the effectiveness of our proposed method in boosting the ASR decoding performance, especially for long-tail tokens.

梁搜索是端到端模型的主要ASR解码算法，生成树结构化假设。但是，最近的研究表明，通过假设合并进行解码可以通过可比或更好的性能实现更有效的搜索。但是，复发网络中的完整上下文与假设合并不兼容。我们建议在RNN传感器的预测网络中使用矢量定量的长期记忆单元（VQ-LSTM）。通过与ASR网络共同培训离散表示形式，可以积极合并假设以生成晶格。我们在总机语料库上进行的实验表明，提出的VQ RNN传感器改善了具有常规预测网络的换能器的ASR性能，同时还产生了具有相同光束尺寸的Oracle Word错误率（WER）的密集晶格。其他语言模型撤退实验还证明了拟议的晶格生成方案的有效性。

最近，基于注意的编码器 - 解码器（AED）模型对多个任务的端到端自动语音识别（ASR）显示了高性能。在此类模型中解决了过度控制，本文介绍了轻松关注的概念，这是一种简单地逐渐注入对训练期间对编码器 - 解码器注意重量的统一分配，其易于用两行代码实现。我们调查轻松关注跨不同AED模型架构和两个突出的ASR任务，华尔街日志（WSJ）和LibRisPeech的影响。我们发现，在用外部语言模型解码时，随着宽松的注意力训练的变压器始终如一地始终如一地遵循标准基线模型。在WSJ中，我们为基于变压器的端到端语音识别设置了一个新的基准，以3.65％的单词错误率，最优于13.1％的相对状态，同时仅引入单个HyperParameter。

我们提出了一种用于计算自动语音识别（ASR）中错误率的新方法。这个新的指标是针对包含半字符的语言，可以以不同形式编写相同的字符。我们在印地语中实施了我们的方法论，这是指示上下文中的主要语言之一，我们认为这种方法可扩展到包含大型字符集的其他类似语言。我们称我们的指标替代单词错误率（AWER）和替代字符错误率（ACER）。我们使用wav2Vec 2.0 \ cite {baevski2020wav2vec}训练我们的ASR模型。此外，我们使用语言模型来改善我们的模型性能。我们的结果表明，在分析单词和角色级别的错误率方面有了显着提高，ASR系统的可解释性提高了高达$ 3 $ \％的AWER，印地语的ACER $ 7 $ \％。我们的实验表明，在具有复杂发音的语言中，有多种写单词而不改变其含义的方式。在这种情况下，Awer和Acer将更有用，而不是将其作为指标。此外，我们通过新的公制脚本为印地语开了一个21小时的新基准测试数据集。

在这项工作中，我们提出了基于特征的学习和空中交通管制（ATC）系统的终端到终端的训练过程一个新的自动语音识别（ASR）系统。该模型集成了地物学习块，回归神经网络（RNN），以及联结时间分类的损失建立一个终端到终端的ASR模式。面对代替手工功能ATC讲话的复杂环境，学习型块设计能够从声学建模原始波形信息量大的特点。两者SincNet和1D卷积块被施加到处理原始波形，其输出被连接到RNN层用于时间建模。由于学习从原始波形交涉的能力，该模型可以在一个完整的端至端的方式进行优化，即从波形文本。最后，在ATC域的多语言问题也被认为是通过构建中国字符和英文字母的组合词汇来实现ASR任务。所提出的方法进行验证在一个多语种的真实世界的语料库（ATCSpeech），实验结果表明，该方法比其他基线，实现了6.9 \％字符错误率。

代码切换（CS）是多语言社区中的常见语言现象，其包括在说话时在语言之间切换。本文提出了我们对普通话 - 英语CS演讲的结束地理识别的调查。我们分析了不同的CS特定问题，例如CS语言对中语言之间的属性不匹配，切换点的不可预测性质，以及数据稀缺问题。通过使用分层Softmax的语言识别通过建模子字单元来利用非语言识别来利用非统计符号来利用和改善最先进的端到端系统，通过人为地降低说话率，并通过使用增强数据来实现子字单元。使用速度扰动技术和几个单机数据集不仅可以在CS语音上提高最终性能，还可以在单​​格式基准上，以使系统更适用于现实生活环境。最后，我们探讨了不同语言模型集成方法对提出模型性能的影响。我们的实验结果表明，所有提出的技术都提高了识别性能。最佳组合系统在混合误差率方面将基线系统提高到35％，并在单机基准上提供可接受的性能。

我们研究应用语言模型（LM）对指示语言自动语音识别（ASR）系统输出的影响。我们微调WAV2VEC $ 2.0 $型号的$ 18 $指示性语言，并通过根据各种来源派生的文本训练的语言模型调整结果。我们的发现表明，平均字符错误率（CER）降低了$ 28 $ \％，平均单词错误率（WER）在解码LM后降低了$ 36 $ \％。我们表明，与多样化的LM相比，大型LM可能无法提供实质性的改进。我们还证明，可以在特定于域的数据上获得高质量的转录，而无需重新培训ASR模型并显示了生物医学领域的结果。

最近，自我监督的预先磨普已经实现了端到端（E2E）自动语音识别（ASR）的令人印象深刻的结果。然而，主要的序列到序列（S2S）E2E模型仍然很难充分利用自我监督的预训练方法，因为其解码器在声学表示上被调节，因此不能分开预先磨损。在本文中，我们提出了一种基于混合CTC /注意E2E模型的预磨削变压器（Preformer）S2S ASR架构，以充分利用预磨削的声学模型（AMS）和语言模型（LMS）。在我们的框架中，编码器初始化了Preprina（Wav2Vec2.0）。 Preformer在训练和推理期间利用CTC作为辅助任务。此外，我们设计了一个十字解码器（OCD），其放宽对声学表示的依赖性，以便可以用预净化的LM（DistilGPT2）初始化它。实验在Aishell-1语料库上进行，并在测试集上达到4.6±6 \％$ Character error rate（cer）。与我们的Vanilla混合CTC /注意力变压器基线相比，我们所提出的CTC /注意力的预浆料产生27亿美元的相对CER减少。据我们所知，这是第一个在S2S ASR系统中使用普里雷米和LM的第一项工作。

最近，端到端（E2E）框架在各种自动语音识别（ASR）任务上取得了显着的结果。但是，无格的最大互信息（LF-MMI），作为在混合ASR系统中显示出卓越性能的鉴别性培训标准之一，很少在E2E ASR框架中采用。在这项工作中，我们提出了一种新的方法，将LF-MMI标准集成到培训和解码阶段的E2E ASR框架中。该方法显示了其在两个最广泛使用的E2E框架上的有效性，包括基于注意的编码器解码器（AED）和神经传感器（NTS）。实验表明，LF-MMI标准的引入始终如一地导致各种数据集和不同E2E ASR框架的显着性能改进。我们最好的模型在Aishell-1开发/测试集上实现了4.1 \％/ 4.4 \％的竞争力;我们还在强大的基线上实现了对Aishell-2和Librispeech数据集的显着误差。

Connectionist时间分类（CTC）的模型很有吸引力，因为它们在自动语音识别（ASR）中的快速推断。语言模型（LM）集成方法（例如浅融合和重新恢复）可以通过利用文本语料库的知识来提高基于CTC的ASR的识别准确性。但是，它们大大减慢了CTC的推论。在这项研究中，我们建议提炼基于CTC的ASR的BERT知识，从而扩展了我们先前针对基于注意的ASR的研究。基于CTC的ASR在训练过程中学习了BERT的知识，并且在测试过程中不使用BERT，从而维持CTC的快速推断。与基于注意力的模型不同，基于CTC的模型做出了框架级预测，因此它们需要与BERT的令牌级预测进行蒸馏。我们建议通过计算最合理的CTC路径来获得比对。对自发日语（CSJ）和TED-LIUM2语料库的实验评估表明，我们的方法改善了基于CTC的ASR的性能，而无需推理速度成本。

在自动语音识别（ASR）研究中，歧视性标准在DNN-HMM系统中取得了出色的性能。鉴于这一成功，采用判别标准是有望提高端到端（E2E）ASR系统的性能。有了这一动机，以前的作品将最小贝叶斯风险（MBR，歧视性标准之一）引入了E2E ASR系统中。但是，基于MBR的方法的有效性和效率受到损害：MBR标准仅用于系统培训，这在训练和解码之间造成了不匹配；基于MBR的方法中的直接解码过程导致需要预先训练的模型和缓慢的训练速度。为此，在这项工作中提出了新的算法，以整合另一种广泛使用的判别标准，无晶格的最大互信息（LF-MMI），不仅在训练阶段，而且在解码过程中。提出的LF-MI训练和解码方法显示了它们对两个广泛使用的E2E框架的有效性：基于注意力的编码器解码器（AEDS）和神经传感器（NTS）。与基于MBR的方法相比，提出的LF-MMI方法：保持训练和解码之间的一致性；避开直立的解码过程；来自具有卓越训练效率的随机初始化模型的火车。实验表明，LF-MI方法的表现优于其MBR对应物，并始终导致各种框架和数据集从30小时到14.3k小时上的统计学意义改进。所提出的方法在Aishell-1（CER 4.10％）和Aishell-2（CER 5.02％）数据集上实现了最先进的结果（SOTA）。代码已发布。

End-to-end speech recognition models trained using joint Connectionist Temporal Classification (CTC)-Attention loss have gained popularity recently. In these models, a non-autoregressive CTC decoder is often used at inference time due to its speed and simplicity. However, such models are hard to personalize because of their conditional independence assumption that prevents output tokens from previous time steps to influence future predictions. To tackle this, we propose a novel two-way approach that first biases the encoder with attention over a predefined list of rare long-tail and out-of-vocabulary (OOV) words and then uses dynamic boosting and phone alignment network during decoding to further bias the subword predictions. We evaluate our approach on open-source VoxPopuli and in-house medical datasets to showcase a 60% improvement in F1 score on domain-specific rare words over a strong CTC baseline.

捷克语是一种非常特殊的语言，因为它在形式和口语形式之间的差异很大。虽然正式（书面）形式主要用于官方文件，文学和公开演讲，但通言（口语）表格在休闲演讲中被广泛使用。该差距引入了ASR系统的严重问题，尤其是在培训或评估包含大量口语语音（例如Malach Project）的数据集上的ASR模型时。在本文中，我们正在根据端到端ASR系统中的新范式解决这个问题，最近引入了自我监督的音频变压器。具体而言，我们正在研究口语语音对WAV2VEC 2.0模型性能的影响及其直接转录口语演讲的能力。我们在培训成绩单，语言模型和评估笔录中以正式和口语形式提出结果。

本文介绍了阿拉伯语多方面自动语音识别的设计与开发。深度神经网络正在成为解决顺序数据问题的有效工具，特别是采用系统的端到端培训。阿拉伯语语音识别是一个复杂的任务，因为存在多种方言，非可用性的大型语言和遗失的声音。因此，这项工作的第一种贡献是开发具有完全或至少部分发声转录的大型多方面语料库。此外，开源语料库已从多个源收集，通过定义公共字符集来对转录中的非标准阿拉伯字母表进行标准化。第二款贡献是开发框架，用于培训实现最先进的性能的声学模型。网络架构包括卷积和复发层的组合。音频数据的频谱图特征在频率VS时域中提取并在网络中馈送。通过复发模型产生的输出帧进一步训练以使音频特征与其相应的转录序列对齐。使用具有Tetra-Gram语言模型的波束搜索解码器来执行序列对准。所提出的系统实现了14％的错误率，以前优于以前的系统。