上下文偏见是端到端自动语音识别（ASR）系统的一项重要且具有挑战性现有方法主要包括上下文lm偏置，并将偏置编码器添加到端到端的ASR模型中。在这项工作中，我们介绍了一种新颖的方法，通过在端到端ASR系统之上添加上下文拼写校正模型来实现上下文偏见。我们将上下文信息与共享上下文编码器合并到序列到序列拼写校正模型中。我们提出的模型包括两种不同的机制：自动回旋（AR）和非自动回旋（NAR）。我们提出过滤算法来处理大尺寸的上下文列表以及性能平衡机制，以控制模型的偏置程度。我们证明所提出的模型是一种普遍的偏见解决方案，它是对域的不敏感的，可以在不同的情况下采用。实验表明，所提出的方法在ASR系统上的相对单词错误率（WER）降低多达51％，并且优于传统偏见方法。与AR溶液相比，提出的NAR模型可将模型尺寸降低43.2％，并将推断加速2.1倍。

最近，语音界正在看到从基于深神经网络的混合模型移动到自动语音识别（ASR）的端到端（E2E）建模的显着趋势。虽然E2E模型在大多数基准测试中实现最先进的，但在ASR精度方面，混合模型仍然在当前的大部分商业ASR系统中使用。有很多实际的因素会影响生产模型部署决定。传统的混合模型，用于数十年的生产优化，通常擅长这些因素。在不为所有这些因素提供优异的解决方案，E2E模型很难被广泛商业化。在本文中，我们将概述最近的E2E模型的进步，专注于解决行业视角的挑战技术。

上下文ASR将偏见项列表与音频一起列出，随着ASR使用变得更加普遍，最近引起了最新的兴趣。我们正在发布上下文偏见列表，以伴随Enation21数据集，为此任务创建公共基准。我们使用WENET工具包中预处理的端到端ASR模型在此基准测试上介绍了基线结果。我们显示了应用于两种不同解码算法的浅融合上下文偏置的结果。我们的基线结果证实了观察到的观察，即端到端模型尤其是在训练过程中很少见或从未见过的单词，并且现有的浅融合技术不能充分解决这个问题。我们提出了一个替代拼写预测模型，与没有其他拼写的上下文偏见相比，相对相对，将稀有单词相对34.7％，而访问量的单词相对97.2％。该模型在概念上与先前工作中使用的模型相似，但是更容易实现，因为它不依赖发音字典或现有的文本对语音系统。

End-to-end speech recognition models trained using joint Connectionist Temporal Classification (CTC)-Attention loss have gained popularity recently. In these models, a non-autoregressive CTC decoder is often used at inference time due to its speed and simplicity. However, such models are hard to personalize because of their conditional independence assumption that prevents output tokens from previous time steps to influence future predictions. To tackle this, we propose a novel two-way approach that first biases the encoder with attention over a predefined list of rare long-tail and out-of-vocabulary (OOV) words and then uses dynamic boosting and phone alignment network during decoding to further bias the subword predictions. We evaluate our approach on open-source VoxPopuli and in-house medical datasets to showcase a 60% improvement in F1 score on domain-specific rare words over a strong CTC baseline.

Error correction techniques have been used to refine the output sentences from automatic speech recognition (ASR) models and achieve a lower word error rate (WER) than original ASR outputs. Previous works usually use a sequence-to-sequence model to correct an ASR output sentence autoregressively, which causes large latency and cannot be deployed in online ASR services. A straightforward solution to reduce latency, inspired by non-autoregressive (NAR) neural machine translation, is to use an NAR sequence generation model for ASR error correction, which, however, comes at the cost of significantly increased ASR error rate. In this paper, observing distinctive error patterns and correction operations (i.e., insertion, deletion, and substitution) in ASR, we propose FastCorrect, a novel NAR error correction model based on edit alignment. In training, FastCorrect aligns each source token from an ASR output sentence to the target tokens from the corresponding ground-truth sentence based on the edit distance between the source and target sentences, and extracts the number of target tokens corresponding to each source token during edition/correction, which is then used to train a length predictor and to adjust the source tokens to match the length of the target sentence for parallel generation. In inference, the token number predicted by the length predictor is used to adjust the source tokens for target sequence generation. Experiments on the public AISHELL-1 dataset and an internal industrial-scale ASR dataset show the effectiveness of FastCorrect for ASR error correction: 1) it speeds up the inference by 6-9 times and maintains the accuracy (8-14% WER reduction) compared with the autoregressive correction model; and 2) it outperforms the popular NAR models adopted in neural machine translation and text edition by a large margin.

最近，我们提供了Wenet，这是一种面向生产的端到端语音识别工具包，它引入了统一的两通道（U2）框架和内置运行时，以解决单个中的流和非流传输模式。模型。为了进一步提高ASR性能并促进各种生产要求，在本文中，我们提出了Wenet 2.0，并提供四个重要的更新。 （1）我们提出了U2 ++，这是一个带有双向注意解码器的统一的两次通行框架，其中包括通过左右注意力解码器的未来上下文信息，以提高共享编码器的代表性和在夺回阶段的表现。 （2）我们将基于N-Gram的语言模型和基于WFST的解码器引入WENET 2.0，从而促进了在生产方案中使用丰富的文本数据。 （3）我们设计了一个统一的上下文偏见框架，该框架利用特定于用户的上下文（例如联系人列表）为生产提供快速适应能力，并提高了使用LM和没有LM场景的ASR准确性。 （4）我们设计了一个统一的IO，以支持大规模数据进行有效的模型培训。总而言之，全新的WENET 2.0可在各种Corpora上的原始WENET上取得高达10 \％的相对识别性能提高，并提供了一些重要的以生产为导向的功能。

Error correction in automatic speech recognition (ASR) aims to correct those incorrect words in sentences generated by ASR models. Since recent ASR models usually have low word error rate (WER), to avoid affecting originally correct tokens, error correction models should only modify incorrect words, and therefore detecting incorrect words is important for error correction. Previous works on error correction either implicitly detect error words through target-source attention or CTC (connectionist temporal classification) loss, or explicitly locate specific deletion/substitution/insertion errors. However, implicit error detection does not provide clear signal about which tokens are incorrect and explicit error detection suffers from low detection accuracy. In this paper, we propose SoftCorrect with a soft error detection mechanism to avoid the limitations of both explicit and implicit error detection. Specifically, we first detect whether a token is correct or not through a probability produced by a dedicatedly designed language model, and then design a constrained CTC loss that only duplicates the detected incorrect tokens to let the decoder focus on the correction of error tokens. Compared with implicit error detection with CTC loss, SoftCorrect provides explicit signal about which words are incorrect and thus does not need to duplicate every token but only incorrect tokens; compared with explicit error detection, SoftCorrect does not detect specific deletion/substitution/insertion errors but just leaves it to CTC loss. Experiments on AISHELL-1 and Aidatatang datasets show that SoftCorrect achieves 26.1% and 9.4% CER reduction respectively, outperforming previous works by a large margin, while still enjoying fast speed of parallel generation.

在本文中，我们提出了一种新的双通方法来统一一个模型中的流和非流媒体端到端（E2E）语音识别。我们的型号采用混合CTC /注意架构，其中编码器中的构装层被修改。我们提出了一种基于动态的块的注意力策略，以允许任意右上下文长度。在推理时间，CTC解码器以流式方式生成n最佳假设。只有更改块大小，可以轻松控制推理延迟。然后，CTC假设被注意力解码器重新筛选以获得最终结果。这种有效的备用过程导致句子级延迟非常小。我们在开放的170小时Aishell-1数据集上的实验表明，所提出的方法可以简单有效地统一流和非流化模型。在Aishell-1测试集上，与标准的非流式变压器相比，我们的统一模型在非流式ASR中实现了5.60％的相对字符错误率（CER）减少。同一模型在流式ASR系统中实现了5.42％的CER，640ms延迟。

端到端（E2E）自动语音识别模型如经常性神经网络传感器（RNN-T）正成为流媒体级语音助手的流行选择。虽然E2E模型在学习培训数据的学习代表时非常有效，但他们对看不见的域的准确性仍然是一个具有挑战性的问题。此外，这些模型需要配对的音频和文本培训数据，计算得昂贵，并且难以适应对话语音的快速不断发展的性质。在这项工作中，我们探讨了使用利用文本数据源的似然比来调整RNN-T模型的上下文偏置方法。我们表明这种方法在提高稀有单词识别方面是有效的，并导致在多个OUT的N-BEST ORACLE WER（n = 8）中为10％的相对提高10％，在多个外部域数据集没有常规数据集没有任何劣化。我们还表明，通过适应第二遍辅助模型的互补偏置适应性提供了加性WER改进。

Error correction is widely used in automatic speech recognition (ASR) to post-process the generated sentence, and can further reduce the word error rate (WER). Although multiple candidates are generated by an ASR system through beam search, current error correction approaches can only correct one sentence at a time, failing to leverage the voting effect from multiple candidates to better detect and correct error tokens. In this work, we propose FastCorrect 2, an error correction model that takes multiple ASR candidates as input for better correction accuracy. FastCorrect 2 adopts non-autoregressive generation for fast inference, which consists of an encoder that processes multiple source sentences and a decoder that generates the target sentence in parallel from the adjusted source sentence, where the adjustment is based on the predicted duration of each source token. However, there are some issues when handling multiple source sentences. First, it is non-trivial to leverage the voting effect from multiple source sentences since they usually vary in length. Thus, we propose a novel alignment algorithm to maximize the degree of token alignment among multiple sentences in terms of token and pronunciation similarity. Second, the decoder can only take one adjusted source sentence as input, while there are multiple source sentences. Thus, we develop a candidate predictor to detect the most suitable candidate for the decoder. Experiments on our inhouse dataset and AISHELL-1 show that FastCorrect 2 can further reduce the WER over the previous correction model with single candidate by 3.2% and 2.6%, demonstrating the effectiveness of leveraging multiple candidates in ASR error correction. FastCorrect 2 achieves better performance than the cascaded re-scoring and correction pipeline and can serve as a unified post-processing module for ASR.

语言模型（LMS）显着提高端到端模型（E2E）模型在训练过程中很少见的单词的识别准确性，当时在浅融合或重新恢复设置中。在这项工作中，我们介绍了LMS在判别培训框架中学习混合自动回旋传感器（HAT）模型的研究，以减轻有关使用LMS的训练与推理差距。对于浅融合设置，我们在假设生成和损失计算过程中都使用LMS，而LM感知的MWER训练模型可实现10 \％的相对改进，比用标准MWER在语音搜索测试集中培训的模型相对改进，其中包含稀有单词。对于重新设置，我们学会了一个小型神经模块，以数据依赖性方式产生串联的融合权重。该模型与常规MWER训练的模型相同，但无需清除融合重量。

端到端（E2E）自动语音识别（ASR）系统通常难以识别出罕见的单词，这在训练数据中出现了很少。一种有希望的方法，提高了这种稀有词语的识别准确性，是在推理的推理中锁定在个性化/上下文信息上。在这项工作中，我们通过利用这种上下文信号，提出了一种新颖的上下文传感器传感器（CATT）网络，其通过利用这种上下文信号来改善基于最先进的变换器的ASR系统。具体地，我们提出了一种基于多主题的上下文偏置网络，其与ASR子网的其余部分共同训练。我们探讨了对编码上下文数据的不同技术，并创建最终注意上下文向量。我们还利用BLSTM和预借用的基于BERT的模型来编码上下文数据并指导网络培训。使用内部现场数据集，我们示出了使用基于BERT的上下文编码器的CATT，可提高基线变压器传感器的字错误率，并且分别优于现有的深层上下文模型24.2％和19.4％。

统一的流和非流式的双通（U2）用于语音识别的端到端模型在流传输能力，准确性，实时因素（RTF）和延迟方面表现出很大的性能。在本文中，我们呈现U2 ++，U2的增强版本，进一步提高了准确性。 U2 ++的核心思想是在训练中同时使用标签序列的前向和向后信息来学习更丰富的信息，并在解码时结合前向和后向预测以提供更准确的识别结果。我们还提出了一种名为SPECSUB的新数据增强方法，以帮助U2 ++模型更准确和强大。我们的实验表明，与U2相比，U2 ++在训练中显示了更快的收敛，更好地鲁棒性对解码方法，以及U2上的一致5 \％-8 \％字错误率降低增益。在Aishell-1的实验中，我们通过u2 ++实现了一个4.63 \％的字符错误率（cer），其中没有流媒体设置和5.05 \％，具有320ms延迟的流设置。据我们所知，5.05 \％是Aishell-1测试集上的最佳发布的流媒体结果。

虽然现代自动语音识别（ASR）系统可以实现高性能，但它们可能会产生削弱读者体验并对下游任务造成伤害的错误。为了提高ASR假设的准确性和可靠性，我们提出了一种用于语音识别器的跨模型后处理系统，其中1）熔断来自不同方式的声学特征和文本特征，2）接合置信度估计器和多个误差校正器任务学习时尚和3）统一纠错和话语抑制模块。与单模或单任务模型相比，我们提出的系统被证明更有效和高效。实验结果表明，我们的后处理系统导致对工业ASR系统的单扬声器和多扬声器语音相对降低的10％相对减少，每个令牌约为1.7ms延迟确保在流语音识别中可以接受后处理引入的额外延迟。

会话言论通常在话语水平上以松散的句法结构体现，但同时表现出连续话语的局部相干关系。事先工作已经表明，使用经常性神经网络或长短期存储器语言模型（LM）捕获较长的上下文信息可能遭受最近的偏置，而不是在远程上下文中。为了捕获词语和跨越话语之间的长期语义互动，我们提出了对话语音的自动语音识别（ASR）中语言建模的不同谈话历史融合方法。此外，引入了一种新的函数融合机制，该机制被引入熔断器并利用当前话语的声学嵌入和其相应的对话历史的语义含量以协作方式。为了塑造我们的想法，我们将ASR N-Best假设救援人员框架作为预测问题，利用BERT，一个标志性的预训练LM，作为成分车辆，以便于从给定的N最佳假设列表中选择Oracle假设。在AMI基准数据集上进行的实证实验似乎展示了我们对某些目前的线上的方法相关的可行性和功效。

End-2-End（E2E）模型由于其性能和优势而在某些ASR任务中变得越来越流行。这些E2E模型直接近似鉴于声学输入的代币的后验分布。因此，E2E系统在输出令牌上隐式定义了语言模型（LM），这使得对独立训练的语言模型的开发不如常规ASR系统不那么直接。这使得很难动态地调整E2E ASR系统，以更好地识别诸如命名实体之类的特殊单词。在这项工作中，我们提出了一种培训上下文意识到的E2E模型和将语言模型调整为命名实体的上下文密度比率方法。我们将上述技术应用于E2E ASR系统，该系统会转录医生和患者对话，以更好地适应E2E系统对对话中的名称。我们提出的技术在E2E基线上的名称相对提高了46.5％，而不会降低整个测试集的总体识别精度。此外，它还相对超过了上下文浅融合基线的22.1％。

由于无标记的文本和语音数据的广泛可用性，最近基于仅音频数据的仅文本和半监督培训已广受欢迎。在这项工作中，我们建议将纯文本和半监督培训纳入基于注意力的审议模型。通过将纯文本数据合并到培训审议文本编码器的变压器（BERT）的双向编码器表示中，以及使用联合声学和文本解码器（JATD）和半诉讼程序的大规模文本到语音和纯音频和音频话语培训，与基线审议相比，我们的各种任务减少了4％-12％。与最先进的语言模型（LM）纠正方法相比，审议模型将Google语音搜索降低了11％。我们表明，与具有合理的终端潜伏期的最先进的LM委员相比，审议模型还获得了正面的人类并排评估。

连接派时间分类（CTC）的模型在自动语音识别（ASR）方面具有吸引力，因为它们的非自动性性质。为了利用仅文本数据，语言模型（LM）集成方法（例如重新纠正和浅融合）已被广泛用于CTC。但是，由于需要降低推理速度，因此他们失去了CTC的非自动性性本质。在这项研究中，我们提出了一种使用电话条件的蒙版LM（PC-MLM）的误差校正方法。在提出的方法中，掩盖了来自CTC的贪婪解码输出中的较不自信的单词令牌。然后，PC-MLM预测这些蒙版的单词令牌给定的单词和手机补充了CTC。我们进一步将其扩展到可删除的PC-MLM，以解决插入错误。由于CTC和PC-MLM均为非自动回旋模型，因此该方法可以快速LM集成。在域适应设置中对自发日本（CSJ）和TED-LIUM2语料库进行的实验评估表明，我们所提出的方法在推理速度方面优于重新逆转和浅融合，并且在CSJ上的识别准确性方面。

将作为上下文知识获得的偏见单词合并对于许多自动语音识别（ASR）应用至关重要。本文建议将图形神经网络（GNN）编码用于端到端上下文ASR中的树受限指针生成器（TCPGEN）组件。通过用基于树的GNN编码前缀树中的有偏见的单词，可以在每个树节点上通过合并有关其扎根的树枝上的所有文字的信息来实现端到端ASR解码中未来文字的lookahead，从而实现。允许更准确地预测偏见单词的生成概率。使用模拟的偏置任务在Librispeech语料库上评估系统，并通过提出一种新颖的视觉接地上下文ASR管道，在AMI语料库上评估了系统，该管道从每次会议旁边的幻灯片中提取有偏见的单词。结果表明，与原始TCPGEN相比，具有GNN编码的TCPGEN对偏置单词的相对减少了约15％，而解码的计算成本的增加可忽略不计。

在移动设备上的语音模型（在设备个性化）上的个性化是一个活跃的研究领域，但是通常，移动设备比配对的音频文本数据具有更多的仅文本数据。我们探索培训有关仅文本数据的个性化语言模型，该模型在推理期间用于提高该用户的语音识别性能。我们在一个用户群体的Librispeech语料库上进行了实验，并为Gutenberg Project的每个用户提供了个性化的文本数据。我们发布此特定于用户的LibrisPeech（UserLibri）数据集，以帮助未来的个性化研究。LibrisPeech音频转录对分为来自测试清洁数据集的55个用户，另外有52位用户。我们能够降低流媒体和非启动模型中的两个集合中每个用户的平均单词错误率，包括在流式传输时为更难的测试用户组的2.5改进。