误差校正技术仍然有效地通过自动语音识别（ASR）模型来完善输出。现有的端到端错误校正方法基于编码器架构架构过程在解码阶段中所有令牌，都会产生不良的延迟。在本文中，我们提出了一种利用校正操作预测的ASR误差校正方法。更具体地说，我们在编码器和解码器之间构建一个预测指标，以了解是否应保留一个令牌（“ k”），已删除（“ d”）或更改（“ C”）以限制解码仅为输入的一部分序列嵌入（“ C”令牌）用于快速推断。三个公共数据集的实验证明了拟议方法在减少ASR校正中解码过程的潜伏期中的有效性。与固体编码器基线相比，我们提出的两个模型的推理速度至少提高了3次（3.4次和5.7次），同时保持相同的准确性（分别降低0.53％和1.69％）。同时，我们生产并发布了为ASR错误校正社区做出贡献的基准数据集，以促进沿这一行的研究。

Error correction techniques have been used to refine the output sentences from automatic speech recognition (ASR) models and achieve a lower word error rate (WER) than original ASR outputs. Previous works usually use a sequence-to-sequence model to correct an ASR output sentence autoregressively, which causes large latency and cannot be deployed in online ASR services. A straightforward solution to reduce latency, inspired by non-autoregressive (NAR) neural machine translation, is to use an NAR sequence generation model for ASR error correction, which, however, comes at the cost of significantly increased ASR error rate. In this paper, observing distinctive error patterns and correction operations (i.e., insertion, deletion, and substitution) in ASR, we propose FastCorrect, a novel NAR error correction model based on edit alignment. In training, FastCorrect aligns each source token from an ASR output sentence to the target tokens from the corresponding ground-truth sentence based on the edit distance between the source and target sentences, and extracts the number of target tokens corresponding to each source token during edition/correction, which is then used to train a length predictor and to adjust the source tokens to match the length of the target sentence for parallel generation. In inference, the token number predicted by the length predictor is used to adjust the source tokens for target sequence generation. Experiments on the public AISHELL-1 dataset and an internal industrial-scale ASR dataset show the effectiveness of FastCorrect for ASR error correction: 1) it speeds up the inference by 6-9 times and maintains the accuracy (8-14% WER reduction) compared with the autoregressive correction model; and 2) it outperforms the popular NAR models adopted in neural machine translation and text edition by a large margin.

自动语音识别（ASR）中编辑的后编辑需要自动纠正ASR系统产生的常见和系统错误。 ASR系统的输出在很大程度上容易出现语音和拼写错误。在本文中，我们建议使用强大的预训练的序列模型BART，BART进一步适应训练以作为剥夺模型，以纠正此类类型的错误。自适应培训是在通过合成诱导错误以及通过合并现有ASR系统中的实际错误获得的增强数据集上执行的。我们还提出了一种简单的方法，可以使用单词级别对齐来恢复输出。对重音语音数据的实验结果表明，我们的策略有效地纠正了大量的ASR错误，并在与竞争性基线相比时会产生改善的结果。我们还强调了在印地语语言中相关的语法误差校正任务中获得的负面结果，显示了通过我们建议的模型捕获更广泛上下文的限制。

连接派时间分类（CTC）的模型在自动语音识别（ASR）方面具有吸引力，因为它们的非自动性性质。为了利用仅文本数据，语言模型（LM）集成方法（例如重新纠正和浅融合）已被广泛用于CTC。但是，由于需要降低推理速度，因此他们失去了CTC的非自动性性本质。在这项研究中，我们提出了一种使用电话条件的蒙版LM（PC-MLM）的误差校正方法。在提出的方法中，掩盖了来自CTC的贪婪解码输出中的较不自信的单词令牌。然后，PC-MLM预测这些蒙版的单词令牌给定的单词和手机补充了CTC。我们进一步将其扩展到可删除的PC-MLM，以解决插入错误。由于CTC和PC-MLM均为非自动回旋模型，因此该方法可以快速LM集成。在域适应设置中对自发日本（CSJ）和TED-LIUM2语料库进行的实验评估表明，我们所提出的方法在推理速度方面优于重新逆转和浅融合，并且在CSJ上的识别准确性方面。

Error correction is widely used in automatic speech recognition (ASR) to post-process the generated sentence, and can further reduce the word error rate (WER). Although multiple candidates are generated by an ASR system through beam search, current error correction approaches can only correct one sentence at a time, failing to leverage the voting effect from multiple candidates to better detect and correct error tokens. In this work, we propose FastCorrect 2, an error correction model that takes multiple ASR candidates as input for better correction accuracy. FastCorrect 2 adopts non-autoregressive generation for fast inference, which consists of an encoder that processes multiple source sentences and a decoder that generates the target sentence in parallel from the adjusted source sentence, where the adjustment is based on the predicted duration of each source token. However, there are some issues when handling multiple source sentences. First, it is non-trivial to leverage the voting effect from multiple source sentences since they usually vary in length. Thus, we propose a novel alignment algorithm to maximize the degree of token alignment among multiple sentences in terms of token and pronunciation similarity. Second, the decoder can only take one adjusted source sentence as input, while there are multiple source sentences. Thus, we develop a candidate predictor to detect the most suitable candidate for the decoder. Experiments on our inhouse dataset and AISHELL-1 show that FastCorrect 2 can further reduce the WER over the previous correction model with single candidate by 3.2% and 2.6%, demonstrating the effectiveness of leveraging multiple candidates in ASR error correction. FastCorrect 2 achieves better performance than the cascaded re-scoring and correction pipeline and can serve as a unified post-processing module for ASR.

Error correction in automatic speech recognition (ASR) aims to correct those incorrect words in sentences generated by ASR models. Since recent ASR models usually have low word error rate (WER), to avoid affecting originally correct tokens, error correction models should only modify incorrect words, and therefore detecting incorrect words is important for error correction. Previous works on error correction either implicitly detect error words through target-source attention or CTC (connectionist temporal classification) loss, or explicitly locate specific deletion/substitution/insertion errors. However, implicit error detection does not provide clear signal about which tokens are incorrect and explicit error detection suffers from low detection accuracy. In this paper, we propose SoftCorrect with a soft error detection mechanism to avoid the limitations of both explicit and implicit error detection. Specifically, we first detect whether a token is correct or not through a probability produced by a dedicatedly designed language model, and then design a constrained CTC loss that only duplicates the detected incorrect tokens to let the decoder focus on the correction of error tokens. Compared with implicit error detection with CTC loss, SoftCorrect provides explicit signal about which words are incorrect and thus does not need to duplicate every token but only incorrect tokens; compared with explicit error detection, SoftCorrect does not detect specific deletion/substitution/insertion errors but just leaves it to CTC loss. Experiments on AISHELL-1 and Aidatatang datasets show that SoftCorrect achieves 26.1% and 9.4% CER reduction respectively, outperforming previous works by a large margin, while still enjoying fast speed of parallel generation.

常规的自动语音识别系统不会产生标点符号，这对于语音识别结果的可读性很重要。随后的自然语言处理任务（例如机器翻译）也需要它们。标点符号预测模型上有许多作品将标点符号插入语音识别结果中作为后处理。但是，这些研究并未利用声学信息进行标点符号预测，并且直接受语音识别错误的影响。在这项研究中，我们提出了一个端到端模型，该模型将语音作为输入并输出标点的文本。在使用声学信息时，该模型有望在语音识别错误方面可靠地预测标点符号。我们还建议使用辅助损失，以使用中间层和未插入文本的输出来训练模型。通过实验，我们将提出的模型的性能与级联系统的性能进行比较。所提出的模型比级联系统获得更高的标点符号预测准确性，而无需牺牲语音识别错误率。还证明，使用中间输出针对未插入文本的多任务学习有效。此外，与级联系统相比，提出的模型仅具有约1/7的参数。

基于语音的投入在我们日常生活中获得了智能手机和平板电脑的普及，因为声音是人类计算机交互的最简单而有效的方式。本文旨在设计更有效的基于语音的接口，以查询关系数据库中的结构化数据。我们首先识别名为Speep-to-SQL的新任务，旨在了解人类语音传达的信息，并直接将其转换为结构化查询语言（SQL）语句。对此问题的天真解决方案可以以级联方式工作，即，自动语音识别（ASR）组件，后跟文本到SQL组件。然而，它需要高质量的ASR系统，并且还遭受了两种组件之间的错误复合问题，从而产生有限的性能。为了处理这些挑战，我们进一步提出了一个名为SpeepSQLNET的新型端到端神经结构，直接将人类语音转化为没有外部ASR步骤的SQL查询。 SpeemSQLNET具有充分利用演讲中提供的丰富语言信息的优势。据我们所知，这是第一次尝试根据任意自然语言问题直接综合SQL，而不是基于自然语言的SQL版本或其具有有限的SQL语法的变体。为了验证所提出的问题和模型的有效性，我们还通过捎带广泛使用的文本到SQL数据集来进一步构建名为SpeemQL的数据集。对该数据集的广泛实验评估表明，SpeemSQLNET可以直接从人类语音中直接综合高质量的SQL查询，优于各种竞争对手，以及在精确匹配的准确性方面的级联方法。

上下文偏见是端到端自动语音识别（ASR）系统的一项重要且具有挑战性现有方法主要包括上下文lm偏置，并将偏置编码器添加到端到端的ASR模型中。在这项工作中，我们介绍了一种新颖的方法，通过在端到端ASR系统之上添加上下文拼写校正模型来实现上下文偏见。我们将上下文信息与共享上下文编码器合并到序列到序列拼写校正模型中。我们提出的模型包括两种不同的机制：自动回旋（AR）和非自动回旋（NAR）。我们提出过滤算法来处理大尺寸的上下文列表以及性能平衡机制，以控制模型的偏置程度。我们证明所提出的模型是一种普遍的偏见解决方案，它是对域的不敏感的，可以在不同的情况下采用。实验表明，所提出的方法在ASR系统上的相对单词错误率（WER）降低多达51％，并且优于传统偏见方法。与AR溶液相比，提出的NAR模型可将模型尺寸降低43.2％，并将推断加速2.1倍。

虽然现代自动语音识别（ASR）系统可以实现高性能，但它们可能会产生削弱读者体验并对下游任务造成伤害的错误。为了提高ASR假设的准确性和可靠性，我们提出了一种用于语音识别器的跨模型后处理系统，其中1）熔断来自不同方式的声学特征和文本特征，2）接合置信度估计器和多个误差校正器任务学习时尚和3）统一纠错和话语抑制模块。与单模或单任务模型相比，我们提出的系统被证明更有效和高效。实验结果表明，我们的后处理系统导致对工业ASR系统的单扬声器和多扬声器语音相对降低的10％相对减少，每个令牌约为1.7ms延迟确保在流语音识别中可以接受后处理引入的额外延迟。

口语理解（SLU）系统提取文本成绩单和语义与意图和插槽相关的语言。 SLU系统通常由（1）自动语音识别（ASR）模块组成，（2）接口来自ASR相关输出的接口模块，以及（3）自然语言理解（NLU）模块。 SLU系统中的接口随附文本转录或更丰富的信息（例如从ASR到NLU）的信息。在本文中，我们研究界面如何影响与口语理解的联合培训。最值得注意的是，我们在公开可用的50小时SLURP数据集中获得了最新结果。我们首先利用通过文本界面连接的大型ASR和NLU模型，然后通过序列损耗函数共同训练这两个模型。对于未利用预位模型的场景，使用更丰富的神经界面通过联合序列损失训练获得了最佳结果。最后，我们显示了利用预期模型随培训数据规模增加的总体减少影响。

我们提出了一种基于审议的新型方法来端到端（E2E）口语理解（SLU），其中流媒体自动语音识别（ASR）模型会产生第一频繁的假设和第二通通的自然语言（NLU）（NLU） ）组件通过对ASR的文本和音频嵌入来生成语义解析。通过将E2E SLU制定为广义解码器，我们的系统能够支持复杂的组成语义结构。此外，ASR和NLU之间的参数共享使该系统特别适合资源受限的（内部设备）环境；我们提出的方法始终在TOPV2数据集的口头版本（Stop）的口语版本上始终优于强大管道NLU基线的0.60％至0.65％。我们证明了文本和音频功能的融合，再加上系统重写第一通道假设的能力，使我们的方法对ASR错误更加强大。最后，我们表明我们的方法可以显着减少从自然语音到合成语音训练时的降解，但是要使文本到语音（TTS）成为可行的解决方案，以扩大E2E SLU。

端到端（E2E）模型在口语理解（SLU）系统中变得越来越流行，并开始实现基于管道的方法的竞争性能。但是，最近的工作表明，这些模型努力以相同的意图概括为新的措辞，这表明模型无法理解给定话语的语义内容。在这项工作中，我们在E2E-SLU框架内的未标记文本数据中预先训练了在未标记的文本数据上进行预先训练的语言模型，以构建强大的语义表示。同时结合语义信息和声学信息可以增加推理时间，从而在语音助手等应用程序中部署时会导致高潜伏期。我们开发了一个2频道的SLU系统，该系统使用第一张音频的几秒钟的声学信息进行低潜伏期预测，并通过结合语义和声学表示在第二次通过中进行更高质量的预测。我们从先前的2次端到端语音识别系统上的工作中获得了灵感，该系统同时使用审议网络就可以在音频和第一通道假设上进行。所提出的2个通用SLU系统在Fluent Speech命令挑战集和SLURP数据集上优于基于声学的SLU模型，并减少了延迟，从而改善了用户体验。作为ESPNET-SLU工具包的一部分，我们的代码和模型公开可用。

最近，基于注意的编码器 - 解码器（AED）模型对多个任务的端到端自动语音识别（ASR）显示了高性能。在此类模型中解决了过度控制，本文介绍了轻松关注的概念，这是一种简单地逐渐注入对训练期间对编码器 - 解码器注意重量的统一分配，其易于用两行代码实现。我们调查轻松关注跨不同AED模型架构和两个突出的ASR任务，华尔街日志（WSJ）和LibRisPeech的影响。我们发现，在用外部语言模型解码时，随着宽松的注意力训练的变压器始终如一地始终如一地遵循标准基线模型。在WSJ中，我们为基于变压器的端到端语音识别设置了一个新的基准，以3.65％的单词错误率，最优于13.1％的相对状态，同时仅引入单个HyperParameter。

自动语音识别（ASR）系统的转录质量在转录来自看不见的域的音频时会大大降低。我们提出了一种无监督的误差校正方法，用于无监督的ASR域适应性，旨在恢复域不匹配引起的转录误差。与依靠转录音频进行训练的现有校正方法不同，我们的方法仅需要针对目标域的未标记数据，在该数据中，将伪标记技术应用于生成校正培训样品。为了减少对伪数据的过度拟合，我们还提出了一个编码器校正模型，该模型可以考虑其他信息，例如对话上下文和声学特征。实验结果表明，我们的方法在未适应的ASR系统中获得了显着的单词错误率（WER）。校正模型也可以在其他适应方法的基础上应用，以相对额外的改善。

本文研究了一种新型的预训练技术，该技术具有未配对的语音数据Segend2C，用于基于编码器的自动语音识别（ASR）。在一个多任务学习框架内，我们使用声音单元（即伪代码）介绍了编码器 - 编码器网络的两个预训练任务，这些任务来自离线聚类模型。一种是通过在编码器输出中通过掩盖语言建模来预测伪代码，例如Hubert模型，而另一个使解码器学会学会重建伪代码自动加工，而不是生成文本脚本。通过这种方式，解码器学会了在学习生成正确的文本之前先用代码重建原始语音信息。在Librispeech语料库上进行的综合实验表明，在没有解码器预训练的情况下，提出的Speek2C可以相对将单词错误率（WER）降低19.2％，并且在最先进的WAV2VEC 2.0和HUBERT上的表现显着优于微调子集为10h和100h。我们在https://github.com/microsoft/speecht5/tree/main/main/speech2c上发布代码和模型。

拼写错误纠正是自然语言处理中具有很长历史的主题之一。虽然以前的研究取得了显着的结果，但仍然存在挑战。在越南语中，任务的最先进的方法从其相邻音节中介绍了一个音节的上下文。然而，该方法的准确性可能是不令人满意的，因为如果模型可能会失去上下文，如果两个（或更多）拼写错误彼此静置。在本文中，我们提出了一种纠正越南拼写错误的新方法。我们使用深入学习模型解决错误错误和拼写错误错误的问题。特别地，嵌入层由字节对编码技术提供支持。基于变压器架构的序列模型的序列使我们的方法与上一个问题不同于同一问题的方法。在实验中，我们用大型合成数据集训练模型，这是随机引入的拼写错误。我们使用现实数据集测试所提出的方法的性能。此数据集包含11,202个以9,341不同的越南句子中的人造拼写错误。实验结果表明，我们的方法达到了令人鼓舞的表现，检测到86.8％的误差，81.5％纠正，分别提高了最先进的方法5.6％和2.2％。

近年来已经看到了最终（E2E）口语理解（SLU）系统的重要进展，它直接从口头音频预测意图和插槽。虽然对话历史被利用以改善基于传统的基于文本的自然语言理解系统，但是当前的E2E SLU方法尚未在多转义和面向任务的对话中尚未结合这种关键的上下文信号。在这项工作中，我们提出了一个上下文E2E SLU模型架构，它使用多针关注机制来通过编码的先前的话语和对话框（语音助手所采取的动作）进行多转对对话。我们详细介绍了将这些上下文集成到最先进的复制和转换器的模型中的替代方法。当应用于由语音助理收集的大型识别的话语数据集时，我们的方法分别将平均单词和语义误差率降低10.8％和12.6％。我们还在公开可用的数据集中呈现结果，并显示我们的方法显着提高了非联盟基线的性能

End-to-end speech recognition models trained using joint Connectionist Temporal Classification (CTC)-Attention loss have gained popularity recently. In these models, a non-autoregressive CTC decoder is often used at inference time due to its speed and simplicity. However, such models are hard to personalize because of their conditional independence assumption that prevents output tokens from previous time steps to influence future predictions. To tackle this, we propose a novel two-way approach that first biases the encoder with attention over a predefined list of rare long-tail and out-of-vocabulary (OOV) words and then uses dynamic boosting and phone alignment network during decoding to further bias the subword predictions. We evaluate our approach on open-source VoxPopuli and in-house medical datasets to showcase a 60% improvement in F1 score on domain-specific rare words over a strong CTC baseline.

变形金刚最近在ASR领域主导。尽管能够产生良好的性能，但它们涉及自回归（AR）解码器，以一一生成令牌，这在计算上效率低下。为了加快推断，非自动回旋（NAR）方法，例如设计单步nar，以实现平行生成。但是，由于输出令牌内的独立性假设，单步nar的性能不如AR模型，尤其是在大规模语料库的情况下。改进单步nar面临两个挑战：首先，准确预测输出令牌的数量并提取隐藏的变量；其次，以增强输出令牌之间的相互依赖性建模。为了应对这两个挑战，我们提出了一个被称为Paraformer的快速准确的平行变压器。这利用了连续的基于集成和火的预测器来预测令牌的数量并生成隐藏的变量。然后，浏览语言模型（GLM）采样器会生成语义嵌入，以增强NAR解码器建模上下文相互依存的能力。最后，我们设计了一种策略来生成负面样本，以进行最小单词错误率训练以进一步提高性能。使用公共Aishell-1，Aishell-2基准和工业级别20,000小时任务的实验表明，拟议的Paraformer可以达到与最先进的AR变压器相当的性能，具有超过10倍的加速。