尽管端到端（E2E）自动语音识别（ASR）的快速进展，但已经证明将外部语言模型（LMS）结合到解码中可以进一步提高E2E ASR系统的识别性能。为了与E2E ASR系统中采用的建模单元对准，通常使用子字级（例如，字符，BPE）LMS与当前的E2E ASR系统配合。但是，使用子字级LMS将忽略单词级信息，这可能会限制E2E ASR中的外部LMS的强度。虽然已经提出了几种方法在E2E ASR中包含了单词级外部LMS，但这些方法主要针对具有清晰字界的语言，例如英语，并且不能直接应用于普通话等语言，其中每个字符序列可以具有多个对应的语言字序列。为此，我们提出了一种新颖的解码算法，其中在飞行中构造了单词级格子，以考虑每个部分假设的所有可能的字序列。然后，通过将产生的格子与外部单词N-GRAM LM交叉来获得假设的LM得分。在关注的基于编码器 - 解码器（AED）和神经换能器（NT）框架上检查所述方法。实验表明，我们的方法始终如一地优于次字级LMS，包括N-GRAM LM和神经网络LM。我们在Aishell-1（Cer 4.18％）和Aishell-2（Cer 5.06％）数据集上实现最先进的结果，并在21k小时的普通话数据集中减少14.8％。
translated by 谷歌翻译
在自动语音识别（ASR）研究中，歧视性标准在DNN-HMM系统中取得了出色的性能。鉴于这一成功，采用判别标准是有望提高端到端（E2E）ASR系统的性能。有了这一动机，以前的作品将最小贝叶斯风险（MBR，歧视性标准之一）引入了E2E ASR系统中。但是，基于MBR的方法的有效性和效率受到损害：MBR标准仅用于系统培训，这在训练和解码之间造成了不匹配；基于MBR的方法中的直接解码过程导致需要预先训练的模型和缓慢的训练速度。为此，在这项工作中提出了新的算法，以整合另一种广泛使用的判别标准，无晶格的最大互信息（LF-MMI），不仅在训练阶段，而且在解码过程中。提出的LF-MI训练和解码方法显示了它们对两个广泛使用的E2E框架的有效性：基于注意力的编码器解码器（AEDS）和神经传感器（NTS）。与基于MBR的方法相比，提出的LF-MMI方法：保持训练和解码之间的一致性；避开直立的解码过程；来自具有卓越训练效率的随机初始化模型的火车。实验表明，LF-MI方法的表现优于其MBR对应物，并始终导致各种框架和数据集从30小时到14.3k小时上的统计学意义改进。所提出的方法在Aishell-1（CER 4.10％）和Aishell-2（CER 5.02％）数据集上实现了最先进的结果（SOTA）。代码已发布。
translated by 谷歌翻译
最近，端到端（E2E）框架在各种自动语音识别（ASR）任务上取得了显着的结果。但是，无格的最大互信息（LF-MMI），作为在混合ASR系统中显示出卓越性能的鉴别性培训标准之一，很少在E2E ASR框架中采用。在这项工作中，我们提出了一种新的方法，将LF-MMI标准集成到培训和解码阶段的E2E ASR框架中。该方法显示了其在两个最广泛使用的E2E框架上的有效性，包括基于注意的编码器解码器（AED）和神经传感器（NTS）。实验表明，LF-MMI标准的引入始终如一地导致各种数据集和不同E2E ASR框架的显着性能改进。我们最好的模型在Aishell-1开发/测试集上实现了4.1 \％/ 4.4 \％的竞争力;我们还在强大的基线上实现了对Aishell-2和Librispeech数据集的显着误差。
translated by 谷歌翻译
对于普通话端到端（E2E）自动语音识别（ASR）任务，与基于角色的建模单元相比，基于发音的建模单元可以改善模型培训中的建模单元的共享，但遇到了同音词。在这项研究中，我们建议使用一种新颖的发音意识到的独特字符编码来构建基于E2E RNN-T的普通话ASR系统。所提出的编码是发音基本音节和字符索引（CI）的组合。通过引入CI，RNN-T模型可以在利用发音信息来提取建模单元的同时克服同音问题。通过提出的编码，可以通过一对一的映射将模型输出转换为最终识别结果。我们在Aishell和MagicData数据集上进行了实验，实验结果表明了该方法的有效性。
translated by 谷歌翻译
Recent studies have shown that using an external Language Model (LM) benefits the end-to-end Automatic Speech Recognition (ASR). However, predicting tokens that appear less frequently in the training set is still quite challenging. The long-tail prediction problems have been widely studied in many applications, but only been addressed by a few studies for ASR and LMs. In this paper, we propose a new memory augmented lookup dictionary based Transformer architecture for LM. The newly introduced lookup dictionary incorporates rich contextual information in training set, which is vital to correctly predict long-tail tokens. With intensive experiments on Chinese and English data sets, our proposed method is proved to outperform the baseline Transformer LM by a great margin on both word/character error rate and tail tokens error rate. This is achieved without impact on the decoding efficiency. Overall, we demonstrate the effectiveness of our proposed method in boosting the ASR decoding performance, especially for long-tail tokens.
translated by 谷歌翻译
在端到端RNN-TransDucer（RNN-T）中使用外部语言模型（ELM）使用仅文本数据进行语音识别是具有挑战性的。最近，已经开发了一类方法，例如密度比（DR）和内部语言模型估计（ILME），表现优于经典的浅融合（SF）方法。这些方法背后的基本思想是，RNN-T后验应首先先于隐式学习的内部语言模型（ILM），以便整合ELM。尽管最近的研究表明RNN-T仅学习一些低阶语言模型信息，但DR方法使用具有完整背景的训练有素的神经语言模型，这可能不适合估计ILM并恶化整合性能。基于DR方法，我们通过用低阶弱语言模型代替估计来提出低阶密度比方法（LODR）。在英语librispeech＆tedlium-2和中国wenetspeech和aishell-1数据集的内域和跨域情景上进行了广泛的经验实验。结果表明，在大多数测试中，LODR在所有任务中始终胜过所有任务，而通常接近ILME，并且比DR更好。
translated by 谷歌翻译
语言模型（LMS）显着提高端到端模型（E2E）模型在训练过程中很少见的单词的识别准确性，当时在浅融合或重新恢复设置中。在这项工作中，我们介绍了LMS在判别培训框架中学习混合自动回旋传感器（HAT）模型的研究，以减轻有关使用LMS的训练与推理差距。对于浅融合设置，我们在假设生成和损失计算过程中都使用LMS，而LM感知的MWER训练模型可实现10 \％的相对改进，比用标准MWER在语音搜索测试集中培训的模型相对改进，其中包含稀有单词。对于重新设置，我们学会了一个小型神经模块，以数据依赖性方式产生串联的融合权重。该模型与常规MWER训练的模型相同，但无需清除融合重量。
translated by 谷歌翻译
连接派时间分类（CTC）的模型在自动语音识别（ASR）方面具有吸引力，因为它们的非自动性性质。为了利用仅文本数据，语言模型（LM）集成方法（例如重新纠正和浅融合）已被广泛用于CTC。但是，由于需要降低推理速度，因此他们失去了CTC的非自动性性本质。在这项研究中，我们提出了一种使用电话条件的蒙版LM（PC-MLM）的误差校正方法。在提出的方法中，掩盖了来自CTC的贪婪解码输出中的较不自信的单词令牌。然后，PC-MLM预测这些蒙版的单词令牌给定的单词和手机补充了CTC。我们进一步将其扩展到可删除的PC-MLM，以解决插入错误。由于CTC和PC-MLM均为非自动回旋模型，因此该方法可以快速LM集成。在域适应设置中对自发日本（CSJ）和TED-LIUM2语料库进行的实验评估表明，我们所提出的方法在推理速度方面优于重新逆转和浅融合，并且在CSJ上的识别准确性方面。
translated by 谷歌翻译
经常性的神经网络传感器（RNN-T）目标在建立当今最好的自动语音识别（ASR）系统中发挥着重要作用。与连接员时间分类（CTC）目标类似，RNN-T损失使用特定规则来定义生成一组对准以形成用于全汇训练的格子。但是，如果这些规则是最佳的，则在很大程度上未知，并且会导致最佳ASR结果。在这项工作中，我们介绍了一种新的传感器目标函数，它概括了RNN-T丢失来接受标签的图形表示，从而提供灵活和有效的框架来操纵训练格子，例如用于限制对齐或研究不同的转换规则。我们证明，与标准RNN-T相比，具有CTC样格子的基于传感器的ASR实现了更好的结果，同时确保了严格的单调对齐，这将允许更好地优化解码过程。例如，所提出的CTC样换能器系统对于测试 - LibrisPeech的其他条件，实现了5.9％的字误差率，相对于基于等效的RNN-T系统的提高，对应于4.8％。
translated by 谷歌翻译
端到端（E2E）自动语音识别模型如经常性神经网络传感器（RNN-T）正成为流媒体级语音助手的流行选择。虽然E2E模型在学习培训数据的学习代表时非常有效，但他们对看不见的域的准确性仍然是一个具有挑战性的问题。此外，这些模型需要配对的音频和文本培训数据，计算得昂贵，并且难以适应对话语音的快速不断发展的性质。在这项工作中，我们探讨了使用利用文本数据源的似然比来调整RNN-T模型的上下文偏置方法。我们表明这种方法在提高稀有单词识别方面是有效的，并导致在多个OUT的N-BEST ORACLE WER（n = 8）中为10％的相对提高10％，在多个外部域数据集没有常规数据集没有任何劣化。我们还表明，通过适应第二遍辅助模型的互补偏置适应性提供了加性WER改进。
translated by 谷歌翻译
最近，我们提供了Wenet，这是一种面向生产的端到端语音识别工具包，它引入了统一的两通道（U2）框架和内置运行时，以解决单个中的流和非流传输模式。模型。为了进一步提高ASR性能并促进各种生产要求，在本文中，我们提出了Wenet 2.0，并提供四个重要的更新。 （1）我们提出了U2 ++，这是一个带有双向注意解码器的统一的两次通行框架，其中包括通过左右注意力解码器的未来上下文信息，以提高共享编码器的代表性和在夺回阶段的表现。 （2）我们将基于N-Gram的语言模型和基于WFST的解码器引入WENET 2.0，从而促进了在生产方案中使用丰富的文本数据。 （3）我们设计了一个统一的上下文偏见框架，该框架利用特定于用户的上下文（例如联系人列表）为生产提供快速适应能力，并提高了使用LM和没有LM场景的ASR准确性。 （4）我们设计了一个统一的IO，以支持大规模数据进行有效的模型培训。总而言之，全新的WENET 2.0可在各种Corpora上的原始WENET上取得高达10 \％的相对识别性能提高，并提供了一些重要的以生产为导向的功能。
translated by 谷歌翻译
Connectionist时间分类（CTC）的模型很有吸引力，因为它们在自动语音识别（ASR）中的快速推断。语言模型（LM）集成方法（例如浅融合和重新恢复）可以通过利用文本语料库的知识来提高基于CTC的ASR的识别准确性。但是，它们大大减慢了CTC的推论。在这项研究中，我们建议提炼基于CTC的ASR的BERT知识，从而扩展了我们先前针对基于注意的ASR的研究。基于CTC的ASR在训练过程中学习了BERT的知识，并且在测试过程中不使用BERT，从而维持CTC的快速推断。与基于注意力的模型不同，基于CTC的模型做出了框架级预测，因此它们需要与BERT的令牌级预测进行蒸馏。我们建议通过计算最合理的CTC路径来获得比对。对自发日语（CSJ）和TED-LIUM2语料库的实验评估表明，我们的方法改善了基于CTC的ASR的性能，而无需推理速度成本。
translated by 谷歌翻译
在本文中，我们介绍了从包含超过80,000个小时的未标记的语音的大型数据集预处理捷克单语音频变压器方面的进展，随后使用内域数据组合对自动语音识别任务进行微调，并对模型进行微调。6000小时的跨域转录语音。我们在两个公共数据集（CommunVoice和Voxpopuli）和Malach Project中的一个非常具有挑战性的数据集中评估了各种微调设置的大量实验调色板。我们的结果表明，单语WAV2VEC 2.0模型是强大的ASR系统，它可以利用大型标记和未标记的数据集并成功与最先进的LVCSR系统竞争。此外，当没有用于目标ASR任务的培训数据时，WAV2VEC模型被证明是很好的零射门学习者。
translated by 谷歌翻译
上下文ASR将偏见项列表与音频一起列出，随着ASR使用变得更加普遍，最近引起了最新的兴趣。我们正在发布上下文偏见列表，以伴随Enation21数据集，为此任务创建公共基准。我们使用WENET工具包中预处理的端到端ASR模型在此基准测试上介绍了基线结果。我们显示了应用于两种不同解码算法的浅融合上下文偏置的结果。我们的基线结果证实了观察到的观察，即端到端模型尤其是在训练过程中很少见或从未见过的单词，并且现有的浅融合技术不能充分解决这个问题。我们提出了一个替代拼写预测模型，与没有其他拼写的上下文偏见相比，相对相对，将稀有单词相对34.7％，而访问量的单词相对97.2％。该模型在概念上与先前工作中使用的模型相似，但是更容易实现，因为它不依赖发音字典或现有的文本对语音系统。
translated by 谷歌翻译
End-to-end speech recognition models trained using joint Connectionist Temporal Classification (CTC)-Attention loss have gained popularity recently. In these models, a non-autoregressive CTC decoder is often used at inference time due to its speed and simplicity. However, such models are hard to personalize because of their conditional independence assumption that prevents output tokens from previous time steps to influence future predictions. To tackle this, we propose a novel two-way approach that first biases the encoder with attention over a predefined list of rare long-tail and out-of-vocabulary (OOV) words and then uses dynamic boosting and phone alignment network during decoding to further bias the subword predictions. We evaluate our approach on open-source VoxPopuli and in-house medical datasets to showcase a 60% improvement in F1 score on domain-specific rare words over a strong CTC baseline.
translated by 谷歌翻译
This paper describes the ESPnet Unsupervised ASR Open-source Toolkit (EURO), an end-to-end open-source toolkit for unsupervised automatic speech recognition (UASR). EURO adopts the state-of-the-art UASR learning method introduced by the Wav2vec-U, originally implemented at FAIRSEQ, which leverages self-supervised speech representations and adversarial training. In addition to wav2vec2, EURO extends the functionality and promotes reproducibility for UASR tasks by integrating S3PRL and k2, resulting in flexible frontends from 27 self-supervised models and various graph-based decoding strategies. EURO is implemented in ESPnet and follows its unified pipeline to provide UASR recipes with a complete setup. This improves the pipeline's efficiency and allows EURO to be easily applied to existing datasets in ESPnet. Extensive experiments on three mainstream self-supervised models demonstrate the toolkit's effectiveness and achieve state-of-the-art UASR performance on TIMIT and LibriSpeech datasets. EURO will be publicly available at https://github.com/espnet/espnet, aiming to promote this exciting and emerging research area based on UASR through open-source activity.
translated by 谷歌翻译
捷克语是一种非常特殊的语言，因为它在形式和口语形式之间的差异很大。虽然正式（书面）形式主要用于官方文件，文学和公开演讲，但通言（口语）表格在休闲演讲中被广泛使用。该差距引入了ASR系统的严重问题，尤其是在培训或评估包含大量口语语音（例如Malach Project）的数据集上的ASR模型时。在本文中，我们正在根据端到端ASR系统中的新范式解决这个问题，最近引入了自我监督的音频变压器。具体而言，我们正在研究口语语音对WAV2VEC 2.0模型性能的影响及其直接转录口语演讲的能力。我们在培训成绩单，语言模型和评估笔录中以正式和口语形式提出结果。
translated by 谷歌翻译
This paper introduces a new open source platform for end-toend speech processing named ESPnet. ESPnet mainly focuses on end-to-end automatic speech recognition (ASR), and adopts widely-used dynamic neural network toolkits, Chainer and Py-Torch, as a main deep learning engine. ESPnet also follows the Kaldi ASR toolkit style for data processing, feature extraction/format, and recipes to provide a complete setup for speech recognition and other speech processing experiments. This paper explains a major architecture of this software platform, several important functionalities, which differentiate ESPnet from other open source ASR toolkits, and experimental results with major ASR benchmarks.
translated by 谷歌翻译
我们研究应用语言模型（LM）对指示语言自动语音识别（ASR）系统输出的影响。我们微调WAV2VEC $ 2.0 $型号的$ 18 $指示性语言，并通过根据各种来源派生的文本训练的语言模型调整结果。我们的发现表明，平均字符错误率（CER）降低了$ 28 $ \％，平均单词错误率（WER）在解码LM后降低了$ 36 $ \％。我们表明，与多样化的LM相比，大型LM可能无法提供实质性的改进。我们还证明，可以在特定于域的数据上获得高质量的转录，而无需重新培训ASR模型并显示了生物医学领域的结果。
translated by 谷歌翻译
代码切换（CS）是多语言社区中的常见语言现象，其包括在说话时在语言之间切换。本文提出了我们对普通话 - 英语CS演讲的结束地理识别的调查。我们分析了不同的CS特定问题，例如CS语言对中语言之间的属性不匹配，切换点的不可预测性质，以及数据稀缺问题。通过使用分层Softmax的语言识别通过建模子字单元来利用非语言识别来利用非统计符号来利用和改善最先进的端到端系统，通过人为地降低说话率，并通过使用增强数据来实现子字单元。使用速度扰动技术和几个单机数据集不仅可以在CS语音上提高最终性能，还可以在单格式基准上，以使系统更适用于现实生活环境。最后，我们探讨了不同语言模型集成方法对提出模型性能的影响。我们的实验结果表明，所有提出的技术都提高了识别性能。最佳组合系统在混合误差率方面将基线系统提高到35％，并在单机基准上提供可接受的性能。
translated by 谷歌翻译