We explore unifying a neural segmenter with two-pass cascaded encoder ASR into a single model. A key challenge is allowing the segmenter (which runs in real-time, synchronously with the decoder) to finalize the 2nd pass (which runs 900 ms behind real-time) without introducing user-perceived latency or deletion errors during inference. We propose a design where the neural segmenter is integrated with the causal 1st pass decoder to emit a end-of-segment (EOS) signal in real-time. The EOS signal is then used to finalize the non-causal 2nd pass. We experiment with different ways to finalize the 2nd pass, and find that a novel dummy frame injection strategy allows for simultaneous high quality 2nd pass results and low finalization latency. On a real-world long-form captioning task (YouTube), we achieve 2.4% relative WER and 140 ms EOS latency gains over a baseline VAD-based segmenter with the same cascaded encoder.
translated by 谷歌翻译
仔细的音频表示形式已成为许多语音任务方法设计的主要特征。这种方法越来越强调“解开”，其中表示形式仅包含与转录相关的一部分，同时丢弃无关信息。在本文中，我们基于ASR和TTS的联合建模构建了一项表示的学习任务，并试图学习音频的表示，该声音信号的一部分与该部分相关的一部分与该部分相关。我们提供了经验证据，表明成功找到这种表示形式与训练中固有的随机性有关。然后，我们观察到这些所需的，分散的解决方案对优化问题具有独特的统计特性。最后，我们表明，在训练期间执行这些特性会使我们的联合建模任务平均相对24.5％。这些观察结果激发了一种新颖的学习有效音频表示的方法。
translated by 谷歌翻译
在长时间到数小时的长时间话语中，提高端到端ASR模型的性能是语音识别的持续挑战。一个常见的解决方案是使用单独的语音活动检测器（VAD）事先将音频分割，该声音活动检测器（VAD）纯粹基于声音/非语音信息来决定段边界位置。但是，VAD细分器可能是现实世界语音的最佳选择，例如，一个完整的句子应该整体上可能包含犹豫（“设置... 5点钟的警报”） 。我们建议用端到端的ASR模型替换VAD，能够以流方式预测段边界，从而使细分决定不仅在更好的声学特征上，而且还可以在解码文本的语义特征上进行，并具有可忽略的额外功能计算。在现实世界长音频（YouTube）的实验中，长度长达30分钟，我们证明了相对改善的8.5％，并且与VAD段基线相比，中位段延迟潜伏期的中位数延迟延迟减少了250毫秒。 - ART构象体RNN-T模型。
translated by 谷歌翻译
语言模型（LMS）显着提高端到端模型（E2E）模型在训练过程中很少见的单词的识别准确性，当时在浅融合或重新恢复设置中。在这项工作中，我们介绍了LMS在判别培训框架中学习混合自动回旋传感器（HAT）模型的研究，以减轻有关使用LMS的训练与推理差距。对于浅融合设置，我们在假设生成和损失计算过程中都使用LMS，而LM感知的MWER训练模型可实现10 \％的相对改进，比用标准MWER在语音搜索测试集中培训的模型相对改进，其中包含稀有单词。对于重新设置，我们学会了一个小型神经模块，以数据依赖性方式产生串联的融合权重。该模型与常规MWER训练的模型相同，但无需清除融合重量。
translated by 谷歌翻译
语言模型融合可帮助智能助手识别声学数据中很少见的单词，但在仅文本语料库中很丰富（键入搜索日志）。但是，这样的语料库具有阻碍下游性能的属性，包括（1）太大，（2）困扰域不匹配的内容，以及（3）重头而不是重型尾巴（很多重复的搜索查询，例如“例如”天气”）。我们表明，选择语言建模数据的三种简单策略可以极大地改善稀有单词的识别，而不会损害整体表现。首先，为了解决重头体，我们根据软日志功能将数据置于示例，从而减少了高频（头）句子。其次，为了鼓励罕见的暴露，我们明确过滤了声学数据中罕见的单词。最后，我们通过基于困惑的对比选择来解决域 - 不匹配，对与目标域相匹配的示例过滤。我们将大量的Web搜索查询量下降了53倍，并获得比没有下调的更好的LM困惑。当使用最先进的生产语音引擎浅融合时，与在RAW COPPUS上训练的基线LM相比，我们的LM在稀有句子上的相对量最多可相对24％（没有整体上） 。通过对现场语音搜索流量进行有利的并排评估，进一步验证了这些收益。
translated by 谷歌翻译