基于变压器的模型已经证明了它们在自动语音识别（ASR）任务中的有效性，甚至比常规混合框架表现出卓越的性能。变形金刚的主要思想是通过自我发挥层来捕捉话语中的远程全球背景。但是，对于诸如对话演讲之类的场景，这种话语级建模将忽略跨越话语的上下文依赖性。在本文中，我们建议在基于变压器的端到端体系结构中明确模拟索语中的索引信息，以进行对话性语音识别。具体而言，对于编码器网络，我们捕获了先前语音的上下文，并将此类历史信息纳入了通过上下文感知的残余注意机制中的当前输入。对于解码器而言，当前话语的预测还可以通过有条件的解码器框架在历史性的语言信息上进行条件。我们展示了我们提出的方法在几个开源对话中心的有效性，而拟议的方法始终提高了基于话语级变压器的ASR模型的性能。
translated by 谷歌翻译
利用上下文信息是提高对话自动语音识别（ASR）的性能的直观想法。以前的作品通常采用公认的历史话语假设作为前面的背景，这可能会偏向于由于不可避免的历史认可错误而导致的当前公认假设。为了避免此问题，我们提出了一个音频文本跨模式表示器，以直接从先前的语音中学习上下文表示。具体而言，它由两个与模态相关的编码器组成，从语音和相应的文本中提取高级潜在特征，以及一个跨模式编码器，旨在学习语音和文本之间的相关性。我们随机掩盖每种模式的一些输入令牌和输入序列。然后，在交叉模式编码器上使用模态级别的CTC损失进行令牌错失或模态失误预测。因此，该模型不仅捕获了特定模式中的双向上下文依赖性，还捕获了不同模态之间的关系。然后，在训练对话ASR系统的训练期间，提取器将被冻结以提取上述语音的文本表示，而该表示形式则用作通过注意机制将其作为供应给ASR解码器的上下文。拟议方法的有效性在几个普通话对话中得到了验证，并且在MagicData数据集中，达到了最高的字符错误率（CER）最高16％。
translated by 谷歌翻译
最近，基于注意的编码器 - 解码器（AED）模型对多个任务的端到端自动语音识别（ASR）显示了高性能。在此类模型中解决了过度控制，本文介绍了轻松关注的概念，这是一种简单地逐渐注入对训练期间对编码器 - 解码器注意重量的统一分配，其易于用两行代码实现。我们调查轻松关注跨不同AED模型架构和两个突出的ASR任务，华尔街日志（WSJ）和LibRisPeech的影响。我们发现，在用外部语言模型解码时，随着宽松的注意力训练的变压器始终如一地始终如一地遵循标准基线模型。在WSJ中，我们为基于变压器的端到端语音识别设置了一个新的基准，以3.65％的单词错误率，最优于13.1％的相对状态，同时仅引入单个HyperParameter。
translated by 谷歌翻译
在本文中，我们在多方会议场景中对说话者的自动语音识别（SA-ASR）进行了比较研究，这一主题越来越关注丰富的转录。具体而言，本研究评估了三种方法。第一种方法，即FD-SOT，由框架级诊断模型组成，以识别说话者和多对话者ASR以识别话语。通过对齐诊断结果和公认的假设，可以获得说话者归因的转录。但是，由于模块化的独立性，这种对齐策略可能会遭受错误的时间戳，从而严重阻碍了模型性能。因此，我们提出了第二种方法WD-SOT，以通过引入单词水平诊断模型来解决对齐误差，从而可以摆脱这种时间戳对齐依赖性。为了进一步缓解对齐问题，我们提出了第三种方法TS-ASR，该方法可以训练目标扬声器分离模块和ASR模块。通过比较每种SA-ASR方法的各种策略，对真实会议场景语料库的实验结果，AlimeTing，表明WD-SOT方法可在平均扬声器依赖性角色错误率（SD-CER）相对降低10.7％，与之相比FD-SOT方法。此外，TS-ASR方法还优于FD-SOT方法，并带来16.5％的相对平均SD-CER减少。
translated by 谷歌翻译
最近，卷积增强的变压器（构象异构体）在自动语音识别（ASR）中显示出令人鼓舞的结果，表现优于先前发表的最佳变压器传感器。在这项工作中，我们认为编码器和解码器中每个块的输出信息并不完全包容，换句话说，它们的输出信息可能是互补的。我们研究如何以参数效率的方式利用每个块的互补信息，并且可以预期这可能会导致更强的性能。因此，我们提出了刻板的变压器以进行语音识别，名为BlockFormer。我们已经实现了两个块集合方法：块输出的基本加权总和（基本WSBO），以及挤压和激气模块到块输出的加权总和（SE-WSBO）。实验已经证明，阻滞剂在Aishell-1上大大优于基于最新的构象模型，我们的模型在不使用语言模型的情况下达到了4.35 \％的CER，并且在4.10 \％上具有外部语言模型的4.10 \％测试集。
translated by 谷歌翻译
最近，我们提供了Wenet，这是一种面向生产的端到端语音识别工具包，它引入了统一的两通道（U2）框架和内置运行时，以解决单个中的流和非流传输模式。模型。为了进一步提高ASR性能并促进各种生产要求，在本文中，我们提出了Wenet 2.0，并提供四个重要的更新。 （1）我们提出了U2 ++，这是一个带有双向注意解码器的统一的两次通行框架，其中包括通过左右注意力解码器的未来上下文信息，以提高共享编码器的代表性和在夺回阶段的表现。 （2）我们将基于N-Gram的语言模型和基于WFST的解码器引入WENET 2.0，从而促进了在生产方案中使用丰富的文本数据。 （3）我们设计了一个统一的上下文偏见框架，该框架利用特定于用户的上下文（例如联系人列表）为生产提供快速适应能力，并提高了使用LM和没有LM场景的ASR准确性。 （4）我们设计了一个统一的IO，以支持大规模数据进行有效的模型培训。总而言之，全新的WENET 2.0可在各种Corpora上的原始WENET上取得高达10 \％的相对识别性能提高，并提供了一些重要的以生产为导向的功能。
translated by 谷歌翻译
代码转换是关于在通信过程中处理替代语言。训练端到端（E2E）自动语音识别（ASR）系统用于代码开关是一个充满挑战的问题，因为由于存在多种语言，因此缺乏增加语言上下文混乱的数据加剧的数据。在本文中，我们提出了一种与语言相关的注意机制，以减少基于等价约束理论（EC）的E2E代码转换ASR模型的多语言上下文混乱。语言理论要求在代码转换句子中发生的任何单语片段都必须发生在一个单语句子中。它在单语言数据和代码转换数据之间建立了一个桥梁。通过计算多种语言的各自注意力，我们的方法可以从丰富的单语言数据中有效地传输语言知识。我们在ASRU 2019-English代码转换挑战数据集上评估我们的方法。与基线模型相比，提出的方法可实现11.37％的相对混合错误率降低。
translated by 谷歌翻译
最近，语音界正在看到从基于深神经网络的混合模型移动到自动语音识别（ASR）的端到端（E2E）建模的显着趋势。虽然E2E模型在大多数基准测试中实现最先进的，但在ASR精度方面，混合模型仍然在当前的大部分商业ASR系统中使用。有很多实际的因素会影响生产模型部署决定。传统的混合模型，用于数十年的生产优化，通常擅长这些因素。在不为所有这些因素提供优异的解决方案，E2E模型很难被广泛商业化。在本文中，我们将概述最近的E2E模型的进步，专注于解决行业视角的挑战技术。
translated by 谷歌翻译
演讲者的适应性对于建立强大的自动语音识别（ASR）系统很重要。在这项工作中，我们根据基于配置符号的声学模型（AM）在300H数据集中的功能空间方法研究了扬声器自适应训练（SAT）的各种方法。我们提出了一种称为加权简单添加的方法，该方法将加权的说话者信息向量添加到构象异构体AM的多头自发动模块的输入中。使用此方法用于SAT，我们在HUB5'00和HUB5'01的Callhome部分方面取得了3.5％和4.5％的相对改善。此外，我们以先前的作品为基础，在此基础上，我们为基于构象异构体的混合动力AM提出了一种新颖的竞争培训配方。我们扩展并改善了此食谱，在该配方中，我们在打电筒300H HUB5'00数据集上的单词误差（WER）方面取得了11％的相对改善。我们还通过将参数总数减少34％，从而使该配方有效。
translated by 谷歌翻译
最近，自我监督的预先磨普已经实现了端到端（E2E）自动语音识别（ASR）的令人印象深刻的结果。然而，主要的序列到序列（S2S）E2E模型仍然很难充分利用自我监督的预训练方法，因为其解码器在声学表示上被调节，因此不能分开预先磨损。在本文中，我们提出了一种基于混合CTC /注意E2E模型的预磨削变压器（Preformer）S2S ASR架构，以充分利用预磨削的声学模型（AMS）和语言模型（LMS）。在我们的框架中，编码器初始化了Preprina（Wav2Vec2.0）。 Preformer在训练和推理期间利用CTC作为辅助任务。此外，我们设计了一个十字解码器（OCD），其放宽对声学表示的依赖性，以便可以用预净化的LM（DistilGPT2）初始化它。实验在Aishell-1语料库上进行，并在测试集上达到4.6±6 \％$ Character error rate（cer）。与我们的Vanilla混合CTC /注意力变压器基线相比，我们所提出的CTC /注意力的预浆料产生27亿美元的相对CER减少。据我们所知，这是第一个在S2S ASR系统中使用普里雷米和LM的第一项工作。
translated by 谷歌翻译
会话言论通常在话语水平上以松散的句法结构体现，但同时表现出连续话语的局部相干关系。事先工作已经表明，使用经常性神经网络或长短期存储器语言模型（LM）捕获较长的上下文信息可能遭受最近的偏置，而不是在远程上下文中。为了捕获词语和跨越话语之间的长期语义互动，我们提出了对话语音的自动语音识别（ASR）中语言建模的不同谈话历史融合方法。此外，引入了一种新的函数融合机制，该机制被引入熔断器并利用当前话语的声学嵌入和其相应的对话历史的语义含量以协作方式。为了塑造我们的想法，我们将ASR N-Best假设救援人员框架作为预测问题，利用BERT，一个标志性的预训练LM，作为成分车辆，以便于从给定的N最佳假设列表中选择Oracle假设。在AMI基准数据集上进行的实证实验似乎展示了我们对某些目前的线上的方法相关的可行性和功效。
translated by 谷歌翻译
事实证明，构象异构体在许多语音处理任务中都是有效的。它结合了使用卷积和使用自我注意的全球依赖性提取本地依赖的好处。受此启发，我们提出了一个更灵活，可解释和可自定义的编码器替代方案，分支机构，并在端到端语音处理中对各种远程依赖关系进行建模。在每个编码器层中，一个分支都采用自我注意事项或其变体来捕获远程依赖性，而另一个分支则利用带有卷积门控（CGMLP）的MLP模块来提取局部关系。我们对几种语音识别和口语理解基准进行实验。结果表明，我们的模型优于变压器和CGMLP。它还与构象异构体获得的最先进结果相匹配。此外，由于两分支结构，我们展示了减少计算的各种策略，包括在单个训练有素的模型中具有可变的推理复杂性的能力。合并分支的权重表明如何在不同层中使用本地和全球依赖性，从而使模型设计受益。
translated by 谷歌翻译
近年来已经看到了最终（E2E）口语理解（SLU）系统的重要进展，它直接从口头音频预测意图和插槽。虽然对话历史被利用以改善基于传统的基于文本的自然语言理解系统，但是当前的E2E SLU方法尚未在多转义和面向任务的对话中尚未结合这种关键的上下文信号。在这项工作中，我们提出了一个上下文E2E SLU模型架构，它使用多针关注机制来通过编码的先前的话语和对话框（语音助手所采取的动作）进行多转对对话。我们详细介绍了将这些上下文集成到最先进的复制和转换器的模型中的替代方法。当应用于由语音助理收集的大型识别的话语数据集时，我们的方法分别将平均单词和语义误差率降低10.8％和12.6％。我们还在公开可用的数据集中呈现结果，并显示我们的方法显着提高了非联盟基线的性能
translated by 谷歌翻译
知识蒸馏（KD），最称为模型压缩的有效方法，旨在将更大的网络（教师）的知识转移到更小的网络（学生）。传统的KD方法通常采用以监督方式培训的教师模型，其中输出标签仅作为目标处理。我们进一步扩展了这一受监督方案，我们为KD，即Oracle老师推出了一种新型的教师模型，它利用源输入和输出标签的嵌入来提取更准确的知识来转移到学生。所提出的模型遵循变压器网络的编码器解码器注意结构，这允许模型从输出标签上参加相关信息。在三种不同的序列学习任务中进行了广泛的实验：语音识别，场景文本识别和机器翻译。从实验结果来看，我们经验证明，拟议的模型在这些任务中改善了学生，同时在教师模型的培训时间内实现了相当大的速度。
translated by 谷歌翻译
通过利用变形金刚捕获基于内容的全球互动和卷积神经网络对本地特征的利用，Condormer在自动语音识别（ASR）方面取得了令人印象深刻的结果。在构象异构体中，两个具有一半剩余连接的马卡龙状进料层将多头的自我注意和卷积模块夹在一起，然后是后层的归一化。我们在两个方向上提高了构象异构器的长序列能力，\ emph {sparser}和\ emph {更深层次}。我们使用$ \ Mathcal {o}（l \ text {log} l）$在时间复杂性和内存使用情况下调整稀疏的自我发挥机制。在执行剩余连接时，将使用深层的归一化策略，以确保我们对一百级构象体块的培训。在日本CSJ-500H数据集上，这种深稀疏的构象异构体分别达到5.52 \％，4.03 \％和4.50 \％在三个评估集上和4.16 \％，2.84 \％\％和3.20 \％时，当结合五个深度稀疏的稀疏配置符号时从12到16、17、50，最后100个编码器层的变体。
translated by 谷歌翻译
端到端模型在自动语音识别中快速更换传统的混合模型。变压器，基于机器翻译任务的自我关注的序列到序列模型，在用于自动语音识别时已经给出了有希望的结果。本文探讨了在培训基于变压器的模型的同时在编码器输入时结合扬声器信息的不同方式，以提高其语音识别性能。我们以每个扬声器的扬声器嵌入形式呈现扬声器信息。我们使用两种类型的扬声器嵌入进行实验：在我们以前的工作中提出的X-Vectors和新颖的S-Vectors。我们向两个数据集报告结果a）肉kel讲座数据库和b）librispeech 500小时分割。NPTEL是一个开源电子学习门户，提供来自印度顶级大学的讲座。通过我们将扬声器嵌入的方法集成到模型中，我们通过基线获得了基线的错误率的改进。
translated by 谷歌翻译
以前的研究已经证实了利用明晰度信息达到改善的语音增强（SE）性能的有效性。通过使用铰接特征的地点/方式增强原始声学特征，可以引导SE过程考虑执行增强时输入语音的剖视特性。因此，我们认为关节属性的上下文信息应包括有用的信息，并可以进一步利用不同的语言。在这项研究中，我们提出了一个SE系统，通过优化英语和普通话的增强演讲中的上下文清晰度信息来提高其性能。我们通过联合列车与端到端的自动语音识别（E2E ASR）模型进行联合列车，预测广播序列（BPC）而不是单词序列的序列。同时，开发了两种培训策略，以基于基于BPC的ASR：多任务学习和深度特征培训策略来培训SE系统。 Timit和TMhint DataSet上的实验结果证实了上下文化学信息促进了SE系统，以实现比传统声学模型（AM）更好的结果。此外，与用单声道ASR培训的另一SE系统相比，基于BPC的ASR（提供上下文化学信息）可以在不同的信噪比（SNR）下更有效地改善SE性能。
translated by 谷歌翻译
Recently Transformer and Convolution neural network (CNN) based models have shown promising results in Automatic Speech Recognition (ASR), outperforming Recurrent neural networks (RNNs). Transformer models are good at capturing content-based global interactions, while CNNs exploit local features effectively. In this work, we achieve the best of both worlds by studying how to combine convolution neural networks and transformers to model both local and global dependencies of an audio sequence in a parameter-efficient way. To this regard, we propose the convolution-augmented transformer for speech recognition, named Conformer. Conformer significantly outperforms the previous Transformer and CNN based models achieving state-of-the-art accuracies. On the widely used LibriSpeech benchmark, our model achieves WER of 2.1%/4.3% without using a language model and 1.9%/3.9% with an external language model on test/testother. We also observe competitive performance of 2.7%/6.3% with a small model of only 10M parameters.
translated by 谷歌翻译
神经端到端TTS模型的最新进展显示出在常规句子的TTS中表现出高质量的自然合成语音。但是，当TTS中考虑整个段落时，重现相似的高质量，在构建基于段落的TTS模型时需要考虑大量上下文信息。为了减轻培训的困难，我们建议通过考虑跨性别，嵌入式结构在培训中对语言和韵律信息进行建模。三个子模块，包括语言学意识，韵律和句子位置网络。具体而言，要了解嵌入在段落中的信息以及相应的组件句子之间的关系，我们利用语言学意识和韵律感知网络。段落中的信息由编码器捕获，段落中的句子间信息通过多头注意机制学习。段落中的相对句子位置由句子位置网络明确利用。拟议中的TTS模型在女性普通话中录制的讲故事的音频语料库（4.08小时）接受了培训，该模型表明，它可以产生相当自然而良好的语音段落。与基于句子的模型相比，可以更好地预测和渲染的跨句子上下文信息，例如连续句子之间的断裂和韵律变化。在段落文本上进行了测试，其长度与培训数据的典型段落长度相似，比训练数据的典型段落长得多，新模型产生的TTS语音始终优先于主观测试和基于句子的模型和在客观措施中确认。
translated by 谷歌翻译
Recent studies have shown that using an external Language Model (LM) benefits the end-to-end Automatic Speech Recognition (ASR). However, predicting tokens that appear less frequently in the training set is still quite challenging. The long-tail prediction problems have been widely studied in many applications, but only been addressed by a few studies for ASR and LMs. In this paper, we propose a new memory augmented lookup dictionary based Transformer architecture for LM. The newly introduced lookup dictionary incorporates rich contextual information in training set, which is vital to correctly predict long-tail tokens. With intensive experiments on Chinese and English data sets, our proposed method is proved to outperform the baseline Transformer LM by a great margin on both word/character error rate and tail tokens error rate. This is achieved without impact on the decoding efficiency. Overall, we demonstrate the effectiveness of our proposed method in boosting the ASR decoding performance, especially for long-tail tokens.
translated by 谷歌翻译