最近，卷积增强的变压器（构象异构体）在自动语音识别（ASR）中显示出令人鼓舞的结果，表现优于先前发表的最佳变压器传感器。在这项工作中，我们认为编码器和解码器中每个块的输出信息并不完全包容，换句话说，它们的输出信息可能是互补的。我们研究如何以参数效率的方式利用每个块的互补信息，并且可以预期这可能会导致更强的性能。因此，我们提出了刻板的变压器以进行语音识别，名为BlockFormer。我们已经实现了两个块集合方法：块输出的基本加权总和（基本WSBO），以及挤压和激气模块到块输出的加权总和（SE-WSBO）。实验已经证明，阻滞剂在Aishell-1上大大优于基于最新的构象模型，我们的模型在不使用语言模型的情况下达到了4.35 \％的CER，并且在4.10 \％上具有外部语言模型的4.10 \％测试集。

Recently Transformer and Convolution neural network (CNN) based models have shown promising results in Automatic Speech Recognition (ASR), outperforming Recurrent neural networks (RNNs). Transformer models are good at capturing content-based global interactions, while CNNs exploit local features effectively. In this work, we achieve the best of both worlds by studying how to combine convolution neural networks and transformers to model both local and global dependencies of an audio sequence in a parameter-efficient way. To this regard, we propose the convolution-augmented transformer for speech recognition, named Conformer. Conformer significantly outperforms the previous Transformer and CNN based models achieving state-of-the-art accuracies. On the widely used LibriSpeech benchmark, our model achieves WER of 2.1%/4.3% without using a language model and 1.9%/3.9% with an external language model on test/testother. We also observe competitive performance of 2.7%/6.3% with a small model of only 10M parameters.

最近，自我监督的预先磨普已经实现了端到端（E2E）自动语音识别（ASR）的令人印象深刻的结果。然而，主要的序列到序列（S2S）E2E模型仍然很难充分利用自我监督的预训练方法，因为其解码器在声学表示上被调节，因此不能分开预先磨损。在本文中，我们提出了一种基于混合CTC /注意E2E模型的预磨削变压器（Preformer）S2S ASR架构，以充分利用预磨削的声学模型（AMS）和语言模型（LMS）。在我们的框架中，编码器初始化了Preprina（Wav2Vec2.0）。 Preformer在训练和推理期间利用CTC作为辅助任务。此外，我们设计了一个十字解码器（OCD），其放宽对声学表示的依赖性，以便可以用预净化的LM（DistilGPT2）初始化它。实验在Aishell-1语料库上进行，并在测试集上达到4.6±6 \％$ Character error rate（cer）。与我们的Vanilla混合CTC /注意力变压器基线相比，我们所提出的CTC /注意力的预浆料产生27亿美元的相对CER减少。据我们所知，这是第一个在S2S ASR系统中使用普里雷米和LM的第一项工作。

最近，基于注意的编码器 - 解码器（AED）模型对多个任务的端到端自动语音识别（ASR）显示了高性能。在此类模型中解决了过度控制，本文介绍了轻松关注的概念，这是一种简单地逐渐注入对训练期间对编码器 - 解码器注意重量的统一分配，其易于用两行代码实现。我们调查轻松关注跨不同AED模型架构和两个突出的ASR任务，华尔街日志（WSJ）和LibRisPeech的影响。我们发现，在用外部语言模型解码时，随着宽松的注意力训练的变压器始终如一地始终如一地遵循标准基线模型。在WSJ中，我们为基于变压器的端到端语音识别设置了一个新的基准，以3.65％的单词错误率，最优于13.1％的相对状态，同时仅引入单个HyperParameter。

通过利用变形金刚捕获基于内容的全球互动和卷积神经网络对本地特征的利用，Condormer在自动语音识别（ASR）方面取得了令人印象深刻的结果。在构象异构体中，两个具有一半剩余连接的马卡龙状进料层将多头的自我注意和卷积模块夹在一起，然后是后层的归一化。我们在两个方向上提高了构象异构器的长序列能力，\ emph {sparser}和\ emph {更深层次}。我们使用$ \ Mathcal {o}（l \ text {log} l）$在时间复杂性和内存使用情况下调整稀疏的自我发挥机制。在执行剩余连接时，将使用深层的归一化策略，以确保我们对一百级构象体块的培训。在日本CSJ-500H数据集上，这种深稀疏的构象异构体分别达到5.52 \％，4.03 \％和4.50 \％在三个评估集上和4.16 \％，2.84 \％\％和3.20 \％时，当结合五个深度稀疏的稀疏配置符号时从12到16、17、50，最后100个编码器层的变体。

End-to-end speech recognition models trained using joint Connectionist Temporal Classification (CTC)-Attention loss have gained popularity recently. In these models, a non-autoregressive CTC decoder is often used at inference time due to its speed and simplicity. However, such models are hard to personalize because of their conditional independence assumption that prevents output tokens from previous time steps to influence future predictions. To tackle this, we propose a novel two-way approach that first biases the encoder with attention over a predefined list of rare long-tail and out-of-vocabulary (OOV) words and then uses dynamic boosting and phone alignment network during decoding to further bias the subword predictions. We evaluate our approach on open-source VoxPopuli and in-house medical datasets to showcase a 60% improvement in F1 score on domain-specific rare words over a strong CTC baseline.

基于全注意力的变压器体系结构的强大建模能力通常会导致过度拟合，并且 - 对于自然语言处理任务，导致自动回归变压器解码器中隐式学习的内部语言模型，使外部语言模型的集成变得复杂。在本文中，我们探索了放松的注意力，对注意力的重量进行了简单易于实现的平滑平滑，从编码器。其次，我们表明它自然支持外部语言模型的整合，因为它通过放松解码器中的交叉注意来抑制隐式学习的内部语言模型。我们证明了在几项任务中放松注意力的好处，并与最近的基准方法相结合，并明显改善。具体而言，我们超过了最大的最大公共唇部阅读LRS3基准的26.90％单词错误率的先前最新性能，单词错误率为26.31％，并且我们达到了最佳表现的BLEU分数37.67在IWSLT14（de $ \ rightarrow $ en）的机器翻译任务没有外部语言模型，几乎没有其他模型参数。代码和模型将公开可用。

基于变压器的模型已经证明了它们在自动语音识别（ASR）任务中的有效性，甚至比常规混合框架表现出卓越的性能。变形金刚的主要思想是通过自我发挥层来捕捉话语中的远程全球背景。但是，对于诸如对话演讲之类的场景，这种话语级建模将忽略跨越话语的上下文依赖性。在本文中，我们建议在基于变压器的端到端体系结构中明确模拟索语中的索引信息，以进行对话性语音识别。具体而言，对于编码器网络，我们捕获了先前语音的上下文，并将此类历史信息纳入了通过上下文感知的残余注意机制中的当前输入。对于解码器而言，当前话语的预测还可以通过有条件的解码器框架在历史性的语言信息上进行条件。我们展示了我们提出的方法在几个开源对话中心的有效性，而拟议的方法始终提高了基于话语级变压器的ASR模型的性能。

统一的流和非流式的双通（U2）用于语音识别的端到端模型在流传输能力，准确性，实时因素（RTF）和延迟方面表现出很大的性能。在本文中，我们呈现U2 ++，U2的增强版本，进一步提高了准确性。 U2 ++的核心思想是在训练中同时使用标签序列的前向和向后信息来学习更丰富的信息，并在解码时结合前向和后向预测以提供更准确的识别结果。我们还提出了一种名为SPECSUB的新数据增强方法，以帮助U2 ++模型更准确和强大。我们的实验表明，与U2相比，U2 ++在训练中显示了更快的收敛，更好地鲁棒性对解码方法，以及U2上的一致5 \％-8 \％字错误率降低增益。在Aishell-1的实验中，我们通过u2 ++实现了一个4.63 \％的字符错误率（cer），其中没有流媒体设置和5.05 \％，具有320ms延迟的流设置。据我们所知，5.05 \％是Aishell-1测试集上的最佳发布的流媒体结果。

最先进的编码器模型（例如，用于机器翻译（MT）或语音识别（ASR））作为原子单元构造并端到端训练。没有其他模型的任何组件都无法（重新）使用。我们描述了Legonn，这是一种使用解码器模块构建编码器架构的过程，可以在各种MT和ASR任务中重复使用，而无需进行任何微调。为了实现可重复性，每个编码器和解码器模块之间的界面都基于模型设计器预先定义的离散词汇，将其接地到边缘分布序列。我们提出了两种摄入这些边缘的方法。一个是可区分的，可以使整个网络的梯度流动，另一个是梯度分离的。为了使MT任务之间的解码器模块的可移植性用于不同的源语言和其他任务（例如ASR），我们引入了一种模态不可思议的编码器，该模态编码器由长度控制机制组成，以动态调整编码器的输出长度，以匹配预期的输入长度范围的范围预训练的解码器。我们提出了几项实验来证明Legonn模型的有效性：可以重复使用德国英语（DE-EN）MT任务的训练有素的语言解码器模块，而没有对Europarl English ASR和ROMANIAN-ENGLISH进行微调（RO）（RO）（RO）（RO） -en）MT任务以匹配或击败相应的基线模型。当针对数千个更新的目标任务进行微调时，我们的Legonn模型将RO-EN MT任务提高了1.5个BLEU点，并为Europarl ASR任务降低了12.5％的相对减少。此外，为了显示其可扩展性，我们从三个模块中构成了一个legonn ASR模型 - 每个模块都在三个不同数据集的不同端到端训练的模型中学习 - 将降低的减少降低到19.5％。

变形金刚最近在ASR领域主导。尽管能够产生良好的性能，但它们涉及自回归（AR）解码器，以一一生成令牌，这在计算上效率低下。为了加快推断，非自动回旋（NAR）方法，例如设计单步nar，以实现平行生成。但是，由于输出令牌内的独立性假设，单步nar的性能不如AR模型，尤其是在大规模语料库的情况下。改进单步nar面临两个挑战：首先，准确预测输出令牌的数量并提取隐藏的变量；其次，以增强输出令牌之间的相互依赖性建模。为了应对这两个挑战，我们提出了一个被称为Paraformer的快速准确的平行变压器。这利用了连续的基于集成和火的预测器来预测令牌的数量并生成隐藏的变量。然后，浏览语言模型（GLM）采样器会生成语义嵌入，以增强NAR解码器建模上下文相互依存的能力。最后，我们设计了一种策略来生成负面样本，以进行最小单词错误率训练以进一步提高性能。使用公共Aishell-1，Aishell-2基准和工业级别20,000小时任务的实验表明，拟议的Paraformer可以达到与最先进的AR变压器相当的性能，具有超过10倍的加速。

最近提出的符合者架构已成功用于实现在不同数据集上实现最先进性能的端到端自动语音识别（ASR）架构。为了我们的最佳知识，没有研究使用适用物声学模型对混合ASR的影响。在本文中，我们展示并评估了竞争的基于统一体的混合模型训练配方。我们研究了不同的培训方面和方法，以提高字差率以及提高训练速度。我们应用时间下采样方法以实现有效的培训，并使用转换卷积再次上置输出序列。我们在交换机300H数据集中进行实验，与其他架构相比，我们的符合子的混合模型实现了竞争力。它在Hub5'01测试集上概括并显着优于BLSTM的混合模型。

事实证明，构象异构体在许多语音处理任务中都是有效的。它结合了使用卷积和使用自我注意的全球依赖性提取本地依赖的好处。受此启发，我们提出了一个更灵活，可解释和可自定义的编码器替代方案，分支机构，并在端到端语音处理中对各种远程依赖关系进行建模。在每个编码器层中，一个分支都采用自我注意事项或其变体来捕获远程依赖性，而另一个分支则利用带有卷积门控（CGMLP）的MLP模块来提取局部关系。我们对几种语音识别和口语理解基准进行实验。结果表明，我们的模型优于变压器和CGMLP。它还与构象异构体获得的最先进结果相匹配。此外，由于两分支结构，我们展示了减少计算的各种策略，包括在单个训练有素的模型中具有可变的推理复杂性的能力。合并分支的权重表明如何在不同层中使用本地和全球依赖性，从而使模型设计受益。

知识蒸馏（KD），最称为模型压缩的有效方法，旨在将更大的网络（教师）的知识转移到更小的网络（学生）。传统的KD方法通常采用以监督方式培训的教师模型，其中输出标签仅作为目标处理。我们进一步扩展了这一受监督方案，我们为KD，即Oracle老师推出了一种新型的教师模型，它利用源输入和输出标签的嵌入来提取更准确的知识来转移到学生。所提出的模型遵循变压器网络的编码器解码器注意结构，这允许模型从输出标签上参加相关信息。在三种不同的序列学习任务中进行了广泛的实验：语音识别，场景文本识别和机器翻译。从实验结果来看，我们经验证明，拟议的模型在这些任务中改善了学生，同时在教师模型的培训时间内实现了相当大的速度。

在本文中，我们提出了一种新的双通方法来统一一个模型中的流和非流媒体端到端（E2E）语音识别。我们的型号采用混合CTC /注意架构，其中编码器中的构装层被修改。我们提出了一种基于动态的块的注意力策略，以允许任意右上下文长度。在推理时间，CTC解码器以流式方式生成n最佳假设。只有更改块大小，可以轻松控制推理延迟。然后，CTC假设被注意力解码器重新筛选以获得最终结果。这种有效的备用过程导致句子级延迟非常小。我们在开放的170小时Aishell-1数据集上的实验表明，所提出的方法可以简单有效地统一流和非流化模型。在Aishell-1测试集上，与标准的非流式变压器相比，我们的统一模型在非流式ASR中实现了5.60％的相对字符错误率（CER）减少。同一模型在流式ASR系统中实现了5.42％的CER，640ms延迟。

最近，语音界正在看到从基于深神经网络的混合模型移动到自动语音识别（ASR）的端到端（E2E）建模的显着趋势。虽然E2E模型在大多数基准测试中实现最先进的，但在ASR精度方面，混合模型仍然在当前的大部分商业ASR系统中使用。有很多实际的因素会影响生产模型部署决定。传统的混合模型，用于数十年的生产优化，通常擅长这些因素。在不为所有这些因素提供优异的解决方案，E2E模型很难被广泛商业化。在本文中，我们将概述最近的E2E模型的进步，专注于解决行业视角的挑战技术。

以前的研究已经证实了利用明晰度信息达到改善的语音增强（SE）性能的有效性。通过使用铰接特征的地点/方式增强原始声学特征，可以引导SE过程考虑执行增强时输入语音的剖视特性。因此，我们认为关节属性的上下文信息应包括有用的信息，并可以进一步利用不同的语言。在这项研究中，我们提出了一个SE系统，通过优化英语和普通话的增强演讲中的上下文清晰度信息来提高其性能。我们通过联合列车与端到端的自动语音识别（E2E ASR）模型进行联合列车，预测广播序列（BPC）而不是单词序列的序列。同时，开发了两种培训策略，以基于基于BPC的ASR：多任务学习和深度特征培训策略来培训SE系统。 Timit和TMhint DataSet上的实验结果证实了上下文化学信息促进了SE系统，以实现比传统声学模型（AM）更好的结果。此外，与用单声道ASR培训的另一SE系统相比，基于BPC的ASR（提供上下文化学信息）可以在不同的信噪比（SNR）下更有效地改善SE性能。

Citrinet是基于端到端卷积连接派时间分类（CTC）自动语音识别（ASR）模型。为了捕获本地和全球上下文信息，Citrinet中使用了1D时间通道可分开的卷积与子词编码和挤压和兴奋（SE）的结合（SE），使整个体系结构与23个块和235个卷积层一样深和46个线性层。这种纯净的卷积和深度建筑使得critrinet在收敛时相对较慢。在本文中，我们建议在Citrinet块中的卷积模块中引入多头关注，同时保持SE模块和残留模块不变。为了加速加速，我们在每个注意力增强的Citrinet块中删除了8个卷积层，并将23个块减少到13个。日本CSJ-500H和Magic-1600h的实验表明，注意力增强的Citrinet具有较少的层和块，并更快地将其构图和嵌段。比（1）Citrinet具有80 \％训练时间的CITRINET，并且具有40 \％训练时间和29.8％型号的构象异构体。

演讲者的适应性对于建立强大的自动语音识别（ASR）系统很重要。在这项工作中，我们根据基于配置符号的声学模型（AM）在300H数据集中的功能空间方法研究了扬声器自适应训练（SAT）的各种方法。我们提出了一种称为加权简单添加的方法，该方法将加权的说话者信息向量添加到构象异构体AM的多头自发动模块的输入中。使用此方法用于SAT，我们在HUB5'00和HUB5'01的Callhome部分方面取得了3.5％和4.5％的相对改善。此外，我们以先前的作品为基础，在此基础上，我们为基于构象异构体的混合动力AM提出了一种新颖的竞争培训配方。我们扩展并改善了此食谱，在该配方中，我们在打电筒300H HUB5'00数据集上的单词误差（WER）方面取得了11％的相对改善。我们还通过将参数总数减少34％，从而使该配方有效。

The dominant sequence transduction models are based on complex recurrent or convolutional neural networks that include an encoder and a decoder. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a new simple network architecture, the Transformer, based solely on attention mechanisms, dispensing with recurrence and convolutions entirely. Experiments on two machine translation tasks show these models to be superior in quality while being more parallelizable and requiring significantly less time to train. Our model achieves 28.4 BLEU on the WMT 2014 Englishto-German translation task, improving over the existing best results, including ensembles, by over 2 BLEU. On the WMT 2014 English-to-French translation task, our model establishes a new single-model state-of-the-art BLEU score of 41.0 after training for 3.5 days on eight GPUs, a small fraction of the training costs of the best models from the literature. * Equal contribution. Listing order is random. Jakob proposed replacing RNNs with self-attention and started the effort to evaluate this idea. Ashish, with Illia, designed and implemented the first Transformer models and has been crucially involved in every aspect of this work. Noam proposed scaled dot-product attention, multi-head attention and the parameter-free position representation and became the other person involved in nearly every detail. Niki designed, implemented, tuned and evaluated countless model variants in our original codebase and tensor2tensor. Llion also experimented with novel model variants, was responsible for our initial codebase, and efficient inference and visualizations. Lukasz and Aidan spent countless long days designing various parts of and implementing tensor2tensor, replacing our earlier codebase, greatly improving results and massively accelerating our research.† Work performed while at Google Brain.‡ Work performed while at Google Research.