事实证明，构象异构体在许多语音处理任务中都是有效的。它结合了使用卷积和使用自我注意的全球依赖性提取本地依赖的好处。受此启发，我们提出了一个更灵活，可解释和可自定义的编码器替代方案，分支机构，并在端到端语音处理中对各种远程依赖关系进行建模。在每个编码器层中，一个分支都采用自我注意事项或其变体来捕获远程依赖性，而另一个分支则利用带有卷积门控（CGMLP）的MLP模块来提取局部关系。我们对几种语音识别和口语理解基准进行实验。结果表明，我们的模型优于变压器和CGMLP。它还与构象异构体获得的最先进结果相匹配。此外，由于两分支结构，我们展示了减少计算的各种策略，包括在单个训练有素的模型中具有可变的推理复杂性的能力。合并分支的权重表明如何在不同层中使用本地和全球依赖性，从而使模型设计受益。

Recently Transformer and Convolution neural network (CNN) based models have shown promising results in Automatic Speech Recognition (ASR), outperforming Recurrent neural networks (RNNs). Transformer models are good at capturing content-based global interactions, while CNNs exploit local features effectively. In this work, we achieve the best of both worlds by studying how to combine convolution neural networks and transformers to model both local and global dependencies of an audio sequence in a parameter-efficient way. To this regard, we propose the convolution-augmented transformer for speech recognition, named Conformer. Conformer significantly outperforms the previous Transformer and CNN based models achieving state-of-the-art accuracies. On the widely used LibriSpeech benchmark, our model achieves WER of 2.1%/4.3% without using a language model and 1.9%/3.9% with an external language model on test/testother. We also observe competitive performance of 2.7%/6.3% with a small model of only 10M parameters.

通过利用变形金刚捕获基于内容的全球互动和卷积神经网络对本地特征的利用，Condormer在自动语音识别（ASR）方面取得了令人印象深刻的结果。在构象异构体中，两个具有一半剩余连接的马卡龙状进料层将多头的自我注意和卷积模块夹在一起，然后是后层的归一化。我们在两个方向上提高了构象异构器的长序列能力，\ emph {sparser}和\ emph {更深层次}。我们使用$ \ Mathcal {o}（l \ text {log} l）$在时间复杂性和内存使用情况下调整稀疏的自我发挥机制。在执行剩余连接时，将使用深层的归一化策略，以确保我们对一百级构象体块的培训。在日本CSJ-500H数据集上，这种深稀疏的构象异构体分别达到5.52 \％，4.03 \％和4.50 \％在三个评估集上和4.16 \％，2.84 \％\％和3.20 \％时，当结合五个深度稀疏的稀疏配置符号时从12到16、17、50，最后100个编码器层的变体。

基于全注意力的变压器体系结构的强大建模能力通常会导致过度拟合，并且 - 对于自然语言处理任务，导致自动回归变压器解码器中隐式学习的内部语言模型，使外部语言模型的集成变得复杂。在本文中，我们探索了放松的注意力，对注意力的重量进行了简单易于实现的平滑平滑，从编码器。其次，我们表明它自然支持外部语言模型的整合，因为它通过放松解码器中的交叉注意来抑制隐式学习的内部语言模型。我们证明了在几项任务中放松注意力的好处，并与最近的基准方法相结合，并明显改善。具体而言，我们超过了最大的最大公共唇部阅读LRS3基准的26.90％单词错误率的先前最新性能，单词错误率为26.31％，并且我们达到了最佳表现的BLEU分数37.67在IWSLT14（de $ \ rightarrow $ en）的机器翻译任务没有外部语言模型，几乎没有其他模型参数。代码和模型将公开可用。

变压器注意机制中的设计选择，包括弱电感偏置和二次计算复杂性，限制了其用于建模长序列的应用。在本文中，我们介绍了一个简单的，理论上的，单头的门控注意机制，配备了（指数）移动平均线，以将局部依赖性的电感偏置纳入位置 - 敏锐的注意机制中。我们进一步提出了一个具有线性时间和空间复杂性的大型变体，但通过将整个序列分为固定长度的多个块，仅产生最小的质量损失。对广泛的序列建模基准测试的广泛实验，包括远距离竞技场，神经机器翻译，自动回归语言建模以及图像和语音分类，表明，巨人比其他序列模型取得了重大改进，包括变种物的变体和最新的变体模型状态空间模型。

变压器注意机制的二次计算和内存复杂性限制了对长序列建模的可扩展性。在本文中，我们提出了Luna，一种线性统一嵌套关注机制，使Softmax注意力具有两个嵌套线性关注功能，仅产生线性（与二次）的时间和空间复杂度相反。具体地，通过第一注意功能，LUNA将输入序列包装成固定长度的序列。然后，使用第二关注功能未包装包装序列。与更传统的关注机制相比，LUNA引入具有固定长度的附加序列作为输入和额外的相应输出，允许LUNA线性地进行关注操作，同时还存储足够的上下文信息。我们对三个序列建模任务的基准进行了广泛的评估：长上下文序列建模，神经机平移和大型预磨损的屏蔽语言建模。竞争甚至更好的实验结果表明了Luna的有效性和效率与各种各样相比

最近，基于注意的编码器 - 解码器（AED）模型对多个任务的端到端自动语音识别（ASR）显示了高性能。在此类模型中解决了过度控制，本文介绍了轻松关注的概念，这是一种简单地逐渐注入对训练期间对编码器 - 解码器注意重量的统一分配，其易于用两行代码实现。我们调查轻松关注跨不同AED模型架构和两个突出的ASR任务，华尔街日志（WSJ）和LibRisPeech的影响。我们发现，在用外部语言模型解码时，随着宽松的注意力训练的变压器始终如一地始终如一地遵循标准基线模型。在WSJ中，我们为基于变压器的端到端语音识别设置了一个新的基准，以3.65％的单词错误率，最优于13.1％的相对状态，同时仅引入单个HyperParameter。

The dominant sequence transduction models are based on complex recurrent or convolutional neural networks that include an encoder and a decoder. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a new simple network architecture, the Transformer, based solely on attention mechanisms, dispensing with recurrence and convolutions entirely. Experiments on two machine translation tasks show these models to be superior in quality while being more parallelizable and requiring significantly less time to train. Our model achieves 28.4 BLEU on the WMT 2014 Englishto-German translation task, improving over the existing best results, including ensembles, by over 2 BLEU. On the WMT 2014 English-to-French translation task, our model establishes a new single-model state-of-the-art BLEU score of 41.0 after training for 3.5 days on eight GPUs, a small fraction of the training costs of the best models from the literature. * Equal contribution. Listing order is random. Jakob proposed replacing RNNs with self-attention and started the effort to evaluate this idea. Ashish, with Illia, designed and implemented the first Transformer models and has been crucially involved in every aspect of this work. Noam proposed scaled dot-product attention, multi-head attention and the parameter-free position representation and became the other person involved in nearly every detail. Niki designed, implemented, tuned and evaluated countless model variants in our original codebase and tensor2tensor. Llion also experimented with novel model variants, was responsible for our initial codebase, and efficient inference and visualizations. Lukasz and Aidan spent countless long days designing various parts of and implementing tensor2tensor, replacing our earlier codebase, greatly improving results and massively accelerating our research.† Work performed while at Google Brain.‡ Work performed while at Google Research.

变形金刚是文本理解的强大模型。然而，由于其二次复杂性对输入序列长度的二次复杂性效率低下。虽然有很多关于变压器加速的方法，但它们仍然效率低于长序列或不够有效。在本文中，我们提出了FastFormer，即基于添加剂关注的高效变压器模型。在FastFormer中，我们首先使用添加剂注意机制来模拟全局上下文，而不是在令牌之间建模的成对相互建模，而不是建模。然后，基于与全局上下文表示的交互，进一步转换每个令牌表示。以这种方式，FastFormer可以实现具有线性复杂性的有效上下文建模。关于五个数据集的广泛实验表明，FastFormer比许多现有的变压器模型更有效，同时可以实现可比或甚至更好的长文本建模性能。

自我发挥作用机制通过在所有输入令牌之间使用成对的注意来对远程环境进行建模。在这样做时，他们假设由个体令牌（例如文本字符或图像像素）定义的固定注意粒度，这对于在较高级别上建模复杂依赖性可能不是最佳的。在本文中，我们提出了ContextPool，通过调整每个令牌的注意力粒度来解决此问题。受到与合并以捕获远程依赖关系的Convnets成功的启发，我们学会了为每个令牌汇总相邻功能，然后在给定的注意力层中计算注意力。合并的权重和支撑大小是自适应确定的，允许汇总功能以不同的规模编码有意义的上下文。我们表明，ContextPool使注意力模型更具表现力，经常以更少的层次实现强大的性能，从而大大降低了成本。实验验证我们的上下文池模块插入变压器模型时，使用几种语言和图像基准的计算较少计算，匹配或超越了最先进的性能，胜过最新的作品，这些作品具有学习的上下文大小或稀疏注意的模式，并且也适用为了进行有效的功能学习。

多尺度特征层次结构已在计算机视觉区域的成功中得到了见证。这进一步激发了研究人员设计自然语言处理的多尺度变压器，主要是基于自我发项机制。例如，限制跨头部的接收场或通过卷积提取局部细粒度特征。但是，大多数现有作品都直接建模了本地功能，但忽略了单词边界信息。这导致了缺乏解释性的多余和模棱两可的注意力分布。在这项工作中，我们在不同的语言单元中定义了这些量表，包括子字，单词和短语。我们通过基于单词边界信息和短语级别的先验知识之间建立量表之间的关系来构建多尺度变压器模型。提出的\ textbf {u} niversal \ textbf {m} ulti \ textbf {s} cale \ textbf {t} ransformer，即在两个序列生成任务上评估。值得注意的是，它在几个测试组上的强大基线上产生了一致的性能，而无需牺牲效率。

Attention-based neural networks, such as Transformers, have become ubiquitous in numerous applications, including computer vision, natural language processing, and time-series analysis. In all kinds of attention networks, the attention maps are crucial as they encode semantic dependencies between input tokens. However, most existing attention networks perform modeling or reasoning based on representations, wherein the attention maps of different layers are learned separately without explicit interactions. In this paper, we propose a novel and generic evolving attention mechanism, which directly models the evolution of inter-token relationships through a chain of residual convolutional modules. The major motivations are twofold. On the one hand, the attention maps in different layers share transferable knowledge, thus adding a residual connection can facilitate the information flow of inter-token relationships across layers. On the other hand, there is naturally an evolutionary trend among attention maps at different abstraction levels, so it is beneficial to exploit a dedicated convolution-based module to capture this process. Equipped with the proposed mechanism, the convolution-enhanced evolving attention networks achieve superior performance in various applications, including time-series representation, natural language understanding, machine translation, and image classification. Especially on time-series representation tasks, Evolving Attention-enhanced Dilated Convolutional (EA-DC-) Transformer outperforms state-of-the-art models significantly, achieving an average of 17% improvement compared to the best SOTA. To the best of our knowledge, this is the first work that explicitly models the layer-wise evolution of attention maps. Our implementation is available at https://github.com/pkuyym/EvolvingAttention

Citrinet是基于端到端卷积连接派时间分类（CTC）自动语音识别（ASR）模型。为了捕获本地和全球上下文信息，Citrinet中使用了1D时间通道可分开的卷积与子词编码和挤压和兴奋（SE）的结合（SE），使整个体系结构与23个块和235个卷积层一样深和46个线性层。这种纯净的卷积和深度建筑使得critrinet在收敛时相对较慢。在本文中，我们建议在Citrinet块中的卷积模块中引入多头关注，同时保持SE模块和残留模块不变。为了加速加速，我们在每个注意力增强的Citrinet块中删除了8个卷积层，并将23个块减少到13个。日本CSJ-500H和Magic-1600h的实验表明，注意力增强的Citrinet具有较少的层和块，并更快地将其构图和嵌段。比（1）Citrinet具有80 \％训练时间的CITRINET，并且具有40 \％训练时间和29.8％型号的构象异构体。

人类自然有效地在复杂的场景中找到突出区域。通过这种观察的动机，引入了计算机视觉中的注意力机制，目的是模仿人类视觉系统的这一方面。这种注意机制可以基于输入图像的特征被视为动态权重调整过程。注意机制在许多视觉任务中取得了巨大的成功，包括图像分类，对象检测，语义分割，视频理解，图像生成，3D视觉，多模态任务和自我监督的学习。在本调查中，我们对计算机愿景中的各种关注机制进行了全面的审查，并根据渠道注意，空间关注，暂时关注和分支注意力进行分类。相关的存储库https：//github.com/menghaoguo/awesome-vision-tions致力于收集相关的工作。我们还建议了未来的注意机制研究方向。

时间动作本地化旨在预测未修剪长视频中每个动作实例的边界和类别。基于锚或建议的大多数先前方法忽略了整个视频序列中的全局本地上下文相互作用。此外，他们的多阶段设计无法直接生成动作边界和类别。为了解决上述问题，本文提出了一种新颖的端到端模型，称为自适应感知变压器（简称apperformer）。具体而言，Adaperformer探索了双支球多头的自我发项机制。一个分支会照顾全球感知的关注，该注意力可以模拟整个视频序列并汇总全球相关环境。而其他分支集中于局部卷积转移，以通过我们的双向移动操作来汇总框架内和框架间信息。端到端性质在没有额外步骤的情况下产生视频动作的边界和类别。提供了广泛的实验以及消融研究，以揭示我们设计的有效性。我们的方法在Thumos14数据集上实现了最先进的准确性（根据map@0.5、42.6 \％map@0.7和62.7 \％map@avg），并在活动网络上获得竞争性能， -1.3数据集，平均地图为36.1 \％。代码和型号可在https://github.com/soupero/adaperformer上找到。

变压器已经看到了自然语言处理和计算机视觉任务的前所未有的上升。但是，在音频任务中，由于音频波形的极大序列长度或在培训基于傅立叶特征时，它们是不可行的。在这项工作中，我们介绍了一个架构，Audiomer，在那里我们将1D残差网络与表演者的注意力结合起来，以实现使用原始音频波形的关键字在关键字中实现最先进的性能，优先于以前的所有方法，同时计算更便宜和参数效率。此外，我们的模型具有语音处理的实际优点，例如由于缺乏位置编码而在任意长的音频剪辑上推断。代码可在https://github.com/the-learning-machines/dautiomer获得

知识蒸馏（KD），最称为模型压缩的有效方法，旨在将更大的网络（教师）的知识转移到更小的网络（学生）。传统的KD方法通常采用以监督方式培训的教师模型，其中输出标签仅作为目标处理。我们进一步扩展了这一受监督方案，我们为KD，即Oracle老师推出了一种新型的教师模型，它利用源输入和输出标签的嵌入来提取更准确的知识来转移到学生。所提出的模型遵循变压器网络的编码器解码器注意结构，这允许模型从输出标签上参加相关信息。在三种不同的序列学习任务中进行了广泛的实验：语音识别，场景文本识别和机器翻译。从实验结果来看，我们经验证明，拟议的模型在这些任务中改善了学生，同时在教师模型的培训时间内实现了相当大的速度。

最近，卷积增强的变压器（构象异构体）在自动语音识别（ASR）中显示出令人鼓舞的结果，表现优于先前发表的最佳变压器传感器。在这项工作中，我们认为编码器和解码器中每个块的输出信息并不完全包容，换句话说，它们的输出信息可能是互补的。我们研究如何以参数效率的方式利用每个块的互补信息，并且可以预期这可能会导致更强的性能。因此，我们提出了刻板的变压器以进行语音识别，名为BlockFormer。我们已经实现了两个块集合方法：块输出的基本加权总和（基本WSBO），以及挤压和激气模块到块输出的加权总和（SE-WSBO）。实验已经证明，阻滞剂在Aishell-1上大大优于基于最新的构象模型，我们的模型在不使用语言模型的情况下达到了4.35 \％的CER，并且在4.10 \％上具有外部语言模型的4.10 \％测试集。

变压器架构现在是序列建模任务的核心。注意机制是核心，它可以在序列中对长期依赖性进行有效的建模。最近，变压器已成功地应用于计算机视觉域，在该域中首先将2D图像分割成斑块，然后将其视为1D序列。然而，这种线性化会损害图像中空间位置的概念，该图像具有重要的视觉线索。为了弥合差距，我们提出了连锁反应，这是视觉变压器的次级注意机制。基于最近基于内核的有效注意机制，我们设计了一种新型的动态编程算法，该算法将不同令牌的贡献加重了与它们在线性观察到的2D空间中相对空间距离的查询的贡献。广泛的实验和分析证明了连锁反应对各种视觉任务的有效性。

最近提出的符合者架构已成功用于实现在不同数据集上实现最先进性能的端到端自动语音识别（ASR）架构。为了我们的最佳知识，没有研究使用适用物声学模型对混合ASR的影响。在本文中，我们展示并评估了竞争的基于统一体的混合模型训练配方。我们研究了不同的培训方面和方法，以提高字差率以及提高训练速度。我们应用时间下采样方法以实现有效的培训，并使用转换卷积再次上置输出序列。我们在交换机300H数据集中进行实验，与其他架构相比，我们的符合子的混合模型实现了竞争力。它在Hub5'01测试集上概括并显着优于BLSTM的混合模型。