变压器架构现在是序列建模任务的核心。注意机制是核心，它可以在序列中对长期依赖性进行有效的建模。最近，变压器已成功地应用于计算机视觉域，在该域中首先将2D图像分割成斑块，然后将其视为1D序列。然而，这种线性化会损害图像中空间位置的概念，该图像具有重要的视觉线索。为了弥合差距，我们提出了连锁反应，这是视觉变压器的次级注意机制。基于最近基于内核的有效注意机制，我们设计了一种新型的动态编程算法，该算法将不同令牌的贡献加重了与它们在线性观察到的2D空间中相对空间距离的查询的贡献。广泛的实验和分析证明了连锁反应对各种视觉任务的有效性。

最近，提出了随机特征专注（RFA），以通过线性化指数核来近似线性时间和空间复杂性的软磁性注意力。在本文中，我们首先提出了一种新颖的观点，以通过将RFA重新铸造为自称的重要性采样器来理解这种近似值的偏见。这种观点进一步阐明了整个软磁注意的\ emph {nobaled}估计量，称为随机注意（RA）。RA通过特定的分布构建积极的随机特征，并享有极大的改善近似保真度，尽管表现出二次复杂性。通过结合RA中的表现力和RFA的效率，我们开发了一种新型的线性复杂性自我发项机制，称为线性随机注意（LARA）。跨各个领域的广泛实验表明，RA和LARA可显着提高RFA的性能。

视觉变压器（VIT）用作强大的视觉模型。与卷积神经网络不同，在前几年主导视觉研究，视觉变压器享有捕获数据中的远程依赖性的能力。尽管如此，任何变压器架构的组成部分，自我关注机制都存在高延迟和低效的内存利用，使其不太适合高分辨率输入图像。为了缓解这些缺点，分层视觉模型在非交错的窗口上局部使用自我关注。这种放松会降低输入尺寸的复杂性;但是，它限制了横窗相互作用，损害了模型性能。在本文中，我们提出了一种新的班次不变的本地注意层，称为查询和参加（QNA），其以重叠的方式聚集在本地输入，非常类似于卷积。 QNA背后的关键想法是介绍学习的查询，这允许快速高效地实现。我们通过将其纳入分层视觉变压器模型来验证我们的层的有效性。我们展示了速度和内存复杂性的改进，同时实现了与最先进的模型的可比准确性。最后，我们的图层尺寸尤其良好，窗口大小，需要高于X10的内存，而不是比现有方法更快。

由于其二次复杂性，是变压器中的关注模块，其是变压器中的重要组件不能高效地扩展到长序列。许多工作侧重于近似于尺寸的圆点 - 指数的软MAX功能，导致分二次甚至线性复杂性变压器架构。但是，我们表明这些方法不能应用于超出点的指数样式的更强大的注意模块，例如，具有相对位置编码（RPE）的变压器。由于在许多最先进的模型中，相对位置编码被用作默认，设计可以包含RPE的高效变压器是吸引人的。在本文中，我们提出了一种新颖的方法来加速对RPE的转化仪的关注计算在核心化的关注之上。基于观察到相对位置编码形成Toeplitz矩阵，我们数在数学上表明，可以使用快速傅里叶变换（FFT）有效地计算具有RPE的核化注意。使用FFT，我们的方法实现$ \ mathcal {o}（n \ log n）$时间复杂性。有趣的是，我们进一步证明使用相对位置编码适当地可以减轻香草群关注的培训不稳定问题。在广泛的任务上，我们经验证明我们的模型可以从头开始培训，没有任何优化问题。学习模型比许多高效的变压器变体更好地执行，并且在长序列制度中比标准变压器更快。

视觉变压器在众多计算机视觉任务上表现出了巨大的成功。然而，由于计算复杂性和记忆足迹是二次的，因此其中心分量（软磁性注意力）禁止视觉变压器扩展到高分辨率图像。尽管在自然语言处理（NLP）任务中引入了线性注意以减轻类似问题，但直接将现有的线性注意力应用于视觉变压器可能不会导致令人满意的结果。我们研究了这个问题，发现与NLP任务相比，计算机视觉任务更多地关注本地信息。基于这一观察结果，我们提出了附近的关注，该关注引入了具有线性复杂性的视觉变压器的局部性偏见。具体而言，对于每个图像补丁，我们根据其相邻贴片测量的2D曼哈顿距离调整了注意力重量。在这种情况下，相邻的补丁比遥远的补丁会受到更大的关注。此外，由于我们的附近注意力要求令牌长度比特征维度大得多，以显示其效率优势，因此我们进一步提出了一个新的附近视觉变压器（VVT）结构，以减少特征维度而不脱离准确性。我们在CIFAR100，ImagEnet1k和ADE20K数据集上进行了广泛的实验，以验证我们方法的有效性。当输入分辨率增加时，与以前的基于变压器和基于卷积的网络相比，GFLOP的增长率较慢。特别是，我们的方法达到了最新的图像分类精度，其参数比以前的方法少50％。

随着自我关注机制的发展，变压器模型已经在计算机视觉域中展示了其出色的性能。然而，从完全关注机制带来的大规模计算成为内存消耗的沉重负担。顺序地，记忆的限制降低了改善变压器模型的可能性。为了解决这个问题，我们提出了一种名为耦合器的新的记忆经济性注意力机制，它将注意力映射与两个子矩阵分成并从空间信息中生成对准分数。应用了一系列不同的尺度图像分类任务来评估模型的有效性。实验结果表明，在ImageNet-1K分类任务上，与常规变压器相比，耦合器可以显着降低28％的存储器消耗，同时访问足够的精度要求，并且在占用相同的内存占用时表达了0.92％。结果，耦合器可以用作视觉任务中的有效骨干，并提供关于研究人员注意机制的新颖视角。

自我发挥作用机制通过在所有输入令牌之间使用成对的注意来对远程环境进行建模。在这样做时，他们假设由个体令牌（例如文本字符或图像像素）定义的固定注意粒度，这对于在较高级别上建模复杂依赖性可能不是最佳的。在本文中，我们提出了ContextPool，通过调整每个令牌的注意力粒度来解决此问题。受到与合并以捕获远程依赖关系的Convnets成功的启发，我们学会了为每个令牌汇总相邻功能，然后在给定的注意力层中计算注意力。合并的权重和支撑大小是自适应确定的，允许汇总功能以不同的规模编码有意义的上下文。我们表明，ContextPool使注意力模型更具表现力，经常以更少的层次实现强大的性能，从而大大降低了成本。实验验证我们的上下文池模块插入变压器模型时，使用几种语言和图像基准的计算较少计算，匹配或超越了最先进的性能，胜过最新的作品，这些作品具有学习的上下文大小或稀疏注意的模式，并且也适用为了进行有效的功能学习。

视觉变压器（VIV）及其变体（例如，Swin，PVT）在各种计算机视觉任务中取得了巨大的成功，这是由于他们学习远程语境信息的能力。层标准化（LN）是这些模型中的必要成分。然而，我们发现普通LN在不同位置处的令牌幅度，因为它标准化每个令牌内的嵌入物。变压器难以捕获诱导偏压，例如用LN的图像中的位置上下文。我们通过提出新的标准化器，称为动态令牌归一化（DTN）来解决这个问题，其中归一化在每个令牌（令牌）和跨不同的标记（令牌互补）中执行归一化。 DTN有几个优点。首先，它基于统一的制定，因此可以代表各种现有的归一化方法。其次，DTN学习在令牌内部和令牌间的互联网上标准化令牌，使变换器能够捕获全局上下文信息和本地位置上下文。 {第三，通过简单地更换LN层，DTN可以容易地插入各种视觉变压器，例如VIT，SWIN，PVT，Levit，T2T-VIT，BIGBIRD和REPLERER。广泛的实验表明，配备DTN的变压器始终如一地优于基线模型，具有最小的额外参数和计算开销。例如，DTN优于0.5 \％$ 0.5 \％$ - $ 1.2 \％$ 1.2 \％$ top-1在Imagenet上的准确性，超过1.2 $ - $ 1.4 $ box ap在Coco基准测试的对象检测中，达到2.3 \％$ - $ 3.9 \％$ mce在ImageNet-C上的鲁棒性实验，在远程竞技场上长浪列表中的0.5 \％$ 0.8 \％$ 0.8 \％。}代码将在\ url {https://github.com/wqshao126/dtn}公开。

变形金刚在语言和视觉域中取得了成功。然而，将它们缩放到长期序列（例如长）或高分辨率图像，因为自我关注机构相对于输入序列长度具有二次时间和存储器复杂性。在本文中，我们提出了长短变压器（变压器-LS），是一种有效的自我关注机制，用于对语言和视觉任务进行线性复杂性建模的长序列。它用动态投影聚集了一种新的远程关注，以模拟远处相关性和短期注意，以捕获细粒度的局部相关性。我们提出了双重正径策略，以解释两个注意机制之间的规模不匹配。变压器-LS可以应用于自回归和双向模型，而无需额外复杂。我们的方法在语言和视觉域中的多个任务中优于最先进的模型，包括远程竞技场基准，自回归语言建模和想象成分类。例如，变换器-LS使用比以前的方法的一半在eNWIK8上实现0.97测试BPC，同时与其在同一硬件上的全部关注版本相比，可以更快地处理3倍。在Imagenet上，它可以获得最先进的结果（例如，适度大小的55.8M模型，仅在224x224 Imagenet-1K上培训，可以获得顶级1精度84.1％），同时在高分辨率上更加可扩展图片。源代码和模型在https://github.com/nvidia/transformer-ls上发布。

Vision Transformers have shown great promise recently for many vision tasks due to the insightful architecture design and attention mechanism. By revisiting the self-attention responses in Transformers, we empirically observe two interesting issues. First, Vision Transformers present a queryirrelevant behavior at deep layers, where the attention maps exhibit nearly consistent contexts in global scope, regardless of the query patch position (also head-irrelevant). Second, the attention maps are intrinsically sparse, few tokens dominate the attention weights; introducing the knowledge from ConvNets would largely smooth the attention and enhance the performance. Motivated by above observations, we generalize self-attention formulation to abstract a queryirrelevant global context directly and further integrate the global context into convolutions. The resulting model, a Fully Convolutional Vision Transformer (i.e., FCViT), purely consists of convolutional layers and firmly inherits the merits of both attention mechanism and convolutions, including dynamic property, weight sharing, and short- and long-range feature modeling, etc. Experimental results demonstrate the effectiveness of FCViT. With less than 14M parameters, our FCViT-S12 outperforms related work ResT-Lite by 3.7% top1 accuracy on ImageNet-1K. When scaling FCViT to larger models, we still perform better than previous state-of-the-art ConvNeXt with even fewer parameters. FCViT-based models also demonstrate promising transferability to downstream tasks, like object detection, instance segmentation, and semantic segmentation. Codes and models are made available at: https://github.com/ma-xu/FCViT.

变压器注意机制中的设计选择，包括弱电感偏置和二次计算复杂性，限制了其用于建模长序列的应用。在本文中，我们介绍了一个简单的，理论上的，单头的门控注意机制，配备了（指数）移动平均线，以将局部依赖性的电感偏置纳入位置 - 敏锐的注意机制中。我们进一步提出了一个具有线性时间和空间复杂性的大型变体，但通过将整个序列分为固定长度的多个块，仅产生最小的质量损失。对广泛的序列建模基准测试的广泛实验，包括远距离竞技场，神经机器翻译，自动回归语言建模以及图像和语音分类，表明，巨人比其他序列模型取得了重大改进，包括变种物的变体和最新的变体模型状态空间模型。

尽管图像变形金刚与计算机视觉任务中的卷积神经网络显示出竞争性结果，但缺乏诸如区域的电感偏见仍然在模型效率方面构成问题，尤其是对于嵌入式应用程序而言。在这项工作中，我们通过引入注意力面具以将空间位置纳入自我发挥作用来解决这个问题。局部依赖性有效地捕获了掩盖的注意力头，以及由未掩盖的注意力头部捕获的全球依赖性。随着蒙版注意力图像变压器 - MAIT，与CAIT相比，TOP -1的准确性提高了1.7％，与SWIN相比，吞吐量更少，吞吐量提高了1.5倍。使用注意力面罩编码局部性是模型的不可知论，因此它适用于整体，分层或其他新型变压器体系结构。

变压器最近在各种视觉任务上表现出卓越的性能。大型有时甚至全球，接收领域赋予变换器模型，并通过其CNN对应物具有更高的表示功率。然而，简单地扩大接收领域也产生了几个问题。一方面，使用致密的注意，例如，在VIT中，导致过度的记忆和计算成本，并且特征可以受到超出兴趣区域的无关紧要的影响。另一方面，PVT或SWIN变压器采用的稀疏注意是数据不可知论，可能会限制模拟长距离关系的能力。为了缓解这些问题，我们提出了一种新型可变形的自我关注模块，其中以数据相关的方式选择密钥和值对中的密钥和值对的位置。这种灵活的方案使自我关注模块能够专注于相关区域并捕获更多的信息性功能。在此基础上，我们呈现可变形的关注变压器，一般骨干模型，具有可变形关注的图像分类和密集预测任务。广泛的实验表明，我们的模型在综合基准上实现了一致的改善结果。代码可在https://github.com/leaplabthu/dat上获得。

视觉变形金刚（VIT）通过贴片图像令牌化推动了各种视觉识别任务的最先进，然后是堆叠的自我注意操作。采用自我发场模块会导致计算和内存使用情况的二次复杂性。因此，已经在自然语言处理中进行了各种尝试以线性复杂性近似自我发挥计算的尝试。但是，这项工作的深入分析表明，它们在理论上是缺陷的，或者在经验上是无效的视觉识别。我们确定它们的局限性植根于在近似过程中保留软马克斯的自我注意力。具体而言，传统的自我注意力是通过使令状特征向量之间的缩放点产物标准化来计算的。保留SoftMax操作会挑战任何随后的线性化工作。在这个见解下，首次提出了无软磁变压器（缩写为软的变压器）。为了消除自我注意事项的软马克斯操作员，采用高斯内核函数来替代点产品相似性。这使完整的自发矩阵可以通过低级矩阵分解近似。我们近似的鲁棒性是通过使用牛顿 - 拉夫森方法来计算其摩尔 - 芬罗逆的。此外，在低级别的自我注意事项上引入了有效的对称归一化，以增强模型的推广性和可传递性。对Imagenet，Coco和ADE20K的广泛实验表明，我们的软可以显着提高现有VIT变体的计算效率。至关重要的是，具有线性复杂性，允许使用较长的令牌序列，从而使精度和复杂性之间的权衡较高。

We present the Group Propagation Vision Transformer (GPViT): a novel nonhierarchical (i.e. non-pyramidal) transformer model designed for general visual recognition with high-resolution features. High-resolution features (or tokens) are a natural fit for tasks that involve perceiving fine-grained details such as detection and segmentation, but exchanging global information between these features is expensive in memory and computation because of the way self-attention scales. We provide a highly efficient alternative Group Propagation Block (GP Block) to exchange global information. In each GP Block, features are first grouped together by a fixed number of learnable group tokens; we then perform Group Propagation where global information is exchanged between the grouped features; finally, global information in the updated grouped features is returned back to the image features through a transformer decoder. We evaluate GPViT on a variety of visual recognition tasks including image classification, semantic segmentation, object detection, and instance segmentation. Our method achieves significant performance gains over previous works across all tasks, especially on tasks that require high-resolution outputs, for example, our GPViT-L3 outperforms Swin Transformer-B by 2.0 mIoU on ADE20K semantic segmentation with only half as many parameters. Code and pre-trained models are available at https://github.com/ChenhongyiYang/GPViT .

由于其在捕获地区和翻译不变性的能力，卷积神经网络（CNNS）已经主导了计算机愿景。最近，已经提出了许多视觉变压器架构，他们表现出了有希望的表现。视觉变压器中的一个关键组件是在长距离依赖性建模中的CNN具有完全连接的自我关注。然而，由于当前密集的自我关注使用所有图像斑块（令牌）来计算注意力矩阵，因此它可能会忽略图像斑块的局部性，并且涉及嘈杂的令牌（例如，杂物背景和遮挡），导致慢训练过程和潜在的劣化表现。为了解决这些问题，我们提出了k $ -nn注意促进视觉变压器。具体而言，而不是涉及所有引起注意矩阵计算的令牌，我们只能从每个查询的键中选择顶级$类似的标记来计算注意图。提议的$ k $ -nn注意自然地继承了CNN的当地偏见而不引入卷积操作，因为附近的代币往往比其他代币更相似。此外，$ k $ -nn注意允许探索远程相关性，同时通过从整个图像中选择最相似的标记来筛选无关的标记。尽管其理论上和经验，我们验证了它，即美元 - 不关注的是，在加快输入令牌的训练和蒸馏噪声方面是强大的。通过使用11种不同的视觉变压器架构进行了广泛的实验，以验证所提出的$ -NNN注意力可以与任何现有的变压器架构合作，以提高其预测性能。

We introduce Performers, Transformer architectures which can estimate regular (softmax) full-rank-attention Transformers with provable accuracy, but using only linear (as opposed to quadratic) space and time complexity, without relying on any priors such as sparsity or low-rankness. To approximate softmax attentionkernels, Performers use a novel Fast Attention Via positive Orthogonal Random features approach (FAVOR+), which may be of independent interest for scalable kernel methods. FAVOR+ can also be used to efficiently model kernelizable attention mechanisms beyond softmax. This representational power is crucial to accurately compare softmax with other kernels for the first time on large-scale tasks, beyond the reach of regular Transformers, and investigate optimal attention-kernels. Performers are linear architectures fully compatible with regular Transformers and with strong theoretical guarantees: unbiased or nearly-unbiased estimation of the attention matrix, uniform convergence and low estimation variance. We tested Performers on a rich set of tasks stretching from pixel-prediction through text models to protein sequence modeling. We demonstrate competitive results with other examined efficient sparse and dense attention methods, showcasing effectiveness of the novel attention-learning paradigm leveraged by Performers.

Transformer is a new kind of neural architecture which encodes the input data as powerful features via the attention mechanism. Basically, the visual transformers first divide the input images into several local patches and then calculate both representations and their relationship. Since natural images are of high complexity with abundant detail and color information, the granularity of the patch dividing is not fine enough for excavating features of objects in different scales and locations. In this paper, we point out that the attention inside these local patches are also essential for building visual transformers with high performance and we explore a new architecture, namely, Transformer iN Transformer (TNT). Specifically, we regard the local patches (e.g., 16×16) as "visual sentences" and present to further divide them into smaller patches (e.g., 4×4) as "visual words". The attention of each word will be calculated with other words in the given visual sentence with negligible computational costs. Features of both words and sentences will be aggregated to enhance the representation ability. Experiments on several benchmarks demonstrate the effectiveness of the proposed TNT architecture, e.g., we achieve an 81.5% top-1 accuracy on the ImageNet, which is about 1.7% higher than that of the state-of-the-art visual transformer with similar computational cost.

视觉多层感知器（MLP）在计算机视觉任务中表现出了有希望的表现，并成为CNNS和Vision Transformers的主要竞争对手。他们使用令牌混合层来捕获交叉互动，而不是变形金刚使用的多头自我发项机制。然而，严重的参数化令牌混合层自然缺乏捕获局部信息和多粒性非本地关系的机制，因此它们的判别能力受到限制。为了解决这个问题，我们提出了一个新的位置空间门控单元（POSGU）。它利用经典相对位置编码（RPE）中使用的注意力公式，以有效地编码令牌混合的交叉关系。它可以成功地将视觉MLP的当前二次参数复杂度$ O（n^2）$ $ O（n^2）$ o（n）$（n）$和$ o（1）$。我们实验了两种RPE机制，并进一步提出了一个小组扩展，以实现多种环境的成就，以提高其表现力。然后，它们是一种新型视觉MLP的关键构建块，称为POSMLP。我们通过进行彻底的实验来评估所提出的方法的有效性，证明参数复杂性的提高或可比性能得到了改善或可比性。例如，对于在ImagEnet1k上训练的模型，我们实现了从72.14 \％\％\％\％的绩效提高，并且可学习的参数从$ 194M $ $ $ $ $ $ $ $ 1.182亿美元。代码可以在\ href {https://github.com/zhicaiwww/posmlp} {https://github.com/zhicaiwww/posmlp}中找到代码。

We present Multiscale Vision Transformers (MViT) for video and image recognition, by connecting the seminal idea of multiscale feature hierarchies with transformer models. Multiscale Transformers have several channel-resolution scale stages. Starting from the input resolution and a small channel dimension, the stages hierarchically expand the channel capacity while reducing the spatial resolution. This creates a multiscale pyramid of features with early layers operating at high spatial resolution to model simple low-level visual information, and deeper layers at spatially coarse, but complex, high-dimensional features. We evaluate this fundamental architectural prior for modeling the dense nature of visual signals for a variety of video recognition tasks where it outperforms concurrent vision transformers that rely on large scale external pre-training and are 5-10× more costly in computation and parameters. We further remove the temporal dimension and apply our model for image classification where it outperforms prior work on vision transformers. Code is available at: https: //github.com/facebookresearch/SlowFast.