自我发挥作用机制通过在所有输入令牌之间使用成对的注意来对远程环境进行建模。在这样做时，他们假设由个体令牌（例如文本字符或图像像素）定义的固定注意粒度，这对于在较高级别上建模复杂依赖性可能不是最佳的。在本文中，我们提出了ContextPool，通过调整每个令牌的注意力粒度来解决此问题。受到与合并以捕获远程依赖关系的Convnets成功的启发，我们学会了为每个令牌汇总相邻功能，然后在给定的注意力层中计算注意力。合并的权重和支撑大小是自适应确定的，允许汇总功能以不同的规模编码有意义的上下文。我们表明，ContextPool使注意力模型更具表现力，经常以更少的层次实现强大的性能，从而大大降低了成本。实验验证我们的上下文池模块插入变压器模型时，使用几种语言和图像基准的计算较少计算，匹配或超越了最先进的性能，胜过最新的作品，这些作品具有学习的上下文大小或稀疏注意的模式，并且也适用为了进行有效的功能学习。

We propose focal modulation networks (FocalNets in short), where self-attention (SA) is completely replaced by a focal modulation mechanism for modeling token interactions in vision. Focal modulation comprises three components: (i) hierarchical contextualization, implemented using a stack of depth-wise convolutional layers, to encode visual contexts from short to long ranges, (ii) gated aggregation to selectively gather contexts for each query token based on its content, and (iii) element-wise modulation or affine transformation to inject the aggregated context into the query. Extensive experiments show FocalNets outperform the state-of-the-art SA counterparts (e.g., Swin and Focal Transformers) with similar computational costs on the tasks of image classification, object detection, and segmentation. Specifically, FocalNets with tiny and base size achieve 82.3% and 83.9% top-1 accuracy on ImageNet-1K. After pretrained on ImageNet-22K in 224 resolution, it attains 86.5% and 87.3% top-1 accuracy when finetuned with resolution 224 and 384, respectively. When transferred to downstream tasks, FocalNets exhibit clear superiority. For object detection with Mask R-CNN, FocalNet base trained with 1\times outperforms the Swin counterpart by 2.1 points and already surpasses Swin trained with 3\times schedule (49.0 v.s. 48.5). For semantic segmentation with UPerNet, FocalNet base at single-scale outperforms Swin by 2.4, and beats Swin at multi-scale (50.5 v.s. 49.7). Using large FocalNet and Mask2former, we achieve 58.5 mIoU for ADE20K semantic segmentation, and 57.9 PQ for COCO Panoptic Segmentation. Using huge FocalNet and DINO, we achieved 64.3 and 64.4 mAP on COCO minival and test-dev, respectively, establishing new SoTA on top of much larger attention-based models like Swinv2-G and BEIT-3. Code and checkpoints are available at https://github.com/microsoft/FocalNet.

视觉变压器（VIT）用作强大的视觉模型。与卷积神经网络不同，在前几年主导视觉研究，视觉变压器享有捕获数据中的远程依赖性的能力。尽管如此，任何变压器架构的组成部分，自我关注机制都存在高延迟和低效的内存利用，使其不太适合高分辨率输入图像。为了缓解这些缺点，分层视觉模型在非交错的窗口上局部使用自我关注。这种放松会降低输入尺寸的复杂性;但是，它限制了横窗相互作用，损害了模型性能。在本文中，我们提出了一种新的班次不变的本地注意层，称为查询和参加（QNA），其以重叠的方式聚集在本地输入，非常类似于卷积。 QNA背后的关键想法是介绍学习的查询，这允许快速高效地实现。我们通过将其纳入分层视觉变压器模型来验证我们的层的有效性。我们展示了速度和内存复杂性的改进，同时实现了与最先进的模型的可比准确性。最后，我们的图层尺寸尤其良好，窗口大小，需要高于X10的内存，而不是比现有方法更快。

变形金刚在语言和视觉域中取得了成功。然而，将它们缩放到长期序列（例如长）或高分辨率图像，因为自我关注机构相对于输入序列长度具有二次时间和存储器复杂性。在本文中，我们提出了长短变压器（变压器-LS），是一种有效的自我关注机制，用于对语言和视觉任务进行线性复杂性建模的长序列。它用动态投影聚集了一种新的远程关注，以模拟远处相关性和短期注意，以捕获细粒度的局部相关性。我们提出了双重正径策略，以解释两个注意机制之间的规模不匹配。变压器-LS可以应用于自回归和双向模型，而无需额外复杂。我们的方法在语言和视觉域中的多个任务中优于最先进的模型，包括远程竞技场基准，自回归语言建模和想象成分类。例如，变换器-LS使用比以前的方法的一半在eNWIK8上实现0.97测试BPC，同时与其在同一硬件上的全部关注版本相比，可以更快地处理3倍。在Imagenet上，它可以获得最先进的结果（例如，适度大小的55.8M模型，仅在224x224 Imagenet-1K上培训，可以获得顶级1精度84.1％），同时在高分辨率上更加可扩展图片。源代码和模型在https://github.com/nvidia/transformer-ls上发布。

Astounding results from Transformer models on natural language tasks have intrigued the vision community to study their application to computer vision problems. Among their salient benefits, Transformers enable modeling long dependencies between input sequence elements and support parallel processing of sequence as compared to recurrent networks e.g., Long short-term memory (LSTM). Different from convolutional networks, Transformers require minimal inductive biases for their design and are naturally suited as set-functions. Furthermore, the straightforward design of Transformers allows processing multiple modalities (e.g., images, videos, text and speech) using similar processing blocks and demonstrates excellent scalability to very large capacity networks and huge datasets. These strengths have led to exciting progress on a number of vision tasks using Transformer networks. This survey aims to provide a comprehensive overview of the Transformer models in the computer vision discipline. We start with an introduction to fundamental concepts behind the success of Transformers i.e., self-attention, large-scale pre-training, and bidirectional feature encoding. We then cover extensive applications of transformers in vision including popular recognition tasks (e.g., image classification, object detection, action recognition, and segmentation), generative modeling, multi-modal tasks (e.g., visual-question answering, visual reasoning, and visual grounding), video processing (e.g., activity recognition, video forecasting), low-level vision (e.g., image super-resolution, image enhancement, and colorization) and 3D analysis (e.g., point cloud classification and segmentation). We compare the respective advantages and limitations of popular techniques both in terms of architectural design and their experimental value. Finally, we provide an analysis on open research directions and possible future works. We hope this effort will ignite further interest in the community to solve current challenges towards the application of transformer models in computer vision.

虽然变形金机对视频识别任务的巨大潜力具有较强的捕获远程依赖性的强大能力，但它们经常遭受通过对视频中大量3D令牌的自我关注操作引起的高计算成本。在本文中，我们提出了一种新的变压器架构，称为双重格式，可以有效且有效地对视频识别进行时空关注。具体而言，我们的Dualformer将完全时空注意力分层到双级级联级别，即首先在附近的3D令牌之间学习细粒度的本地时空交互，然后捕获查询令牌之间的粗粒度全局依赖关系。粗粒度全球金字塔背景。不同于在本地窗口内应用时空分解或限制关注计算以提高效率的现有方法，我们本地 - 全球分层策略可以很好地捕获短期和远程时空依赖项，同时大大减少了钥匙和值的数量在注意计算提高效率。实验结果表明，对抗现有方法的五个视频基准的经济优势。特别是，Dualformer在动态-400/600上设置了新的最先进的82.9％/ 85.2％，大约1000g推理拖鞋，比具有相似性能的现有方法至少3.2倍。

变压器建立在多头缩放的点产生关注和位置编码的基础上，旨在学习特征表示和令牌依赖性。在这项工作中，我们专注于通过学习通过变压器中的自我发项机制来增强特征图来增强独特的表示。具体而言，我们提出了水平的关注，以重新权重降低维度降低的点产量注意的多头输出，并提出垂直注意力以通过对不同的相互依赖性在不同的相互依赖性的方面自适应重新校准的频道响应，以使不同频道。我们证明了配备了两种专注的变压器模型在不同监督的学习任务中具有很高的概括能力，并具有较小的额外计算成本开销。提出的水平和垂直注意力是高度模块化的，可以将其插入各种变压器模型中，以进一步提高性能。我们的代码在补充材料中可用。

This paper presents a new vision Transformer, called Swin Transformer, that capably serves as a general-purpose backbone for computer vision. Challenges in adapting Transformer from language to vision arise from differences between the two domains, such as large variations in the scale of visual entities and the high resolution of pixels in images compared to words in text. To address these differences, we propose a hierarchical Transformer whose representation is computed with Shifted windows. The shifted windowing scheme brings greater efficiency by limiting self-attention computation to non-overlapping local windows while also allowing for cross-window connection. This hierarchical architecture has the flexibility to model at various scales and has linear computational complexity with respect to image size. These qualities of Swin Transformer make it compatible with a broad range of vision tasks, including image classification (87.3 top-1 accuracy on ImageNet-1K) and dense prediction tasks such as object detection (58.7 box AP and 51.1 mask AP on COCO testdev) and semantic segmentation (53.5 mIoU on ADE20K val). Its performance surpasses the previous state-of-theart by a large margin of +2.7 box AP and +2.6 mask AP on COCO, and +3.2 mIoU on ADE20K, demonstrating the potential of Transformer-based models as vision backbones. The hierarchical design and the shifted window approach also prove beneficial for all-MLP architectures. The code and models are publicly available at https://github. com/microsoft/Swin-Transformer.

本文解决了由多头自我注意力（MHSA）中高计算/空间复杂性引起的视觉变压器的低效率缺陷。为此，我们提出了层次MHSA（H-MHSA），其表示以层次方式计算。具体而言，我们首先将输入图像分为通常完成的补丁，每个补丁都被视为令牌。然后，拟议的H-MHSA学习本地贴片中的令牌关系，作为局部关系建模。然后，将小贴片合并为较大的贴片，H-MHSA对少量合并令牌的全局依赖性建模。最后，汇总了本地和全球专注的功能，以获得具有强大表示能力的功能。由于我们仅在每个步骤中计算有限数量的令牌的注意力，因此大大减少了计算负载。因此，H-MHSA可以在不牺牲细粒度信息的情况下有效地模拟令牌之间的全局关系。使用H-MHSA模块合并，我们建立了一个基于层次的变压器网络的家族，即HAT-NET。为了证明在场景理解中HAT-NET的优越性，我们就基本视觉任务进行了广泛的实验，包括图像分类，语义分割，对象检测和实例细分。因此，HAT-NET为视觉变压器提供了新的视角。可以在https://github.com/yun-liu/hat-net上获得代码和预估计的模型。

视觉变压器在众多计算机视觉任务上表现出了巨大的成功。然而，由于计算复杂性和记忆足迹是二次的，因此其中心分量（软磁性注意力）禁止视觉变压器扩展到高分辨率图像。尽管在自然语言处理（NLP）任务中引入了线性注意以减轻类似问题，但直接将现有的线性注意力应用于视觉变压器可能不会导致令人满意的结果。我们研究了这个问题，发现与NLP任务相比，计算机视觉任务更多地关注本地信息。基于这一观察结果，我们提出了附近的关注，该关注引入了具有线性复杂性的视觉变压器的局部性偏见。具体而言，对于每个图像补丁，我们根据其相邻贴片测量的2D曼哈顿距离调整了注意力重量。在这种情况下，相邻的补丁比遥远的补丁会受到更大的关注。此外，由于我们的附近注意力要求令牌长度比特征维度大得多，以显示其效率优势，因此我们进一步提出了一个新的附近视觉变压器（VVT）结构，以减少特征维度而不脱离准确性。我们在CIFAR100，ImagEnet1k和ADE20K数据集上进行了广泛的实验，以验证我们方法的有效性。当输入分辨率增加时，与以前的基于变压器和基于卷积的网络相比，GFLOP的增长率较慢。特别是，我们的方法达到了最新的图像分类精度，其参数比以前的方法少50％。

变形金刚迅速成为跨模式，域和任务的最深入学习架构之一。在视觉上，除了对普通变压器的持续努力外，层次变压器还引起了人们的重大关注，这要归功于它们的性能和轻松整合到现有框架中。这些模型通常采用局部注意机制，例如滑动窗口社区的注意力（NA）或Swin Transformer转移的窗户自我关注。尽管有效地降低了自我注意力的二次复杂性，但局部注意力却削弱了自我注意力最理想的两个特性：远距离相互依赖性建模和全球接受场。在本文中，我们引入了扩张的邻里注意力（DINA），这是NA的天然，灵活和有效的扩展，可以捕获更多的全球环境，并以无需额外的成本呈指数级扩展接受场。 NA的本地关注和Dina的稀疏全球关注相互补充，因此我们引入了扩张的邻里注意力变压器（Dinat），这是一种新的分层视觉变压器。 Dinat变体对基于注意的基线（例如NAT和SWIN）以及现代卷积基线Convnext都具有重大改进。我们的大型模型在可可对象检测中以1.5％的盒子AP领先于其在COCO物体检测中，1.3％的掩码AP在可可实例分段中，而ADE20K语义分段中的1.1％MIOU和更快的吞吐量。我们认为，NA和Dina的组合有可能增强本文提出的各种任务的能力。为了支持和鼓励朝着这个方向，远见和超越方向进行研究，我们在以下网址开放我们的项目：https：//github.com/shi-labs/neighborhood-cithention-transformer。

变压器架构现在是序列建模任务的核心。注意机制是核心，它可以在序列中对长期依赖性进行有效的建模。最近，变压器已成功地应用于计算机视觉域，在该域中首先将2D图像分割成斑块，然后将其视为1D序列。然而，这种线性化会损害图像中空间位置的概念，该图像具有重要的视觉线索。为了弥合差距，我们提出了连锁反应，这是视觉变压器的次级注意机制。基于最近基于内核的有效注意机制，我们设计了一种新型的动态编程算法，该算法将不同令牌的贡献加重了与它们在线性观察到的2D空间中相对空间距离的查询的贡献。广泛的实验和分析证明了连锁反应对各种视觉任务的有效性。

诸如对象检测和分割等密集的计算机视觉任务需要有效的多尺度特征表示，用于检测或分类具有不同大小的对象或区域。虽然卷积神经网络（CNNS）是这种任务的主导架构，但最近引入了视觉变压器（VITS）的目标是将它们替换为骨干。类似于CNN，VITS构建一个简单的多级结构（即，细致粗略），用于使用单尺度补丁进行多尺度表示。在这项工作中，通过从现有变压器的不同角度来看，我们探索了多尺度补丁嵌入和多路径结构，构建了多路径视觉变压器（MPVIT）。 MPVIT通过使用重叠的卷积贴片嵌入，将相同尺寸〜（即，序列长度，序列长度，序列长度的序列长度）嵌入不同尺度的斑块。然后，通过多个路径独立地将不同尺度的令牌独立地馈送到变压器编码器，并且可以聚合产生的特征，使得能够在相同特征级别的精细和粗糙的特征表示。由于多样化，多尺寸特征表示，我们的MPVits从微小〜（5m）缩放到基础〜（73米）一直在想象成分，对象检测，实例分段上的最先进的视觉变压器来实现卓越的性能，和语义细分。这些广泛的结果表明，MPVIT可以作为各种视觉任务的多功能骨干网。代码将在\ url {https://git.io/mpvit}上公开可用。

我们提出了全球环境视觉变压器（GC VIT），这是一种新的结构，可增强参数和计算利用率。我们的方法利用了与本地自我注意的联合的全球自我发项模块，以有效但有效地建模长和短距离的空间相互作用，而无需昂贵的操作，例如计算注意力面罩或移动本地窗户。此外，我们通过建议在我们的体系结构中使用修改后的融合倒置残差块来解决VIT中缺乏归纳偏差的问题。我们提出的GC VIT在图像分类，对象检测和语义分割任务中实现了最新的结果。在用于分类的ImagEnet-1k数据集上，基本，小而微小的GC VIT，$ 28 $ M，$ 51 $ M和$ 90 $ M参数实现$ \ textbf {83.2 \％} $，$ \ textbf {83.9 \％} $和$ \ textbf {84.4 \％} $ top-1的精度，超过了相当大的先前艺术，例如基于CNN的Convnext和基于VIT的Swin Transformer，其优势大大。在对象检测，实例分割和使用MS Coco和ADE20K数据集的下游任务中，预训练的GC VIT主机在对象检测，实例分割和语义分割的任务中始终如一地超过事务，有时是通过大余量。可在https://github.com/nvlabs/gcvit上获得代码。

我们提出了邻里注意力变压器（NAT），这是一种有效，准确和可扩展的层次变压器，在图像分类和下游视觉任务上都很好地工作。它建立在邻里注意力（NA）的基础上，这是一种简单而灵活的注意机制，将每个查询的接受场都定位到其最近的相邻像素。 NA是自我注意的本地化，并且随着接收场大小的增加而接近它。在拖曳和记忆使用方面，它也等同于Swin Transformer的转移窗口的注意力，而同样的接收场大小，同时受到了较少的约束。此外，NA包括局部电感偏见，从而消除了对像素移位等额外操作的需求。 NAT的实验结果具有竞争力； Nat-tiny在Imagenet上仅具有4.3 GFLOPS和28M参数，在MS-Coco上达到51.4％的MAP和ADE20K上的48.4％MIOU。我们在：https：//github.com/shi-labs/neighborhood-cithention-transformer上开放了检查点，代码和CUDA内核。

视觉表示学习是解决各种视力问题的关键。依靠开创性的网格结构先验，卷积神经网络（CNN）已成为大多数深视觉模型的事实上的标准架构。例如，经典的语义分割方法通常采用带有编码器编码器体系结构的完全横向卷积网络（FCN）。编码器逐渐减少了空间分辨率，并通过更大的接受场来学习更多抽象的视觉概念。由于上下文建模对于分割至关重要，因此最新的努力一直集中在通过扩张（即极度）卷积或插入注意力模块来增加接受场。但是，基于FCN的体系结构保持不变。在本文中，我们旨在通过将视觉表示学习作为序列到序列预测任务来提供替代观点。具体而言，我们部署纯变压器以将图像编码为一系列贴片，而无需局部卷积和分辨率减少。通过在变压器的每一层中建立的全球环境，可以学习更强大的视觉表示形式，以更好地解决视力任务。特别是，我们的细分模型（称为分割变压器（SETR））在ADE20K上擅长（50.28％MIOU，这是提交当天测试排行榜中的第一个位置），Pascal环境（55.83％MIOU），并在CityScapes上达到竞争成果。此外，我们制定了一个分层局部全球（HLG）变压器的家族，其特征是窗户内的本地关注和跨窗户的全球性专注于层次结构和金字塔架构。广泛的实验表明，我们的方法在各种视觉识别任务（例如，图像分类，对象检测和实例分割和语义分割）上实现了吸引力的性能。

最近，变形金刚在各种视觉任务中表现出了有希望的表现。变压器设计中的一个挑战性问题是，全球自我注意力非常昂贵，尤其是对于高分辨率视觉任务。局部自我注意力在局部区域内执行注意力计算以提高其效率，从而导致其在单个注意力层中的接受场不够大，从而导致上下文建模不足。在观察场景时，人类通常集中在局部区域，同时在粗粒度下参加非注意区域。基于这一观察结果，我们开发了轴向扩展的窗口自我发注意机制，该机制在局部窗口内执行精细颗粒的自我注意力，并在水平和垂直轴上进行粗粒度的自我注意力，因此可以有效地捕获短 - 远程视觉依赖性。

Vision Transformers have shown great promise recently for many vision tasks due to the insightful architecture design and attention mechanism. By revisiting the self-attention responses in Transformers, we empirically observe two interesting issues. First, Vision Transformers present a queryirrelevant behavior at deep layers, where the attention maps exhibit nearly consistent contexts in global scope, regardless of the query patch position (also head-irrelevant). Second, the attention maps are intrinsically sparse, few tokens dominate the attention weights; introducing the knowledge from ConvNets would largely smooth the attention and enhance the performance. Motivated by above observations, we generalize self-attention formulation to abstract a queryirrelevant global context directly and further integrate the global context into convolutions. The resulting model, a Fully Convolutional Vision Transformer (i.e., FCViT), purely consists of convolutional layers and firmly inherits the merits of both attention mechanism and convolutions, including dynamic property, weight sharing, and short- and long-range feature modeling, etc. Experimental results demonstrate the effectiveness of FCViT. With less than 14M parameters, our FCViT-S12 outperforms related work ResT-Lite by 3.7% top1 accuracy on ImageNet-1K. When scaling FCViT to larger models, we still perform better than previous state-of-the-art ConvNeXt with even fewer parameters. FCViT-based models also demonstrate promising transferability to downstream tasks, like object detection, instance segmentation, and semantic segmentation. Codes and models are made available at: https://github.com/ma-xu/FCViT.

视觉变压器的最新进展在基于点产生自我注意的新空间建模机制驱动的各种任务中取得了巨大成功。在本文中，我们表明，视觉变压器背后的关键要素，即输入自适应，远程和高阶空间相互作用，也可以通过基于卷积的框架有效地实现。我们介绍了递归封闭式卷积（$ \ textit {g}^\ textit {n} $ conv），该卷积{n} $ conv）与封闭的卷积和递归设计执行高阶空间交互。新操作是高度灵活和可定制的，它与卷积的各种变体兼容，并将自我注意的两阶相互作用扩展到任意订单，而无需引入大量额外的计算。 $ \ textit {g}^\ textit {n} $ conv可以用作插件模块，以改善各种视觉变压器和基于卷积的模型。根据该操作，我们构建了一个名为Hornet的新型通用视觉骨干家族。关于ImageNet分类，可可对象检测和ADE20K语义分割的广泛实验表明，大黄蜂的表现优于Swin变形金刚，并具有相似的整体体系结构和训练配置的明显边距。大黄蜂还显示出对更多训练数据和更大模型大小的有利可伸缩性。除了在视觉编码器中的有效性外，我们还可以将$ \ textit {g}^\ textit {n} $ conv应用于特定于任务的解码器，并始终通过较少的计算来提高密集的预测性能。我们的结果表明，$ \ textIt {g}^\ textit {n} $ conv可以成为视觉建模的新基本模块，可有效结合视觉变形金刚和CNN的优点。代码可从https://github.com/raoyongming/hornet获得

香草自我注意的机制固有地依赖于预定和坚定的计算维度。这种僵化的性限制了它具有面向上下文的概括，可以带来更多的上下文提示和全球表示。为了减轻此问题，我们提出了一种可扩展的自我注意（SSA）机制，该机制利用两个缩放因素来释放查询，键和价值矩阵的维度，同时使它们不符合输入。这种可伸缩性可获得面向上下文的概括并增强对象灵敏度，从而将整个网络推向准确性和成本之间的更有效的权衡状态。此外，我们提出了一个基于窗口的自我注意事项（IWSA），该自我注意力（IWSA）通过重新合并独立的值代币并从相邻窗口中汇总空间信息来建立非重叠区域之间的相互作用。通过交替堆叠SSA和IWSA，可扩展的视觉变压器（可伸缩率）在通用视觉任务中实现最先进的性能。例如，在Imagenet-1K分类中，可伸缩率S的表现优于双胞胎-SVT-S，而Swin-T则比1.4％。