在语言领域取得成功之后，自我发挥机制（变压器）在视觉领域采用并取得了巨大的成功。此外，作为另一个流中的多层感知器（MLP），也在视觉域中探索。除传统CNN以外，这些架构最近引起了人们的关注，并提出了许多方法。作为将参数效率和性能与图像识别中的局部性和层次结合在一起的一种，我们提出了将两个流合并的GSWIN。Swin Transformer和（多头）GMLP。我们表明，与具有较小模型大小的SWIN Transformer相比，GSWIN可以在三个视觉任务，图像分类，对象检测和语义分割方面实现更好的准确性。

This paper presents a new vision Transformer, called Swin Transformer, that capably serves as a general-purpose backbone for computer vision. Challenges in adapting Transformer from language to vision arise from differences between the two domains, such as large variations in the scale of visual entities and the high resolution of pixels in images compared to words in text. To address these differences, we propose a hierarchical Transformer whose representation is computed with Shifted windows. The shifted windowing scheme brings greater efficiency by limiting self-attention computation to non-overlapping local windows while also allowing for cross-window connection. This hierarchical architecture has the flexibility to model at various scales and has linear computational complexity with respect to image size. These qualities of Swin Transformer make it compatible with a broad range of vision tasks, including image classification (87.3 top-1 accuracy on ImageNet-1K) and dense prediction tasks such as object detection (58.7 box AP and 51.1 mask AP on COCO testdev) and semantic segmentation (53.5 mIoU on ADE20K val). Its performance surpasses the previous state-of-theart by a large margin of +2.7 box AP and +2.6 mask AP on COCO, and +3.2 mIoU on ADE20K, demonstrating the potential of Transformer-based models as vision backbones. The hierarchical design and the shifted window approach also prove beneficial for all-MLP architectures. The code and models are publicly available at https://github. com/microsoft/Swin-Transformer.

先前的视觉MLP，如MLP-MILER和RESMLP接受线性扁平的图像贴片作为输入，使其对不同的输入大小和难以捕获空间信息。这种方法隐瞒了MLP与基于变压器的对应物相比，并防止它们成为计算机视觉的一般骨干。本文介绍了Hire-MLP，通过\ TextBF {Hi} reachical \ TextBF {Re}排列，这是一个简单而竞争的愿景MLP架构，其中包含两个重排级别。具体地，提出内部区域重新排列以捕获空间区域内的局部信息，并且提出横区域重新排列以使不同区域之间的信息通信能够通过沿空间方向循环地转换所有令牌来实现不同区域之间的信息通信。广泛的实验证明了Hire-MLP作为各种视觉任务的多功能骨干的有效性。特别是，Hire-MLP在图像分类，对象检测和语义分割任务上实现竞争结果，例如，在Imagenet上的83.8％的前1个精度，51.7％盒AP和Coco Val2017上的44.8％掩模AP和Ade20k上的49.9％Miou ，超越以前的基于变压器和基于MLP的型号，具有更好的折衷以获得准确性和吞吐量。代码可在https://github.com/ggjy/hire-wave-mlp.pytorch获得。

我们介绍克斯内变压器，一种高效且有效的变压器的骨干，用于通用视觉任务。变压器设计的具有挑战性的问题是，全球自我关注来计算成本昂贵，而局部自我关注经常限制每个令牌的相互作用。为了解决这个问题，我们开发了以平行的横向和垂直条纹在水平和垂直条纹中计算自我关注的交叉形窗口自我关注机制，通过将输入特征分成相等的条纹而获得的每个条纹宽度。我们提供了条纹宽度效果的数学分析，并改变变压器网络的不同层的条纹宽度，这在限制计算成本时实现了强大的建模能力。我们还介绍了本地增强的位置编码（LEPE），比现有的编码方案更好地处理本地位置信息。 LEPE自然支持任意输入分辨率，因此对下游任务特别有效和友好。 CSWIN变压器并入其具有这些设计和分层结构，展示了普通愿景任务的竞争性能。具体来说，它在ImageNet-1K上实现了85.4 \％Top-1精度，而无需任何额外的培训数据或标签，53.9盒AP和46.4掩模AP，ADE20K语义分割任务上的52.2 Miou，超过以前的状态 - 在类似的拖鞋设置下，艺术品+1.2，+2.0，+1.4和+2.0分别为+1.2，+2.0，+1.4和+2.0。通过在较大的数据集Imagenet-21k上进行前预先预订，我们在Ave20K上实现了87.5％的成像-1K和高分性能，55.7 miou。代码和模型可在https://github.com/microsoft/cswin-transformer中找到。

We present the Group Propagation Vision Transformer (GPViT): a novel nonhierarchical (i.e. non-pyramidal) transformer model designed for general visual recognition with high-resolution features. High-resolution features (or tokens) are a natural fit for tasks that involve perceiving fine-grained details such as detection and segmentation, but exchanging global information between these features is expensive in memory and computation because of the way self-attention scales. We provide a highly efficient alternative Group Propagation Block (GP Block) to exchange global information. In each GP Block, features are first grouped together by a fixed number of learnable group tokens; we then perform Group Propagation where global information is exchanged between the grouped features; finally, global information in the updated grouped features is returned back to the image features through a transformer decoder. We evaluate GPViT on a variety of visual recognition tasks including image classification, semantic segmentation, object detection, and instance segmentation. Our method achieves significant performance gains over previous works across all tasks, especially on tasks that require high-resolution outputs, for example, our GPViT-L3 outperforms Swin Transformer-B by 2.0 mIoU on ADE20K semantic segmentation with only half as many parameters. Code and pre-trained models are available at https://github.com/ChenhongyiYang/GPViT .

最近，变形金刚在各种视觉任务中表现出具有很大的表现。为了降低全球自我关注引起的二次计算复杂性，各种方法限制了本地区域内的注意范围以提高其效率。因此，单个注意层中的接收领域不够大，导致上下文建模不足。为了解决这个问题，我们提出了一种浅色的自我关注（PS-Legution），这在浅层形状的地区内进行自我关注。与全球自我关注相比，PS-Peponsion可以显着降低计算和内存成本。同时，它可以通过以前的本地自我关注机制捕获类似的计算复杂性下的更丰富的上下文信息。根据PS-Intension，我们开发了一个具有分层架构的一般视觉变压器骨干，名为苍白变压器，其达到83.4％，84.3％和84.9％的前1个精度，分别为22米，48米和85米对于224个Imagenet-1K分类，优于上一个视觉变压器骨干板。对于下游任务，我们的苍白变压器骨干在ADE20K语义分割和Coco对象检测和实例分割中，我们的苍白变压器骨干比最近最近的最新的克斯卡文变压器表现更好。代码将在https://github.com/br -dl/paddlevit上发布。

变压器提供了一种设计神经网络以进行视觉识别的新方法。与卷积网络相比，变压器享有在每个阶段引用全局特征的能力，但注意模块带来了更高的计算开销，阻碍了变压器的应用来处理高分辨率的视觉数据。本文旨在减轻效率和灵活性之间的冲突，为此，我们为每个地区提出了专门的令牌，作为使者（MSG）。因此，通过操纵这些MSG令牌，可以在跨区域灵活地交换视觉信息，并且减少计算复杂性。然后，我们将MSG令牌集成到一个名为MSG-Transformer的多尺度体系结构中。在标准图像分类和对象检测中，MSG变压器实现了竞争性能，加速了GPU和CPU的推断。代码可在https://github.com/hustvl/msg-transformer中找到。

香草自我注意的机制固有地依赖于预定和坚定的计算维度。这种僵化的性限制了它具有面向上下文的概括，可以带来更多的上下文提示和全球表示。为了减轻此问题，我们提出了一种可扩展的自我注意（SSA）机制，该机制利用两个缩放因素来释放查询，键和价值矩阵的维度，同时使它们不符合输入。这种可伸缩性可获得面向上下文的概括并增强对象灵敏度，从而将整个网络推向准确性和成本之间的更有效的权衡状态。此外，我们提出了一个基于窗口的自我注意事项（IWSA），该自我注意力（IWSA）通过重新合并独立的值代币并从相邻窗口中汇总空间信息来建立非重叠区域之间的相互作用。通过交替堆叠SSA和IWSA，可扩展的视觉变压器（可伸缩率）在通用视觉任务中实现最先进的性能。例如，在Imagenet-1K分类中，可伸缩率S的表现优于双胞胎-SVT-S，而Swin-T则比1.4％。

本文介绍了一个简单的MLP架构，CycleMLP，这是一种多功能骨干，用于视觉识别和密集的预测。与现代MLP架构相比，例如MLP混合器，RESMLP和GMLP，其架构与图像尺寸相关，因此在物体检测和分割中不可行，与现代方法相比具有两个优点。 （1）它可以应对各种图像尺寸。 （2）通过使用本地窗口，它可以实现对图像大小的线性计算复杂性。相比之下，由于完全空间连接，以前的MLP具有$ O（n ^ 2）$计算。我们构建一系列模型，超越现有的MLP，甚至最先进的基于变压器的模型，例如，使用较少的参数和拖鞋。我们扩展了类似MLP的模型的适用性，使它们成为密集预测任务的多功能骨干。 CycleMLP在对象检测，实例分割和语义细分上实现了竞争结果。特别是，Cyclemlp-tiny优于3.3％Miou在Ade20K数据集中的速度较少，具有较少的拖鞋。此外，CycleMLP还在Imagenet-C数据集上显示出优异的零射鲁布利。代码可以在https://github.com/shoufachen/cyclemlp获得。

Very recently, a variety of vision transformer architectures for dense prediction tasks have been proposed and they show that the design of spatial attention is critical to their success in these tasks. In this work, we revisit the design of the spatial attention and demonstrate that a carefully devised yet simple spatial attention mechanism performs favorably against the state-of-the-art schemes. As a result, we propose two vision transformer architectures, namely, Twins-PCPVT and Twins-SVT. Our proposed architectures are highly efficient and easy to implement, only involving matrix multiplications that are highly optimized in modern deep learning frameworks. More importantly, the proposed architectures achieve excellent performance on a wide range of visual tasks including image-level classification as well as dense detection and segmentation. The simplicity and strong performance suggest that our proposed architectures may serve as stronger backbones for many vision tasks. Our Code is available at: https://git.io/Twins.

我们提出了全球环境视觉变压器（GC VIT），这是一种新的结构，可增强参数和计算利用率。我们的方法利用了与本地自我注意的联合的全球自我发项模块，以有效但有效地建模长和短距离的空间相互作用，而无需昂贵的操作，例如计算注意力面罩或移动本地窗户。此外，我们通过建议在我们的体系结构中使用修改后的融合倒置残差块来解决VIT中缺乏归纳偏差的问题。我们提出的GC VIT在图像分类，对象检测和语义分割任务中实现了最新的结果。在用于分类的ImagEnet-1k数据集上，基本，小而微小的GC VIT，$ 28 $ M，$ 51 $ M和$ 90 $ M参数实现$ \ textbf {83.2 \％} $，$ \ textbf {83.9 \％} $和$ \ textbf {84.4 \％} $ top-1的精度，超过了相当大的先前艺术，例如基于CNN的Convnext和基于VIT的Swin Transformer，其优势大大。在对象检测，实例分割和使用MS Coco和ADE20K数据集的下游任务中，预训练的GC VIT主机在对象检测，实例分割和语义分割的任务中始终如一地超过事务，有时是通过大余量。可在https://github.com/nvlabs/gcvit上获得代码。

图像中的场景细分是视觉内容理解中的一个基本而又具有挑战性的问题，即学习一个模型，将每个图像像素分配给分类标签。这项学习任务的挑战之一是考虑空间和语义关系以获得描述性特征表示，因此从多个量表中学习特征图是场景细分中的一种常见实践。在本文中，我们探讨了在多尺度图像窗口中自我发挥的有效使用来学习描述性视觉特征，然后提出三种不同的策略来汇总这些特征图以解码特征表示形式以进行密集的预测。我们的设计基于最近提出的SWIN Transformer模型，该模型完全放弃了卷积操作。借助简单而有效的多尺度功能学习和聚合，我们的模型在四个公共场景细分数据集，Pascal VOC2012，Coco-STUFF 10K，ADE20K和CITYSCAPES上实现了非常有希望的性能。

本文解决了由多头自我注意力（MHSA）中高计算/空间复杂性引起的视觉变压器的低效率缺陷。为此，我们提出了层次MHSA（H-MHSA），其表示以层次方式计算。具体而言，我们首先将输入图像分为通常完成的补丁，每个补丁都被视为令牌。然后，拟议的H-MHSA学习本地贴片中的令牌关系，作为局部关系建模。然后，将小贴片合并为较大的贴片，H-MHSA对少量合并令牌的全局依赖性建模。最后，汇总了本地和全球专注的功能，以获得具有强大表示能力的功能。由于我们仅在每个步骤中计算有限数量的令牌的注意力，因此大大减少了计算负载。因此，H-MHSA可以在不牺牲细粒度信息的情况下有效地模拟令牌之间的全局关系。使用H-MHSA模块合并，我们建立了一个基于层次的变压器网络的家族，即HAT-NET。为了证明在场景理解中HAT-NET的优越性，我们就基本视觉任务进行了广泛的实验，包括图像分类，语义分割，对象检测和实例细分。因此，HAT-NET为视觉变压器提供了新的视角。可以在https://github.com/yun-liu/hat-net上获得代码和预估计的模型。

视觉变压器（VIT）在视觉识别方面达到了最先进的性能，而变体的本地视觉变压器则取得了进一步的改进。本地视觉变压器的主要组成部分，本地注意力，在小型本地窗户上分别表现出注意力。我们将局部关注重新为渠道，以渠道局部连接，并从两个网络正规化的方式分析它，稀疏的连接性和权重共享以及重量计算。稀疏连接：跨通道没有连接，每个位置都连接到一个小型本地窗口中的位置。重量共享：一个位置的连接权重跨通道或每个频道内共享。动态重量：根据每个图像实例，可以动态预测连接权重。我们指出，本地注意力类似于深度卷积及其在稀疏连接中的动态版本。主要区别在于重量共享 - 深度卷积分享连接权重（内核权重）跨空间位置。我们从经验上观察到，基于深度卷积和具有较低计算复杂性的动态变体的模型与Swin Transformer（局部视觉变压器的实例），用于ImagEnet分类，可可对象检测和ADE Sentical，具有较低的计算复杂性的动态变体。分割。这些观察结果表明，本地视觉变压器利用两种正则化形式和动态重量来增加网络容量。代码可在https://github.com/atten4vis/demystifylocalvit上找到。

在过去的十年中，CNN在电脑愿景世界中统治了至高无上，但最近，变压器一直在崛起。然而，自我关注的二次计算成本已成为实践应用中的严重问题。在没有CNN的情况下，在这种情况下已经有很多研究了，并且在这种情况下自我关注。特别地，MLP混合器是使用MLP设计的简单架构，并击中与视觉变压器相当的精度。然而，这种体系结构中唯一的归纳偏见是嵌入令牌。这叶打开了将非卷积（或非本地）电感偏差结合到架构中的可能性，因此我们使用了两个简单的想法，以便利用其捕获全局相关能力的同时将电感偏差纳入MLP混合器。一种方法是将令牌混合块垂直和水平分割。另一种方法是在一些令牌混合通道中进行空间相关性密集。通过这种方法，我们能够提高MLP混合器的准确性，同时降低其参数和计算复杂性。 RAFTMLP-S的小型模型与每个计算的参数和效率方面的基于最先进的全球MLP的模型相当。此外，我们通过利用双向插值来解决基于MLP的模型的固定输入图像分辨率的问题。我们证明这些模型可以应用于诸如物体检测的下游任务的架构的骨干。但是，它没有显着的性能，并提到了对基于全球MLP的模型的下游任务的特定MLP特定架构的需求。 pytorch版本中的源代码可用于\ url {https:/github.com/okojoalg/raft-mlp}。

最近，变形金刚在各种视觉任务中表现出了有希望的表现。变压器设计中的一个挑战性问题是，全球自我注意力非常昂贵，尤其是对于高分辨率视觉任务。局部自我注意力在局部区域内执行注意力计算以提高其效率，从而导致其在单个注意力层中的接受场不够大，从而导致上下文建模不足。在观察场景时，人类通常集中在局部区域，同时在粗粒度下参加非注意区域。基于这一观察结果，我们开发了轴向扩展的窗口自我发注意机制，该机制在局部窗口内执行精细颗粒的自我注意力，并在水平和垂直轴上进行粗粒度的自我注意力，因此可以有效地捕获短 - 远程视觉依赖性。

尽管变形金刚已成功地从其语言建模起源过渡到基于图像的应用程序，但它们的二次计算复杂性仍然是一个挑战，尤其是对于密集的预测。在本文中，我们提出了一种基于内容的稀疏注意方法，以替代密集的自我注意力，旨在降低计算复杂性，同时保留对远程依赖性建模的能力。具体而言，我们聚集，然后汇总键和值代币，作为减少总代币计数的基于内容的方法。由此产生的聚类序列保留了原始信号的语义多样性，但可以以较低的计算成本进行处理。此外，我们进一步将聚类引导的注意力从单尺度扩展到多尺度，这有利于密集的预测任务。我们标记了提出的变压器体系结构固定，并证明它在各种视觉任务上实现了最新的性能，但计算成本较低，参数较少。例如，我们具有2270万参数的cluster小型模型可在Imagenet上实现83.2 \％TOP-1的精度。源代码和Imagenet模型将公开可用。

变压器最近在各种视觉任务上表现出卓越的性能。大型有时甚至全球，接收领域赋予变换器模型，并通过其CNN对应物具有更高的表示功率。然而，简单地扩大接收领域也产生了几个问题。一方面，使用致密的注意，例如，在VIT中，导致过度的记忆和计算成本，并且特征可以受到超出兴趣区域的无关紧要的影响。另一方面，PVT或SWIN变压器采用的稀疏注意是数据不可知论，可能会限制模拟长距离关系的能力。为了缓解这些问题，我们提出了一种新型可变形的自我关注模块，其中以数据相关的方式选择密钥和值对中的密钥和值对的位置。这种灵活的方案使自我关注模块能够专注于相关区域并捕获更多的信息性功能。在此基础上，我们呈现可变形的关注变压器，一般骨干模型，具有可变形关注的图像分类和密集预测任务。广泛的实验表明，我们的模型在综合基准上实现了一致的改善结果。代码可在https://github.com/leaplabthu/dat上获得。

视觉多层感知器（MLP）在计算机视觉任务中表现出了有希望的表现，并成为CNNS和Vision Transformers的主要竞争对手。他们使用令牌混合层来捕获交叉互动，而不是变形金刚使用的多头自我发项机制。然而，严重的参数化令牌混合层自然缺乏捕获局部信息和多粒性非本地关系的机制，因此它们的判别能力受到限制。为了解决这个问题，我们提出了一个新的位置空间门控单元（POSGU）。它利用经典相对位置编码（RPE）中使用的注意力公式，以有效地编码令牌混合的交叉关系。它可以成功地将视觉MLP的当前二次参数复杂度$ O（n^2）$ $ O（n^2）$ o（n）$（n）$和$ o（1）$。我们实验了两种RPE机制，并进一步提出了一个小组扩展，以实现多种环境的成就，以提高其表现力。然后，它们是一种新型视觉MLP的关键构建块，称为POSMLP。我们通过进行彻底的实验来评估所提出的方法的有效性，证明参数复杂性的提高或可比性能得到了改善或可比性。例如，对于在ImagEnet1k上训练的模型，我们实现了从72.14 \％\％\％\％的绩效提高，并且可学习的参数从$ 194M $ $ $ $ $ $ $ $ 1.182亿美元。代码可以在\ href {https://github.com/zhicaiwww/posmlp} {https://github.com/zhicaiwww/posmlp}中找到代码。

多层erceptron（MLP），作为出现的第一个神经网络结构，是一个大的击中。但是由硬件计算能力和数据集的大小限制，它一旦沉没了数十年。在此期间，我们目睹了从手动特征提取到带有局部接收领域的CNN的范式转变，以及基于自我关注机制的全球接收领域的变换。今年（2021年），随着MLP混合器的推出，MLP已重新进入敏捷，并吸引了计算机视觉界的广泛研究。与传统的MLP进行比较，它变得更深，但改变了完全扁平化以补丁平整的输入。鉴于其高性能和较少的需求对视觉特定的感应偏见，但社区无法帮助奇迹，将MLP，最简单的结构与全球接受领域，但没有关注，成为一个新的电脑视觉范式吗？为了回答这个问题，本调查旨在全面概述视觉深层MLP模型的最新发展。具体而言，我们从微妙的子模块设计到全局网络结构，我们审查了这些视觉深度MLP。我们比较了不同网络设计的接收领域，计算复杂性和其他特性，以便清楚地了解MLP的开发路径。调查表明，MLPS的分辨率灵敏度和计算密度仍未得到解决，纯MLP逐渐发展朝向CNN样。我们建议，目前的数据量和计算能力尚未准备好接受纯的MLP，并且人工视觉指导仍然很重要。最后，我们提供了开放的研究方向和可能的未来作品的分析。我们希望这项努力能够点燃社区的进一步兴趣，并鼓励目前为神经网络进行更好的视觉量身定制设计。