卷积神经网络（CNN）是用于计算机视觉的主要的深神经网络（DNN）架构。最近，变压器和多层的Perceptron（MLP）的基础型号，如视觉变压器和MLP-MILER，开始引领新的趋势，因为它们在想象成分类任务中显示出了有希望的结果。在本文中，我们对这些DNN结构进行了实证研究，并试图了解他们各自的利弊。为了确保公平的比较，我们首先开发一个名为SPACH的统一框架，可以采用单独的空间和通道处理模块。我们在SPACH框架下的实验表明，所有结构都可以以适度的规模实现竞争性能。但是，当网络大小缩放时，它们展示了独特的行为。根据我们的调查结果，我们建议使用卷积和变压器模块的混合模型。由此产生的Hybrid-MS-S +模型实现了83.9％的前1个精度，63米参数和12.3g拖薄。它已与具有复杂设计的SOTA模型相提并论。代码和模型在https://github.com/microsoft/spach上公开使用。

视觉变压器的最新进展在基于点产生自我注意的新空间建模机制驱动的各种任务中取得了巨大成功。在本文中，我们表明，视觉变压器背后的关键要素，即输入自适应，远程和高阶空间相互作用，也可以通过基于卷积的框架有效地实现。我们介绍了递归封闭式卷积（$ \ textit {g}^\ textit {n} $ conv），该卷积{n} $ conv）与封闭的卷积和递归设计执行高阶空间交互。新操作是高度灵活和可定制的，它与卷积的各种变体兼容，并将自我注意的两阶相互作用扩展到任意订单，而无需引入大量额外的计算。 $ \ textit {g}^\ textit {n} $ conv可以用作插件模块，以改善各种视觉变压器和基于卷积的模型。根据该操作，我们构建了一个名为Hornet的新型通用视觉骨干家族。关于ImageNet分类，可可对象检测和ADE20K语义分割的广泛实验表明，大黄蜂的表现优于Swin变形金刚，并具有相似的整体体系结构和训练配置的明显边距。大黄蜂还显示出对更多训练数据和更大模型大小的有利可伸缩性。除了在视觉编码器中的有效性外，我们还可以将$ \ textit {g}^\ textit {n} $ conv应用于特定于任务的解码器，并始终通过较少的计算来提高密集的预测性能。我们的结果表明，$ \ textIt {g}^\ textit {n} $ conv可以成为视觉建模的新基本模块，可有效结合视觉变形金刚和CNN的优点。代码可从https://github.com/raoyongming/hornet获得

We present in this paper a new architecture, named Convolutional vision Transformer (CvT), that improves Vision Transformer (ViT) in performance and efficiency by introducing convolutions into ViT to yield the best of both designs. This is accomplished through two primary modifications: a hierarchy of Transformers containing a new convolutional token embedding, and a convolutional Transformer block leveraging a convolutional projection. These changes introduce desirable properties of convolutional neural networks (CNNs) to the ViT architecture (i.e. shift, scale, and distortion invariance) while maintaining the merits of Transformers (i.e. dynamic attention, global context, and better generalization). We validate CvT by conducting extensive experiments, showing that this approach achieves state-of-the-art performance over other Vision Transformers and ResNets on ImageNet-1k, with fewer parameters and lower FLOPs. In addition, performance gains are maintained when pretrained on larger datasets (e.g. ImageNet-22k) and fine-tuned to downstream tasks. Pretrained on ImageNet-22k, our CvT-W24 obtains a top-1 accuracy of 87.7% on the ImageNet-1k val set. Finally, our results show that the positional encoding, a crucial component in existing Vision Transformers, can be safely removed in our model, simplifying the design for higher resolution vision tasks. Code will be released at https: //github.com/leoxiaobin/CvT.

视觉变压器由于能够捕获图像中的长期依赖性的能力而成功地应用于图像识别任务。但是，变压器与现有卷积神经网络（CNN）之间的性能和计算成本仍然存在差距。在本文中，我们旨在解决此问题，并开发一个网络，该网络不仅可以超越规范变压器，而且可以超越高性能卷积模型。我们通过利用变压器来捕获长期依赖性和CNN来建模本地特征，从而提出了一个新的基于变压器的混合网络。此外，我们将其扩展为获得一个称为CMT的模型家族，比以前的基于卷积和基于变压器的模型获得了更好的准确性和效率。特别是，我们的CMT-S在ImageNet上获得了83.5％的TOP-1精度，而在拖鞋上的拖曳率分别比现有的DEIT和EficitiveNet小14倍和2倍。拟议的CMT-S还可以很好地概括CIFAR10（99.2％），CIFAR100（91.7％），花（98.7％）以及其他具有挑战性的视觉数据集，例如可可（44.3％地图），计算成本较小。

多层erceptron（MLP），作为出现的第一个神经网络结构，是一个大的击中。但是由硬件计算能力和数据集的大小限制，它一旦沉没了数十年。在此期间，我们目睹了从手动特征提取到带有局部接收领域的CNN的范式转变，以及基于自我关注机制的全球接收领域的变换。今年（2021年），随着MLP混合器的推出，MLP已重新进入敏捷，并吸引了计算机视觉界的广泛研究。与传统的MLP进行比较，它变得更深，但改变了完全扁平化以补丁平整的输入。鉴于其高性能和较少的需求对视觉特定的感应偏见，但社区无法帮助奇迹，将MLP，最简单的结构与全球接受领域，但没有关注，成为一个新的电脑视觉范式吗？为了回答这个问题，本调查旨在全面概述视觉深层MLP模型的最新发展。具体而言，我们从微妙的子模块设计到全局网络结构，我们审查了这些视觉深度MLP。我们比较了不同网络设计的接收领域，计算复杂性和其他特性，以便清楚地了解MLP的开发路径。调查表明，MLPS的分辨率灵敏度和计算密度仍未得到解决，纯MLP逐渐发展朝向CNN样。我们建议，目前的数据量和计算能力尚未准备好接受纯的MLP，并且人工视觉指导仍然很重要。最后，我们提供了开放的研究方向和可能的未来作品的分析。我们希望这项努力能够点燃社区的进一步兴趣，并鼓励目前为神经网络进行更好的视觉量身定制设计。

由于复杂的注意机制和模型设计，大多数现有的视觉变压器（VIT）无法在现实的工业部署方案中的卷积神经网络（CNN）高效，例如张力和coreml。这提出了一个独特的挑战：可以设计视觉神经网络以与CNN一样快地推断并表现强大吗？最近的作品试图设计CNN-Transformer混合体系结构来解决这个问题，但是这些作品的整体性能远非令人满意。为了结束这些结束，我们提出了下一代视觉变压器，以在现实的工业场景中有效部署，即下一步，从延迟/准确性权衡的角度来看，它在CNN和VIT上占主导地位。在这项工作中，下一个卷积块（NCB）和下一个变压器块（NTB）分别开发出用于使用部署友好机制捕获本地和全球信息。然后，下一个混合策略（NHS）旨在将NCB和NTB堆叠在有效的混合范式中，从而提高了各种下游任务中的性能。广泛的实验表明，在各种视觉任务方面的延迟/准确性权衡方面，下一个VIT明显优于现有的CNN，VIT和CNN转换混合体系结构。在Tensorrt上，在可可检测上，Next-Vit超过5.4 MAP（从40.4到45.8），在类似延迟下，ADE20K细分的8.2％MIOU（从38.8％到47.0％）。同时，它可以与CSWIN达到可比的性能，而推理速度则以3.6倍的速度加速。在COREML上，在类似的延迟下，在COCO检测上，下一步超过了可可检测的4.6 MAP（从42.6到47.2），ADE20K分割的3.5％MIOU（从45.2％到48.7％）。代码将最近发布。

将视觉数据建模为令牌（即图像补丁），并在其顶部应用注意机制或前馈网络已显示近年来非常有效。这种方法中的公共管道包括令牌化方法，其次是一组层/块用于信息混合，包括在令牌和令牌中。在常见的做法中，在转换成令牌时，图像修补程序被扁平化，丢弃每个贴片内的空间结构。接下来，诸如多头自我关注的模块捕获令牌之间的成对关系并混合它们。在本文中，我们认为，当空间结构被保存在令牌化时，模型可能具有显着的增益，并且在混合阶段明确地使用。我们提出了两个关键贡献：（1）结构感知标记化，（2）结构感知混合，两者都可以与现有模型相结合，以最小的努力。我们介绍了一系列模型（SWAT），显示了在包括ImageNet分类和ADE20K分割的多个基准中的Deit，MLP-MILER和SWIN变压器上的改进。我们的代码和型号将在线发布。

视觉变压器（VIT）最近在一系列计算机视觉任务中占据了主导地位，但训练数据效率低下，局部语义表示能力较低，而没有适当的电感偏差。卷积神经网络（CNNS）固有地捕获了区域感知语义，激发了研究人员将CNN引入VIT的架构中，以为VIT提供理想的诱导偏见。但是，嵌入在VIT中的微型CNN实现的位置是否足够好？在本文中，我们通过深入探讨混合CNNS/VIT的宏观结构如何增强层次VIT的性能。特别是，我们研究了令牌嵌入层，别名卷积嵌入（CE）的作用，并系统地揭示了CE如何在VIT中注入理想的感应偏置。此外，我们将最佳CE配置应用于最近发布的4个最先进的Vits，从而有效地增强了相应的性能。最后，释放了一个有效的混合CNN/VIT家族，称为CETNET，可以用作通用的视觉骨架。具体而言，CETNET在Imagenet-1K上获得了84.9％的TOP-1准确性（从头开始训练），可可基准上的48.6％的盒子地图和ADE20K上的51.6％MIOU，从而显着提高了相应的最新态度的性能。艺术基线。

视觉识别的“咆哮20S”开始引入视觉变压器（VITS），这将被取代的Cummnets作为最先进的图像分类模型。另一方面，vanilla vit，当应用于一般计算机视觉任务等对象检测和语义分割时面临困难。它是重新引入多个ConvNet Priors的等级变压器（例如，Swin变压器），使变压器实际上可作为通用视觉骨干网，并在各种视觉任务上展示了显着性能。然而，这种混合方法的有效性仍然在很大程度上归功于变压器的内在优越性，而不是卷积的固有感应偏差。在这项工作中，我们重新审视设计空间并测试纯粹的Convnet可以实现的限制。我们逐渐“现代化”标准Reset朝着视觉变压器的设计设计，并发现几个有助于沿途绩效差异的关键组件。此探索的结果是一个纯粹的ConvNet型号被称为ConvNext。完全由标准的Convnet模块构建，ConvNexts在准确性和可扩展性方面与变压器竞争，实现了87.8％的ImageNet Top-1精度和表现优于COCO检测和ADE20K分割的Swin变压器，同时保持了标准Convnet的简单性和效率。

在过去的十年中，CNN在电脑愿景世界中统治了至高无上，但最近，变压器一直在崛起。然而，自我关注的二次计算成本已成为实践应用中的严重问题。在没有CNN的情况下，在这种情况下已经有很多研究了，并且在这种情况下自我关注。特别地，MLP混合器是使用MLP设计的简单架构，并击中与视觉变压器相当的精度。然而，这种体系结构中唯一的归纳偏见是嵌入令牌。这叶打开了将非卷积（或非本地）电感偏差结合到架构中的可能性，因此我们使用了两个简单的想法，以便利用其捕获全局相关能力的同时将电感偏差纳入MLP混合器。一种方法是将令牌混合块垂直和水平分割。另一种方法是在一些令牌混合通道中进行空间相关性密集。通过这种方法，我们能够提高MLP混合器的准确性，同时降低其参数和计算复杂性。 RAFTMLP-S的小型模型与每个计算的参数和效率方面的基于最先进的全球MLP的模型相当。此外，我们通过利用双向插值来解决基于MLP的模型的固定输入图像分辨率的问题。我们证明这些模型可以应用于诸如物体检测的下游任务的架构的骨干。但是，它没有显着的性能，并提到了对基于全球MLP的模型的下游任务的特定MLP特定架构的需求。 pytorch版本中的源代码可用于\ url {https:/github.com/okojoalg/raft-mlp}。

Vision Transformers have shown great promise recently for many vision tasks due to the insightful architecture design and attention mechanism. By revisiting the self-attention responses in Transformers, we empirically observe two interesting issues. First, Vision Transformers present a queryirrelevant behavior at deep layers, where the attention maps exhibit nearly consistent contexts in global scope, regardless of the query patch position (also head-irrelevant). Second, the attention maps are intrinsically sparse, few tokens dominate the attention weights; introducing the knowledge from ConvNets would largely smooth the attention and enhance the performance. Motivated by above observations, we generalize self-attention formulation to abstract a queryirrelevant global context directly and further integrate the global context into convolutions. The resulting model, a Fully Convolutional Vision Transformer (i.e., FCViT), purely consists of convolutional layers and firmly inherits the merits of both attention mechanism and convolutions, including dynamic property, weight sharing, and short- and long-range feature modeling, etc. Experimental results demonstrate the effectiveness of FCViT. With less than 14M parameters, our FCViT-S12 outperforms related work ResT-Lite by 3.7% top1 accuracy on ImageNet-1K. When scaling FCViT to larger models, we still perform better than previous state-of-the-art ConvNeXt with even fewer parameters. FCViT-based models also demonstrate promising transferability to downstream tasks, like object detection, instance segmentation, and semantic segmentation. Codes and models are made available at: https://github.com/ma-xu/FCViT.

过去一年目睹了将变压器模块应用于视力问题的快速发展。虽然一些研究人员已经证明，基于变压器的模型享有有利的拟合数据能力，但仍然越来越多的证据，表明这些模型尤其在训练数据受到限制时遭受过度拟合。本文通过执行逐步操作来提供实证研究，逐步运输基于变压器的模型到基于卷积的模型。我们在过渡过程中获得的结果为改善视觉识别提供了有用的消息。基于这些观察，我们提出了一个名为VIRFormer的新架构，该体系结构从“视觉友好的变压器”中缩写。具有相同的计算复杂度，在想象集分类精度方面，VISFormer占据了基于变压器的基于卷积的模型，并且当模型复杂性较低或训练集较小时，优势变得更加重要。代码可在https://github.com/danczs/visformer中找到。

最近，类似于MLP的视觉模型已在主流视觉识别任务上实现了有希望的表演。与视觉变压器和CNN相反，类似MLP的模型的成功表明，令牌和渠道之间的简单信息融合操作可以为深度识别模型带来良好的表示能力。但是，现有的类似于MLP的模型通过静态融合操作融合代币，缺乏对代币内容的适应性。因此，习惯信息融合程序不够有效。为此，本文介绍了一种有效的MLP式网络体系结构，称为Dynamixer，诉诸动态信息融合。至关重要的是，我们提出了一个程序，该过程依赖于该过程，以通过利用混合所有令牌的内容来动态生成混合矩阵。为了减少时间复杂性并提高鲁棒性，采用了降低性降低技术和多段融合机制。我们提出的Dynamixer模型（9700万参数）在没有额外的训练数据的情况下，在Imagenet-1k数据集上实现了84.3 \％TOP-1的精度，对最先进的视觉MLP模型表现出色。当参数数量减少到26m时，它仍然可以达到82.7 \％TOP-1的精度，超过了具有相似容量的现有MLP样模型。该代码可在\ url {https://github.com/ziyuwwang/dynamixer}中获得。

在最近的计算机视觉研究中，Vision Transformer（VIT）的出现迅速彻底改变了各种建筑设计工作：VIT使用自然语言处理中发现的自我注意力实现了最新的图像分类性能，而MLP-Mixer实现了使用简单多层感知器的竞争性能。相比之下，一些研究还表明，精心重新设计的卷积神经网络（CNN）可以实现与VIT相当的先进性能，而无需诉诸这些新想法。在这种背景下，越来越多的感应偏见适合计算机视觉。在这里，我们提出了Sequencer，这是VIT的一种新颖且具有竞争力的体系结构，可为这些问题提供新的看法。与VIT不同，音序器使用LSTM而不是自我发项层模型的远程依赖性。我们还提出了二维版本的音序器模块，其中LSTM分解为垂直和水平LSTM，以增强性能。尽管它很简单，但一些实验表明，Sequencer表现出色：Sequencer2d-L，具有54m参数，​​仅在Imagenet-1K上实现了84.6％的TOP-1精度。不仅如此，我们还表明它具有良好的可传递性和在双分辨率波段上具有强大的分辨率适应性。

我们介绍克斯内变压器，一种高效且有效的变压器的骨干，用于通用视觉任务。变压器设计的具有挑战性的问题是，全球自我关注来计算成本昂贵，而局部自我关注经常限制每个令牌的相互作用。为了解决这个问题，我们开发了以平行的横向和垂直条纹在水平和垂直条纹中计算自我关注的交叉形窗口自我关注机制，通过将输入特征分成相等的条纹而获得的每个条纹宽度。我们提供了条纹宽度效果的数学分析，并改变变压器网络的不同层的条纹宽度，这在限制计算成本时实现了强大的建模能力。我们还介绍了本地增强的位置编码（LEPE），比现有的编码方案更好地处理本地位置信息。 LEPE自然支持任意输入分辨率，因此对下游任务特别有效和友好。 CSWIN变压器并入其具有这些设计和分层结构，展示了普通愿景任务的竞争性能。具体来说，它在ImageNet-1K上实现了85.4 \％Top-1精度，而无需任何额外的培训数据或标签，53.9盒AP和46.4掩模AP，ADE20K语义分割任务上的52.2 Miou，超过以前的状态 - 在类似的拖鞋设置下，艺术品+1.2，+2.0，+1.4和+2.0分别为+1.2，+2.0，+1.4和+2.0。通过在较大的数据集Imagenet-21k上进行前预先预订，我们在Ave20K上实现了87.5％的成像-1K和高分性能，55.7 miou。代码和模型可在https://github.com/microsoft/cswin-transformer中找到。

为了实现不断增长的准确性，通常会开发大型和复杂的神经网络。这样的模型需要高度的计算资源，因此不能在边缘设备上部署。由于它们在几个应用领域的有用性，建立资源有效的通用网络非常感兴趣。在这项工作中，我们努力有效地结合了CNN和变压器模型的优势，并提出了一种新的有效混合体系结构。特别是在EDGENEXT中，我们引入了分裂深度转置注意力（SDTA）编码器，该编码器将输入张量分解为多个通道组，并利用深度旋转以及跨通道维度的自我注意力，以隐含地增加接受场并编码多尺度特征。我们在分类，检测和分割任务上进行的广泛实验揭示了所提出的方法的优点，优于相对较低的计算要求的最先进方法。我们具有130万参数的EDGENEXT模型在Imagenet-1k上达到71.2 \％TOP-1的精度，超过移动设备的绝对增益为2.2 \％，而拖鞋减少了28 \％。此外，我们具有560万参数的EDGENEXT模型在Imagenet-1k上达到了79.4 \％TOP-1的精度。代码和模型可在https://t.ly/_vu9上公开获得。

This paper presents a new vision Transformer, called Swin Transformer, that capably serves as a general-purpose backbone for computer vision. Challenges in adapting Transformer from language to vision arise from differences between the two domains, such as large variations in the scale of visual entities and the high resolution of pixels in images compared to words in text. To address these differences, we propose a hierarchical Transformer whose representation is computed with Shifted windows. The shifted windowing scheme brings greater efficiency by limiting self-attention computation to non-overlapping local windows while also allowing for cross-window connection. This hierarchical architecture has the flexibility to model at various scales and has linear computational complexity with respect to image size. These qualities of Swin Transformer make it compatible with a broad range of vision tasks, including image classification (87.3 top-1 accuracy on ImageNet-1K) and dense prediction tasks such as object detection (58.7 box AP and 51.1 mask AP on COCO testdev) and semantic segmentation (53.5 mIoU on ADE20K val). Its performance surpasses the previous state-of-theart by a large margin of +2.7 box AP and +2.6 mask AP on COCO, and +3.2 mIoU on ADE20K, demonstrating the potential of Transformer-based models as vision backbones. The hierarchical design and the shifted window approach also prove beneficial for all-MLP architectures. The code and models are publicly available at https://github. com/microsoft/Swin-Transformer.

我们提出了全球环境视觉变压器（GC VIT），这是一种新的结构，可增强参数和计算利用率。我们的方法利用了与本地自我注意的联合的全球自我发项模块，以有效但有效地建模长和短距离的空间相互作用，而无需昂贵的操作，例如计算注意力面罩或移动本地窗户。此外，我们通过建议在我们的体系结构中使用修改后的融合倒置残差块来解决VIT中缺乏归纳偏差的问题。我们提出的GC VIT在图像分类，对象检测和语义分割任务中实现了最新的结果。在用于分类的ImagEnet-1k数据集上，基本，小而微小的GC VIT，$ 28 $ M，$ 51 $ M和$ 90 $ M参数实现$ \ textbf {83.2 \％} $，$ \ textbf {83.9 \％} $和$ \ textbf {84.4 \％} $ top-1的精度，超过了相当大的先前艺术，例如基于CNN的Convnext和基于VIT的Swin Transformer，其优势大大。在对象检测，实例分割和使用MS Coco和ADE20K数据集的下游任务中，预训练的GC VIT主机在对象检测，实例分割和语义分割的任务中始终如一地超过事务，有时是通过大余量。可在https://github.com/nvlabs/gcvit上获得代码。

We design a family of image classification architectures that optimize the trade-off between accuracy and efficiency in a high-speed regime. Our work exploits recent findings in attention-based architectures, which are competitive on highly parallel processing hardware. We revisit principles from the extensive literature on convolutional neural networks to apply them to transformers, in particular activation maps with decreasing resolutions. We also introduce the attention bias, a new way to integrate positional information in vision transformers.As a result, we propose LeVIT: a hybrid neural network for fast inference image classification. We consider different measures of efficiency on different hardware platforms, so as to best reflect a wide range of application scenarios. Our extensive experiments empirically validate our technical choices and show they are suitable to most architectures. Overall, LeViT significantly outperforms existing convnets and vision transformers with respect to the speed/accuracy tradeoff. For example, at 80% ImageNet top-1 accuracy, LeViT is 5 times faster than EfficientNet on CPU. We release the code at https: //github.com/facebookresearch/LeViT.

Since the recent success of Vision Transformers (ViTs), explorations toward transformer-style architectures have triggered the resurgence of modern ConvNets. In this work, we explore the representation ability of DNNs through the lens of interaction complexities. We empirically show that interaction complexity is an overlooked but essential indicator for visual recognition. Accordingly, a new family of efficient ConvNets, named MogaNet, is presented to pursue informative context mining in pure ConvNet-based models, with preferable complexity-performance trade-offs. In MogaNet, interactions across multiple complexities are facilitated and contextualized by leveraging two specially designed aggregation blocks in both spatial and channel interaction spaces. Extensive studies are conducted on ImageNet classification, COCO object detection, and ADE20K semantic segmentation tasks. The results demonstrate that our MogaNet establishes new state-of-the-art over other popular methods in mainstream scenarios and all model scales. Typically, the lightweight MogaNet-T achieves 80.0\% top-1 accuracy with only 1.44G FLOPs using a refined training setup on ImageNet-1K, surpassing ParC-Net-S by 1.4\% accuracy but saving 59\% (2.04G) FLOPs.