视觉变压器在计算机视觉任务中表现出色。但是，其（本地）自我注意机制的计算成本很昂贵。相比之下，CNN具有内置的电感偏置效率更高。最近的作品表明，CNN有望通过学习建筑设计和培训协议来与视觉变形金刚竞争。然而，现有方法要么忽略多层次特征，要么缺乏动态繁荣，从而导致次优性能。在本文中，我们提出了一种名为MCA的新型注意力机制，该机制通过多个内核大小捕获了输入图像的不同模式，并启用具有门控机制的输入自适应权重。根据MCA，我们提出了一个名为Convformer的神经网络。争辩者采用了视觉变压器的一般体系结构，同时用我们提出的MCA代替了（本地）自我注意的机制。广泛的实验结果表明，在各种任务中，应变器优于相似的大小视觉变压器（VIT）和卷积神经网络（CNN）。例如，在ImageNet数据集上，交货式S，Convformer-l实现82.8％的最新性能，top-1的精度为83.6％。此外，在ADE20K上，Convformer-S优于1.5 miOU的Swin-T，在Coco上具有较小型号的Coco上的0.9边界盒AP。代码和型号将可用。

视觉变压器的最新进展在基于点产生自我注意的新空间建模机制驱动的各种任务中取得了巨大成功。在本文中，我们表明，视觉变压器背后的关键要素，即输入自适应，远程和高阶空间相互作用，也可以通过基于卷积的框架有效地实现。我们介绍了递归封闭式卷积（$ \ textit {g}^\ textit {n} $ conv），该卷积{n} $ conv）与封闭的卷积和递归设计执行高阶空间交互。新操作是高度灵活和可定制的，它与卷积的各种变体兼容，并将自我注意的两阶相互作用扩展到任意订单，而无需引入大量额外的计算。 $ \ textit {g}^\ textit {n} $ conv可以用作插件模块，以改善各种视觉变压器和基于卷积的模型。根据该操作，我们构建了一个名为Hornet的新型通用视觉骨干家族。关于ImageNet分类，可可对象检测和ADE20K语义分割的广泛实验表明，大黄蜂的表现优于Swin变形金刚，并具有相似的整体体系结构和训练配置的明显边距。大黄蜂还显示出对更多训练数据和更大模型大小的有利可伸缩性。除了在视觉编码器中的有效性外，我们还可以将$ \ textit {g}^\ textit {n} $ conv应用于特定于任务的解码器，并始终通过较少的计算来提高密集的预测性能。我们的结果表明，$ \ textIt {g}^\ textit {n} $ conv可以成为视觉建模的新基本模块，可有效结合视觉变形金刚和CNN的优点。代码可从https://github.com/raoyongming/hornet获得

虽然最初是为自然语言处理任务而设计的，但自我发挥的机制最近逐渐席卷了各种计算机视觉领域。但是，图像的2D性质带来了在计算机视觉中应用自我注意力的三个挑战。 （1）将图像作为1D序列忽略了其2D结构。 （2）对于高分辨率图像而言，二次复杂性太贵了。 （3）它仅捕获空间适应性，但忽略了通道适应性。在本文中，我们提出了一种新颖的线性注意力，名为“大核心注意”（LKA），以使自适应和远程相关性在自我注意力中避免其缺点。此外，我们提出了基于LKA的神经网络，即视觉注意力网络（VAN）。虽然非常简单，但范超过了相似的大小视觉变压器（VIT）和各种任务中的卷积神经网络（CNN），包括图像分类，对象检测，语义细分，泛型分割，姿势估计等。 ImageNet基准测试的精度为％，并为全景分割设置新的最先进性能（58.2 PQ）。此外，Van-B2超过Sw​​in-T 4％MIOU（50.1 vs. 46.1），用于ADE20K基准上的语义分割，2.6％AP（48.8 vs. 46.2）在COCO数据集上进行对象检测。它为社区提供了一种新颖的方法和简单而强大的基线。代码可从https://github.com/visual-crestention-network获得。

由于复杂的注意机制和模型设计，大多数现有的视觉变压器（VIT）无法在现实的工业部署方案中的卷积神经网络（CNN）高效，例如张力和coreml。这提出了一个独特的挑战：可以设计视觉神经网络以与CNN一样快地推断并表现强大吗？最近的作品试图设计CNN-Transformer混合体系结构来解决这个问题，但是这些作品的整体性能远非令人满意。为了结束这些结束，我们提出了下一代视觉变压器，以在现实的工业场景中有效部署，即下一步，从延迟/准确性权衡的角度来看，它在CNN和VIT上占主导地位。在这项工作中，下一个卷积块（NCB）和下一个变压器块（NTB）分别开发出用于使用部署友好机制捕获本地和全球信息。然后，下一个混合策略（NHS）旨在将NCB和NTB堆叠在有效的混合范式中，从而提高了各种下游任务中的性能。广泛的实验表明，在各种视觉任务方面的延迟/准确性权衡方面，下一个VIT明显优于现有的CNN，VIT和CNN转换混合体系结构。在Tensorrt上，在可可检测上，Next-Vit超过5.4 MAP（从40.4到45.8），在类似延迟下，ADE20K细分的8.2％MIOU（从38.8％到47.0％）。同时，它可以与CSWIN达到可比的性能，而推理速度则以3.6倍的速度加速。在COREML上，在类似的延迟下，在COCO检测上，下一步超过了可可检测的4.6 MAP（从42.6到47.2），ADE20K分割的3.5％MIOU（从45.2％到48.7％）。代码将最近发布。

近期视觉变压器〜（VIT）模型在各种计算机视觉任务中展示了令人鼓舞的结果，因为他们的竞争力通过自我关注建模图像补丁或令牌的长距离依赖性。然而，这些模型通常指定每层中每个令牌特征的类似场景。这种约束不可避免地限制了每个自我注意层在捕获多尺度特征中的能力，从而导致处理具有不同尺度的多个对象的图像的性能下降。为了解决这个问题，我们提出了一种新颖和通用的策略，称为分流的自我关注〜（SSA），它允许VITS为每个关注层的混合秤的关注进行模拟。 SSA的关键概念是将异构接收领域的尺寸注入令牌：在计算自我注意矩阵之前，它选择性地合并令牌以表示较大的对象特征，同时保持某些令牌以保持细粒度的特征。这种新颖的合并方案能够自我注意，以了解具有不同大小的对象之间的关系，并同时降低令牌数字和计算成本。各种任务的广泛实验表明了SSA的优越性。具体而言，基于SSA的变压器实现了84.0 \％的前1个精度，并且在ImageNet上占据了最先进的焦距变压器，只有一半的模型尺寸和计算成本，并且在Coco上超过了焦点变压器1.3映射2.9 MIOU在ADE20K上类似参数和计算成本。代码已在https://github.com/oliverrensu/shunted-transformer发布。

Since the recent success of Vision Transformers (ViTs), explorations toward transformer-style architectures have triggered the resurgence of modern ConvNets. In this work, we explore the representation ability of DNNs through the lens of interaction complexities. We empirically show that interaction complexity is an overlooked but essential indicator for visual recognition. Accordingly, a new family of efficient ConvNets, named MogaNet, is presented to pursue informative context mining in pure ConvNet-based models, with preferable complexity-performance trade-offs. In MogaNet, interactions across multiple complexities are facilitated and contextualized by leveraging two specially designed aggregation blocks in both spatial and channel interaction spaces. Extensive studies are conducted on ImageNet classification, COCO object detection, and ADE20K semantic segmentation tasks. The results demonstrate that our MogaNet establishes new state-of-the-art over other popular methods in mainstream scenarios and all model scales. Typically, the lightweight MogaNet-T achieves 80.0\% top-1 accuracy with only 1.44G FLOPs using a refined training setup on ImageNet-1K, surpassing ParC-Net-S by 1.4\% accuracy but saving 59\% (2.04G) FLOPs.

我们从实际应用的角度重新审视了现有的出色变压器。他们中的大多数甚至不如基本的重新连接系列效率那么高，并且偏离了现实的部署方案。这可能是由于当前的标准测量计算效率，例如FLOPS或参数是单方面的，次优的和对硬件的不敏感的。因此，本文直接将特定硬件的紧张延迟视为效率指标，该指标提供了涉及计算能力，内存成本和带宽的更全面的反馈。基于一系列受控实验，这项工作为面向浓度和部署的网络设计提供了四个实用指南，例如，在阶段级别，早期的变压器和晚期CNN，在Block Level的早期CNN和Late Transformer。因此，提出了一个面向Tensortrt的变压器家族，缩写为TRT-VIT。广泛的实验表明，在不同的视觉任务（例如，图像分类，对象检测和语义细分）方面，TRT-VIT显着优于现有的Convnet和视觉变压器。例如，在82.7％的Imagenet-1k Top-1精度下，TRT-VIT比CSWIN快2.7 $ \ times $，比双胞胎快2.0 $ \ times $。在MS-COCO对象检测任务上，TRT-VIT与双胞胎达到可比的性能，而推理速度则增加了2.8 $ \ times $。

香草自我注意的机制固有地依赖于预定和坚定的计算维度。这种僵化的性限制了它具有面向上下文的概括，可以带来更多的上下文提示和全球表示。为了减轻此问题，我们提出了一种可扩展的自我注意（SSA）机制，该机制利用两个缩放因素来释放查询，键和价值矩阵的维度，同时使它们不符合输入。这种可伸缩性可获得面向上下文的概括并增强对象灵敏度，从而将整个网络推向准确性和成本之间的更有效的权衡状态。此外，我们提出了一个基于窗口的自我注意事项（IWSA），该自我注意力（IWSA）通过重新合并独立的值代币并从相邻窗口中汇总空间信息来建立非重叠区域之间的相互作用。通过交替堆叠SSA和IWSA，可扩展的视觉变压器（可伸缩率）在通用视觉任务中实现最先进的性能。例如，在Imagenet-1K分类中，可伸缩率S的表现优于双胞胎-SVT-S，而Swin-T则比1.4％。

视觉识别的“咆哮20S”开始引入视觉变压器（VITS），这将被取代的Cummnets作为最先进的图像分类模型。另一方面，vanilla vit，当应用于一般计算机视觉任务等对象检测和语义分割时面临困难。它是重新引入多个ConvNet Priors的等级变压器（例如，Swin变压器），使变压器实际上可作为通用视觉骨干网，并在各种视觉任务上展示了显着性能。然而，这种混合方法的有效性仍然在很大程度上归功于变压器的内在优越性，而不是卷积的固有感应偏差。在这项工作中，我们重新审视设计空间并测试纯粹的Convnet可以实现的限制。我们逐渐“现代化”标准Reset朝着视觉变压器的设计设计，并发现几个有助于沿途绩效差异的关键组件。此探索的结果是一个纯粹的ConvNet型号被称为ConvNext。完全由标准的Convnet模块构建，ConvNexts在准确性和可扩展性方面与变压器竞争，实现了87.8％的ImageNet Top-1精度和表现优于COCO检测和ADE20K分割的Swin变压器，同时保持了标准Convnet的简单性和效率。

我们介绍克斯内变压器，一种高效且有效的变压器的骨干，用于通用视觉任务。变压器设计的具有挑战性的问题是，全球自我关注来计算成本昂贵，而局部自我关注经常限制每个令牌的相互作用。为了解决这个问题，我们开发了以平行的横向和垂直条纹在水平和垂直条纹中计算自我关注的交叉形窗口自我关注机制，通过将输入特征分成相等的条纹而获得的每个条纹宽度。我们提供了条纹宽度效果的数学分析，并改变变压器网络的不同层的条纹宽度，这在限制计算成本时实现了强大的建模能力。我们还介绍了本地增强的位置编码（LEPE），比现有的编码方案更好地处理本地位置信息。 LEPE自然支持任意输入分辨率，因此对下游任务特别有效和友好。 CSWIN变压器并入其具有这些设计和分层结构，展示了普通愿景任务的竞争性能。具体来说，它在ImageNet-1K上实现了85.4 \％Top-1精度，而无需任何额外的培训数据或标签，53.9盒AP和46.4掩模AP，ADE20K语义分割任务上的52.2 Miou，超过以前的状态 - 在类似的拖鞋设置下，艺术品+1.2，+2.0，+1.4和+2.0分别为+1.2，+2.0，+1.4和+2.0。通过在较大的数据集Imagenet-21k上进行前预先预订，我们在Ave20K上实现了87.5％的成像-1K和高分性能，55.7 miou。代码和模型可在https://github.com/microsoft/cswin-transformer中找到。

视觉表示学习是解决各种视力问题的关键。依靠开创性的网格结构先验，卷积神经网络（CNN）已成为大多数深视觉模型的事实上的标准架构。例如，经典的语义分割方法通常采用带有编码器编码器体系结构的完全横向卷积网络（FCN）。编码器逐渐减少了空间分辨率，并通过更大的接受场来学习更多抽象的视觉概念。由于上下文建模对于分割至关重要，因此最新的努力一直集中在通过扩张（即极度）卷积或插入注意力模块来增加接受场。但是，基于FCN的体系结构保持不变。在本文中，我们旨在通过将视觉表示学习作为序列到序列预测任务来提供替代观点。具体而言，我们部署纯变压器以将图像编码为一系列贴片，而无需局部卷积和分辨率减少。通过在变压器的每一层中建立的全球环境，可以学习更强大的视觉表示形式，以更好地解决视力任务。特别是，我们的细分模型（称为分割变压器（SETR））在ADE20K上擅长（50.28％MIOU，这是提交当天测试排行榜中的第一个位置），Pascal环境（55.83％MIOU），并在CityScapes上达到竞争成果。此外，我们制定了一个分层局部全球（HLG）变压器的家族，其特征是窗户内的本地关注和跨窗户的全球性专注于层次结构和金字塔架构。广泛的实验表明，我们的方法在各种视觉识别任务（例如，图像分类，对象检测和实例分割和语义分割）上实现了吸引力的性能。

本文解决了由多头自我注意力（MHSA）中高计算/空间复杂性引起的视觉变压器的低效率缺陷。为此，我们提出了层次MHSA（H-MHSA），其表示以层次方式计算。具体而言，我们首先将输入图像分为通常完成的补丁，每个补丁都被视为令牌。然后，拟议的H-MHSA学习本地贴片中的令牌关系，作为局部关系建模。然后，将小贴片合并为较大的贴片，H-MHSA对少量合并令牌的全局依赖性建模。最后，汇总了本地和全球专注的功能，以获得具有强大表示能力的功能。由于我们仅在每个步骤中计算有限数量的令牌的注意力，因此大大减少了计算负载。因此，H-MHSA可以在不牺牲细粒度信息的情况下有效地模拟令牌之间的全局关系。使用H-MHSA模块合并，我们建立了一个基于层次的变压器网络的家族，即HAT-NET。为了证明在场景理解中HAT-NET的优越性，我们就基本视觉任务进行了广泛的实验，包括图像分类，语义分割，对象检测和实例细分。因此，HAT-NET为视觉变压器提供了新的视角。可以在https://github.com/yun-liu/hat-net上获得代码和预估计的模型。

视觉变形金刚（VITS）引起了对计算机视觉任务的卓越性能的关注。为解决单级低分辨率表示的限制，先前的工作适用于具有分层体系结构的高分辨率密集预测任务，以生成金字塔功能。然而，考虑到其分类的顺序拓扑，仍然对VITS探索多种表达学习。在这项工作中提高具有更多能力的VITS来学习语义和空间精确的多尺度表示，我们展示了高分辨率多分支架构的高分辨率多分支架构，带有视觉变压器，称为HRVIT，推动静脉前沿预测任务到新级别。我们探索异构分支设计，降低线性层中的冗余，并增加模型非线性以平衡模型性能和硬件效率。拟议的HRVIT在ADE20K上达到50.20％的Miou，83.16％Miou，用于语义细分任务，超过最先进的麻省理工学院和克斯犬，平均+1.78 miou改善，参数减少28％和21％拖鞋，展示HRVIT作为强大视力骨架的潜力。

视觉变压器（VIT）最近在一系列计算机视觉任务中占据了主导地位，但训练数据效率低下，局部语义表示能力较低，而没有适当的电感偏差。卷积神经网络（CNNS）固有地捕获了区域感知语义，激发了研究人员将CNN引入VIT的架构中，以为VIT提供理想的诱导偏见。但是，嵌入在VIT中的微型CNN实现的位置是否足够好？在本文中，我们通过深入探讨混合CNNS/VIT的宏观结构如何增强层次VIT的性能。特别是，我们研究了令牌嵌入层，别名卷积嵌入（CE）的作用，并系统地揭示了CE如何在VIT中注入理想的感应偏置。此外，我们将最佳CE配置应用于最近发布的4个最先进的Vits，从而有效地增强了相应的性能。最后，释放了一个有效的混合CNN/VIT家族，称为CETNET，可以用作通用的视觉骨架。具体而言，CETNET在Imagenet-1K上获得了84.9％的TOP-1准确性（从头开始训练），可可基准上的48.6％的盒子地图和ADE20K上的51.6％MIOU，从而显着提高了相应的最新态度的性能。艺术基线。

Vision Transformers have shown great promise recently for many vision tasks due to the insightful architecture design and attention mechanism. By revisiting the self-attention responses in Transformers, we empirically observe two interesting issues. First, Vision Transformers present a queryirrelevant behavior at deep layers, where the attention maps exhibit nearly consistent contexts in global scope, regardless of the query patch position (also head-irrelevant). Second, the attention maps are intrinsically sparse, few tokens dominate the attention weights; introducing the knowledge from ConvNets would largely smooth the attention and enhance the performance. Motivated by above observations, we generalize self-attention formulation to abstract a queryirrelevant global context directly and further integrate the global context into convolutions. The resulting model, a Fully Convolutional Vision Transformer (i.e., FCViT), purely consists of convolutional layers and firmly inherits the merits of both attention mechanism and convolutions, including dynamic property, weight sharing, and short- and long-range feature modeling, etc. Experimental results demonstrate the effectiveness of FCViT. With less than 14M parameters, our FCViT-S12 outperforms related work ResT-Lite by 3.7% top1 accuracy on ImageNet-1K. When scaling FCViT to larger models, we still perform better than previous state-of-the-art ConvNeXt with even fewer parameters. FCViT-based models also demonstrate promising transferability to downstream tasks, like object detection, instance segmentation, and semantic segmentation. Codes and models are made available at: https://github.com/ma-xu/FCViT.

本文介绍了一个简单的MLP架构，CycleMLP，这是一种多功能骨干，用于视觉识别和密集的预测。与现代MLP架构相比，例如MLP混合器，RESMLP和GMLP，其架构与图像尺寸相关，因此在物体检测和分割中不可行，与现代方法相比具有两个优点。 （1）它可以应对各种图像尺寸。 （2）通过使用本地窗口，它可以实现对图像大小的线性计算复杂性。相比之下，由于完全空间连接，以前的MLP具有$ O（n ^ 2）$计算。我们构建一系列模型，超越现有的MLP，甚至最先进的基于变压器的模型，例如，使用较少的参数和拖鞋。我们扩展了类似MLP的模型的适用性，使它们成为密集预测任务的多功能骨干。 CycleMLP在对象检测，实例分割和语义细分上实现了竞争结果。特别是，Cyclemlp-tiny优于3.3％Miou在Ade20K数据集中的速度较少，具有较少的拖鞋。此外，CycleMLP还在Imagenet-C数据集上显示出优异的零射鲁布利。代码可以在https://github.com/shoufachen/cyclemlp获得。

我们提出Segnext，这是一种简单的卷积网络体系结构，用于语义分割。由于自我注意力在编码空间信息中的效率，基于变压器的最新模型已主导语义分割领域。在本文中，我们表明卷积注意是一种比变形金刚中的自我注意机制更有效的编码上下文信息的方法。通过重新检查成功分割模型所拥有的特征，我们发现了几个关键组件，从而导致分割模型的性能提高。这促使我们设计了一个新型的卷积注意网络，该网络使用廉价的卷积操作。没有铃铛和哨子，我们的Segnext显着提高了先前最先进的方法对流行基准测试的性能，包括ADE20K，CityScapes，Coco-stuff，Pascal VOC，Pascal Context和ISAID。值得注意的是，segnext优于w/ nas-fpn的效率超过lavenet-l2，在帕斯卡VOC 2012测试排行榜上仅使用1/10参数，在Pascal VOC 2012测试排行榜上达到90.6％。平均而言，与具有相同或更少计算的ADE20K数据集上的最新方法相比，Segnext的改进约为2.0％。代码可在https://github.com/uyzhang/jseg（jittor）和https://github.com/visual-cratch-network/segnext（pytorch）获得。

尽管视觉变压器模型的令人印象深刻的表示能力，但目前的轻型视觉变压器模型仍然遭受当地地区的不一致和不正确的预测。我们怀疑他们的自我关注机制的力量在较浅和较薄的网络中受到限制。我们提出Lite Vision变压器（LVT），一种新型轻型变压器网络，具有两个增强的自我关注机制，可以改善移动部署的模型性能。对于低级功能，我们介绍了卷积自我关注（CSA）。与以前的合并卷积和自我关注的方法不同，CSA将局部自我关注引入到大小3x3内核内的卷积中，以丰富LVT第一阶段的低级功能。对于高级功能，我们提出了在计算相似性图和递归机制时利用多尺度上下文的递归的自我关注，以增加具有边际额外参数成本的表示能力。 Imagenet识别，ADE20K语义分割和CoCo Panoptic分割对LVT的优越性。代码公开可用。

视觉变压器由于能够捕获图像中的长期依赖性的能力而成功地应用于图像识别任务。但是，变压器与现有卷积神经网络（CNN）之间的性能和计算成本仍然存在差距。在本文中，我们旨在解决此问题，并开发一个网络，该网络不仅可以超越规范变压器，而且可以超越高性能卷积模型。我们通过利用变压器来捕获长期依赖性和CNN来建模本地特征，从而提出了一个新的基于变压器的混合网络。此外，我们将其扩展为获得一个称为CMT的模型家族，比以前的基于卷积和基于变压器的模型获得了更好的准确性和效率。特别是，我们的CMT-S在ImageNet上获得了83.5％的TOP-1精度，而在拖鞋上的拖曳率分别比现有的DEIT和EficitiveNet小14倍和2倍。拟议的CMT-S还可以很好地概括CIFAR10（99.2％），CIFAR100（91.7％），花（98.7％）以及其他具有挑战性的视觉数据集，例如可可（44.3％地图），计算成本较小。

Semantic segmentation usually benefits from global contexts, fine localisation information, multi-scale features, etc. To advance Transformer-based segmenters with these aspects, we present a simple yet powerful semantic segmentation architecture, termed as IncepFormer. IncepFormer has two critical contributions as following. First, it introduces a novel pyramid structured Transformer encoder which harvests global context and fine localisation features simultaneously. These features are concatenated and fed into a convolution layer for final per-pixel prediction. Second, IncepFormer integrates an Inception-like architecture with depth-wise convolutions, and a light-weight feed-forward module in each self-attention layer, efficiently obtaining rich local multi-scale object features. Extensive experiments on five benchmarks show that our IncepFormer is superior to state-of-the-art methods in both accuracy and speed, e.g., 1) our IncepFormer-S achieves 47.7% mIoU on ADE20K which outperforms the existing best method by 1% while only costs half parameters and fewer FLOPs. 2) Our IncepFormer-B finally achieves 82.0% mIoU on Cityscapes dataset with 39.6M parameters. Code is available:github.com/shendu0321/IncepFormer.