我们提出Segnext，这是一种简单的卷积网络体系结构，用于语义分割。由于自我注意力在编码空间信息中的效率，基于变压器的最新模型已主导语义分割领域。在本文中，我们表明卷积注意是一种比变形金刚中的自我注意机制更有效的编码上下文信息的方法。通过重新检查成功分割模型所拥有的特征，我们发现了几个关键组件，从而导致分割模型的性能提高。这促使我们设计了一个新型的卷积注意网络，该网络使用廉价的卷积操作。没有铃铛和哨子，我们的Segnext显着提高了先前最先进的方法对流行基准测试的性能，包括ADE20K，CityScapes，Coco-stuff，Pascal VOC，Pascal Context和ISAID。值得注意的是，segnext优于w/ nas-fpn的效率超过lavenet-l2，在帕斯卡VOC 2012测试排行榜上仅使用1/10参数，在Pascal VOC 2012测试排行榜上达到90.6％。平均而言，与具有相同或更少计算的ADE20K数据集上的最新方法相比，Segnext的改进约为2.0％。代码可在https://github.com/uyzhang/jseg（jittor）和https://github.com/visual-cratch-network/segnext（pytorch）获得。

Semantic segmentation usually benefits from global contexts, fine localisation information, multi-scale features, etc. To advance Transformer-based segmenters with these aspects, we present a simple yet powerful semantic segmentation architecture, termed as IncepFormer. IncepFormer has two critical contributions as following. First, it introduces a novel pyramid structured Transformer encoder which harvests global context and fine localisation features simultaneously. These features are concatenated and fed into a convolution layer for final per-pixel prediction. Second, IncepFormer integrates an Inception-like architecture with depth-wise convolutions, and a light-weight feed-forward module in each self-attention layer, efficiently obtaining rich local multi-scale object features. Extensive experiments on five benchmarks show that our IncepFormer is superior to state-of-the-art methods in both accuracy and speed, e.g., 1) our IncepFormer-S achieves 47.7% mIoU on ADE20K which outperforms the existing best method by 1% while only costs half parameters and fewer FLOPs. 2) Our IncepFormer-B finally achieves 82.0% mIoU on Cityscapes dataset with 39.6M parameters. Code is available:github.com/shendu0321/IncepFormer.

虽然最初是为自然语言处理任务而设计的，但自我发挥的机制最近逐渐席卷了各种计算机视觉领域。但是，图像的2D性质带来了在计算机视觉中应用自我注意力的三个挑战。 （1）将图像作为1D序列忽略了其2D结构。 （2）对于高分辨率图像而言，二次复杂性太贵了。 （3）它仅捕获空间适应性，但忽略了通道适应性。在本文中，我们提出了一种新颖的线性注意力，名为“大核心注意”（LKA），以使自适应和远程相关性在自我注意力中避免其缺点。此外，我们提出了基于LKA的神经网络，即视觉注意力网络（VAN）。虽然非常简单，但范超过了相似的大小视觉变压器（VIT）和各种任务中的卷积神经网络（CNN），包括图像分类，对象检测，语义细分，泛型分割，姿势估计等。 ImageNet基准测试的精度为％，并为全景分割设置新的最先进性能（58.2 PQ）。此外，Van-B2超过Sw​​in-T 4％MIOU（50.1 vs. 46.1），用于ADE20K基准上的语义分割，2.6％AP（48.8 vs. 46.2）在COCO数据集上进行对象检测。它为社区提供了一种新颖的方法和简单而强大的基线。代码可从https://github.com/visual-crestention-network获得。

视觉表示学习是解决各种视力问题的关键。依靠开创性的网格结构先验，卷积神经网络（CNN）已成为大多数深视觉模型的事实上的标准架构。例如，经典的语义分割方法通常采用带有编码器编码器体系结构的完全横向卷积网络（FCN）。编码器逐渐减少了空间分辨率，并通过更大的接受场来学习更多抽象的视觉概念。由于上下文建模对于分割至关重要，因此最新的努力一直集中在通过扩张（即极度）卷积或插入注意力模块来增加接受场。但是，基于FCN的体系结构保持不变。在本文中，我们旨在通过将视觉表示学习作为序列到序列预测任务来提供替代观点。具体而言，我们部署纯变压器以将图像编码为一系列贴片，而无需局部卷积和分辨率减少。通过在变压器的每一层中建立的全球环境，可以学习更强大的视觉表示形式，以更好地解决视力任务。特别是，我们的细分模型（称为分割变压器（SETR））在ADE20K上擅长（50.28％MIOU，这是提交当天测试排行榜中的第一个位置），Pascal环境（55.83％MIOU），并在CityScapes上达到竞争成果。此外，我们制定了一个分层局部全球（HLG）变压器的家族，其特征是窗户内的本地关注和跨窗户的全球性专注于层次结构和金字塔架构。广泛的实验表明，我们的方法在各种视觉识别任务（例如，图像分类，对象检测和实例分割和语义分割）上实现了吸引力的性能。

由于长距离依赖性建模的能力，变压器在各种自然语言处理和计算机视觉任务中表现出令人印象深刻的性能。最近的进展证明，将这种变压器与基于CNN的语义图像分割模型相结合非常有前途。然而，目前还没有很好地研究了纯变压器的方法如何实现图像分割。在这项工作中，我们探索了语义图像分割的新框架，它是基于编码器 - 解码器的完全变压器网络（FTN）。具体地，我们首先提出金字塔组变压器（PGT）作为逐步学习分层特征的编码器，同时降低标准视觉变压器（VIT）的计算复杂性。然后，我们将特征金字塔变换器（FPT）提出了来自PGT编码器的多电平进行语义图像分割的多级别的语义级别和空间级信息。令人惊讶的是，这种简单的基线可以在多个具有挑战性的语义细分和面部解析基准上实现更好的结果，包括帕斯卡背景，ADE20K，Cocostuff和Celebamask-HQ。源代码将在https://github.com/br -dl/paddlevit上发布。

We present SegFormer, a simple, efficient yet powerful semantic segmentation framework which unifies Transformers with lightweight multilayer perceptron (MLP) decoders. SegFormer has two appealing features: 1) SegFormer comprises a novel hierarchically structured Transformer encoder which outputs multiscale features. It does not need positional encoding, thereby avoiding the interpolation of positional codes which leads to decreased performance when the testing resolution differs from training. 2) SegFormer avoids complex decoders. The proposed MLP decoder aggregates information from different layers, and thus combining both local attention and global attention to render powerful representations. We show that this simple and lightweight design is the key to efficient segmentation on Transformers. We scale our approach up to obtain a series of models from SegFormer-B0 to SegFormer-B5, reaching significantly better performance and efficiency than previous counterparts. For example, SegFormer-B4 achieves 50.3% mIoU on ADE20K with 64M parameters, being 5× smaller and 2.2% better than the previous best method. Our best model, SegFormer-B5, achieves 84.0% mIoU on Cityscapes validation set and shows excellent zero-shot robustness on Cityscapes-C. Code will be released at: github.com/NVlabs/SegFormer.Preprint. Under review.

Most recent semantic segmentation methods adopt a fully-convolutional network (FCN) with an encoderdecoder architecture. The encoder progressively reduces the spatial resolution and learns more abstract/semantic visual concepts with larger receptive fields. Since context modeling is critical for segmentation, the latest efforts have been focused on increasing the receptive field, through either dilated/atrous convolutions or inserting attention modules. However, the encoder-decoder based FCN architecture remains unchanged. In this paper, we aim to provide an alternative perspective by treating semantic segmentation as a sequence-to-sequence prediction task. Specifically, we deploy a pure transformer (i.e., without convolution and resolution reduction) to encode an image as a sequence of patches. With the global context modeled in every layer of the transformer, this encoder can be combined with a simple decoder to provide a powerful segmentation model, termed SEgmentation TRansformer (SETR). Extensive experiments show that SETR achieves new state of the art on ADE20K (50.28% mIoU), Pascal Context (55.83% mIoU) and competitive results on Cityscapes. Particularly, we achieve the first position in the highly competitive ADE20K test server leaderboard on the day of submission.

在图像变压器网络的编码器部分中的FineTuning佩带的骨干网一直是语义分段任务的传统方法。然而，这种方法揭示了图像在编码阶段提供的语义上下文。本文认为将图像的语义信息纳入预磨料的基于分层变换器的骨干，而FineTuning可显着提高性能。为实现这一目标，我们提出了一个简单且有效的框架，在语义关注操作的帮助下将语义信息包含在编码器中。此外，我们在训练期间使用轻量级语义解码器，为每个阶段提供监督对中间语义的先前地图。我们的实验表明，结合语义前导者增强了所建立的分层编码器的性能，随着絮凝物的数量略有增加。我们通过将Sromask集成到Swin-Cransformer的每个变体中提供了经验证明，因为我们的编码器与不同的解码器配对。我们的框架在CudeScapes数据集上实现了ADE20K数据集的新型58.22％的MIOU，并在Miou指标中提高了超过3％的内容。代码和检查点在https://github.com/picsart-ai-research/semask-egation上公开使用。

人们普遍认为，对于准确的语义细分，必须使用昂贵的操作（例如，非常卷积）结合使用昂贵的操作（例如非常卷积），从而导致缓慢的速度和大量的内存使用。在本文中，我们质疑这种信念，并证明既不需要高度的内部决议也不是必需的卷积。我们的直觉是，尽管分割是一个每像素的密集预测任务，但每个像素的语义通常都取决于附近的邻居和遥远的环境。因此，更强大的多尺度功能融合网络起着至关重要的作用。在此直觉之后，我们重新访问常规的多尺度特征空间（通常限制为P5），并将其扩展到更丰富的空间，最小的P9，其中最小的功能仅为输入大小的1/512，因此具有很大的功能接受场。为了处理如此丰富的功能空间，我们利用最近的BIFPN融合了多尺度功能。基于这些见解，我们开发了一个简化的分割模型，称为ESEG，该模型既没有内部分辨率高，也没有昂贵的严重卷积。也许令人惊讶的是，与多个数据集相比，我们的简单方法可以以比以前的艺术更快地实现更高的准确性。在实时设置中，ESEG-Lite-S在189 fps的CityScapes [12]上达到76.0％MIOU，表现优于更快的[9]（73.1％MIOU时为170 fps）。我们的ESEG-LITE-L以79 fps的速度运行，达到80.1％MIOU，在很大程度上缩小了实时和高性能分割模型之间的差距。

Real-time semantic segmentation has played an important role in intelligent vehicle scenarios. Recently, numerous networks have incorporated information from multi-size receptive fields to facilitate feature extraction in real-time semantic segmentation tasks. However, these methods preferentially adopt massive receptive fields to elicit more contextual information, which may result in inefficient feature extraction. We believe that the elaborated receptive fields are crucial, considering the demand for efficient feature extraction in real-time tasks. Therefore, we propose an effective and efficient architecture termed Dilation-wise Residual segmentation (DWRSeg), which possesses different sets of receptive field sizes within different stages. The architecture involves (i) a Dilation-wise Residual (DWR) module for extracting features based on different scales of receptive fields in the high level of the network; (ii) a Simple Inverted Residual (SIR) module that uses an inverted bottleneck structure to extract features from the low stage; and (iii) a simple fully convolutional network (FCN)-like decoder for aggregating multiscale feature maps to generate the prediction. Extensive experiments on the Cityscapes and CamVid datasets demonstrate the effectiveness of our method by achieving a state-of-the-art trade-off between accuracy and inference speed, in addition to being lighter weight. Without using pretraining or resorting to any training trick, we achieve 72.7% mIoU on the Cityscapes test set at a speed of 319.5 FPS on one NVIDIA GeForce GTX 1080 Ti card, which is significantly faster than existing methods. The code and trained models are publicly available.

视觉变压器的最新进展在基于点产生自我注意的新空间建模机制驱动的各种任务中取得了巨大成功。在本文中，我们表明，视觉变压器背后的关键要素，即输入自适应，远程和高阶空间相互作用，也可以通过基于卷积的框架有效地实现。我们介绍了递归封闭式卷积（$ \ textit {g}^\ textit {n} $ conv），该卷积{n} $ conv）与封闭的卷积和递归设计执行高阶空间交互。新操作是高度灵活和可定制的，它与卷积的各种变体兼容，并将自我注意的两阶相互作用扩展到任意订单，而无需引入大量额外的计算。 $ \ textit {g}^\ textit {n} $ conv可以用作插件模块，以改善各种视觉变压器和基于卷积的模型。根据该操作，我们构建了一个名为Hornet的新型通用视觉骨干家族。关于ImageNet分类，可可对象检测和ADE20K语义分割的广泛实验表明，大黄蜂的表现优于Swin变形金刚，并具有相似的整体体系结构和训练配置的明显边距。大黄蜂还显示出对更多训练数据和更大模型大小的有利可伸缩性。除了在视觉编码器中的有效性外，我们还可以将$ \ textit {g}^\ textit {n} $ conv应用于特定于任务的解码器，并始终通过较少的计算来提高密集的预测性能。我们的结果表明，$ \ textIt {g}^\ textit {n} $ conv可以成为视觉建模的新基本模块，可有效结合视觉变形金刚和CNN的优点。代码可从https://github.com/raoyongming/hornet获得

Vision transformers (ViTs) encoding an image as a sequence of patches bring new paradigms for semantic segmentation.We present an efficient framework of representation separation in local-patch level and global-region level for semantic segmentation with ViTs. It is targeted for the peculiar over-smoothness of ViTs in semantic segmentation, and therefore differs from current popular paradigms of context modeling and most existing related methods reinforcing the advantage of attention. We first deliver the decoupled two-pathway network in which another pathway enhances and passes down local-patch discrepancy complementary to global representations of transformers. We then propose the spatially adaptive separation module to obtain more separate deep representations and the discriminative cross-attention which yields more discriminative region representations through novel auxiliary supervisions. The proposed methods achieve some impressive results: 1) incorporated with large-scale plain ViTs, our methods achieve new state-of-the-art performances on five widely used benchmarks; 2) using masked pre-trained plain ViTs, we achieve 68.9% mIoU on Pascal Context, setting a new record; 3) pyramid ViTs integrated with the decoupled two-pathway network even surpass the well-designed high-resolution ViTs on Cityscapes; 4) the improved representations by our framework have favorable transferability in images with natural corruptions. The codes will be released publicly.

为了实现不断增长的准确性，通常会开发大型和复杂的神经网络。这样的模型需要高度的计算资源，因此不能在边缘设备上部署。由于它们在几个应用领域的有用性，建立资源有效的通用网络非常感兴趣。在这项工作中，我们努力有效地结合了CNN和变压器模型的优势，并提出了一种新的有效混合体系结构。特别是在EDGENEXT中，我们引入了分裂深度转置注意力（SDTA）编码器，该编码器将输入张量分解为多个通道组，并利用深度旋转以及跨通道维度的自我注意力，以隐含地增加接受场并编码多尺度特征。我们在分类，检测和分割任务上进行的广泛实验揭示了所提出的方法的优点，优于相对较低的计算要求的最先进方法。我们具有130万参数的EDGENEXT模型在Imagenet-1k上达到71.2 \％TOP-1的精度，超过移动设备的绝对增益为2.2 \％，而拖鞋减少了28 \％。此外，我们具有560万参数的EDGENEXT模型在Imagenet-1k上达到了79.4 \％TOP-1的精度。代码和模型可在https://t.ly/_vu9上公开获得。

多尺度表示对于语义细分至关重要。社区目睹了利用多尺度上下文信息的语义分割卷积神经网络（CNN）的蓬勃发展。通过视觉变压器（VIV）的动机是强大的图像分类，最近提出了一些语义分割VITS，其中大多数是令人印象深刻的结果，但以计算经济为代价。在本文中，我们通过窗口注意机制成功地将多尺度表示引入语义分割vit，并进一步提高了性能和效率。为此，我们介绍了大型窗口关注，允许本地窗口在略微计算开销时仅查询大面积的上下文窗口。通过调节上下文区域与查询区域的比率，我们可以在多个尺度上捕获大量窗口注意。此外，采用空间金字塔汇集的框架与大窗口关注合作，这提出了一种名为大型窗口注意空​​间金字塔池（LawinAspp）的新型解码器，用于语义细分vit。我们所产生的Vit，草坪变压器由一个高效的定理视觉变压器（HVT）作为编码器和作为解码器的草坪Appp。实证结果表明，与现有方法相比，草坪变压器提供了提高的效率。草坪变压器进一步为城市景观（84.4 \％Miou），ADE20K（56.2 \％Miou）和Coco-incumate集进行了新的最先进的性能。代码将在https://github.com/yan-hao-tian/lawin发布。

视觉变形金刚（VITS）引起了对计算机视觉任务的卓越性能的关注。为解决单级低分辨率表示的限制，先前的工作适用于具有分层体系结构的高分辨率密集预测任务，以生成金字塔功能。然而，考虑到其分类的顺序拓扑，仍然对VITS探索多种表达学习。在这项工作中提高具有更多能力的VITS来学习语义和空间精确的多尺度表示，我们展示了高分辨率多分支架构的高分辨率多分支架构，带有视觉变压器，称为HRVIT，推动静脉前沿预测任务到新级别。我们探索异构分支设计，降低线性层中的冗余，并增加模型非线性以平衡模型性能和硬件效率。拟议的HRVIT在ADE20K上达到50.20％的Miou，83.16％Miou，用于语义细分任务，超过最先进的麻省理工学院和克斯犬，平均+1.78 miou改善，参数减少28％和21％拖鞋，展示HRVIT作为强大视力骨架的潜力。

现代的高性能语义分割方法采用沉重的主链和扩张的卷积来提取相关特征。尽管使用上下文和语义信息提取功能对于分割任务至关重要，但它为实时应用程序带来了内存足迹和高计算成本。本文提出了一种新模型，以实现实时道路场景语义细分的准确性/速度之间的权衡。具体来说，我们提出了一个名为“比例吸引的条带引导特征金字塔网络”（s \ textsuperscript {2} -fpn）的轻巧模型。我们的网络由三个主要模块组成：注意金字塔融合（APF）模块，比例吸引条带注意模块（SSAM）和全局特征Upsample（GFU）模块。 APF采用了注意力机制来学习判别性多尺度特征，并有助于缩小不同级别之间的语义差距。 APF使用量表感知的关注来用垂直剥离操作编码全局上下文，并建模长期依赖性，这有助于将像素与类似的语义标签相关联。此外，APF还采用频道重新加权块（CRB）来强调频道功能。最后，S \ TextSuperScript {2} -fpn的解码器然后采用GFU，该GFU用于融合APF和编码器的功能。已经对两个具有挑战性的语义分割基准进行了广泛的实验，这表明我们的方法通过不同的模型设置实现了更好的准确性/速度权衡。提出的模型已在CityScapes Dataset上实现了76.2 \％miou/87.3fps，77.4 \％miou/67fps和77.8 \％miou/30.5fps，以及69.6 \％miou，71.0 miou，71.0 \％miou，和74.2 \％\％\％\％\％\％。 miou在Camvid数据集上。这项工作的代码将在\ url {https://github.com/mohamedac29/s2-fpn提供。

视觉变压器（VIT）的最新进展在视觉识别任务中取得了出色的表现。卷积神经网络（CNNS）利用空间电感偏见来学习视觉表示，但是这些网络在空间上是局部的。 VIT可以通过其自我注意力机制学习全球表示形式，但它们通常是重量重量，不适合移动设备。在本文中，我们提出了交叉功能关注（XFA），以降低变压器的计算成本，并结合有效的移动CNN，形成一种新型有效的轻质CNN-CNN-VIT混合模型Xformer，可以用作通用的骨干链。学习全球和本地代表。实验结果表明，Xformer在不同的任务和数据集上的表现优于大量CNN和基于VIT的模型。在ImagEnet1k数据集上，XFormer以550万参数的优先级达到78.5％的TOP-1精度，比EdgitionNet-B0（基于CNN）（基于CNN）和DEIT（基于VIT）（基于VIT）的参数高2.2％和6.3％。当转移到对象检测和语义分割任务时，我们的模型也表现良好。在MS Coco数据集上，Xformer在Yolov3框架中仅超过10.5 AP（22.7-> 33.2 AP），只有630万参数和3.8克Flops。在CityScapes数据集上，只有一个简单的全MLP解码器，Xformer可实现78.5的MIOU，而FPS为15.3，超过了最先进的轻量级分割网络。

图像中的场景细分是视觉内容理解中的一个基本而又具有挑战性的问题，即学习一个模型，将每个图像像素分配给分类标签。这项学习任务的挑战之一是考虑空间和语义关系以获得描述性特征表示，因此从多个量表中学习特征图是场景细分中的一种常见实践。在本文中，我们探讨了在多尺度图像窗口中自我发挥的有效使用来学习描述性视觉特征，然后提出三种不同的策略来汇总这些特征图以解码特征表示形式以进行密集的预测。我们的设计基于最近提出的SWIN Transformer模型，该模型完全放弃了卷积操作。借助简单而有效的多尺度功能学习和聚合，我们的模型在四个公共场景细分数据集，Pascal VOC2012，Coco-STUFF 10K，ADE20K和CITYSCAPES上实现了非常有希望的性能。

已知预测的集合，而是比单独采取的个体预测更好地执行更好。但是，对于需要重型计算资源的任务，\ texit {例如}语义细分，创建需要单独培训的学习者的集合几乎没有易行。在这项工作中，我们建议利用集合方法提供的性能提升，以增强语义分割，同时避免了集合的传统训练成本。我们的自我集成框架利用了通过特征金字塔网络方法生产的多尺度功能来提供独立解码器，从而在单个模型中创建集合。类似于集合，最终预测是每个学习者所做的预测的聚合。与以前的作品相比，我们的模型可以训练结束，减轻了传统的繁琐多阶段培训的合奏。我们的自身融合框架优于当前最先进的基准数据集ADE20K，Pascal Context和Coco-Stuff-10K用于语义细分，并且在城市景观竞争。代码将在Github.com/walbouss/senformer上使用。

视觉变压器在计算机视觉任务中表现出色。但是，其（本地）自我注意机制的计算成本很昂贵。相比之下，CNN具有内置的电感偏置效率更高。最近的作品表明，CNN有望通过学习建筑设计和培训协议来与视觉变形金刚竞争。然而，现有方法要么忽略多层次特征，要么缺乏动态繁荣，从而导致次优性能。在本文中，我们提出了一种名为MCA的新型注意力机制，该机制通过多个内核大小捕获了输入图像的不同模式，并启用具有门控机制的输入自适应权重。根据MCA，我们提出了一个名为Convformer的神经网络。争辩者采用了视觉变压器的一般体系结构，同时用我们提出的MCA代替了（本地）自我注意的机制。广泛的实验结果表明，在各种任务中，应变器优于相似的大小视觉变压器（VIT）和卷积神经网络（CNN）。例如，在ImageNet数据集上，交货式S，Convformer-l实现82.8％的最新性能，top-1的精度为83.6％。此外，在ADE20K上，Convformer-S优于1.5 miOU的Swin-T，在Coco上具有较小型号的Coco上的0.9边界盒AP。代码和型号将可用。