大型预训练的变压器是现代语义分割基准的顶部，但具有高计算成本和冗长的培训。为了提高这种约束，我们从综合知识蒸馏的角度来研究有效的语义分割，并考虑弥合多源知识提取和特定于变压器特定的斑块嵌入之间的差距。我们提出了基于变压器的知识蒸馏（TransKD）框架，该框架通过蒸馏出大型教师变压器的特征地图和补丁嵌入来学习紧凑的学生变形金刚，绕过长期的预训练过程并将FLOPS降低> 85.0％。具体而言，我们提出了两个基本和两个优化模块：（1）交叉选择性融合（CSF）可以通过通道注意和层次变压器内的特征图蒸馏之间的知识转移； （2）嵌入对齐（PEA）在斑块过程中执行尺寸转换，以促进贴片嵌入蒸馏； （3）全局本地上下文混合器（GL-MIXER）提取了代表性嵌入的全局和局部信息； （4）嵌入助手（EA）是一种嵌入方法，可以无缝地桥接老师和学生模型，并具有老师的渠道数量。关于CityScapes，ACDC和NYUV2数据集的实验表明，TransKD的表现优于最先进的蒸馏框架，并竞争了耗时的预训练方法。代码可在https://github.com/ruipingl/transkd上找到。

在本文中，我们介绍了全景语义细分，该分段以整体方式提供了对周围环境的全景和密集的像素的理解。由于两个关键的挑战，全景分割尚未探索：（1）全景上的图像扭曲和对象变形； （2）缺乏培训全景分段的注释。为了解决这些问题，我们提出了一个用于全景语义细分（Trans4Pass）体系结构的变压器。首先，为了增强失真意识，Trans4Pass配备了可变形的贴片嵌入（DPE）和可变形的MLP（DMLP）模块，能够在适应之前（适应之前或之后）和任何地方（浅层或深度级别的（浅层或深度））和图像变形（通过任何涉及（浅层或深层））和图像变形（通过任何地方）和图像变形设计。我们进一步介绍了升级后的Trans4Pass+模型，其中包含具有平行令牌混合的DMLPV2，以提高建模歧视性线索的灵活性和概括性。其次，我们提出了一种无监督域适应性的相互典型适应（MPA）策略。第三，除了针孔到型 - 帕诺amic（PIN2PAN）适应外，我们还创建了一个新的数据集（Synpass），其中具有9,080个全景图像，以探索360 {\ deg} Imagery中的合成对真实（Syn2real）适应方案。进行了广泛的实验，这些实验涵盖室内和室外场景，并且使用PIN2PAN和SYN2REAL方案进行了研究。 Trans4Pass+在四个域自适应的全景语义分割基准上实现最先进的性能。代码可从https://github.com/jamycheung/trans4pass获得。

语义分割是将类标签分配给图像中每个像素的问题，并且是自动车辆视觉堆栈的重要组成部分，可促进场景的理解和对象检测。但是，许多表现最高的语义分割模型非常复杂且笨拙，因此不适合在计算资源有限且低延迟操作的板载自动驾驶汽车平台上部署。在这项调查中，我们彻底研究了旨在通过更紧凑，更有效的模型来解决这种未对准的作品，该模型能够在低内存嵌入式系统上部署，同时满足实时推理的限制。我们讨论了该领域中最杰出的作品，根据其主要贡献将它们置于分类法中，最后我们评估了在一致的硬件和软件设置下，所讨论模型的推理速度，这些模型代表了具有高端的典型研究环境GPU和使用低内存嵌入式GPU硬件的现实部署方案。我们的实验结果表明，许多作品能够在资源受限的硬件上实时性能，同时说明延迟和准确性之间的一致权衡。

Vision transformers (ViTs) encoding an image as a sequence of patches bring new paradigms for semantic segmentation.We present an efficient framework of representation separation in local-patch level and global-region level for semantic segmentation with ViTs. It is targeted for the peculiar over-smoothness of ViTs in semantic segmentation, and therefore differs from current popular paradigms of context modeling and most existing related methods reinforcing the advantage of attention. We first deliver the decoupled two-pathway network in which another pathway enhances and passes down local-patch discrepancy complementary to global representations of transformers. We then propose the spatially adaptive separation module to obtain more separate deep representations and the discriminative cross-attention which yields more discriminative region representations through novel auxiliary supervisions. The proposed methods achieve some impressive results: 1) incorporated with large-scale plain ViTs, our methods achieve new state-of-the-art performances on five widely used benchmarks; 2) using masked pre-trained plain ViTs, we achieve 68.9% mIoU on Pascal Context, setting a new record; 3) pyramid ViTs integrated with the decoupled two-pathway network even surpass the well-designed high-resolution ViTs on Cityscapes; 4) the improved representations by our framework have favorable transferability in images with natural corruptions. The codes will be released publicly.

Astounding results from Transformer models on natural language tasks have intrigued the vision community to study their application to computer vision problems. Among their salient benefits, Transformers enable modeling long dependencies between input sequence elements and support parallel processing of sequence as compared to recurrent networks e.g., Long short-term memory (LSTM). Different from convolutional networks, Transformers require minimal inductive biases for their design and are naturally suited as set-functions. Furthermore, the straightforward design of Transformers allows processing multiple modalities (e.g., images, videos, text and speech) using similar processing blocks and demonstrates excellent scalability to very large capacity networks and huge datasets. These strengths have led to exciting progress on a number of vision tasks using Transformer networks. This survey aims to provide a comprehensive overview of the Transformer models in the computer vision discipline. We start with an introduction to fundamental concepts behind the success of Transformers i.e., self-attention, large-scale pre-training, and bidirectional feature encoding. We then cover extensive applications of transformers in vision including popular recognition tasks (e.g., image classification, object detection, action recognition, and segmentation), generative modeling, multi-modal tasks (e.g., visual-question answering, visual reasoning, and visual grounding), video processing (e.g., activity recognition, video forecasting), low-level vision (e.g., image super-resolution, image enhancement, and colorization) and 3D analysis (e.g., point cloud classification and segmentation). We compare the respective advantages and limitations of popular techniques both in terms of architectural design and their experimental value. Finally, we provide an analysis on open research directions and possible future works. We hope this effort will ignite further interest in the community to solve current challenges towards the application of transformer models in computer vision.

变压器是一种基于关注的编码器解码器架构，彻底改变了自然语言处理领域。灵感来自这一重大成就，最近在将变形式架构调整到计算机视觉（CV）领域的一些开创性作品，这已经证明了他们对各种简历任务的有效性。依靠竞争力的建模能力，与现代卷积神经网络相比在本文中，我们已经为三百不同的视觉变压器进行了全面的审查，用于三个基本的CV任务（分类，检测和分割），提出了根据其动机，结构和使用情况组织这些方法的分类。 。由于培训设置和面向任务的差异，我们还在不同的配置上进行了评估了这些方法，以便于易于和直观的比较而不是各种基准。此外，我们已经揭示了一系列必不可少的，但可能使变压器能够从众多架构中脱颖而出，例如松弛的高级语义嵌入，以弥合视觉和顺序变压器之间的差距。最后，提出了三个未来的未来研究方向进行进一步投资。

准确的语义分割模型通常需要大量的计算资源，从而抑制其在实际应用中的使用。最近的作品依靠精心制作的轻质模型来快速推断。但是，这些模型不能灵活地适应不同的准确性和效率要求。在本文中，我们提出了一种简单但有效的微小语义细分（SLIMSEG）方法，该方法可以在推理期间以不同的能力执行，具体取决于所需的准确性效率 - 折衷。更具体地说，我们在训练过程中采用逐步向下知识蒸馏采用参数化通道。观察到每个子模型的分割结果之间的差异主要在语义边界附近，我们引入了额外的边界指导语义分割损失，以进一步提高每个子模型的性能。我们表明，我们提出的具有各种主流网络的Slimseg可以产生灵活的模型，从而使计算成本的动态调整和比独立模型更好。关于语义分割基准，城市景观和Camvid的广泛实验证明了我们框架的概括能力。

视觉表示学习是解决各种视力问题的关键。依靠开创性的网格结构先验，卷积神经网络（CNN）已成为大多数深视觉模型的事实上的标准架构。例如，经典的语义分割方法通常采用带有编码器编码器体系结构的完全横向卷积网络（FCN）。编码器逐渐减少了空间分辨率，并通过更大的接受场来学习更多抽象的视觉概念。由于上下文建模对于分割至关重要，因此最新的努力一直集中在通过扩张（即极度）卷积或插入注意力模块来增加接受场。但是，基于FCN的体系结构保持不变。在本文中，我们旨在通过将视觉表示学习作为序列到序列预测任务来提供替代观点。具体而言，我们部署纯变压器以将图像编码为一系列贴片，而无需局部卷积和分辨率减少。通过在变压器的每一层中建立的全球环境，可以学习更强大的视觉表示形式，以更好地解决视力任务。特别是，我们的细分模型（称为分割变压器（SETR））在ADE20K上擅长（50.28％MIOU，这是提交当天测试排行榜中的第一个位置），Pascal环境（55.83％MIOU），并在CityScapes上达到竞争成果。此外，我们制定了一个分层局部全球（HLG）变压器的家族，其特征是窗户内的本地关注和跨窗户的全球性专注于层次结构和金字塔架构。广泛的实验表明，我们的方法在各种视觉识别任务（例如，图像分类，对象检测和实例分割和语义分割）上实现了吸引力的性能。

Semantic segmentation usually benefits from global contexts, fine localisation information, multi-scale features, etc. To advance Transformer-based segmenters with these aspects, we present a simple yet powerful semantic segmentation architecture, termed as IncepFormer. IncepFormer has two critical contributions as following. First, it introduces a novel pyramid structured Transformer encoder which harvests global context and fine localisation features simultaneously. These features are concatenated and fed into a convolution layer for final per-pixel prediction. Second, IncepFormer integrates an Inception-like architecture with depth-wise convolutions, and a light-weight feed-forward module in each self-attention layer, efficiently obtaining rich local multi-scale object features. Extensive experiments on five benchmarks show that our IncepFormer is superior to state-of-the-art methods in both accuracy and speed, e.g., 1) our IncepFormer-S achieves 47.7% mIoU on ADE20K which outperforms the existing best method by 1% while only costs half parameters and fewer FLOPs. 2) Our IncepFormer-B finally achieves 82.0% mIoU on Cityscapes dataset with 39.6M parameters. Code is available:github.com/shendu0321/IncepFormer.

在图像变压器网络的编码器部分中的FineTuning佩带的骨干网一直是语义分段任务的传统方法。然而，这种方法揭示了图像在编码阶段提供的语义上下文。本文认为将图像的语义信息纳入预磨料的基于分层变换器的骨干，而FineTuning可显着提高性能。为实现这一目标，我们提出了一个简单且有效的框架，在语义关注操作的帮助下将语义信息包含在编码器中。此外，我们在训练期间使用轻量级语义解码器，为每个阶段提供监督对中间语义的先前地图。我们的实验表明，结合语义前导者增强了所建立的分层编码器的性能，随着絮凝物的数量略有增加。我们通过将Sromask集成到Swin-Cransformer的每个变体中提供了经验证明，因为我们的编码器与不同的解码器配对。我们的框架在CudeScapes数据集上实现了ADE20K数据集的新型58.22％的MIOU，并在Miou指标中提高了超过3％的内容。代码和检查点在https://github.com/picsart-ai-research/semask-egation上公开使用。

最近，基于水平表示的全景语义分割方法优于基于投影的解决方案，因为可以通过在垂直方向上压缩球形数据来有效地消除畸变。但是，这些方法忽略了之前的失真分布，并且仅限于不平衡的接收场，例如，接收场在垂直方向上足够，并且在水平方向上不足。不同的是，沿另一个方向压缩的垂直表示可以提供隐式失真先验，并扩大水平接收场。在本文中，我们结合了两种不同的表示，并从互补的角度提出了一种新颖的360 {\ deg}语义分割解决方案。我们的网络包括三个模块：特征提取模块，一个双向压缩模块和一个集合解码模块。首先，我们从Panorama提取多尺度功能。然后，设计一个双向压缩模块，将特征压缩为两个互补的低维表示，这些表示提供了内容感知和失真。此外，为了促进双向特征的融合，我们在合奏解码模块中设计了独特的自我蒸馏策略，以增强不同特征的相互作用并进一步提高性能。实验结果表明，我们的方法的表现优于最先进的解决方案，在定量评估上至少提高了10 \％的改进，同时显示出视觉外观上最佳性能。

In this paper, we investigate the knowledge distillation strategy for training small semantic segmentation networks by making use of large networks. We start from the straightforward scheme, pixel-wise distillation, which applies the distillation scheme adopted for image classification and performs knowledge distillation for each pixel separately. We further propose to distill the structured knowledge from large networks to small networks, which is motivated by that semantic segmentation is a structured prediction problem. We study two structured distillation schemes: (i) pair-wise distillation that distills the pairwise similarities, and (ii) holistic distillation that uses GAN to distill holistic knowledge. The effectiveness of our knowledge distillation approaches is demonstrated by extensive experiments on three scene parsing datasets: Cityscapes, Camvid and ADE20K.

在本文中，我们专注于探索有效的方法，以更快，准确和域的不可知性语义分割。受到相邻视频帧之间运动对齐的光流的启发，我们提出了一个流对齐模块（FAM），以了解相邻级别的特征映射之间的\ textit {语义流}，并将高级特征广播到高分辨率特征有效地，有效地有效。 。此外，将我们的FAM与共同特征的金字塔结构集成在一起，甚至在轻量重量骨干网络（例如Resnet-18和DFNET）上也表现出优于其他实时方法的性能。然后，为了进一步加快推理过程，我们还提出了一个新型的封闭式双流对齐模块，以直接对齐高分辨率特征图和低分辨率特征图，在该图中我们将改进版本网络称为SFNET-LITE。广泛的实验是在几个具有挑战性的数据集上进行的，结果显示了SFNET和SFNET-LITE的有效性。特别是，建议的SFNET-LITE系列在使用RESNET-18主链和78.8 MIOU以120 fps运行的情况下，使用RTX-3090上的STDC主链在120 fps运行时，在60 fps运行时达到80.1 miou。此外，我们将四个具有挑战性的驾驶数据集（即CityScapes，Mapillary，IDD和BDD）统一到一个大数据集中，我们将其命名为Unified Drive细分（UDS）数据集。它包含不同的域和样式信息。我们基准了UDS上的几项代表性作品。 SFNET和SFNET-LITE仍然可以在UDS上取得最佳的速度和准确性权衡，这在如此新的挑战性环境中是强大的基准。所有代码和模型均可在https://github.com/lxtgh/sfsegnets上公开获得。

交通场景边缘壳体的语义分割的鲁棒性是智能运输安全的重要因素。然而，交通事故的大多数关键场景都是非常动态和以前看不见的，这严重损害了语义分割方法的性能。另外，在高速驾驶期间传统相机的延迟将进一步降低时间尺寸中的上下文信息。因此，我们建议从基于事件的数据提取动态上下文，以更高的时间分辨率来增强静态RGB图像，即使对于来自运动模糊，碰撞，变形，翻转等的流量事故而言，此外，为评估分割交通事故中的性能，我们提供了一个像素 - 明智的注释事故数据集，即Dada-Seg，其中包含来自交通事故的各种临界情景。我们的实验表明，基于事件的数据可以通过在事故中保留快速移动的前景（碰撞物体）的微粒运动来提供互补信息以在不利条件下稳定语义分割。我们的方法在拟议的事故数据集中实现了+ 8.2％的性能增益，超过了20多种最先进的语义细分方法。已经证明该提案对于在多个源数据库中学到的模型，包括CityScapes，Kitti-360，BDD和Apolloscape的模型始终如一。

人具有天生的感知周围环境的能力，因为他们可以从以自我为中心的感知中提取空间表示，并通过空间转换和内存更新形成同类语义图。但是，由于两个困难，赋予具有这种空间感应能力的移动试剂仍然是一个挑战：（1）先前的卷积模型受到局部接收场的限制，因此，在观察过程中努力捕获整体的长距离依赖性； （2）成功所需的过度计算预算通常会导致映射管道分为阶段，从而导致整个映射过程效率低下。为了解决这些问题，我们提出了一个基于映射的端到端一阶段变压器的框架，称为Trans4map。我们的以自我为中心的中心映射过程包括三个步骤：（1）有效的变压器从一批以自我为中心的图像中提取上下文特征； （2）提出的双向同类记忆（BAM）模块将自中心的特征投入到同类中心的内存中； （3）地图解码器解析了累积的内存并预测自上而下的语义分割图。相比之下，Trans4MAP取得了最新结果，减少了67.2％的参数，但在MatterPort3D数据集上获得了 +3.25％MIOU和A +4.09％MBF1的改进。代码将在https://github.com/jamycheung/trans4map上公开提供。

图像中的场景细分是视觉内容理解中的一个基本而又具有挑战性的问题，即学习一个模型，将每个图像像素分配给分类标签。这项学习任务的挑战之一是考虑空间和语义关系以获得描述性特征表示，因此从多个量表中学习特征图是场景细分中的一种常见实践。在本文中，我们探讨了在多尺度图像窗口中自我发挥的有效使用来学习描述性视觉特征，然后提出三种不同的策略来汇总这些特征图以解码特征表示形式以进行密集的预测。我们的设计基于最近提出的SWIN Transformer模型，该模型完全放弃了卷积操作。借助简单而有效的多尺度功能学习和聚合，我们的模型在四个公共场景细分数据集，Pascal VOC2012，Coco-STUFF 10K，ADE20K和CITYSCAPES上实现了非常有希望的性能。

Semantic segmentation works on the computer vision algorithm for assigning each pixel of an image into a class. The task of semantic segmentation should be performed with both accuracy and efficiency. Most of the existing deep FCNs yield to heavy computations and these networks are very power hungry, unsuitable for real-time applications on portable devices. This project analyzes current semantic segmentation models to explore the feasibility of applying these models for emergency response during catastrophic events. We compare the performance of real-time semantic segmentation models with non-real-time counterparts constrained by aerial images under oppositional settings. Furthermore, we train several models on the Flood-Net dataset, containing UAV images captured after Hurricane Harvey, and benchmark their execution on special classes such as flooded buildings vs. non-flooded buildings or flooded roads vs. non-flooded roads. In this project, we developed a real-time UNet based model and deployed that network on Jetson AGX Xavier module.

语义分割是自主车辆了解周围场景的关键技术。当代模型的吸引力表现通常以牺牲重计算和冗长的推理时间为代价，这对于自行车来说是无法忍受的。在低分辨率图像上使用轻量级架构（编码器 - 解码器或双路）或推理，最近的方法实现了非常快的场景解析，即使在单个1080TI GPU上以100多件FPS运行。然而，这些实时方法与基于扩张骨架的模型之间的性能仍有显着差距。为了解决这个问题，我们提出了一家专门为实时语义细分设计的高效底座。所提出的深层双分辨率网络（DDRNET）由两个深部分支组成，之间进行多个双边融合。此外，我们设计了一个名为Deep聚合金字塔池（DAPPM）的新上下文信息提取器，以基于低分辨率特征映射放大有效的接收字段和熔丝多尺度上下文。我们的方法在城市景观和Camvid数据集上的准确性和速度之间实现了新的最先进的权衡。特别是，在单一的2080Ti GPU上，DDRNET-23-Slim在Camvid测试组上的Citycapes试验组102 FPS上的102 FPS，74.7％Miou。通过广泛使用的测试增强，我们的方法优于最先进的模型，需要计算得多。 CODES和培训的型号在线提供。

We present SegFormer, a simple, efficient yet powerful semantic segmentation framework which unifies Transformers with lightweight multilayer perceptron (MLP) decoders. SegFormer has two appealing features: 1) SegFormer comprises a novel hierarchically structured Transformer encoder which outputs multiscale features. It does not need positional encoding, thereby avoiding the interpolation of positional codes which leads to decreased performance when the testing resolution differs from training. 2) SegFormer avoids complex decoders. The proposed MLP decoder aggregates information from different layers, and thus combining both local attention and global attention to render powerful representations. We show that this simple and lightweight design is the key to efficient segmentation on Transformers. We scale our approach up to obtain a series of models from SegFormer-B0 to SegFormer-B5, reaching significantly better performance and efficiency than previous counterparts. For example, SegFormer-B4 achieves 50.3% mIoU on ADE20K with 64M parameters, being 5× smaller and 2.2% better than the previous best method. Our best model, SegFormer-B5, achieves 84.0% mIoU on Cityscapes validation set and shows excellent zero-shot robustness on Cityscapes-C. Code will be released at: github.com/NVlabs/SegFormer.Preprint. Under review.

视觉变压器（VIT）的最新进展在视觉识别任务中取得了出色的表现。卷积神经网络（CNNS）利用空间电感偏见来学习视觉表示，但是这些网络在空间上是局部的。 VIT可以通过其自我注意力机制学习全球表示形式，但它们通常是重量重量，不适合移动设备。在本文中，我们提出了交叉功能关注（XFA），以降低变压器的计算成本，并结合有效的移动CNN，形成一种新型有效的轻质CNN-CNN-VIT混合模型Xformer，可以用作通用的骨干链。学习全球和本地代表。实验结果表明，Xformer在不同的任务和数据集上的表现优于大量CNN和基于VIT的模型。在ImagEnet1k数据集上，XFormer以550万参数的优先级达到78.5％的TOP-1精度，比EdgitionNet-B0（基于CNN）（基于CNN）和DEIT（基于VIT）（基于VIT）的参数高2.2％和6.3％。当转移到对象检测和语义分割任务时，我们的模型也表现良好。在MS Coco数据集上，Xformer在Yolov3框架中仅超过10.5 AP（22.7-> 33.2 AP），只有630万参数和3.8克Flops。在CityScapes数据集上，只有一个简单的全MLP解码器，Xformer可实现78.5的MIOU，而FPS为15.3，超过了最先进的轻量级分割网络。