现代语义分割方法非常重视调整特征表示，以改善各种方式的分割性能，例如度量学习，架构设计等。然而，几乎所有这些方法都忽略了边界像素的特殊性。由于CNN网络中的接收领域的连续扩展，这些像素容易获得来自两侧的困惑特征。通过这种方式，它们将误导模型优化方向并使往往共享许多相邻像素缺乏歧视的类别的类别重量，这将损害整体性能。在这项工作中，我们深入了解了这个问题，并提出了一种名为嵌入式超级棒（ES-CRF）的新方法来解决它。 ES-CRF涉及两个主要方面。一方面，ES-CRF创新地将CRF机制融合到CNN网络中作为有机整体，以实现更有效的端到端优化。它利用CRF引导在高级功能中通过像素之间的消息来净化边界像素的特征表示，并且在内像素属于同一对象的帮助下。另一方面，SuperPixel集成到ES-CRF中以在更可靠的消息传递之前利用本地对象。最后，我们的提出方法会产生关于两个具有挑战性的基准，即城市景观和ADE20K的新记录。此外，我们进行了详细的理论分析，以验证ES-CRF的优越性。

在本文中，我们提出了一种简单但有效的消息传递方法来提高语义分段结果的边界质量。灵感来自Superpixel块的产生的尖锐边缘，我们使用Superpixel指导在特征图中传递的信息。同时，块的尖锐边界也限制了消息传递范围。具体地，我们的平均特征是特征映射内的SuperPixel块覆盖，并将结果添加回每个特征向量。此外，为了获得更清晰的边缘和更远的空间依赖性，我们通过级联的不同尺度超像素块开发多尺度超顶像素模块（MSP）。我们的方法可以用作即插即用模块，并轻松插入任何分段网络而不引入新参数。广泛的实验是在三个强的基线，即pspnet，deeplabv3和deeplabv3 +上进行的，以及四个具有挑战性的场景解析数据集，包括Ade20k，Citycapes，Pascal VOC和Pascal背景。实验结果验证了其有效性和概括性。

由于自动驾驶系统的成功，城市场景中的图像分割最近引起了很多关注。然而，有关前景目标的表现不佳，例如交通灯和杆，仍然限制了其进一步的实际应用。在城市场景中，由于特殊的相机位置和3D透视投影，前景目标总是隐藏在周围的东西中。更糟糕的是，由于接收场的连续扩展，加剧了高级功能中的前景和背景类之间的不平衡。我们称之为伪装。在本文中，我们介绍了一个新的附加模块，命名为特征平衡网络（FBNet），以消除城市场景细分中的特征伪装。 FBNET由两个关键组件，即块，BCE（BWBCE）和双重特征调制器（DFM）组成。 BWBCE用作辅助损失，以确保在BackProjagation期间确保前景类的均匀梯度及其周围环境。与此同时，DFM打算在BWBCE的监督下，加强高级功能中的前景阶段的深度表示。这两种模块彼此互相促进，以便有效地易于伪装。我们所提出的方法在两个具有挑战性的城市场景基准，即城市景观和BDD100K上实现了一种新的最先进的分割性能。代码将被释放以进行复制。

共同出现的视觉模式使上下文聚集成为语义分割的重要范式。现有的研究重点是建模图像中的上下文，同时忽略图像以下相应类别的有价值的语义。为此，我们提出了一个新颖的软采矿上下文信息，超出了名为McIbi ++的图像范式，以进一步提高像素级表示。具体来说，我们首先设置了动态更新的内存模块，以存储各种类别的数据集级别的分布信息，然后利用信息在网络转发过程中产生数据集级别类别表示。之后，我们为每个像素表示形式生成一个类概率分布，并以类概率分布作为权重进行数据集级上下文聚合。最后，使用汇总的数据集级别和传统的图像级上下文信息来增强原始像素表示。此外，在推论阶段，我们还设计了一种粗到最新的迭代推理策略，以进一步提高分割结果。 MCIBI ++可以轻松地纳入现有的分割框架中，并带来一致的性能改进。此外，MCIBI ++可以扩展到视频语义分割框架中，比基线进行了大量改进。配备MCIBI ++，我们在七个具有挑战性的图像或视频语义分段基准测试中实现了最先进的性能。

Contextual information is vital in visual understanding problems, such as semantic segmentation and object detection. We propose a Criss-Cross Network (CCNet) for obtaining full-image contextual information in a very effective and efficient way. Concretely, for each pixel, a novel criss-cross attention module harvests the contextual information of all the pixels on its criss-cross path. By taking a further recurrent operation, each pixel can finally capture the full-image dependencies. Besides, a category consistent loss is proposed to enforce the criss-cross attention module to produce more discriminative features. Overall, CCNet is with the following merits: 1) GPU memory friendly. Compared with the non-local block, the proposed recurrent criss-cross attention module requires 11× less GPU memory usage. 2) High computational efficiency. The recurrent criss-cross attention significantly reduces FLOPs by about 85% of the non-local block. 3) The state-of-the-art performance. We conduct extensive experiments on semantic segmentation benchmarks including Cityscapes, ADE20K, human parsing benchmark LIP, instance segmentation benchmark COCO, video segmentation benchmark CamVid. In particular, our CCNet achieves the mIoU scores of 81.9%, 45.76% and 55.47% on the Cityscapes test set, the ADE20K validation set and the LIP validation set respectively, which are the new state-of-the-art results. The source codes are available at https://github.com/speedinghzl/CCNet.

像窗户，瓶子和镜子等玻璃状物体在现实世界中存在广泛存在。感应这些对象有许多应用，包括机器人导航和抓握。然而，由于玻璃样物体背后的任意场景，这项任务非常具有挑战性。本文旨在通过增强的边界学习解决玻璃状物体分割问题。特别是，我们首先提出了一种新的精致差分模块，其输出更精细的边界线索。然后，我们介绍了一个边缘感知点的图形卷积网络模块，以沿边界模拟全局形状。我们使用这两个模块来设计解码器，该解码器产生准确和干净的分段结果，尤其是在对象轮廓上。两个模块都是重量轻且有效的：它们可以嵌入到各种分段模型中。在最近的三个玻璃状物体分割数据集上进行了广泛的实验，包括Trans10K，MSD和GDD，我们的方法建立了新的最先进的结果。我们还说明了我们在三个通用分段数据集中的方法的强大泛化属性，包括城市景观，BDD和Coco Sift。代码和模型可用于\ url {https:/github.com/hehao13/ebrnet}。

弱监督的语义细分（WSSS）旨在仅使用用于训练的图像级标签来产生像素类预测。为此，以前的方法采用了通用管道：它们从类激活图（CAM）生成伪口罩，并使用此类掩码来监督分割网络。但是，由于凸轮的局部属性，即它们倾向于仅专注于小的判别对象零件，因此涵盖涵盖整个物体的全部范围的全面伪面罩是一项挑战。在本文中，我们将CAM的局部性与卷积神经网络（CNNS）的质地偏见特性相关联。因此，我们建议利用形状信息来补充质地偏见的CNN特征，从而鼓励掩模预测不仅是全面的，而且还与物体边界相交。我们通过一种新颖的改进方法进一步完善了在线方式的预测，该方法同时考虑了类和颜色亲和力，以生成可靠的伪口罩以监督模型。重要的是，我们的模型是在单阶段框架内进行端到端训练的，因此在培训成本方面有效。通过对Pascal VOC 2012的广泛实验，我们验证了方法在产生精确和形状对准的分割结果方面的有效性。具体而言，我们的模型超过了现有的最新单阶段方法。此外，当在没有铃铛和哨声的简单两阶段管道中采用时，它还在多阶段方法上实现了新的最新性能。

Most recent semantic segmentation methods adopt a fully-convolutional network (FCN) with an encoderdecoder architecture. The encoder progressively reduces the spatial resolution and learns more abstract/semantic visual concepts with larger receptive fields. Since context modeling is critical for segmentation, the latest efforts have been focused on increasing the receptive field, through either dilated/atrous convolutions or inserting attention modules. However, the encoder-decoder based FCN architecture remains unchanged. In this paper, we aim to provide an alternative perspective by treating semantic segmentation as a sequence-to-sequence prediction task. Specifically, we deploy a pure transformer (i.e., without convolution and resolution reduction) to encode an image as a sequence of patches. With the global context modeled in every layer of the transformer, this encoder can be combined with a simple decoder to provide a powerful segmentation model, termed SEgmentation TRansformer (SETR). Extensive experiments show that SETR achieves new state of the art on ADE20K (50.28% mIoU), Pascal Context (55.83% mIoU) and competitive results on Cityscapes. Particularly, we achieve the first position in the highly competitive ADE20K test server leaderboard on the day of submission.

卷积神经网络在寻址像素级预测任务中的主要进展，例如语义分割，深度估计，表面正常预测等，从他们的强大功能中受益于视觉表现学习。通常，本领域模型的状态集成了对改进的深度特征表示的关注机制。最近，一些作品已经证明了学习的重要性，并结合了深度特征细化的空间和通道介绍。在本文中，WEAIM在有效地提升之前的方法和提出统一的深度框架，以便以原则的方式共同学习空间注意图和信道注意矢量，以便构建由此两种类型的注意力之间的引起的张量和模型相互作用。具体地，我们将估计和相互作用集成了概率表示学习框架内的关注，导致变分结构注意网络（Vista-net）。我们在神经网络内实现推理规则，从而允许概率的端到端学习和CNN前端参数。正如我们对六个大型数据集的大量实证评估所证明的致密视觉预测，Vista-Net在多个连续和离散预测任务中优于最先进的，从而确认在联合结构空间中提出的方法的益处 - 深度代表学习的关注估计。该代码可在https://github.com/ygjwd12345/vista-ner上获得。

上下文信息对于各种计算机视觉任务至关重要，以前的作品通常设计插件模块和结构损失，以有效地提取和汇总全局上下文。这些方法利用优质标签来优化模型，但忽略了精细训练的特征也是宝贵的训练资源，可以将优选的分布引入硬像素（即错误分类的像素）。受到无监督范式的对比学习的启发，我们以监督的方式应用了对比度损失，并重新设计了损失功能，以抛弃无监督学习的刻板印象（例如，积极和负面的不平衡，对锚定计算的混淆）。为此，我们提出了阳性阴性相等的对比损失（PNE损失），这增加了阳性嵌入对锚的潜在影响，并同时对待阳性和阴性样本对。 PNE损失可以直接插入现有的语义细分框架中，并以可忽视的额外计算成本导致出色的性能。我们利用许多经典的分割方法（例如，DeepLabv3，Ocrnet，Upernet）和骨干（例如Resnet，Hrnet，Swin Transformer）进行全面的实验，并在两个基准数据集（例如，例如，例如，，例如城市景观和可可固定）。我们的代码将公开

Deep Convolutional Neural Networks (DCNNs) have recently shown state of the art performance in high level vision tasks, such as image classification and object detection. This work brings together methods from DCNNs and probabilistic graphical models for addressing the task of pixel-level classification (also called "semantic image segmentation"). We show that responses at the final layer of DCNNs are not sufficiently localized for accurate object segmentation. This is due to the very invariance properties that make DCNNs good for high level tasks. We overcome this poor localization property of deep networks by combining the responses at the final DCNN layer with a fully connected Conditional Random Field (CRF). Qualitatively, our "DeepLab" system is able to localize segment boundaries at a level of accuracy which is beyond previous methods. Quantitatively, our method sets the new state-of-art at the PASCAL VOC-2012 semantic image segmentation task, reaching 71.6% IOU accuracy in the test set. We show how these results can be obtained efficiently: Careful network re-purposing and a novel application of the 'hole' algorithm from the wavelet community allow dense computation of neural net responses at 8 frames per second on a modern GPU.

In this work we address the task of semantic image segmentation with Deep Learning and make three main contributions that are experimentally shown to have substantial practical merit. First, we highlight convolution with upsampled filters, or 'atrous convolution', as a powerful tool in dense prediction tasks. Atrous convolution allows us to explicitly control the resolution at which feature responses are computed within Deep Convolutional Neural Networks. It also allows us to effectively enlarge the field of view of filters to incorporate larger context without increasing the number of parameters or the amount of computation. Second, we propose atrous spatial pyramid pooling (ASPP) to robustly segment objects at multiple scales. ASPP probes an incoming convolutional feature layer with filters at multiple sampling rates and effective fields-of-views, thus capturing objects as well as image context at multiple scales. Third, we improve the localization of object boundaries by combining methods from DCNNs and probabilistic graphical models. The commonly deployed combination of max-pooling and downsampling in DCNNs achieves invariance but has a toll on localization accuracy. We overcome this by combining the responses at the final DCNN layer with a fully connected Conditional Random Field (CRF), which is shown both qualitatively and quantitatively to improve localization performance. Our proposed "DeepLab" system sets the new state-of-art at the PASCAL VOC-2012 semantic image segmentation task, reaching 79.7% mIOU in the test set, and advances the results on three other datasets: PASCAL-Context, PASCAL-Person-Part, and Cityscapes. All of our code is made publicly available online.

视觉表示学习是解决各种视力问题的关键。依靠开创性的网格结构先验，卷积神经网络（CNN）已成为大多数深视觉模型的事实上的标准架构。例如，经典的语义分割方法通常采用带有编码器编码器体系结构的完全横向卷积网络（FCN）。编码器逐渐减少了空间分辨率，并通过更大的接受场来学习更多抽象的视觉概念。由于上下文建模对于分割至关重要，因此最新的努力一直集中在通过扩张（即极度）卷积或插入注意力模块来增加接受场。但是，基于FCN的体系结构保持不变。在本文中，我们旨在通过将视觉表示学习作为序列到序列预测任务来提供替代观点。具体而言，我们部署纯变压器以将图像编码为一系列贴片，而无需局部卷积和分辨率减少。通过在变压器的每一层中建立的全球环境，可以学习更强大的视觉表示形式，以更好地解决视力任务。特别是，我们的细分模型（称为分割变压器（SETR））在ADE20K上擅长（50.28％MIOU，这是提交当天测试排行榜中的第一个位置），Pascal环境（55.83％MIOU），并在CityScapes上达到竞争成果。此外，我们制定了一个分层局部全球（HLG）变压器的家族，其特征是窗户内的本地关注和跨窗户的全球性专注于层次结构和金字塔架构。广泛的实验表明，我们的方法在各种视觉识别任务（例如，图像分类，对象检测和实例分割和语义分割）上实现了吸引力的性能。

玻璃在我们的日常生活中非常普遍。现有的计算机视觉系统忽略了它，因此可能会产生严重的后果，例如，机器人可能会坠入玻璃墙。但是，感知玻璃的存在并不简单。关键的挑战是，任意物体/场景可以出现在玻璃后面。在本文中，我们提出了一个重要的问题，即从单个RGB图像中检测玻璃表面。为了解决这个问题，我们构建了第一个大规模玻璃检测数据集（GDD），并提出了一个名为GDNet-B的新颖玻璃检测网络，该网络通过新颖的大型场探索大型视野中的丰富上下文提示上下文特征集成（LCFI）模块并将高级和低级边界特征与边界特征增强（BFE）模块集成在一起。广泛的实验表明，我们的GDNET-B可以在GDD测试集内外的图像上达到满足玻璃检测结果。我们通过将其应用于其他视觉任务（包括镜像分割和显着对象检测）来进一步验证我们提出的GDNET-B的有效性和概括能力。最后，我们显示了玻璃检测的潜在应用，并讨论了可能的未来研究方向。

In this paper, we address the scene segmentation task by capturing rich contextual dependencies based on the self-attention mechanism. Unlike previous works that capture contexts by multi-scale feature fusion, we propose a Dual Attention Network (DANet) to adaptively integrate local features with their global dependencies. Specifically, we append two types of attention modules on top of dilated FCN, which model the semantic interdependencies in spatial and channel dimensions respectively. The position attention module selectively aggregates the feature at each position by a weighted sum of the features at all positions. Similar features would be related to each other regardless of their distances. Meanwhile, the channel attention module selectively emphasizes interdependent channel maps by integrating associated features among all channel maps. We sum the outputs of the two attention modules to further improve feature representation which contributes to more precise segmentation results. We achieve new state-of-theart segmentation performance on three challenging scene segmentation datasets, i.e., Cityscapes, PASCAL Context and COCO Stuff dataset. In particular, a Mean IoU score of 81.5% on Cityscapes test set is achieved without using coarse data. 1 .

在本文中，我们专注于探索有效的方法，以更快，准确和域的不可知性语义分割。受到相邻视频帧之间运动对齐的光流的启发，我们提出了一个流对齐模块（FAM），以了解相邻级别的特征映射之间的\ textit {语义流}，并将高级特征广播到高分辨率特征有效地，有效地有效。 。此外，将我们的FAM与共同特征的金字塔结构集成在一起，甚至在轻量重量骨干网络（例如Resnet-18和DFNET）上也表现出优于其他实时方法的性能。然后，为了进一步加快推理过程，我们还提出了一个新型的封闭式双流对齐模块，以直接对齐高分辨率特征图和低分辨率特征图，在该图中我们将改进版本网络称为SFNET-LITE。广泛的实验是在几个具有挑战性的数据集上进行的，结果显示了SFNET和SFNET-LITE的有效性。特别是，建议的SFNET-LITE系列在使用RESNET-18主链和78.8 MIOU以120 fps运行的情况下，使用RTX-3090上的STDC主链在120 fps运行时，在60 fps运行时达到80.1 miou。此外，我们将四个具有挑战性的驾驶数据集（即CityScapes，Mapillary，IDD和BDD）统一到一个大数据集中，我们将其命名为Unified Drive细分（UDS）数据集。它包含不同的域和样式信息。我们基准了UDS上的几项代表性作品。 SFNET和SFNET-LITE仍然可以在UDS上取得最佳的速度和准确性权衡，这在如此新的挑战性环境中是强大的基准。所有代码和模型均可在https://github.com/lxtgh/sfsegnets上公开获得。

玻璃在现实世界中非常普遍。受玻璃区域的不确定性以及玻璃背后的各种复杂场景的影响，玻璃的存在对许多计算机视觉任务构成了严重的挑战，从而使玻璃分割成为重要的计算机视觉任务。玻璃没有自己的视觉外观，而只能传输/反映其周围环境的外观，从而与其他常见对象根本不同。为了解决此类具有挑战性的任务，现有方法通常会探索并结合深网络中不同特征级别的有用线索。由于存在级别不同的特征之间的特征差距，即，深层特征嵌入了更多高级语义，并且更好地定位目标对象，而浅层特征具有更大的空间尺寸，并保持更丰富，更详细的低级信息，因此，将这些特征融合到天真的融合将导致亚最佳溶液。在本文中，我们将有效的特征融合到两个步骤中，以朝着精确的玻璃分割。首先，我们试图通过开发可区分性增强（DE）模块来弥合不同级别特征之间的特征差距，该模块使特定于级别的特征成为更具歧视性的表示，从而减轻了融合不兼容的特征。其次，我们设计了一个基于焦点和探索的融合（FEBF）模块，以通过突出显示常见并探索级别差异特征之间的差异，从而在融合过程中丰富挖掘有用的信息。

由于透明玻璃与图像中的任意物体相同，大多数现有物体检测方法产生较差的玻璃检测结果。与众不同的基于深度学习的智慧不同，只需使用对象边界作为辅助监督，我们利用标签解耦将原始标记的地图（GT）映射分解为内部扩散图和边界扩散图。与两个新生成的地图合作的GT映射破坏了物体边界的不平衡分布，导致玻璃检测质量改善。我们有三个关键贡献来解决透明的玻璃探测问题：（1）我们提出了一个三流神经网络（短暂的呼叫GlassNet），完全吸收三张地图中的有益功能。 （2）我们设计多尺度交互扩张模块，以探索更广泛的上下文信息。 （3）我们开发了一个基于关注的边界意识的功能拼接模块，用于集成多模态信息。基准数据集的广泛实验表明，在整体玻璃检测精度和边界清晰度方面，在SOTA方面对我们的方法进行了明确的改进。

Vision transformers (ViTs) encoding an image as a sequence of patches bring new paradigms for semantic segmentation.We present an efficient framework of representation separation in local-patch level and global-region level for semantic segmentation with ViTs. It is targeted for the peculiar over-smoothness of ViTs in semantic segmentation, and therefore differs from current popular paradigms of context modeling and most existing related methods reinforcing the advantage of attention. We first deliver the decoupled two-pathway network in which another pathway enhances and passes down local-patch discrepancy complementary to global representations of transformers. We then propose the spatially adaptive separation module to obtain more separate deep representations and the discriminative cross-attention which yields more discriminative region representations through novel auxiliary supervisions. The proposed methods achieve some impressive results: 1) incorporated with large-scale plain ViTs, our methods achieve new state-of-the-art performances on five widely used benchmarks; 2) using masked pre-trained plain ViTs, we achieve 68.9% mIoU on Pascal Context, setting a new record; 3) pyramid ViTs integrated with the decoupled two-pathway network even surpass the well-designed high-resolution ViTs on Cityscapes; 4) the improved representations by our framework have favorable transferability in images with natural corruptions. The codes will be released publicly.

本文提出了一种用于对象和场景的高质量图像分割的新方法。灵感来自于形态学图像处理技术中的扩张和侵蚀操作，像素级图像分割问题被视为挤压对象边界。从这个角度来看，提出了一种新颖且有效的\ textBF {边界挤压}模块。该模块用于从内侧和外侧方向挤压对象边界，这有助于精确掩模表示。提出了双向基于流的翘曲过程来产生这种挤压特征表示，并且设计了两个特定的损耗信号以监控挤压过程。边界挤压模块可以通过构建一些现有方法构建作为即插即用模块，可以轻松应用于实例和语义分段任务。此外，所提出的模块是重量的，因此具有实际使用的潜力。实验结果表明，我们简单但有效的设计可以在几个不同的数据集中产生高质量的结果。此外，边界上的其他几个指标用于证明我们对以前的工作中的方法的有效性。我们的方法对实例和语义分割的具有利于Coco和CityCapes数据集来产生重大改进，并且在相同的设置下以前的最先进的速度优于先前的最先进的速度。代码和模型将在\ url {https:/github.com/lxtgh/bsseg}发布。