完全有监督的语义细分从密集的口罩中学习，这需要封闭设置的大量注释成本。在本文中，我们使用自然语言作为监督，而无需任何像素级注释进行开放世界细分。我们将提出的框架称为FreeSeg，在该框架上可以从训练训练型模型的原始功能图中免费获得。与零射击或开放集分割相比，freeSeg不需要任何带注释的掩码，并且可以广泛预测超出类无需监督的分段之外的类别。具体而言，FreeSeg从图像文本相似性图（ITSM）中获得了可解释的对比度图像预处理（ICLIP）的自由掩码。我们的核心改进是浓密ICLIP的平滑最小池，具有部分标签和像素的分割策略。此外，没有复杂的设计，例如分组，聚类或检索，很简单。除了简单性外，Freeseg的表现超过了以前的最先进的边缘，例如在同一设置中，MIOU在MIOU上的13.4％。

对比性语言图像预训练（剪辑）通过随时可用的自然语言监督学习丰富的表示。它可以改善下游视觉任务的一般性能，包括但不限于零射击，长尾巴，细分，检索，标题和视频。但是，据我们所知，尚未研究剪辑的视觉解释性。为了提供其预测的视觉解释，我们提出了图像文本相似性图（ITSM）。基于它，我们出人意料地发现，剪辑比前景更喜欢背景区域，并且对人类理解提出了错误的可视化。在实验上，我们发现魔鬼在汇总部分，其中不适当的合并方法导致一种称为语义转移的现象。为了纠正和提高可视化结果，我们提出了蒙版的最大池，并使用自我监督图像编码器的注意力图。同时，解释性任务和识别任务需要不同的表示。为了解决这个问题，我们提出了双重预测，以满足这一要求。我们将上述方法整合为可解释的对比度图像预训练（ICLIP）。实验表明ICLIP极大地提高了可解释性。例如，在VOC 2012数据集中，非平凡的改进分别为$ 32.85 \％$和$ 49.10 \％$。

无弱监督的语义细分（WSSS）段对象没有密度注释的沉重负担。虽然作为价格，产生的伪掩模存在明显的嘈杂像素，其导致在这些伪掩模上训练的次优分割模型。但是罕见的研究通知或解决这个问题，即使在他们改进伪掩码后，即使这些嘈杂的像素也是不可避免的。所以我们试图在噪音缓解的方面提高WSSS。并且我们观察到许多嘈杂的像素具有高置信度，特别是当响应范围太宽或狭窄时，呈现不确定的状态。因此，在本文中，我们通过多次缩放预测映射来模拟响应的噪声变化以进行不确定性估计。然后使用不确定性来重量分割损失以减轻嘈杂的监督信号。我们调用此方法URN，通过响应缩放来缩短来自不确定性估计来噪声缓解。实验验证了URN的好处，我们的方法分别在Pascal VOC 2012和MS Coco 2014上实现了最先进的71.2％和41.5％，而无需额外的型号，如显着性检测。代码可在https://github.com/xmed-lab/urn获得。

Weakly supervised semantic segmentation (WSSS) with image-level labels is a challenging task in computer vision. Mainstream approaches follow a multi-stage framework and suffer from high training costs. In this paper, we explore the potential of Contrastive Language-Image Pre-training models (CLIP) to localize different categories with only image-level labels and without any further training. To efficiently generate high-quality segmentation masks from CLIP, we propose a novel framework called CLIP-ES for WSSS. Our framework improves all three stages of WSSS with special designs for CLIP: 1) We introduce the softmax function into GradCAM and exploit the zero-shot ability of CLIP to suppress the confusion caused by non-target classes and backgrounds. Meanwhile, to take full advantage of CLIP, we re-explore text inputs under the WSSS setting and customize two text-driven strategies: sharpness-based prompt selection and synonym fusion. 2) To simplify the stage of CAM refinement, we propose a real-time class-aware attention-based affinity (CAA) module based on the inherent multi-head self-attention (MHSA) in CLIP-ViTs. 3) When training the final segmentation model with the masks generated by CLIP, we introduced a confidence-guided loss (CGL) to mitigate noise and focus on confident regions. Our proposed framework dramatically reduces the cost of training for WSSS and shows the capability of localizing objects in CLIP. Our CLIP-ES achieves SOTA performance on Pascal VOC 2012 and MS COCO 2014 while only taking 10% time of previous methods for the pseudo mask generation. Code is available at https://github.com/linyq2117/CLIP-ES.

分组和识别是视觉场景理解的重要组成部分，例如，用于对象检测和语义分割。借助端到端的深度学习系统，图像区域的分组通常通过像素级识别标签的自上而下的监督隐式进行。取而代之的是，在本文中，我们建议将分组机制恢复到深层网络中，从而使语义片段仅在文本监督下自动出现。我们提出了一个分层分组视觉变压器（GroupVit），它超出了常规的网格结构表示，并学会了将图像区域分组为逐渐更大的任意形状段。我们通过对比度损失在大规模图像文本数据集上与文本编码器共同训练小组vit。只有文本监督并且没有任何像素级注释，GroupVit就学会了将语义区域分组在一起，并以零拍的方式成功地将语义分割的任务转移到语义分割的任务，即，而没有任何进一步的微调。它在Pascal VOC 2012上获得了52.3％MIOU的零拍摄精度和Pascal上下文数据集中的22.4％MIOU，并竞争性地表现为需要更高水平监督的最先进的转移学习方法。我们在https://github.com/nvlabs/groupvit上开放代码。

对比语言 - 图像预训练（剪辑）在开放词汇零拍摄图像识别方面取得了显着突破。许多最近的研究利用预先训练的剪辑模型进行图像级分类和操纵。在本文中，我们进一步探索了剪辑的电位，用于像素级致密预测，具体地在语义分割中。在没有注释和微调的情况下，我们的方法Denseclip会产生合理的分段结果，在各种数据集中的开放概念上产生了合理的分段结果。通过添加伪标签和自我培训，Denseclip +超越了SOTA转换零点语义分割方法，通过大幅边缘，例如，Pascal VOC / Pascal Context / Coco Sift的宣传课程从35.6 / 20.7 / 30.3到86.1 / 66.7 / 54.7。我们还在输入损坏下测试了Denseclip的稳健性，并评估其在识别细粒度物体和新颖概念中的能力。我们的发现表明，Denseclip可以作为致密预测任务的新可靠的监督源，以实现无批准的分割。

零拍语义分割（ZS3）旨在分割培训中没有看到的新型类别。现有的作品将zs3作为像素级零拍分类问题，以及在仅使用文本预先培训的语言模型的帮助下，将语义知识从看见课程转移到未知一体。虽然简单，像素级ZS3配方显示了集成具有图像文本对预训练的视觉语言模型的有限能力，并且目前展示了愿景任务的巨大潜力。灵感来自观察，人类经常执行段级语义标签，我们建议将zs3分成两个子任务：1）将像素分组到段中的类别不可知的分组任务。 2）段的零拍分类任务。前者的子任务不涉及类别信息，可以直接传输到未安装类的组像素。后一子任务在段级执行，提供了一种自然的方式，可以利用预先培训的大规模视觉模型，用于ZS3的图像文本对（例如剪辑）。基于解耦制剂，我们提出了一种简单且有效的零拍语义分割模型，称为ZegFormer，这优于大幅边缘的先前方法，例如，Pascal VOC的35分和3分在Coco-在宫颈课程方面的东西。代码将在https://github.com/dingjiansw101/zegformer发布。

We tackle open-world semantic segmentation, which aims at learning to segment arbitrary visual concepts in images, by using only image-text pairs without dense annotations. Existing open-world segmentation methods have shown impressive advances by employing contrastive learning (CL) to learn diverse visual concepts and adapting the learned image-level understanding to the segmentation task. However, these methods based on CL have a discrepancy since it only considers image-text level alignment in training time, while the segmentation task requires region-text level alignment at test time. In this paper, we propose a novel Text-grounded Contrastive Learning (TCL) framework to directly align a text and a region described by the text to address the train-test discrepancy. Our method generates a segmentation mask associated with a given text, extracts grounded image embedding from the masked region, and aligns it with text embedding via TCL. The framework addresses the discrepancy by letting the model learn region-text level alignment instead of image-text level alignment and encourages the model to directly improve the quality of generated segmentation masks. In addition, for a rigorous and fair comparison, we present a unified evaluation protocol with widely used 8 semantic segmentation datasets. TCL achieves state-of-the-art zero-shot segmentation performance with large margins in all datasets. Code is available at https://github.com/kakaobrain/tcl.

We introduce Patch Aligned Contrastive Learning (PACL), a modified compatibility function for CLIP's contrastive loss, intending to train an alignment between the patch tokens of the vision encoder and the CLS token of the text encoder. With such an alignment, a model can identify regions of an image corresponding to a given text input, and therefore transfer seamlessly to the task of open vocabulary semantic segmentation without requiring any segmentation annotations during training. Using pre-trained CLIP encoders with PACL, we are able to set the state-of-the-art on the task of open vocabulary zero-shot segmentation on 4 different segmentation benchmarks: Pascal VOC, Pascal Context, COCO Stuff and ADE20K. Furthermore, we show that PACL is also applicable to image-level predictions and when used with a CLIP backbone, provides a general improvement in zero-shot classification accuracy compared to CLIP, across a suite of 12 image classification datasets.

最近，Vision-Language预训练的零拍图像分类已经表现出令人难以置信的成就，即该模型可以对任意类别进行分类而不看到该类别的其他注释图像。然而，目前尚不清楚如何在更广泛的视觉问题上进行零射识别，例如对象检测和语义分割。在本文中，我们通过在现成的预训练的视觉模型，即剪辑上建立零拍语义分割来定位零拍语义分割。很难因为语义分割和剪辑模型在不同的视觉粒度上执行，该语义分段处理在像素上时，而剪辑在图像上执行。为了解决处理粒度的差异，我们拒绝使用普遍的一级FCN基于FCN的框架，并倡导一个两级语义分割框架，其中第一阶段提取一个完全提取的掩模提案和第二阶段利用基于图像的剪辑模型在第一阶段生成的蒙版图像作物上执行零拍分类。我们的实验结果表明，这种简单的框架通过大型利润率超越了先前的最先进：+29.5 Hiou On Pascal VOC 2012 DataSet，+8.9 Hiou On Coco Stuff DataSet。凭借其简单性和强大的表现，我们希望本框架成为促进未来研究的基准。

虽然图像级弱监督的语义分割（WSSS）与类激活地图（CAM）作为基石取得了很大的进展，但分类和分割之间的大型监督差距仍然妨碍模型以产生用于分割的更完整和精确的伪掩模。在这项研究中，我们提出了弱监管的像素到原型对比度，其可以提供像素级监控信号来缩小间隙。由两个直观的前沿引导，我们的方法在不同视图和图像的单个视图中执行，旨在施加跨视图特征语义一致性正则化，并促进特征空间的帧内（互联）紧凑性（色散）。我们的方法可以无缝地纳入现有的WSSS模型，而没有对基础网络的任何更改，并且不会产生任何额外的推断负担。广泛的实验表明，我们的方法始终如一地通过大幅度改善两个强的基线，证明了有效性。具体而言，建于接缝的顶部，我们将初始种子Miou 2012从55.4％提高到Pascal VOC上。此外，通过我们的方法武装，我们从70.8％增加到73.6％的EPS分割Miou，实现了新的最先进。

我们设计了一个开放式图像分割模型，以将图像组织到任意文本指示的有意义区域中。最近的作品（剪辑和对齐），尽管使用图像级字幕标签获得了令人印象深刻的开放式摄氏分类精度，但仍无法用像素分段视觉概念。我们认为这些模型错过了视觉分组的重要步骤，该模型在学习视觉语义对齐之前将像素组织成小组。我们建议OpenSeg解决上述问题，同时仍利用可扩展的图像级标题监督。首先，它学会了为可能的组织提出细分面具。然后，它通过将标题中的每个单词与一个或几个预测的面具对齐来学习视觉语义对齐。我们发现蒙版表示是支持字幕学习图像分割的关键，从而可以扩大数据集和词汇大小。 OpenSeg大大优于pascal数据集上LSEG最近的开放式LSEG +19.9 MIOU的开放式方法。

这项工作的目的是在训练过程中划分和名称图像区域，而无需访问像素级标签。为了解决这项任务，我们通过提炼两个基础模型的互补优势来构建细分器。第一个剪辑（Radford等，2021）具有将名称分配给图像内容的能力，但缺乏对象结构的可访问表示。第二个Dino（Caron等，2021）捕获了物体的空间范围，但对对象名称不了解。我们的方法称为名为Mask，开始使用剪辑来构建特定于类别的图像档案。这些图像用dino的类别 - 敏捷的对象检测器进行伪标记，然后使用夹档案标签通过类别特定的细分器进行完善。得益于精制面具的高质量，我们表明，在这些档案中训练有适当数据的培训的标准分割体系结构可为单对象和多对象图像带来令人印象深刻的语义细分能力。结果，我们提出的名字命名为在包括VOC2012，可可和大规模ImageNet-S数据集在内的五个基准上的一系列先前工作中表现出色。

深度学习的快速发展在分割方面取得了长足的进步，这是计算机视觉的基本任务之一。但是，当前的细分算法主要取决于像素级注释的可用性，这些注释通常昂贵，乏味且费力。为了减轻这一负担，过去几年见证了越来越多的关注，以建立标签高效，深度学习的细分算法。本文对标签有效的细分方法进行了全面的审查。为此，我们首先根据不同类型的弱标签提供的监督（包括没有监督，粗略监督，不完整的监督和嘈杂的监督和嘈杂的监督），首先开发出一种分类法来组织这些方法，并通过细分类型（包括语义细分）补充，实例分割和全景分割）。接下来，我们从统一的角度总结了现有的标签有效的细分方法，该方法讨论了一个重要的问题：如何弥合弱监督和密集预测之间的差距 - 当前的方法主要基于启发式先导，例如交叉像素相似性，跨标签约束，跨视图一致性，跨图像关系等。最后，我们分享了对标签有效深层细分的未来研究方向的看法。

Recently, CLIP has been applied to pixel-level zero-shot learning tasks via a two-stage scheme. The general idea is to first generate class-agnostic region proposals and then feed the cropped proposal regions to CLIP to utilize its image-level zero-shot classification capability. While effective, such a scheme requires two image encoders, one for proposal generation and one for CLIP, leading to a complicated pipeline and high computational cost. In this work, we pursue a simpler-and-efficient one-stage solution that directly extends CLIP's zero-shot prediction capability from image to pixel level. Our investigation starts with a straightforward extension as our baseline that generates semantic masks by comparing the similarity between text and patch embeddings extracted from CLIP. However, such a paradigm could heavily overfit the seen classes and fail to generalize to unseen classes. To handle this issue, we propose three simple-but-effective designs and figure out that they can significantly retain the inherent zero-shot capacity of CLIP and improve pixel-level generalization ability. Incorporating those modifications leads to an efficient zero-shot semantic segmentation system called ZegCLIP. Through extensive experiments on three public benchmarks, ZegCLIP demonstrates superior performance, outperforming the state-of-the-art methods by a large margin under both "inductive" and "transductive" zero-shot settings. In addition, compared with the two-stage method, our one-stage ZegCLIP achieves a speedup of about 5 times faster during inference. We release the code at https://github.com/ZiqinZhou66/ZegCLIP.git.

生成精确的类感知的伪基真实，也就是类激活图（CAM），对于弱监督的语义分割至关重要。原始CAM方法通常会产生不完整和不准确的定位图。为了解决这个问题，本文提出了基于可变形卷积中的偏移学习的扩展和收缩方案，以依次改善两个各个阶段中定位对象的回忆和精度。在扩展阶段，在可变形卷积层中的偏移学习分支，称为“扩展采样器”，寻求采样越来越小的判别对象区域，这是由逆监督信号驱动的，从而最大程度地提高了图像级分类损失。然后在收缩阶段逐渐将位置更完整的物体逐渐缩小到最终对象区域。在收缩阶段，引入了另一个可变形卷积层的偏移学习分支，称为“收缩采样器”，以排除在扩展阶段参加的假积极背景区域，以提高定位图的精度。我们在Pascal VOC 2012和MS Coco 2014上进行了各种实验，以很好地证明了我们方法比其他最先进的方法对弱监督语义分割的优越性。代码将在此处公开提供，https://github.com/tyroneli/esol_wsss。

Weakly supervised semantic segmentation is typically inspired by class activation maps, which serve as pseudo masks with class-discriminative regions highlighted. Although tremendous efforts have been made to recall precise and complete locations for each class, existing methods still commonly suffer from the unsolicited Out-of-Candidate (OC) error predictions that not belongs to the label candidates, which could be avoidable since the contradiction with image-level class tags is easy to be detected. In this paper, we develop a group ranking-based Out-of-Candidate Rectification (OCR) mechanism in a plug-and-play fashion. Firstly, we adaptively split the semantic categories into In-Candidate (IC) and OC groups for each OC pixel according to their prior annotation correlation and posterior prediction correlation. Then, we derive a differentiable rectification loss to force OC pixels to shift to the IC group. Incorporating our OCR with seminal baselines (e.g., AffinityNet, SEAM, MCTformer), we can achieve remarkable performance gains on both Pascal VOC (+3.2%, +3.3%, +0.8% mIoU) and MS COCO (+1.0%, +1.3%, +0.5% mIoU) datasets with negligible extra training overhead, which justifies the effectiveness and generality of our OCR.

弱监督语义分段（WSSS）的现有研究已经利用了类激活映射（CAM）来本地化类对象。然而，由于分类损失不足以提供精确的物区域，因此凸轮倾向于偏向辨别模式（即，稀疏），并且不提供精确的对象边界信息（即，不确定）。为了解决这些限制，我们提出了一种新颖的框架（由MainNet和SupportNet组成），从给定的图像级监督导出像素级自我监督。在我们的框架中，借助拟议的区域对比模块（RCM）和多尺寸细分模块（MAM），MainNet由来自SupportNet的自我监督训练。 RCM从SupportNet中提取两种形式的自我监督：（1）从凸轮和（2）根据类区域掩码的特征获得的（2）类的类别区域掩模。然后，主目的的每个像素明智的特征被原型训练以对比的方式，锐化所产生的凸轮。 MAM利用从SupportNet的多个尺度推断的凸轮作为自我监控来指导MailNet。基于Mainnet和SupportNet的多尺度凸轮之间的不相似性，来自主目的的凸轮训练以扩展到较少辨别的区域。该方法在Pascal VOC 2012数据集上显示了在列车和验证集上的最先进的WSSS性能。为了再现性，代码将很快公开提供。

大多数现有的语义分割方法都以图像级类标签作为监督，高度依赖于从标准分类网络生成的初始类激活图（CAM）。在本文中，提出了一种新颖的“渐进贴片学习”方法，以改善分类的局部细节提取，从而更好地覆盖整个对象的凸轮，而不仅仅是在常规分类模型中获得的CAM中的最歧视区域。 “补丁学习”将特征映射破坏成贴片，并在最终聚合之前并行独立处理每个本地贴片。这样的机制强迫网络从分散的歧视性本地部分中找到弱信息，从而提高了本地细节的敏感性。 “渐进的补丁学习”进一步将特征破坏和补丁学习扩展到多层粒度。与多阶段优化策略合作，这种“渐进的补丁学习”机制隐式地为模型提供了跨不同位置粒状性的特征提取能力。作为隐式多粒性渐进式融合方法的替代方案，我们还提出了一种明确的方法，以同时将单个模型中不同粒度的特征融合，从而进一步增强了完整对象覆盖的凸轮质量。我们提出的方法在Pascal VOC 2012数据集上取得了出色的性能，例如，测试集中有69.6 $％miou），它超过了大多数现有的弱监督语义细分方法。代码将在此处公开提供，https://github.com/tyroneli/ppl_wsss。

经过图像级标签训练的弱监督图像分割通常在伪地面上的生成期间因物体区域的覆盖率不准确。这是因为对象激活图受到分类目标的训练，并且缺乏概括的能力。为了提高客观激活图的一般性，我们提出了一个区域原型网络RPNET来探索训练集的跨图像对象多样性。通过区域特征比较确定了跨图像的相似对象零件。区域之间传播对象信心，以发现新的对象区域，同时抑制了背景区域。实验表明，该提出的方法会生成更完整和准确的伪对象掩模，同时在Pascal VOC 2012和MS Coco上实现最先进的性能。此外，我们研究了提出的方法在减少训练集方面的鲁棒性。