Weakly supervised semantic segmentation (WSSS) with image-level labels is a challenging task in computer vision. Mainstream approaches follow a multi-stage framework and suffer from high training costs. In this paper, we explore the potential of Contrastive Language-Image Pre-training models (CLIP) to localize different categories with only image-level labels and without any further training. To efficiently generate high-quality segmentation masks from CLIP, we propose a novel framework called CLIP-ES for WSSS. Our framework improves all three stages of WSSS with special designs for CLIP: 1) We introduce the softmax function into GradCAM and exploit the zero-shot ability of CLIP to suppress the confusion caused by non-target classes and backgrounds. Meanwhile, to take full advantage of CLIP, we re-explore text inputs under the WSSS setting and customize two text-driven strategies: sharpness-based prompt selection and synonym fusion. 2) To simplify the stage of CAM refinement, we propose a real-time class-aware attention-based affinity (CAA) module based on the inherent multi-head self-attention (MHSA) in CLIP-ViTs. 3) When training the final segmentation model with the masks generated by CLIP, we introduced a confidence-guided loss (CGL) to mitigate noise and focus on confident regions. Our proposed framework dramatically reduces the cost of training for WSSS and shows the capability of localizing objects in CLIP. Our CLIP-ES achieves SOTA performance on Pascal VOC 2012 and MS COCO 2014 while only taking 10% time of previous methods for the pseudo mask generation. Code is available at https://github.com/linyq2117/CLIP-ES.

带有图像级标签的弱监督语义分割（WSSS）是一项重要且具有挑战性的任务。由于高训练效率，WSS的端到端解决方案受到了社区的越来越多的关注。但是，当前方法主要基于卷积神经网络，无法正确探索全局信息，因此通常会导致不完整的对象区域。在本文中，为了解决上述问题，我们介绍了自然整合全局信息的变形金刚，以生成更具不可或缺的初始伪标签，以用于端到端WSSS。由变压器中的自我注意力与语义亲和力之间的固有一致性激发，我们提出了来自注意力（AFA）模块的亲和力，以从变形金刚中的多头自我注意力（MHSA）学习语义亲和力。然后将学习的亲和力借用以完善初始伪标签以进行分割。此外，为了有效地得出可靠的亲和力标签，用于监督AFA并确保伪标签的局部一致性，我们设计了一个像素自适应改进模块，该模块结合了低级图像外观信息，以完善伪标签。我们进行了广泛的实验，我们的方法在Pascal VOC 2012和MS Coco 2014数据集中获得了66.0％和38.9％的MIOU，大大优于最近的端到端方法和几个多阶段竞争对手。代码可在https://github.com/rulixiang/afa上找到。

弱监督的语义分割（WSSS）是具有挑战性的，特别是当使用图像级标签来监督像素级预测时。为了弥合它们的差距，通常生成一个类激活图（CAM）以提供像素级伪标签。卷积神经网络中的凸轮患有部分激活，即，仅激活最多的识别区域。另一方面，基于变压器的方法在探索具有长范围依赖性建模的全球背景下，非常有效，可能会减轻“部分激活”问题。在本文中，我们提出了基于第一变压器的WSSS方法，并介绍了梯度加权元素明智的变压器注意图（GetAn）。 GetaN显示所有特征映射元素的精确激活，跨越变压器层显示对象的不同部分。此外，我们提出了一种激活感知标签完成模块来生成高质量的伪标签。最后，我们将我们的方法纳入了使用双向向上传播的WSS的结束框架。 Pascal VOC和Coco的广泛实验表明，我们的结果通过显着的保证金击败了最先进的端到端方法，并且优于大多数多级方法.M大多数多级方法。

大多数现有的语义分割方法都以图像级类标签作为监督，高度依赖于从标准分类网络生成的初始类激活图（CAM）。在本文中，提出了一种新颖的“渐进贴片学习”方法，以改善分类的局部细节提取，从而更好地覆盖整个对象的凸轮，而不仅仅是在常规分类模型中获得的CAM中的最歧视区域。 “补丁学习”将特征映射破坏成贴片，并在最终聚合之前并行独立处理每个本地贴片。这样的机制强迫网络从分散的歧视性本地部分中找到弱信息，从而提高了本地细节的敏感性。 “渐进的补丁学习”进一步将特征破坏和补丁学习扩展到多层粒度。与多阶段优化策略合作，这种“渐进的补丁学习”机制隐式地为模型提供了跨不同位置粒状性的特征提取能力。作为隐式多粒性渐进式融合方法的替代方案，我们还提出了一种明确的方法，以同时将单个模型中不同粒度的特征融合，从而进一步增强了完整对象覆盖的凸轮质量。我们提出的方法在Pascal VOC 2012数据集上取得了出色的性能，例如，测试集中有69.6 $％miou），它超过了大多数现有的弱监督语义细分方法。代码将在此处公开提供，https://github.com/tyroneli/ppl_wsss。

弱监督的语义细分（WSSS）旨在仅使用用于训练的图像级标签来产生像素类预测。为此，以前的方法采用了通用管道：它们从类激活图（CAM）生成伪口罩，并使用此类掩码来监督分割网络。但是，由于凸轮的局部属性，即它们倾向于仅专注于小的判别对象零件，因此涵盖涵盖整个物体的全部范围的全面伪面罩是一项挑战。在本文中，我们将CAM的局部性与卷积神经网络（CNNS）的质地偏见特性相关联。因此，我们建议利用形状信息来补充质地偏见的CNN特征，从而鼓励掩模预测不仅是全面的，而且还与物体边界相交。我们通过一种新颖的改进方法进一步完善了在线方式的预测，该方法同时考虑了类和颜色亲和力，以生成可靠的伪口罩以监督模型。重要的是，我们的模型是在单阶段框架内进行端到端训练的，因此在培训成本方面有效。通过对Pascal VOC 2012的广泛实验，我们验证了方法在产生精确和形状对准的分割结果方面的有效性。具体而言，我们的模型超过了现有的最新单阶段方法。此外，当在没有铃铛和哨声的简单两阶段管道中采用时，它还在多阶段方法上实现了新的最新性能。

弱监督语义分段（WSSS）的现有研究已经利用了类激活映射（CAM）来本地化类对象。然而，由于分类损失不足以提供精确的物区域，因此凸轮倾向于偏向辨别模式（即，稀疏），并且不提供精确的对象边界信息（即，不确定）。为了解决这些限制，我们提出了一种新颖的框架（由MainNet和SupportNet组成），从给定的图像级监督导出像素级自我监督。在我们的框架中，借助拟议的区域对比模块（RCM）和多尺寸细分模块（MAM），MainNet由来自SupportNet的自我监督训练。 RCM从SupportNet中提取两种形式的自我监督：（1）从凸轮和（2）根据类区域掩码的特征获得的（2）类的类别区域掩模。然后，主目的的每个像素明智的特征被原型训练以对比的方式，锐化所产生的凸轮。 MAM利用从SupportNet的多个尺度推断的凸轮作为自我监控来指导MailNet。基于Mainnet和SupportNet的多尺度凸轮之间的不相似性，来自主目的的凸轮训练以扩展到较少辨别的区域。该方法在Pascal VOC 2012数据集上显示了在列车和验证集上的最先进的WSSS性能。为了再现性，代码将很快公开提供。

经过图像级标签训练的弱监督图像分割通常在伪地面上的生成期间因物体区域的覆盖率不准确。这是因为对象激活图受到分类目标的训练，并且缺乏概括的能力。为了提高客观激活图的一般性，我们提出了一个区域原型网络RPNET来探索训练集的跨图像对象多样性。通过区域特征比较确定了跨图像的相似对象零件。区域之间传播对象信心，以发现新的对象区域，同时抑制了背景区域。实验表明，该提出的方法会生成更完整和准确的伪对象掩模，同时在Pascal VOC 2012和MS Coco上实现最先进的性能。此外，我们研究了提出的方法在减少训练集方面的鲁棒性。

生成精确的类感知的伪基真实，也就是类激活图（CAM），对于弱监督的语义分割至关重要。原始CAM方法通常会产生不完整和不准确的定位图。为了解决这个问题，本文提出了基于可变形卷积中的偏移学习的扩展和收缩方案，以依次改善两个各个阶段中定位对象的回忆和精度。在扩展阶段，在可变形卷积层中的偏移学习分支，称为“扩展采样器”，寻求采样越来越小的判别对象区域，这是由逆监督信号驱动的，从而最大程度地提高了图像级分类损失。然后在收缩阶段逐渐将位置更完整的物体逐渐缩小到最终对象区域。在收缩阶段，引入了另一个可变形卷积层的偏移学习分支，称为“收缩采样器”，以排除在扩展阶段参加的假积极背景区域，以提高定位图的精度。我们在Pascal VOC 2012和MS Coco 2014上进行了各种实验，以很好地证明了我们方法比其他最先进的方法对弱监督语义分割的优越性。代码将在此处公开提供，https://github.com/tyroneli/esol_wsss。

Recently, CLIP has been applied to pixel-level zero-shot learning tasks via a two-stage scheme. The general idea is to first generate class-agnostic region proposals and then feed the cropped proposal regions to CLIP to utilize its image-level zero-shot classification capability. While effective, such a scheme requires two image encoders, one for proposal generation and one for CLIP, leading to a complicated pipeline and high computational cost. In this work, we pursue a simpler-and-efficient one-stage solution that directly extends CLIP's zero-shot prediction capability from image to pixel level. Our investigation starts with a straightforward extension as our baseline that generates semantic masks by comparing the similarity between text and patch embeddings extracted from CLIP. However, such a paradigm could heavily overfit the seen classes and fail to generalize to unseen classes. To handle this issue, we propose three simple-but-effective designs and figure out that they can significantly retain the inherent zero-shot capacity of CLIP and improve pixel-level generalization ability. Incorporating those modifications leads to an efficient zero-shot semantic segmentation system called ZegCLIP. Through extensive experiments on three public benchmarks, ZegCLIP demonstrates superior performance, outperforming the state-of-the-art methods by a large margin under both "inductive" and "transductive" zero-shot settings. In addition, compared with the two-stage method, our one-stage ZegCLIP achieves a speedup of about 5 times faster during inference. We release the code at https://github.com/ZiqinZhou66/ZegCLIP.git.

Weakly supervised semantic segmentation is typically inspired by class activation maps, which serve as pseudo masks with class-discriminative regions highlighted. Although tremendous efforts have been made to recall precise and complete locations for each class, existing methods still commonly suffer from the unsolicited Out-of-Candidate (OC) error predictions that not belongs to the label candidates, which could be avoidable since the contradiction with image-level class tags is easy to be detected. In this paper, we develop a group ranking-based Out-of-Candidate Rectification (OCR) mechanism in a plug-and-play fashion. Firstly, we adaptively split the semantic categories into In-Candidate (IC) and OC groups for each OC pixel according to their prior annotation correlation and posterior prediction correlation. Then, we derive a differentiable rectification loss to force OC pixels to shift to the IC group. Incorporating our OCR with seminal baselines (e.g., AffinityNet, SEAM, MCTformer), we can achieve remarkable performance gains on both Pascal VOC (+3.2%, +3.3%, +0.8% mIoU) and MS COCO (+1.0%, +1.3%, +0.5% mIoU) datasets with negligible extra training overhead, which justifies the effectiveness and generality of our OCR.

Image-level weakly supervised semantic segmentation is a challenging problem that has been deeply studied in recent years. Most of advanced solutions exploit class activation map (CAM). However, CAMs can hardly serve as the object mask due to the gap between full and weak supervisions. In this paper, we propose a self-supervised equivariant attention mechanism (SEAM) to discover additional supervision and narrow the gap. Our method is based on the observation that equivariance is an implicit constraint in fully supervised semantic segmentation, whose pixel-level labels take the same spatial transformation as the input images during data augmentation. However, this constraint is lost on the CAMs trained by image-level supervision. Therefore, we propose consistency regularization on predicted CAMs from various transformed images to provide self-supervision for network learning. Moreover, we propose a pixel correlation module (PCM), which exploits context appearance information and refines the prediction of current pixel by its similar neighbors, leading to further improvement on CAMs consistency. Extensive experiments on PASCAL VOC 2012 dataset demonstrate our method outperforms state-of-the-art methods using the same level of supervision. The code is released online 1 .

无弱监督的语义细分（WSSS）段对象没有密度注释的沉重负担。虽然作为价格，产生的伪掩模存在明显的嘈杂像素，其导致在这些伪掩模上训练的次优分割模型。但是罕见的研究通知或解决这个问题，即使在他们改进伪掩码后，即使这些嘈杂的像素也是不可避免的。所以我们试图在噪音缓解的方面提高WSSS。并且我们观察到许多嘈杂的像素具有高置信度，特别是当响应范围太宽或狭窄时，呈现不确定的状态。因此，在本文中，我们通过多次缩放预测映射来模拟响应的噪声变化以进行不确定性估计。然后使用不确定性来重量分割损失以减轻嘈杂的监督信号。我们调用此方法URN，通过响应缩放来缩短来自不确定性估计来噪声缓解。实验验证了URN的好处，我们的方法分别在Pascal VOC 2012和MS Coco 2014上实现了最先进的71.2％和41.5％，而无需额外的型号，如显着性检测。代码可在https://github.com/xmed-lab/urn获得。

最近，Vision-Language预训练的零拍图像分类已经表现出令人难以置信的成就，即该模型可以对任意类别进行分类而不看到该类别的其他注释图像。然而，目前尚不清楚如何在更广泛的视觉问题上进行零射识别，例如对象检测和语义分割。在本文中，我们通过在现成的预训练的视觉模型，即剪辑上建立零拍语义分割来定位零拍语义分割。很难因为语义分割和剪辑模型在不同的视觉粒度上执行，该语义分段处理在像素上时，而剪辑在图像上执行。为了解决处理粒度的差异，我们拒绝使用普遍的一级FCN基于FCN的框架，并倡导一个两级语义分割框架，其中第一阶段提取一个完全提取的掩模提案和第二阶段利用基于图像的剪辑模型在第一阶段生成的蒙版图像作物上执行零拍分类。我们的实验结果表明，这种简单的框架通过大型利润率超越了先前的最先进：+29.5 Hiou On Pascal VOC 2012 DataSet，+8.9 Hiou On Coco Stuff DataSet。凭借其简单性和强大的表现，我们希望本框架成为促进未来研究的基准。

完全有监督的语义细分从密集的口罩中学习，这需要封闭设置的大量注释成本。在本文中，我们使用自然语言作为监督，而无需任何像素级注释进行开放世界细分。我们将提出的框架称为FreeSeg，在该框架上可以从训练训练型模型的原始功能图中免费获得。与零射击或开放集分割相比，freeSeg不需要任何带注释的掩码，并且可以广泛预测超出类无需监督的分段之外的类别。具体而言，FreeSeg从图像文本相似性图（ITSM）中获得了可解释的对比度图像预处理（ICLIP）的自由掩码。我们的核心改进是浓密ICLIP的平滑最小池，具有部分标签和像素的分割策略。此外，没有复杂的设计，例如分组，聚类或检索，很简单。除了简单性外，Freeseg的表现超过了以前的最先进的边缘，例如在同一设置中，MIOU在MIOU上的13.4％。

仅使用图像级标签的弱监督语义细分旨在降低分割任务的注释成本。现有方法通常利用类激活图（CAM）来定位伪标签生成的对象区域。但是，凸轮只能发现对象的最歧视部分，从而导致下像素级伪标签。为了解决这个问题，我们提出了一个限制的显着性和内类关系的显着性（I $^2 $ CRC）框架，以协助CAM中激活的对象区域的扩展。具体而言，我们提出了一个显着性指导的类不足的距离模块，以通过将特征对准其类原型来更接近类别内特征。此外，我们提出了一个特定的距离模块，以将类间特征推开，并鼓励对象区域的激活高于背景。除了加强分类网络激活CAM中更多积分对象区域的能力外，我们还引入了一个对象引导的标签细化模块，以完全利用分割预测和初始标签，以获取出色的伪标签。 Pascal VOC 2012和可可数据集的广泛实验很好地证明了I $^2 $ CRC的有效性，而不是其他最先进的对应物。源代码，模型和数据已在\ url {https://github.com/nust-machine-intelligence-laboratory/i2crc}提供。

虽然现有的语义分割方法实现令人印象深刻的结果，但它们仍然努力将其模型逐步更新，因为新类别被发现。此外，逐个像素注释昂贵且耗时。本文提出了一种新颖的对语义分割学习弱增量学习的框架，旨在学习从廉价和大部分可用的图像级标签进行新课程。与现有的方法相反，需要从下线生成伪标签，我们使用辅助分类器，用图像级标签培训并由分段模型规范化，在线获取伪监督并逐步更新模型。我们通过使用由辅助分类器生成的软标签来应对过程中的内在噪声。我们展示了我们对Pascal VOC和Coco数据集的方法的有效性，表现出离线弱监督方法，并获得了具有全面监督的增量学习方法的结果。

对比语言 - 图像预训练（剪辑）在开放词汇零拍摄图像识别方面取得了显着突破。许多最近的研究利用预先训练的剪辑模型进行图像级分类和操纵。在本文中，我们进一步探索了剪辑的电位，用于像素级致密预测，具体地在语义分割中。在没有注释和微调的情况下，我们的方法Denseclip会产生合理的分段结果，在各种数据集中的开放概念上产生了合理的分段结果。通过添加伪标签和自我培训，Denseclip +超越了SOTA转换零点语义分割方法，通过大幅边缘，例如，Pascal VOC / Pascal Context / Coco Sift的宣传课程从35.6 / 20.7 / 30.3到86.1 / 66.7 / 54.7。我们还在输入损坏下测试了Denseclip的稳健性，并评估其在识别细粒度物体和新颖概念中的能力。我们的发现表明，Denseclip可以作为致密预测任务的新可靠的监督源，以实现无批准的分割。

尽管仅使用图像级标签（WSSS-IL）仅使用图像级标签（WSSS-IL）弱监督的语义分割可能有用，但其低性能和实现复杂性仍然限制了其应用。主要原因是（a）非检测和（b）假检测现象：（a）从现有的WSSS-IL方法中完善的类激活图仍然仅表示大规模对象的部分区域，以及（b） - 规模对象，过度激活使它们偏离对象边缘。我们提出了反复进行的，该反复环境通过递归迭代交替减少非和错误的检测，从而隐含地找到了最大程度地减少这两个错误的最佳连接。我们还提出了一种称为EdgePredictMix的新型数据增强方法（DA）方法，该方法通过利用相邻像素之间的概率差异信息在结合分割结果时进一步表达了对象的边缘，从而在将现有的DA方法应用于WSS时，从而弥补了缺点。我们在Pascal VOC 2012和MS Coco 2014基准（VOC Val 74.4％，可可Val 46.4％）上实现了最先进的表演。该代码可从https://github.com/ofrin/recurseed_and_edgepredictmix获得。

深度学习的快速发展在分割方面取得了长足的进步，这是计算机视觉的基本任务之一。但是，当前的细分算法主要取决于像素级注释的可用性，这些注释通常昂贵，乏味且费力。为了减轻这一负担，过去几年见证了越来越多的关注，以建立标签高效，深度学习的细分算法。本文对标签有效的细分方法进行了全面的审查。为此，我们首先根据不同类型的弱标签提供的监督（包括没有监督，粗略监督，不完整的监督和嘈杂的监督和嘈杂的监督），首先开发出一种分类法来组织这些方法，并通过细分类型（包括语义细分）补充，实例分割和全景分割）。接下来，我们从统一的角度总结了现有的标签有效的细分方法，该方法讨论了一个重要的问题：如何弥合弱监督和密集预测之间的差距 - 当前的方法主要基于启发式先导，例如交叉像素相似性，跨标签约束，跨视图一致性，跨图像关系等。最后，我们分享了对标签有效深层细分的未来研究方向的看法。

分组和识别是视觉场景理解的重要组成部分，例如，用于对象检测和语义分割。借助端到端的深度学习系统，图像区域的分组通常通过像素级识别标签的自上而下的监督隐式进行。取而代之的是，在本文中，我们建议将分组机制恢复到深层网络中，从而使语义片段仅在文本监督下自动出现。我们提出了一个分层分组视觉变压器（GroupVit），它超出了常规的网格结构表示，并学会了将图像区域分组为逐渐更大的任意形状段。我们通过对比度损失在大规模图像文本数据集上与文本编码器共同训练小组vit。只有文本监督并且没有任何像素级注释，GroupVit就学会了将语义区域分组在一起，并以零拍的方式成功地将语义分割的任务转移到语义分割的任务，即，而没有任何进一步的微调。它在Pascal VOC 2012上获得了52.3％MIOU的零拍摄精度和Pascal上下文数据集中的22.4％MIOU，并竞争性地表现为需要更高水平监督的最先进的转移学习方法。我们在https://github.com/nvlabs/groupvit上开放代码。