语义细分是一项关键的计算机视觉任务，该任务已经积极研究了几十年。近年来，监督方法已达到前所未有的准确性，但是每个新的类别类别都需要许多像素级注释，这是非常耗时和昂贵的。另外，当前语义分割网络处理大量类别的能力是有限的。这意味着包含稀有类别类别的图像不太可能通过当前方法进行很好的分割。在本文中，我们提出了一种为每个对象创建语义细分掩码的新方法，而无需训练分割网络或查看任何分割掩模。我们的方法用作图像中存在的类类别的图像级标签;它们可以自动或手动获得。我们利用Vision语言嵌入模型（特别是Clip）来使用模型解释性方法为每个类创建粗略分割映射。我们使用测试时间增强技术来优化地图。此阶段的输出提供像素级伪标签，而不是监督方法所需的手动像素级标签。鉴于伪标签，我们利用单图像分割技术来获得高质量的输出分割掩模。我们的方法是定量和定性地示出的，以优于使用类似的监督数量的方法。我们的结果对于包含罕见类别的图像特别显着。

为了弥合监督语义细分与现实世界应用程序之间的差距，这些应用程序获取一个模型以识别任意新概念，最近的零弹性细分通过探索看不见的对象类别之间的关系，吸引了很多关注带有不同基础类别的通知数据。在本文中，我们提出了一种新的开放世界语义分割管道，该管道首次尝试学习各种开放世界类别的语义对象，而无需对密集注释进行任何努力，纯粹是通过纯粹利用自然存在的图像捕获数据来进行的。互联网。我们的方法，视觉语言驱动的语义分割（VIL-SEG），采用图像和文本编码器来生成图像捕获数据的视觉和文本嵌入，具有两个核心组件，具有赋予其分割能力的两个核心组件：首先，图像，图像，图像编码器通过基于视觉的对比和跨模式对比度进行了共同训练，这鼓励视觉嵌入既保留对细分任务至关重要的细粒语义和高级类别信息。此外，在图像编码器上设计了一个在线聚类头，该群体可以动态地将视觉嵌入到不同的语义组中，以便可以通过与各种文本嵌入来完成分类以完成我们的细分管道来对其进行分类。实验表明，如果不使用任何具有密集注释的数据，我们的方法可以直接分割任意类别的对象，超过了需要在三个基准数据集上进行数据标记的零摄像分割方法。

Weakly supervised semantic segmentation (WSSS) with image-level labels is a challenging task in computer vision. Mainstream approaches follow a multi-stage framework and suffer from high training costs. In this paper, we explore the potential of Contrastive Language-Image Pre-training models (CLIP) to localize different categories with only image-level labels and without any further training. To efficiently generate high-quality segmentation masks from CLIP, we propose a novel framework called CLIP-ES for WSSS. Our framework improves all three stages of WSSS with special designs for CLIP: 1) We introduce the softmax function into GradCAM and exploit the zero-shot ability of CLIP to suppress the confusion caused by non-target classes and backgrounds. Meanwhile, to take full advantage of CLIP, we re-explore text inputs under the WSSS setting and customize two text-driven strategies: sharpness-based prompt selection and synonym fusion. 2) To simplify the stage of CAM refinement, we propose a real-time class-aware attention-based affinity (CAA) module based on the inherent multi-head self-attention (MHSA) in CLIP-ViTs. 3) When training the final segmentation model with the masks generated by CLIP, we introduced a confidence-guided loss (CGL) to mitigate noise and focus on confident regions. Our proposed framework dramatically reduces the cost of training for WSSS and shows the capability of localizing objects in CLIP. Our CLIP-ES achieves SOTA performance on Pascal VOC 2012 and MS COCO 2014 while only taking 10% time of previous methods for the pseudo mask generation. Code is available at https://github.com/linyq2117/CLIP-ES.

通常通过培训用于固定的对象类的模型来解决图像分割。稍后包含附加类或更复杂的查询是昂贵的，因为它需要重新培训包含这些表达式的数据集上的模型。在这里，我们提出了一个系统，该系统可以基于测试时间的任意提示生成图像分割。提示可以是文本或图像。这种方法使我们能够为三个常见的分段任务创建一个统一的模型（训练一次），这具有不同的挑战：引用表达式分割，零拍分段和单次分割。我们构建在剪辑模型中作为骨干，我们使用基于变压器的解码器扩展，该解码器能够致密预测。在对PhraseCut数据集的扩展版本进行培训之后，我们的系统基于自由文本提示符或表达查询的附加图像生成图像的二进制分段映射。详细分析了基于图像的提示的不同变体。这种新型混合输入允许不仅针对上述三个分段任务的动态调整，而是可以制定文本或图像查询的任何二进制分段任务。最后，我们发现我们的系统适应涉及可承受能力或属性的广义查询。源代码：https://ecterlab.org/code/clipseg

分组和识别是视觉场景理解的重要组成部分，例如，用于对象检测和语义分割。借助端到端的深度学习系统，图像区域的分组通常通过像素级识别标签的自上而下的监督隐式进行。取而代之的是，在本文中，我们建议将分组机制恢复到深层网络中，从而使语义片段仅在文本监督下自动出现。我们提出了一个分层分组视觉变压器（GroupVit），它超出了常规的网格结构表示，并学会了将图像区域分组为逐渐更大的任意形状段。我们通过对比度损失在大规模图像文本数据集上与文本编码器共同训练小组vit。只有文本监督并且没有任何像素级注释，GroupVit就学会了将语义区域分组在一起，并以零拍的方式成功地将语义分割的任务转移到语义分割的任务，即，而没有任何进一步的微调。它在Pascal VOC 2012上获得了52.3％MIOU的零拍摄精度和Pascal上下文数据集中的22.4％MIOU，并竞争性地表现为需要更高水平监督的最先进的转移学习方法。我们在https://github.com/nvlabs/groupvit上开放代码。

零拍语义分割（ZS3）旨在分割培训中没有看到的新型类别。现有的作品将zs3作为像素级零拍分类问题，以及在仅使用文本预先培训的语言模型的帮助下，将语义知识从看见课程转移到未知一体。虽然简单，像素级ZS3配方显示了集成具有图像文本对预训练的视觉语言模型的有限能力，并且目前展示了愿景任务的巨大潜力。灵感来自观察，人类经常执行段级语义标签，我们建议将zs3分成两个子任务：1）将像素分组到段中的类别不可知的分组任务。 2）段的零拍分类任务。前者的子任务不涉及类别信息，可以直接传输到未安装类的组像素。后一子任务在段级执行，提供了一种自然的方式，可以利用预先培训的大规模视觉模型，用于ZS3的图像文本对（例如剪辑）。基于解耦制剂，我们提出了一种简单且有效的零拍语义分割模型，称为ZegFormer，这优于大幅边缘的先前方法，例如，Pascal VOC的35分和3分在Coco-在宫颈课程方面的东西。代码将在https://github.com/dingjiansw101/zegformer发布。

Recently, CLIP has been applied to pixel-level zero-shot learning tasks via a two-stage scheme. The general idea is to first generate class-agnostic region proposals and then feed the cropped proposal regions to CLIP to utilize its image-level zero-shot classification capability. While effective, such a scheme requires two image encoders, one for proposal generation and one for CLIP, leading to a complicated pipeline and high computational cost. In this work, we pursue a simpler-and-efficient one-stage solution that directly extends CLIP's zero-shot prediction capability from image to pixel level. Our investigation starts with a straightforward extension as our baseline that generates semantic masks by comparing the similarity between text and patch embeddings extracted from CLIP. However, such a paradigm could heavily overfit the seen classes and fail to generalize to unseen classes. To handle this issue, we propose three simple-but-effective designs and figure out that they can significantly retain the inherent zero-shot capacity of CLIP and improve pixel-level generalization ability. Incorporating those modifications leads to an efficient zero-shot semantic segmentation system called ZegCLIP. Through extensive experiments on three public benchmarks, ZegCLIP demonstrates superior performance, outperforming the state-of-the-art methods by a large margin under both "inductive" and "transductive" zero-shot settings. In addition, compared with the two-stage method, our one-stage ZegCLIP achieves a speedup of about 5 times faster during inference. We release the code at https://github.com/ZiqinZhou66/ZegCLIP.git.

深度学习的快速发展在分割方面取得了长足的进步，这是计算机视觉的基本任务之一。但是，当前的细分算法主要取决于像素级注释的可用性，这些注释通常昂贵，乏味且费力。为了减轻这一负担，过去几年见证了越来越多的关注，以建立标签高效，深度学习的细分算法。本文对标签有效的细分方法进行了全面的审查。为此，我们首先根据不同类型的弱标签提供的监督（包括没有监督，粗略监督，不完整的监督和嘈杂的监督和嘈杂的监督），首先开发出一种分类法来组织这些方法，并通过细分类型（包括语义细分）补充，实例分割和全景分割）。接下来，我们从统一的角度总结了现有的标签有效的细分方法，该方法讨论了一个重要的问题：如何弥合弱监督和密集预测之间的差距 - 当前的方法主要基于启发式先导，例如交叉像素相似性，跨标签约束，跨视图一致性，跨图像关系等。最后，我们分享了对标签有效深层细分的未来研究方向的看法。

We introduce Patch Aligned Contrastive Learning (PACL), a modified compatibility function for CLIP's contrastive loss, intending to train an alignment between the patch tokens of the vision encoder and the CLS token of the text encoder. With such an alignment, a model can identify regions of an image corresponding to a given text input, and therefore transfer seamlessly to the task of open vocabulary semantic segmentation without requiring any segmentation annotations during training. Using pre-trained CLIP encoders with PACL, we are able to set the state-of-the-art on the task of open vocabulary zero-shot segmentation on 4 different segmentation benchmarks: Pascal VOC, Pascal Context, COCO Stuff and ADE20K. Furthermore, we show that PACL is also applicable to image-level predictions and when used with a CLIP backbone, provides a general improvement in zero-shot classification accuracy compared to CLIP, across a suite of 12 image classification datasets.

对比语言 - 图像预训练（剪辑）在开放词汇零拍摄图像识别方面取得了显着突破。许多最近的研究利用预先训练的剪辑模型进行图像级分类和操纵。在本文中，我们进一步探索了剪辑的电位，用于像素级致密预测，具体地在语义分割中。在没有注释和微调的情况下，我们的方法Denseclip会产生合理的分段结果，在各种数据集中的开放概念上产生了合理的分段结果。通过添加伪标签和自我培训，Denseclip +超越了SOTA转换零点语义分割方法，通过大幅边缘，例如，Pascal VOC / Pascal Context / Coco Sift的宣传课程从35.6 / 20.7 / 30.3到86.1 / 66.7 / 54.7。我们还在输入损坏下测试了Denseclip的稳健性，并评估其在识别细粒度物体和新颖概念中的能力。我们的发现表明，Denseclip可以作为致密预测任务的新可靠的监督源，以实现无批准的分割。

最近，Vision-Language预训练的零拍图像分类已经表现出令人难以置信的成就，即该模型可以对任意类别进行分类而不看到该类别的其他注释图像。然而，目前尚不清楚如何在更广泛的视觉问题上进行零射识别，例如对象检测和语义分割。在本文中，我们通过在现成的预训练的视觉模型，即剪辑上建立零拍语义分割来定位零拍语义分割。很难因为语义分割和剪辑模型在不同的视觉粒度上执行，该语义分段处理在像素上时，而剪辑在图像上执行。为了解决处理粒度的差异，我们拒绝使用普遍的一级FCN基于FCN的框架，并倡导一个两级语义分割框架，其中第一阶段提取一个完全提取的掩模提案和第二阶段利用基于图像的剪辑模型在第一阶段生成的蒙版图像作物上执行零拍分类。我们的实验结果表明，这种简单的框架通过大型利润率超越了先前的最先进：+29.5 Hiou On Pascal VOC 2012 DataSet，+8.9 Hiou On Coco Stuff DataSet。凭借其简单性和强大的表现，我们希望本框架成为促进未来研究的基准。

虽然现有的语义分割方法实现令人印象深刻的结果，但它们仍然努力将其模型逐步更新，因为新类别被发现。此外，逐个像素注释昂贵且耗时。本文提出了一种新颖的对语义分割学习弱增量学习的框架，旨在学习从廉价和大部分可用的图像级标签进行新课程。与现有的方法相反，需要从下线生成伪标签，我们使用辅助分类器，用图像级标签培训并由分段模型规范化，在线获取伪监督并逐步更新模型。我们通过使用由辅助分类器生成的软标签来应对过程中的内在噪声。我们展示了我们对Pascal VOC和Coco数据集的方法的有效性，表现出离线弱监督方法，并获得了具有全面监督的增量学习方法的结果。

语义细分具有广泛的应用，但是其现实世界的影响受到实现部署所必需的过度注释成本的限制。放弃监督的细分方法可以辅助这些成本，但表现出不便的要求，以提供目标分布中标记的示例以将概念名称分配给预测。语言图像预训练中的另一种工作线最近证明了可以产生模型的潜力，这些模型既可以在概念的大词汇上分配名称，又可以使零摄像转移进行分类，但并未证明相应的细分能力。在这项工作中，我们努力实现这两种结合其优势的方法的综合。我们利用一种此类语言图像预训练的模型Clip的检索能力，从未标记的图像中动态策划训练集，以获取任意概念名称集的收集，并利用现代图像表示的强大对应关系到共同段的实体之间的强大通信由此产生的收藏。然后使用合成段集合来构建一个分割模型（不需要像素标签），其概念知识是从剪辑的可扩展预训练过程继承的。我们证明，我们的方法被称为检索和共段（RECO）对无监督的分割方法表现出色，同时继承了可命名的预测和零拍传输的便利性。我们还展示了Reco为极稀有物体生成专业细分器的能力。

这项工作的目的是在训练过程中划分和名称图像区域，而无需访问像素级标签。为了解决这项任务，我们通过提炼两个基础模型的互补优势来构建细分器。第一个剪辑（Radford等，2021）具有将名称分配给图像内容的能力，但缺乏对象结构的可访问表示。第二个Dino（Caron等，2021）捕获了物体的空间范围，但对对象名称不了解。我们的方法称为名为Mask，开始使用剪辑来构建特定于类别的图像档案。这些图像用dino的类别 - 敏捷的对象检测器进行伪标记，然后使用夹档案标签通过类别特定的细分器进行完善。得益于精制面具的高质量，我们表明，在这些档案中训练有适当数据的培训的标准分割体系结构可为单对象和多对象图像带来令人印象深刻的语义细分能力。结果，我们提出的名字命名为在包括VOC2012，可可和大规模ImageNet-S数据集在内的五个基准上的一系列先前工作中表现出色。

几次拍摄的语义分割解决了学习任务，其中只有几个具有地面真理像素级标签的图像可用于新颖的感兴趣的景点。通常需要将大量数据（即基类）收集具有这样的地面真理信息，然后是元学习策略来解决上述学习任务。当在训练和测试期间只能观察到图像级语义标签时，它被认为是弱监督少量语义细分的更具挑战性的任务。为了解决这个问题，我们提出了一种新的元学习框架，其预测来自有限量的数据和它们的语义标签的伪像素级分段掩模。更重要的是，我们的学习方案进一步利用了具有分段保证的查询图像输入的产生的像素级信息。因此，我们提出的学习模型可以被视为像素级元学习者。通过对基准数据集的广泛实验，我们表明我们的模型在完全监督的环境下实现了令人满意的性能，但在弱势监督的环境下对最先进的方法进行了有利的方法。

虽然图像级弱监督的语义分割（WSSS）与类激活地图（CAM）作为基石取得了很大的进展，但分类和分割之间的大型监督差距仍然妨碍模型以产生用于分割的更完整和精确的伪掩模。在这项研究中，我们提出了弱监管的像素到原型对比度，其可以提供像素级监控信号来缩小间隙。由两个直观的前沿引导，我们的方法在不同视图和图像的单个视图中执行，旨在施加跨视图特征语义一致性正则化，并促进特征空间的帧内（互联）紧凑性（色散）。我们的方法可以无缝地纳入现有的WSSS模型，而没有对基础网络的任何更改，并且不会产生任何额外的推断负担。广泛的实验表明，我们的方法始终如一地通过大幅度改善两个强的基线，证明了有效性。具体而言，建于接缝的顶部，我们将初始种子Miou 2012从55.4％提高到Pascal VOC上。此外，通过我们的方法武装，我们从70.8％增加到73.6％的EPS分割Miou，实现了新的最先进。

We propose EM-PASTE: an Expectation Maximization(EM) guided Cut-Paste compositional dataset augmentation approach for weakly-supervised instance segmentation using only image-level supervision. The proposed method consists of three main components. The first component generates high-quality foreground object masks. To this end, an EM-like approach is proposed that iteratively refines an initial set of object mask proposals generated by a generic region proposal method. Next, in the second component, high-quality context-aware background images are generated using a text-to-image compositional synthesis method like DALL-E. Finally, the third component creates a large-scale pseudo-labeled instance segmentation training dataset by compositing the foreground object masks onto the original and generated background images. The proposed approach achieves state-of-the-art weakly-supervised instance segmentation results on both the PASCAL VOC 2012 and MS COCO datasets by using only image-level, weak label information. In particular, it outperforms the best baseline by +7.4 and +2.8 mAP0.50 on PASCAL and COCO, respectively. Further, the method provides a new solution to the long-tail weakly-supervised instance segmentation problem (when many classes may only have few training samples), by selectively augmenting under-represented classes.

通过使用图像文本匹配模型的使用，零光学习在计算机视觉中的应用已彻底改变。最值得注意的示例，剪辑，已广泛用于带有文本提示的零摄像分类和指导生成模型。但是，对于输入文本的措辞，夹子的零拍情况不稳定，因此有必要仔细设计所用的提示。我们发现这种不稳定性源于选择性相似性分数，该得分仅基于语义上有意义的输入令牌的子集。为了减轻它，我们提出了一种新颖的基于可解释的方法，该方法增加了损失术语，以确保剪辑专注于输入的所有相关语义部分，此外还采用了以前的作品中使用的夹子相似性损失。当通过及时的工程应用于单发分类时，我们的方法可以提高识别率，而无需进行额外的培训或微调。此外，我们表明使用我们的方法对生成模型的剪辑指导显着改善了生成的图像。最后，我们通过在对象位置进行空间条件来证明对基于文本的图像生成的新颖使用，这是需要将图像解释性热图限制在预定的边界框中。

We tackle open-world semantic segmentation, which aims at learning to segment arbitrary visual concepts in images, by using only image-text pairs without dense annotations. Existing open-world segmentation methods have shown impressive advances by employing contrastive learning (CL) to learn diverse visual concepts and adapting the learned image-level understanding to the segmentation task. However, these methods based on CL have a discrepancy since it only considers image-text level alignment in training time, while the segmentation task requires region-text level alignment at test time. In this paper, we propose a novel Text-grounded Contrastive Learning (TCL) framework to directly align a text and a region described by the text to address the train-test discrepancy. Our method generates a segmentation mask associated with a given text, extracts grounded image embedding from the masked region, and aligns it with text embedding via TCL. The framework addresses the discrepancy by letting the model learn region-text level alignment instead of image-text level alignment and encourages the model to directly improve the quality of generated segmentation masks. In addition, for a rigorous and fair comparison, we present a unified evaluation protocol with widely used 8 semantic segmentation datasets. TCL achieves state-of-the-art zero-shot segmentation performance with large margins in all datasets. Code is available at https://github.com/kakaobrain/tcl.

标记数据通常昂贵且耗时，特别是对于诸如对象检测和实例分割之类的任务，这需要对图像的密集标签进行密集的标签。虽然几张拍摄对象检测是关于培训小说中的模型（看不见的）对象类具有很少的数据，但它仍然需要在许多标记的基础（见）类的课程上进行训练。另一方面，自我监督的方法旨在从未标记数据学习的学习表示，该数据转移到诸如物体检测的下游任务。结合几次射击和自我监督的物体检测是一个有前途的研究方向。在本调查中，我们审查并表征了几次射击和自我监督对象检测的最新方法。然后，我们给我们的主要外卖，并讨论未来的研究方向。https://gabrielhuang.github.io/fsod-survey/的项目页面