最近，Vision-Language预训练的零拍图像分类已经表现出令人难以置信的成就，即该模型可以对任意类别进行分类而不看到该类别的其他注释图像。然而，目前尚不清楚如何在更广泛的视觉问题上进行零射识别，例如对象检测和语义分割。在本文中，我们通过在现成的预训练的视觉模型，即剪辑上建立零拍语义分割来定位零拍语义分割。很难因为语义分割和剪辑模型在不同的视觉粒度上执行，该语义分段处理在像素上时，而剪辑在图像上执行。为了解决处理粒度的差异，我们拒绝使用普遍的一级FCN基于FCN的框架，并倡导一个两级语义分割框架，其中第一阶段提取一个完全提取的掩模提案和第二阶段利用基于图像的剪辑模型在第一阶段生成的蒙版图像作物上执行零拍分类。我们的实验结果表明，这种简单的框架通过大型利润率超越了先前的最先进：+29.5 Hiou On Pascal VOC 2012 DataSet，+8.9 Hiou On Coco Stuff DataSet。凭借其简单性和强大的表现，我们希望本框架成为促进未来研究的基准。

Recently, CLIP has been applied to pixel-level zero-shot learning tasks via a two-stage scheme. The general idea is to first generate class-agnostic region proposals and then feed the cropped proposal regions to CLIP to utilize its image-level zero-shot classification capability. While effective, such a scheme requires two image encoders, one for proposal generation and one for CLIP, leading to a complicated pipeline and high computational cost. In this work, we pursue a simpler-and-efficient one-stage solution that directly extends CLIP's zero-shot prediction capability from image to pixel level. Our investigation starts with a straightforward extension as our baseline that generates semantic masks by comparing the similarity between text and patch embeddings extracted from CLIP. However, such a paradigm could heavily overfit the seen classes and fail to generalize to unseen classes. To handle this issue, we propose three simple-but-effective designs and figure out that they can significantly retain the inherent zero-shot capacity of CLIP and improve pixel-level generalization ability. Incorporating those modifications leads to an efficient zero-shot semantic segmentation system called ZegCLIP. Through extensive experiments on three public benchmarks, ZegCLIP demonstrates superior performance, outperforming the state-of-the-art methods by a large margin under both "inductive" and "transductive" zero-shot settings. In addition, compared with the two-stage method, our one-stage ZegCLIP achieves a speedup of about 5 times faster during inference. We release the code at https://github.com/ZiqinZhou66/ZegCLIP.git.

零拍语义分割（ZS3）旨在分割培训中没有看到的新型类别。现有的作品将zs3作为像素级零拍分类问题，以及在仅使用文本预先培训的语言模型的帮助下，将语义知识从看见课程转移到未知一体。虽然简单，像素级ZS3配方显示了集成具有图像文本对预训练的视觉语言模型的有限能力，并且目前展示了愿景任务的巨大潜力。灵感来自观察，人类经常执行段级语义标签，我们建议将zs3分成两个子任务：1）将像素分组到段中的类别不可知的分组任务。 2）段的零拍分类任务。前者的子任务不涉及类别信息，可以直接传输到未安装类的组像素。后一子任务在段级执行，提供了一种自然的方式，可以利用预先培训的大规模视觉模型，用于ZS3的图像文本对（例如剪辑）。基于解耦制剂，我们提出了一种简单且有效的零拍语义分割模型，称为ZegFormer，这优于大幅边缘的先前方法，例如，Pascal VOC的35分和3分在Coco-在宫颈课程方面的东西。代码将在https://github.com/dingjiansw101/zegformer发布。

分组和识别是视觉场景理解的重要组成部分，例如，用于对象检测和语义分割。借助端到端的深度学习系统，图像区域的分组通常通过像素级识别标签的自上而下的监督隐式进行。取而代之的是，在本文中，我们建议将分组机制恢复到深层网络中，从而使语义片段仅在文本监督下自动出现。我们提出了一个分层分组视觉变压器（GroupVit），它超出了常规的网格结构表示，并学会了将图像区域分组为逐渐更大的任意形状段。我们通过对比度损失在大规模图像文本数据集上与文本编码器共同训练小组vit。只有文本监督并且没有任何像素级注释，GroupVit就学会了将语义区域分组在一起，并以零拍的方式成功地将语义分割的任务转移到语义分割的任务，即，而没有任何进一步的微调。它在Pascal VOC 2012上获得了52.3％MIOU的零拍摄精度和Pascal上下文数据集中的22.4％MIOU，并竞争性地表现为需要更高水平监督的最先进的转移学习方法。我们在https://github.com/nvlabs/groupvit上开放代码。

对比语言 - 图像预训练（剪辑）在开放词汇零拍摄图像识别方面取得了显着突破。许多最近的研究利用预先训练的剪辑模型进行图像级分类和操纵。在本文中，我们进一步探索了剪辑的电位，用于像素级致密预测，具体地在语义分割中。在没有注释和微调的情况下，我们的方法Denseclip会产生合理的分段结果，在各种数据集中的开放概念上产生了合理的分段结果。通过添加伪标签和自我培训，Denseclip +超越了SOTA转换零点语义分割方法，通过大幅边缘，例如，Pascal VOC / Pascal Context / Coco Sift的宣传课程从35.6 / 20.7 / 30.3到86.1 / 66.7 / 54.7。我们还在输入损坏下测试了Denseclip的稳健性，并评估其在识别细粒度物体和新颖概念中的能力。我们的发现表明，Denseclip可以作为致密预测任务的新可靠的监督源，以实现无批准的分割。

尽管对象检测方面取得了很大进展，但由于实例级边界盒注释所需的巨大人性化，大多数现有方法都仅限于一小一少量的对象类别。为了减轻问题，最近的开放词汇和零射击检测方法试图检测培训期间未见的对象类别。但是，这些方法仍然依赖于一组基类上手动提供的边界盒注释。我们提出了一个开放的词汇检测框架，可以在没有手动提供边界盒注释的情况下培训。我们的方法通过利用预先训练的视觉语言模型的本地化能力来实现这一目标，并产生可直接用于训练对象探测器的伪边界盒标签。 Coco，Pascal VOC，Objects365和LVIS的实验结果证明了我们方法的有效性。具体而言，我们的方法优于使用人类注释的边界箱训练的最先进（SOTA），即使我们的培训源未配备手动边界盒标签，也可以在COCO新型类别上用3％AP培训。在利用手动边界箱标签作为基线时，我们的方法主要超过8％的AP。

We introduce Patch Aligned Contrastive Learning (PACL), a modified compatibility function for CLIP's contrastive loss, intending to train an alignment between the patch tokens of the vision encoder and the CLS token of the text encoder. With such an alignment, a model can identify regions of an image corresponding to a given text input, and therefore transfer seamlessly to the task of open vocabulary semantic segmentation without requiring any segmentation annotations during training. Using pre-trained CLIP encoders with PACL, we are able to set the state-of-the-art on the task of open vocabulary zero-shot segmentation on 4 different segmentation benchmarks: Pascal VOC, Pascal Context, COCO Stuff and ADE20K. Furthermore, we show that PACL is also applicable to image-level predictions and when used with a CLIP backbone, provides a general improvement in zero-shot classification accuracy compared to CLIP, across a suite of 12 image classification datasets.

为了弥合监督语义细分与现实世界应用程序之间的差距，这些应用程序获取一个模型以识别任意新概念，最近的零弹性细分通过探索看不见的对象类别之间的关系，吸引了很多关注带有不同基础类别的通知数据。在本文中，我们提出了一种新的开放世界语义分割管道，该管道首次尝试学习各种开放世界类别的语义对象，而无需对密集注释进行任何努力，纯粹是通过纯粹利用自然存在的图像捕获数据来进行的。互联网。我们的方法，视觉语言驱动的语义分割（VIL-SEG），采用图像和文本编码器来生成图像捕获数据的视觉和文本嵌入，具有两个核心组件，具有赋予其分割能力的两个核心组件：首先，图像，图像，图像编码器通过基于视觉的对比和跨模式对比度进行了共同训练，这鼓励视觉嵌入既保留对细分任务至关重要的细粒语义和高级类别信息。此外，在图像编码器上设计了一个在线聚类头，该群体可以动态地将视觉嵌入到不同的语义组中，以便可以通过与各种文本嵌入来完成分类以完成我们的细分管道来对其进行分类。实验表明，如果不使用任何具有密集注释的数据，我们的方法可以直接分割任意类别的对象，超过了需要在三个基准数据集上进行数据标记的零摄像分割方法。

我们设计了一个开放式图像分割模型，以将图像组织到任意文本指示的有意义区域中。最近的作品（剪辑和对齐），尽管使用图像级字幕标签获得了令人印象深刻的开放式摄氏分类精度，但仍无法用像素分段视觉概念。我们认为这些模型错过了视觉分组的重要步骤，该模型在学习视觉语义对齐之前将像素组织成小组。我们建议OpenSeg解决上述问题，同时仍利用可扩展的图像级标题监督。首先，它学会了为可能的组织提出细分面具。然后，它通过将标题中的每个单词与一个或几个预测的面具对齐来学习视觉语义对齐。我们发现蒙版表示是支持字幕学习图像分割的关键，从而可以扩大数据集和词汇大小。 OpenSeg大大优于pascal数据集上LSEG最近的开放式LSEG +19.9 MIOU的开放式方法。

We tackle open-world semantic segmentation, which aims at learning to segment arbitrary visual concepts in images, by using only image-text pairs without dense annotations. Existing open-world segmentation methods have shown impressive advances by employing contrastive learning (CL) to learn diverse visual concepts and adapting the learned image-level understanding to the segmentation task. However, these methods based on CL have a discrepancy since it only considers image-text level alignment in training time, while the segmentation task requires region-text level alignment at test time. In this paper, we propose a novel Text-grounded Contrastive Learning (TCL) framework to directly align a text and a region described by the text to address the train-test discrepancy. Our method generates a segmentation mask associated with a given text, extracts grounded image embedding from the masked region, and aligns it with text embedding via TCL. The framework addresses the discrepancy by letting the model learn region-text level alignment instead of image-text level alignment and encourages the model to directly improve the quality of generated segmentation masks. In addition, for a rigorous and fair comparison, we present a unified evaluation protocol with widely used 8 semantic segmentation datasets. TCL achieves state-of-the-art zero-shot segmentation performance with large margins in all datasets. Code is available at https://github.com/kakaobrain/tcl.

通常通过培训用于固定的对象类的模型来解决图像分割。稍后包含附加类或更复杂的查询是昂贵的，因为它需要重新培训包含这些表达式的数据集上的模型。在这里，我们提出了一个系统，该系统可以基于测试时间的任意提示生成图像分割。提示可以是文本或图像。这种方法使我们能够为三个常见的分段任务创建一个统一的模型（训练一次），这具有不同的挑战：引用表达式分割，零拍分段和单次分割。我们构建在剪辑模型中作为骨干，我们使用基于变压器的解码器扩展，该解码器能够致密预测。在对PhraseCut数据集的扩展版本进行培训之后，我们的系统基于自由文本提示符或表达查询的附加图像生成图像的二进制分段映射。详细分析了基于图像的提示的不同变体。这种新型混合输入允许不仅针对上述三个分段任务的动态调整，而是可以制定文本或图像查询的任何二进制分段任务。最后，我们发现我们的系统适应涉及可承受能力或属性的广义查询。源代码：https://ecterlab.org/code/clipseg

最近的进展表明，使用对比图像文本对的大规模预训练可以是从自然语言监督的高质量视觉表演学习的有前途的替代方案。从更广泛的监督来源受益，这种新的范例展示了对下游分类任务和数据集的令人印象深刻的可转移性。然而，从图像文本对中学习的知识转移到更复杂的密集预测任务的问题几乎没有访问过。在这项工作中，我们通过隐式和明确地利用来自剪辑的预先训练的知识来提出了一种新的密集预测框架。具体地，我们将剪辑中的原始图像文本匹配问题转换为像素文本匹配问题，并使用像素文本分数图来指导致密预测模型的学习。通过进一步使用图像中的上下文信息来提示语言模型，我们能够促进我们的模型来更好地利用预先接受训练的知识。我们的方法是模型 - 不可行的，它可以应用于任意密集的预测系统和各种预先训练的视觉底座，包括夹模型和想象成预先训练的模型。广泛的实验证明了我们对语义分割，对象检测和实例分段任务的方法的卓越性能。代码可在https://github.com/raoyongming/denseclip获得

本文提出了一个简单而有效的框架蒙版，该框架将新提出的掩盖自distillation纳入对比的语言图像预处理中。掩盖自distillation的核心思想是将表示从完整的图像提取到蒙版图像预测的表示形式。这种合并享有两个重要的好处。首先，掩盖的自我验证目标是本地贴片表示学习，这与视觉对比度的互补，专注于与文本相关的表示。二，掩盖的自我验证也与视觉语言对比符合训练目标的视野对比是一致的。视觉编码器用于功能对齐，因此能够学习本地语义从该语言中获得间接监督。我们提供了专门设计的实验，并进行了全面的分析，以验证这两个好处。从经验上讲，我们表明，当MaskClip应用于各种具有挑战性的下游任务时，可以在线性探测，填充和零拍摄中取得卓越的结果，并在语言编码器的指导下取得了卓越的结果。

这项工作的目的是使用零手动注释建立可扩展的管道，以将对象检测器扩展到新颖/看不见的类别。为此，我们做出以下四个贡献：（i）追求概括，我们提出了一个两阶段的开放式摄制对象检测器，其中类无形的对象建议与预先训练的视觉视觉训练的文本编码一起分类语言模型； （ii）要将视觉潜在空间（RPN框建议）与预训练的文本编码器配对，我们提出了区域提示的概念，以学习将文本嵌入空间与区域视觉对象特征相结合； （iii）为了扩展学习过程以检测更广泛的对象，我们通过新颖的自我训练框架利用可用的在线资源，该框架允许在嘈杂的未经图像的网络图像上训练所提出的检测器。最后，（iv）评估我们所提出的检测器，称为及时插图，我们对具有挑战性的LVI和MS-COCO数据集进行了广泛的实验。提示件表现出优于现有方法的卓越性能，而其他培训图像和零手动注释较少。带代码的项目页面：https：//fcjian.github.io/promptdet。

在本文中，我们将针对基于文本的描述的任意类别执行全新的计算机视觉任务，开放式全磁全面分割，该任务旨在执行全景分段（背景语义标签 +前景实例分段）。我们首先构建了一种基线方法，而无需填充或蒸馏以利用现有夹模型中的知识。然后，我们开发了一种新方法MaskClip，该方法是一种基于变压器的方法，该方法使用带有基于VIT的夹子主链的掩码查询来执行语义分割和对象实例分割。在这里，我们设计了一个相对的掩码注意力（RMA）模块，以将分割作为VIT夹模型的其他令牌。 MaskClip通过避免使用外部剪贴图像模型的暂停操作来裁剪图像贴片和计算功能，从而有效地有效地利用预训练的密集/局部剪辑功能。我们为开放式综合综合分割和最先进的结果获得了令人鼓舞的结果。我们显示具有自定义类别的MaskClip的定性插图。

在低标签制度中，解决图像的多标签识别（MLR）是许多现实世界应用的一项艰巨任务。最近的工作学会了文本和视觉空间之间的一致性，以补偿图像标签不足，但由于可用的MLR注释量有限，因此失去了准确性。在这项工作中，我们利用数百万辅助图像文本对预测的文本和视觉特征的牢固对齐，并提出双背景优化（dualCoop）作为部分标签MLR和零发射MLR的统一框架。 DualCoop用类名来编码正面和负面的上下文，作为语言输入的一部分（即提示）。由于DualCoop仅在验证的视觉语言框架上引入了非常轻松的开销，因此它可以迅速适应具有有限的注释甚至看不见的类别的多标签识别任务。对两个挑战性低标签设置的标准多标签识别基准测试的实验证明了我们方法比最新方法的优势。

我们呈现LSEG，这是一种用于语言驱动语义图像分割的新模型。 LSEG使用文本编码器来计算描述性输入标签（例如，“草”或“构建”）的嵌入式，以及基于变压器的图像编码器，该图像编码器计算输入图像的密度每个像素嵌入。图像编码器具有对比度目标，以将像素嵌入对准对应语义类的文本嵌入。文本嵌入式提供了一种灵活的标签表示，其中将语义相似的标签映射到嵌入空间中的类似区域（例如，“猫”和“毛茸茸”）。这允许LSEG概括到以前在测试时间的预先看不见的类别，而不会再培训或甚至需要单一的额外训练样本。我们展示了与现有的零点和少量拍摄语义分割方法相比，我们的方法实现了高竞争激烈的零射性能，甚至在提供固定标签集时符合传统分段算法的准确性。代码和演示可在https://github.com/isl-org/lang-seg获取。

Weakly supervised semantic segmentation (WSSS) with image-level labels is a challenging task in computer vision. Mainstream approaches follow a multi-stage framework and suffer from high training costs. In this paper, we explore the potential of Contrastive Language-Image Pre-training models (CLIP) to localize different categories with only image-level labels and without any further training. To efficiently generate high-quality segmentation masks from CLIP, we propose a novel framework called CLIP-ES for WSSS. Our framework improves all three stages of WSSS with special designs for CLIP: 1) We introduce the softmax function into GradCAM and exploit the zero-shot ability of CLIP to suppress the confusion caused by non-target classes and backgrounds. Meanwhile, to take full advantage of CLIP, we re-explore text inputs under the WSSS setting and customize two text-driven strategies: sharpness-based prompt selection and synonym fusion. 2) To simplify the stage of CAM refinement, we propose a real-time class-aware attention-based affinity (CAA) module based on the inherent multi-head self-attention (MHSA) in CLIP-ViTs. 3) When training the final segmentation model with the masks generated by CLIP, we introduced a confidence-guided loss (CGL) to mitigate noise and focus on confident regions. Our proposed framework dramatically reduces the cost of training for WSSS and shows the capability of localizing objects in CLIP. Our CLIP-ES achieves SOTA performance on Pascal VOC 2012 and MS COCO 2014 while only taking 10% time of previous methods for the pseudo mask generation. Code is available at https://github.com/linyq2117/CLIP-ES.

We present X-Decoder, a generalized decoding model that can predict pixel-level segmentation and language tokens seamlessly. X-Decodert takes as input two types of queries: (i) generic non-semantic queries and (ii) semantic queries induced from text inputs, to decode different pixel-level and token-level outputs in the same semantic space. With such a novel design, X-Decoder is the first work that provides a unified way to support all types of image segmentation and a variety of vision-language (VL) tasks. Further, our design enables seamless interactions across tasks at different granularities and brings mutual benefits by learning a common and rich pixel-level visual-semantic understanding space, without any pseudo-labeling. After pretraining on a mixed set of a limited amount of segmentation data and millions of image-text pairs, X-Decoder exhibits strong transferability to a wide range of downstream tasks in both zero-shot and finetuning settings. Notably, it achieves (1) state-of-the-art results on open-vocabulary segmentation and referring segmentation on eight datasets; (2) better or competitive finetuned performance to other generalist and specialist models on segmentation and VL tasks; and (3) flexibility for efficient finetuning and novel task composition (e.g., referring captioning and image editing). Code, demo, video, and visualization are available at https://x-decoder-vl.github.io.

零拍摄对象检测（ZSD），将传统检测模型扩展到检测来自Unseen类别的对象的任务，已成为计算机视觉中的新挑战。大多数现有方法通过严格的映射传输策略来解决ZSD任务，这可能导致次优ZSD结果：1）这些模型的学习过程忽略了可用的看不见的类信息，因此可以轻松地偏向所看到的类别; 2）原始视觉特征空间并不合适，缺乏歧视信息。为解决这些问题，我们开发了一种用于ZSD的新型语义引导的对比网络，命名为Contrastzsd，一种检测框架首先将对比学习机制带入零拍摄检测的领域。特别地，对比度包括两个语义导向的对比学学习子网，其分别与区域类别和区域区域对之间形成对比。成对对比度任务利用从地面真理标签和预定义的类相似性分布派生的附加监督信号。在那些明确的语义监督的指导下，模型可以了解更多关于看不见的类别的知识，以避免看到概念的偏见问题，同时优化视觉功能的数据结构，以更好地辨别更好的视觉语义对齐。广泛的实验是在ZSD，即Pascal VOC和MS Coco的两个流行基准上进行的。结果表明，我们的方法优于ZSD和广义ZSD任务的先前最先进的。