视觉模型最近在许多计算机视觉任务上显示出巨大的潜力。同时，与线性探针相比，先前的工作表明，与线性探针相比，这是较少的图像识别的迅速调整，可以在很少的图像识别上获得卓越的性能。在实际应用程序中，相关的几个射击任务是相关的，尤其是在专业领域。但是，以前的工作忽略了此类信息。受到以下事实的启发，即通过多任务学习通常可以提高性能，我们提出了一种新颖的方法softcpt（迅速调整的软上下文共享），以微调多个目标几个目标任务的预训练的视觉模型， 同时。具体来说，我们设计了一个任务共享的元网络，以使用预定义的任务名称以及可学习的元提示为输入为每个任务生成提示向量。因此，所有任务的迅速向量将以软的方式共享。该共享的元网络的参数以及元提示向量都在所有目标任务的联合培训集中调整。在三个多任务少量数据集上进行的广泛实验表明，SoftCpt的表现优于代表性的单任务提示方法Coop [78]，这意味着多任务学习在视觉及时及时调整中的有效性。源代码和数据将公开可用。

随着大型预训练的Vison语言模型（如剪辑）的出现，可以通过及时调整来调整可转让表示形式。及时调整试图从存储在预训练的视觉模型的图像和文本编码器中的常识中探索有益信息，以探索下游任务。最近提出的名为“上下文优化”（COP）的方法将一组可学习的向量从语言侧引入文本提示符，而单独调整文本提示符则不会影响图像编码器的计算视觉特征，从而导致了次级优势。在本文中，我们通过学习文本提示并同时为文本和图像编码器提供双重模式提示调整范式。此外，为了使视觉提示更多地集中在目标视觉概念上，我们提出了类感知的视觉及时调整（CAVPT），该调整是通过在模板提示和视觉类别令牌嵌入的语言描述之间进行交叉注意来动态生成的。我们的方法提供了一种新的范式来调整大型预训练的视觉模型，并在8个数据集上进行了广泛的实验结果，证明了该方法的有效性。我们的代码在补充材料中可用。

Prompt Tuning, conditioning on task-specific learned prompt vectors, has emerged as a data-efficient and parameter-efficient method for adapting large pretrained vision-language models to multiple downstream tasks. However, existing approaches usually consider learning prompt vectors for each task independently from scratch, thereby failing to exploit the rich shareable knowledge across different vision-language tasks. In this paper, we propose multitask vision-language prompt tuning (MVLPT), which incorporates cross-task knowledge into prompt tuning for vision-language models. Specifically, (i) we demonstrate the effectiveness of learning a single transferable prompt from multiple source tasks to initialize the prompt for each target task; (ii) we show many target tasks can benefit each other from sharing prompt vectors and thus can be jointly learned via multitask prompt tuning. We benchmark the proposed MVLPT using three representative prompt tuning methods, namely text prompt tuning, visual prompt tuning, and the unified vision-language prompt tuning. Results in 20 vision tasks demonstrate that the proposed approach outperforms all single-task baseline prompt tuning methods, setting the new state-of-the-art on the few-shot ELEVATER benchmarks and cross-task generalization benchmarks. To understand where the cross-task knowledge is most effective, we also conduct a large-scale study on task transferability with 20 vision tasks in 400 combinations for each prompt tuning method. It shows that the most performant MVLPT for each prompt tuning method prefers different task combinations and many tasks can benefit each other, depending on their visual similarity and label similarity. Code is available at https://github.com/sIncerass/MVLPT.

诸如剪辑之类的大型预训练的视觉模型在学习表现方面表现出巨大的潜力，这些模型可以在各种下游任务中转移。与主要基于离散标签的传统表示学习不同，视觉语言预训练会使图像和文本在公共特征空间中对齐，这允许通过提示零弹性转移到下游任务，即从分类权重合成。描述兴趣类的自然语言。在这项工作中，我们表明，在实践中部署此类模型的一个重大挑战是及时的工程，它需要域专业知识，并且非常耗时 - 由于措辞的略有变化，需要花费大量时间来进行单词调整可能会对性能产生巨大影响。受到自然语言处理（NLP）迅速学习研究的最新进展的启发，我们提出了上下文优化（COP），这是一种专门用于调整类似剪辑的视觉语言模型的简单方法，用于下游图像识别。具体而言，Coop用可学习的向量建模了提示A的上下文单词，而整个预训练的参数则保持固定。为了处理不同的图像识别任务，我们提供了两个COOP的实现：统一上下文和特定于班级的上下文。通过在11个数据集上进行的大量实验，我们证明Coop只需要一两个镜头才能以相当的利润击败手工制作的提示，并且能够以16张镜头（例如16张照片）获得迅速工程的显着改进增益约为15％（最高达到45％以上）。尽管是一种基于学习的方法，但与使用手工制作的提示相比，Coop与零拍模型相比，取得了出色的域泛化性能。

作为剪辑的对比视觉语言预培训为通过使用大规模对比图像文本对提供了学习视觉表示的新范式。它显示了零击中知识转移到下游任务的令人印象深刻的性能。为了进一步增强剪辑的几次射击功能，提出的剪辑适配器提出微调轻量级残留功能适配器，并显着提高了几次拍摄分类的性能。但是，这样的过程仍然需要额外的培训和计算资源。在本文中，我们提出了\ textbf {t}下雨的cl \ textbf {ip} - \ textbf {适配器}（\ textbf {tip-adapter}），它不仅继承了剪辑的无训练优势，还可以相当地执行或甚至比剪辑适配器更好。提示 - 适配器不需要任何用于训练适配器的备份传播，而是通过从几次拍摄训练集构造的键值高速缓存模型创建权重。在这种非参数的方式中，提示适配器在没有任何训练的情况下获取良好的适配器权重，这既有效且有效。此外，可以通过微调这种适当的初始化适配器进一步提高尖端适配器的性能，仅用于具有超快速收敛速度的几个时期。我们对ImageNet和其他10个数据集进行了广泛的小型分类实验，以证明提出的提示适配器的优越性。代码将以\ URL {https://github.com/gaopengcuhk/tip-adapter}释放。

从自然语言监督中学习视觉表示，最近在许多开创性的作品中表现出了巨大的希望。通常，这些具有语言的视觉模型表现出对各种数据集和任务的强大可传递性。但是，由于缺乏易于使用的评估工具包和公共基准，评估这些模型的可转让性仍然很具有挑战性。为了解决这个问题，我们构建了高级版（评估语言的视觉任务级传输），这是用于评估（预训练）语言增强视觉模型的第一个基准和工具包。升华由三个组成部分组成。 （i）数据集。作为下游评估套件，它由20个图像分类数据集和35个对象检测数据集组成，每个数据集都用外部知识来增强。 （ii）工具包。开发了自动高参数调谐工具包，以促进下游任务的模型评估。 （iii）指标。多种评估指标用于测量样品效率（零射击和少量）和参数效率（线性探测和完整模型微调）。我们在https://computer-vision-in-the-wild.github.io/elevater/上公开发布leverater

对比视力语言预训练（称为剪辑）为使用大型图像文本对学习视觉表示提供了新的范式。通过零拍知识转移，它在下游任务上表现出令人印象深刻的表现。为了进一步增强剪辑的适应能力，现有的方法提议微调额外的可学习模块，这大大改善了少量的性能，但引入了额外的培训时间和计算资源。在本文中，我们提出了一种无训练的适应方法，用于进行剪辑进行几个弹药分类，称为Tip-Adapter，该分类不仅继承了零拍剪辑的无训练优势，而且还与训练需要的那些相当的表现相当方法。 TIP-ADAPTER通过少数照片训练集通过键值缓存模型构造适配器，并更新通过功能检索中剪辑中编码的先验知识。最重要的是，可以通过对10 $ \ times $ \现有方法少的速度$ \ times $ $ \现有方法进行微调，这可以进一步提高Imagenet上的最先进。高效的。我们在11个数据集上进行了很少的射击分类实验，以证明我们提出的方法的优势。代码在https://github.com/gaopengcuhk/tip-adapter上发布。

自动视觉解对我们多样化和开放的世界需要计算机视觉模型，以概括为特定任务的最小定制，类似于人类视力。计算机视觉基础型号培训，培训多样化，大型数据集，可以适应各种下游任务，对该任务来解决现实世界计算机视觉应用而言至关重要。虽然现有的视觉基础模型如剪辑，对齐和吴道2.0主要集中在映射图像和文本表示到跨模型共享表示，我们介绍了一台新的计算机视觉基础模型，佛罗伦萨，扩大粗糙的表示（现场）到精细（对象），从静态（图像）到动态（视频），以及从RGB到多个模态（标题，深度）。通过从Web级图像文本数据中纳入通用视觉语言表示，我们的佛罗伦萨模型可以很容易地适应各种计算机视觉任务，例如分类，检索，对象检测，VQA，图像标题，视频检索和动作识别。此外，佛罗伦萨在许多类型的转移学习中表现出出色的表现：全面采样的微调，线性探测，几次射击传输和用于新颖图像和物体的零拍摄传输。所有这些属性对于我们的视觉基础模型至关重要，以提供通用视觉任务。佛罗伦萨实现了新的最先进的导致44个代表性基准，例如Imagenet-1K零射击分类，最高1精度为83.74，最高5个精度为97.18，62.4地图上的Coco微调， 80.36在VQA上，动力学-600上的87.8。

从任务不足的预训练的深层模型中转移知识以进行下游任务是计算机视觉研究中的一个重要主题。随着计算能力的增长，我们现在拥有大规模的模型体系结构和数据量的开源视觉语言预培训模型。在这项研究中，我们专注于转移视力分类任务的知识。传统方法随机初始化线性分类器头进行视觉分类，但是它们将文本编码器的用法留为未发现的下游视觉识别任务。在本文中，我们修改了线性分类器的角色，并用对象类别的嵌入式语言表示替换分类器。这些语言表示是从视觉语言预训练模型的文本编码器初始化的，以进一步利用其良好的语言模型参数。实证研究表明，我们的方法提高了视频分类的性能和训练速度，模型的变化微不足道。特别是，我们的范式在动力学400上实现了87.3％的最新准确性。

对比视觉语言预培训（剪辑）最近淹没了其可转让的视觉表现学习的关注。由大规模的图像文本对进行监督，剪辑能够对准配对的图像和文本，从而在开放词汇场景中进行零拍摄识别。然而，特定应用与通常预先训练的知识之间存在语义差距，这使得匹配子最优在下游任务上。在本文中，我们提出了VT-CLIP通过可视导向文本来增强视觉语言建模。具体而言，我们指导文本功能以自适应地探索图像上的信息区域，并通过跨关注的Machanism聚合视觉特征。以这种方式，视觉引导文本与图像变得更加语义相关，这极大地利益匹配过程。在几次拍摄的设置中，我们在11名知名分类数据集中评估我们的VT-CLIP，并进行实验广泛的消融研究，以证明VT-CLIP的有效性。代码将很快发布。

利用在大规模图像文本对中预先训练的视觉和语言模型（VLM）成为开放式视觉识别的有希望的范式。在这项工作中，我们通过利用视频中自然存在的运动和音频来扩展这种范式。我们提出\ textbf {mov}，这是\ textbf {m} ult-imodal \ textbf {o} pen- \ textbf {v} ocabulary视频分类的简单而有效的方法。在MOV中，我们直接使用具有最小修改的预训练VLM的视觉编码器来编码视频，光流和音频频谱图。我们设计一种跨模式融合机制来汇总免费的多模式信息。 Kinetics-700和VGGSOUND的实验表明，引入流量或音频模态会带来预先训练的VLM和现有方法的大量性能增长。具体而言，MOV极大地提高了基础类别的准确性，而在新颖的课程上则更好地概括了。 MOV在UCF和HMDB零摄像视频分类基准上实现了最新结果，从而极大地超过了基于VLMS的传统零摄像方法和最新方法。代码和模型将发布。

Prompt learning is one of the most effective and trending ways to adapt powerful vision-language foundation models like CLIP to downstream datasets by tuning learnable prompt vectors with very few samples. However, although prompt learning achieves excellent performance over in-domain data, it still faces the major challenge of generalizing to unseen classes and domains. Some existing prompt learning methods tackle this issue by adaptively generating different prompts for different tokens or domains but neglecting the ability of learned prompts to generalize to unseen domains. In this paper, we propose a novel prompt learning paradigm that directly generates domain invariant prompt generalizable to unseen domains, called MetaPrompt. Specifically, a dual-modality prompt tuning network is proposed to generate prompts for inputs from both image and text modalities. More importantly, we propose a meta-learning-based prompt tuning algorithm that explicitly constrains the prompt tuned on a specific domain or class also to achieve good performance on another domain or class. Extensive experiments on 11 datasets for base-to-new generalization and four datasets for domain generalization demonstrate that our method consistently and significantly outperforms existing methods.

本文提出了一种对比调整，这是一种简单的方法，采用对比训练来对准图像和文本模型，同时仍然利用他们的预训练。在我们的实证研究中，我们发现，锁定的预训练图像模型与解锁文本模型最佳。我们调用这种对比调整“锁定图像文本调整”（LIT TOONING）的实例，该实例仅教导文本模型，从预先训练的图像模型中读出了良好的表示新任务。亮度调谐模型将零拍摄传输到新视觉任务的能力提高，例如图像分类或检索。建议的亮度调整是广泛适用的;它可以使用三种不同的图像文本数据集可靠地使用多种预训练方法（监督和无监督）和多种架构（Reset，Vision变换器和MLP-MILLER）。利用基于变压器的预训练VIT-G / 14型号，LIT调谐模型在想象网测试集中实现了84.5％的零射频传输精度，并且在充满挑战的分发ObjectNet测试集中实现了81.1％。

Prompt tuning is a new few-shot transfer learning technique that only tunes the learnable prompt for pre-trained vision and language models such as CLIP. However, existing prompt tuning methods tend to learn spurious or entangled representations, which leads to poor generalization to unseen concepts. Towards non-spurious and efficient prompt learning from limited examples, this paper presents a novel \underline{\textbf{C}}ounterfactual \underline{\textbf{P}}rompt \underline{\textbf{L}}earning (CPL) method for vision and language models, which simultaneously employs counterfactual generation and contrastive learning in a joint optimization framework. Particularly, CPL constructs counterfactual by identifying minimal non-spurious feature change between semantically-similar positive and negative samples that causes concept change, and learns more generalizable prompt representation from both factual and counterfactual examples via contrastive learning. Extensive experiments demonstrate that CPL can obtain superior few-shot performance on different vision and language tasks than previous prompt tuning methods on CLIP. On image classification, we achieve 3.55\% average relative improvement on unseen classes across seven datasets; on image-text retrieval and visual question answering, we gain up to 4.09\% and 25.08\% relative improvements across three few-shot scenarios on unseen test sets respectively.

预训练的视觉模型（例如，剪辑）在许多下游任务中显示出有希望的零弹性概括，并具有正确设计的文本提示。最近的作品不依赖手工设计的提示，而是使用下游任务的培训数据来学习提示。虽然有效，但针对领域数据的培训却降低了模型的概括能力，使其无法看到新领域。在这项工作中，我们提出了测试时间提示调整（TPT），该方法可以通过单个测试样本即时学习自适应提示。对于图像分类，TPT通过使用置信度选择最小化熵来优化提示，以便模型在每个测试样本的不同增强视图上都具有一致的预测。在评估对自然分布变化的概括时，TPT平均将零击的TOP-1精度提高了3.6％，超过了先前需要其他特定于任务的训练数据的迅速调整方法。在评估看不见类别的跨数据集泛化时，TPT与使用其他培训数据的最先进方法相当。项目页面：https：//azshue.github.io/tpt。

在低标签制度中，解决图像的多标签识别（MLR）是许多现实世界应用的一项艰巨任务。最近的工作学会了文本和视觉空间之间的一致性，以补偿图像标签不足，但由于可用的MLR注释量有限，因此失去了准确性。在这项工作中，我们利用数百万辅助图像文本对预测的文本和视觉特征的牢固对齐，并提出双背景优化（dualCoop）作为部分标签MLR和零发射MLR的统一框架。 DualCoop用类名来编码正面和负面的上下文，作为语言输入的一部分（即提示）。由于DualCoop仅在验证的视觉语言框架上引入了非常轻松的开销，因此它可以迅速适应具有有限的注释甚至看不见的类别的多标签识别任务。对两个挑战性低标签设置的标准多标签识别基准测试的实验证明了我们方法比最新方法的优势。

视觉语言预训练（VLP）模型在各种下游任务上表现出色。他们的成功在很大程度上取决于预训练的跨模式数据集的规模。但是，中文中缺乏大规模数据集和基准阻碍了中国VLP模型和更广泛的多语言应用程序的发展。在这项工作中，我们发布了一个名为Wukong的大型中国跨模式数据集，其中包含从网络收集的1亿个中文图像文本对。 Wukong旨在基准基准不同的多模式预训练方法，以促进VLP研究和社区发展。此外，我们发布了一组模型，预先训练了各种图像编码器（vit-b/vit-l/swint），还将高级预训练技术应用于VLP，例如锁定图像文本调整，相对于代币的相似性学习和减少互动。还提供了广泛的实验和不同下游任务的基准测试，包括新的最大人验证的图像文本测试数据集。实验表明，Wukong可以作为不同的跨模式学习方法的有前途的中国预培训数据集和基准。对于10个数据集上的零摄像图像分类任务，$ Wukong_ {vit-l} $达到的平均准确度为73.03％。对于图像文本检索任务，它在AIC-ICC上的平均召回率为71.6％，比Wenlan 2.0高12.9％。此外，我们的Wukong模型在下游任务上进行了基准测试，例如多个数据集上的其他变体，例如Flickr8k-CN，Flickr-30K-CN，Coco-CN，Coco-CN等。更多信息可以参考：https：//wukong-dataset.github.io/wukong-dataset/。

Recently, CLIP has been applied to pixel-level zero-shot learning tasks via a two-stage scheme. The general idea is to first generate class-agnostic region proposals and then feed the cropped proposal regions to CLIP to utilize its image-level zero-shot classification capability. While effective, such a scheme requires two image encoders, one for proposal generation and one for CLIP, leading to a complicated pipeline and high computational cost. In this work, we pursue a simpler-and-efficient one-stage solution that directly extends CLIP's zero-shot prediction capability from image to pixel level. Our investigation starts with a straightforward extension as our baseline that generates semantic masks by comparing the similarity between text and patch embeddings extracted from CLIP. However, such a paradigm could heavily overfit the seen classes and fail to generalize to unseen classes. To handle this issue, we propose three simple-but-effective designs and figure out that they can significantly retain the inherent zero-shot capacity of CLIP and improve pixel-level generalization ability. Incorporating those modifications leads to an efficient zero-shot semantic segmentation system called ZegCLIP. Through extensive experiments on three public benchmarks, ZegCLIP demonstrates superior performance, outperforming the state-of-the-art methods by a large margin under both "inductive" and "transductive" zero-shot settings. In addition, compared with the two-stage method, our one-stage ZegCLIP achieves a speedup of about 5 times faster during inference. We release the code at https://github.com/ZiqinZhou66/ZegCLIP.git.

近年来，统一的视觉语言框架已经大大提高，其中大多数采用编码器架构将图像文本任务统一为序列到序列的生成。但是，现有的视频语言（VIDL）模型仍需要在每个任务的模型体系结构和培训目标中进行特定于任务的设计。在这项工作中，我们探索了一个统一的VIDL框架薰衣草，其中蒙版语言建模（MLM）用作所有前训练和下游任务的常见接口。这样的统一导致了简化的模型体系结构，在多模式编码器之上，只需要一个轻巧的MLM头，而不是具有更多参数的解码器。令人惊讶的是，实验结果表明，这个统一的框架在14个VIDL基准测试中实现了竞争性能，涵盖了视频问答，文本到视频检索和视频字幕。广泛的分析进一步证明了薰衣草比现有VIDL方法的优势：（i）在多任务列出时仅使用一组参数值支持所有下游任务； （ii）对各种下游任务的几乎没有概括； （iii）在视频问题回答任务上启用零射门评估。代码可从https://github.com/microsoft/lavender获得。

Contrastive Language-Image Pre-training (CLIP) has emerged as a simple yet effective way to train large-scale vision-language models. CLIP demonstrates impressive zero-shot classification and retrieval on diverse downstream tasks. However, to leverage its full potential, fine-tuning still appears to be necessary. Fine-tuning the entire CLIP model can be resource-intensive and unstable. Moreover, recent methods that aim to circumvent this need for fine-tuning still require access to images from the target distribution. In this paper, we pursue a different approach and explore the regime of training-free "name-only transfer" in which the only knowledge we possess about the downstream task comprises the names of downstream target categories. We propose a novel method, SuS-X, consisting of two key building blocks -- SuS and TIP-X, that requires neither intensive fine-tuning nor costly labelled data. SuS-X achieves state-of-the-art zero-shot classification results on 19 benchmark datasets. We further show the utility of TIP-X in the training-free few-shot setting, where we again achieve state-of-the-art results over strong training-free baselines. Code is available at https://github.com/vishaal27/SuS-X.