对比视觉语言预培训（剪辑）最近淹没了其可转让的视觉表现学习的关注。由大规模的图像文本对进行监督，剪辑能够对准配对的图像和文本，从而在开放词汇场景中进行零拍摄识别。然而，特定应用与通常预先训练的知识之间存在语义差距，这使得匹配子最优在下游任务上。在本文中，我们提出了VT-CLIP通过可视导向文本来增强视觉语言建模。具体而言，我们指导文本功能以自适应地探索图像上的信息区域，并通过跨关注的Machanism聚合视觉特征。以这种方式，视觉引导文本与图像变得更加语义相关，这极大地利益匹配过程。在几次拍摄的设置中，我们在11名知名分类数据集中评估我们的VT-CLIP，并进行实验广泛的消融研究，以证明VT-CLIP的有效性。代码将很快发布。

随着大型预训练的Vison语言模型（如剪辑）的出现，可以通过及时调整来调整可转让表示形式。及时调整试图从存储在预训练的视觉模型的图像和文本编码器中的常识中探索有益信息，以探索下游任务。最近提出的名为“上下文优化”（COP）的方法将一组可学习的向量从语言侧引入文本提示符，而单独调整文本提示符则不会影响图像编码器的计算视觉特征，从而导致了次级优势。在本文中，我们通过学习文本提示并同时为文本和图像编码器提供双重模式提示调整范式。此外，为了使视觉提示更多地集中在目标视觉概念上，我们提出了类感知的视觉及时调整（CAVPT），该调整是通过在模板提示和视觉类别令牌嵌入的语言描述之间进行交叉注意来动态生成的。我们的方法提供了一种新的范式来调整大型预训练的视觉模型，并在8个数据集上进行了广泛的实验结果，证明了该方法的有效性。我们的代码在补充材料中可用。

诸如剪辑之类的大型预训练的视觉模型在学习表现方面表现出巨大的潜力，这些模型可以在各种下游任务中转移。与主要基于离散标签的传统表示学习不同，视觉语言预训练会使图像和文本在公共特征空间中对齐，这允许通过提示零弹性转移到下游任务，即从分类权重合成。描述兴趣类的自然语言。在这项工作中，我们表明，在实践中部署此类模型的一个重大挑战是及时的工程，它需要域专业知识，并且非常耗时 - 由于措辞的略有变化，需要花费大量时间来进行单词调整可能会对性能产生巨大影响。受到自然语言处理（NLP）迅速学习研究的最新进展的启发，我们提出了上下文优化（COP），这是一种专门用于调整类似剪辑的视觉语言模型的简单方法，用于下游图像识别。具体而言，Coop用可学习的向量建模了提示A的上下文单词，而整个预训练的参数则保持固定。为了处理不同的图像识别任务，我们提供了两个COOP的实现：统一上下文和特定于班级的上下文。通过在11个数据集上进行的大量实验，我们证明Coop只需要一两个镜头才能以相当的利润击败手工制作的提示，并且能够以16张镜头（例如16张照片）获得迅速工程的显着改进增益约为15％（最高达到45％以上）。尽管是一种基于学习的方法，但与使用手工制作的提示相比，Coop与零拍模型相比，取得了出色的域泛化性能。

作为剪辑的对比视觉语言预培训为通过使用大规模对比图像文本对提供了学习视觉表示的新范式。它显示了零击中知识转移到下游任务的令人印象深刻的性能。为了进一步增强剪辑的几次射击功能，提出的剪辑适配器提出微调轻量级残留功能适配器，并显着提高了几次拍摄分类的性能。但是，这样的过程仍然需要额外的培训和计算资源。在本文中，我们提出了\ textbf {t}下雨的cl \ textbf {ip} - \ textbf {适配器}（\ textbf {tip-adapter}），它不仅继承了剪辑的无训练优势，还可以相当地执行或甚至比剪辑适配器更好。提示 - 适配器不需要任何用于训练适配器的备份传播，而是通过从几次拍摄训练集构造的键值高速缓存模型创建权重。在这种非参数的方式中，提示适配器在没有任何训练的情况下获取良好的适配器权重，这既有效且有效。此外，可以通过微调这种适当的初始化适配器进一步提高尖端适配器的性能，仅用于具有超快速收敛速度的几个时期。我们对ImageNet和其他10个数据集进行了广泛的小型分类实验，以证明提出的提示适配器的优越性。代码将以\ URL {https://github.com/gaopengcuhk/tip-adapter}释放。

诸如剪辑之类的对比视觉模型在转移学习方面已显示出巨大进展。在推理阶段，需要仔细设计适当的文本描述，也称为提示，以正确地对给定的图像进行分类。为了避免繁琐的及时工程，最近的作品，例如Coop，Clip-Audapter和Tip-Adapter，建议将视觉模型改编成下游图像识别任务，以在一小部分标记的数据上。尽管实现了有希望的改进，但是需要来自目标数据集的标记数据可能会限制可扩展性。在本文中，我们探讨了一种不同的情况，在该场景中，目标数据集的标签未经证实，并提出了一种无监督的及时学习方法（UPL）方法，以避免及时工程，同时改善类似夹子的视觉模型的传递性能。据我们所知，UPL是第一项将无监督学习引入及时学习的工作。在实验上，我们的UPL在ImageNet以及其他10个数据集上及时使用及时的工程剪辑优于原始剪辑。增强版本的UPL甚至与大多数数据集的8-Shot Coop和8-Shot Tip-Adapter都具有竞争力。代码和型号可在https://github.com/tonyhuang2022/upl上找到。

Prompt Tuning, conditioning on task-specific learned prompt vectors, has emerged as a data-efficient and parameter-efficient method for adapting large pretrained vision-language models to multiple downstream tasks. However, existing approaches usually consider learning prompt vectors for each task independently from scratch, thereby failing to exploit the rich shareable knowledge across different vision-language tasks. In this paper, we propose multitask vision-language prompt tuning (MVLPT), which incorporates cross-task knowledge into prompt tuning for vision-language models. Specifically, (i) we demonstrate the effectiveness of learning a single transferable prompt from multiple source tasks to initialize the prompt for each target task; (ii) we show many target tasks can benefit each other from sharing prompt vectors and thus can be jointly learned via multitask prompt tuning. We benchmark the proposed MVLPT using three representative prompt tuning methods, namely text prompt tuning, visual prompt tuning, and the unified vision-language prompt tuning. Results in 20 vision tasks demonstrate that the proposed approach outperforms all single-task baseline prompt tuning methods, setting the new state-of-the-art on the few-shot ELEVATER benchmarks and cross-task generalization benchmarks. To understand where the cross-task knowledge is most effective, we also conduct a large-scale study on task transferability with 20 vision tasks in 400 combinations for each prompt tuning method. It shows that the most performant MVLPT for each prompt tuning method prefers different task combinations and many tasks can benefit each other, depending on their visual similarity and label similarity. Code is available at https://github.com/sIncerass/MVLPT.

现有的时间动作检测（TAD）方法依赖于大型培训数据，包括细分级注释，仅限于在推理期间单独识别先前看到的课程。为每类兴趣收集和注释一个大型培训集是昂贵的，因此无法计算。零射TAD（ZS-TAD）通过启用预训练的模型来识别任何看不见的动作类别来解决这一障碍。同时，ZS-TAD的调查大大降低，ZS-Tad也更具挑战性。受零摄像图像分类的成功的启发，我们旨在解决更复杂的TAD任务。一种直观的方法是将现成的建议探测器与剪辑样式分类集成。但是，由于顺序定位（例如，提案生成）和分类设计，它很容易进行定位误差传播。为了克服这个问题，在本文中，我们通过视觉提示（陈旧）提出了一种新型的零射击时间动作检测模型。这种新颖的设计通过破坏介于两者之间的错误传播途径来有效地消除了定位和分类之间的依赖性。我们进一步介绍了分类和定位之间的相互作用机制，以改善优化。对标准ZS-TAD视频基准测试的广泛实验表明，我们的陈旧的表现明显优于最先进的替代方案。此外，我们的模型还与最近的强大竞争对手相比，在受到监督的TAD上还能产生卓越的成果。 Stale的Pytorch实现可从https://github.com/sauradip/stale获得。

很少有射击分类需要深层神经网络才能仅从有限的培训图像中学习广义表示，这在低数据制度中很有挑战，但很重要。最近，基于剪辑的方法显示出有希望的很少的射击性能受益于对比的语言图像预训练。基于这一点，我们质疑大规模的预训练是否可以减轻少数数据的缺陷，并通过预测的知识帮助代表性学习。在本文中，我们提出了Como，这是对预培训模型的合作，该模型结合了来自各种培训范式的各种先验知识，以获得更好的几次学习。我们的科莫包括：剪辑的语言对比知识，迪诺的视力对抗性知识以及达尔 - E的语言基础知识。具体而言，科莫在两个方面工作：很少的数据扩展和多样化的知识合奏。首先，我们通过零摄影dall-e生成合成图像，以丰富少量训练数据，而无需任何人力。另一方面，我们引入了一个可学习的多知识适配器（MK-apapter），以适应剪辑和恐龙的预测。通过这种合作，COMO可以完全释放不同的预训练方法的潜力，并将其统一以进行几次分类。我们在11个数据集上进行了广泛的实验，以证明我们方法的优势和概括能力。

在低标签制度中，解决图像的多标签识别（MLR）是许多现实世界应用的一项艰巨任务。最近的工作学会了文本和视觉空间之间的一致性，以补偿图像标签不足，但由于可用的MLR注释量有限，因此失去了准确性。在这项工作中，我们利用数百万辅助图像文本对预测的文本和视觉特征的牢固对齐，并提出双背景优化（dualCoop）作为部分标签MLR和零发射MLR的统一框架。 DualCoop用类名来编码正面和负面的上下文，作为语言输入的一部分（即提示）。由于DualCoop仅在验证的视觉语言框架上引入了非常轻松的开销，因此它可以迅速适应具有有限的注释甚至看不见的类别的多标签识别任务。对两个挑战性低标签设置的标准多标签识别基准测试的实验证明了我们方法比最新方法的优势。

最近的进展表明，使用对比图像文本对的大规模预训练可以是从自然语言监督的高质量视觉表演学习的有前途的替代方案。从更广泛的监督来源受益，这种新的范例展示了对下游分类任务和数据集的令人印象深刻的可转移性。然而，从图像文本对中学习的知识转移到更复杂的密集预测任务的问题几乎没有访问过。在这项工作中，我们通过隐式和明确地利用来自剪辑的预先训练的知识来提出了一种新的密集预测框架。具体地，我们将剪辑中的原始图像文本匹配问题转换为像素文本匹配问题，并使用像素文本分数图来指导致密预测模型的学习。通过进一步使用图像中的上下文信息来提示语言模型，我们能够促进我们的模型来更好地利用预先接受训练的知识。我们的方法是模型 - 不可行的，它可以应用于任意密集的预测系统和各种预先训练的视觉底座，包括夹模型和想象成预先训练的模型。广泛的实验证明了我们对语义分割，对象检测和实例分段任务的方法的卓越性能。代码可在https://github.com/raoyongming/denseclip获得

对比性语言图像预训练（剪辑）已被证明可以学习具有出色传递性的视觉表示，从而实现了零击分类的有希望的准确性。为了进一步提高其下游性能，现有作品在剪辑上提出了其他可学习的模块，并通过几次训练集对其进行微调。但是，由此产生的额外培训成本和数据要求严重阻碍了模型部署和知识转移的效率。在本文中，我们引入了一种自由午餐的增强方法CALIP，以通过无参数注意模块来提高Clip的零拍摄性能。具体而言，我们指导视觉和文本表示相互交互，并通过注意探索跨模式的信息特征。由于预训练大大降低了两种方式之间的嵌入距离，因此我们在注意力中丢弃所有可学习的参数，并在双向更新多模式特征，从而使整个过程无参数且无培训。通过这种方式，图像与文本感知信号混合在一起，文本表示形式被视觉引导以获得更好的自适应零射击对齐。我们在14个数据集的各种基准上评估CALIP，用于2D图像和3D Point Cloud几乎没有分类，显示出一致的零弹性性能改进了夹子。基于此，我们进一步在Calip的注意模块中插入了少量线性层，并在少量射击设置下验证我们的鲁棒性，与现有方法相比，这也可以实现领先的性能。这些广泛的实验证明了我们的方法在有效增强夹子方面的优势。

最近，通过对比视觉 - 语言预训练（CLIP）的零射击和少量学习已经在2D视觉识别上显示了鼓舞人心的性能，从而了解在开放词汇设置中将图像与其相应的文本匹配。然而，它仍然在探索中，是否通过2D中的大规模图像文本对预先训练的剪辑可以推广到3D识别。在本文中，我们通过提出引人点来识别这种设置是可行的，这在剪辑编码点云和3D类别文本之间进行对准。具体地，我们通过将点云投射到多视图深度映射而不呈现，并聚合视图零拍摄预测以实现从2D到3D的知识转移。首先，我们设计了一个视图间适配器，以更好地提取全局特征，并自适应地融合从3D到2D预培训的剪辑中学到的几次拍摄知识。只需在几次拍摄设置中微调轻量级适配器，可以在很大程度上提高要素的性能。此外，我们遵守CONTCLIP和古典3D监督网络之间的互补财产。通过简单的合奏，PointClip提高了基线的性能，甚至超越了最先进的模型。因此，PointClip是在低资源成本和数据制度下通过剪辑的有效3D点云理解的有希望的替代方案。我们在广泛采用的ModelNet10，ModelNet40和挑战ScanObjectnn上进行彻底的实验，以证明Pointclip的有效性。代码在https://github.com/zrrskywalker/pointclip发布。

对比视力语言预训练（称为剪辑）为使用大型图像文本对学习视觉表示提供了新的范式。通过零拍知识转移，它在下游任务上表现出令人印象深刻的表现。为了进一步增强剪辑的适应能力，现有的方法提议微调额外的可学习模块，这大大改善了少量的性能，但引入了额外的培训时间和计算资源。在本文中，我们提出了一种无训练的适应方法，用于进行剪辑进行几个弹药分类，称为Tip-Adapter，该分类不仅继承了零拍剪辑的无训练优势，而且还与训练需要的那些相当的表现相当方法。 TIP-ADAPTER通过少数照片训练集通过键值缓存模型构造适配器，并更新通过功能检索中剪辑中编码的先验知识。最重要的是，可以通过对10 $ \ times $ \现有方法少的速度$ \ times $ $ \现有方法进行微调，这可以进一步提高Imagenet上的最先进。高效的。我们在11个数据集上进行了很少的射击分类实验，以证明我们提出的方法的优势。代码在https://github.com/gaopengcuhk/tip-adapter上发布。

Contrastive Language-Image Pre-training (CLIP) has emerged as a simple yet effective way to train large-scale vision-language models. CLIP demonstrates impressive zero-shot classification and retrieval on diverse downstream tasks. However, to leverage its full potential, fine-tuning still appears to be necessary. Fine-tuning the entire CLIP model can be resource-intensive and unstable. Moreover, recent methods that aim to circumvent this need for fine-tuning still require access to images from the target distribution. In this paper, we pursue a different approach and explore the regime of training-free "name-only transfer" in which the only knowledge we possess about the downstream task comprises the names of downstream target categories. We propose a novel method, SuS-X, consisting of two key building blocks -- SuS and TIP-X, that requires neither intensive fine-tuning nor costly labelled data. SuS-X achieves state-of-the-art zero-shot classification results on 19 benchmark datasets. We further show the utility of TIP-X in the training-free few-shot setting, where we again achieve state-of-the-art results over strong training-free baselines. Code is available at https://github.com/vishaal27/SuS-X.

视觉世界自然地展现了一个长尾的开放类分布，这对现代视觉系统带来了巨大挑战。现有方法可以执行类重新平衡策略或直接改进网络模块以解决问题。然而，他们仍然用有限一套预定义标签训练模型，限制了他们的监督信息并限制了他们对新颖实例的可转移性。新途径上的大型对比视觉普瑞宁普雷宁闪光灯的最新进展，可视识别。利用开放词汇监督，预先染色的对比视觉语言模型学习强大的多模式表示，这是对处理数据缺陷和看不见的概念。通过计算视觉和文本输入之间的语义相似性，可视识别被转换为vision语言匹配问题。灵感来自于此，我们提出了民谣，利用了对比尾识别的对比视觉模型。我们首先通过对特定的长尾目标数据集进行对比学习继续预先预留视觉语言骨干。之后，我们冻结了骨干，进一步采用了额外的适配器层，以增强通过重新采样策略构建的平衡训练样本上的尾级课程的表示。已经在三个流行的长尾识别基准测试中进行了广泛的实验。因此，我们简单有效的方法设定了新的最先进的表演，优于具有大边距的竞争基础。代码在https://github.com/gaopengcuhk/ballad发布。

预训练的视觉模型（例如，剪辑）在许多下游任务中显示出有希望的零弹性概括，并具有正确设计的文本提示。最近的作品不依赖手工设计的提示，而是使用下游任务的培训数据来学习提示。虽然有效，但针对领域数据的培训却降低了模型的概括能力，使其无法看到新领域。在这项工作中，我们提出了测试时间提示调整（TPT），该方法可以通过单个测试样本即时学习自适应提示。对于图像分类，TPT通过使用置信度选择最小化熵来优化提示，以便模型在每个测试样本的不同增强视图上都具有一致的预测。在评估对自然分布变化的概括时，TPT平均将零击的TOP-1精度提高了3.6％，超过了先前需要其他特定于任务的训练数据的迅速调整方法。在评估看不见类别的跨数据集泛化时，TPT与使用其他培训数据的最先进方法相当。项目页面：https：//azshue.github.io/tpt。

Although massive pre-trained vision-language models like CLIP show impressive generalization capabilities for many tasks, still it often remains necessary to fine-tune them for improved performance on specific datasets. When doing so, it is desirable that updating the model is fast and that the model does not lose its capabilities on data outside of the dataset, as is often the case with classical fine-tuning approaches. In this work we suggest a lightweight adapter, that only updates the models predictions close to seen datapoints. We demonstrate the effectiveness and speed of this relatively simple approach in the context of few-shot learning, where our results both on classes seen and unseen during training are comparable with or improve on the state of the art.

Prompt tuning is a new few-shot transfer learning technique that only tunes the learnable prompt for pre-trained vision and language models such as CLIP. However, existing prompt tuning methods tend to learn spurious or entangled representations, which leads to poor generalization to unseen concepts. Towards non-spurious and efficient prompt learning from limited examples, this paper presents a novel \underline{\textbf{C}}ounterfactual \underline{\textbf{P}}rompt \underline{\textbf{L}}earning (CPL) method for vision and language models, which simultaneously employs counterfactual generation and contrastive learning in a joint optimization framework. Particularly, CPL constructs counterfactual by identifying minimal non-spurious feature change between semantically-similar positive and negative samples that causes concept change, and learns more generalizable prompt representation from both factual and counterfactual examples via contrastive learning. Extensive experiments demonstrate that CPL can obtain superior few-shot performance on different vision and language tasks than previous prompt tuning methods on CLIP. On image classification, we achieve 3.55\% average relative improvement on unseen classes across seven datasets; on image-text retrieval and visual question answering, we gain up to 4.09\% and 25.08\% relative improvements across three few-shot scenarios on unseen test sets respectively.

Although significant progress has been made in few-shot learning, most of existing few-shot learning methods require supervised pre-training on a large amount of samples of base classes, which limits their generalization ability in real world application. Recently, large-scale self-supervised vision-language models (e.g., CLIP) have provided a new paradigm for transferable visual representation learning. However, the pre-trained VLPs may neglect detailed visual information that is difficult to describe by language sentences, but important for learning an effective classifier in few-shot classification. To address the above problem, we propose a new framework, named Semantic-guided Visual Adapting (SgVA), which can effectively extend vision-language pre-trained models to produce discriminative task-specific visual features by comprehensively using a vision-specific contrastive loss, a cross-modal contrastive loss, and an implicit knowledge distillation. The implicit knowledge distillation is designed to transfer the fine-grained cross-modal knowledge to guide the updating of the vision adapter. State-of-the-art results on 13 datasets demonstrate that the adapted visual features can well complement the cross-modal features to improve few-shot image classification.

为了同时朝着对多个下游任务的整体理解，需要提取具有更好可传递性的功能。尽管许多最新的自我监管的预训练方法在普遍的预处理前范式下在各种视觉任务上取得了令人印象深刻的表现，但它们对多任务学习方案的概括能力尚待探索。在本文中，我们在三个下游任务上进行了广泛研究各种类型的自我监督方法的转移性能，例如Moco和Simc​​lr，包括语义细分，可驱动的区域细分和交通对象检测，在大规模驾驶数据集中BDD100K。我们出人意料地发现，他们的表现是最佳的甚至落后于单任务基线的滞后，这可能是由于训练目标和建筑设计的区别在于预处理范式。为了克服这一难题，并避免重新设计资源密集的预培训阶段，我们提出了一种简单而有效的预处理 - 适应性 - 赛范围，用于一般的多任务培训，可以有效地适应现行预审预周态的模型没有增加培训开销。在自适应阶段，我们利用可学习的多尺度适配器来动态调整由多任务目标监督的预验证的模型权重，同时使经过预告片的知识未经触及。此外，我们将视觉语言预训练模型剪辑视为对预处理 - 适应 - 最终范式的强烈补充，并提出了一个名为LV-Adapter的新型适配器，该适配器通过任务特定的提示将语言先验纳入了多任务的模型中和视觉和文本特征之间的对齐。