N-Way K-Shot方案的几乎没有学习是机器学习的一个开放挑战。已经提出了许多方法来解决此问题，例如匹配的网络和剪辑适配器。尽管这些方法已经显示出很大的进步，但这些方法成功的机制尚未得到很好的探索。在本文中，我们通过因果机制来解释这些少量学习方法。我们表明，现有方法可以看作是前门调整的特定形式，即消除混杂因素的效果。基于此，我们介绍了一种通用的因果方法，用于几次学习，它不仅考虑了示例之间的关系，还考虑了表示的多样性。实验结果证明了我们在各种基准数据集上进行的几个射击分类中提出的方法的优越性。补充材料中有代码。

对比视力语言预训练（称为剪辑）为使用大型图像文本对学习视觉表示提供了新的范式。通过零拍知识转移，它在下游任务上表现出令人印象深刻的表现。为了进一步增强剪辑的适应能力，现有的方法提议微调额外的可学习模块，这大大改善了少量的性能，但引入了额外的培训时间和计算资源。在本文中，我们提出了一种无训练的适应方法，用于进行剪辑进行几个弹药分类，称为Tip-Adapter，该分类不仅继承了零拍剪辑的无训练优势，而且还与训练需要的那些相当的表现相当方法。 TIP-ADAPTER通过少数照片训练集通过键值缓存模型构造适配器，并更新通过功能检索中剪辑中编码的先验知识。最重要的是，可以通过对10 $ \ times $ \现有方法少的速度$ \ times $ $ \现有方法进行微调，这可以进一步提高Imagenet上的最先进。高效的。我们在11个数据集上进行了很少的射击分类实验，以证明我们提出的方法的优势。代码在https://github.com/gaopengcuhk/tip-adapter上发布。

作为剪辑的对比视觉语言预培训为通过使用大规模对比图像文本对提供了学习视觉表示的新范式。它显示了零击中知识转移到下游任务的令人印象深刻的性能。为了进一步增强剪辑的几次射击功能，提出的剪辑适配器提出微调轻量级残留功能适配器，并显着提高了几次拍摄分类的性能。但是，这样的过程仍然需要额外的培训和计算资源。在本文中，我们提出了\ textbf {t}下雨的cl \ textbf {ip} - \ textbf {适配器}（\ textbf {tip-adapter}），它不仅继承了剪辑的无训练优势，还可以相当地执行或甚至比剪辑适配器更好。提示 - 适配器不需要任何用于训练适配器的备份传播，而是通过从几次拍摄训练集构造的键值高速缓存模型创建权重。在这种非参数的方式中，提示适配器在没有任何训练的情况下获取良好的适配器权重，这既有效且有效。此外，可以通过微调这种适当的初始化适配器进一步提高尖端适配器的性能，仅用于具有超快速收敛速度的几个时期。我们对ImageNet和其他10个数据集进行了广泛的小型分类实验，以证明提出的提示适配器的优越性。代码将以\ URL {https://github.com/gaopengcuhk/tip-adapter}释放。

很少有射击分类需要深层神经网络才能仅从有限的培训图像中学习广义表示，这在低数据制度中很有挑战，但很重要。最近，基于剪辑的方法显示出有希望的很少的射击性能受益于对比的语言图像预训练。基于这一点，我们质疑大规模的预训练是否可以减轻少数数据的缺陷，并通过预测的知识帮助代表性学习。在本文中，我们提出了Como，这是对预培训模型的合作，该模型结合了来自各种培训范式的各种先验知识，以获得更好的几次学习。我们的科莫包括：剪辑的语言对比知识，迪诺的视力对抗性知识以及达尔 - E的语言基础知识。具体而言，科莫在两个方面工作：很少的数据扩展和多样化的知识合奏。首先，我们通过零摄影dall-e生成合成图像，以丰富少量训练数据，而无需任何人力。另一方面，我们引入了一个可学习的多知识适配器（MK-apapter），以适应剪辑和恐龙的预测。通过这种合作，COMO可以完全释放不同的预训练方法的潜力，并将其统一以进行几次分类。我们在11个数据集上进行了广泛的实验，以证明我们方法的优势和概括能力。

视觉世界自然地展现了一个长尾的开放类分布，这对现代视觉系统带来了巨大挑战。现有方法可以执行类重新平衡策略或直接改进网络模块以解决问题。然而，他们仍然用有限一套预定义标签训练模型，限制了他们的监督信息并限制了他们对新颖实例的可转移性。新途径上的大型对比视觉普瑞宁普雷宁闪光灯的最新进展，可视识别。利用开放词汇监督，预先染色的对比视觉语言模型学习强大的多模式表示，这是对处理数据缺陷和看不见的概念。通过计算视觉和文本输入之间的语义相似性，可视识别被转换为vision语言匹配问题。灵感来自于此，我们提出了民谣，利用了对比尾识别的对比视觉模型。我们首先通过对特定的长尾目标数据集进行对比学习继续预先预留视觉语言骨干。之后，我们冻结了骨干，进一步采用了额外的适配器层，以增强通过重新采样策略构建的平衡训练样本上的尾级课程的表示。已经在三个流行的长尾识别基准测试中进行了广泛的实验。因此，我们简单有效的方法设定了新的最先进的表演，优于具有大边距的竞争基础。代码在https://github.com/gaopengcuhk/ballad发布。

随着大型预训练的Vison语言模型（如剪辑）的出现，可以通过及时调整来调整可转让表示形式。及时调整试图从存储在预训练的视觉模型的图像和文本编码器中的常识中探索有益信息，以探索下游任务。最近提出的名为“上下文优化”（COP）的方法将一组可学习的向量从语言侧引入文本提示符，而单独调整文本提示符则不会影响图像编码器的计算视觉特征，从而导致了次级优势。在本文中，我们通过学习文本提示并同时为文本和图像编码器提供双重模式提示调整范式。此外，为了使视觉提示更多地集中在目标视觉概念上，我们提出了类感知的视觉及时调整（CAVPT），该调整是通过在模板提示和视觉类别令牌嵌入的语言描述之间进行交叉注意来动态生成的。我们的方法提供了一种新的范式来调整大型预训练的视觉模型，并在8个数据集上进行了广泛的实验结果，证明了该方法的有效性。我们的代码在补充材料中可用。

对比视觉语言预培训（剪辑）最近淹没了其可转让的视觉表现学习的关注。由大规模的图像文本对进行监督，剪辑能够对准配对的图像和文本，从而在开放词汇场景中进行零拍摄识别。然而，特定应用与通常预先训练的知识之间存在语义差距，这使得匹配子最优在下游任务上。在本文中，我们提出了VT-CLIP通过可视导向文本来增强视觉语言建模。具体而言，我们指导文本功能以自适应地探索图像上的信息区域，并通过跨关注的Machanism聚合视觉特征。以这种方式，视觉引导文本与图像变得更加语义相关，这极大地利益匹配过程。在几次拍摄的设置中，我们在11名知名分类数据集中评估我们的VT-CLIP，并进行实验广泛的消融研究，以证明VT-CLIP的有效性。代码将很快发布。

Although massive pre-trained vision-language models like CLIP show impressive generalization capabilities for many tasks, still it often remains necessary to fine-tune them for improved performance on specific datasets. When doing so, it is desirable that updating the model is fast and that the model does not lose its capabilities on data outside of the dataset, as is often the case with classical fine-tuning approaches. In this work we suggest a lightweight adapter, that only updates the models predictions close to seen datapoints. We demonstrate the effectiveness and speed of this relatively simple approach in the context of few-shot learning, where our results both on classes seen and unseen during training are comparable with or improve on the state of the art.

对比性语言图像预训练（剪辑）已被证明可以学习具有出色传递性的视觉表示，从而实现了零击分类的有希望的准确性。为了进一步提高其下游性能，现有作品在剪辑上提出了其他可学习的模块，并通过几次训练集对其进行微调。但是，由此产生的额外培训成本和数据要求严重阻碍了模型部署和知识转移的效率。在本文中，我们引入了一种自由午餐的增强方法CALIP，以通过无参数注意模块来提高Clip的零拍摄性能。具体而言，我们指导视觉和文本表示相互交互，并通过注意探索跨模式的信息特征。由于预训练大大降低了两种方式之间的嵌入距离，因此我们在注意力中丢弃所有可学习的参数，并在双向更新多模式特征，从而使整个过程无参数且无培训。通过这种方式，图像与文本感知信号混合在一起，文本表示形式被视觉引导以获得更好的自适应零射击对齐。我们在14个数据集的各种基准上评估CALIP，用于2D图像和3D Point Cloud几乎没有分类，显示出一致的零弹性性能改进了夹子。基于此，我们进一步在Calip的注意模块中插入了少量线性层，并在少量射击设置下验证我们的鲁棒性，与现有方法相比，这也可以实现领先的性能。这些广泛的实验证明了我们的方法在有效增强夹子方面的优势。

Although significant progress has been made in few-shot learning, most of existing few-shot learning methods require supervised pre-training on a large amount of samples of base classes, which limits their generalization ability in real world application. Recently, large-scale self-supervised vision-language models (e.g., CLIP) have provided a new paradigm for transferable visual representation learning. However, the pre-trained VLPs may neglect detailed visual information that is difficult to describe by language sentences, but important for learning an effective classifier in few-shot classification. To address the above problem, we propose a new framework, named Semantic-guided Visual Adapting (SgVA), which can effectively extend vision-language pre-trained models to produce discriminative task-specific visual features by comprehensively using a vision-specific contrastive loss, a cross-modal contrastive loss, and an implicit knowledge distillation. The implicit knowledge distillation is designed to transfer the fine-grained cross-modal knowledge to guide the updating of the vision adapter. State-of-the-art results on 13 datasets demonstrate that the adapted visual features can well complement the cross-modal features to improve few-shot image classification.

最近，通过对比视觉 - 语言预训练（CLIP）的零射击和少量学习已经在2D视觉识别上显示了鼓舞人心的性能，从而了解在开放词汇设置中将图像与其相应的文本匹配。然而，它仍然在探索中，是否通过2D中的大规模图像文本对预先训练的剪辑可以推广到3D识别。在本文中，我们通过提出引人点来识别这种设置是可行的，这在剪辑编码点云和3D类别文本之间进行对准。具体地，我们通过将点云投射到多视图深度映射而不呈现，并聚合视图零拍摄预测以实现从2D到3D的知识转移。首先，我们设计了一个视图间适配器，以更好地提取全局特征，并自适应地融合从3D到2D预培训的剪辑中学到的几次拍摄知识。只需在几次拍摄设置中微调轻量级适配器，可以在很大程度上提高要素的性能。此外，我们遵守CONTCLIP和古典3D监督网络之间的互补财产。通过简单的合奏，PointClip提高了基线的性能，甚至超越了最先进的模型。因此，PointClip是在低资源成本和数据制度下通过剪辑的有效3D点云理解的有希望的替代方案。我们在广泛采用的ModelNet10，ModelNet40和挑战ScanObjectnn上进行彻底的实验，以证明Pointclip的有效性。代码在https://github.com/zrrskywalker/pointclip发布。

Prompt tuning is a new few-shot transfer learning technique that only tunes the learnable prompt for pre-trained vision and language models such as CLIP. However, existing prompt tuning methods tend to learn spurious or entangled representations, which leads to poor generalization to unseen concepts. Towards non-spurious and efficient prompt learning from limited examples, this paper presents a novel \underline{\textbf{C}}ounterfactual \underline{\textbf{P}}rompt \underline{\textbf{L}}earning (CPL) method for vision and language models, which simultaneously employs counterfactual generation and contrastive learning in a joint optimization framework. Particularly, CPL constructs counterfactual by identifying minimal non-spurious feature change between semantically-similar positive and negative samples that causes concept change, and learns more generalizable prompt representation from both factual and counterfactual examples via contrastive learning. Extensive experiments demonstrate that CPL can obtain superior few-shot performance on different vision and language tasks than previous prompt tuning methods on CLIP. On image classification, we achieve 3.55\% average relative improvement on unseen classes across seven datasets; on image-text retrieval and visual question answering, we gain up to 4.09\% and 25.08\% relative improvements across three few-shot scenarios on unseen test sets respectively.

很少有学习模型学习人类注释有限，而这种学习范式在各种任务中证明了实用性数据使该模型无法充分探索语义信息。为了解决这个问题，我们将知识蒸馏引入了几个弹出的对象检测学习范式。我们进一步进行了激励实验，该实验表明，在知识蒸馏的过程中，教师模型的经验误差将少数拍物对象检测模型的预测性能（作为学生）退化。为了了解这种现象背后的原因，我们从因果理论的角度重新审视了几个对象检测任务上知识蒸馏的学习范式，并因此发展了一个结构性因果模型。遵循理论指导，我们建议使用基于后门调整的知识蒸馏方法，用于少数拍物检测任务，即Disentangle和Remerge（D＆R），以对相应的结构性因果模型进行有条件的因果干预。从理论上讲，我们为后门标准提供了扩展的定义，即一般后门路径，可以在特定情况下扩展后门标准的理论应用边界。从经验上讲，多个基准数据集上的实验表明，D＆R可以在几个射击对象检测中产生显着的性能提升。

自动视觉解对我们多样化和开放的世界需要计算机视觉模型，以概括为特定任务的最小定制，类似于人类视力。计算机视觉基础型号培训，培训多样化，大型数据集，可以适应各种下游任务，对该任务来解决现实世界计算机视觉应用而言至关重要。虽然现有的视觉基础模型如剪辑，对齐和吴道2.0主要集中在映射图像和文本表示到跨模型共享表示，我们介绍了一台新的计算机视觉基础模型，佛罗伦萨，扩大粗糙的表示（现场）到精细（对象），从静态（图像）到动态（视频），以及从RGB到多个模态（标题，深度）。通过从Web级图像文本数据中纳入通用视觉语言表示，我们的佛罗伦萨模型可以很容易地适应各种计算机视觉任务，例如分类，检索，对象检测，VQA，图像标题，视频检索和动作识别。此外，佛罗伦萨在许多类型的转移学习中表现出出色的表现：全面采样的微调，线性探测，几次射击传输和用于新颖图像和物体的零拍摄传输。所有这些属性对于我们的视觉基础模型至关重要，以提供通用视觉任务。佛罗伦萨实现了新的最先进的导致44个代表性基准，例如Imagenet-1K零射击分类，最高1精度为83.74，最高5个精度为97.18，62.4地图上的Coco微调， 80.36在VQA上，动力学-600上的87.8。

诸如剪辑之类的对比视觉模型在转移学习方面已显示出巨大进展。在推理阶段，需要仔细设计适当的文本描述，也称为提示，以正确地对给定的图像进行分类。为了避免繁琐的及时工程，最近的作品，例如Coop，Clip-Audapter和Tip-Adapter，建议将视觉模型改编成下游图像识别任务，以在一小部分标记的数据上。尽管实现了有希望的改进，但是需要来自目标数据集的标记数据可能会限制可扩展性。在本文中，我们探讨了一种不同的情况，在该场景中，目标数据集的标签未经证实，并提出了一种无监督的及时学习方法（UPL）方法，以避免及时工程，同时改善类似夹子的视觉模型的传递性能。据我们所知，UPL是第一项将无监督学习引入及时学习的工作。在实验上，我们的UPL在ImageNet以及其他10个数据集上及时使用及时的工程剪辑优于原始剪辑。增强版本的UPL甚至与大多数数据集的8-Shot Coop和8-Shot Tip-Adapter都具有竞争力。代码和型号可在https://github.com/tonyhuang2022/upl上找到。

我们引入了构图软提示（CSP），这是一种参数有效的学习技术，可改善大规模预处理视觉模型（VLMS）的零摄像组成性。 VLM可以在其灵活的文本编码器中代表任意类作为自然语言提示，但在组成零击基准任务上的表现不佳。为了改善VLM，我们提出了一种新颖的软提示形式。我们将构成的属性和对象视为将类定义为词汇的可学习令牌，并在多个及时的构图上调整它们。在推断期间，我们在新组合中重新组装了学习的属性对象词汇。我们表明，CSP在基准数据集上的原始VLM的表现平均为AUC上的10.9个百分点。 CSP还胜过Coop，这是一种调谐前缀上下文的软提示方法，在AUC上平均要点5.8个百分点。我们执行其他实验，以表明CSP对仅属性分类，高阶属性 - 属性对象组成以及预验证属性和微调对象的组合进行了改进。

在计算机视觉中广泛采用了预处理 - 最终的范式。但是，随着视觉变压器（VIT）的尺寸呈指数增长，鉴于较重的存储空间的头顶，完整的燃料变得过于望而却步。最近的研究是由参数效率转移学习（PETL）的动机，最近的研究试图插入轻巧的适应模块（例如，适配器层或及时令牌）以预处理VIT，并且仅释放这些模块，而预处理的权重则是冷冻的。但是，这些模块最初是为了芬太尼语言模型而提出的。尽管对VIT的口号很好，但他们的设计缺乏视觉任务的先验知识。在本文中，我们建议在VIT中构建卷积旁路（Convass）作为适应模块，仅引入了可训练参数的少量（少于模型参数的0.5％）以适应大型VIT。与其他PETL方法不同，卷积层的硬编码电感偏置的互惠受益，因此更适合视觉任务，尤其是在低数据表格中。 VTAB-1K基准和少量学习数据集的实验结果表明，Convass的表现优于当前面向语言的适应模块，这证明了对视觉模型量身定制面向视觉的适应模块的必要性。

在低标签制度中，解决图像的多标签识别（MLR）是许多现实世界应用的一项艰巨任务。最近的工作学会了文本和视觉空间之间的一致性，以补偿图像标签不足，但由于可用的MLR注释量有限，因此失去了准确性。在这项工作中，我们利用数百万辅助图像文本对预测的文本和视觉特征的牢固对齐，并提出双背景优化（dualCoop）作为部分标签MLR和零发射MLR的统一框架。 DualCoop用类名来编码正面和负面的上下文，作为语言输入的一部分（即提示）。由于DualCoop仅在验证的视觉语言框架上引入了非常轻松的开销，因此它可以迅速适应具有有限的注释甚至看不见的类别的多标签识别任务。对两个挑战性低标签设置的标准多标签识别基准测试的实验证明了我们方法比最新方法的优势。

Contrastive Language-Image Pre-training (CLIP) has emerged as a simple yet effective way to train large-scale vision-language models. CLIP demonstrates impressive zero-shot classification and retrieval on diverse downstream tasks. However, to leverage its full potential, fine-tuning still appears to be necessary. Fine-tuning the entire CLIP model can be resource-intensive and unstable. Moreover, recent methods that aim to circumvent this need for fine-tuning still require access to images from the target distribution. In this paper, we pursue a different approach and explore the regime of training-free "name-only transfer" in which the only knowledge we possess about the downstream task comprises the names of downstream target categories. We propose a novel method, SuS-X, consisting of two key building blocks -- SuS and TIP-X, that requires neither intensive fine-tuning nor costly labelled data. SuS-X achieves state-of-the-art zero-shot classification results on 19 benchmark datasets. We further show the utility of TIP-X in the training-free few-shot setting, where we again achieve state-of-the-art results over strong training-free baselines. Code is available at https://github.com/vishaal27/SuS-X.

诸如剪辑之类的大型预训练的视觉模型在学习表现方面表现出巨大的潜力，这些模型可以在各种下游任务中转移。与主要基于离散标签的传统表示学习不同，视觉语言预训练会使图像和文本在公共特征空间中对齐，这允许通过提示零弹性转移到下游任务，即从分类权重合成。描述兴趣类的自然语言。在这项工作中，我们表明，在实践中部署此类模型的一个重大挑战是及时的工程，它需要域专业知识，并且非常耗时 - 由于措辞的略有变化，需要花费大量时间来进行单词调整可能会对性能产生巨大影响。受到自然语言处理（NLP）迅速学习研究的最新进展的启发，我们提出了上下文优化（COP），这是一种专门用于调整类似剪辑的视觉语言模型的简单方法，用于下游图像识别。具体而言，Coop用可学习的向量建模了提示A的上下文单词，而整个预训练的参数则保持固定。为了处理不同的图像识别任务，我们提供了两个COOP的实现：统一上下文和特定于班级的上下文。通过在11个数据集上进行的大量实验，我们证明Coop只需要一两个镜头才能以相当的利润击败手工制作的提示，并且能够以16张镜头（例如16张照片）获得迅速工程的显着改进增益约为15％（最高达到45％以上）。尽管是一种基于学习的方法，但与使用手工制作的提示相比，Coop与零拍模型相比，取得了出色的域泛化性能。