与其2D图像对应物相比，3D点云数据上的零射击学习是一个相关的未置换问题。 3D数据由于不可用的预训练特征提取模型而带来了ZSL的新挑战。为了解决这个问题，我们提出了一种及时引导的3D场景生成和监督方法，该方法可以增强3D数据以更好地学习网络，从而探索可见和看不见的对象的复杂相互作用。首先，我们以提示描述的某些方式合并了两个3D模型的点云。提示的行为就像描述每个3D场景的注释一样。后来，我们进行对比学习，以端到端的方式培训我们所提出的建筑。我们认为，与单​​个对象相比，3D场景可以更有效地关联对象，因为当对象出现在上下文中时，流行的语言模型（如Bert）可以实现高性能。我们提出的及时引导场景生成方法封装了数据扩展和基于及时的注释/字幕，以提高3D ZSL性能。我们已经在合成（ModelNet40，ModelNet10）和实扫描（ScanoJbectnn）3D对象数据集上实现了最新的ZSL和广义ZSL性能。

很少有类别的课堂学习（FSCIL）旨在使用一些示例逐步微调模型（在基础课上培训），而不忘记先前的培训。最近的工作主要解决了2D图像。但是，由于相机技术的发展，3D点云数据比以往任何时候都更可用，这需要考虑3D数据的FSCIL。本文介绍了3D域中的FSCIL。除了灾难性忘记过去的知识和过度贴合数据的众所周知的问题外，3D FSCIL还可以带来更新的挑战。例如，基类可能在现实情况下包含许多合成实例。相比之下，新型类​​别只有少数几个实际扫描的样本（来自RGBD传感器）以增量步骤获得。由于数据从合成到真实的变化，FSCIL会承受其他挑战，以后的增量步骤降低了性能。我们尝试使用微莎普（正交基矢量）来解决此问题，并使用预定义的一组规则来描述任何3D对象。它支持逐步训练，几乎没有示例将合成与真实数据变化最小化。我们使用流行的合成数据集（ModelNet和Shapenet）和3D实范围的数据集（ScanoBjectNN和CO3D）为3D FSCIL提供新的测试协议。通过比较最先进的方法，我们确定了3D域中方法的有效性。

Prompt tuning is a new few-shot transfer learning technique that only tunes the learnable prompt for pre-trained vision and language models such as CLIP. However, existing prompt tuning methods tend to learn spurious or entangled representations, which leads to poor generalization to unseen concepts. Towards non-spurious and efficient prompt learning from limited examples, this paper presents a novel \underline{\textbf{C}}ounterfactual \underline{\textbf{P}}rompt \underline{\textbf{L}}earning (CPL) method for vision and language models, which simultaneously employs counterfactual generation and contrastive learning in a joint optimization framework. Particularly, CPL constructs counterfactual by identifying minimal non-spurious feature change between semantically-similar positive and negative samples that causes concept change, and learns more generalizable prompt representation from both factual and counterfactual examples via contrastive learning. Extensive experiments demonstrate that CPL can obtain superior few-shot performance on different vision and language tasks than previous prompt tuning methods on CLIP. On image classification, we achieve 3.55\% average relative improvement on unseen classes across seven datasets; on image-text retrieval and visual question answering, we gain up to 4.09\% and 25.08\% relative improvements across three few-shot scenarios on unseen test sets respectively.

零拍摄对象检测（ZSD），将传统检测模型扩展到检测来自Unseen类别的对象的任务，已成为计算机视觉中的新挑战。大多数现有方法通过严格的映射传输策略来解决ZSD任务，这可能导致次优ZSD结果：1）这些模型的学习过程忽略了可用的看不见的类信息，因此可以轻松地偏向所看到的类别; 2）原始视觉特征空间并不合适，缺乏歧视信息。为解决这些问题，我们开发了一种用于ZSD的新型语义引导的对比网络，命名为Contrastzsd，一种检测框架首先将对比学习机制带入零拍摄检测的领域。特别地，对比度包括两个语义导向的对比学学习子网，其分别与区域类别和区域区域对之间形成对比。成对对比度任务利用从地面真理标签和预定义的类相似性分布派生的附加监督信号。在那些明确的语义监督的指导下，模型可以了解更多关于看不见的类别的知识，以避免看到概念的偏见问题，同时优化视觉功能的数据结构，以更好地辨别更好的视觉语义对齐。广泛的实验是在ZSD，即Pascal VOC和MS Coco的两个流行基准上进行的。结果表明，我们的方法优于ZSD和广义ZSD任务的先前最先进的。

广义零射击学习（GZSL）旨在培训一个模型，以在某些输出类别在监督学习过程中未知的情况下对数据样本进行分类。为了解决这一具有挑战性的任务，GZSL利用可见的（源）和看不见的（目标）类的语义信息来弥合所见类和看不见的类之间的差距。自引入以来，已经制定了许多GZSL模型。在这篇评论论文中，我们介绍了有关GZSL的全面评论。首先，我们提供了GZSL的概述，包括问题和挑战。然后，我们为GZSL方法介绍了分层分类，并讨论了每个类别中的代表性方法。此外，我们讨论了GZSL的可用基准数据集和应用程序，以及有关研究差距和未来研究方向的讨论。

在低标签制度中，解决图像的多标签识别（MLR）是许多现实世界应用的一项艰巨任务。最近的工作学会了文本和视觉空间之间的一致性，以补偿图像标签不足，但由于可用的MLR注释量有限，因此失去了准确性。在这项工作中，我们利用数百万辅助图像文本对预测的文本和视觉特征的牢固对齐，并提出双背景优化（dualCoop）作为部分标签MLR和零发射MLR的统一框架。 DualCoop用类名来编码正面和负面的上下文，作为语言输入的一部分（即提示）。由于DualCoop仅在验证的视觉语言框架上引入了非常轻松的开销，因此它可以迅速适应具有有限的注释甚至看不见的类别的多标签识别任务。对两个挑战性低标签设置的标准多标签识别基准测试的实验证明了我们方法比最新方法的优势。

场景图生成（SGG）是一项基本任务，旨在检测图像中对象之间的视觉关系。流行的SGG方法要求在培训集中给出所有对象类。这样的封闭设置限制了SGG的实际应用。在本文中，我们介绍了开放式视频范围场景图生成，这是一种新颖，现实且具有挑战性的环境，其中模型在一组基本对象类上进行了训练，但需要推断出看不见的目标对象类的关系。为此，我们提出了一种两步方法，该方法首先对大量的粗粒区域捕获数据进行预先培训，然后利用两种基于及时的技术来验证预先训练的模型而无需更新其参数。此外，我们的方法可以支持对完全看不见的对象类的推论，而现有方法无法处理。在三个基准数据集（视觉基因组，GQA和开放图像）上进行的广泛实验，我们的方法在OV-SGG的设置以及常规的封闭SGG上明显优于最近的强大SGG方法。

The understanding capabilities of current state-of-the-art 3D models are limited by datasets with a small number of annotated data and a pre-defined set of categories. In its 2D counterpart, recent advances have shown that similar problems can be significantly alleviated by employing knowledge from other modalities, such as language. Inspired by this, leveraging multimodal information for 3D modality could be promising to improve 3D understanding under the restricted data regime, but this line of research is not well studied. Therefore, we introduce ULIP to learn a unified representation of image, text, and 3D point cloud by pre-training with object triplets from the three modalities. To overcome the shortage of training triplets, ULIP leverages a pre-trained vision-language model that has already learned a common visual and textual space by training with massive image-text pairs. Then, ULIP learns a 3D representation space aligned with the common image-text space, using a small number of automatically synthesized triplets. ULIP is agnostic to 3D backbone networks and can easily be integrated into any 3D architecture. Experiments show that ULIP effectively improves the performance of multiple recent 3D backbones by simply pre-training them on ShapeNet55 using our framework, achieving state-of-the-art performance in both standard 3D classification and zero-shot 3D classification on ModelNet40 and ScanObjectNN. ULIP also improves the performance of PointMLP by around 3% in 3D classification on ScanObjectNN, and outperforms PointCLIP by 28.8% on top-1 accuracy for zero-shot 3D classification on ModelNet40. Our code and pre-trained models will be released.

虽然对2D图像的零射击学习（ZSL）进行了许多研究，但其在3D数据中的应用仍然是最近且稀缺的，只有几种方法限于分类。我们在3D数据上介绍了ZSL和广义ZSL（GZSL）的第一代生成方法，可以处理分类，并且是第一次语义分割。我们表明它达到或胜过了INTEMNET40对归纳ZSL和归纳GZSL的ModelNet40分类的最新状态。对于语义分割，我们创建了三个基准，用于评估此新ZSL任务，使用S3DIS，Scannet和Semantickitti进行评估。我们的实验表明，我们的方法优于强大的基线，我们另外为此任务提出。

Prompt tuning has been employed as an efficient way to adapt large vision-language pre-trained models (e.g. CLIP) to various downstream tasks in data-limited or label-limited settings. Nonetheless, visual data (e.g., images) is by default prerequisite for learning prompts in existing methods. In this work, we advocate that the effectiveness of image-text contrastive learning in aligning the two modalities (for training CLIP) further makes it feasible to treat texts as images for prompt tuning and introduce TaI prompting. In contrast to the visual data, text descriptions are easy to collect, and their class labels can be directly derived. Particularly, we apply TaI prompting to multi-label image recognition, where sentences in the wild serve as alternatives to images for prompt tuning. Moreover, with TaI, double-grained prompt tuning (TaI-DPT) is further presented to extract both coarse-grained and fine-grained embeddings for enhancing the multi-label recognition performance. Experimental results show that our proposed TaI-DPT outperforms zero-shot CLIP by a large margin on multiple benchmarks, e.g., MS-COCO, VOC2007, and NUS-WIDE, while it can be combined with existing methods of prompting from images to improve recognition performance further. Code is released at https://github.com/guozix/TaI-DPT.

零拍学习方法依赖于固定的视觉和语义嵌入，从独立视觉和语言模型中提取，都是预先培训的其他大型任务。这是当前零拍摄学习框架的弱点，因为这种不相交的嵌入不能充分将可视化和文本信息与其共享语义内容充分相关联。因此，我们建议通过在代理任务上计算带有双流网络的联合图像和文本模型来学习语义接地和丰富的视觉信息。为了改善由属性提供的图像和文本表示之间的这种对齐，我们利用辅助标题提供接地的语义信息。我们的方法，在若干基准数据集中评估了零射击学习的关节嵌入，提高了标准（APY $ + 1.6 $ \％的现有最先进方法的性能（$ + 2.6 \％$在FLO）上）和AWA $ 2 $ + 2.1 \％$ 2 $ 2 $ 2美元，幼崽+ 2.2 \％$ 2。幼崽）零射击识别。

最近的方法表明，直接在大规模图像文本对集合上训练深神网络可以在各种识别任务上进行零拍传输。一个中心问题是如何将其推广到对象检测，这涉及本地化的非语义任务以及分类的语义任务。为了解决这个问题，我们引入了一种视觉嵌入对准方法，该方法将审计模型（例如夹子）（例如夹子）的概括能力传输到像Yolov5这样的对象检测器。我们制定了一个损耗函数，使我们能够将图像和文本嵌入在预审计的模型夹中对齐与检测器的修改语义预测头。通过这种方法，我们能够训练一个对象检测器，该对象检测器可以在可可，ILSVRC和视觉基因组零摄像机检测基准上实现最先进的性能。在推断期间，我们的模型可以适应以检测任何数量的对象类，而无需其他培训。我们还发现，标准对象检测缩放可以很好地传输到我们的方法，并在Yolov5模型和Yolov3模型的各种尺度上找到一致的改进。最后，我们开发了一种自我标记的方法，该方法可提供显着的分数改进，而无需额外的图像或标签。

Traditional 3D scene understanding approaches rely on labeled 3D datasets to train a model for a single task with supervision. We propose OpenScene, an alternative approach where a model predicts dense features for 3D scene points that are co-embedded with text and image pixels in CLIP feature space. This zero-shot approach enables task-agnostic training and open-vocabulary queries. For example, to perform SOTA zero-shot 3D semantic segmentation it first infers CLIP features for every 3D point and later classifies them based on similarities to embeddings of arbitrary class labels. More interestingly, it enables a suite of open-vocabulary scene understanding applications that have never been done before. For example, it allows a user to enter an arbitrary text query and then see a heat map indicating which parts of a scene match. Our approach is effective at identifying objects, materials, affordances, activities, and room types in complex 3D scenes, all using a single model trained without any labeled 3D data.

Despite significant progress in object categorization, in recent years, a number of important challenges remain; mainly, the ability to learn from limited labeled data and to recognize object classes within large, potentially open, set of labels. Zero-shot learning is one way of addressing these challenges, but it has only been shown to work with limited sized class vocabularies and typically requires separation between supervised and unsupervised classes, allowing former to inform the latter but not vice versa. We propose the notion of vocabulary-informed learning to alleviate the above mentioned challenges and address problems of supervised, zero-shot, generalized zero-shot and open set recognition using a unified framework. Specifically, we propose a weighted maximum margin framework for semantic manifold-based recognition that incorporates distance constraints from (both supervised and unsupervised) vocabulary atoms. Distance constraints ensure that labeled samples are projected closer to their correct prototypes, in the embedding space, than to others. We illustrate that resulting model shows improvements in supervised, zero-shot, generalized zero-shot, and large open set recognition, with up to 310K class vocabulary on Animal with Attributes and ImageNet datasets.

Open-vocabulary scene understanding aims to localize and recognize unseen categories beyond the annotated label space. The recent breakthrough of 2D open-vocabulary perception is largely driven by Internet-scale paired image-text data with rich vocabulary concepts. However, this success cannot be directly transferred to 3D scenarios due to the inaccessibility of large-scale 3D-text pairs. To this end, we propose to distill knowledge encoded in pre-trained vision-language (VL) foundation models through captioning multi-view images from 3D, which allows explicitly associating 3D and semantic-rich captions. Further, to facilitate coarse-to-fine visual-semantic representation learning from captions, we design hierarchical 3D-caption pairs, leveraging geometric constraints between 3D scenes and multi-view images. Finally, by employing contrastive learning, the model learns language-aware embeddings that connect 3D and text for open-vocabulary tasks. Our method not only remarkably outperforms baseline methods by 25.8% $\sim$ 44.7% hIoU and 14.5% $\sim$ 50.4% hAP$_{50}$ on open-vocabulary semantic and instance segmentation, but also shows robust transferability on challenging zero-shot domain transfer tasks. Code will be available at https://github.com/CVMI-Lab/PLA.

零拍摄学习（ZSL）旨在将知识从看见课程转移到语义相关的看不见的看不见的类，这在训练期间不存在。 ZSL的有希望的策略是在语义侧信息中综合未经调节的视野类的视觉特征，并结合元学习，以消除模型对所看到的课程的固有偏差。虽然现有的元生成方法追求跨任务分布的共同模型，但我们的目标是构建适应任务特征的生成网络。为此，我们提出了一个属性调制的生成元模型，用于零射击学习（Amaz）。我们的模型包括属性感知调制网络，属性增强生成网络和属性加权分类器。给定看不见的类，调制网络通过应用特定任务的变换自适应地调制发电机，使得生成网络可以适应高度多样化的任务。加权分类器利用数据质量来增强培训过程，进一步提高模型性能。我们对四种广泛使用的基准测试的实证评估表明，Amaz优先效仿最先进的方法在ZSL和广义ZSL设置中，展示了我们方法的优越性。我们对零拍摄图像检索任务的实验表明了Amaz的合成描绘真实视觉特征的情况的能力。

我们引入了构图软提示（CSP），这是一种参数有效的学习技术，可改善大规模预处理视觉模型（VLMS）的零摄像组成性。 VLM可以在其灵活的文本编码器中代表任意类作为自然语言提示，但在组成零击基准任务上的表现不佳。为了改善VLM，我们提出了一种新颖的软提示形式。我们将构成的属性和对象视为将类定义为词汇的可学习令牌，并在多个及时的构图上调整它们。在推断期间，我们在新组合中重新组装了学习的属性对象词汇。我们表明，CSP在基准数据集上的原始VLM的表现平均为AUC上的10.9个百分点。 CSP还胜过Coop，这是一种调谐前缀上下文的软提示方法，在AUC上平均要点5.8个百分点。我们执行其他实验，以表明CSP对仅属性分类，高阶属性 - 属性对象组成以及预验证属性和微调对象的组合进行了改进。

深度学习的最新发展之一是广义的零射击学习（GZSL），旨在识别所见类和看不见的类别的对象，而仅提供了来自可见类的标记示例。在过去的几年中，GZSL抓住了牵引力，并提出了几种模型来解决这个问题。尽管在计算机视觉和自然语言处理等领域进行了大量有关GZSL的研究，但尚未进行此类研究来处理时间序列数据。 GZSL用于应用程序，例如检测ECG和EEG数据的异常，并从传感器，光谱仪和其他设备数据中识别出看不见的类。在这方面，我们提出了一个时间序列-GZSL（LETS -GZSL）模型的潜在嵌入方式，该模型可以解决GZSL的问题用于时间序列分类（TSC）。我们利用基于嵌入式的方法并将其与属性向量相结合以预测最终类标签。我们报告了广泛流行的UCR档案数据集的结果。我们的框架能够在大多数数据集上实现至少55％的谐波平均值，除非看不见的类的数量大于3，否则数据量非常低（小于100个培训示例）。

随着大型预训练的Vison语言模型（如剪辑）的出现，可以通过及时调整来调整可转让表示形式。及时调整试图从存储在预训练的视觉模型的图像和文本编码器中的常识中探索有益信息，以探索下游任务。最近提出的名为“上下文优化”（COP）的方法将一组可学习的向量从语言侧引入文本提示符，而单独调整文本提示符则不会影响图像编码器的计算视觉特征，从而导致了次级优势。在本文中，我们通过学习文本提示并同时为文本和图像编码器提供双重模式提示调整范式。此外，为了使视觉提示更多地集中在目标视觉概念上，我们提出了类感知的视觉及时调整（CAVPT），该调整是通过在模板提示和视觉类别令牌嵌入的语言描述之间进行交叉注意来动态生成的。我们的方法提供了一种新的范式来调整大型预训练的视觉模型，并在8个数据集上进行了广泛的实验结果，证明了该方法的有效性。我们的代码在补充材料中可用。

图像标题生成是视觉和语言域交集中最具挑战性的问题之一。在这项工作中，我们提出了一个现实的字幕任务，其中输入场景可能包含没有相应的视觉或文本培训示例的视觉对象。对于此问题，我们提出了一种检测驱动的方法，该方法由单阶段的广义零弹声检测模型组成，以识别和本地化可见和看不见的类的实例，以及将检测转换为句子的基于模板的字幕模型。为了改善广泛的零射击检测模型，该模型为字幕提供了必不可少的信息，我们在班级到类的语义相似性方面定义了有效的课堂表示，并利用其特殊结构来构建有效的看不见/可见的类置信度得分校准机制。我们还提出了一个新颖的评估指标，该指标通过分别测量生成句子的视觉和非视觉内容来为字幕输出提供其他见解。我们的实验强调了在提出的零射击设置中研究字幕的重要性，并验证提出的检测驱动的零射击字幕方法的有效性。