零拍摄对象检测旨在结合类语义向量，以实现给定鉴定无约束测试图像的（两​​者）的检测。在这项研究中，我们揭示了本研究领域的核心挑战：如何合成那种塑造的强大区域特征（对于看不见的物体），作为类别的多样化和阶级作为真实样本，因此可以是强大的看不见的对象探测器训练在他们身上。为了解决这些挑战，我们构建了一种新颖的零射对对象检测框架，该框架包含类中的语义发散组件和帧间结构保存组件。前者用于实现一对一的映射，以获得来自每个类语义矢量的不同视觉功能，防止错误分类真正的未经证实的对象作为图像背景。虽然后者用于避免合成的特征太散，以混合阶级和前景背景关系。为了证明所提出的方法的有效性，对Pascal VOC，COCO和Dior数据集进行了综合实验。值得注意的是，我们的方法在Pascal VOC和Coco实现了新的最先进的性能，并且是第一次在遥感图像中进行零射对对象检测的研究。

零拍摄对象检测（ZSD），将传统检测模型扩展到检测来自Unseen类别的对象的任务，已成为计算机视觉中的新挑战。大多数现有方法通过严格的映射传输策略来解决ZSD任务，这可能导致次优ZSD结果：1）这些模型的学习过程忽略了可用的看不见的类信息，因此可以轻松地偏向所看到的类别; 2）原始视觉特征空间并不合适，缺乏歧视信息。为解决这些问题，我们开发了一种用于ZSD的新型语义引导的对比网络，命名为Contrastzsd，一种检测框架首先将对比学习机制带入零拍摄检测的领域。特别地，对比度包括两个语义导向的对比学学习子网，其分别与区域类别和区域区域对之间形成对比。成对对比度任务利用从地面真理标签和预定义的类相似性分布派生的附加监督信号。在那些明确的语义监督的指导下，模型可以了解更多关于看不见的类别的知识，以避免看到概念的偏见问题，同时优化视觉功能的数据结构，以更好地辨别更好的视觉语义对齐。广泛的实验是在ZSD，即Pascal VOC和MS Coco的两个流行基准上进行的。结果表明，我们的方法优于ZSD和广义ZSD任务的先前最先进的。

Zero-shot detection (ZSD) is a challenging task where we aim to recognize and localize objects simultaneously, even when our model has not been trained with visual samples of a few target ("unseen") classes. Recently, methods employing generative models like GANs have shown some of the best results, where unseen-class samples are generated based on their semantics by a GAN trained on seen-class data, enabling vanilla object detectors to recognize unseen objects. However, the problem of semantic confusion still remains, where the model is sometimes unable to distinguish between semantically-similar classes. In this work, we propose to train a generative model incorporating a triplet loss that acknowledges the degree of dissimilarity between classes and reflects them in the generated samples. Moreover, a cyclic-consistency loss is also enforced to ensure that generated visual samples of a class highly correspond to their own semantics. Extensive experiments on two benchmark ZSD datasets - MSCOCO and PASCAL-VOC - demonstrate significant gains over the current ZSD methods, reducing semantic confusion and improving detection for the unseen classes.

对象检测是计算机视觉和图像处理中的基本任务。基于深度学习的对象探测器非常成功，具有丰富的标记数据。但在现实生活中，它不保证每个对象类别都有足够的标记样本进行培训。当训练数据有限时，这些大型物体探测器易于过度装备。因此，有必要将几次拍摄的学习和零射击学习引入对象检测，这可以将低镜头对象检测命名在一起。低曝光对象检测（LSOD）旨在检测来自少数甚至零标记数据的对象，其分别可以分为几次对象检测（FSOD）和零拍摄对象检测（ZSD）。本文对基于深度学习的FSOD和ZSD进行了全面的调查。首先，本调查将FSOD和ZSD的方法分类为不同的类别，并讨论了它们的利弊。其次，本调查审查了数据集设置和FSOD和ZSD的评估指标，然后分析了在这些基准上的不同方法的性能。最后，本调查讨论了FSOD和ZSD的未来挑战和有希望的方向。

对象检测在过去十年中取得了实质性进展。然而，只有少量样品检测新颖类仍然有挑战性，因为低数据制度下的深度学习通常会导致降级的特征空间。现有的作品采用整体微调范例来解决这个问题，其中模型首先在具有丰富样本的所有基类上进行预培训，然后它用于雕刻新颖的类特征空间。尽管如此，这个范例仍然不完美。微调，一个小型类可以隐含地利用多个基类的知识来构造其特征空间，它引起分散的特征空间，因此违反了级别的可分离性。为了克服这些障碍，我们提出了一系列两步的微调框架，通过关联和歧视（FADI），为每个新颖类带来了一个具有两个积分步骤的判别特征空间。 1）在关联步骤中，与隐式利用多个基类相反，我们通过显式模仿特定的基类特征空间来构造一个紧凑的新颖类别特征空间。具体地，我们根据其语义相似性将每个小组与基类联系起来。之后，新类的特征空间可以容易地模仿相关基类的良好训练的特征空间。 2）在歧视步骤中，为了确保新型类和相关基类之间的可分离性，我们解除了基础和新类的分类分支。为了进一步放大所有类之间的阶级间可分性，施加了专用的专用边缘损失。对Pascal VOC和MS-Coco Datasets的广泛实验表明FADI实现了新的SOTA性能，显着改善了任何拍摄/分裂的基线+18.7。值得注意的是，优势在极其镜头方案上最为宣布。

Conventional training of a deep CNN based object detector demands a large number of bounding box annotations, which may be unavailable for rare categories. In this work we develop a few-shot object detector that can learn to detect novel objects from only a few annotated examples. Our proposed model leverages fully labeled base classes and quickly adapts to novel classes, using a meta feature learner and a reweighting module within a one-stage detection architecture. The feature learner extracts meta features that are generalizable to detect novel object classes, using training data from base classes with sufficient samples. The reweighting module transforms a few support examples from the novel classes to a global vector that indicates the importance or relevance of meta features for detecting the corresponding objects. These two modules, together with a detection prediction module, are trained end-to-end based on an episodic few-shot learning scheme and a carefully designed loss function. Through extensive experiments we demonstrate that our model outperforms well-established baselines by a large margin for few-shot object detection, on multiple datasets and settings. We also present analysis on various aspects of our proposed model, aiming to provide some inspiration for future few-shot detection works.

虽然基于微调对象检测的基于微调的方法已经取得了显着的进步，但尚未得到很好的解决的关键挑战是基本类别的潜在特定于类别的过度拟合，并且针对新颖的类别的样本特异性过度拟合。在这项工作中，我们设计了一个新颖的知识蒸馏框架，以指导对象探测器的学习，从而抑制基础类别的前训练阶段的过度拟合，并在小型课程上进行微调阶段。要具体而言，我们首先提出了一种新颖的位置感知的视觉袋模型，用于从有限尺寸的图像集中学习代表性的视觉袋（BOVW），该模型用于基于相似性来编码常规图像在学习的视觉单词和图像之间。然后，我们基于以下事实执行知识蒸馏，即图像应在两个不同的特征空间中具有一致的BOVW表示。为此，我们独立于对象检测的特征空间预先学习特征空间，并在此空间中使用BOVW编码图像。可以将图像的BOVW表示形式视为指导对象探测器的学习：对象检测器的提取特征对同一图像的提取特征有望通过蒸馏知识得出一致的BOVW表示。广泛的实验验证了我们方法的有效性，并证明了优于其他最先进方法的优势。

广义零射击学习（GZSL）旨在培训一个模型，以在某些输出类别在监督学习过程中未知的情况下对数据样本进行分类。为了解决这一具有挑战性的任务，GZSL利用可见的（源）和看不见的（目标）类的语义信息来弥合所见类和看不见的类之间的差距。自引入以来，已经制定了许多GZSL模型。在这篇评论论文中，我们介绍了有关GZSL的全面评论。首先，我们提供了GZSL的概述，包括问题和挑战。然后，我们为GZSL方法介绍了分层分类，并讨论了每个类别中的代表性方法。此外，我们讨论了GZSL的可用基准数据集和应用程序，以及有关研究差距和未来研究方向的讨论。

零拍摄学习（ZSL）旨在将知识从看见课程转移到语义相关的看不见的看不见的类，这在训练期间不存在。 ZSL的有希望的策略是在语义侧信息中综合未经调节的视野类的视觉特征，并结合元学习，以消除模型对所看到的课程的固有偏差。虽然现有的元生成方法追求跨任务分布的共同模型，但我们的目标是构建适应任务特征的生成网络。为此，我们提出了一个属性调制的生成元模型，用于零射击学习（Amaz）。我们的模型包括属性感知调制网络，属性增强生成网络和属性加权分类器。给定看不见的类，调制网络通过应用特定任务的变换自适应地调制发电机，使得生成网络可以适应高度多样化的任务。加权分类器利用数据质量来增强培训过程，进一步提高模型性能。我们对四种广泛使用的基准测试的实证评估表明，Amaz优先效仿最先进的方法在ZSL和广义ZSL设置中，展示了我们方法的优越性。我们对零拍摄图像检索任务的实验表明了Amaz的合成描绘真实视觉特征的情况的能力。

尽管对象检测方面取得了很大进展，但由于实例级边界盒注释所需的巨大人性化，大多数现有方法都仅限于一小一少量的对象类别。为了减轻问题，最近的开放词汇和零射击检测方法试图检测培训期间未见的对象类别。但是，这些方法仍然依赖于一组基类上手动提供的边界盒注释。我们提出了一个开放的词汇检测框架，可以在没有手动提供边界盒注释的情况下培训。我们的方法通过利用预先训练的视觉语言模型的本地化能力来实现这一目标，并产生可直接用于训练对象探测器的伪边界盒标签。 Coco，Pascal VOC，Objects365和LVIS的实验结果证明了我们方法的有效性。具体而言，我们的方法优于使用人类注释的边界箱训练的最先进（SOTA），即使我们的培训源未配备手动边界盒标签，也可以在COCO新型类别上用3％AP培训。在利用手动边界箱标签作为基线时，我们的方法主要超过8％的AP。

我们解决了几次拍摄语义分割（FSS）的问题，该问题旨在通过一些带有一些注释的样本分段为目标图像中的新型类对象。尽管通过结合基于原型的公制学习来进行最近的进步，但由于其特征表示差，现有方法仍然显示出在极端内部对象变化和语义相似的类别对象下的有限性能。为了解决这个问题，我们提出了一种针对FSS任务定制的双重原型对比学习方法，以有效地捕获代表性的语义。主要思想是通过增加阶级距离来鼓励原型更差异，同时减少了原型特征空间中的课堂距离。为此，我们首先向类别特定的对比丢失丢失具有动态原型字典，该字典字典存储在训练期间的类感知原型，从而实现相同的类原型和不同的类原型是不同的。此外，我们通过压缩每集内语义类的特征分布来提高类别无话的对比损失，以提高未经看不见的类别的概念能力。我们表明，所提出的双重原型对比学习方法优于Pascal-5i和Coco-20i数据集的最先进的FSS方法。该代码可用于：https：//github.com/kwonjunn01/dpcl1。

Open-set object detection (OSOD) aims to detect the known categories and identify unknown objects in a dynamic world, which has achieved significant attentions. However, previous approaches only consider this problem in data-abundant conditions, while neglecting the few-shot scenes. In this paper, we seek a solution for the few-shot open-set object detection (FSOSOD), which aims to quickly train a detector based on few samples while detecting all known classes and identifying unknown classes. The main challenge for this task is that few training samples induce the model to overfit on the known classes, resulting in a poor open-set performance. We propose a new FSOSOD algorithm to tackle this issue, named Few-shOt Open-set Detector (FOOD), which contains a novel class weight sparsification classifier (CWSC) and a novel unknown decoupling learner (UDL). To prevent over-fitting, CWSC randomly sparses parts of the normalized weights for the logit prediction of all classes, and then decreases the co-adaptability between the class and its neighbors. Alongside, UDL decouples training the unknown class and enables the model to form a compact unknown decision boundary. Thus, the unknown objects can be identified with a confidence probability without any pseudo-unknown samples for training. We compare our method with several state-of-the-art OSOD methods in few-shot scenes and observe that our method improves the recall of unknown classes by 5%-9% across all shots in VOC-COCO dataset setting.

最近的方法表明，直接在大规模图像文本对集合上训练深神网络可以在各种识别任务上进行零拍传输。一个中心问题是如何将其推广到对象检测，这涉及本地化的非语义任务以及分类的语义任务。为了解决这个问题，我们引入了一种视觉嵌入对准方法，该方法将审计模型（例如夹子）（例如夹子）的概括能力传输到像Yolov5这样的对象检测器。我们制定了一个损耗函数，使我们能够将图像和文本嵌入在预审计的模型夹中对齐与检测器的修改语义预测头。通过这种方法，我们能够训练一个对象检测器，该对象检测器可以在可可，ILSVRC和视觉基因组零摄像机检测基准上实现最先进的性能。在推断期间，我们的模型可以适应以检测任何数量的对象类，而无需其他培训。我们还发现，标准对象检测缩放可以很好地传输到我们的方法，并在Yolov5模型和Yolov3模型的各种尺度上找到一致的改进。最后，我们开发了一种自我标记的方法，该方法可提供显着的分数改进，而无需额外的图像或标签。

Few-shot object detection (FSOD), which aims at learning a generic detector that can adapt to unseen tasks with scarce training samples, has witnessed consistent improvement recently. However, most existing methods ignore the efficiency issues, e.g., high computational complexity and slow adaptation speed. Notably, efficiency has become an increasingly important evaluation metric for few-shot techniques due to an emerging trend toward embedded AI. To this end, we present an efficient pretrain-transfer framework (PTF) baseline with no computational increment, which achieves comparable results with previous state-of-the-art (SOTA) methods. Upon this baseline, we devise an initializer named knowledge inheritance (KI) to reliably initialize the novel weights for the box classifier, which effectively facilitates the knowledge transfer process and boosts the adaptation speed. Within the KI initializer, we propose an adaptive length re-scaling (ALR) strategy to alleviate the vector length inconsistency between the predicted novel weights and the pretrained base weights. Finally, our approach not only achieves the SOTA results across three public benchmarks, i.e., PASCAL VOC, COCO and LVIS, but also exhibits high efficiency with 1.8-100x faster adaptation speed against the other methods on COCO/LVIS benchmark during few-shot transfer. To our best knowledge, this is the first work to consider the efficiency problem in FSOD. We hope to motivate a trend toward powerful yet efficient few-shot technique development. The codes are publicly available at https://github.com/Ze-Yang/Efficient-FSOD.

许多开放世界应用程序需要检测新的对象，但最先进的对象检测和实例分段网络在此任务中不屈服。关键问题在于他们假设没有任何注释的地区应被抑制为否定，这教导了将未经讨犯的对象视为背景的模型。为了解决这个问题，我们提出了一个简单但令人惊讶的强大的数据增强和培训方案，我们呼唤学习来检测每件事（LDET）。为避免抑制隐藏的对象，背景对象可见但未标记，我们粘贴在从原始图像的小区域采样的背景图像上粘贴带有的注释对象。由于仅对这种综合增强的图像培训遭受域名，我们将培训与培训分为两部分：1）培训区域分类和回归头在增强图像上，2）在原始图像上训练掩模头。通过这种方式，模型不学习将隐藏对象作为背景分类，同时概括到真实图像。 LDET导致开放式世界实例分割任务中的许多数据集的重大改进，表现出CoCo上的交叉类别概括的基线，以及对UVO和城市的交叉数据集评估。

昂贵的边界盒注释限制了对象检测任务的开发。因此，有必要专注于更具挑战性的对象检测的更具挑战性的任务。它要求检测器只有几个训练样本识别新型类别的对象。如今，许多采用类似于元学习的培训方式的现有流行方法已经达到了有希望的表现，例如meta r-CNN系列。但是，支持数据仅用作类的注意，以指导每次查询图像的检测。它们彼此的相关性仍未得到解释。此外，许多最近的作品将支持数据和查询图像视为独立分支，而无需考虑它们之间的关系。为了解决这个问题，我们提出了一个动态相关性学习模型，该模型利用查询图像上所有支持图像与目标区域（ROI）之间的关系来构建动态图卷积网络（GCN）。通过使用此GCN的输出调整基本检测器的预测分布，提出的模型是一项硬辅助分类任务，该任务指导检测器隐含地改进类表示。对Pascal VOC和MS-Coco数据集进行了全面的实验。拟议的模型达到了最佳的整体性能，这表明了其学习更多广义特征的有效性。我们的代码可在https://github.com/liuweijie19980216/drl-for-fsod上找到。

最近，Vision-Language预训练的零拍图像分类已经表现出令人难以置信的成就，即该模型可以对任意类别进行分类而不看到该类别的其他注释图像。然而，目前尚不清楚如何在更广泛的视觉问题上进行零射识别，例如对象检测和语义分割。在本文中，我们通过在现成的预训练的视觉模型，即剪辑上建立零拍语义分割来定位零拍语义分割。很难因为语义分割和剪辑模型在不同的视觉粒度上执行，该语义分段处理在像素上时，而剪辑在图像上执行。为了解决处理粒度的差异，我们拒绝使用普遍的一级FCN基于FCN的框架，并倡导一个两级语义分割框架，其中第一阶段提取一个完全提取的掩模提案和第二阶段利用基于图像的剪辑模型在第一阶段生成的蒙版图像作物上执行零拍分类。我们的实验结果表明，这种简单的框架通过大型利润率超越了先前的最先进：+29.5 Hiou On Pascal VOC 2012 DataSet，+8.9 Hiou On Coco Stuff DataSet。凭借其简单性和强大的表现，我们希望本框架成为促进未来研究的基准。

基于草图的3D形状检索是一项具有挑战性的任务，这是由于草图和3D形状之间的较大域差异。由于现有方法是在相同类别上进行培训和评估的，因此他们无法有效地识别培训期间未使用的类别。在本文中，我们建议用于基于零素描的3D检索的新型域分解生成对抗网络（DD-GAN），该域可以检索训练过程中未访问的不看到的类别。具体而言，我们首先通过删除草图和3D形状的学习特征来生成域不变的特征和特定于域特异性特征，在该特征中，域，域，不变的特征用于与相应的单词嵌入在一起。然后，我们开发了一个生成的对抗网络，该网络将所见类别的特定域特征与对齐的域不变特征结合在一起，以合成样品，在其中使用相应的单词嵌入式生成了看不见类别的合成样本。最后，我们使用看不见类别的综合样本与可见类别的真实样本相结合来训练网络进行检索，以便可以识别出看不见的类别。为了减少域移位问题，我们利用未看到的未见样本来增强歧视者的歧视能力。通过鉴别器将生成的样品与未看到的看不见的样品区分开，生成器可以生成更现实的看不见的样品。 SHEREC'13和SHEREC'14数据集的广泛实验表明，我们的方法显着提高了看不见类别的检索性能。

本文的目的是几次拍摄对象检测（FSOD） - 仅为新类别扩展对象探测器的任务仅给出了一些培训实例。我们介绍了一种简单的伪标签方法来源从训练集提供高质量的伪注释，因为每个新类别，大大增加培训实例的数量和减少类别的不平衡;我们的方法找到了先前未标记的实例。 NA \“IVELY培训使用模型预测产生了次优性能;我们提出了两种提高伪标签过程的精度的新方法：首先，我们引入了一种验证技术，以删除候选人检测，不正确的类标签;第二，我们训练一个专门的模型，可以纠正差的质量边界箱。在这两种新颖步骤之后，我们获得了一大集的高质量伪注释，允许我们的最终探测器培训结束到底。另外，我们展示了我们的方法维护基础类性能，以及FSOD中简单增强的实用性。在Pascal VOC和MS-Coco基准测试的同时，我们的方法与所有射击镜头的现有方法相比，实现了最先进的或第二个最佳性能。

几次拍摄对象检测（FSOD）仅定位并在图像中分类对象仅给出一些数据样本。最近的FSOD研究趋势显示了公制和元学习技术的采用，这易于灾难性的遗忘和课堂混乱。为了克服基于度量学习的FSOD技术的这些陷阱，我们介绍了引入引导的余弦余量（AGCM），这有助于在对象检测器的分类头中创建更严格和良好的分离类特征群集。我们的新型专注提案融合（APF）模块通过降低共同发生的课程中的阶级差异来最大限度地减少灾难性遗忘。与此同时，拟议的余弦保证金交叉熵损失增加了混淆课程之间的角度裕度，以克服已经学习（基地）和新添加（新）类的课堂混淆的挑战。我们对挑战印度驾驶数据集（IDD）进行了实验，这呈现了一个现实世界类别 - 不平衡的环境，与流行的FSOD基准Pascal-VOC相同。我们的方法优于最先进的（SOTA）在IDD-OS上最多可达6.4个地图点，并且在IDD-10上的2.0次映射点为10次拍摄设置。在Pascal-Voc数据集上，我们优先于现有的SOTA方法，最多可达4.9个地图点。