Few-shot object detection (FSOD), which aims at learning a generic detector that can adapt to unseen tasks with scarce training samples, has witnessed consistent improvement recently. However, most existing methods ignore the efficiency issues, e.g., high computational complexity and slow adaptation speed. Notably, efficiency has become an increasingly important evaluation metric for few-shot techniques due to an emerging trend toward embedded AI. To this end, we present an efficient pretrain-transfer framework (PTF) baseline with no computational increment, which achieves comparable results with previous state-of-the-art (SOTA) methods. Upon this baseline, we devise an initializer named knowledge inheritance (KI) to reliably initialize the novel weights for the box classifier, which effectively facilitates the knowledge transfer process and boosts the adaptation speed. Within the KI initializer, we propose an adaptive length re-scaling (ALR) strategy to alleviate the vector length inconsistency between the predicted novel weights and the pretrained base weights. Finally, our approach not only achieves the SOTA results across three public benchmarks, i.e., PASCAL VOC, COCO and LVIS, but also exhibits high efficiency with 1.8-100x faster adaptation speed against the other methods on COCO/LVIS benchmark during few-shot transfer. To our best knowledge, this is the first work to consider the efficiency problem in FSOD. We hope to motivate a trend toward powerful yet efficient few-shot technique development. The codes are publicly available at https://github.com/Ze-Yang/Efficient-FSOD.

即使在几个例子中，人类能够学会识别新物品。相比之下，培训基于深度学习的对象探测器需要大量的注释数据。为避免需求获取和注释这些大量数据，但很少拍摄的对象检测旨在从目标域中的新类别的少数对象实例中学习。在本调查中，我们在几次拍摄对象检测中概述了本领域的状态。我们根据培训方案和建筑布局分类方法。对于每种类型的方法，我们描述了一般的实现以及提高新型类别性能的概念。在适当的情况下，我们在这些概念上给出短暂的外卖，以突出最好的想法。最终，我们介绍了常用的数据集及其评估协议，并分析了报告的基准结果。因此，我们强调了评估中的共同挑战，并确定了这种新兴对象检测领域中最有前景的电流趋势。

Conventional training of a deep CNN based object detector demands a large number of bounding box annotations, which may be unavailable for rare categories. In this work we develop a few-shot object detector that can learn to detect novel objects from only a few annotated examples. Our proposed model leverages fully labeled base classes and quickly adapts to novel classes, using a meta feature learner and a reweighting module within a one-stage detection architecture. The feature learner extracts meta features that are generalizable to detect novel object classes, using training data from base classes with sufficient samples. The reweighting module transforms a few support examples from the novel classes to a global vector that indicates the importance or relevance of meta features for detecting the corresponding objects. These two modules, together with a detection prediction module, are trained end-to-end based on an episodic few-shot learning scheme and a carefully designed loss function. Through extensive experiments we demonstrate that our model outperforms well-established baselines by a large margin for few-shot object detection, on multiple datasets and settings. We also present analysis on various aspects of our proposed model, aiming to provide some inspiration for future few-shot detection works.

几次拍摄对象检测（FSOD）仅定位并在图像中分类对象仅给出一些数据样本。最近的FSOD研究趋势显示了公制和元学习技术的采用，这易于灾难性的遗忘和课堂混乱。为了克服基于度量学习的FSOD技术的这些陷阱，我们介绍了引入引导的余弦余量（AGCM），这有助于在对象检测器的分类头中创建更严格和良好的分离类特征群集。我们的新型专注提案融合（APF）模块通过降低共同发生的课程中的阶级差异来最大限度地减少灾难性遗忘。与此同时，拟议的余弦保证金交叉熵损失增加了混淆课程之间的角度裕度，以克服已经学习（基地）和新添加（新）类的课堂混淆的挑战。我们对挑战印度驾驶数据集（IDD）进行了实验，这呈现了一个现实世界类别 - 不平衡的环境，与流行的FSOD基准Pascal-VOC相同。我们的方法优于最先进的（SOTA）在IDD-OS上最多可达6.4个地图点，并且在IDD-10上的2.0次映射点为10次拍摄设置。在Pascal-Voc数据集上，我们优先于现有的SOTA方法，最多可达4.9个地图点。

在真实世界的环境中，可以通过对象检测器连续遇到来自新类的对象实例。当现有的对象探测器应用于这种情况时，它们在旧课程上的性能显着恶化。据报道，一些努力解决了这个限制，所有这些限制适用于知识蒸馏的变体，以避免灾难性的遗忘。我们注意到虽然蒸馏有助于保留以前的学习，但它阻碍了对新任务的快速适应性，这是增量学习的关键要求。在这种追求中，我们提出了一种学习方法，可以学习重塑模型梯度，使得跨增量任务的信息是最佳的共享。这可通过META学习梯度预处理来确保无缝信息传输，可最大限度地减少遗忘并最大化知识传输。与现有的元学习方法相比，我们的方法是任务不可知，允许将新类的增量添加到对象检测的高容量模型中。我们在Pascal-VOC和MS Coco Datasets上定义的各种增量学习设置中评估了我们的方法，我们的方法对最先进的方法进行了好评。

昂贵的边界盒注释限制了对象检测任务的开发。因此，有必要专注于更具挑战性的对象检测的更具挑战性的任务。它要求检测器只有几个训练样本识别新型类别的对象。如今，许多采用类似于元学习的培训方式的现有流行方法已经达到了有希望的表现，例如meta r-CNN系列。但是，支持数据仅用作类的注意，以指导每次查询图像的检测。它们彼此的相关性仍未得到解释。此外，许多最近的作品将支持数据和查询图像视为独立分支，而无需考虑它们之间的关系。为了解决这个问题，我们提出了一个动态相关性学习模型，该模型利用查询图像上所有支持图像与目标区域（ROI）之间的关系来构建动态图卷积网络（GCN）。通过使用此GCN的输出调整基本检测器的预测分布，提出的模型是一项硬辅助分类任务，该任务指导检测器隐含地改进类表示。对Pascal VOC和MS-Coco数据集进行了全面的实验。拟议的模型达到了最佳的整体性能，这表明了其学习更多广义特征的有效性。我们的代码可在https://github.com/liuweijie19980216/drl-for-fsod上找到。

Adapting object detectors learned with sufficient supervision to novel classes under low data regimes is charming yet challenging. In few-shot object detection (FSOD), the two-step training paradigm is widely adopted to mitigate the severe sample imbalance, i.e., holistic pre-training on base classes, then partial fine-tuning in a balanced setting with all classes. Since unlabeled instances are suppressed as backgrounds in the base training phase, the learned RPN is prone to produce biased proposals for novel instances, resulting in dramatic performance degradation. Unfortunately, the extreme data scarcity aggravates the proposal distribution bias, hindering the RoI head from evolving toward novel classes. In this paper, we introduce a simple yet effective proposal distribution calibration (PDC) approach to neatly enhance the localization and classification abilities of the RoI head by recycling its localization ability endowed in base training and enriching high-quality positive samples for semantic fine-tuning. Specifically, we sample proposals based on the base proposal statistics to calibrate the distribution bias and impose additional localization and classification losses upon the sampled proposals for fast expanding the base detector to novel classes. Experiments on the commonly used Pascal VOC and MS COCO datasets with explicit state-of-the-art performances justify the efficacy of our PDC for FSOD. Code is available at github.com/Bohao-Lee/PDC.

对象检测在过去十年中取得了实质性进展。然而，只有少量样品检测新颖类仍然有挑战性，因为低数据制度下的深度学习通常会导致降级的特征空间。现有的作品采用整体微调范例来解决这个问题，其中模型首先在具有丰富样本的所有基类上进行预培训，然后它用于雕刻新颖的类特征空间。尽管如此，这个范例仍然不完美。微调，一个小型类可以隐含地利用多个基类的知识来构造其特征空间，它引起分散的特征空间，因此违反了级别的可分离性。为了克服这些障碍，我们提出了一系列两步的微调框架，通过关联和歧视（FADI），为每个新颖类带来了一个具有两个积分步骤的判别特征空间。 1）在关联步骤中，与隐式利用多个基类相反，我们通过显式模仿特定的基类特征空间来构造一个紧凑的新颖类别特征空间。具体地，我们根据其语义相似性将每个小组与基类联系起来。之后，新类的特征空间可以容易地模仿相关基类的良好训练的特征空间。 2）在歧视步骤中，为了确保新型类和相关基类之间的可分离性，我们解除了基础和新类的分类分支。为了进一步放大所有类之间的阶级间可分性，施加了专用的专用边缘损失。对Pascal VOC和MS-Coco Datasets的广泛实验表明FADI实现了新的SOTA性能，显着改善了任何拍摄/分裂的基线+18.7。值得注意的是，优势在极其镜头方案上最为宣布。

少量对象检测（FSOD）旨在仅使用几个例子来检测对象。如何将最先进的对象探测器适应几个拍摄域保持挑战性。对象提案是现代物体探测器中的关键成分。然而，使用现有方法对于几张拍摄类生成的提案质量远远差，而不是许多拍摄类，例如，由于错误分类或不准确的空间位置而导致的少量拍摄类丢失的框。为了解决嘈杂的提案问题，我们通过联合优化几次提案生成和细粒度的少量提案分类，提出了一种新的Meta学习的FSOD模型。为了提高几张拍摄类的提议生成，我们建议学习基于轻量级的公制学习的原型匹配网络，而不是传统的简单线性对象/非目标分类器，例如，在RPN中使用。我们具有特征融合网络的非线性分类器可以提高鉴别性原型匹配和少拍摄类的提案回忆。为了提高细粒度的少量提案分类，我们提出了一种新的细节特征对准方法，以解决嘈杂的提案和少量拍摄类之间的空间未对准，从而提高了几次对象检测的性能。同时，我们学习一个单独的R-CNN检测头，用于多射击基础类，并表现出维护基础课程知识的强大性能。我们的模型在大多数射击和指标上实现了多个FSOD基准的最先进的性能。

Open-set object detection (OSOD) aims to detect the known categories and identify unknown objects in a dynamic world, which has achieved significant attentions. However, previous approaches only consider this problem in data-abundant conditions, while neglecting the few-shot scenes. In this paper, we seek a solution for the few-shot open-set object detection (FSOSOD), which aims to quickly train a detector based on few samples while detecting all known classes and identifying unknown classes. The main challenge for this task is that few training samples induce the model to overfit on the known classes, resulting in a poor open-set performance. We propose a new FSOSOD algorithm to tackle this issue, named Few-shOt Open-set Detector (FOOD), which contains a novel class weight sparsification classifier (CWSC) and a novel unknown decoupling learner (UDL). To prevent over-fitting, CWSC randomly sparses parts of the normalized weights for the logit prediction of all classes, and then decreases the co-adaptability between the class and its neighbors. Alongside, UDL decouples training the unknown class and enables the model to form a compact unknown decision boundary. Thus, the unknown objects can be identified with a confidence probability without any pseudo-unknown samples for training. We compare our method with several state-of-the-art OSOD methods in few-shot scenes and observe that our method improves the recall of unknown classes by 5%-9% across all shots in VOC-COCO dataset setting.

标记数据通常昂贵且耗时，特别是对于诸如对象检测和实例分割之类的任务，这需要对图像的密集标签进行密集的标签。虽然几张拍摄对象检测是关于培训小说中的模型（看不见的）对象类具有很少的数据，但它仍然需要在许多标记的基础（见）类的课程上进行训练。另一方面，自我监督的方法旨在从未标记数据学习的学习表示，该数据转移到诸如物体检测的下游任务。结合几次射击和自我监督的物体检测是一个有前途的研究方向。在本调查中，我们审查并表征了几次射击和自我监督对象检测的最新方法。然后，我们给我们的主要外卖，并讨论未来的研究方向。https://gabrielhuang.github.io/fsod-survey/的项目页面

由于元学习策略的成功，几次对象检测迅速进展。然而，现有方法中的微调阶段的要求是时间分子，并且显着阻碍了其在实时应用中的使用，例如对低功耗机器人的自主勘探。为了解决这个问题，我们展示了一个全新的架构，Airdet，它通过学习级别与支持图像的无政府主义关系没有微调。具体地，我们提出了一种支持引导的串级（SCS）特征融合网络来生成对象提案，用于拍摄聚合的全局本地关系网络（GLR），以及基于关系的基本嵌入网络（R-PEN），用于精确本土化。令人惊讶的是，在Coco和Pascal VOC数据集上进行详尽的实验，旨在达到比详尽的Fineetuned方法相当或更好的结果，达到基线的提高高达40-60％。为了我们的兴奋，Airdet在多尺度对象，尤其是小型物体上获得有利性能。此外，我们提出了来自DARPA地下挑战的实际勘探测试的评估结果，这强烈验证了机器人中AIRDET的可行性。将公开源代码，预先训练的模型以及真实世界的勘探数据。

通过将元学习纳入基于区域的检测框架中，很少有射击对象检测经过广泛的研究。尽管取得了成功，但所述范式仍然受到几个因素的限制，例如（i）新型类别的低质量区域建议以及（ii）不同类别之间的类间相关性的过失。这种限制阻碍了基础知识的概括，以检测新型级别对象。在这项工作中，我们设计了元数据，（i）是第一个图像级的少量检测器，（ii）引入了一种新颖的类间相关元学习策略，以捕获和利用不同类别之间的相关性的相关性稳健而准确的几个射击对象检测。 meta-detr完全在图像级别工作，没有任何区域建议，这规避了普遍的几杆检测框架中不准确的建议的约束。此外，引入的相关元学习使元数据能够同时参加单个进料中的多个支持类别，从而可以捕获不同类别之间的类间相关性，从而大大降低了相似类别的错误分类并增强知识概括性参加新颖的课程。对多个射击对象检测基准进行的实验表明，所提出的元元删除优于大幅度的最先进方法。实施代码可在https://github.com/zhanggongjie/meta-detr上获得。

零拍摄对象检测（ZSD），将传统检测模型扩展到检测来自Unseen类别的对象的任务，已成为计算机视觉中的新挑战。大多数现有方法通过严格的映射传输策略来解决ZSD任务，这可能导致次优ZSD结果：1）这些模型的学习过程忽略了可用的看不见的类信息，因此可以轻松地偏向所看到的类别; 2）原始视觉特征空间并不合适，缺乏歧视信息。为解决这些问题，我们开发了一种用于ZSD的新型语义引导的对比网络，命名为Contrastzsd，一种检测框架首先将对比学习机制带入零拍摄检测的领域。特别地，对比度包括两个语义导向的对比学学习子网，其分别与区域类别和区域区域对之间形成对比。成对对比度任务利用从地面真理标签和预定义的类相似性分布派生的附加监督信号。在那些明确的语义监督的指导下，模型可以了解更多关于看不见的类别的知识，以避免看到概念的偏见问题，同时优化视觉功能的数据结构，以更好地辨别更好的视觉语义对齐。广泛的实验是在ZSD，即Pascal VOC和MS Coco的两个流行基准上进行的。结果表明，我们的方法优于ZSD和广义ZSD任务的先前最先进的。

Few Shot Instance Segmentation (FSIS) requires models to detect and segment novel classes with limited several support examples. In this work, we explore a simple yet unified solution for FSIS as well as its incremental variants, and introduce a new framework named Reference Twice (RefT) to fully explore the relationship between support/query features based on a Transformer-like framework. Our key insights are two folds: Firstly, with the aid of support masks, we can generate dynamic class centers more appropriately to re-weight query features. Secondly, we find that support object queries have already encoded key factors after base training. In this way, the query features can be enhanced twice from two aspects, i.e., feature-level and instance-level. In particular, we firstly design a mask-based dynamic weighting module to enhance support features and then propose to link object queries for better calibration via cross-attention. After the above steps, the novel classes can be improved significantly over our strong baseline. Additionally, our new framework can be easily extended to incremental FSIS with minor modification. When benchmarking results on the COCO dataset for FSIS, gFSIS, and iFSIS settings, our method achieves a competitive performance compared to existing approaches across different shots, e.g., we boost nAP by noticeable +8.2/+9.4 over the current state-of-the-art FSIS method for 10/30-shot. We further demonstrate the superiority of our approach on Few Shot Object Detection. Code and model will be available.

对象检测是计算机视觉和图像处理中的基本任务。基于深度学习的对象探测器非常成功，具有丰富的标记数据。但在现实生活中，它不保证每个对象类别都有足够的标记样本进行培训。当训练数据有限时，这些大型物体探测器易于过度装备。因此，有必要将几次拍摄的学习和零射击学习引入对象检测，这可以将低镜头对象检测命名在一起。低曝光对象检测（LSOD）旨在检测来自少数甚至零标记数据的对象，其分别可以分为几次对象检测（FSOD）和零拍摄对象检测（ZSD）。本文对基于深度学习的FSOD和ZSD进行了全面的调查。首先，本调查将FSOD和ZSD的方法分类为不同的类别，并讨论了它们的利弊。其次，本调查审查了数据集设置和FSOD和ZSD的评估指标，然后分析了在这些基准上的不同方法的性能。最后，本调查讨论了FSOD和ZSD的未来挑战和有希望的方向。

很少有射击对象检测（FSOD），目的是使用很少的培训示例来检测新颖的对象，最近对社区引起了极大的研究兴趣。基于度量学习的方法已证明使用基于两分支的暹罗网络对此任务有效，并计算图像区域之间的相似性和几乎没有射击示例以进行检测。但是，在以前的工作中，两个分支之间的相互作用仅在检测头中受到限制，而将其余数百个层留在单独的特征提取中。受到有关视觉变压器和视觉变压器的最新工作的启发，我们通过将交叉转换器纳入功能骨干和检测头中，提出了一种新颖的FSOD基于跨变速器的模型（FCT）。提出了不对称批次的交叉注意，以从不同批次大小的两个分支中汇总关键信息。我们的模型可以通过引入多级交互来改善两个分支之间的几个相似性学习。对Pascal VOC和MSCOCO FSOD基准测试的全面实验证明了我们模型的有效性。

少量对象检测（FSOD）旨在使用少数示例来检测从未见过的对象。通过学习如何在查询图像和少量拍摄类示例之间进行匹配，因此可以通过学习如何匹配来实现最近的改进，使得学习模型可以概括为几滴新颖的类。然而，目前，大多数基于元学习的方法分别在查询图像区域（通常是提议）和新颖类之间执行成对匹配，因此无法考虑它们之间的多个关系。在本文中，我们使用异构图卷积网络提出了一种新颖的FSOD模型。通过具有三种不同类型的边缘的所有提议和类节点之间的有效消息，我们可以获得每个类的上下文感知提案功能和查询 - 自适应，多包子增强型原型表示，这可能有助于促进成对匹配和改进的最终决赛FSOD精度。广泛的实验结果表明，我们所提出的模型表示为QA的Qa-Netwet，优于不同拍摄和评估指标下的Pascal VOC和MSCOCO FSOD基准测试的当前最先进的方法。

虽然基于微调对象检测的基于微调的方法已经取得了显着的进步，但尚未得到很好的解决的关键挑战是基本类别的潜在特定于类别的过度拟合，并且针对新颖的类别的样本特异性过度拟合。在这项工作中，我们设计了一个新颖的知识蒸馏框架，以指导对象探测器的学习，从而抑制基础类别的前训练阶段的过度拟合，并在小型课程上进行微调阶段。要具体而言，我们首先提出了一种新颖的位置感知的视觉袋模型，用于从有限尺寸的图像集中学习代表性的视觉袋（BOVW），该模型用于基于相似性来编码常规图像在学习的视觉单词和图像之间。然后，我们基于以下事实执行知识蒸馏，即图像应在两个不同的特征空间中具有一致的BOVW表示。为此，我们独立于对象检测的特征空间预先学习特征空间，并在此空间中使用BOVW编码图像。可以将图像的BOVW表示形式视为指导对象探测器的学习：对象检测器的提取特征对同一图像的提取特征有望通过蒸馏知识得出一致的BOVW表示。广泛的实验验证了我们方法的有效性，并证明了优于其他最先进方法的优势。

少量对象检测（FSOD）是计算机视觉中快速生长的领域。它包括查找给定的一组类的所有出现，只有每个类的少数注释的示例。已经提出了许多方法来解决这一挑战，其中大部分是基于注意机制。然而，各种经典对象检测框架和培训策略使方法之间的性能比较困难。特别是对于基于关注的FSOD方法，比较不同关注机制对性能的影响是费力的。本文旨在填补这种缺点。为此，提出了一种灵活的框架，以允许实施文献中可用的大部分注意技术。要正确介绍这样的框架，首先提供了对现有FSOD方法的详细审查。然后在框架内重新实现一些不同的关注机制，并与固定的所有其他参数进行比较。