与静态图像不同，视频包含其他时间和空间信息，以进行更好的对象检测。但是，获得大量带有有界框注释的视频是昂贵的，这些视频是有监督的深度学习所需的。尽管人类只能通过仅观看几个视频剪辑来轻松学习识别新对象，但深度学习通常会遭受过度拟合。这导致了一个重要的问题：如何仅从几个标记的视频剪辑中有效地学习视频对象探测器？在本文中，我们研究了视频对象检测几乎没有学习的新问题。我们首先定义了几个弹出设置，并创建一个新的基准数据集，以用于从广泛使用的Imagenet VID数据集中得出的几个弹片视频对象检测。我们采用转移学习框架来有效地训练视频对象探测器在大量基类对象和一些新颖级别对象的视频剪辑上。通过在我们设计的弱和强基数据集中分析该框架（关节和冻结）下两种方法的结果，我们揭示了不足和过度拟合问题。一种简单但有效的方法，称为融化，是自然开发的，可以权衡这两个问题并验证我们的分析。在我们提议的基准数据集上进行不同方案的广泛实验证明了我们在这个新的几弹视频对象检测问题中新颖分析的有效性。

少量对象检测（FSOD）旨在使用少数示例来检测从未见过的对象。通过学习如何在查询图像和少量拍摄类示例之间进行匹配，因此可以通过学习如何匹配来实现最近的改进，使得学习模型可以概括为几滴新颖的类。然而，目前，大多数基于元学习的方法分别在查询图像区域（通常是提议）和新颖类之间执行成对匹配，因此无法考虑它们之间的多个关系。在本文中，我们使用异构图卷积网络提出了一种新颖的FSOD模型。通过具有三种不同类型的边缘的所有提议和类节点之间的有效消息，我们可以获得每个类的上下文感知提案功能和查询 - 自适应，多包子增强型原型表示，这可能有助于促进成对匹配和改进的最终决赛FSOD精度。广泛的实验结果表明，我们所提出的模型表示为QA的Qa-Netwet，优于不同拍摄和评估指标下的Pascal VOC和MSCOCO FSOD基准测试的当前最先进的方法。

Conventional training of a deep CNN based object detector demands a large number of bounding box annotations, which may be unavailable for rare categories. In this work we develop a few-shot object detector that can learn to detect novel objects from only a few annotated examples. Our proposed model leverages fully labeled base classes and quickly adapts to novel classes, using a meta feature learner and a reweighting module within a one-stage detection architecture. The feature learner extracts meta features that are generalizable to detect novel object classes, using training data from base classes with sufficient samples. The reweighting module transforms a few support examples from the novel classes to a global vector that indicates the importance or relevance of meta features for detecting the corresponding objects. These two modules, together with a detection prediction module, are trained end-to-end based on an episodic few-shot learning scheme and a carefully designed loss function. Through extensive experiments we demonstrate that our model outperforms well-established baselines by a large margin for few-shot object detection, on multiple datasets and settings. We also present analysis on various aspects of our proposed model, aiming to provide some inspiration for future few-shot detection works.

少量对象检测（FSOD）旨在仅使用几个例子来检测对象。如何将最先进的对象探测器适应几个拍摄域保持挑战性。对象提案是现代物体探测器中的关键成分。然而，使用现有方法对于几张拍摄类生成的提案质量远远差，而不是许多拍摄类，例如，由于错误分类或不准确的空间位置而导致的少量拍摄类丢失的框。为了解决嘈杂的提案问题，我们通过联合优化几次提案生成和细粒度的少量提案分类，提出了一种新的Meta学习的FSOD模型。为了提高几张拍摄类的提议生成，我们建议学习基于轻量级的公制学习的原型匹配网络，而不是传统的简单线性对象/非目标分类器，例如，在RPN中使用。我们具有特征融合网络的非线性分类器可以提高鉴别性原型匹配和少拍摄类的提案回忆。为了提高细粒度的少量提案分类，我们提出了一种新的细节特征对准方法，以解决嘈杂的提案和少量拍摄类之间的空间未对准，从而提高了几次对象检测的性能。同时，我们学习一个单独的R-CNN检测头，用于多射击基础类，并表现出维护基础课程知识的强大性能。我们的模型在大多数射击和指标上实现了多个FSOD基准的最先进的性能。

表面缺陷检测是工业质量检查最重要的过程之一。基于深度学习的表面缺陷检测方法已显示出巨大的潜力。但是，表现出色的模型通常需要大量的训练数据，并且只能检测出在训练阶段出现的缺陷。当面对少量数据数据时，缺陷检测模型不可避免地会遭受灾难性遗忘和错误分类问题的困扰。为了解决这些问题，本文提出了一个新的知识蒸馏网络，称为双知识对齐网络（DKAN）。提出的DKAN方法遵循预处理的转移学习范式，并设计了用于微调的知识蒸馏框架。具体而言，提出了增量RCNN以实现不同类别的分离稳定特征表示。在此框架下，设计特征知识对齐（FKA）的损失是在类不足的特征图之间设计的，以解决灾难性的遗忘问题，而logit知识对准（LKA）损失在logit分布之间部署以解决错误分类问题。实验已经在递增的几个neu-det数据集上进行，结果表明，DKAN在各种几个场景上的其他方法都优于其他方法，对平均平均精度度量指标最高可达6.65％，这证明了该方法的有效性。

Few-shot object detection (FSOD), which aims at learning a generic detector that can adapt to unseen tasks with scarce training samples, has witnessed consistent improvement recently. However, most existing methods ignore the efficiency issues, e.g., high computational complexity and slow adaptation speed. Notably, efficiency has become an increasingly important evaluation metric for few-shot techniques due to an emerging trend toward embedded AI. To this end, we present an efficient pretrain-transfer framework (PTF) baseline with no computational increment, which achieves comparable results with previous state-of-the-art (SOTA) methods. Upon this baseline, we devise an initializer named knowledge inheritance (KI) to reliably initialize the novel weights for the box classifier, which effectively facilitates the knowledge transfer process and boosts the adaptation speed. Within the KI initializer, we propose an adaptive length re-scaling (ALR) strategy to alleviate the vector length inconsistency between the predicted novel weights and the pretrained base weights. Finally, our approach not only achieves the SOTA results across three public benchmarks, i.e., PASCAL VOC, COCO and LVIS, but also exhibits high efficiency with 1.8-100x faster adaptation speed against the other methods on COCO/LVIS benchmark during few-shot transfer. To our best knowledge, this is the first work to consider the efficiency problem in FSOD. We hope to motivate a trend toward powerful yet efficient few-shot technique development. The codes are publicly available at https://github.com/Ze-Yang/Efficient-FSOD.

标记数据通常昂贵且耗时，特别是对于诸如对象检测和实例分割之类的任务，这需要对图像的密集标签进行密集的标签。虽然几张拍摄对象检测是关于培训小说中的模型（看不见的）对象类具有很少的数据，但它仍然需要在许多标记的基础（见）类的课程上进行训练。另一方面，自我监督的方法旨在从未标记数据学习的学习表示，该数据转移到诸如物体检测的下游任务。结合几次射击和自我监督的物体检测是一个有前途的研究方向。在本调查中，我们审查并表征了几次射击和自我监督对象检测的最新方法。然后，我们给我们的主要外卖，并讨论未来的研究方向。https://gabrielhuang.github.io/fsod-survey/的项目页面

通过将元学习纳入基于区域的检测框架中，很少有射击对象检测经过广泛的研究。尽管取得了成功，但所述范式仍然受到几个因素的限制，例如（i）新型类别的低质量区域建议以及（ii）不同类别之间的类间相关性的过失。这种限制阻碍了基础知识的概括，以检测新型级别对象。在这项工作中，我们设计了元数据，（i）是第一个图像级的少量检测器，（ii）引入了一种新颖的类间相关元学习策略，以捕获和利用不同类别之间的相关性的相关性稳健而准确的几个射击对象检测。 meta-detr完全在图像级别工作，没有任何区域建议，这规避了普遍的几杆检测框架中不准确的建议的约束。此外，引入的相关元学习使元数据能够同时参加单个进料中的多个支持类别，从而可以捕获不同类别之间的类间相关性，从而大大降低了相似类别的错误分类并增强知识概括性参加新颖的课程。对多个射击对象检测基准进行的实验表明，所提出的元元删除优于大幅度的最先进方法。实施代码可在https://github.com/zhanggongjie/meta-detr上获得。

我们介绍了几次视频对象检测（FSVOD），在我们的高度多样化和充满活力的世界中为视觉学习提供了三个贡献：1）大规模视频数据集FSVOD-500，其中包括每个类别中的500个类别，其中少数 - 学习;2）一种新型管建议网络（TPN），用于为目标视频对象聚合特征表示来生成高质量的视频管建议，这是一种可以高度动态的目标。3）一种策略性地改进的时间匹配网络（TMN +），用于匹配具有更好辨别能力的代表查询管特征，从而实现更高的多样性。我们的TPN和TMN +共同和端到端训练。广泛的实验表明，与基于图像的方法和其他基于视频的扩展相比，我们的方法在两个镜头视频对象检测数据集中产生显着更好的检测结果。代码和数据集将在https://github.com/fanq15/fewx释放。

很少有动作识别旨在仅使用少量标记的训练样本识别新型动作类别。在这项工作中，我们提出了一种新颖的方法，该方法首先将每个视频汇总到由一组全球原型和一组集中原型组成的复合原型中，然后比较基于原型的视频相似性。鼓励每个全局原型总结整个视频中的特定方面，例如动作的开始/演变。由于没有针对全球原型提供明确的注释，因此我们使用一组专注的原型专注于视频中的某些时间戳。我们通过匹配支持视频和查询视频之间的复合原型来比较视频相似性。例如，从相同的角度来比较视频，以比较两个动作是否同样开始。对于集中的原型，由于动作在视频中具有各种时间变化，因此我们采用两分匹配，以比较具有不同时间位置和偏移的动作。实验表明，我们提出的方法在多个基准上实现了最先进的结果。

即使在几个例子中，人类能够学会识别新物品。相比之下，培训基于深度学习的对象探测器需要大量的注释数据。为避免需求获取和注释这些大量数据，但很少拍摄的对象检测旨在从目标域中的新类别的少数对象实例中学习。在本调查中，我们在几次拍摄对象检测中概述了本领域的状态。我们根据培训方案和建筑布局分类方法。对于每种类型的方法，我们描述了一般的实现以及提高新型类别性能的概念。在适当的情况下，我们在这些概念上给出短暂的外卖，以突出最好的想法。最终，我们介绍了常用的数据集及其评估协议，并分析了报告的基准结果。因此，我们强调了评估中的共同挑战，并确定了这种新兴对象检测领域中最有前景的电流趋势。

Conventional methods for object detection typically require a substantial amount of training data and preparing such high-quality training data is very labor-intensive. In this paper, we propose a novel few-shot object detection network that aims at detecting objects of unseen categories with only a few annotated examples. Central to our method are our Attention-RPN, Multi-Relation Detector and Contrastive Training strategy, which exploit the similarity between the few shot support set and query set to detect novel objects while suppressing false detection in the background. To train our network, we contribute a new dataset that contains 1000 categories of various objects with high-quality annotations. To the best of our knowledge, this is one of the first datasets specifically designed for few-shot object detection. Once our few-shot network is trained, it can detect objects of unseen categories without further training or finetuning. Our method is general and has a wide range of potential applications. We produce a new state-of-the-art performance on different datasets in the few-shot setting. The dataset link is https://github.com/fanq15/Few-Shot-Object-Detection-Dataset.

Few-shot (FS) and zero-shot (ZS) learning are two different approaches for scaling temporal action detection (TAD) to new classes. The former adapts a pretrained vision model to a new task represented by as few as a single video per class, whilst the latter requires no training examples by exploiting a semantic description of the new class. In this work, we introduce a new multi-modality few-shot (MMFS) TAD problem, which can be considered as a marriage of FS-TAD and ZS-TAD by leveraging few-shot support videos and new class names jointly. To tackle this problem, we further introduce a novel MUlti-modality PromPt mETa-learning (MUPPET) method. This is enabled by efficiently bridging pretrained vision and language models whilst maximally reusing already learned capacity. Concretely, we construct multi-modal prompts by mapping support videos into the textual token space of a vision-language model using a meta-learned adapter-equipped visual semantics tokenizer. To tackle large intra-class variation, we further design a query feature regulation scheme. Extensive experiments on ActivityNetv1.3 and THUMOS14 demonstrate that our MUPPET outperforms state-of-the-art alternative methods, often by a large margin. We also show that our MUPPET can be easily extended to tackle the few-shot object detection problem and again achieves the state-of-the-art performance on MS-COCO dataset. The code will be available in https://github.com/sauradip/MUPPET

Few-shot classification aims to learn a classifier to recognize unseen classes during training with limited labeled examples. While significant progress has been made, the growing complexity of network designs, meta-learning algorithms, and differences in implementation details make a fair comparison difficult. In this paper, we present 1) a consistent comparative analysis of several representative few-shot classification algorithms, with results showing that deeper backbones significantly reduce the performance differences among methods on datasets with limited domain differences, 2) a modified baseline method that surprisingly achieves competitive performance when compared with the state-of-the-art on both the mini-ImageNet and the CUB datasets, and 3) a new experimental setting for evaluating the cross-domain generalization ability for few-shot classification algorithms. Our results reveal that reducing intra-class variation is an important factor when the feature backbone is shallow, but not as critical when using deeper backbones. In a realistic cross-domain evaluation setting, we show that a baseline method with a standard fine-tuning practice compares favorably against other state-of-the-art few-shot learning algorithms.

大多数现有的作品在少数拍摄对象检测（FSOD）上的工作重点是从类似域中进行预训练和几乎没有弹出的学习数据集的设置。但是，在多个域中，很少有射击算法很重要。因此，评估需要反映广泛的应用。我们提出了一个多域数少数对象检测（MOFSOD）基准，该基准由来自各个域的10个数据集组成，以评估FSOD算法。我们全面分析了冷冻层，不同的体系结构和不同的预训练数据集对FSOD性能的影响。我们的经验结果表明，以前的作品中尚未探索过的几个关键因素：1）与以前的信念相反，在多域基准测试中，微调（FT）是FSOD的强大基线，在PAR上表现或更好最先进的（SOTA）算法； 2）利用FT作为基线使我们能够探索多个体系结构，我们发现它们对下游的几杆任务产生重大影响，即使具有类似的训练性能； 3）通过取消预训练和几乎没有学习的学习，MOFSOD使我们能够探索不同的预训练数据集的影响，并且正确的选择可以显着提高下游任务的性能。基于这些发现，我们列出了可能提高FSOD性能的调查途径，并对现有算法进行了两次简单修改，这些算法导致MOFSOD基准上的SOTA性能。该代码可在https://github.com/amazon-research/few-shot-object-detection-benchmark上获得。

Most existing 3D point cloud object detection approaches heavily rely on large amounts of labeled training data. However, the labeling process is costly and time-consuming. This paper considers few-shot 3D point cloud object detection, where only a few annotated samples of novel classes are needed with abundant samples of base classes. To this end, we propose Prototypical VoteNet to recognize and localize novel instances, which incorporates two new modules: Prototypical Vote Module (PVM) and Prototypical Head Module (PHM). Specifically, as the 3D basic geometric structures can be shared among categories, PVM is designed to leverage class-agnostic geometric prototypes, which are learned from base classes, to refine local features of novel categories.Then PHM is proposed to utilize class prototypes to enhance the global feature of each object, facilitating subsequent object localization and classification, which is trained by the episodic training strategy. To evaluate the model in this new setting, we contribute two new benchmark datasets, FS-ScanNet and FS-SUNRGBD. We conduct extensive experiments to demonstrate the effectiveness of Prototypical VoteNet, and our proposed method shows significant and consistent improvements compared to baselines on two benchmark datasets.

传统的检测网络通常需要丰富的标记训练样本，而人类可以只有几个例子逐步学习新概念。本文侧重于更具挑战性，而是逼真的类渐进的少量对象检测问题（IFSD）。它旨在逐渐逐渐地将新型对象的模型转移到几个注释的样本中，而不会灾难性地忘记先前学识的样本。为了解决这个问题，我们提出了一种新的方法，最小的方法可以减少遗忘，更少的培训资源和更强的转移能力。具体而言，我们首先介绍转移策略，以减少不必要的重量适应并改善IFSD的传输能力。在此基础上，我们使用较少的资源消耗方法整合知识蒸馏技术来缓解遗忘，并提出基于新的基于聚类的示例选择过程，以保持先前学习的更多辨别特征。作为通用且有效的方法，最多可以在很大程度上提高各种基准测试的IFSD性能。

对象检测是计算机视觉和图像处理中的基本任务。基于深度学习的对象探测器非常成功，具有丰富的标记数据。但在现实生活中，它不保证每个对象类别都有足够的标记样本进行培训。当训练数据有限时，这些大型物体探测器易于过度装备。因此，有必要将几次拍摄的学习和零射击学习引入对象检测，这可以将低镜头对象检测命名在一起。低曝光对象检测（LSOD）旨在检测来自少数甚至零标记数据的对象，其分别可以分为几次对象检测（FSOD）和零拍摄对象检测（ZSD）。本文对基于深度学习的FSOD和ZSD进行了全面的调查。首先，本调查将FSOD和ZSD的方法分类为不同的类别，并讨论了它们的利弊。其次，本调查审查了数据集设置和FSOD和ZSD的评估指标，然后分析了在这些基准上的不同方法的性能。最后，本调查讨论了FSOD和ZSD的未来挑战和有希望的方向。

具有注释的缺乏大规模的真实数据集使转移学习视频活动的必要性。我们的目标是为少数行动分类开发几次拍摄转移学习的有效方法。我们利用独立培训的本地视觉提示来学习可以从源域传输的表示，该源域只能使用少数示例来从源域传送到不同的目标域。我们使用的视觉提示包括对象 - 对象交互，手掌和地区内的动作，这些地区是手工位置的函数。我们采用了一个基于元学习的框架，以提取部署的视觉提示的独特和域不变组件。这使得能够在使用不同的场景和动作配置捕获的公共数据集中传输动作分类模型。我们呈现了我们转让学习方法的比较结果，并报告了阶级阶级和数据间数据间际传输的最先进的行动分类方法。

虽然基于微调对象检测的基于微调的方法已经取得了显着的进步，但尚未得到很好的解决的关键挑战是基本类别的潜在特定于类别的过度拟合，并且针对新颖的类别的样本特异性过度拟合。在这项工作中，我们设计了一个新颖的知识蒸馏框架，以指导对象探测器的学习，从而抑制基础类别的前训练阶段的过度拟合，并在小型课程上进行微调阶段。要具体而言，我们首先提出了一种新颖的位置感知的视觉袋模型，用于从有限尺寸的图像集中学习代表性的视觉袋（BOVW），该模型用于基于相似性来编码常规图像在学习的视觉单词和图像之间。然后，我们基于以下事实执行知识蒸馏，即图像应在两个不同的特征空间中具有一致的BOVW表示。为此，我们独立于对象检测的特征空间预先学习特征空间，并在此空间中使用BOVW编码图像。可以将图像的BOVW表示形式视为指导对象探测器的学习：对象检测器的提取特征对同一图像的提取特征有望通过蒸馏知识得出一致的BOVW表示。广泛的实验验证了我们方法的有效性，并证明了优于其他最先进方法的优势。