大多数现有的作品在少数拍摄对象检测（FSOD）上的工作重点是从类似域中进行预训练和几乎没有弹出的学习数据集的设置。但是，在多个域中，很少有射击算法很重要。因此，评估需要反映广泛的应用。我们提出了一个多域数少数对象检测（MOFSOD）基准，该基准由来自各个域的10个数据集组成，以评估FSOD算法。我们全面分析了冷冻层，不同的体系结构和不同的预训练数据集对FSOD性能的影响。我们的经验结果表明，以前的作品中尚未探索过的几个关键因素：1）与以前的信念相反，在多域基准测试中，微调（FT）是FSOD的强大基线，在PAR上表现或更好最先进的（SOTA）算法； 2）利用FT作为基线使我们能够探索多个体系结构，我们发现它们对下游的几杆任务产生重大影响，即使具有类似的训练性能； 3）通过取消预训练和几乎没有学习的学习，MOFSOD使我们能够探索不同的预训练数据集的影响，并且正确的选择可以显着提高下游任务的性能。基于这些发现，我们列出了可能提高FSOD性能的调查途径，并对现有算法进行了两次简单修改，这些算法导致MOFSOD基准上的SOTA性能。该代码可在https://github.com/amazon-research/few-shot-object-detection-benchmark上获得。

标记数据通常昂贵且耗时，特别是对于诸如对象检测和实例分割之类的任务，这需要对图像的密集标签进行密集的标签。虽然几张拍摄对象检测是关于培训小说中的模型（看不见的）对象类具有很少的数据，但它仍然需要在许多标记的基础（见）类的课程上进行训练。另一方面，自我监督的方法旨在从未标记数据学习的学习表示，该数据转移到诸如物体检测的下游任务。结合几次射击和自我监督的物体检测是一个有前途的研究方向。在本调查中，我们审查并表征了几次射击和自我监督对象检测的最新方法。然后，我们给我们的主要外卖，并讨论未来的研究方向。https://gabrielhuang.github.io/fsod-survey/的项目页面

即使在几个例子中，人类能够学会识别新物品。相比之下，培训基于深度学习的对象探测器需要大量的注释数据。为避免需求获取和注释这些大量数据，但很少拍摄的对象检测旨在从目标域中的新类别的少数对象实例中学习。在本调查中，我们在几次拍摄对象检测中概述了本领域的状态。我们根据培训方案和建筑布局分类方法。对于每种类型的方法，我们描述了一般的实现以及提高新型类别性能的概念。在适当的情况下，我们在这些概念上给出短暂的外卖，以突出最好的想法。最终，我们介绍了常用的数据集及其评估协议，并分析了报告的基准结果。因此，我们强调了评估中的共同挑战，并确定了这种新兴对象检测领域中最有前景的电流趋势。

Conventional methods for object detection typically require a substantial amount of training data and preparing such high-quality training data is very labor-intensive. In this paper, we propose a novel few-shot object detection network that aims at detecting objects of unseen categories with only a few annotated examples. Central to our method are our Attention-RPN, Multi-Relation Detector and Contrastive Training strategy, which exploit the similarity between the few shot support set and query set to detect novel objects while suppressing false detection in the background. To train our network, we contribute a new dataset that contains 1000 categories of various objects with high-quality annotations. To the best of our knowledge, this is one of the first datasets specifically designed for few-shot object detection. Once our few-shot network is trained, it can detect objects of unseen categories without further training or finetuning. Our method is general and has a wide range of potential applications. We produce a new state-of-the-art performance on different datasets in the few-shot setting. The dataset link is https://github.com/fanq15/Few-Shot-Object-Detection-Dataset.

少量对象检测（FSOD）旨在仅使用几个例子来检测对象。如何将最先进的对象探测器适应几个拍摄域保持挑战性。对象提案是现代物体探测器中的关键成分。然而，使用现有方法对于几张拍摄类生成的提案质量远远差，而不是许多拍摄类，例如，由于错误分类或不准确的空间位置而导致的少量拍摄类丢失的框。为了解决嘈杂的提案问题，我们通过联合优化几次提案生成和细粒度的少量提案分类，提出了一种新的Meta学习的FSOD模型。为了提高几张拍摄类的提议生成，我们建议学习基于轻量级的公制学习的原型匹配网络，而不是传统的简单线性对象/非目标分类器，例如，在RPN中使用。我们具有特征融合网络的非线性分类器可以提高鉴别性原型匹配和少拍摄类的提案回忆。为了提高细粒度的少量提案分类，我们提出了一种新的细节特征对准方法，以解决嘈杂的提案和少量拍摄类之间的空间未对准，从而提高了几次对象检测的性能。同时，我们学习一个单独的R-CNN检测头，用于多射击基础类，并表现出维护基础课程知识的强大性能。我们的模型在大多数射击和指标上实现了多个FSOD基准的最先进的性能。

通过将元学习纳入基于区域的检测框架中，很少有射击对象检测经过广泛的研究。尽管取得了成功，但所述范式仍然受到几个因素的限制，例如（i）新型类别的低质量区域建议以及（ii）不同类别之间的类间相关性的过失。这种限制阻碍了基础知识的概括，以检测新型级别对象。在这项工作中，我们设计了元数据，（i）是第一个图像级的少量检测器，（ii）引入了一种新颖的类间相关元学习策略，以捕获和利用不同类别之间的相关性的相关性稳健而准确的几个射击对象检测。 meta-detr完全在图像级别工作，没有任何区域建议，这规避了普遍的几杆检测框架中不准确的建议的约束。此外，引入的相关元学习使元数据能够同时参加单个进料中的多个支持类别，从而可以捕获不同类别之间的类间相关性，从而大大降低了相似类别的错误分类并增强知识概括性参加新颖的课程。对多个射击对象检测基准进行的实验表明，所提出的元元删除优于大幅度的最先进方法。实施代码可在https://github.com/zhanggongjie/meta-detr上获得。

长期以来，将物体检测推向开放量和几乎没有射击转移一直是计算机视觉研究的挑战。这项工作探讨了一种持续的学习方法，该方法使探测器能够通过多数据远见语言的预训练扩展其零/少量功能。我们使用自然语言作为知识表示，我们探讨了从不同培训数据集积累“视觉词汇”的方法，并将任务统一为语言条件的检测框架。具体而言，我们提出了一种新颖的语言感知探测器OMDET和一种新颖的培训机制。拟议的多模式检测网络可以解决多数据库联合培训中的技术挑战，并且可以推广到任意数量的培训数据集，而无需手动标签分类合并的要求。与单独训练相比，Coco，Pascal VOC和更宽的面部/行人的实验结果通过在关节训练中或更高的分数来证实了疗效。此外，我们对超过400万个独特的对象词汇进行了预先培训，并在ODINW的35个下游任务上评估了所得模型。结果表明，OMDET能够在ODINW上实现最新的微调性能。分析表明，通过扩展提出的预训练方法，OMDET继续改善其零/少量调整性能，这表明了进一步扩展的有希望的方法。

最近对物体检测的自我监督预防方法在很大程度上专注于预先绘制物体探测器的骨干，忽略了检测架构的关键部分。相反，我们介绍了DetReg，这是一种新的自我监督方法，用于预先列出整个对象检测网络，包括对象本地化和嵌入组件。在预先绘制期间，DetReg预测对象本地化以与无监督区域提议生成器匹配本地化，并同时将相应的特征嵌入与自我监控图像编码器的嵌入式对齐。我们使用DETR系列探测器实施DetReg，并显示它在Coco，Pascal VOC和空中客车船基准上的Fineetuned时改善了竞争性基线。在低数据制度中，包括半监督和几秒钟学习设置，DetReg建立了许多最先进的结果，例如，在Coco上，我们看到10次检测和+3.5的AP改进A +6.0 AP改进当培训只有1％的标签时。对于代码和预用模型，请访问https://amirbar.net/detreg的项目页面

基准，如Coco，在物体检测中发挥至关重要的作用。然而，现有的基准在规模变化中不足，他们的协议不足以进行公平比较。在本文中，我们介绍了通用尺度对象检测基准（USB）。 USB通过将Coco与最近提出的Waymo Open DataSet和Manga109-S数据集合并了Coco，USB具有对象尺度和图像域的变化。为了实现公平的比较和包容性研究，我们提出了培训和评估议定书。它们有多个部门用于培训时期和评估图像分辨率，如体育中的重量类，以及跨训练协议的兼容性，如通用串行总线的后向兼容性。具体而言，我们要求参与者报告结果，不仅具有更高的协议（更长的培训），而且还有更低的协议（较短培训）。使用所提出的基准和协议，我们分析了八种方法，发现了现有的Coco-偏偏见方法的缺点。代码可在https://github.com/shinya7y/universenet上获得。

用于对象检测的注释边界框很昂贵，耗时且容易出错。在这项工作中，我们提出了一个基于DITR的框架，该框架旨在在部分注释的密集场景数据集中明确完成丢失的注释。这减少了注释场景中的每个对象实例，从而降低注释成本。完成DETR解码器中的对象查询，并使用图像中对象的补丁信息。结合匹配损失，它可以有效地找到与输入补丁相似的对象并完成丢失的注释。我们表明，我们的框架优于最先进的方法，例如软采样和公正的老师，同时可以与这些方法一起使用以进一步提高其性能。我们的框架对下游对象探测器的选择也不可知。我们显示了多个流行探测器的性能改进，例如在多个密集的场景数据集中更快的R-CNN，CASCADE R-CNN，CENTERNET2和可变形的DETR。

自动视觉解对我们多样化和开放的世界需要计算机视觉模型，以概括为特定任务的最小定制，类似于人类视力。计算机视觉基础型号培训，培训多样化，大型数据集，可以适应各种下游任务，对该任务来解决现实世界计算机视觉应用而言至关重要。虽然现有的视觉基础模型如剪辑，对齐和吴道2.0主要集中在映射图像和文本表示到跨模型共享表示，我们介绍了一台新的计算机视觉基础模型，佛罗伦萨，扩大粗糙的表示（现场）到精细（对象），从静态（图像）到动态（视频），以及从RGB到多个模态（标题，深度）。通过从Web级图像文本数据中纳入通用视觉语言表示，我们的佛罗伦萨模型可以很容易地适应各种计算机视觉任务，例如分类，检索，对象检测，VQA，图像标题，视频检索和动作识别。此外，佛罗伦萨在许多类型的转移学习中表现出出色的表现：全面采样的微调，线性探测，几次射击传输和用于新颖图像和物体的零拍摄传输。所有这些属性对于我们的视觉基础模型至关重要，以提供通用视觉任务。佛罗伦萨实现了新的最先进的导致44个代表性基准，例如Imagenet-1K零射击分类，最高1精度为83.74，最高5个精度为97.18，62.4地图上的Coco微调， 80.36在VQA上，动力学-600上的87.8。

什么构成一个物体？这是计算机愿景中的长期问题。为了实现这一目标，已经开发了许多基于学习的基于学习的方法来得分对象。但是，它们通常不会划过新域和未经看不见的对象。在本文中，我们倡导现有方法缺乏由人类可理解的语义管理的自上而下的监督信号。为了弥合这一差距，我们探索了已经用对齐的图像文本对培训的多模态视觉变压器（MVIT）。我们对各个域和新型对象的广泛实验显示了MVITS的最先进的性能，以使图像中的通用对象本地化。基于这些发现，我们使用多尺度特征处理和可变形的自我关注来开发一种高效且灵活的MVIT架构，可以自适应地生成给定特定语言查询的提议。我们展示了MVIT提案在各种应用中的重要性，包括开放世界对象检测，突出和伪装对象检测，监督和自我监督的检测任务。此外，MVITS提供了具有可理解文本查询的增强的交互性。代码：https://git.io/j1hpy。

从自然语言监督中学习视觉表示，最近在许多开创性的作品中表现出了巨大的希望。通常，这些具有语言的视觉模型表现出对各种数据集和任务的强大可传递性。但是，由于缺乏易于使用的评估工具包和公共基准，评估这些模型的可转让性仍然很具有挑战性。为了解决这个问题，我们构建了高级版（评估语言的视觉任务级传输），这是用于评估（预训练）语言增强视觉模型的第一个基准和工具包。升华由三个组成部分组成。 （i）数据集。作为下游评估套件，它由20个图像分类数据集和35个对象检测数据集组成，每个数据集都用外部知识来增强。 （ii）工具包。开发了自动高参数调谐工具包，以促进下游任务的模型评估。 （iii）指标。多种评估指标用于测量样品效率（零射击和少量）和参数效率（线性探测和完整模型微调）。我们在https://computer-vision-in-the-wild.github.io/elevater/上公开发布leverater

Few-shot object detection (FSOD), which aims at learning a generic detector that can adapt to unseen tasks with scarce training samples, has witnessed consistent improvement recently. However, most existing methods ignore the efficiency issues, e.g., high computational complexity and slow adaptation speed. Notably, efficiency has become an increasingly important evaluation metric for few-shot techniques due to an emerging trend toward embedded AI. To this end, we present an efficient pretrain-transfer framework (PTF) baseline with no computational increment, which achieves comparable results with previous state-of-the-art (SOTA) methods. Upon this baseline, we devise an initializer named knowledge inheritance (KI) to reliably initialize the novel weights for the box classifier, which effectively facilitates the knowledge transfer process and boosts the adaptation speed. Within the KI initializer, we propose an adaptive length re-scaling (ALR) strategy to alleviate the vector length inconsistency between the predicted novel weights and the pretrained base weights. Finally, our approach not only achieves the SOTA results across three public benchmarks, i.e., PASCAL VOC, COCO and LVIS, but also exhibits high efficiency with 1.8-100x faster adaptation speed against the other methods on COCO/LVIS benchmark during few-shot transfer. To our best knowledge, this is the first work to consider the efficiency problem in FSOD. We hope to motivate a trend toward powerful yet efficient few-shot technique development. The codes are publicly available at https://github.com/Ze-Yang/Efficient-FSOD.

由于元学习策略的成功，几次对象检测迅速进展。然而，现有方法中的微调阶段的要求是时间分子，并且显着阻碍了其在实时应用中的使用，例如对低功耗机器人的自主勘探。为了解决这个问题，我们展示了一个全新的架构，Airdet，它通过学习级别与支持图像的无政府主义关系没有微调。具体地，我们提出了一种支持引导的串级（SCS）特征融合网络来生成对象提案，用于拍摄聚合的全局本地关系网络（GLR），以及基于关系的基本嵌入网络（R-PEN），用于精确本土化。令人惊讶的是，在Coco和Pascal VOC数据集上进行详尽的实验，旨在达到比详尽的Fineetuned方法相当或更好的结果，达到基线的提高高达40-60％。为了我们的兴奋，Airdet在多尺度对象，尤其是小型物体上获得有利性能。此外，我们提出了来自DARPA地下挑战的实际勘探测试的评估结果，这强烈验证了机器人中AIRDET的可行性。将公开源代码，预先训练的模型以及真实世界的勘探数据。

Over the past few years, developing a broad, universal, and general-purpose computer vision system has become a hot topic. A powerful universal system would be capable of solving diverse vision tasks simultaneously without being restricted to a specific problem or a specific data domain, which is of great importance in practical real-world computer vision applications. This study pushes the direction forward by concentrating on the million-scale multi-domain universal object detection problem. The problem is not trivial due to its complicated nature in terms of cross-dataset category label duplication, label conflicts, and the hierarchical taxonomy handling. Moreover, what is the resource-efficient way to utilize emerging large pre-trained vision models for million-scale cross-dataset object detection remains an open challenge. This paper tries to address these challenges by introducing our practices in label handling, hierarchy-aware loss design and resource-efficient model training with a pre-trained large model. Our method is ranked second in the object detection track of Robust Vision Challenge 2022 (RVC 2022). We hope our detailed study would serve as an alternative practice paradigm for similar problems in the community. The code is available at https://github.com/linfeng93/Large-UniDet.

将简单的体系结构与大规模预训练相结合已导致图像分类的大量改进。对于对象检测，预训练和缩放方法的确定性不佳，尤其是在长尾和开放式摄影的环境中，训练数据相对较少。在本文中，我们提出了一个强大的配方，用于将图像文本模型转移到开放式对象检测中。我们使用具有最小修改，对比度文本预训练和端到端检测微调的标准视觉变压器体系结构。我们对该设置的缩放属性的分析表明，增加图像级预训练和模型大小在下游检测任务上产生一致的改进。我们提供适应性策略和正规化，以实现零击文本条件和单次图像条件对象检测的非常强劲的性能。代码和型号可在GitHub上找到。

The success of deep learning in vision can be attributed to: (a) models with high capacity; (b) increased computational power; and (c) availability of large-scale labeled data. Since 2012, there have been significant advances in representation capabilities of the models and computational capabilities of GPUs. But the size of the biggest dataset has surprisingly remained constant. What will happen if we increase the dataset size by 10× or 100×? This paper takes a step towards clearing the clouds of mystery surrounding the relationship between 'enormous data' and visual deep learning. By exploiting the JFT-300M dataset which has more than 375M noisy labels for 300M images, we investigate how the performance of current vision tasks would change if this data was used for representation learning. Our paper delivers some surprising (and some expected) findings. First, we find that the performance on vision tasks increases logarithmically based on volume of training data size. Second, we show that representation learning (or pretraining) still holds a lot of promise. One can improve performance on many vision tasks by just training a better base model. Finally, as expected, we present new state-of-theart results for different vision tasks including image classification, object detection, semantic segmentation and human pose estimation. Our sincere hope is that this inspires vision community to not undervalue the data and develop collective efforts in building larger datasets.

Conventional training of a deep CNN based object detector demands a large number of bounding box annotations, which may be unavailable for rare categories. In this work we develop a few-shot object detector that can learn to detect novel objects from only a few annotated examples. Our proposed model leverages fully labeled base classes and quickly adapts to novel classes, using a meta feature learner and a reweighting module within a one-stage detection architecture. The feature learner extracts meta features that are generalizable to detect novel object classes, using training data from base classes with sufficient samples. The reweighting module transforms a few support examples from the novel classes to a global vector that indicates the importance or relevance of meta features for detecting the corresponding objects. These two modules, together with a detection prediction module, are trained end-to-end based on an episodic few-shot learning scheme and a carefully designed loss function. Through extensive experiments we demonstrate that our model outperforms well-established baselines by a large margin for few-shot object detection, on multiple datasets and settings. We also present analysis on various aspects of our proposed model, aiming to provide some inspiration for future few-shot detection works.

对象检测是计算机视觉和图像处理中的基本任务。基于深度学习的对象探测器非常成功，具有丰富的标记数据。但在现实生活中，它不保证每个对象类别都有足够的标记样本进行培训。当训练数据有限时，这些大型物体探测器易于过度装备。因此，有必要将几次拍摄的学习和零射击学习引入对象检测，这可以将低镜头对象检测命名在一起。低曝光对象检测（LSOD）旨在检测来自少数甚至零标记数据的对象，其分别可以分为几次对象检测（FSOD）和零拍摄对象检测（ZSD）。本文对基于深度学习的FSOD和ZSD进行了全面的调查。首先，本调查将FSOD和ZSD的方法分类为不同的类别，并讨论了它们的利弊。其次，本调查审查了数据集设置和FSOD和ZSD的评估指标，然后分析了在这些基准上的不同方法的性能。最后，本调查讨论了FSOD和ZSD的未来挑战和有希望的方向。