Object detectors are conventionally trained by a weighted sum of classification and localization losses. Recent studies (e.g., predicting IoU with an auxiliary head, Generalized Focal Loss, Rank & Sort Loss) have shown that forcing these two loss terms to interact with each other in non-conventional ways creates a useful inductive bias and improves performance. Inspired by these works, we focus on the correlation between classification and localization and make two main contributions: (i) We provide an analysis about the effects of correlation between classification and localization tasks in object detectors. We identify why correlation affects the performance of various NMS-based and NMS-free detectors, and we devise measures to evaluate the effect of correlation and use them to analyze common detectors. (ii) Motivated by our observations, e.g., that NMS-free detectors can also benefit from correlation, we propose Correlation Loss, a novel plug-in loss function that improves the performance of various object detectors by directly optimizing correlation coefficients: E.g., Correlation Loss on Sparse R-CNN, an NMS-free method, yields 1.6 AP gain on COCO and 1.8 AP gain on Cityscapes dataset. Our best model on Sparse R-CNN reaches 51.0 AP without test-time augmentation on COCO test-dev, reaching state-of-the-art. Code is available at https://github.com/fehmikahraman/CorrLoss

尽管广泛用作可视检测任务的性能措施，但平均精度（AP）In（i）的限制在反映了本地化质量，（ii）对其计算的设计选择的鲁棒性以及其对输出的适用性没有信心分数。 Panoptic质量（PQ），提出评估Panoptic Seationation（Kirillov等，2019）的措施，不会遭受这些限制，而是限于Panoptic Seationation。在本文中，我们提出了基于其本地化和分类质量的视觉检测器的平均匹配误差，提出了定位召回精度（LRP）误差。 LRP错误，最初仅为Oksuz等人进行对象检测。 （2018），不遭受上述限制，适用于所有视觉检测任务。我们还介绍了最佳LRP（OLRP）错误，因为通过置信区获得的最小LRP错误以评估视觉检测器并获得部署的最佳阈值。我们提供对AP和PQ的LRP误差的详细比较分析，并使用七个可视检测任务（即对象检测，关键点检测，实例分割，Panoptic分段，视觉关系检测，使用近100个最先进的视觉检测器零拍摄检测和广义零拍摄检测）使用10个数据集来统一地显示LRP误差提供比其对应物更丰富和更辨别的信息。可用的代码：https：//github.com/kemaloksuz/lrp-error

In object detection, the intersection over union (IoU) threshold is frequently used to define positives/negatives. The threshold used to train a detector defines its quality. While the commonly used threshold of 0.5 leads to noisy (low-quality) detections, detection performance frequently degrades for larger thresholds. This paradox of high-quality detection has two causes: 1) overfitting, due to vanishing positive samples for large thresholds, and 2) inference-time quality mismatch between detector and test hypotheses. A multi-stage object detection architecture, the Cascade R-CNN, composed of a sequence of detectors trained with increasing IoU thresholds, is proposed to address these problems. The detectors are trained sequentially, using the output of a detector as training set for the next. This resampling progressively improves hypotheses quality, guaranteeing a positive training set of equivalent size for all detectors and minimizing overfitting. The same cascade is applied at inference, to eliminate quality mismatches between hypotheses and detectors. An implementation of the Cascade R-CNN without bells or whistles achieves state-of-the-art performance on the COCO dataset, and significantly improves high-quality detection on generic and specific object detection datasets, including VOC, KITTI, CityPerson, and WiderFace. Finally, the Cascade R-CNN is generalized to instance segmentation, with nontrivial improvements over the Mask R-CNN. To facilitate future research, two implementations are made available at https://github.com/zhaoweicai/cascade-rcnn (Caffe) and https://github.com/zhaoweicai/Detectron-Cascade-RCNN (Detectron).

In object detection, an intersection over union (IoU) threshold is required to define positives and negatives. An object detector, trained with low IoU threshold, e.g. 0.5, usually produces noisy detections. However, detection performance tends to degrade with increasing the IoU thresholds. Two main factors are responsible for this: 1) overfitting during training, due to exponentially vanishing positive samples, and 2) inference-time mismatch between the IoUs for which the detector is optimal and those of the input hypotheses. A multi-stage object detection architecture, the Cascade R-CNN, is proposed to address these problems. It consists of a sequence of detectors trained with increasing IoU thresholds, to be sequentially more selective against close false positives. The detectors are trained stage by stage, leveraging the observation that the output of a detector is a good distribution for training the next higher quality detector. The resampling of progressively improved hypotheses guarantees that all detectors have a positive set of examples of equivalent size, reducing the overfitting problem. The same cascade procedure is applied at inference, enabling a closer match between the hypotheses and the detector quality of each stage. A simple implementation of the Cascade R-CNN is shown to surpass all single-model object detectors on the challenging COCO dataset. Experiments also show that the Cascade R-CNN is widely applicable across detector architectures, achieving consistent gains independently of the baseline detector strength. The code will be made available at https://github.com/zhaoweicai/cascade-rcnn.

平均精度（AP）损失最近在密集的对象检测任务上显示出有希望的性能。但是，尚未开发出对AP损失如何影响检测器的深刻了解。在这项工作中，我们重新审视平均精度（AP）损失，并揭示了关键元素是选择排名对的关键元素基于该观察结果，我们提出了两种改善AP损失的策略。其中的第一个是一种新型的自适应成对误差（APE）损失，该损失集中在正面和负样本中的排名对。此外，我们通过使用聚类算法利用归一化排名得分和本地化得分来选择更准确的排名对。在MSCOCO数据集上进行的实验支持我们的分析，并证明了我们提出的方法的优越性与当前分类和排名损失相比。该代码可从https://github.com/xudangliatiger/ape-loss获得。

现有的实例分割方法已经达到了令人印象深刻的表现，但仍遭受了共同的困境：一个实例推断出冗余表示（例如，多个框，网格和锚点），这导致了多个重复的预测。因此，主流方法通常依赖于手工设计的非最大抑制（NMS）后处理步骤来选择最佳预测结果，这会阻碍端到端训练。为了解决此问题，我们建议一个称为Uniinst的无盒和无端机实例分割框架，该框架仅对每个实例产生一个唯一的表示。具体而言，我们设计了一种实例意识到的一对一分配方案，即仅产生一个表示（Oyor），该方案根据预测和地面真相之间的匹配质量，动态地为每个实例动态分配一个独特的表示。然后，一种新颖的预测重新排列策略被优雅地集成到框架中，以解决分类评分和掩盖质量之间的错位，从而使学习的表示形式更具歧视性。借助这些技术，我们的Uniinst，第一个基于FCN的盒子和无NMS实例分段框架，实现竞争性能，例如，使用Resnet-50-FPN和40.2 mask AP使用Resnet-101-FPN，使用Resnet-50-FPN和40.2 mask AP，使用Resnet-101-FPN，对抗AP可可测试-DEV的主流方法。此外，提出的实例感知方法对于遮挡场景是可靠的，在重锁定的ochuman基准上，通过杰出的掩码AP优于公共基线。我们的代码将在出版后提供。

最近的端到端多对象检测器通过删除手工制作的过程（例如使用非最大最大抑制（NMS））删除手工制作的过程来简化推理管道。但是，在训练中，他们需要两分匹配来计算检测器输出的损失。与端到端学习的核心的方向性相反，双方匹配使端到端探测器复杂，启发式和依赖的培训。在本文中，我们提出了一种训练端到端多对象探测器而无需匹配的方法。为此，我们使用混合模型将端到端多对象检测作为密度估计问题。我们提出的检测器，称为稀疏混合物密度检测器（稀疏MDOD），使用混合模型估算边界盒的分布。稀疏MDOD是通过最大程度地减少负对数似然性和我们提出的正则化项，最大成分最大化（MCM）损失来训练的，从而阻止了重复的预测。在训练过程中，不需要其他过程，例如两分匹配，并且损失是直接从网络输出中计算出来的。此外，我们的稀疏MDOD优于MS-Coco上的现有检测器，MS-Coco是一种著名的多对象检测基准。

检测变压器（DETR）依赖于一对一的标签分配，即仅分配一个地面真相（GT）对象作为一个阳性对象查询，用于端到端对象检测，并且缺乏利用多个积极查询的能力。我们提出了一种新颖的DETR训练方法，称为{\ em grout detr}，以支持多个积极查询。具体来说，我们将阳性分解为多个独立组，并在每个组中只保留一个阳性对象。我们在培训期间进行了简单的修改：（i）采用$ k $ of Absock Queries； （ii）对具有相同参数的每组对象查询进行解码器自我注意； （iii）为每个组执行一对一的标签分配，从而为每个GT对象提供$ K $阳性对象查询。在推论中，我们只使用一组对象查询，对架构和过程没有任何修改。我们验证了提出的方法对DITR变体的有效性，包括条件DITR，DAB-DER，DN-DEN和DINO。

本文介绍了端到端的实例分段框架，称为SOIT，该段具有实例感知变压器的段对象。灵感来自Detr〜\ Cite {carion2020end}，我们的方法视图实例分段为直接设置预测问题，有效地消除了对ROI裁剪，一对多标签分配等许多手工制作组件的需求，以及非最大抑制（ nms）。在SOIT中，通过在全局图像上下文下直接地将多个查询直接理解语义类别，边界框位置和像素 - WISE掩码的一组对象嵌入。类和边界盒可以通过固定长度的向量轻松嵌入。尤其是由一组参数嵌入像素方面的掩模以构建轻量级实例感知变压器。之后，实例感知变压器产生全分辨率掩码，而不涉及基于ROI的任何操作。总的来说，SOIT介绍了一个简单的单级实例分段框架，它是无乐和NMS的。 MS Coco DataSet上的实验结果表明，优于最先进的实例分割显着的优势。此外，在统一查询嵌入中的多个任务的联合学习还可以大大提高检测性能。代码可用于\ url {https://github.com/yuxiaodonghri/soit}。

Letting a deep network be aware of the quality of its own predictions is an interesting yet important problem. In the task of instance segmentation, the confidence of instance classification is used as mask quality score in most instance segmentation frameworks. However, the mask quality, quantified as the IoU between the instance mask and its ground truth, is usually not well correlated with classification score. In this paper, we study this problem and propose Mask Scoring R-CNN which contains a network block to learn the quality of the predicted instance masks. The proposed network block takes the instance feature and the corresponding predicted mask together to regress the mask IoU. The mask scoring strategy calibrates the misalignment between mask quality and mask score, and improves instance segmentation performance by prioritizing more accurate mask predictions during COCO AP evaluation. By extensive evaluations on the COCO dataset, Mask Scoring R-CNN brings consistent and noticeable gain with different models, and outperforms the state-of-the-art Mask R-CNN. We hope our simple and effective approach will provide a new direction for improving instance segmentation. The source code of our method is available at https:// github.com/zjhuang22/maskscoring_rcnn. * The work was done when Zhaojin Huang was an intern in Horizon Robotics Inc.

Vanilla用于物体检测和实例分割的模型遭受重偏向朝着长尾设置中的频繁对象进行偏向。现有方法主要在培训期间解决此问题，例如，通过重新采样或重新加权。在本文中，我们调查了一个很大程度上被忽视的方法 - 置信分数的后处理校准。我们提出NORCAL，用于长尾对象检测和实例分割的归一化校准校准，简单而简单的配方，通过其训练样本大小重新恢复每个阶级的预测得分。我们展示了单独处理背景类并使每个提案的课程分数标准化是实现卓越性能的键。在LVIS DataSet上，Norcal不仅可以在罕见的课程上有效地改善所有基线模型，也可以在普通和频繁的阶级上改进。最后，我们进行了广泛的分析和消融研究，以了解我们方法的各种建模选择和机制的见解。我们的代码在https://github.com/tydpan/norcal/上公开提供。

DETR是使用变压器编码器 - 解码器架构的第一端到端对象检测器，并在高分辨率特征映射上展示竞争性能但低计算效率。随后的工作变形Detr，通过更换可变形的关注来提高DEDR的效率，这实现了10倍的收敛性和改进的性能。可变形DETR使用多尺度特征来改善性能，但是，与DETR相比，编码器令牌的数量增加了20倍，编码器注意的计算成本仍然是瓶颈。在我们的初步实验中，我们观察到，即使只更新了编码器令牌的一部分，检测性能也几乎没有恶化。灵感来自该观察，我们提出了稀疏的DETR，其仅选择性更新预期的解码器预期的令牌，从而有效地检测模型。此外，我们表明在编码器中的所选令牌上应用辅助检测丢失可以提高性能，同时最小化计算开销。即使在Coco数据集上只有10％的编码器令牌，我们验证稀疏DETR也可以比可变形DETR实现更好的性能。尽管只有编码器令牌稀疏，但总计算成本减少了38％，与可变形的Detr相比，每秒帧（FPS）增加42％。代码可在https://github.com/kakaobrain/sparse-dett

知识蒸馏在分类中取得了巨大的成功，但是，仍然有挑战性。在用于检测的典型图像中，来自不同位置的表示可能对检测目标具有不同的贡献，使蒸馏难以平衡。在本文中，我们提出了一种有条件的蒸馏框架来蒸馏出所需的知识，即关于每个例子的分类和本地化有益的知识。该框架引入了一种可学习的条件解码模块，其将每个目标实例检索为查询的信息。具体而言，我们将条件信息编码为查询并使用教师的表示作为键。查询和键之间的注意用于测量不同特征的贡献，由本地化识别敏感辅助任务指导。广泛的实验表明了我们的方法的功效：我们在各种环境下观察到令人印象深刻的改进。值得注意的是，在1倍计划下，我们将通过37.4至40.7地图（+3.3）与Reset-50骨架的Restinetet提升。代码已在https://github.com/megvii-research/icd上发布。

特征金字塔网络（FPN）是对象检测器的关键组件之一。但是，对于研究人员来说，长期存在的难题是，引入FPN后通常会抑制大规模物体的检测性能。为此，本文首先在检测框架中重新审视FPN，并从优化的角度揭示了FPN成功的性质。然后，我们指出，大规模对象的性能退化是由于集成FPN后出现不当后传播路径所致。它使每个骨干网络的每个级别都只能查看一定尺度范围内的对象。基于这些分析，提出了两种可行的策略，以使每个级别的级别能够查看基于FPN的检测框架中的所有对象。具体而言，一个是引入辅助目标功能，以使每个骨干级在训练过程中直接接收各种尺度对象的后传播信号。另一个是以更合理的方式构建特征金字塔，以避免非理性的背部传播路径。对可可基准测试的广泛实验验证了我们的分析的健全性和方法的有效性。没有铃铛和口哨，我们证明了我们的方法在各种检测框架上实现了可靠的改进（超过2％）：一阶段，两阶段，基于锚的，无锚和变压器的检测器。

航空图像中的微小对象检测（TOD）是具有挑战性的，因为一个小物体只包含几个像素。最先进的对象探测器由于缺乏判别特征的监督而无法为微小对象提供令人满意的结果。我们的主要观察结果是，联合度量（IOU）及其扩展的相交对微小物体的位置偏差非常敏感，这在基于锚固的探测器中使用时会大大恶化标签分配的质量。为了解决这个问题，我们提出了一种新的评估度量标准，称为标准化的Wasserstein距离（NWD）和一个新的基于排名的分配（RKA）策略，以进行微小对象检测。提出的NWD-RKA策略可以轻松地嵌入到各种基于锚的探测器中，以取代标准的基于阈值的检测器，从而大大改善了标签分配并为网络培训提供了足够的监督信息。在四个数据集中测试，NWD-RKA可以始终如一地提高微小的对象检测性能。此外，在空中图像（AI-TOD）数据集中观察到显着的嘈杂标签，我们有动力将其重新标记并释放AI-TOD-V2及其相应的基准。在AI-TOD-V2中，丢失的注释和位置错误问题得到了大大减轻，从而促进了更可靠的培训和验证过程。将NWD-RKA嵌入探测器中，检测性能比AI-TOD-V2上的最先进竞争对手提高了4.3个AP点。数据集，代码和更多可视化可在以下网址提供：https：//chasel-tsui.g​​ithub.io/ai/ai-tod-v2/

DETR方法中引入的查询机制正在改变对象检测的范例，最近有许多基于查询的方法获得了强对象检测性能。但是，当前基于查询的检测管道遇到了以下两个问题。首先，需要多阶段解码器来优化随机初始化的对象查询，从而产生较大的计算负担。其次，训练后的查询是固定的，导致不满意的概括能力。为了纠正上述问题，我们在较快的R-CNN框架中提出了通过查询生成网络预测的特征对象查询，并开发了一个功能性的查询R-CNN。可可数据集的广泛实验表明，我们的特征查询R-CNN获得了所有R-CNN探测器的最佳速度准确性权衡，包括最近的最新稀疏R-CNN检测器。该代码可在\ url {https://github.com/hustvl/featurized-queryrcnn}中获得。

深神网络的对象探测器正在不断发展，并用于多种应用程序，每个应用程序都有自己的要求集。尽管关键安全应用需要高准确性和可靠性，但低延迟任务需要资源和节能网络。不断提出了实时探测器，在高影响现实世界中是必需的，但是它们过分强调了准确性和速度的提高，而其他功能（例如多功能性，鲁棒性，资源和能源效率）则被省略。现有网络的参考基准不存在，设计新网络的标准评估指南也不存在，从而导致比较模棱两可和不一致的比较。因此，我们对广泛的数据集进行了多个实时探测器（基于锚点，关键器和变压器）的全面研究，并报告了一系列广泛指标的结果。我们还研究了变量，例如图像大小，锚固尺寸，置信阈值和架构层对整体性能的影响。我们分析了检测网络的鲁棒性，以防止分配变化，自然腐败和对抗性攻击。此外，我们提供了校准分析来评估预测的可靠性。最后，为了强调现实世界的影响，我们对自动驾驶和医疗保健应用进行了两个独特的案例研究。为了进一步衡量关键实时应用程序中网络的能力，我们报告了在Edge设备上部署检测网络后的性能。我们广泛的实证研究可以作为工业界对现有网络做出明智选择的指南。我们还希望激发研究社区的设计和评估网络的新方向，该网络着重于更大而整体的概述，以实现深远的影响。

在安全至关重要的应用中，深度神经网络的使用越来越多，就需要训练有素的模型。当前大多数校准技术解决了分类问题，同时着重于改善对内域预测的校准。在许多决策系统中占据相似的空间和重要性的视觉对象探测器的校准几乎没有关注。在本文中，我们研究了当前对象检测模型的校准，尤其是在域移位下。为此，我们首先引入了插件的火车时间校准损失以进行对象检测。它可以用作辅助损失函数，以改善检测器的校准。其次，我们设计了一种新的不确定性量化机制来进行对象检测，该机制可以隐式校准常用的基于自我训练的域自适应检测器。我们在研究中包括单阶段和两阶段对象探测器。我们证明，我们的损失改善了具有明显边缘的内域和室外检测的校准。最后，我们展示了我们技术在校准不同域移动方案中的域自适应对象探测器方面的实用性。

复杂的水下环境为物体检测带来了新的挑战，例如未平衡的光条件，低对比度，阻塞和水生生物的模仿。在这种情况下，水下相机捕获的物体将变得模糊，并且通用探测器通常会在这些模糊的物体上失败。这项工作旨在从两个角度解决问题：不确定性建模和艰难的例子采矿。我们提出了一个名为Boosting R-CNN的两阶段水下检测器，该检测器包括三个关键组件。首先，提出了一个名为RetinArpn的新区域建议网络，该网络提供了高质量的建议，并考虑了对象和IOU预测，以确定对象事先概率的不确定性。其次，引入了概率推理管道，以结合第一阶段的先验不确定性和第二阶段分类评分，以模拟最终检测分数。最后，我们提出了一种名为Boosting Reweighting的新的硬示例挖掘方法。具体而言，当区域提案网络误认为样品的对象的事先概率时，提高重新加权将在训练过程中增加R-CNN头部样品的分类损失，同时减少具有准确估计的先验的简易样品丢失。因此，可以在第二阶段获得强大的检测头。在推理阶段，R-CNN具有纠正第一阶段的误差以提高性能的能力。在两个水下数据集和两个通用对象检测数据集上进行的全面实验证明了我们方法的有效性和鲁棒性。