通过查找图像可能不满意的图像来捕获对象检测器的错误行为，这一兴趣很长。在实际应用（例如自动驾驶）中，对于表征除了简单的检测性能要求之外的潜在失败也至关重要。例如，与远处未遗漏的汽车检测相比，错过对靠近自我车辆的行人的侦查通常需要更仔细的检查。在测试时间预测这种潜在失败的问题在文献和基于检测不确定性的传统方法中被忽略了，因为它们对这种错误的细粒度表征不可知。在这项工作中，我们建议将查找“硬”图像作为基于查询的硬图像检索任务的问题进行重新制定，其中查询是“硬度”的特定定义，并提供了一种简单而直观的方法，可以解决此任务大型查询家庭。我们的方法完全是事后的，不需要地面真相注释，独立于检测器的选择，并且依赖于有效的蒙特卡洛估计，该估计使用简单的随机模型代替地面真相。我们通过实验表明，它可以成功地应用于各种查询中，它可以可靠地识别给定检测器的硬图像，而无需任何标记的数据。我们使用广泛使用的视网膜，更快的RCNN，Mask-RCNN和CASCADE MASK-RCNN对象检测器提供有关排名和分类任务的结果。

尽管广泛用作可视检测任务的性能措施，但平均精度（AP）In（i）的限制在反映了本地化质量，（ii）对其计算的设计选择的鲁棒性以及其对输出的适用性没有信心分数。 Panoptic质量（PQ），提出评估Panoptic Seationation（Kirillov等，2019）的措施，不会遭受这些限制，而是限于Panoptic Seationation。在本文中，我们提出了基于其本地化和分类质量的视觉检测器的平均匹配误差，提出了定位召回精度（LRP）误差。 LRP错误，最初仅为Oksuz等人进行对象检测。 （2018），不遭受上述限制，适用于所有视觉检测任务。我们还介绍了最佳LRP（OLRP）错误，因为通过置信区获得的最小LRP错误以评估视觉检测器并获得部署的最佳阈值。我们提供对AP和PQ的LRP误差的详细比较分析，并使用七个可视检测任务（即对象检测，关键点检测，实例分割，Panoptic分段，视觉关系检测，使用近100个最先进的视觉检测器零拍摄检测和广义零拍摄检测）使用10个数据集来统一地显示LRP误差提供比其对应物更丰富和更辨别的信息。可用的代码：https：//github.com/kemaloksuz/lrp-error

准确的不确定性估计对于在安全关键系统中部署深层对象探测器至关重要。概率对象探测器的开发和评估受到现有绩效指标的缺点的阻碍，这些绩效指标倾向于涉及任意阈值或限制检测器的分布选择。在这项工作中，我们建议将对象检测视为设置预测任务，其中检测器预测对象集的分布。使用负面的对数可能性进行随机有限集，我们提出了一个适当的评分规则，用于评估和训练概率对象探测器。所提出的方法可以应用于现有的概率检测器，没有阈值，并可以在体系结构之间进行公平的比较。在可可数据集上评估了三种不同类型的检测器。我们的结果表明，现有检测器的培训已针对非稳定指标进行了优化。我们希望鼓励开发新的对象探测器，这些探测器可以准确估计自己的不确定性。代码可在https://github.com/georghess/pmb-nll上找到。

本文研究了涉及对象集，对象检测，实例级分段和多对象跟踪的基本视觉任务的性能评估标准。现有标准的算法排名可能会以不同的参数选择波动，例如联合（IOU）阈值的交叉点使他们的评估不可靠。更重要的是，没有能够验证我们是否可以相信标准的评估。这项工作提出了对性能标准的可信赖性的概念，该概念需要（i）对可靠性的参数鲁棒性，（ii）理智测试中的上下文意义，以及（iii）与数学要求（例如度量属性）的一致性。我们观察到这些要求被许多广泛使用的标准忽略了，并使用一组形状的指标探索替代标准。我们还根据建议的可信度要求评估所有这些标准。

当前的多类多类别对象跟踪（MOT）指标使用类标签来分组跟踪结果以进行每类评估。同样，MOT方法通常仅将对象与相同的类预测相关联。这两种MOT中的普遍策略隐含地假设分类性能几乎完美。但是，这远非最近的大型MOT数据集中的情况，这些数据集包含许多罕见或语义上类似类别的类别。因此，所得的不正确分类导致跟踪器的基准跟踪和基准不足。我们通过将分类与跟踪无关，以解决这些问题。我们引入了一个新的指标，跟踪所有准确性（TETA），将跟踪测量测量分为三个子因素：本地化，关联和分类，即使在不准确的分类下，也可以全面地跟踪性能的基准测试。 TETA还处理了大规模跟踪数据集中具有挑战性的不完整注释问题。我们进一步介绍了使用类示例匹配（CEM）执行关联的每件事跟踪器（TETER）。我们的实验表明，TETA对跟踪器进行更全面的评估，并且与最先进的ART相比，TETE对挑战性的大规模数据集BDD100K和TAO进行了重大改进。

流行的对象检测度量平均精度（3D AP）依赖于预测的边界框和地面真相边界框之间的结合。但是，基于摄像机的深度估计的精度有限，这可能会导致其他合理的预测，这些预测遭受了如此纵向定位错误，被视为假阳性和假阴性。因此，我们提出了流行的3D AP指标的变体，这些变体旨在在深度估计误差方面更具允许性。具体而言，我们新颖的纵向误差耐受度指标，Let-3D-AP和Let-3D-APL，允许预测的边界框的纵向定位误差，最高为给定的公差。所提出的指标已在Waymo Open DataSet 3D摄像头仅检测挑战中使用。我们认为，它们将通过提供更有信息的性能信号来促进仅相机3D检测领域的进步。

无数应用程序取决于具有现代物体探测器的可靠置信度估计的准确预测。然而，众所周知，包括对象探测器的神经网络产生错误的置换置信度估计。最近的工作甚至表明，探测器的置信度预测是关于对象大小和位置的偏置，但仍然尚不清楚该偏差如何涉及受影响的对象检测器的性能。我们正式证明，条件置信度偏差损害了对象探测器的预期性能，并经验验证这些发现。具体而言，我们演示了如何修改直方图融合校准，不仅避免性能障碍，而且还通过条件置信度校准提高性能。我们进一步发现，在探测器的训练数据上产生的检测中也存在置信度偏差，我们利用在不使用其他数据的情况下执行我们的去偏置。此外，测试时间增强放大了这种偏差，从我们的校准方法产生了更大的性能。最后，我们在不同的对象检测架构上验证了我们的调查结果，并在没有额外数据或培训的情况下显示最多0.6张地图和0.8 MAP50的改进。

从神经网络获得的校准置信度估计是至关重要的，尤其是针对安全至关重要的应用，例如自主驾驶或医疗图像诊断。但是，尽管已经研究了有关分类问题的置信度校准任务，但仍缺少有关对象检测和分割问题的详尽研究。因此，我们专注于本章中对象检测和分割模型的置信度校准的研究。我们介绍了多元置信校准的概念，这是对象检测和分割任务的众所周知校准方法的扩展。这允许进行扩展的置信校准，还知道其他功能，例如边界框/像素位置，形状信息等。此外，我们扩展了预期的校准误差（ECE），以测量对象检测和分割模型的错误计算。我们检查了MS Coco以及CityScapes上的几个网络体系结构，并表明鉴于引入的校准定义，尤其是对象检测以及实例分割模型在本质上被误解。使用我们提出的校准方法，我们能够改善校准，从而对分割面罩的质量也产生积极影响。

How would you fairly evaluate two multi-object tracking algorithms (i.e. trackers), each one employing a different object detector? Detectors keep improving, thus trackers can make less effort to estimate object states over time. Is it then fair to compare a new tracker employing a new detector with another tracker using an old detector? In this paper, we propose a novel performance measure, named Tracking Effort Measure (TEM), to evaluate trackers that use different detectors. TEM estimates the improvement that the tracker does with respect to its input data (i.e. detections) at frame level (intra-frame complexity) and sequence level (inter-frame complexity). We evaluate TEM over well-known datasets, four trackers and eight detection sets. Results show that, unlike conventional tracking evaluation measures, TEM can quantify the effort done by the tracker with a reduced correlation on the input detections. Its implementation is publicly available online at https://github.com/vpulab/MOT-evaluation.

The PASCAL Visual Object Classes (VOC) challenge is a benchmark in visual object category recognition and detection, providing the vision and machine learning communities with a standard dataset of images and annotation, and standard evaluation procedures. Organised annually from 2005 to present, the challenge and its associated dataset has become accepted as the benchmark for object detection.This paper describes the dataset and evaluation procedure. We review the state-of-the-art in evaluated methods for both classification and detection, analyse whether the methods are statistically different, what they are learning from the images (e.g. the object or its context), and what the methods find easy or confuse. The paper concludes with lessons learnt in the three year history of the challenge, and proposes directions for future improvement and extension.

在安全至关重要的应用中，深度神经网络的使用越来越多，就需要训练有素的模型。当前大多数校准技术解决了分类问题，同时着重于改善对内域预测的校准。在许多决策系统中占据相似的空间和重要性的视觉对象探测器的校准几乎没有关注。在本文中，我们研究了当前对象检测模型的校准，尤其是在域移位下。为此，我们首先引入了插件的火车时间校准损失以进行对象检测。它可以用作辅助损失函数，以改善检测器的校准。其次，我们设计了一种新的不确定性量化机制来进行对象检测，该机制可以隐式校准常用的基于自我训练的域自适应检测器。我们在研究中包括单阶段和两阶段对象探测器。我们证明，我们的损失改善了具有明显边缘的内域和室外检测的校准。最后，我们展示了我们技术在校准不同域移动方案中的域自适应对象探测器方面的实用性。

探讨了将数据驱动对象检测器的不确定性结合到对象跟踪算法中的不确定性的方法。对象跟踪方法依赖于测量误差模型，通常以测量噪声，假阳性率和错过检测速率的形式。通常，这些数量通常可以取决于物体或测量位置。然而，对于从神经网络处理的摄像机输入产生的检测，这些测量误差统计不足以表示主要错误源，即运行时传感器输入与检测器训练的训练数据之间的不相似性。为此，我们调查将数据不确定性纳入物体跟踪方法，例如提高跟踪物体的能力，特别是那些超出的能力。培训数据。所提出的方法在对象跟踪基准上验证以及具有真正自治飞机的实验。

In object detection, the intersection over union (IoU) threshold is frequently used to define positives/negatives. The threshold used to train a detector defines its quality. While the commonly used threshold of 0.5 leads to noisy (low-quality) detections, detection performance frequently degrades for larger thresholds. This paradox of high-quality detection has two causes: 1) overfitting, due to vanishing positive samples for large thresholds, and 2) inference-time quality mismatch between detector and test hypotheses. A multi-stage object detection architecture, the Cascade R-CNN, composed of a sequence of detectors trained with increasing IoU thresholds, is proposed to address these problems. The detectors are trained sequentially, using the output of a detector as training set for the next. This resampling progressively improves hypotheses quality, guaranteeing a positive training set of equivalent size for all detectors and minimizing overfitting. The same cascade is applied at inference, to eliminate quality mismatches between hypotheses and detectors. An implementation of the Cascade R-CNN without bells or whistles achieves state-of-the-art performance on the COCO dataset, and significantly improves high-quality detection on generic and specific object detection datasets, including VOC, KITTI, CityPerson, and WiderFace. Finally, the Cascade R-CNN is generalized to instance segmentation, with nontrivial improvements over the Mask R-CNN. To facilitate future research, two implementations are made available at https://github.com/zhaoweicai/cascade-rcnn (Caffe) and https://github.com/zhaoweicai/Detectron-Cascade-RCNN (Detectron).

空中无人机镜头的视觉检查是当今土地搜索和救援（SAR）运营的一个组成部分。由于此检查是对人类的缓慢而繁琐，令人疑惑的工作，我们提出了一种新颖的深入学习算法来自动化该航空人员检测（APD）任务。我们试验模型架构选择，在线数据增强，转移学习，图像平铺和其他几种技术，以提高我们方法的测试性能。我们将新型航空检验视网膜（空气）算法呈现为这些贡献的结合。空中探测器在精度（〜21个百分点增加）和速度方面，在常用的SAR测试数据上表现出最先进的性能。此外，我们为SAR任务中的APD问题提供了新的正式定义。也就是说，我们提出了一种新的评估方案，在现实世界SAR本地化要求方面排名探测器。最后，我们提出了一种用于稳健的新型后处理方法，近似对象定位：重叠边界框（MOB）算法的合并。在空中检测器中使用的最终处理阶段在真实的空中SAR任务面前显着提高了其性能和可用性。

用于对象检测的注释边界框很昂贵，耗时且容易出错。在这项工作中，我们提出了一个基于DITR的框架，该框架旨在在部分注释的密集场景数据集中明确完成丢失的注释。这减少了注释场景中的每个对象实例，从而降低注释成本。完成DETR解码器中的对象查询，并使用图像中对象的补丁信息。结合匹配损失，它可以有效地找到与输入补丁相似的对象并完成丢失的注释。我们表明，我们的框架优于最先进的方法，例如软采样和公正的老师，同时可以与这些方法一起使用以进一步提高其性能。我们的框架对下游对象探测器的选择也不可知。我们显示了多个流行探测器的性能改进，例如在多个密集的场景数据集中更快的R-CNN，CASCADE R-CNN，CENTERNET2和可变形的DETR。

在本文中，我们通过将无线电信息结合到最先进的检测方法中提出了一种无线电辅助人类检测框架，包括基于锚的oneStage检测器和两级检测器。我们从无线电信号中提取无线电定位和标识符信息以帮助人类检测，由于哪种错误阳性和假否定的问题可能会大大缓解。对于两个探测器，我们使用基于无线电定位的置信度评分修订来提高检测性能。对于两级检测方法，我们建议利用无线电定位产生的区域提案，而不是依赖于区域提案网络（RPN）。此外，利用无线电标识符信息，还提出了具有无线电定位约束的非最大抑制方法，以进一步抑制假检测并减少错过的检测。模拟Microsoft Coco DataSet和CALTECH步行数据集的实验表明，借助无线电信息可以改善平均平均精度（地图）和最先进的检测方法的错过率。最后，我们在现实世界的情况下进行实验，以展示我们在实践中的提出方法的可行性。

Vanilla用于物体检测和实例分割的模型遭受重偏向朝着长尾设置中的频繁对象进行偏向。现有方法主要在培训期间解决此问题，例如，通过重新采样或重新加权。在本文中，我们调查了一个很大程度上被忽视的方法 - 置信分数的后处理校准。我们提出NORCAL，用于长尾对象检测和实例分割的归一化校准校准，简单而简单的配方，通过其训练样本大小重新恢复每个阶级的预测得分。我们展示了单独处理背景类并使每个提案的课程分数标准化是实现卓越性能的键。在LVIS DataSet上，Norcal不仅可以在罕见的课程上有效地改善所有基线模型，也可以在普通和频繁的阶级上改进。最后，我们进行了广泛的分析和消融研究，以了解我们方法的各种建模选择和机制的见解。我们的代码在https://github.com/tydpan/norcal/上公开提供。

Confluence是对对象检测的边界框后处理中的非墨西哥抑制（NMS）替代的新型非交流（IOU）替代方案。它克服了基于IOU的NMS变体的固有局限性，以通过使用归一化的曼哈顿距离启发的接近度度量来表示边界框聚类的更稳定，一致的预测指标来表示边界框群集。与贪婪和柔软的NMS不同，它不仅依赖分类置信度得分来选择最佳边界框，而是选择与给定群集中最接近其他盒子的框并删除高度汇合的相邻框。在MS Coco和CrowdHuman基准测试中，汇合的平均精度最高2.3-3.8％，而平均召回率则与DEACTO标准和ART NMS NMS变体相比，平均召回率最高为5.3-7.2％。广泛的定性分析和阈值灵敏度分析实验支持了定量结果，这支持了结论，即汇合比NMS变体更健壮。 Confluence代表边界框处理中的范式变化，有可能在边界框回归过程中替换IOU。

尽管自动图像分析的重要性不断增加，但最近的元研究揭示了有关算法验证的主要缺陷。性能指标对于使用的自动算法的有意义，客观和透明的性能评估和验证尤其是关键，但是在使用特定的指标进行给定的图像分析任务时，对实际陷阱的关注相对较少。这些通常与（1）无视固有的度量属性，例如在存在类不平衡或小目标结构的情况下的行为，（2）无视固有的数据集属性，例如测试的非独立性案例和（3）无视指标应反映的实际生物医学领域的兴趣。该动态文档的目的是说明图像分析领域通常应用的性能指标的重要局限性。在这种情况下，它重点介绍了可以用作图像级分类，语义分割，实例分割或对象检测任务的生物医学图像分析问题。当前版本是基于由全球60多家机构的国际图像分析专家进行的关于指标的Delphi流程。

多个现有基准测试涉及视频中的跟踪和分割对象，例如，视频对象细分（VOS）和多对象跟踪和分割（MOTS）（MOTS），但是由于使用不同的基准标准数据集和指标，它们之间几乎没有相互作用（例如J＆F，J＆F，J＆F，J＆F，地图，smotsa）。结果，已发表的作品通常针对特定的基准，并且不容易相互媲美。我们认为，可以解决多个任务的广义方法的发展需要在这些研究子社区中更大的凝聚力。在本文中，我们旨在通过提出爆发来促进这一点，该数据集包含数千个带有高质量对象掩码的视频，以及一个相关的基准标准，其中包含六个任务，涉及视频中的对象跟踪和细分。使用相同的数据和可比较的指标对所有任务进行评估，这使研究人员能够一致考虑它们，因此更有效地从不同任务的不同方法中汇集了知识。此外，我们为所有任务展示了几个基线，并证明可以将一个任务的方法应用于另一个任务，并具有可量化且可解释的性能差异。数据集注释和评估代码可在以下网址获得：https：//github.com/ali2500/burst-benchmark。