准确的不确定性估计对于在安全关键系统中部署深层对象探测器至关重要。概率对象探测器的开发和评估受到现有绩效指标的缺点的阻碍，这些绩效指标倾向于涉及任意阈值或限制检测器的分布选择。在这项工作中，我们建议将对象检测视为设置预测任务，其中检测器预测对象集的分布。使用负面的对数可能性进行随机有限集，我们提出了一个适当的评分规则，用于评估和训练概率对象探测器。所提出的方法可以应用于现有的概率检测器，没有阈值，并可以在体系结构之间进行公平的比较。在可可数据集上评估了三种不同类型的检测器。我们的结果表明，现有检测器的培训已针对非稳定指标进行了优化。我们希望鼓励开发新的对象探测器，这些探测器可以准确估计自己的不确定性。代码可在https://github.com/georghess/pmb-nll上找到。

通过查找图像可能不满意的图像来捕获对象检测器的错误行为，这一兴趣很长。在实际应用（例如自动驾驶）中，对于表征除了简单的检测性能要求之外的潜在失败也至关重要。例如，与远处未遗漏的汽车检测相比，错过对靠近自我车辆的行人的侦查通常需要更仔细的检查。在测试时间预测这种潜在失败的问题在文献和基于检测不确定性的传统方法中被忽略了，因为它们对这种错误的细粒度表征不可知。在这项工作中，我们建议将查找“硬”图像作为基于查询的硬图像检索任务的问题进行重新制定，其中查询是“硬度”的特定定义，并提供了一种简单而直观的方法，可以解决此任务大型查询家庭。我们的方法完全是事后的，不需要地面真相注释，独立于检测器的选择，并且依赖于有效的蒙特卡洛估计，该估计使用简单的随机模型代替地面真相。我们通过实验表明，它可以成功地应用于各种查询中，它可以可靠地识别给定检测器的硬图像，而无需任何标记的数据。我们使用广泛使用的视网膜，更快的RCNN，Mask-RCNN和CASCADE MASK-RCNN对象检测器提供有关排名和分类任务的结果。

多对象跟踪（MOT）是现代高级驾驶员辅助系统（ADA）和自动驾驶（AD）系统的关键应用之一。 MOT的大多数解决方案都是基于随机矢量贝叶斯过滤器，例如Global最近的邻居（GNN）以及基于规则的启发轨道维护。随着随机有限集（RFS）理论的发展，最近已将RFS贝叶斯过滤器应用于ADA和AD Systems的MOT任务中。但是，由于计算成本和实施复杂性，它们在实际流量中的有用性是对疑问的。在本文中，据透露，具有基于规则的启发式轨道维护的GNN不足以在ADA和AD系统中基于激光雷达的MOT任务。通过系统地比较几个不同的基于对象过滤器的跟踪框架，包括传统的随机矢量贝叶斯滤波器，以及基于规则的启发式跟踪维护和RFS贝叶斯过滤器，可以说明这种判断。此外，提出了一个简单有效的跟踪器，即使用全局最近邻居（GNN-PMB）跟踪器的Poisson Multi-Bernoulli滤波器，建议用于基于激光雷达的MOT任务。拟议的GNN-PMB跟踪器在Nuscenes测试数据集中取得了竞争性的结果，并显示出优于其他最先进的LIDAR的跟踪性能，而Haver Holly Holling Trackers，Lidar和基于摄像机的基于摄像头的跟踪器。

尽管广泛用作可视检测任务的性能措施，但平均精度（AP）In（i）的限制在反映了本地化质量，（ii）对其计算的设计选择的鲁棒性以及其对输出的适用性没有信心分数。 Panoptic质量（PQ），提出评估Panoptic Seationation（Kirillov等，2019）的措施，不会遭受这些限制，而是限于Panoptic Seationation。在本文中，我们提出了基于其本地化和分类质量的视觉检测器的平均匹配误差，提出了定位召回精度（LRP）误差。 LRP错误，最初仅为Oksuz等人进行对象检测。 （2018），不遭受上述限制，适用于所有视觉检测任务。我们还介绍了最佳LRP（OLRP）错误，因为通过置信区获得的最小LRP错误以评估视觉检测器并获得部署的最佳阈值。我们提供对AP和PQ的LRP误差的详细比较分析，并使用七个可视检测任务（即对象检测，关键点检测，实例分割，Panoptic分段，视觉关系检测，使用近100个最先进的视觉检测器零拍摄检测和广义零拍摄检测）使用10个数据集来统一地显示LRP误差提供比其对应物更丰富和更辨别的信息。可用的代码：https：//github.com/kemaloksuz/lrp-error

无数应用程序取决于具有现代物体探测器的可靠置信度估计的准确预测。然而，众所周知，包括对象探测器的神经网络产生错误的置换置信度估计。最近的工作甚至表明，探测器的置信度预测是关于对象大小和位置的偏置，但仍然尚不清楚该偏差如何涉及受影响的对象检测器的性能。我们正式证明，条件置信度偏差损害了对象探测器的预期性能，并经验验证这些发现。具体而言，我们演示了如何修改直方图融合校准，不仅避免性能障碍，而且还通过条件置信度校准提高性能。我们进一步发现，在探测器的训练数据上产生的检测中也存在置信度偏差，我们利用在不使用其他数据的情况下执行我们的去偏置。此外，测试时间增强放大了这种偏差，从我们的校准方法产生了更大的性能。最后，我们在不同的对象检测架构上验证了我们的调查结果，并在没有额外数据或培训的情况下显示最多0.6张地图和0.8 MAP50的改进。

本文研究了涉及对象集，对象检测，实例级分段和多对象跟踪的基本视觉任务的性能评估标准。现有标准的算法排名可能会以不同的参数选择波动，例如联合（IOU）阈值的交叉点使他们的评估不可靠。更重要的是，没有能够验证我们是否可以相信标准的评估。这项工作提出了对性能标准的可信赖性的概念，该概念需要（i）对可靠性的参数鲁棒性，（ii）理智测试中的上下文意义，以及（iii）与数学要求（例如度量属性）的一致性。我们观察到这些要求被许多广泛使用的标准忽略了，并使用一组形状的指标探索替代标准。我们还根据建议的可信度要求评估所有这些标准。

自主驾驶应用中的对象检测意味着语义对象的检测和跟踪通常是城市驾驶环境的原产，作为行人和车辆。最先进的基于深度学习的物体检测中的主要挑战之一是假阳性，其出现过于自信得分。由于安全问题，这在自动驾驶和其他关键机器人感知域中是非常不可取的。本文提出了一种通过将新的概率层引入测试中的深度对象检测网络来缓解过度自信预测问题的方法。建议的方法避免了传统的乙状结肠或Softmax预测层，其通常产生过度自信预测。证明所提出的技术在不降低真实阳性上的性能的情况下降低了误报的过度频率。通过yolov4和第二（基于LiDar的探测器）对2D-Kitti异点检测验证了该方法。该方法使得能够实现可解释的概率预测，而无需重新培训网络，因此非常实用。

探讨了将数据驱动对象检测器的不确定性结合到对象跟踪算法中的不确定性的方法。对象跟踪方法依赖于测量误差模型，通常以测量噪声，假阳性率和错过检测速率的形式。通常，这些数量通常可以取决于物体或测量位置。然而，对于从神经网络处理的摄像机输入产生的检测，这些测量误差统计不足以表示主要错误源，即运行时传感器输入与检测器训练的训练数据之间的不相似性。为此，我们调查将数据不确定性纳入物体跟踪方法，例如提高跟踪物体的能力，特别是那些超出的能力。培训数据。所提出的方法在对象跟踪基准上验证以及具有真正自治飞机的实验。

信息驱动的控制可用于开发智能传感器，这些传感器可以根据环境反馈优化其测量值。在对象跟踪应用程序中，根据不确定性的预期降低也称为信息增益。随机有限集（RFS）理论提供了一种形式主义，用于量化和估计多对象跟踪问题中的信息增益。但是，在这些应用程序中估计信息增益仍然在计算上具有挑战性。本文介绍了适用于传感器控制的RFS预期信息增益的新的可进行的近似，用于多对象搜索和跟踪。与现有的RFS方法不同，本文提出的信息增益近似考虑了非理想噪声测量，错过的检测，错误警报和对象出现/消失的贡献。通过使用远程陆地和卫星传感器的真实视频数据进行了两次多车搜索实验，通过两次多车搜索实验证明了信息驱动的传感器控制的有效性。

最近的端到端多对象检测器通过删除手工制作的过程（例如使用非最大最大抑制（NMS））删除手工制作的过程来简化推理管道。但是，在训练中，他们需要两分匹配来计算检测器输出的损失。与端到端学习的核心的方向性相反，双方匹配使端到端探测器复杂，启发式和依赖的培训。在本文中，我们提出了一种训练端到端多对象探测器而无需匹配的方法。为此，我们使用混合模型将端到端多对象检测作为密度估计问题。我们提出的检测器，称为稀疏混合物密度检测器（稀疏MDOD），使用混合模型估算边界盒的分布。稀疏MDOD是通过最大程度地减少负对数似然性和我们提出的正则化项，最大成分最大化（MCM）损失来训练的，从而阻止了重复的预测。在训练过程中，不需要其他过程，例如两分匹配，并且损失是直接从网络输出中计算出来的。此外，我们的稀疏MDOD优于MS-Coco上的现有检测器，MS-Coco是一种著名的多对象检测基准。

深神网络的对象探测器正在不断发展，并用于多种应用程序，每个应用程序都有自己的要求集。尽管关键安全应用需要高准确性和可靠性，但低延迟任务需要资源和节能网络。不断提出了实时探测器，在高影响现实世界中是必需的，但是它们过分强调了准确性和速度的提高，而其他功能（例如多功能性，鲁棒性，资源和能源效率）则被省略。现有网络的参考基准不存在，设计新网络的标准评估指南也不存在，从而导致比较模棱两可和不一致的比较。因此，我们对广泛的数据集进行了多个实时探测器（基于锚点，关键器和变压器）的全面研究，并报告了一系列广泛指标的结果。我们还研究了变量，例如图像大小，锚固尺寸，置信阈值和架构层对整体性能的影响。我们分析了检测网络的鲁棒性，以防止分配变化，自然腐败和对抗性攻击。此外，我们提供了校准分析来评估预测的可靠性。最后，为了强调现实世界的影响，我们对自动驾驶和医疗保健应用进行了两个独特的案例研究。为了进一步衡量关键实时应用程序中网络的能力，我们报告了在Edge设备上部署检测网络后的性能。我们广泛的实证研究可以作为工业界对现有网络做出明智选择的指南。我们还希望激发研究社区的设计和评估网络的新方向，该网络着重于更大而整体的概述，以实现深远的影响。

Open World Object Detection (OWOD) is a new and challenging computer vision task that bridges the gap between classic object detection (OD) benchmarks and object detection in the real world. In addition to detecting and classifying seen/labeled objects, OWOD algorithms are expected to detect novel/unknown objects - which can be classified and incrementally learned. In standard OD, object proposals not overlapping with a labeled object are automatically classified as background. Therefore, simply applying OD methods to OWOD fails as unknown objects would be predicted as background. The challenge of detecting unknown objects stems from the lack of supervision in distinguishing unknown objects and background object proposals. Previous OWOD methods have attempted to overcome this issue by generating supervision using pseudo-labeling - however, unknown object detection has remained low. Probabilistic/generative models may provide a solution for this challenge. Herein, we introduce a novel probabilistic framework for objectness estimation, where we alternate between probability distribution estimation and objectness likelihood maximization of known objects in the embedded feature space - ultimately allowing us to estimate the objectness probability of different proposals. The resulting Probabilistic Objectness transformer-based open-world detector, PROB, integrates our framework into traditional object detection models, adapting them for the open-world setting. Comprehensive experiments on OWOD benchmarks show that PROB outperforms all existing OWOD methods in both unknown object detection ($\sim 2\times$ unknown recall) and known object detection ($\sim 10\%$ mAP). Our code will be made available upon publication at https://github.com/orrzohar/PROB.

Detection Transformer (DETR) directly transforms queries to unique objects by using one-to-one bipartite matching during training and enables end-to-end object detection. Recently, these models have surpassed traditional detectors on COCO with undeniable elegance. However, they differ from traditional detectors in multiple designs, including model architecture and training schedules, and thus the effectiveness of one-to-one matching is not fully understood. In this work, we conduct a strict comparison between the one-to-one Hungarian matching in DETRs and the one-to-many label assignments in traditional detectors with non-maximum supervision (NMS). Surprisingly, we observe one-to-many assignments with NMS consistently outperform standard one-to-one matching under the same setting, with a significant gain of up to 2.5 mAP. Our detector that trains Deformable-DETR with traditional IoU-based label assignment achieved 50.2 COCO mAP within 12 epochs (1x schedule) with ResNet50 backbone, outperforming all existing traditional or transformer-based detectors in this setting. On multiple datasets, schedules, and architectures, we consistently show bipartite matching is unnecessary for performant detection transformers. Furthermore, we attribute the success of detection transformers to their expressive transformer architecture. Code is available at https://github.com/jozhang97/DETA.

The notion of uncertainty is of major importance in machine learning and constitutes a key element of machine learning methodology. In line with the statistical tradition, uncertainty has long been perceived as almost synonymous with standard probability and probabilistic predictions. Yet, due to the steadily increasing relevance of machine learning for practical applications and related issues such as safety requirements, new problems and challenges have recently been identified by machine learning scholars, and these problems may call for new methodological developments. In particular, this includes the importance of distinguishing between (at least) two different types of uncertainty, often referred to as aleatoric and epistemic. In this paper, we provide an introduction to the topic of uncertainty in machine learning as well as an overview of attempts so far at handling uncertainty in general and formalizing this distinction in particular.

标记数据通常昂贵且耗时，特别是对于诸如对象检测和实例分割之类的任务，这需要对图像的密集标签进行密集的标签。虽然几张拍摄对象检测是关于培训小说中的模型（看不见的）对象类具有很少的数据，但它仍然需要在许多标记的基础（见）类的课程上进行训练。另一方面，自我监督的方法旨在从未标记数据学习的学习表示，该数据转移到诸如物体检测的下游任务。结合几次射击和自我监督的物体检测是一个有前途的研究方向。在本调查中，我们审查并表征了几次射击和自我监督对象检测的最新方法。然后，我们给我们的主要外卖，并讨论未来的研究方向。https://gabrielhuang.github.io/fsod-survey/的项目页面

在安全至关重要的应用中，深度神经网络的使用越来越多，就需要训练有素的模型。当前大多数校准技术解决了分类问题，同时着重于改善对内域预测的校准。在许多决策系统中占据相似的空间和重要性的视觉对象探测器的校准几乎没有关注。在本文中，我们研究了当前对象检测模型的校准，尤其是在域移位下。为此，我们首先引入了插件的火车时间校准损失以进行对象检测。它可以用作辅助损失函数，以改善检测器的校准。其次，我们设计了一种新的不确定性量化机制来进行对象检测，该机制可以隐式校准常用的基于自我训练的域自适应检测器。我们在研究中包括单阶段和两阶段对象探测器。我们证明，我们的损失改善了具有明显边缘的内域和室外检测的校准。最后，我们展示了我们技术在校准不同域移动方案中的域自适应对象探测器方面的实用性。

Single-frame InfraRed Small Target (SIRST) detection has been a challenging task due to a lack of inherent characteristics, imprecise bounding box regression, a scarcity of real-world datasets, and sensitive localization evaluation. In this paper, we propose a comprehensive solution to these challenges. First, we find that the existing anchor-free label assignment method is prone to mislabeling small targets as background, leading to their omission by detectors. To overcome this issue, we propose an all-scale pseudo-box-based label assignment scheme that relaxes the constraints on scale and decouples the spatial assignment from the size of the ground-truth target. Second, motivated by the structured prior of feature pyramids, we introduce the one-stage cascade refinement network (OSCAR), which uses the high-level head as soft proposals for the low-level refinement head. This allows OSCAR to process the same target in a cascade coarse-to-fine manner. Finally, we present a new research benchmark for infrared small target detection, consisting of the SIRST-V2 dataset of real-world, high-resolution single-frame targets, the normalized contrast evaluation metric, and the DeepInfrared toolkit for detection. We conduct extensive ablation studies to evaluate the components of OSCAR and compare its performance to state-of-the-art model-driven and data-driven methods on the SIRST-V2 benchmark. Our results demonstrate that a top-down cascade refinement framework can improve the accuracy of infrared small target detection without sacrificing efficiency. The DeepInfrared toolkit, dataset, and trained models are available at https://github.com/YimianDai/open-deepinfrared to advance further research in this field.

The goal of this paper is to detect objects by exploiting their interrelationships. Rather than relying on predefined and labeled graph structures, we infer a graph prior from object co-occurrence statistics. The key idea of our paper is to model object relations as a function of initial class predictions and co-occurrence priors to generate a graph representation of an image for improved classification and bounding box regression. We additionally learn the object-relation joint distribution via energy based modeling. Sampling from this distribution generates a refined graph representation of the image which in turn produces improved detection performance. Experiments on the Visual Genome and MS-COCO datasets demonstrate our method is detector agnostic, end-to-end trainable, and especially beneficial for rare object classes. What is more, we establish a consistent improvement over object detectors like DETR and Faster-RCNN, as well as state-of-the-art methods modeling object interrelationships.

使用多模式输入的对象检测可以改善许多安全性系统，例如自动驾驶汽车（AVS）。由白天和黑夜运行的AV动机，我们使用RGB和热摄像机研究多模式对象检测，因为后者在较差的照明下提供了更强的对象签名。我们探索融合来自不同方式的信息的策略。我们的关键贡献是一种概率结合技术，Proben，一种简单的非学习方法，可以将多模式的检测融合在一起。我们从贝叶斯的规则和第一原则中得出了探针，这些原则在跨模态上采用条件独立性。通过概率边缘化，当检测器不向同一物体发射时，概率可以优雅地处理缺失的方式。重要的是，即使有条件的独立性假设不存在，也可以显着改善多模式检测，例如，从其他融合方法（包括现成的内部和训练有素的内部）融合输出。我们在两个基准上验证了包含对齐（KAIST）和未对准（Flir）多模式图像的基准，这表明Proben的相对性能优于先前的工作超过13％！

由于许多安全性系统（例如手术机器人和自动驾驶汽车）在不稳定的环境中运行，具有传感器噪声和不完整的数据，因此希望对象探测器将本地化不确定性考虑在内。但是，基于锚的对象检测的现有不确定性估计方法存在几个局限性。 1）它们对具有不同特征和尺度的异质对象性质的不确定性进行建模，例如位置（中心点）和尺度（宽度，高度），这可能很难估算。 2）它们将框偏移型为高斯分布，这与遵循Dirac Delta分布的地面真相边界框不兼容。 3）由于基于锚的方法对锚定超参数敏感，因此它们的定位不确定性也可能对选择超参数的选择高度敏感。为了应对这些局限性，我们提出了一种称为UAD的新定位不确定性估计方法，用于无锚对象检测。我们的方法捕获了均匀的四个方向（左，右，顶部，底部）的四个方向的不确定性，因此它可以判断哪个方向不确定，并在[0，1]中提供不确定性的定量值。为了实现这种不确定性估计，我们设计了一种新的不确定性损失，负功率对数可能性损失，以通过加权其IOU加权可能性损失来衡量本地化不确定性，从而减轻了模型错误指定问题。此外，我们提出了反映分类评分的估计不确定性的不确定性感知局灶性损失。可可数据集的实验结果表明，我们的方法在不牺牲计算效率的情况下显着提高了最高1.8点的FCO。