Out-Of-Distribution (OOD) detection has received broad attention over the years, aiming to ensure the reliability and safety of deep neural networks (DNNs) in real-world scenarios by rejecting incorrect predictions. However, we notice a discrepancy between the conventional evaluation vs. the essential purpose of OOD detection. On the one hand, the conventional evaluation exclusively considers risks caused by label-space distribution shifts while ignoring the risks from input-space distribution shifts. On the other hand, the conventional evaluation reward detection methods for not rejecting the misclassified image in the validation dataset. However, the misclassified image can also cause risks and should be rejected. We appeal to rethink OOD detection from a human-centric perspective, that a proper detection method should reject the case that the deep model's prediction mismatches the human expectations and adopt the case that the deep model's prediction meets the human expectations. We propose a human-centric evaluation and conduct extensive experiments on 45 classifiers and 8 test datasets. We find that the simple baseline OOD detection method can achieve comparable and even better performance than the recently proposed methods, which means that the development in OOD detection in the past years may be overestimated. Additionally, our experiments demonstrate that model selection is non-trivial for OOD detection and should be considered as an integral of the proposed method, which differs from the claim in existing works that proposed methods are universal across different models.

Out-of-Distribution (OOD) detection, i.e., identifying whether an input is sampled from a novel distribution other than the training distribution, is a critical task for safely deploying machine learning systems in the open world. Recently, post hoc detection utilizing pre-trained models has shown promising performance and can be scaled to large-scale problems. This advance raises a natural question: Can we leverage the diversity of multiple pre-trained models to improve the performance of post hoc detection methods? In this work, we propose a detection enhancement method by ensembling multiple detection decisions derived from a zoo of pre-trained models. Our approach uses the p-value instead of the commonly used hard threshold and leverages a fundamental framework of multiple hypothesis testing to control the true positive rate of In-Distribution (ID) data. We focus on the usage of model zoos and provide systematic empirical comparisons with current state-of-the-art methods on various OOD detection benchmarks. The proposed ensemble scheme shows consistent improvement compared to single-model detectors and significantly outperforms the current competitive methods. Our method substantially improves the relative performance by 65.40% and 26.96% on the CIFAR10 and ImageNet benchmarks.

检测到分布（OOD）数据是一项任务，它正在接受计算机视觉的深度学习领域越来越多的研究注意力。但是，通常在隔离任务上评估检测方法的性能，而不是考虑串联中的潜在下游任务。在这项工作中，我们检查了存在OOD数据（SCOD）的选择性分类。也就是说，检测OOD样本的动机是拒绝它们，以便降低它们对预测质量的影响。我们在此任务规范下表明，与仅在OOD检测时进行评估时，现有的事后方法的性能大不相同。这是因为如果ID数据被错误分类，将分布分配（ID）数据与OOD数据混合在一起的问题不再是一个问题。但是，正确和不正确的预测的ID数据中的汇合变得不受欢迎。我们还提出了一种新颖的SCOD，SoftMax信息保留（SIRC）的方法，该方法通过功能不足信息来增强基于软疗法的置信度得分，以便在不牺牲正确和错误的ID预测之间的分离的情况下，可以提高其识别OOD样品的能力。在各种成像网尺度数据集和卷积神经网络体系结构上进行的实验表明，SIRC能够始终如一地匹配或胜过SCOD的基线，而现有的OOD检测方法则无法做到。

检测到分布输入对于在现实世界中安全部署机器学习模型至关重要。然而，已知神经网络遭受过度自信的问题，在该问题中，它们对分布和分布的输入的信心异常高。在这项工作中，我们表明，可以通过在训练中实施恒定的向量规范来通过logit归一化（logitnorm）（logitnorm）来缓解此问题。我们的方法是通过分析的激励，即logit的规范在训练过程中不断增加，从而导致过度自信的产出。因此，LogitNorm背后的关键思想是将网络优化期间输出规范的影响解散。通过LogitNorm培训，神经网络在分布数据和分布数据之间产生高度可区分的置信度得分。广泛的实验证明了LogitNorm的优势，在公共基准上，平均FPR95最高为42.30％。

分布（OOD）检测是在开放世界中部署机器学习模型的关键任务。基于距离的方法已经证明了有望，如果测试样品离分布（ID）数据相对遥远，则将测试样品视为OOD。但是，先前的方法对基础特征空间施加了强有力的分布假设，这可能并不总是存在。在本文中，我们探讨了非参数最近邻居距离的疗效，以检测OOD，这在文献中很大程度上被忽略了。与先前的工作不同，我们的方法不会施加任何分布假设，因此提供了更强的灵活性和一般性。我们证明了在几个基准测试中基于邻元的OOD检测的有效性，并建立了卓越的性能。在对Imagenet-1K训练的同一模型下，我们的方法将假阳性率（FPR@tpr95）降低了24.77％，与强大的基线SSD+相比，使用参数方法Mahalanobis在检测中。可用代码：https：//github.com/deeplearning-wisc/knn-ood。

由于其实际重要性，在提高神经网络安全部署方面的实际重要性，最近经济分配（OOD）检测最近受到了很大的关注。其中一个主要挑战是模型往往会对OOD数据产生高度自信的预测，这在ood检测中破坏了驾驶原理，即该模型应该仅对分布式样品充满信心。在这项工作中，我们提出了反应 - 一种简单有效的技术，用于减少对数据数据的模型过度限制。我们的方法是通过关于神经网络内部激活的新型分析，其为OOD分布显示出高度独特的签名模式。我们的方法可以有效地拓展到不同的网络架构和不同的OOD检测分数。我们经验证明，反应在全面的基准数据集套件上实现了竞争检测性能，并为我们的方法进行了理论解释。与以前的最佳方法相比，在ImageNet基准测试中，反应将假阳性率（FPR95）降低25.05％。

神经网络在分布中的数据中取得了令人印象深刻的性能，该数据与训练集相同，但可以为这些网络从未见过的数据产生过分自信的结果。因此，至关重要的是要检测输入是否来自分布（OOD），以确保现实世界中部署的神经网络的安全性。在本文中，我们提出了一种简单有效的事后技术Weshort，以减少神经网络对OOD数据的过度自信。我们的方法灵感来自对内部残留结构的观察，该结构显示了捷径层中OOD和分布（ID）数据的分离。我们的方法与不同的OOD检测分数兼容，并且可以很好地推广到网络的不同体系结构。我们在各种OOD数据集上演示了我们的方法，以展示其竞争性能，并提供合理的假设，以解释我们的方法为何起作用。在Imagenet基准测试上，Weshort在假阳性率（FPR95）和接收器操作特征（AUROC）下实现了最先进的性能（在事后方法）上。

检测分销（OOD）输入是安全部署现实世界中的机器学习模型的中央挑战。以前的方法通常依赖于从过度分辨率的重量空间衍生的评分，同时在很大程度上忽略了稀疏的作用。在本文中，我们揭示了重要的见解，即依赖对不重要的权重和单位可以直接归因于“ood检测的脆性”。为了减轻这个问题，我们提出了一个基于稀疏的oo ood检测框架被称为骰子。我们的关键思想是基于贡献的衡量标准进行排序，并选择性地使用最突出的重量来导出OOD检测的输出。我们提供了实证和理论洞察力，表征和解释了骰子改善的机制。通过修剪嘈杂的信号，骰子可否降低OOD数据的输出方差，从而导致输出分布和更强的ID数据可分离。骰子表现出色，与先前的最佳方法相比，将FPR95减少至多24.69％。

本文我们的目标是利用异质的温度缩放作为校准策略（OOD）检测。此处的异质性是指每个样品的最佳温度参数可能不同，而不是传统的方法对整个分布使用相同的值。为了实现这一目标，我们提出了一种称为锚定的新培训策略，可以估算每个样品的适当温度值，从而导致几个基准的最新OOD检测性能。使用NTK理论，我们表明该温度函数估计与分类器的认知不确定性紧密相关，这解释了其行为。与某些表现最佳的OOD检测方法相反，我们的方法不需要暴露于其他离群数据集，自定义校准目标或模型结合。通过具有不同OOD检测设置的经验研究 - 远处，OOD附近和语义相干OOD - 我们建立了一种高效的OOD检测方法。可以在此处访问代码和模型-https：//github.com/rushilanirudh/amp

Detecting out-of-distribution (OOD) inputs during the inference stage is crucial for deploying neural networks in the real world. Previous methods commonly relied on the output of a network derived from the highly activated feature map. In this study, we first revealed that a norm of the feature map obtained from the other block than the last block can be a better indicator of OOD detection. Motivated by this, we propose a simple framework consisting of FeatureNorm: a norm of the feature map and NormRatio: a ratio of FeatureNorm for ID and OOD to measure the OOD detection performance of each block. In particular, to select the block that provides the largest difference between FeatureNorm of ID and FeatureNorm of OOD, we create Jigsaw puzzle images as pseudo OOD from ID training samples and calculate NormRatio, and the block with the largest value is selected. After the suitable block is selected, OOD detection with the FeatureNorm outperforms other OOD detection methods by reducing FPR95 by up to 52.77% on CIFAR10 benchmark and by up to 48.53% on ImageNet benchmark. We demonstrate that our framework can generalize to various architectures and the importance of block selection, which can improve previous OOD detection methods as well.

在图像分类中，在检测分布（OOD）数据时发生了许多发展。但是，大多数OOD检测方法是在一组标准数据集上评估的，该数据集与培训数据任意不同。没有明确的定义``好的''ood数据集。此外，最先进的OOD检测方法已经在这些标准基准上取得了几乎完美的结果。在本文中，我们定义了2类OOD数据使用与分布（ID）数据的感知/视觉和语义相似性的微妙概念。我们将附近的OOD样本定义为感知上相似但语义上与ID样本的不同，并将样本转移为视觉上不同但在语义上与ID相似的点数据。然后，我们提出了一个基于GAN的框架，用于从这两个类别中生成OOD样品，给定一个ID数据集。通过有关MNIST，CIFAR-10/100和Imagenet的广泛实验，我们表明A）在常规基准上表现出色的ART OOD检测方法对我们提出的基准测试的稳健性明显较小。 N基准测试，反之亦然，因此表明甚至可能不需要单独的OOD集来可靠地评估OOD检测中的性能。

分布（OOD）检测对于确保机器学习系统的可靠性和安全性至关重要。例如，在自动驾驶中，我们希望驾驶系统在发现在训练时间中从未见过的异常​​场景或对象时，发出警报并将控件移交给人类，并且无法做出安全的决定。该术语《 OOD检测》于2017年首次出现，此后引起了研究界的越来越多的关注，从而导致了大量开发的方法，从基于分类到基于密度到基于距离的方法。同时，其他几个问题，包括异常检测（AD），新颖性检测（ND），开放式识别（OSR）和离群检测（OD）（OD），在动机和方法方面与OOD检测密切相关。尽管有共同的目标，但这些主题是孤立发展的，它们在定义和问题设定方面的细微差异通常会使读者和从业者感到困惑。在这项调查中，我们首先提出一个称为广义OOD检测的统一框架，该框架涵盖了上述五个问题，即AD，ND，OSR，OOD检测和OD。在我们的框架下，这五个问题可以看作是特殊情况或子任务，并且更容易区分。然后，我们通过总结了他们最近的技术发展来审查这五个领域中的每一个，特别关注OOD检测方法。我们以公开挑战和潜在的研究方向结束了这项调查。

深度神经网络对各种任务取得了出色的性能，但它们具有重要问题：即使对于完全未知的样本，也有过度自信的预测。已经提出了许多研究来成功过滤出这些未知的样本，但它们仅考虑狭窄和特定的任务，称为错误分类检测，开放式识别或分布外检测。在这项工作中，我们认为这些任务应该被视为根本存在相同的问题，因为理想的模型应该具有所有这些任务的检测能力。因此，我们介绍了未知的检测任务，以先前的单独任务的整合，用于严格检查深度神经网络对广谱的广泛未知样品的检测能力。为此，构建了不同尺度上的统一基准数据集，并且存在现有流行方法的未知检测能力进行比较。我们发现深度集合始终如一地优于检测未知的其他方法;但是，所有方法只针对特定类型的未知方式成功。可重复的代码和基准数据集可在https://github.com/daintlab/unknown-detection-benchmarks上获得。

已知神经网络在输入图像上产生过度自信的预测，即使这些图像不存在（OOD）样本。这限制了神经网络模型在存在OOD样本的实际场景中的应用。许多现有方法通过利用各种提示来确定OOD实例，例如在特征空间，逻辑空间，梯度空间或图像的原始空间中查找不规则模式。相反，本文提出了一种简单的测试时间线性训练（ETLT）用于OOD检测方法。从经验上讲，我们发现输入图像的概率不存在，与神经网络提取的功能令人惊讶地线性相关。具体来说，许多最先进的OOD算法虽然旨在以不同的方式衡量可靠性，但实际上导致OOD得分主要与其图像特征线性相关。因此，通过简单地学习从配对图像特征训练并在测试时间推断的OOD分数的线性回归模型，我们可以为测试实例做出更精确的OOD预测。我们进一步提出了该方法的在线变体，该变体可以实现有希望的性能，并且在现实世界中更为实用。值得注意的是，我们将FPR95从$ 51.37 \％$提高到CIFAR-10数据集的$ 12.30 \％$，最大的SoftMax概率是基本的OOD检测器。在几个基准数据集上进行的广泛实验显示了ETLT对OOD检测任务的功效。

尽管最近的分布（OOD）检测，异常检测和不确定性估计任务的最新进展，但并不存在任务不合时宜的和事后方法。为了解决此限制，我们设计了一种基于聚类的新型结合方法，称为任务不可知和事后看不见的分布检测（TAPUDD），该方法利用了从对特定任务进行训练的模型中提取的功能。它明确地包括Tap-Mahalanobis，该曲线簇起训练数据集的特征，并确定了所有群集的测试样品的最小Mahalanobis距离。此外，我们提出了一个结合模块，该模块汇总了对不同数量簇的迭代TAP-MAHALANOBIS的计算，以提供可靠，有效的群集计算。通过对合成和现实世界数据集进行的广泛实验，我们观察到我们的方法可以在各种任务中有效地检测出看不见的样本，并与现有基线进行更好的或与现有基线相比。为此，我们消除了确定簇数量的最佳价值的必要性，并证明我们的方法对于大规模分类任务更可行。

分发（OOD）检测的任务对于在现实世界中部署机器学习模型至关重要。在本文中，我们观察到分布（ID）和OOD特征的奇异值分布截然不同：OOD特征矩阵倾向于具有比ID特征更大的优势奇异值，并且OOD样本的类预测在很大程度上取决于它。该观察结果促使我们提出\ texttt {rankfeat}，这是一种简单而有效的\ texttt {post hoc}方法，通过删除由最大的单数值和相关的单数矢量组成的rank-1矩阵，从（\ emph { \ texttt {rankfeat}达到\ emph {最新的}性能，并将平均误报率（FPR95）降低了17.90 \％，与以前的最佳方法相比。提供了广泛的消融研究和全面的理论分析，以支持经验结果。

已知现代深度神经网络模型将错误地将分布式（OOD）测试数据分类为具有很高信心的分数（ID）培训课程之一。这可能会对关键安全应用产生灾难性的后果。一种流行的缓解策略是训练单独的分类器，该分类器可以在测试时间检测此类OOD样本。在大多数实际设置中，在火车时间尚不清楚OOD的示例，因此，一个关键问题是：如何使用合成OOD样品来增加ID数据以训练这样的OOD检测器？在本文中，我们为称为CNC的OOD数据增强提出了一种新颖的复合腐败技术。 CNC的主要优点之一是，除了培训集外，它不需要任何固定数据。此外，与当前的最新技术（SOTA）技术不同，CNC不需要在测试时间进行反向传播或结合，从而使我们的方法在推断时更快。我们与过去4年中主要会议的20种方法进行了广泛的比较，表明，在OOD检测准确性和推理时间方面，使用基于CNC的数据增强训练的模型都胜过SOTA。我们包括详细的事后分析，以研究我们方法成功的原因，并确定CNC样本的较高相对熵和多样性是可能的原因。我们还通过对二维数据集进行零件分解分析提供理论见解，以揭示（视觉和定量），我们的方法导致ID类别周围的边界更紧密，从而更好地检测了OOD样品。源代码链接：https：//github.com/cnc-ood

Determining whether inputs are out-of-distribution (OOD) is an essential building block for safely deploying machine learning models in the open world. However, previous methods relying on the softmax confidence score suffer from overconfident posterior distributions for OOD data. We propose a unified framework for OOD detection that uses an energy score. We show that energy scores better distinguish in-and out-of-distribution samples than the traditional approach using the softmax scores. Unlike softmax confidence scores, energy scores are theoretically aligned with the probability density of the inputs and are less susceptible to the overconfidence issue. Within this framework, energy can be flexibly used as a scoring function for any pre-trained neural classifier as well as a trainable cost function to shape the energy surface explicitly for OOD detection. On a CIFAR-10 pre-trained WideResNet, using the energy score reduces the average FPR (at TPR 95%) by 18.03% compared to the softmax confidence score. With energy-based training, our method outperforms the state-of-the-art on common benchmarks.

机器学习模型通常会遇到与训练分布不同的样本。无法识别分布（OOD）样本，因此将该样本分配给课堂标签会显着损害模​​型的可靠性。由于其对在开放世界中的安全部署模型的重要性，该问题引起了重大关注。由于对所有可能的未知分布进行建模的棘手性，检测OOD样品是具有挑战性的。迄今为止，一些研究领域解决了检测陌生样本的问题，包括异常检测，新颖性检测，一级学习，开放式识别识别和分布外检测。尽管有相似和共同的概念，但分别分布，开放式检测和异常检测已被独立研究。因此，这些研究途径尚未交叉授粉，创造了研究障碍。尽管某些调查打算概述这些方法，但它们似乎仅关注特定领域，而无需检查不同领域之间的关系。这项调查旨在在确定其共同点的同时，对各个领域的众多著名作品进行跨域和全面的审查。研究人员可以从不同领域的研究进展概述中受益，并协同发展未来的方法。此外，据我们所知，虽然进行异常检测或单级学习进行了调查，但没有关于分布外检测的全面或最新的调查，我们的调查可广泛涵盖。最后，有了统一的跨域视角，我们讨论并阐明了未来的研究线，打算将这些领域更加紧密地融为一体。

分销（OOD）检测对于在现实世界中部署机器学习模型是重要的，其中来自移位分布的测试数据可以自然地出现。虽然最近出现了何种算法方法，但何种算法检测，临界差距仍然存在理论上。在这项工作中，我们开发了一个分析框架，其特征，并统一了对OOD检测的理论理解。我们的分析框架激励了一种新颖的电子网络，创业板的检测方法，展示了理论和经验的优势。特别是，在CIFAR-100作为分布数据中，我们的方法优于竞争性基线16.57％（FPR95）。最后，我们正式提供可证明的保证和对我们的方法进行全面分析，支撑数据分布的各种性能如何影响OOD检测的性能。