神经网络在分布中的数据中取得了令人印象深刻的性能，该数据与训练集相同，但可以为这些网络从未见过的数据产生过分自信的结果。因此，至关重要的是要检测输入是否来自分布（OOD），以确保现实世界中部署的神经网络的安全性。在本文中，我们提出了一种简单有效的事后技术Weshort，以减少神经网络对OOD数据的过度自信。我们的方法灵感来自对内部残留结构的观察，该结构显示了捷径层中OOD和分布（ID）数据的分离。我们的方法与不同的OOD检测分数兼容，并且可以很好地推广到网络的不同体系结构。我们在各种OOD数据集上演示了我们的方法，以展示其竞争性能，并提供合理的假设，以解释我们的方法为何起作用。在Imagenet基准测试上，Weshort在假阳性率（FPR95）和接收器操作特征（AUROC）下实现了最先进的性能（在事后方法）上。

由于其实际重要性，在提高神经网络安全部署方面的实际重要性，最近经济分配（OOD）检测最近受到了很大的关注。其中一个主要挑战是模型往往会对OOD数据产生高度自信的预测，这在ood检测中破坏了驾驶原理，即该模型应该仅对分布式样品充满信心。在这项工作中，我们提出了反应 - 一种简单有效的技术，用于减少对数据数据的模型过度限制。我们的方法是通过关于神经网络内部激活的新型分析，其为OOD分布显示出高度独特的签名模式。我们的方法可以有效地拓展到不同的网络架构和不同的OOD检测分数。我们经验证明，反应在全面的基准数据集套件上实现了竞争检测性能，并为我们的方法进行了理论解释。与以前的最佳方法相比，在ImageNet基准测试中，反应将假阳性率（FPR95）降低25.05％。

Detecting out-of-distribution (OOD) inputs during the inference stage is crucial for deploying neural networks in the real world. Previous methods commonly relied on the output of a network derived from the highly activated feature map. In this study, we first revealed that a norm of the feature map obtained from the other block than the last block can be a better indicator of OOD detection. Motivated by this, we propose a simple framework consisting of FeatureNorm: a norm of the feature map and NormRatio: a ratio of FeatureNorm for ID and OOD to measure the OOD detection performance of each block. In particular, to select the block that provides the largest difference between FeatureNorm of ID and FeatureNorm of OOD, we create Jigsaw puzzle images as pseudo OOD from ID training samples and calculate NormRatio, and the block with the largest value is selected. After the suitable block is selected, OOD detection with the FeatureNorm outperforms other OOD detection methods by reducing FPR95 by up to 52.77% on CIFAR10 benchmark and by up to 48.53% on ImageNet benchmark. We demonstrate that our framework can generalize to various architectures and the importance of block selection, which can improve previous OOD detection methods as well.

Out-Of-Distribution (OOD) detection has received broad attention over the years, aiming to ensure the reliability and safety of deep neural networks (DNNs) in real-world scenarios by rejecting incorrect predictions. However, we notice a discrepancy between the conventional evaluation vs. the essential purpose of OOD detection. On the one hand, the conventional evaluation exclusively considers risks caused by label-space distribution shifts while ignoring the risks from input-space distribution shifts. On the other hand, the conventional evaluation reward detection methods for not rejecting the misclassified image in the validation dataset. However, the misclassified image can also cause risks and should be rejected. We appeal to rethink OOD detection from a human-centric perspective, that a proper detection method should reject the case that the deep model's prediction mismatches the human expectations and adopt the case that the deep model's prediction meets the human expectations. We propose a human-centric evaluation and conduct extensive experiments on 45 classifiers and 8 test datasets. We find that the simple baseline OOD detection method can achieve comparable and even better performance than the recently proposed methods, which means that the development in OOD detection in the past years may be overestimated. Additionally, our experiments demonstrate that model selection is non-trivial for OOD detection and should be considered as an integral of the proposed method, which differs from the claim in existing works that proposed methods are universal across different models.

检测分销（OOD）输入是安全部署现实世界中的机器学习模型的中央挑战。以前的方法通常依赖于从过度分辨率的重量空间衍生的评分，同时在很大程度上忽略了稀疏的作用。在本文中，我们揭示了重要的见解，即依赖对不重要的权重和单位可以直接归因于“ood检测的脆性”。为了减轻这个问题，我们提出了一个基于稀疏的oo ood检测框架被称为骰子。我们的关键思想是基于贡献的衡量标准进行排序，并选择性地使用最突出的重量来导出OOD检测的输出。我们提供了实证和理论洞察力，表征和解释了骰子改善的机制。通过修剪嘈杂的信号，骰子可否降低OOD数据的输出方差，从而导致输出分布和更强的ID数据可分离。骰子表现出色，与先前的最佳方法相比，将FPR95减少至多24.69％。

分发（OOD）检测的任务对于在现实世界中部署机器学习模型至关重要。在本文中，我们观察到分布（ID）和OOD特征的奇异值分布截然不同：OOD特征矩阵倾向于具有比ID特征更大的优势奇异值，并且OOD样本的类预测在很大程度上取决于它。该观察结果促使我们提出\ texttt {rankfeat}，这是一种简单而有效的\ texttt {post hoc}方法，通过删除由最大的单数值和相关的单数矢量组成的rank-1矩阵，从（\ emph { \ texttt {rankfeat}达到\ emph {最新的}性能，并将平均误报率（FPR95）降低了17.90 \％，与以前的最佳方法相比。提供了广泛的消融研究和全面的理论分析，以支持经验结果。

检测到分布（OOD）数据是一项任务，它正在接受计算机视觉的深度学习领域越来越多的研究注意力。但是，通常在隔离任务上评估检测方法的性能，而不是考虑串联中的潜在下游任务。在这项工作中，我们检查了存在OOD数据（SCOD）的选择性分类。也就是说，检测OOD样本的动机是拒绝它们，以便降低它们对预测质量的影响。我们在此任务规范下表明，与仅在OOD检测时进行评估时，现有的事后方法的性能大不相同。这是因为如果ID数据被错误分类，将分布分配（ID）数据与OOD数据混合在一起的问题不再是一个问题。但是，正确和不正确的预测的ID数据中的汇合变得不受欢迎。我们还提出了一种新颖的SCOD，SoftMax信息保留（SIRC）的方法，该方法通过功能不足信息来增强基于软疗法的置信度得分，以便在不牺牲正确和错误的ID预测之间的分离的情况下，可以提高其识别OOD样品的能力。在各种成像网尺度数据集和卷积神经网络体系结构上进行的实验表明，SIRC能够始终如一地匹配或胜过SCOD的基线，而现有的OOD检测方法则无法做到。

Out-of-Distribution (OOD) detection, i.e., identifying whether an input is sampled from a novel distribution other than the training distribution, is a critical task for safely deploying machine learning systems in the open world. Recently, post hoc detection utilizing pre-trained models has shown promising performance and can be scaled to large-scale problems. This advance raises a natural question: Can we leverage the diversity of multiple pre-trained models to improve the performance of post hoc detection methods? In this work, we propose a detection enhancement method by ensembling multiple detection decisions derived from a zoo of pre-trained models. Our approach uses the p-value instead of the commonly used hard threshold and leverages a fundamental framework of multiple hypothesis testing to control the true positive rate of In-Distribution (ID) data. We focus on the usage of model zoos and provide systematic empirical comparisons with current state-of-the-art methods on various OOD detection benchmarks. The proposed ensemble scheme shows consistent improvement compared to single-model detectors and significantly outperforms the current competitive methods. Our method substantially improves the relative performance by 65.40% and 26.96% on the CIFAR10 and ImageNet benchmarks.

检测到分布输入对于在现实世界中安全部署机器学习模型至关重要。然而，已知神经网络遭受过度自信的问题，在该问题中，它们对分布和分布的输入的信心异常高。在这项工作中，我们表明，可以通过在训练中实施恒定的向量规范来通过logit归一化（logitnorm）（logitnorm）来缓解此问题。我们的方法是通过分析的激励，即logit的规范在训练过程中不断增加，从而导致过度自信的产出。因此，LogitNorm背后的关键思想是将网络优化期间输出规范的影响解散。通过LogitNorm培训，神经网络在分布数据和分布数据之间产生高度可区分的置信度得分。广泛的实验证明了LogitNorm的优势，在公共基准上，平均FPR95最高为42.30％。

机器学习模型的培训和部署之间的分离意味着，在培训期间，并非所有部署中遇到的场景都可以预期，因此仅依靠培训的进步都有其限制。分布（OOD）检测是一个重要领域，强调模型处理看不见情况的能力：模型知道何时不知道吗？现有的OOD检测方法要么引起额外的训练步骤，其他数据或对训练的网络进行非平凡的修改。相比之下，在这项工作中，我们提出了一种非常简单的事后，即时激活塑形方法，灰分，其中大部分（例如90％）的样本激活在后层中被删除，然后删除休息（例如10％）简化或轻微调整。该塑形在推理时间应用，不需要根据培训数据计算出的任何统计数据。实验表明，这种简单的治疗可以增强分布和分布样本的区别，从而允许在ImageNet上进行最新的OOD检测，并且不会显着恶化分布的准确性。我们与论文一起释放了两个呼吁解释和验证的呼吁，他们相信集体权力进一步验证和理解这一发现。可以在：https：//andrijazz.github.io/ash上找到电话，视频和代码

分布（OOD）检测是在开放世界中部署机器学习模型的关键任务。基于距离的方法已经证明了有望，如果测试样品离分布（ID）数据相对遥远，则将测试样品视为OOD。但是，先前的方法对基础特征空间施加了强有力的分布假设，这可能并不总是存在。在本文中，我们探讨了非参数最近邻居距离的疗效，以检测OOD，这在文献中很大程度上被忽略了。与先前的工作不同，我们的方法不会施加任何分布假设，因此提供了更强的灵活性和一般性。我们证明了在几个基准测试中基于邻元的OOD检测的有效性，并建立了卓越的性能。在对Imagenet-1K训练的同一模型下，我们的方法将假阳性率（FPR@tpr95）降低了24.77％，与强大的基线SSD+相比，使用参数方法Mahalanobis在检测中。可用代码：https：//github.com/deeplearning-wisc/knn-ood。

现代的深层生成模型可以为从训练分布外部提取的输入分配很高的可能性，从而对开放世界部署中的模型构成威胁。尽管已经对定义新的OOD不确定性测试时间度量的研究进行了很多关注，但这些方法并没有从根本上改变生成模型在训练中的正则和优化。特别是，生成模型被证明过于依赖背景信息来估计可能性。为了解决这个问题，我们提出了一个新颖的OOD检测频率调查学习FRL框架，该框架将高频信息纳入培训中，并指导模型专注于语义相关的功能。 FRL有效地提高了广泛的生成架构的性能，包括变异自动编码器，Glow和PixelCNN ++。在一项新的大规模评估任务中，FRL实现了最先进的表现，表现优于强大的基线可能性遗憾，同时达到了147 $ \ times $ $ $ $ $ \ times $ a的推理速度。广泛的消融表明，FRL在保留图像生成质量的同时改善了OOD检测性能。代码可在https://github.com/mu-cai/frl上找到。

检测到分布（OOD）样本对于在现实世界中的分类器的安全部署至关重要。但是，已知深层神经网络对异常数据过于自信。现有作品直接设计得分功能，通过挖掘分别分类器（ID）和OOD的不一致性。在本文中，我们基于以下假设，即对ID数据进行训练的自动编码器无法重建OOD和ID，我们进一步补充了这种不一致性。我们提出了一种新颖的方法，读取（重建误差聚合检测器），以统一分类器和自动编码器的不一致。具体而言，原始像素的重建误差转换为分类器的潜在空间。我们表明，转换后的重建误差桥接了语义差距，并从原始的传承了检测性能。此外，我们提出了一种调整策略，以根据OOD数据的细粒度表征来减轻自动编码器的过度自信问题。在两种情况下，我们分别提出了方法的两个变体，即仅基于预先训练的分类器和读取 - 读取器（欧几里得距离），即读取MD（Mahalanobis距离），该分类器重新训练分类器。我们的方法不需要访问测试时间数据以进行微调超参数。最后，我们通过与最先进的OOD检测算法进行了广泛的比较来证明所提出的方法的有效性。在CIFAR-10预先训练的WideresNet上，我们的方法将平均FPR@95TPR降低了9.8％，而不是先前的最新ART。

已知神经网络在输入图像上产生过度自信的预测，即使这些图像不存在（OOD）样本。这限制了神经网络模型在存在OOD样本的实际场景中的应用。许多现有方法通过利用各种提示来确定OOD实例，例如在特征空间，逻辑空间，梯度空间或图像的原始空间中查找不规则模式。相反，本文提出了一种简单的测试时间线性训练（ETLT）用于OOD检测方法。从经验上讲，我们发现输入图像的概率不存在，与神经网络提取的功能令人惊讶地线性相关。具体来说，许多最先进的OOD算法虽然旨在以不同的方式衡量可靠性，但实际上导致OOD得分主要与其图像特征线性相关。因此，通过简单地学习从配对图像特征训练并在测试时间推断的OOD分数的线性回归模型，我们可以为测试实例做出更精确的OOD预测。我们进一步提出了该方法的在线变体，该变体可以实现有希望的性能，并且在现实世界中更为实用。值得注意的是，我们将FPR95从$ 51.37 \％$提高到CIFAR-10数据集的$ 12.30 \％$，最大的SoftMax概率是基本的OOD检测器。在几个基准数据集上进行的广泛实验显示了ETLT对OOD检测任务的功效。

通过增强模型，输入示例，培训集和优化目标，已经提出了各种方法进行分发（OOD）检测。偏离现有工作，我们有一个简单的假设，即标准的离心模型可能已经包含有关训练集分布的足够信息，这可以利用可靠的ood检测。我们对验证这一假设的实证研究，该假设测量了模型激活的模型和分布（ID）迷你批次，发现OOD Mini-Batches的激活手段一直偏离培训数据的培训数据。此外，培训数据的激活装置可以从批量归一化层作为“自由午餐”中有效地计算或从批量归一化层次上检索。基于该观察，我们提出了一种名为神经平均差异（NMD）的新型度量，其比较了输入示例和训练数据的神经手段。利用NMD的简单性，我们提出了一种有效的OOD探测器，通过标准转发通道来计算神经手段，然后是轻量级分类器。广泛的实验表明，在检测精度和计算成本方面，NMD跨越多个数据集和模型架构的最先进的操作。

Out-of-distribution (OOD) detection has attracted a large amount of attention from the machine learning research community in recent years due to its importance in deployed systems. Most of the previous studies focused on the detection of OOD samples in the multi-class classification task. However, OOD detection in the multi-label classification task remains an underexplored domain. In this research, we propose YolOOD - a method that utilizes concepts from the object detection domain to perform OOD detection in the multi-label classification task. Object detection models have an inherent ability to distinguish between objects of interest (in-distribution) and irrelevant objects (e.g., OOD objects) on images that contain multiple objects from different categories. These abilities allow us to convert a regular object detection model into an image classifier with inherent OOD detection capabilities with just minor changes. We compare our approach to state-of-the-art OOD detection methods and demonstrate YolOOD's ability to outperform these methods on a comprehensive suite of in-distribution and OOD benchmark datasets.

图像分类中的严重问题是培训的模型可能对输入数据表现良好，该输入数据源自与用于模型培训的数据相同的分布，但对于分销超出（OOD）样本而言更加差。在真实的安全关键应用中，特别是如果新的数据点是ood的新数据点，重要的是要注意。迄今为止，通常使用置信分数，基于自动编码器的重建或对比学习来解决OOD检测。但是，尚未探索全局图像上下文以区分在分布和OOD样本之间的非局部对象。本文提出了一种名为OOODFORMER的首次检测架构，该架构利用变压器的上下文化功能。作为主要特征提取器的跨\ --former允许我们利用对象概念及其区分属性以及通过可视注意的共同发生。使用上下文化的嵌入，我们使用阶级条件潜伏空间相似性和网络置信度分数展示了OOD检测。我们的方法显示了各种数据集的完全普遍性。我们在CiFar-10 / -100和Imagenet30上取得了新的最先进的结果。

许多高性能作品在分布外（OOD）检测方面使用真实或合成生成的异常数据来正式化模型置信度；但是，它们通常需要重新培训基本网络或专门的模型体系结构。我们的作品表明，嘈杂的嵌入式在OOD对象​​检测的挑战领域中使异常值（Nimgo）成为了很大的异常值。我们假设合成异常值只需要最小化分布（ID）数据的扰动变体即可训练一个歧视器以识别OOD样本 - 而无需昂贵的基本网络重新培训。为了检验我们的假设，我们通过在图像或边界盒级别上应用添加剂噪声扰动来生成一个合成的离群值。然后，对辅助功能监视多层感知器（MLP）进行训练，以使用扰动的ID样品作为代理来检测OOD特征表示。在测试过程中，我们证明辅助MLP将ID样品与最新水平的OOD样品区分开在OpenImages数据集中。广泛的额外消融提供了支持我们假设的经验证据。

分布（OOD）检测对于确保机器学习系统的可靠性和安全性至关重要。例如，在自动驾驶中，我们希望驾驶系统在发现在训练时间中从未见过的异常​​场景或对象时，发出警报并将控件移交给人类，并且无法做出安全的决定。该术语《 OOD检测》于2017年首次出现，此后引起了研究界的越来越多的关注，从而导致了大量开发的方法，从基于分类到基于密度到基于距离的方法。同时，其他几个问题，包括异常检测（AD），新颖性检测（ND），开放式识别（OSR）和离群检测（OD）（OD），在动机和方法方面与OOD检测密切相关。尽管有共同的目标，但这些主题是孤立发展的，它们在定义和问题设定方面的细微差异通常会使读者和从业者感到困惑。在这项调查中，我们首先提出一个称为广义OOD检测的统一框架，该框架涵盖了上述五个问题，即AD，ND，OSR，OOD检测和OD。在我们的框架下，这五个问题可以看作是特殊情况或子任务，并且更容易区分。然后，我们通过总结了他们最近的技术发展来审查这五个领域中的每一个，特别关注OOD检测方法。我们以公开挑战和潜在的研究方向结束了这项调查。

深度神经网络对各种任务取得了出色的性能，但它们具有重要问题：即使对于完全未知的样本，也有过度自信的预测。已经提出了许多研究来成功过滤出这些未知的样本，但它们仅考虑狭窄和特定的任务，称为错误分类检测，开放式识别或分布外检测。在这项工作中，我们认为这些任务应该被视为根本存在相同的问题，因为理想的模型应该具有所有这些任务的检测能力。因此，我们介绍了未知的检测任务，以先前的单独任务的整合，用于严格检查深度神经网络对广谱的广泛未知样品的检测能力。为此，构建了不同尺度上的统一基准数据集，并且存在现有流行方法的未知检测能力进行比较。我们发现深度集合始终如一地优于检测未知的其他方法;但是，所有方法只针对特定类型的未知方式成功。可重复的代码和基准数据集可在https://github.com/daintlab/unknown-detection-benchmarks上获得。