Determining whether inputs are out-of-distribution (OOD) is an essential building block for safely deploying machine learning models in the open world. However, previous methods relying on the softmax confidence score suffer from overconfident posterior distributions for OOD data. We propose a unified framework for OOD detection that uses an energy score. We show that energy scores better distinguish in-and out-of-distribution samples than the traditional approach using the softmax scores. Unlike softmax confidence scores, energy scores are theoretically aligned with the probability density of the inputs and are less susceptible to the overconfidence issue. Within this framework, energy can be flexibly used as a scoring function for any pre-trained neural classifier as well as a trainable cost function to shape the energy surface explicitly for OOD detection. On a CIFAR-10 pre-trained WideResNet, using the energy score reduces the average FPR (at TPR 95%) by 18.03% compared to the softmax confidence score. With energy-based training, our method outperforms the state-of-the-art on common benchmarks.

检测到分布输入对于在现实世界中安全部署机器学习模型至关重要。然而，已知神经网络遭受过度自信的问题，在该问题中，它们对分布和分布的输入的信心异常高。在这项工作中，我们表明，可以通过在训练中实施恒定的向量规范来通过logit归一化（logitnorm）（logitnorm）来缓解此问题。我们的方法是通过分析的激励，即logit的规范在训练过程中不断增加，从而导致过度自信的产出。因此，LogitNorm背后的关键思想是将网络优化期间输出规范的影响解散。通过LogitNorm培训，神经网络在分布数据和分布数据之间产生高度可区分的置信度得分。广泛的实验证明了LogitNorm的优势，在公共基准上，平均FPR95最高为42.30％。

由于其实际重要性，在提高神经网络安全部署方面的实际重要性，最近经济分配（OOD）检测最近受到了很大的关注。其中一个主要挑战是模型往往会对OOD数据产生高度自信的预测，这在ood检测中破坏了驾驶原理，即该模型应该仅对分布式样品充满信心。在这项工作中，我们提出了反应 - 一种简单有效的技术，用于减少对数据数据的模型过度限制。我们的方法是通过关于神经网络内部激活的新型分析，其为OOD分布显示出高度独特的签名模式。我们的方法可以有效地拓展到不同的网络架构和不同的OOD检测分数。我们经验证明，反应在全面的基准数据集套件上实现了竞争检测性能，并为我们的方法进行了理论解释。与以前的最佳方法相比，在ImageNet基准测试中，反应将假阳性率（FPR95）降低25.05％。

在现实世界中的视觉应用中检测分布（OOD）样本（例如分类或对象检测）已成为当今深度学习系统部署的必要前提。已经提出了许多技术，其中已证明基于能量的OOD方法是有希望和令人印象深刻的性能。我们提出了基于语义驱动的能量方法，这是一种端到端的可训练系统，易于优化。我们将分布样品与能量评分和表示分数结合的外部分布样品区分开。我们通过最大程度地降低分布样品的能量来实现这一目标，并同时学习各自的类表征，这些类别更接近和最大化能量以供外分发样品，并将其从已知的类表征进一步推出。此外，我们提出了一种新颖的损失功能，我们称之为群集局灶性损失（CFL），事实证明这很简单，但在学习更好的班级群集中心表示方面非常有效。我们发现，我们的新方法可以增强异常检测，并在共同基准上获得基于能量的模型。与现有基于能量的方法相比，在CIFAR-10和CIFAR-100训练的WideSnet上，我们的模型分别将相对平均假正（以95％的真实正率为95％）降低67.2％和57.4％。此外，我们扩展了对象检测的框架并提高了性能。

在值得信赖的机器学习中，这是一个重要的问题，可以识别与分配任务无关的输入的分布（OOD）输入。近年来，已经提出了许多分布式检测方法。本文的目的是识别共同的目标以及确定不同OOD检测方法的隐式评分函数。我们专注于在培训期间使用替代OOD数据的方法，以学习在测试时概括为新的未见外部分布的OOD检测分数。我们表明，内部和（不同）外部分布之间的二元歧视等同于OOD检测问题的几种不同的公式。当与标准分类器以共同的方式接受培训时，该二进制判别器达到了类似于离群暴露的OOD检测性能。此外，我们表明，异常暴露所使用的置信损失具有隐式评分函数，在训练和测试外部分配相同的情况下，以非平凡的方式与理论上最佳评分功能有所不同，这又是类似于训练基于能量的OOD检测器或添加背景类时使用的一种。在实践中，当以完全相同的方式培训时，所有这些方法的性能类似。

分销（OOD）检测对于在现实世界中部署机器学习模型是重要的，其中来自移位分布的测试数据可以自然地出现。虽然最近出现了何种算法方法，但何种算法检测，临界差距仍然存在理论上。在这项工作中，我们开发了一个分析框架，其特征，并统一了对OOD检测的理论理解。我们的分析框架激励了一种新颖的电子网络，创业板的检测方法，展示了理论和经验的优势。特别是，在CIFAR-100作为分布数据中，我们的方法优于竞争性基线16.57％（FPR95）。最后，我们正式提供可证明的保证和对我们的方法进行全面分析，支撑数据分布的各种性能如何影响OOD检测的性能。

检测分配（OOD）输入对于安全部署现实世界的深度学习模型至关重要。在评估良性分布和OOD样品时，检测OOD示例的现有方法很好。然而，在本文中，我们表明，当在分发的分布和OOD输入时，现有的检测机制可以极其脆弱，其具有最小的对抗扰动，这不会改变其语义。正式地，我们广泛地研究了对共同的检测方法的强大分布检测问题，并表明最先进的OOD探测器可以通过对分布和ood投入增加小扰动来容易地欺骗。为了抵消这些威胁，我们提出了一种称为芦荟的有效算法，它通过将模型暴露于对抗性inlier和异常值示例来执行鲁棒训练。我们的方法可以灵活地结合使用，并使现有方法稳健。在共同的基准数据集上，我们表明芦荟大大提高了最新的ood检测的稳健性，对CiFar-10和46.59％的CiFar-100改善了58.4％的Auroc改善。

在编程中，学习代码表示有各种应用程序，包括代码分类，代码搜索，注释生成，错误预测等。已经提出了在令牌，语法树，依赖图，代码导航路径或其变体组合方面的各种代码表示，但是，现有的vanilla学习技术具有鲁棒性的主要限制，即，型号很容易当输入以微妙的方式改变输入时，要进行错误的预测。为了增强稳健性，现有方法专注于识别对抗性样本，而不是在落在给定分布之外的有效样品上，我们将其称为分配（OOD）样本。识别出这样的ood样本是本文研究的新问题。为此，我们建议首先使用分发的样本进行in =分发数据集，使得当培训在一起时，它们将增强模型的鲁棒性。我们建议使用能量有界学习的目标函数来将更高的分数分配给分布式样本和较低的分数，以便将这种分布式样品纳入源的培训过程中代码模型。在检测和逆势样本检测方面，我们的评估结果表明，现有源代码模型的稳健性更加准确，在识别ood数据时，同时在同时对对抗性攻击更具抵抗力。此外，所提出的能量有限评分优于大幅的余量，包括Softmax置信度评分，Mahalanobis评分和Odin。

对于在开放世界中部署的机器学习模型是必不可少的。最近，在训练期间（也称为离群暴露）在训练期间使用辅助外离群值数据集已显示出令人鼓舞的性能。由于潜在的OOD数据的样本空间可能是过大的，因此进行抽样信息的异常值至关重要。在这项工作中，我们提出了一种新型的基于后取样的离群矿井诗歌诗，该诗歌有助于有效利用异常数据，并促进了ID和OOD数据之间的紧凑决策边界，以改善检测。我们表明，诗在普通基准上建立了最先进的表现。与当前使用贪婪采样策略的最佳方法相比，诗在CIFAR-10和CIFAR-100上分别提高了相对性能的42.0％和24.2％（FPR95）。我们进一步提供了有关诗歌检测有效性的理论见解。

It is important to detect anomalous inputs when deploying machine learning systems. The use of larger and more complex inputs in deep learning magnifies the difficulty of distinguishing between anomalous and in-distribution examples. At the same time, diverse image and text data are available in enormous quantities. We propose leveraging these data to improve deep anomaly detection by training anomaly detectors against an auxiliary dataset of outliers, an approach we call Outlier Exposure (OE). This enables anomaly detectors to generalize and detect unseen anomalies. In extensive experiments on natural language processing and small-and large-scale vision tasks, we find that Outlier Exposure significantly improves detection performance. We also observe that cutting-edge generative models trained on CIFAR-10 may assign higher likelihoods to SVHN images than to CIFAR-10 images; we use OE to mitigate this issue. We also analyze the flexibility and robustness of Outlier Exposure, and identify characteristics of the auxiliary dataset that improve performance.

检测分销（OOD）输入是安全部署现实世界中的机器学习模型的中央挑战。以前的方法通常依赖于从过度分辨率的重量空间衍生的评分，同时在很大程度上忽略了稀疏的作用。在本文中，我们揭示了重要的见解，即依赖对不重要的权重和单位可以直接归因于“ood检测的脆性”。为了减轻这个问题，我们提出了一个基于稀疏的oo ood检测框架被称为骰子。我们的关键思想是基于贡献的衡量标准进行排序，并选择性地使用最突出的重量来导出OOD检测的输出。我们提供了实证和理论洞察力，表征和解释了骰子改善的机制。通过修剪嘈杂的信号，骰子可否降低OOD数据的输出方差，从而导致输出分布和更强的ID数据可分离。骰子表现出色，与先前的最佳方法相比，将FPR95减少至多24.69％。

尽管具有明显的区分靶向分布样本的能力，但深度神经网络在检测异常分布数据方面的性能差。为了解决此缺陷，最先进的解决方案选择在离群值的辅助数据集上训练深网。这些辅助离群值的各种培训标准是根据启发式直觉提出的。但是，我们发现这些直观设计的离群训练标准可能会损害分布学习，并最终导致劣等的表现。为此，我们确定了分布不兼容的三个原因：矛盾的梯度，错误的可能性和分布变化。基于我们的新理解，我们通过调整深层模型和损耗函数的顶级设计，提出一种新的分布检测方法。我们的方法通过减少对分布特征的概率特征的干扰来实现分布兼容性。在几个基准上，我们的方法不仅可以实现最新的分布检测性能，而且还提高了分布精度。

分布（OOD）检测对于部署在野外的机器学习模型很重要。最近的方法使用辅助分离器数据将模型正规化以改进OOD检测。但是，这些方法是一个有力的分布假设，即辅助离群数据与分布（ID）数据完全可分离。在本文中，我们提出了一个利用野生混合数据的新型框架，该框架自然由ID和OOD样品组成。这样的野生数据很丰富，并且在将机器学习分类器部署在自然栖息地中时自由出现。我们的关键思想是制定一个约束的优化问题，并展示如何批准解决问题。我们的学习目标使OOD检测率最大化，但要受到ID数据的分类错误和ID示例的OOD错误率的限制。我们广泛评估了我们对常见的OOD检测任务的方法，并证明了卓越的性能。

检测到分布（OOD）样本对于在现实世界中的分类器的安全部署至关重要。但是，已知深层神经网络对异常数据过于自信。现有作品直接设计得分功能，通过挖掘分别分类器（ID）和OOD的不一致性。在本文中，我们基于以下假设，即对ID数据进行训练的自动编码器无法重建OOD和ID，我们进一步补充了这种不一致性。我们提出了一种新颖的方法，读取（重建误差聚合检测器），以统一分类器和自动编码器的不一致。具体而言，原始像素的重建误差转换为分类器的潜在空间。我们表明，转换后的重建误差桥接了语义差距，并从原始的传承了检测性能。此外，我们提出了一种调整策略，以根据OOD数据的细粒度表征来减轻自动编码器的过度自信问题。在两种情况下，我们分别提出了方法的两个变体，即仅基于预先训练的分类器和读取 - 读取器（欧几里得距离），即读取MD（Mahalanobis距离），该分类器重新训练分类器。我们的方法不需要访问测试时间数据以进行微调超参数。最后，我们通过与最先进的OOD检测算法进行了广泛的比较来证明所提出的方法的有效性。在CIFAR-10预先训练的WideresNet上，我们的方法将平均FPR@95TPR降低了9.8％，而不是先前的最新ART。

本文我们的目标是利用异质的温度缩放作为校准策略（OOD）检测。此处的异质性是指每个样品的最佳温度参数可能不同，而不是传统的方法对整个分布使用相同的值。为了实现这一目标，我们提出了一种称为锚定的新培训策略，可以估算每个样品的适当温度值，从而导致几个基准的最新OOD检测性能。使用NTK理论，我们表明该温度函数估计与分类器的认知不确定性紧密相关，这解释了其行为。与某些表现最佳的OOD检测方法相反，我们的方法不需要暴露于其他离群数据集，自定义校准目标或模型结合。通过具有不同OOD检测设置的经验研究 - 远处，OOD附近和语义相干OOD - 我们建立了一种高效的OOD检测方法。可以在此处访问代码和模型-https：//github.com/rushilanirudh/amp

Deep neural networks have attained remarkable performance when applied to data that comes from the same distribution as that of the training set, but can significantly degrade otherwise. Therefore, detecting whether an example is out-of-distribution (OoD) is crucial to enable a system that can reject such samples or alert users. Recent works have made significant progress on OoD benchmarks consisting of small image datasets. However, many recent methods based on neural networks rely on training or tuning with both in-distribution and out-of-distribution data. The latter is generally hard to define a-priori, and its selection can easily bias the learning. We base our work on a popular method ODIN 1 [21], proposing two strategies for freeing it from the needs of tuning with OoD data, while improving its OoD detection performance. We specifically propose to decompose confidence scoring as well as a modified input pre-processing method. We show that both of these significantly help in detection performance. Our further analysis on a larger scale image dataset shows that the two types of distribution shifts, specifically semantic shift and non-semantic shift, present a significant difference in the difficulty of the problem, providing an analysis of when ODIN-like strategies do or do not work.

分布（OOD）检测对于确保机器学习系统的可靠性和安全性至关重要。例如，在自动驾驶中，我们希望驾驶系统在发现在训练时间中从未见过的异常​​场景或对象时，发出警报并将控件移交给人类，并且无法做出安全的决定。该术语《 OOD检测》于2017年首次出现，此后引起了研究界的越来越多的关注，从而导致了大量开发的方法，从基于分类到基于密度到基于距离的方法。同时，其他几个问题，包括异常检测（AD），新颖性检测（ND），开放式识别（OSR）和离群检测（OD）（OD），在动机和方法方面与OOD检测密切相关。尽管有共同的目标，但这些主题是孤立发展的，它们在定义和问题设定方面的细微差异通常会使读者和从业者感到困惑。在这项调查中，我们首先提出一个称为广义OOD检测的统一框架，该框架涵盖了上述五个问题，即AD，ND，OSR，OOD检测和OD。在我们的框架下，这五个问题可以看作是特殊情况或子任务，并且更容易区分。然后，我们通过总结了他们最近的技术发展来审查这五个领域中的每一个，特别关注OOD检测方法。我们以公开挑战和潜在的研究方向结束了这项调查。

检测到分布（OOD）数据是一项任务，它正在接受计算机视觉的深度学习领域越来越多的研究注意力。但是，通常在隔离任务上评估检测方法的性能，而不是考虑串联中的潜在下游任务。在这项工作中，我们检查了存在OOD数据（SCOD）的选择性分类。也就是说，检测OOD样本的动机是拒绝它们，以便降低它们对预测质量的影响。我们在此任务规范下表明，与仅在OOD检测时进行评估时，现有的事后方法的性能大不相同。这是因为如果ID数据被错误分类，将分布分配（ID）数据与OOD数据混合在一起的问题不再是一个问题。但是，正确和不正确的预测的ID数据中的汇合变得不受欢迎。我们还提出了一种新颖的SCOD，SoftMax信息保留（SIRC）的方法，该方法通过功能不足信息来增强基于软疗法的置信度得分，以便在不牺牲正确和错误的ID预测之间的分离的情况下，可以提高其识别OOD样品的能力。在各种成像网尺度数据集和卷积神经网络体系结构上进行的实验表明，SIRC能够始终如一地匹配或胜过SCOD的基线，而现有的OOD检测方法则无法做到。

分布（OOD）检测是在开放世界中部署机器学习模型的关键任务。基于距离的方法已经证明了有望，如果测试样品离分布（ID）数据相对遥远，则将测试样品视为OOD。但是，先前的方法对基础特征空间施加了强有力的分布假设，这可能并不总是存在。在本文中，我们探讨了非参数最近邻居距离的疗效，以检测OOD，这在文献中很大程度上被忽略了。与先前的工作不同，我们的方法不会施加任何分布假设，因此提供了更强的灵活性和一般性。我们证明了在几个基准测试中基于邻元的OOD检测的有效性，并建立了卓越的性能。在对Imagenet-1K训练的同一模型下，我们的方法将假阳性率（FPR@tpr95）降低了24.77％，与强大的基线SSD+相比，使用参数方法Mahalanobis在检测中。可用代码：https：//github.com/deeplearning-wisc/knn-ood。

机器学习模型通常会遇到与训练分布不同的样本。无法识别分布（OOD）样本，因此将该样本分配给课堂标签会显着损害模​​型的可靠性。由于其对在开放世界中的安全部署模型的重要性，该问题引起了重大关注。由于对所有可能的未知分布进行建模的棘手性，检测OOD样品是具有挑战性的。迄今为止，一些研究领域解决了检测陌生样本的问题，包括异常检测，新颖性检测，一级学习，开放式识别识别和分布外检测。尽管有相似和共同的概念，但分别分布，开放式检测和异常检测已被独立研究。因此，这些研究途径尚未交叉授粉，创造了研究障碍。尽管某些调查打算概述这些方法，但它们似乎仅关注特定领域，而无需检查不同领域之间的关系。这项调查旨在在确定其共同点的同时，对各个领域的众多著名作品进行跨域和全面的审查。研究人员可以从不同领域的研究进展概述中受益，并协同发展未来的方法。此外，据我们所知，虽然进行异常检测或单级学习进行了调查，但没有关于分布外检测的全面或最新的调查，我们的调查可广泛涵盖。最后，有了统一的跨域视角，我们讨论并阐明了未来的研究线，打算将这些领域更加紧密地融为一体。