背景。通常，深度神经网络（DNN）概括了从类似于训练集的分布的样本概括。然而，当测试样本从不同的分布中抽出时，DNNS的预测是脆性和不可靠的。这是在现实世界应用中部署的主要关注点，这种行为可能以相当大的成本，例如工业生产线，自治车辆或医疗保健应用。贡献。我们将DNN中的分布（OOD）检测出来作为统计假设检测问题。在我们所提出的框架内产生的测试将证据组合来自整个网络。与以前的检测启发式不同，此框架返回每个测试样本的$ p $ -value。有保证维护I型错误（T1E - 错误地识别OOD样本为ID）进行测试数据。此外，这允许在保持T1E的同时组合多个检测器。在此框架上建立，我们建议一种基于低阶统计数据的新型程序。我们的方法在不接受的EOD基准上的最新方法实现了比较或更好的结果，而无需再培训网络参数或假设测试分配的现有知识 - 并且以计算成本的一小部分。

我们研究了分布外（OOD）检测的问题，也就是说，检测学习算法的输出是否可以在推理时间得到信任。尽管已经在先前的工作中提出了许多OOD检测的测试，但缺乏研究此问题的正式框架。我们提出了一个关于OOD概念的定义，其中包括输入分布和学习算法，该算法为构建强大的OOD检测测试提供了见解。我们提出了一个多个假设测试的启发程序，以系统地结合学习算法的任何数量的不同统计数据，使用保形p值。我们进一步为将分配样本分类为OOD的概率提供了强有力的保证。在我们的实验中，我们发现在先前工作中提出的基于阈值的测试在特定的设置中表现良好，但在不同类型的OOD实例中并不均匀。相比之下，我们提出的方法结合了多个统计数据在不同的数据集和神经网络中表现出色。

已知现代深度神经网络模型将错误地将分布式（OOD）测试数据分类为具有很高信心的分数（ID）培训课程之一。这可能会对关键安全应用产生灾难性的后果。一种流行的缓解策略是训练单独的分类器，该分类器可以在测试时间检测此类OOD样本。在大多数实际设置中，在火车时间尚不清楚OOD的示例，因此，一个关键问题是：如何使用合成OOD样品来增加ID数据以训练这样的OOD检测器？在本文中，我们为称为CNC的OOD数据增强提出了一种新颖的复合腐败技术。 CNC的主要优点之一是，除了培训集外，它不需要任何固定数据。此外，与当前的最新技术（SOTA）技术不同，CNC不需要在测试时间进行反向传播或结合，从而使我们的方法在推断时更快。我们与过去4年中主要会议的20种方法进行了广泛的比较，表明，在OOD检测准确性和推理时间方面，使用基于CNC的数据增强训练的模型都胜过SOTA。我们包括详细的事后分析，以研究我们方法成功的原因，并确定CNC样本的较高相对熵和多样性是可能的原因。我们还通过对二维数据集进行零件分解分析提供理论见解，以揭示（视觉和定量），我们的方法导致ID类别周围的边界更紧密，从而更好地检测了OOD样品。源代码链接：https：//github.com/cnc-ood

本文我们的目标是利用异质的温度缩放作为校准策略（OOD）检测。此处的异质性是指每个样品的最佳温度参数可能不同，而不是传统的方法对整个分布使用相同的值。为了实现这一目标，我们提出了一种称为锚定的新培训策略，可以估算每个样品的适当温度值，从而导致几个基准的最新OOD检测性能。使用NTK理论，我们表明该温度函数估计与分类器的认知不确定性紧密相关，这解释了其行为。与某些表现最佳的OOD检测方法相反，我们的方法不需要暴露于其他离群数据集，自定义校准目标或模型结合。通过具有不同OOD检测设置的经验研究 - 远处，OOD附近和语义相干OOD - 我们建立了一种高效的OOD检测方法。可以在此处访问代码和模型-https：//github.com/rushilanirudh/amp

缺乏精心校准的置信度估计值使神经网络在安全至关重要的领域（例如自动驾驶或医疗保健）中不足。在这些设置中，有能力放弃对分布（OOD）数据进行预测的能力，就像正确分类分布数据一样重要。我们介绍了$ P $ -DKNN，这是一种新颖的推理程序，该过程采用了经过训练的深神经网络，并分析了其中间隐藏表示形式的相似性结构，以计算与端到端模型预测相关的$ p $值。直觉是，在潜在表示方面执行的统计测试不仅可以用作分类器，还可以提供统计上有充分根据的不确定性估计。 $ P $ -DKNN是可扩展的，并利用隐藏层学到的表示形式的组成，这使深度表示学习成功。我们的理论分析基于Neyman-Pearson的分类，并将其与选择性分类的最新进展（拒绝选项）联系起来。我们证明了在放弃预测OOD输入和保持分布输入的高精度之间的有利权衡。我们发现，$ p $ -DKNN强迫自适应攻击者制作对抗性示例（一种最差的OOD输入形式），以对输入引入语义上有意义的更改。

Detecting test samples drawn sufficiently far away from the training distribution statistically or adversarially is a fundamental requirement for deploying a good classifier in many real-world machine learning applications. However, deep neural networks with the softmax classifier are known to produce highly overconfident posterior distributions even for such abnormal samples. In this paper, we propose a simple yet effective method for detecting any abnormal samples, which is applicable to any pre-trained softmax neural classifier. We obtain the class conditional Gaussian distributions with respect to (low-and upper-level) features of the deep models under Gaussian discriminant analysis, which result in a confidence score based on the Mahalanobis distance. While most prior methods have been evaluated for detecting either out-of-distribution or adversarial samples, but not both, the proposed method achieves the state-of-the-art performances for both cases in our experiments. Moreover, we found that our proposed method is more robust in harsh cases, e.g., when the training dataset has noisy labels or small number of samples. Finally, we show that the proposed method enjoys broader usage by applying it to class-incremental learning: whenever out-of-distribution samples are detected, our classification rule can incorporate new classes well without further training deep models.

通过增强模型，输入示例，培训集和优化目标，已经提出了各种方法进行分发（OOD）检测。偏离现有工作，我们有一个简单的假设，即标准的离心模型可能已经包含有关训练集分布的足够信息，这可以利用可靠的ood检测。我们对验证这一假设的实证研究，该假设测量了模型激活的模型和分布（ID）迷你批次，发现OOD Mini-Batches的激活手段一直偏离培训数据的培训数据。此外，培训数据的激活装置可以从批量归一化层作为“自由午餐”中有效地计算或从批量归一化层次上检索。基于该观察，我们提出了一种名为神经平均差异（NMD）的新型度量，其比较了输入示例和训练数据的神经手段。利用NMD的简单性，我们提出了一种有效的OOD探测器，通过标准转发通道来计算神经手段，然后是轻量级分类器。广泛的实验表明，在检测精度和计算成本方面，NMD跨越多个数据集和模型架构的最先进的操作。

在值得信赖的机器学习中，这是一个重要的问题，可以识别与分配任务无关的输入的分布（OOD）输入。近年来，已经提出了许多分布式检测方法。本文的目的是识别共同的目标以及确定不同OOD检测方法的隐式评分函数。我们专注于在培训期间使用替代OOD数据的方法，以学习在测试时概括为新的未见外部分布的OOD检测分数。我们表明，内部和（不同）外部分布之间的二元歧视等同于OOD检测问题的几种不同的公式。当与标准分类器以共同的方式接受培训时，该二进制判别器达到了类似于离群暴露的OOD检测性能。此外，我们表明，异常暴露所使用的置信损失具有隐式评分函数，在训练和测试外部分配相同的情况下，以非平凡的方式与理论上最佳评分功能有所不同，这又是类似于训练基于能量的OOD检测器或添加背景类时使用的一种。在实践中，当以完全相同的方式培训时，所有这些方法的性能类似。

Out-of-Distribution (OOD) detection, i.e., identifying whether an input is sampled from a novel distribution other than the training distribution, is a critical task for safely deploying machine learning systems in the open world. Recently, post hoc detection utilizing pre-trained models has shown promising performance and can be scaled to large-scale problems. This advance raises a natural question: Can we leverage the diversity of multiple pre-trained models to improve the performance of post hoc detection methods? In this work, we propose a detection enhancement method by ensembling multiple detection decisions derived from a zoo of pre-trained models. Our approach uses the p-value instead of the commonly used hard threshold and leverages a fundamental framework of multiple hypothesis testing to control the true positive rate of In-Distribution (ID) data. We focus on the usage of model zoos and provide systematic empirical comparisons with current state-of-the-art methods on various OOD detection benchmarks. The proposed ensemble scheme shows consistent improvement compared to single-model detectors and significantly outperforms the current competitive methods. Our method substantially improves the relative performance by 65.40% and 26.96% on the CIFAR10 and ImageNet benchmarks.

The ability to quickly and accurately identify covariate shift at test time is a critical and often overlooked component of safe machine learning systems deployed in high-risk domains. While methods exist for detecting when predictions should not be made on out-of-distribution test examples, identifying distributional level differences between training and test time can help determine when a model should be removed from the deployment setting and retrained. In this work, we define harmful covariate shift (HCS) as a change in distribution that may weaken the generalization of a predictive model. To detect HCS, we use the discordance between an ensemble of classifiers trained to agree on training data and disagree on test data. We derive a loss function for training this ensemble and show that the disagreement rate and entropy represent powerful discriminative statistics for HCS. Empirically, we demonstrate the ability of our method to detect harmful covariate shift with statistical certainty on a variety of high-dimensional datasets. Across numerous domains and modalities, we show state-of-the-art performance compared to existing methods, particularly when the number of observed test samples is small.

开放式识别使深度神经网络（DNN）能够识别未知类别的样本，同时在已知类别的样本上保持高分类精度。基于自动编码器（AE）和原型学习的现有方法在处理这项具有挑战性的任务方面具有巨大的潜力。在这项研究中，我们提出了一种新的方法，称为类别特定的语义重建（CSSR），该方法整合了AE和原型学习的力量。具体而言，CSSR用特定于类的AE表示的歧管替代了原型点。与传统的基于原型的方法不同，CSSR在单个AE歧管上的每个已知类模型，并通过AE的重建误差来测量类归属感。特定于类的AE被插入DNN主链的顶部，并重建DNN而不是原始图像所学的语义表示。通过端到端的学习，DNN和AES互相促进，以学习歧视性和代表性信息。在多个数据集上进行的实验结果表明，所提出的方法在封闭式和开放式识别中都达到了出色的性能，并且非常简单且灵活地将其纳入现有框架中。

Accurate uncertainty quantification is a major challenge in deep learning, as neural networks can make overconfident errors and assign high confidence predictions to out-of-distribution (OOD) inputs. The most popular approaches to estimate predictive uncertainty in deep learning are methods that combine predictions from multiple neural networks, such as Bayesian neural networks (BNNs) and deep ensembles. However their practicality in real-time, industrial-scale applications are limited due to the high memory and computational cost. Furthermore, ensembles and BNNs do not necessarily fix all the issues with the underlying member networks. In this work, we study principled approaches to improve uncertainty property of a single network, based on a single, deterministic representation. By formalizing the uncertainty quantification as a minimax learning problem, we first identify distance awareness, i.e., the model's ability to quantify the distance of a testing example from the training data, as a necessary condition for a DNN to achieve high-quality (i.e., minimax optimal) uncertainty estimation. We then propose Spectral-normalized Neural Gaussian Process (SNGP), a simple method that improves the distance-awareness ability of modern DNNs with two simple changes: (1) applying spectral normalization to hidden weights to enforce bi-Lipschitz smoothness in representations and (2) replacing the last output layer with a Gaussian process layer. On a suite of vision and language understanding benchmarks, SNGP outperforms other single-model approaches in prediction, calibration and out-of-domain detection. Furthermore, SNGP provides complementary benefits to popular techniques such as deep ensembles and data augmentation, making it a simple and scalable building block for probabilistic deep learning. Code is open-sourced at https://github.com/google/uncertainty-baselines

异常检测任务在AI安全中起着至关重要的作用。处理这项任务存在巨大的挑战。观察结果表明，深度神经网络分类器通常倾向于以高信心将分布（OOD）输入分为分配类别。现有的工作试图通过在培训期间向分类器暴露于分类器时明确对分类器施加不确定性来解决问题。在本文中，我们提出了一种替代概率范式，该范式实际上对OOD检测任务既有用，又可行。特别是，我们在培训过程中施加了近距离和离群数据之间的统计独立性，以确保inlier数据在培训期间向深度估计器显示有关OOD数据的信息很少。具体而言，我们通过Hilbert-Schmidt独立标准（HSIC）估算了Inlier和离群数据之间的统计依赖性，并在培训期间对此类度量进行了惩罚。我们还将方法与推理期间的新型统计测试相关联，加上我们的原则动机。经验结果表明，我们的方法对各种基准测试的OOD检测是有效且可靠的。与SOTA模型相比，我们的方法在FPR95，AUROC和AUPR指标方面取得了重大改进。代码可用：\ url {https://github.com/jylins/hone}。

机器学习模型通常会遇到与训练分布不同的样本。无法识别分布（OOD）样本，因此将该样本分配给课堂标签会显着损害模​​型的可靠性。由于其对在开放世界中的安全部署模型的重要性，该问题引起了重大关注。由于对所有可能的未知分布进行建模的棘手性，检测OOD样品是具有挑战性的。迄今为止，一些研究领域解决了检测陌生样本的问题，包括异常检测，新颖性检测，一级学习，开放式识别识别和分布外检测。尽管有相似和共同的概念，但分别分布，开放式检测和异常检测已被独立研究。因此，这些研究途径尚未交叉授粉，创造了研究障碍。尽管某些调查打算概述这些方法，但它们似乎仅关注特定领域，而无需检查不同领域之间的关系。这项调查旨在在确定其共同点的同时，对各个领域的众多著名作品进行跨域和全面的审查。研究人员可以从不同领域的研究进展概述中受益，并协同发展未来的方法。此外，据我们所知，虽然进行异常检测或单级学习进行了调查，但没有关于分布外检测的全面或最新的调查，我们的调查可广泛涵盖。最后，有了统一的跨域视角，我们讨论并阐明了未来的研究线，打算将这些领域更加紧密地融为一体。

我们引入强大的想法，从超比计算到有挑战性领域的分布外（OOD）检测。与基于单个神经网络的单层执行的大多数现有的工作相比，我们使用相似性的半正交投影矩阵来将来自多个层的特征映射投影成公共矢量空间。通过反复应用捆绑操作$ \ oplus $，我们为所有分布类创建特定于特定于特定于特定的描述符向量。在测试时间时，描述符矢量之间的简单高效的余弦相似性计算一致地识别具有比当前最先进的性能更好的ood样本。我们表明，多维网络层的超级融合对于实现最佳的普遍表现至关重要。

检测分销（OOD）输入是安全部署现实世界中的机器学习模型的中央挑战。以前的方法通常依赖于从过度分辨率的重量空间衍生的评分，同时在很大程度上忽略了稀疏的作用。在本文中，我们揭示了重要的见解，即依赖对不重要的权重和单位可以直接归因于“ood检测的脆性”。为了减轻这个问题，我们提出了一个基于稀疏的oo ood检测框架被称为骰子。我们的关键思想是基于贡献的衡量标准进行排序，并选择性地使用最突出的重量来导出OOD检测的输出。我们提供了实证和理论洞察力，表征和解释了骰子改善的机制。通过修剪嘈杂的信号，骰子可否降低OOD数据的输出方差，从而导致输出分布和更强的ID数据可分离。骰子表现出色，与先前的最佳方法相比，将FPR95减少至多24.69％。

分布（OOD）检测对于确保机器学习系统的可靠性和安全性至关重要。例如，在自动驾驶中，我们希望驾驶系统在发现在训练时间中从未见过的异常​​场景或对象时，发出警报并将控件移交给人类，并且无法做出安全的决定。该术语《 OOD检测》于2017年首次出现，此后引起了研究界的越来越多的关注，从而导致了大量开发的方法，从基于分类到基于密度到基于距离的方法。同时，其他几个问题，包括异常检测（AD），新颖性检测（ND），开放式识别（OSR）和离群检测（OD）（OD），在动机和方法方面与OOD检测密切相关。尽管有共同的目标，但这些主题是孤立发展的，它们在定义和问题设定方面的细微差异通常会使读者和从业者感到困惑。在这项调查中，我们首先提出一个称为广义OOD检测的统一框架，该框架涵盖了上述五个问题，即AD，ND，OSR，OOD检测和OD。在我们的框架下，这五个问题可以看作是特殊情况或子任务，并且更容易区分。然后，我们通过总结了他们最近的技术发展来审查这五个领域中的每一个，特别关注OOD检测方法。我们以公开挑战和潜在的研究方向结束了这项调查。

我们考虑使用深度神经网络时检测到（分发外）输入数据的问题，并提出了一种简单但有效的方法来提高几种流行的ood检测方法对标签换档的鲁棒性。我们的作品是通过观察到的，即大多数现有的OOD检测算法考虑整个训练/测试数据，无论每个输入激活哪个类进入（级别差异）。通过广泛的实验，我们发现这种做法导致探测器，其性能敏感，易于标记换档。为了解决这个问题，我们提出了一种类别的阈值方案，可以适用于大多数现有的OOD检测算法，并且即使在测试分布的标签偏移存在下也可以保持相似的OOD检测性能。

检测分配（OOD）输入对于安全部署现实世界的深度学习模型至关重要。在评估良性分布和OOD样品时，检测OOD示例的现有方法很好。然而，在本文中，我们表明，当在分发的分布和OOD输入时，现有的检测机制可以极其脆弱，其具有最小的对抗扰动，这不会改变其语义。正式地，我们广泛地研究了对共同的检测方法的强大分布检测问题，并表明最先进的OOD探测器可以通过对分布和ood投入增加小扰动来容易地欺骗。为了抵消这些威胁，我们提出了一种称为芦荟的有效算法，它通过将模型暴露于对抗性inlier和异常值示例来执行鲁棒训练。我们的方法可以灵活地结合使用，并使现有方法稳健。在共同的基准数据集上，我们表明芦荟大大提高了最新的ood检测的稳健性，对CiFar-10和46.59％的CiFar-100改善了58.4％的Auroc改善。

诸如深神经网络（DNN）之类的机器学习方法，尽管他们在不同域中取得了成功，但是众所周知，通常在训练分布之外的输入上具有高信心产生不正确的预测。在安全关键域中的DNN部署需要检测分配超出（OOD）数据，以便DNN可以避免对那些人进行预测。最近已经开发了许多方法，以便检测，但仍有改进余地。我们提出了新的方法IdeCode，利用了用于共形OOD检测的分销标准。它依赖于在电感共形异常检测框架中使用的新基础非符合性测量和新的聚合方法，从而保证了有界误报率。我们通过在图像和音频数据集上的实验中展示了IDecode的功效，获得了最先进的结果。我们还表明Idecode可以检测对抗性示例。