超越在分销数据上的测试上，在分销（OOD）检测中最近的普及方式增加了。最近尝试分类OOD数据介绍了接近和远远检测的概念。具体而言，先前作品在检测难度方面定义了OOD数据的特征。我们建议使用两种类型的分布换档来表征ood数据的频谱：协变速和概念转移，其中协变速转移对应于样式的变化，例如噪声和概念移位表示语义的变化。该表征揭示了对每种类型的敏感性对OOD数据的检测和置信校准是重要的。因此，我们调查了捕获对改善它们的每种类型数据集偏移和方法的敏感性的得分功能。为此，我们从理论上得出了两个分数函数，用于ood检测，协变速分数和概念换档分数，基于对均分数的kl分解，并提出了一种几何启发方法（几何奥丁）来改善ood检测在两个班次下，只有分发数据。另外，所提出的方法自然地导致表现力的后HOC校准函数，其在分配和分发数据中产生最先进的校准性能。我们是第一个提出一种跨越检测和校准以及不同类型的班次工作的方法的方法。查看https://sites.google.com/view/geometric-decomposition的project页面。

众所周知，视觉分类模型在数据分布班面上遭受较差的校准。在本文中，我们对此问题采取了几何方法。我们提出几何灵敏度分解（GSD）将样本特征嵌入的标准分解为目标分类器的示例特征嵌入和角度相似度分解为依赖于实例和实例 - 独立的组件。实例相关组件捕获关于输入中的更改的敏感信息，而实例无关的组件仅表示仅用于最小化训练数据集的丢失的不敏感信息。灵感来自分解，我们分析了一个简单的扩展到当前的SoftMax-Linear模型，这在训练期间学会解开两个组件。在几种常见视觉模型上，脱谕式模型在面对配送（OOD）数据和腐败方面的标准校准度量上的其他校准方法表现出明显不那么复杂。具体而言，我们将当前技术超越30.8％的相对改善对预期校准误差的损坏的CIFAR100。代码在https://github.com/gt-ripl/geometric -sentivity-decomposition.git。

检测到分布输入对于在现实世界中安全部署机器学习模型至关重要。然而，已知神经网络遭受过度自信的问题，在该问题中，它们对分布和分布的输入的信心异常高。在这项工作中，我们表明，可以通过在训练中实施恒定的向量规范来通过logit归一化（logitnorm）（logitnorm）来缓解此问题。我们的方法是通过分析的激励，即logit的规范在训练过程中不断增加，从而导致过度自信的产出。因此，LogitNorm背后的关键思想是将网络优化期间输出规范的影响解散。通过LogitNorm培训，神经网络在分布数据和分布数据之间产生高度可区分的置信度得分。广泛的实验证明了LogitNorm的优势，在公共基准上，平均FPR95最高为42.30％。

Deep neural networks have attained remarkable performance when applied to data that comes from the same distribution as that of the training set, but can significantly degrade otherwise. Therefore, detecting whether an example is out-of-distribution (OoD) is crucial to enable a system that can reject such samples or alert users. Recent works have made significant progress on OoD benchmarks consisting of small image datasets. However, many recent methods based on neural networks rely on training or tuning with both in-distribution and out-of-distribution data. The latter is generally hard to define a-priori, and its selection can easily bias the learning. We base our work on a popular method ODIN 1 [21], proposing two strategies for freeing it from the needs of tuning with OoD data, while improving its OoD detection performance. We specifically propose to decompose confidence scoring as well as a modified input pre-processing method. We show that both of these significantly help in detection performance. Our further analysis on a larger scale image dataset shows that the two types of distribution shifts, specifically semantic shift and non-semantic shift, present a significant difference in the difficulty of the problem, providing an analysis of when ODIN-like strategies do or do not work.

本文我们的目标是利用异质的温度缩放作为校准策略（OOD）检测。此处的异质性是指每个样品的最佳温度参数可能不同，而不是传统的方法对整个分布使用相同的值。为了实现这一目标，我们提出了一种称为锚定的新培训策略，可以估算每个样品的适当温度值，从而导致几个基准的最新OOD检测性能。使用NTK理论，我们表明该温度函数估计与分类器的认知不确定性紧密相关，这解释了其行为。与某些表现最佳的OOD检测方法相反，我们的方法不需要暴露于其他离群数据集，自定义校准目标或模型结合。通过具有不同OOD检测设置的经验研究 - 远处，OOD附近和语义相干OOD - 我们建立了一种高效的OOD检测方法。可以在此处访问代码和模型-https：//github.com/rushilanirudh/amp

已知现代深度神经网络模型将错误地将分布式（OOD）测试数据分类为具有很高信心的分数（ID）培训课程之一。这可能会对关键安全应用产生灾难性的后果。一种流行的缓解策略是训练单独的分类器，该分类器可以在测试时间检测此类OOD样本。在大多数实际设置中，在火车时间尚不清楚OOD的示例，因此，一个关键问题是：如何使用合成OOD样品来增加ID数据以训练这样的OOD检测器？在本文中，我们为称为CNC的OOD数据增强提出了一种新颖的复合腐败技术。 CNC的主要优点之一是，除了培训集外，它不需要任何固定数据。此外，与当前的最新技术（SOTA）技术不同，CNC不需要在测试时间进行反向传播或结合，从而使我们的方法在推断时更快。我们与过去4年中主要会议的20种方法进行了广泛的比较，表明，在OOD检测准确性和推理时间方面，使用基于CNC的数据增强训练的模型都胜过SOTA。我们包括详细的事后分析，以研究我们方法成功的原因，并确定CNC样本的较高相对熵和多样性是可能的原因。我们还通过对二维数据集进行零件分解分析提供理论见解，以揭示（视觉和定量），我们的方法导致ID类别周围的边界更紧密，从而更好地检测了OOD样品。源代码链接：https：//github.com/cnc-ood

最近出现了一系列用于估计具有单个正向通行证的深神经网络中的认知不确定性的新方法，最近已成为贝叶斯神经网络的有效替代方法。在信息性表示的前提下，这些确定性不确定性方法（DUM）在检测到分布（OOD）数据的同时在推理时添加可忽略的计算成本时实现了强大的性能。但是，目前尚不清楚dums是否经过校准，可以无缝地扩展到现实世界的应用 - 这都是其实际部署的先决条件。为此，我们首先提供了DUMS的分类法，并在连续分配转移下评估其校准。然后，我们将它们扩展到语义分割。我们发现，尽管DUMS尺度到现实的视觉任务并在OOD检测方面表现良好，但当前方法的实用性受到分配变化下的校准不良而破坏的。

尽管具有明显的区分靶向分布样本的能力，但深度神经网络在检测异常分布数据方面的性能差。为了解决此缺陷，最先进的解决方案选择在离群值的辅助数据集上训练深网。这些辅助离群值的各种培训标准是根据启发式直觉提出的。但是，我们发现这些直观设计的离群训练标准可能会损害分布学习，并最终导致劣等的表现。为此，我们确定了分布不兼容的三个原因：矛盾的梯度，错误的可能性和分布变化。基于我们的新理解，我们通过调整深层模型和损耗函数的顶级设计，提出一种新的分布检测方法。我们的方法通过减少对分布特征的概率特征的干扰来实现分布兼容性。在几个基准上，我们的方法不仅可以实现最新的分布检测性能，而且还提高了分布精度。

Novelty detection, i.e., identifying whether a given sample is drawn from outside the training distribution, is essential for reliable machine learning. To this end, there have been many attempts at learning a representation well-suited for novelty detection and designing a score based on such representation. In this paper, we propose a simple, yet effective method named contrasting shifted instances (CSI), inspired by the recent success on contrastive learning of visual representations. Specifically, in addition to contrasting a given sample with other instances as in conventional contrastive learning methods, our training scheme contrasts the sample with distributionally-shifted augmentations of itself. Based on this, we propose a new detection score that is specific to the proposed training scheme. Our experiments demonstrate the superiority of our method under various novelty detection scenarios, including unlabeled one-class, unlabeled multi-class and labeled multi-class settings, with various image benchmark datasets. Code and pre-trained models are available at https://github.com/alinlab/CSI.

检测到分布（OOD）数据是一项任务，它正在接受计算机视觉的深度学习领域越来越多的研究注意力。但是，通常在隔离任务上评估检测方法的性能，而不是考虑串联中的潜在下游任务。在这项工作中，我们检查了存在OOD数据（SCOD）的选择性分类。也就是说，检测OOD样本的动机是拒绝它们，以便降低它们对预测质量的影响。我们在此任务规范下表明，与仅在OOD检测时进行评估时，现有的事后方法的性能大不相同。这是因为如果ID数据被错误分类，将分布分配（ID）数据与OOD数据混合在一起的问题不再是一个问题。但是，正确和不正确的预测的ID数据中的汇合变得不受欢迎。我们还提出了一种新颖的SCOD，SoftMax信息保留（SIRC）的方法，该方法通过功能不足信息来增强基于软疗法的置信度得分，以便在不牺牲正确和错误的ID预测之间的分离的情况下，可以提高其识别OOD样品的能力。在各种成像网尺度数据集和卷积神经网络体系结构上进行的实验表明，SIRC能够始终如一地匹配或胜过SCOD的基线，而现有的OOD检测方法则无法做到。

Accurate uncertainty quantification is a major challenge in deep learning, as neural networks can make overconfident errors and assign high confidence predictions to out-of-distribution (OOD) inputs. The most popular approaches to estimate predictive uncertainty in deep learning are methods that combine predictions from multiple neural networks, such as Bayesian neural networks (BNNs) and deep ensembles. However their practicality in real-time, industrial-scale applications are limited due to the high memory and computational cost. Furthermore, ensembles and BNNs do not necessarily fix all the issues with the underlying member networks. In this work, we study principled approaches to improve uncertainty property of a single network, based on a single, deterministic representation. By formalizing the uncertainty quantification as a minimax learning problem, we first identify distance awareness, i.e., the model's ability to quantify the distance of a testing example from the training data, as a necessary condition for a DNN to achieve high-quality (i.e., minimax optimal) uncertainty estimation. We then propose Spectral-normalized Neural Gaussian Process (SNGP), a simple method that improves the distance-awareness ability of modern DNNs with two simple changes: (1) applying spectral normalization to hidden weights to enforce bi-Lipschitz smoothness in representations and (2) replacing the last output layer with a Gaussian process layer. On a suite of vision and language understanding benchmarks, SNGP outperforms other single-model approaches in prediction, calibration and out-of-domain detection. Furthermore, SNGP provides complementary benefits to popular techniques such as deep ensembles and data augmentation, making it a simple and scalable building block for probabilistic deep learning. Code is open-sourced at https://github.com/google/uncertainty-baselines

分销（OOD）检测对于在现实世界中部署机器学习模型是重要的，其中来自移位分布的测试数据可以自然地出现。虽然最近出现了何种算法方法，但何种算法检测，临界差距仍然存在理论上。在这项工作中，我们开发了一个分析框架，其特征，并统一了对OOD检测的理论理解。我们的分析框架激励了一种新颖的电子网络，创业板的检测方法，展示了理论和经验的优势。特别是，在CIFAR-100作为分布数据中，我们的方法优于竞争性基线16.57％（FPR95）。最后，我们正式提供可证明的保证和对我们的方法进行全面分析，支撑数据分布的各种性能如何影响OOD检测的性能。

我们表明，著名的混音的有效性[Zhang等，2018]，如果而不是将其用作唯一的学习目标，就可以进一步改善它，而是将其用作标准跨侧面损失的附加规则器。这种简单的变化不仅提供了太大的准确性，而且在大多数情况下，在各种形式的协变量转移和分布外检测实验下，在大多数情况下，混合量的预测不确定性估计质量都显着提高了。实际上，我们观察到混合物在检测出分布样本时可能会产生大量退化的性能，因为我们在经验上表现出来，因为它倾向于学习在整个过程中表现出高渗透率的模型。很难区分分布样本与近分离样本。为了显示我们的方法的功效（RegMixup），我们在视觉数据集（Imagenet＆Cifar-10/100）上提供了详尽的分析和实验，并将其与最新方法进行比较，以进行可靠的不确定性估计。

深度神经网络具有令人印象深刻的性能，但是他们无法可靠地估计其预测信心，从而限制了其在高风险领域中的适用性。我们表明，应用多标签的一VS损失揭示了分类的歧义并降低了模型的过度自信。引入的Slova（单标签One-Vs-All）模型重新定义了单个标签情况的典型单VS-ALL预测概率，其中只有一个类是正确的答案。仅当单个类具有很高的概率并且其他概率可忽略不计时，提议的分类器才有信心。与典型的SoftMax函数不同，如果所有其他类的概率都很小，Slova自然会检测到分布的样本。该模型还通过指数校准进行了微调，这使我们能够与模型精度准确地对齐置信分数。我们在三个任务上验证我们的方法。首先，我们证明了斯洛伐克与最先进的分布校准具有竞争力。其次，在数据集偏移下，斯洛伐克的性能很强。最后，我们的方法在检测到分布样品的检测方面表现出色。因此，斯洛伐克是一种工具，可以在需要不确定性建模的各种应用中使用。

分发（OOD）检测的任务对于在现实世界中部署机器学习模型至关重要。在本文中，我们观察到分布（ID）和OOD特征的奇异值分布截然不同：OOD特征矩阵倾向于具有比ID特征更大的优势奇异值，并且OOD样本的类预测在很大程度上取决于它。该观察结果促使我们提出\ texttt {rankfeat}，这是一种简单而有效的\ texttt {post hoc}方法，通过删除由最大的单数值和相关的单数矢量组成的rank-1矩阵，从（\ emph { \ texttt {rankfeat}达到\ emph {最新的}性能，并将平均误报率（FPR95）降低了17.90 \％，与以前的最佳方法相比。提供了广泛的消融研究和全面的理论分析，以支持经验结果。

建立强大的确定性神经网络仍然是一个挑战。一方面，某些方法以降低某些情况下的分类准确性为代价改善了分布检测。另一方面，某些方法同时提高了分类准确性，不确定性估计和分布外检测，但以降低推理效率为代价。在本文中，我们提出了使用Dismax损失的培训确定性神经网络，这是对通常的软马克斯损失的倒入替换（即，线性输出层的组合，软磁性激活和交叉透射率损失） 。从Isomax+损失开始，我们根据所有原型的距离创建每个logit，而不仅仅是与正确类关联的logit。我们还引入了一种结合图像的机制，以构建所谓的分数概率正则化。此外，我们提出了一种快速训练后校准网络的方法。最后，我们提出一个复合分数以执行分布外检测。我们的实验表明，Dismax通常在分类准确性，不确定性估计和分布外检测方面同时优于当前方法，同时保持确定性的神经网络推断效率。重现结果的代码可在https://github.com/dlmacedo/distinction-maximization-loss上获得。

Detecting out-of-distribution (OOD) inputs during the inference stage is crucial for deploying neural networks in the real world. Previous methods commonly relied on the output of a network derived from the highly activated feature map. In this study, we first revealed that a norm of the feature map obtained from the other block than the last block can be a better indicator of OOD detection. Motivated by this, we propose a simple framework consisting of FeatureNorm: a norm of the feature map and NormRatio: a ratio of FeatureNorm for ID and OOD to measure the OOD detection performance of each block. In particular, to select the block that provides the largest difference between FeatureNorm of ID and FeatureNorm of OOD, we create Jigsaw puzzle images as pseudo OOD from ID training samples and calculate NormRatio, and the block with the largest value is selected. After the suitable block is selected, OOD detection with the FeatureNorm outperforms other OOD detection methods by reducing FPR95 by up to 52.77% on CIFAR10 benchmark and by up to 48.53% on ImageNet benchmark. We demonstrate that our framework can generalize to various architectures and the importance of block selection, which can improve previous OOD detection methods as well.

不确定性估计是任何部署的机器学习系统中的关键组件。评估不确定性估计的一种方法是使用“分布外”（OOD）检测，即使用不确定性区分训练数据分布和看不见的不同数据分布。在这项工作中，我们表明当前特征密度的不确定度估计器不能在不同的OOD检测设置上保持良好。为了解决这一问题，我们建议分解学习的陈述，并将估计的不确定性分别相结合。通过实验，我们证明我们可以大大提高不确定性估计的性能和可解释性。

常规监督学习或分类的主要假设是，测试样本是从与训练样本相同的分布中得出的，该样本称为封闭设置学习或分类。在许多实际情况下，事实并非如此，因为测试数据中有未知数或看不见的类样本，这称为“开放式”方案，需要检测到未知数。该问题称为开放式识别问题，在安全至关重要的应用中很重要。我们建议通过学习成对相似性来检测未知数（或看不见的类样本）。提出的方法分为两个步骤。它首先使用培训中出现的所见类学习了一个封闭的集体分类器，然后学习如何将看到的类与伪单人（自动生成的看不见的类样本）进行比较。伪无表情的一代是通过对可见或训练样品进行分配转换增加而进行的。我们称我们的方法OPG（基于伪看不见的数据生成开放式识别）。实验评估表明，基于相似性的功能可以成功区分基准数据集中的未见特征，以进行开放式识别。

准确地检测出具有不同语义和协变量转移相对于分布的数据（ID）数据的分布外（OOD）数据对于部署安全可靠的模型至关重要。当处理高度结果应用（例如医学成像，自动驾驶汽车等）时，情况尤其如此。目的是设计一个可以接受ID数据有意义变化的检测器，同时还拒绝了OOD制度的示例。在实践中，可以通过使用适当的评分函数（例如能量）来实现一致性来实现此双重目标，并校准检测器以拒绝一组策划的OOD数据（称为离群曝光或不久的OE）。尽管OE方法被广泛采用，但由于现实世界情景的不可预测性，组装代表性的OOD数据集既昂贵又具有挑战性，因此最新设计了无OE探测器的趋势。在本文中，我们做出了一个令人惊讶的发现，即控制对ID变化的概括和暴露于不同（合成）异常值的示例对于同时改善语义和模态转移检测至关重要。与现有方法相反，我们的方法样本在潜在空间中嵌入式体系，并通过负数据扩展构建异常示例。通过一项关于医学成像基准（MedMnist，ISIC2019和NCT）的严格实证研究，我们在语义和模态转移下的现有无OE，OOD检测方法上表现出显着的性能增长（AUROC中的15美元\％-35 \％$）。