选择性分类是拒绝模型将通过输入空间覆盖范围和模型准确性之间的权衡进行不正确预测的输入的任务。选择性分类的当前方法对模型架构或损耗函数施加约束；这在实践中抑制了它们的用法。与先前的工作相反，我们表明，只能通过研究模型的（离散）训练动力来实现最新的选择性分类性能。我们提出了一个通用框架，该框架对于给定的测试输入，监视指标，该指标与训练过程中获得的中间模型相对于最终预测标签的分歧；然后，我们拒绝在培训后期阶段表现出太多分歧的数据点。特别是，我们实例化了一种方法，该方法可以跟踪何时预测训练期间的标签停止与最终预测标签的意见。我们的实验评估表明，我们的方法在典型的选择性分类基准上实现了最先进的准确性/覆盖范围。

Accurate uncertainty quantification is a major challenge in deep learning, as neural networks can make overconfident errors and assign high confidence predictions to out-of-distribution (OOD) inputs. The most popular approaches to estimate predictive uncertainty in deep learning are methods that combine predictions from multiple neural networks, such as Bayesian neural networks (BNNs) and deep ensembles. However their practicality in real-time, industrial-scale applications are limited due to the high memory and computational cost. Furthermore, ensembles and BNNs do not necessarily fix all the issues with the underlying member networks. In this work, we study principled approaches to improve uncertainty property of a single network, based on a single, deterministic representation. By formalizing the uncertainty quantification as a minimax learning problem, we first identify distance awareness, i.e., the model's ability to quantify the distance of a testing example from the training data, as a necessary condition for a DNN to achieve high-quality (i.e., minimax optimal) uncertainty estimation. We then propose Spectral-normalized Neural Gaussian Process (SNGP), a simple method that improves the distance-awareness ability of modern DNNs with two simple changes: (1) applying spectral normalization to hidden weights to enforce bi-Lipschitz smoothness in representations and (2) replacing the last output layer with a Gaussian process layer. On a suite of vision and language understanding benchmarks, SNGP outperforms other single-model approaches in prediction, calibration and out-of-domain detection. Furthermore, SNGP provides complementary benefits to popular techniques such as deep ensembles and data augmentation, making it a simple and scalable building block for probabilistic deep learning. Code is open-sourced at https://github.com/google/uncertainty-baselines

检测分销（OOD）输入是安全部署现实世界中的机器学习模型的中央挑战。以前的方法通常依赖于从过度分辨率的重量空间衍生的评分，同时在很大程度上忽略了稀疏的作用。在本文中，我们揭示了重要的见解，即依赖对不重要的权重和单位可以直接归因于“ood检测的脆性”。为了减轻这个问题，我们提出了一个基于稀疏的oo ood检测框架被称为骰子。我们的关键思想是基于贡献的衡量标准进行排序，并选择性地使用最突出的重量来导出OOD检测的输出。我们提供了实证和理论洞察力，表征和解释了骰子改善的机制。通过修剪嘈杂的信号，骰子可否降低OOD数据的输出方差，从而导致输出分布和更强的ID数据可分离。骰子表现出色，与先前的最佳方法相比，将FPR95减少至多24.69％。

缺乏精心校准的置信度估计值使神经网络在安全至关重要的领域（例如自动驾驶或医疗保健）中不足。在这些设置中，有能力放弃对分布（OOD）数据进行预测的能力，就像正确分类分布数据一样重要。我们介绍了$ P $ -DKNN，这是一种新颖的推理程序，该过程采用了经过训练的深神经网络，并分析了其中间隐藏表示形式的相似性结构，以计算与端到端模型预测相关的$ p $值。直觉是，在潜在表示方面执行的统计测试不仅可以用作分类器，还可以提供统计上有充分根据的不确定性估计。 $ P $ -DKNN是可扩展的，并利用隐藏层学到的表示形式的组成，这使深度表示学习成功。我们的理论分析基于Neyman-Pearson的分类，并将其与选择性分类的最新进展（拒绝选项）联系起来。我们证明了在放弃预测OOD输入和保持分布输入的高精度之间的有利权衡。我们发现，$ p $ -DKNN强迫自适应攻击者制作对抗性示例（一种最差的OOD输入形式），以对输入引入语义上有意义的更改。

我们解决了选择性分类的问题，目标是在数据集的所需覆盖范围内实现最佳性能。最新的最新选择性方法通过引入单独的选择头或额外的弃权logit进行体系结构变化。在本文中，我们通过确认最先进的方法的出色性能归功于培训更具概括的分类器，为选择性分类提供了令人惊讶的结果。但是，他们的选择机制是次优的。我们认为，选择机制应植根于目标函数，而不是单独计算的分数。因此，在本文中，我们激发了一种基于分类设置的横向熵损失的替代选择策略，即logits的最大值。我们提出的选择策略在所有覆盖范围和所有数据集中都可以通过大幅度的边距获得更好的结果，而无需任何其他计算。最后，受到我们优越的选择机制的启发，我们建议通过熵最小化进一步正规化目标函数。我们提出的具有修改后损耗功能的最大选择选择可实现选择性分类的新最新结果。

本文我们的目标是利用异质的温度缩放作为校准策略（OOD）检测。此处的异质性是指每个样品的最佳温度参数可能不同，而不是传统的方法对整个分布使用相同的值。为了实现这一目标，我们提出了一种称为锚定的新培训策略，可以估算每个样品的适当温度值，从而导致几个基准的最新OOD检测性能。使用NTK理论，我们表明该温度函数估计与分类器的认知不确定性紧密相关，这解释了其行为。与某些表现最佳的OOD检测方法相反，我们的方法不需要暴露于其他离群数据集，自定义校准目标或模型结合。通过具有不同OOD检测设置的经验研究 - 远处，OOD附近和语义相干OOD - 我们建立了一种高效的OOD检测方法。可以在此处访问代码和模型-https：//github.com/rushilanirudh/amp

Reliable application of machine learning-based decision systems in the wild is one of the major challenges currently investigated by the field. A large portion of established approaches aims to detect erroneous predictions by means of assigning confidence scores. This confidence may be obtained by either quantifying the model's predictive uncertainty, learning explicit scoring functions, or assessing whether the input is in line with the training distribution. Curiously, while these approaches all state to address the same eventual goal of detecting failures of a classifier upon real-life application, they currently constitute largely separated research fields with individual evaluation protocols, which either exclude a substantial part of relevant methods or ignore large parts of relevant failure sources. In this work, we systematically reveal current pitfalls caused by these inconsistencies and derive requirements for a holistic and realistic evaluation of failure detection. To demonstrate the relevance of this unified perspective, we present a large-scale empirical study for the first time enabling benchmarking confidence scoring functions w.r.t all relevant methods and failure sources. The revelation of a simple softmax response baseline as the overall best performing method underlines the drastic shortcomings of current evaluation in the abundance of publicized research on confidence scoring. Code and trained models are at https://github.com/IML-DKFZ/fd-shifts.

Selective classification involves identifying the subset of test samples that a model can classify with high accuracy, and is important for applications such as automated medical diagnosis. We argue that this capability of identifying uncertain samples is valuable for training classifiers as well, with the aim of building more accurate classifiers. We unify these dual roles by training a single auxiliary meta-network to output an importance weight as a function of the instance. This measure is used at train time to reweight training data, and at test-time to rank test instances for selective classification. A second, key component of our proposal is the meta-objective of minimizing dropout variance (the variance of classifier output when subjected to random weight dropout) for training the metanetwork. We train the classifier together with its metanetwork using a nested objective of minimizing classifier loss on training data and meta-loss on a separate meta-training dataset. We outperform current state-of-the-art on selective classification by substantial margins--for instance, upto 1.9% AUC and 2% accuracy on a real-world diabetic retinopathy dataset. Finally, our meta-learning framework extends naturally to unsupervised domain adaptation, given our unsupervised variance minimization meta-objective. We show cumulative absolute gains of 3.4% / 3.3% accuracy and AUC over the other baselines in domain shift settings on the Retinopathy dataset using unsupervised domain adaptation.

深度神经网络具有令人印象深刻的性能，但是他们无法可靠地估计其预测信心，从而限制了其在高风险领域中的适用性。我们表明，应用多标签的一VS损失揭示了分类的歧义并降低了模型的过度自信。引入的Slova（单标签One-Vs-All）模型重新定义了单个标签情况的典型单VS-ALL预测概率，其中只有一个类是正确的答案。仅当单个类具有很高的概率并且其他概率可忽略不计时，提议的分类器才有信心。与典型的SoftMax函数不同，如果所有其他类的概率都很小，Slova自然会检测到分布的样本。该模型还通过指数校准进行了微调，这使我们能够与模型精度准确地对齐置信分数。我们在三个任务上验证我们的方法。首先，我们证明了斯洛伐克与最先进的分布校准具有竞争力。其次，在数据集偏移下，斯洛伐克的性能很强。最后，我们的方法在检测到分布样品的检测方面表现出色。因此，斯洛伐克是一种工具，可以在需要不确定性建模的各种应用中使用。

我们提出了自适应培训 - 一种统一的培训算法，通过模型预测动态校准并增强训练过程，而不会产生额外的计算成本 - 以推进深度神经网络的监督和自我监督的学习。我们分析了培训数据的深网络培训动态，例如随机噪声和对抗例。我们的分析表明，模型预测能够在数据中放大有用的基础信息，即使在没有任何标签信息的情况下，这种现象也会发生，突出显示模型预测可能会产生培训过程：自适应培训改善了深网络的概括在噪音下，增强自我监督的代表学习。分析还阐明了解深度学习，例如，在经验风险最小化和最新的自我监督学习算法的折叠问题中对最近发现的双重现象的潜在解释。在CIFAR，STL和Imagenet数据集上的实验验证了我们在三种应用中的方法的有效性：用标签噪声，选择性分类和线性评估进行分类。为了促进未来的研究，该代码已在HTTPS://github.com/layneh/Self-Aveptive-训练中公开提供。

我们使用高斯过程扰动模型在高维二次上的真实和批量风险表面之间的高斯过程扰动模型分析和解释迭代平均的泛化性能。我们从我们的理论结果中获得了三个现象\姓名：}（1）将迭代平均值（ia）与大型学习率和正则化进行了改进的正规化的重要性。 （2）对较少频繁平均的理由。 （3）我们预计自适应梯度方法同样地工作，或者更好，而不是其非自适应对应物的迭代平均值。灵感来自这些结果\姓据{，一起与}对迭代解决方案多样性的适当正则化的重要性，我们提出了两个具有迭代平均的自适应算法。与随机梯度下降（SGD）相比，这些结果具有明显更好的结果，需要较少调谐并且不需要早期停止或验证设定监视。我们在各种现代和古典网络架构上展示了我们对CiFar-10/100，Imagenet和Penn TreeBank数据集的方法的疗效。

We propose a method for training a deterministic deep model that can find and reject out of distribution data points at test time with a single forward pass. Our approach, deterministic uncertainty quantification (DUQ), builds upon ideas of RBF networks. We scale training in these with a novel loss function and centroid updating scheme and match the accuracy of softmax models. By enforcing detectability of changes in the input using a gradient penalty, we are able to reliably detect out of distribution data. Our uncertainty quantification scales well to large datasets, and using a single model, we improve upon or match Deep Ensembles in out of distribution detection on notable difficult dataset pairs such as Fashion-MNIST vs. MNIST, and CIFAR-10 vs. SVHN.

随着神经网络分类器部署在现实世界应用中，它们可以可靠地检测到它们的故障至关重要。一个实际解决方案是为每个预测分配置信度分数，然后使用这些分数来过滤可能的错误分类。然而，现有的置信度量尚未充分可靠地对此作用。本文介绍了一种新的框架，可以产生用于检测错误分类错误的定量度量。此框架红色在基本分类器的顶部构建错误检测器，并估计使用高斯过程的检测分数的不确定性。在125 UCI数据集上具有其他错误检测方法的实验比较证明了这种方法是有效的。在两个概率基础分类器上进一步实现以及视觉任务中的两个大型深度学习架构进一步证实了该方法是坚固且可扩展的。第三，用分布外和对抗样本的红色的实证分析表明，该方法不仅可以检测错误，还可以使用，而且可以了解它们来自哪里。因此，红色可以使用未来更广泛地提高神经网络分类器的可信度。

由于其实际重要性，在提高神经网络安全部署方面的实际重要性，最近经济分配（OOD）检测最近受到了很大的关注。其中一个主要挑战是模型往往会对OOD数据产生高度自信的预测，这在ood检测中破坏了驾驶原理，即该模型应该仅对分布式样品充满信心。在这项工作中，我们提出了反应 - 一种简单有效的技术，用于减少对数据数据的模型过度限制。我们的方法是通过关于神经网络内部激活的新型分析，其为OOD分布显示出高度独特的签名模式。我们的方法可以有效地拓展到不同的网络架构和不同的OOD检测分数。我们经验证明，反应在全面的基准数据集套件上实现了竞争检测性能，并为我们的方法进行了理论解释。与以前的最佳方法相比，在ImageNet基准测试中，反应将假阳性率（FPR95）降低25.05％。

We propose SWA-Gaussian (SWAG), a simple, scalable, and general purpose approach for uncertainty representation and calibration in deep learning. Stochastic Weight Averaging (SWA), which computes the first moment of stochastic gradient descent (SGD) iterates with a modified learning rate schedule, has recently been shown to improve generalization in deep learning. With SWAG, we fit a Gaussian using the SWA solution as the first moment and a low rank plus diagonal covariance also derived from the SGD iterates, forming an approximate posterior distribution over neural network weights; we then sample from this Gaussian distribution to perform Bayesian model averaging. We empirically find that SWAG approximates the shape of the true posterior, in accordance with results describing the stationary distribution of SGD iterates. Moreover, we demonstrate that SWAG performs well on a wide variety of tasks, including out of sample detection, calibration, and transfer learning, in comparison to many popular alternatives including MC dropout, KFAC Laplace, SGLD, and temperature scaling.

The ability to quickly and accurately identify covariate shift at test time is a critical and often overlooked component of safe machine learning systems deployed in high-risk domains. While methods exist for detecting when predictions should not be made on out-of-distribution test examples, identifying distributional level differences between training and test time can help determine when a model should be removed from the deployment setting and retrained. In this work, we define harmful covariate shift (HCS) as a change in distribution that may weaken the generalization of a predictive model. To detect HCS, we use the discordance between an ensemble of classifiers trained to agree on training data and disagree on test data. We derive a loss function for training this ensemble and show that the disagreement rate and entropy represent powerful discriminative statistics for HCS. Empirically, we demonstrate the ability of our method to detect harmful covariate shift with statistical certainty on a variety of high-dimensional datasets. Across numerous domains and modalities, we show state-of-the-art performance compared to existing methods, particularly when the number of observed test samples is small.

独立训练的神经网络的集合是一种最新的方法，可以在深度学习中估算预测性不确定性，并且可以通过三角洲函数的混合物解释为后验分布的近似值。合奏的培训依赖于损失景观的非跨性别性和其单个成员的随机初始化，从而使后近似不受控制。本文提出了一种解决此限制的新颖和原则性的方法，最大程度地减少了函数空间中真实后验和内核密度估计器（KDE）之间的$ f $ divergence。我们从组合的角度分析了这一目标，并表明它在任何$ f $的混合组件方面都是supporular。随后，我们考虑了贪婪合奏结构的问题。从负$ f $ didivergence上的边际增益来量化后近似的改善，通过将新组件添加到KDE中得出，我们得出了集合方法的新型多样性项。我们的方法的性能在计算机视觉的分布外检测基准测试中得到了证明，该基准在多个数据集中训练的一系列架构中。我们方法的源代码可在https://github.com/oulu-imeds/greedy_ensembles_training上公开获得。

对于在开放世界中部署的机器学习模型是必不可少的。最近，在训练期间（也称为离群暴露）在训练期间使用辅助外离群值数据集已显示出令人鼓舞的性能。由于潜在的OOD数据的样本空间可能是过大的，因此进行抽样信息的异常值至关重要。在这项工作中，我们提出了一种新型的基于后取样的离群矿井诗歌诗，该诗歌有助于有效利用异常数据，并促进了ID和OOD数据之间的紧凑决策边界，以改善检测。我们表明，诗在普通基准上建立了最先进的表现。与当前使用贪婪采样策略的最佳方法相比，诗在CIFAR-10和CIFAR-100上分别提高了相对性能的42.0％和24.2％（FPR95）。我们进一步提供了有关诗歌检测有效性的理论见解。

分布（OOD）检测对于部署在野外的机器学习模型很重要。最近的方法使用辅助分离器数据将模型正规化以改进OOD检测。但是，这些方法是一个有力的分布假设，即辅助离群数据与分布（ID）数据完全可分离。在本文中，我们提出了一个利用野生混合数据的新型框架，该框架自然由ID和OOD样品组成。这样的野生数据很丰富，并且在将机器学习分类器部署在自然栖息地中时自由出现。我们的关键思想是制定一个约束的优化问题，并展示如何批准解决问题。我们的学习目标使OOD检测率最大化，但要受到ID数据的分类错误和ID示例的OOD错误率的限制。我们广泛评估了我们对常见的OOD检测任务的方法，并证明了卓越的性能。

已知现代深度神经网络模型将错误地将分布式（OOD）测试数据分类为具有很高信心的分数（ID）培训课程之一。这可能会对关键安全应用产生灾难性的后果。一种流行的缓解策略是训练单独的分类器，该分类器可以在测试时间检测此类OOD样本。在大多数实际设置中，在火车时间尚不清楚OOD的示例，因此，一个关键问题是：如何使用合成OOD样品来增加ID数据以训练这样的OOD检测器？在本文中，我们为称为CNC的OOD数据增强提出了一种新颖的复合腐败技术。 CNC的主要优点之一是，除了培训集外，它不需要任何固定数据。此外，与当前的最新技术（SOTA）技术不同，CNC不需要在测试时间进行反向传播或结合，从而使我们的方法在推断时更快。我们与过去4年中主要会议的20种方法进行了广泛的比较，表明，在OOD检测准确性和推理时间方面，使用基于CNC的数据增强训练的模型都胜过SOTA。我们包括详细的事后分析，以研究我们方法成功的原因，并确定CNC样本的较高相对熵和多样性是可能的原因。我们还通过对二维数据集进行零件分解分析提供理论见解，以揭示（视觉和定量），我们的方法导致ID类别周围的边界更紧密，从而更好地检测了OOD样品。源代码链接：https：//github.com/cnc-ood