深度神经网络（DNN）模型越来越多地使用新的复制测试数据集进行评估，这些数据集经过精心创建，类似于较旧的和流行的基准数据集。但是，与期望相反，DNN分类模型在这些复制测试数据集上的准确性上表现出显着，一致且在很大程度上无法解释的降解。虽然流行的评估方法是通过利用各自测试数据集中可用的所有数据点来评估模型的准确性，但我们认为这样做会阻碍我们充分捕获DNN模型的行为以及对其准确性的现实期望。因此，我们提出了一种原则性评估协议，该协议适用于在多个测试数据集上对DNN模型的准确性进行比较研究，利用可以使用不同标准（包括与不确定性相关信息）选择的数据点子集进行的子集。通过使用此新评估协议，我们确定了（1）CIFAR-10和Imagenet数据集上$ 564 $ DNN型号的准确性，以及（2）其复制数据集。我们的实验结果表明，已观察到的基准数据集及其复制之间观察到的准确性降解始终较低（即模型在复制测试数据集上的性能更好），而不是在已发表的作品中报告的准确性退化，并依靠这些已发表的作品依赖于常规评估。不利用不确定性相关信息的方法。

深度神经网络具有令人印象深刻的性能，但是他们无法可靠地估计其预测信心，从而限制了其在高风险领域中的适用性。我们表明，应用多标签的一VS损失揭示了分类的歧义并降低了模型的过度自信。引入的Slova（单标签One-Vs-All）模型重新定义了单个标签情况的典型单VS-ALL预测概率，其中只有一个类是正确的答案。仅当单个类具有很高的概率并且其他概率可忽略不计时，提议的分类器才有信心。与典型的SoftMax函数不同，如果所有其他类的概率都很小，Slova自然会检测到分布的样本。该模型还通过指数校准进行了微调，这使我们能够与模型精度准确地对齐置信分数。我们在三个任务上验证我们的方法。首先，我们证明了斯洛伐克与最先进的分布校准具有竞争力。其次，在数据集偏移下，斯洛伐克的性能很强。最后，我们的方法在检测到分布样品的检测方面表现出色。因此，斯洛伐克是一种工具，可以在需要不确定性建模的各种应用中使用。

我们在最常用的计算机视觉，自然语言和音频数据集中的10个测试集中识别标签错误，随后研究这些标签错误的可能性影响基准结果。测试集中的错误是众多和广泛的：我们估计10个数据集的至少3.3％的误差，例如标签错误包括至少6％的想象验证集。使用自信的学习算法识别推定的标签错误，然后通过众包（51％的算法上标记的候选者的51％确实错误地标记了数据集）。传统上，机器学习从业者选择基于测试准确性部署哪种模型 - 我们的调查结果在此提出谨慎行事，提出在正确标记的测试集上判断模型可能更有用，特别是对于嘈杂的现实世界数据集。令人惊讶的是，我们发现较低的容量模型可能与现实世界数据集中的更高容量模型几乎更有用，具有高比例的错误标记数据。例如，在具有校正标签的ImageNet上：Reset-18优于Reset-50，如果最初错误标记的测试示例的普及仅增加6％。在具有校正标签的CiFar-10上：VGG-11优于VGG-19，如果最初错误标记的测试示例的患病率达到5％。在HTTPS://labelerrors.com上查看10个数据集中的测试集错误，HTTPS：//github.com/cleanlab/labelors可以再现所有标签错误。

Reliable application of machine learning-based decision systems in the wild is one of the major challenges currently investigated by the field. A large portion of established approaches aims to detect erroneous predictions by means of assigning confidence scores. This confidence may be obtained by either quantifying the model's predictive uncertainty, learning explicit scoring functions, or assessing whether the input is in line with the training distribution. Curiously, while these approaches all state to address the same eventual goal of detecting failures of a classifier upon real-life application, they currently constitute largely separated research fields with individual evaluation protocols, which either exclude a substantial part of relevant methods or ignore large parts of relevant failure sources. In this work, we systematically reveal current pitfalls caused by these inconsistencies and derive requirements for a holistic and realistic evaluation of failure detection. To demonstrate the relevance of this unified perspective, we present a large-scale empirical study for the first time enabling benchmarking confidence scoring functions w.r.t all relevant methods and failure sources. The revelation of a simple softmax response baseline as the overall best performing method underlines the drastic shortcomings of current evaluation in the abundance of publicized research on confidence scoring. Code and trained models are at https://github.com/IML-DKFZ/fd-shifts.

在本文中，我们研究了现代神经网络的事后校准，这个问题近年来引起了很多关注。已经为任务提出了许多不同复杂性的校准方法，但是关于这些任务的表达方式尚无共识。我们专注于置信度缩放的任务，特别是在概括温度缩放的事后方法上，我们将其称为自适应温度缩放家族。我们分析了改善校准并提出可解释方法的表达功能。我们表明，当有大量数据复杂模型（例如神经网络）产生更好的性能时，但是当数据量受到限制时，很容易失败，这是某些事后校准应用（例如医学诊断）的常见情况。我们研究表达方法在理想条件和设计更简单的方法下学习但对这些表现良好的功能具有强烈的感应偏见的功能。具体而言，我们提出了基于熵的温度缩放，这是一种简单的方法，可根据其熵缩放预测的置信度。结果表明，与其他方法相比，我们的方法可获得最先进的性能，并且与复杂模型不同，它对数据稀缺是可靠的。此外，我们提出的模型可以更深入地解释校准过程。

神经网络缺乏对抗性鲁棒性，即，它们容易受到对抗的例子，通过对输入的小扰动导致错误的预测。此外，当模型给出错误的预测时，信任被破坏，即，预测的概率不是我们应该相信我们模型的良好指标。在本文中，我们研究了对抗性鲁棒性和校准之间的联系，发现模型对小扰动敏感的输入（很容易攻击）更有可能具有较差的预测。基于这种洞察力，我们通过解决这些对抗的缺陷输入来研究校准。为此，我们提出了基于对抗基于对抗的自适应标签平滑（AR-AD），其通过适应性软化标签，通过适应性软化标签来整合对抗性鲁棒性和校准到训练中的相关性，这是基于对敌人可以攻击的容易攻击。我们发现我们的方法，考虑了分销数据的对抗性稳健性，即使在分布班次下也能够更好地校准模型。此外，还可以应用于集合模型，以进一步提高模型校准。

图像分类器通常在其测试设置精度上进行评分，但高精度可以屏蔽微妙类型的模型故障。我们发现高分卷积神经网络（CNNS）在流行的基准上表现出令人不安的病理，即使在没有语义突出特征的情况下，即使在没有语义突出特征的情况下也能够显示高精度。当模型提供没有突出的输入功能而无突出的频率决定时，我们说分类器已经过度解释了它的输入，找到了太多的课程 - 以对人类荒谬的模式。在这里，我们展示了在CiFar-10和Imagenet上培训的神经网络患有过度诠释，我们发现CIFAR-10上的模型即使在屏蔽95％的输入图像中，人类不能在剩余像素子集中辨别出突出的特征。我们介绍了批量梯度SIS，一种用于发现复杂数据集的足够输入子集的新方法，并使用此方法显示故事中的边界像素的充分性以进行培训和测试。虽然这些模式在现实世界部署中移植了潜在的模型脆弱性，但它们实际上是基准的有效统计模式，单独就足以实现高测试精度。与对手示例不同，过度解释依赖于未修改的图像像素。我们发现合奏和输入辍学可以帮助缓解过度诠释。

We build new test sets for the CIFAR-10 and ImageNet datasets. Both benchmarks have been the focus of intense research for almost a decade, raising the danger of overfitting to excessively re-used test sets. By closely following the original dataset creation processes, we test to what extent current classification models generalize to new data. We evaluate a broad range of models and find accuracy drops of 3% -15% on CIFAR-10 and 11% -14% on ImageNet. However, accuracy gains on the original test sets translate to larger gains on the new test sets. Our results suggest that the accuracy drops are not caused by adaptivity, but by the models' inability to generalize to slightly "harder" images than those found in the original test sets.

Confidence calibration -the problem of predicting probability estimates representative of the true correctness likelihood -is important for classification models in many applications. We discover that modern neural networks, unlike those from a decade ago, are poorly calibrated. Through extensive experiments, we observe that depth, width, weight decay, and Batch Normalization are important factors influencing calibration. We evaluate the performance of various post-processing calibration methods on state-ofthe-art architectures with image and document classification datasets. Our analysis and experiments not only offer insights into neural network learning, but also provide a simple and straightforward recipe for practical settings: on most datasets, temperature scaling -a singleparameter variant of Platt Scaling -is surprisingly effective at calibrating predictions.

The ability to quickly and accurately identify covariate shift at test time is a critical and often overlooked component of safe machine learning systems deployed in high-risk domains. While methods exist for detecting when predictions should not be made on out-of-distribution test examples, identifying distributional level differences between training and test time can help determine when a model should be removed from the deployment setting and retrained. In this work, we define harmful covariate shift (HCS) as a change in distribution that may weaken the generalization of a predictive model. To detect HCS, we use the discordance between an ensemble of classifiers trained to agree on training data and disagree on test data. We derive a loss function for training this ensemble and show that the disagreement rate and entropy represent powerful discriminative statistics for HCS. Empirically, we demonstrate the ability of our method to detect harmful covariate shift with statistical certainty on a variety of high-dimensional datasets. Across numerous domains and modalities, we show state-of-the-art performance compared to existing methods, particularly when the number of observed test samples is small.

如果预测类的概率（顶级标签）是校准的，则在顶部标签上进行条件，则据说多类分类器将是顶级标签的校准。在密切相关和流行的置信度校准概念中，这种条件不存在，我们认为这使得置信校准难以解释决策。我们提出顶级标签校准作为置信校准的纠正。此外，我们概述了一个多类对二进制（M2B）还原框架，该框架统一了信心，顶级标签和班级校准等。顾名思义，M2B通过将多类校准减少到众多二元校准问题来起作用，每个二进制校准问题都可以使用简单的二进制校准例程来解决。我们将M2B框架实例化使用经过良好研究的直方图（HB）二进制校准器，并证明整体过程是多类校准的，而无需对基础数据分布进行任何假设。在CIFAR-10和CIFAR-100上具有四个深净体系结构的经验评估中，我们发现M2B + HB程序比其他方法（例如温度缩放）获得了较低的顶级标签和类别校准误差。这项工作的代码可在\ url {https://github.com/aigen/df-posthoc-calibration}中获得。

考虑到其协变量$ \ boldsymbol x $的连续或分类响应变量$ \ boldsymbol y $的分布是统计和机器学习中的基本问题。深度神经网络的监督学习算法在预测给定$ \ boldsymbol x $的$ \ boldsymbol y $的平均值方面取得了重大进展，但是他们经常因其准确捕捉预测的不确定性的能力而受到批评。在本文中，我们引入了分类和回归扩散（卡）模型，该模型结合了基于扩散的条件生成模型和预训练的条件估计器，以准确预测给定$ \ boldsymbol y $的分布，给定$ \ boldsymbol x $。我们证明了通过玩具示例和现实世界数据集的有条件分配预测的卡片的出色能力，实验结果表明，一般的卡在一般情况下都优于最先进的方法，包括基于贝叶斯的神经网络的方法专为不确定性估计而设计，尤其是当给定$ \ boldsymbol y $的条件分布给定的$ \ boldsymbol x $是多模式时。

概括和不变性是任何机器学习模型的两个基本属性。概括捕获了模型对看不见的数据进行分类的能力，而不变性测量数据转换的模型预测的一致性。现有研究表明存在积极的关系：概括井的模型应该是某些视觉因素的不变性。在这种定性含义的基础上，我们做出了两项贡献。首先，我们引入有效不变性（EI），这是一种简单合理的模型不变性度量，不依赖图像标签。给定对测试图像及其转换版本的预测，EI衡量了预测如何与何种置信度相吻合。其次，使用EI计算的不变性得分，我们在泛化和不变性之间进行大规模的定量相关研究，重点是旋转和灰度转换。从以模型为中心的角度来看，我们观察到不同模型的概括和不变性在分布和分布数据集上都表现出牢固的线性关系。从以数据集为中心的视图中，我们发现某个模型的精度和不变性在不同的测试集上线性相关。除了这些主要发现外，还讨论了其他次要但有趣的见解。

The deployment of machine learning classifiers in high-stakes domains requires well-calibrated confidence scores for model predictions. In this paper we introduce the notion of variable-based calibration to characterize calibration properties of a model with respect to a variable of interest, generalizing traditional score-based calibration and metrics such as expected calibration error (ECE). In particular, we find that models with near-perfect ECE can exhibit significant variable-based calibration error as a function of features of the data. We demonstrate this phenomenon both theoretically and in practice on multiple well-known datasets, and show that it can persist after the application of existing recalibration methods. To mitigate this issue, we propose strategies for detection, visualization, and quantification of variable-based calibration error. We then examine the limitations of current score-based recalibration methods and explore potential modifications. Finally, we discuss the implications of these findings, emphasizing that an understanding of calibration beyond simple aggregate measures is crucial for endeavors such as fairness and model interpretability.

人工智能的最新趋势是将验证的模型用于语言和视觉任务，这些模型已经实现了非凡的表现，但也令人困惑。因此，以各种方式探索这些模型的能力对该领域至关重要。在本文中，我们探讨了模型的可靠性，在其中我们将可靠的模型定义为一个不仅可以实现强大的预测性能，而且在许多涉及不确定性（例如选择性预测，开放式设置识别）的决策任务上，在许多决策任务上表现出色，而且表现良好。强大的概括（例如，准确性和适当的评分规则，例如在分布数据集中和分发数据集上的对数可能性）和适应性（例如，主动学习，几乎没有射击不确定性）。我们设计了40个数据集的10种任务类型，以评估视觉和语言域上可靠性的不同方面。为了提高可靠性，我们分别开发了VIT-PLEX和T5-PLEX，分别针对视觉和语言方式扩展了大型模型。 PLEX极大地改善了跨可靠性任务的最先进，并简化了传统协议，因为它可以改善开箱即用的性能，并且不需要设计分数或为每个任务调整模型。我们演示了高达1B参数的模型尺寸的缩放效果，并预处理数据集大小最多4B示例。我们还展示了PLEX在具有挑战性的任务上的功能，包括零射门的开放式识别，主动学习和对话语言理解中的不确定性。

现在众所周知，神经网络对其预测的信心很高，导致校准不良。弥补这一点的最常见的事后方法是执行温度缩放，这可以通过将逻辑缩放为固定值来调整任何输入的预测的信心。尽管这种方法通常会改善整个测试数据集中的平均校准，但无论给定输入的分类是否正确还是不正确，这种改进通常会降低预测的个人信心。有了这种见解，我们将方法基于这样的观察结果，即不同的样品通过不同的量导致校准误差，有些人需要提高其信心，而另一些则需要减少它。因此，对于每个输入，我们建议预测不同的温度值，从而使我们能够调整较细性的置信度和准确性之间的不匹配。此外，我们观察到了OOD检测结果的改善，还可以提取数据点的硬度概念。我们的方法是在事后应用的，因此使用很少的计算时间和可忽略不计的记忆足迹，并应用于现成的预训练的分类器。我们使用CIFAR10/100和TINY-IMAGENET数据集对RESNET50和WIDERESNET28-10架构进行测试，这表明在整个测试集中产生每数据点温度也有益于预期的校准误差。代码可在以下网址获得：https：//github.com/thwjoy/adats。

在在下游决策取决于预测概率的安全关键应用中，校准神经网络是最重要的。测量校准误差相当于比较两个实证分布。在这项工作中，我们引入了由经典Kolmogorov-Smirnov（KS）统计测试的自由校准措施，其中主要思想是比较各自的累积概率分布。由此，通过通过Quidsime使用可微分函数来近似经验累积分布，我们获得重新校准函数，将网络输出映射到实际（校准的）类分配概率。使用停滞校准组进行脊柱拟合，并在看不见的测试集上评估所获得的重新校准功能。我们测试了我们对各种图像分类数据集的现有校准方法的方法，并且我们的样条键的重新校准方法始终如一地优于KS错误的现有方法以及其他常用的校准措施。我们的代码可在https://github.com/kartikgupta-at-anu/spline-calibration获得。

当疑问以获得更好的有效精度时，选择性分类允许模型放弃预测（例如，说“我不知道”）。尽管典型的选择性模型平均可以有效地产生更准确的预测，但它们仍可能允许具有很高置信度的错误预测，或者跳过置信度较低的正确预测。提供校准的不确定性估计以及预测（与真实频率相对应的概率）以及具有平均准确的预测一样重要。但是，不确定性估计对于某些输入可能不可靠。在本文中，我们开发了一种新的选择性分类方法，其中我们提出了一种拒绝“不确定”不确定性的示例的方法。通过这样做，我们旨在通过对所接受示例的分布进行{良好校准}的不确定性估计进行预测，这是我们称为选择性校准的属性。我们提出了一个用于学习选择性校准模型的框架，其中训练了单独的选择器网络以改善给定基本模型的选择性校准误差。特别是，我们的工作重点是实现强大的校准，该校准有意地设计为在室外数据上进行测试。我们通过受分配强大的优化启发的训练策略实现了这一目标，在该策略中，我们将模拟输入扰动应用于已知的，内域培训数据。我们证明了方法对多个图像分类和肺癌风险评估任务的经验有效性。

机器学习已经急剧提高，在多模式任务中缩小了人类的准确性差距，例如视觉问题答案（VQA）。但是，尽管人类在不确定的时候可以说“我不知道”（即避免回答问题），但这种能力在多模式研究中被大大忽略了，尽管此问题对VQA的使用很重要，而VQA实际上使用了VQA。设置。在这项工作中，我们为可靠的VQA提出了一个问题制定，我们更喜欢弃权，而不是提供错误的答案。我们首先为多种VQA模型提供了弃戒功能，并分析了它们的覆盖范围，回答的问题的一部分和风险，该部分的错误。为此，我们探索了几种弃权方法。我们发现，尽管最佳性能模型在VQA V2数据集上实现了超过71％的准确性，但通过直接使用模型的SoftMax得分介绍了弃权的选项，限制了它们的少于8％的问题，以达到错误的错误风险（即1％）。这促使我们利用多模式选择功能直接估计预测答案的正确性，我们显示的可以将覆盖率增加，例如，在1％风险下，2.4倍从6.8％到16.3％。尽管分析覆盖范围和风险很重要，但这些指标具有权衡，这使得比较VQA模型具有挑战性。为了解决这个问题，我们还建议对VQA的有效可靠性指标，与弃权相比，将不正确的答案的成本更大。 VQA的这种新问题制定，度量和分析为构建有效和可靠的VQA模型提供了基础，这些模型具有自我意识，并且只有当他们不知道答案时才戒除。

Modern machine learning methods including deep learning have achieved great success in predictive accuracy for supervised learning tasks, but may still fall short in giving useful estimates of their predictive uncertainty. Quantifying uncertainty is especially critical in real-world settings, which often involve input distributions that are shifted from the training distribution due to a variety of factors including sample bias and non-stationarity. In such settings, well calibrated uncertainty estimates convey information about when a model's output should (or should not) be trusted. Many probabilistic deep learning methods, including Bayesian-and non-Bayesian methods, have been proposed in the literature for quantifying predictive uncertainty, but to our knowledge there has not previously been a rigorous largescale empirical comparison of these methods under dataset shift. We present a largescale benchmark of existing state-of-the-art methods on classification problems and investigate the effect of dataset shift on accuracy and calibration. We find that traditional post-hoc calibration does indeed fall short, as do several other previous methods. However, some methods that marginalize over models give surprisingly strong results across a broad spectrum of tasks.