The deployment of machine learning classifiers in high-stakes domains requires well-calibrated confidence scores for model predictions. In this paper we introduce the notion of variable-based calibration to characterize calibration properties of a model with respect to a variable of interest, generalizing traditional score-based calibration and metrics such as expected calibration error (ECE). In particular, we find that models with near-perfect ECE can exhibit significant variable-based calibration error as a function of features of the data. We demonstrate this phenomenon both theoretically and in practice on multiple well-known datasets, and show that it can persist after the application of existing recalibration methods. To mitigate this issue, we propose strategies for detection, visualization, and quantification of variable-based calibration error. We then examine the limitations of current score-based recalibration methods and explore potential modifications. Finally, we discuss the implications of these findings, emphasizing that an understanding of calibration beyond simple aggregate measures is crucial for endeavors such as fairness and model interpretability.

本文介绍了分类器校准原理和实践的简介和详细概述。校准的分类器正确地量化了与其实例明智的预测相关的不确定性或信心水平。这对于关键应用，最佳决策，成本敏感的分类以及某些类型的上下文变化至关重要。校准研究具有丰富的历史，其中几十年来预测机器学习作为学术领域的诞生。然而，校准兴趣的最近增加导致了新的方法和从二进制到多种子体设置的扩展。需要考虑的选项和问题的空间很大，并导航它需要正确的概念和工具集。我们提供了主要概念和方法的介绍性材料和最新的技术细节，包括适当的评分规则和其他评估指标，可视化方法，全面陈述二进制和多字数分类的HOC校准方法，以及几个先进的话题。

分析分类模型性能对于机器学习从业人员来说是一项至关重要的任务。尽管从业者经常使用从混乱矩阵中得出的基于计数的指标，例如准确性，许多应用程序，例如天气预测，体育博彩或患者风险预测，但依赖分类器的预测概率而不是预测标签。在这些情况下，从业者关注的是产生校准模型，即输出反映真实分布的模型的模型。通常通过静态可靠性图在视觉上分析模型校准，但是，由于所需的强大聚合，传统的校准可视化可能会遭受各种缺陷。此外，基于计数的方法无法充分分析模型校准。我们提出校准，这是一个解决上述问题的交互性可靠性图。校准构造一个可靠性图，该图表可抵抗传统方法中的缺点，并允许进行交互式子组分析和实例级检查。我们通过在现实世界和合成数据上的用例中证明了校准的实用性。我们通过与常规分析模型校准的数据科学家进行思考实验的结果来进一步验证校准。

如果预测类的概率（顶级标签）是校准的，则在顶部标签上进行条件，则据说多类分类器将是顶级标签的校准。在密切相关和流行的置信度校准概念中，这种条件不存在，我们认为这使得置信校准难以解释决策。我们提出顶级标签校准作为置信校准的纠正。此外，我们概述了一个多类对二进制（M2B）还原框架，该框架统一了信心，顶级标签和班级校准等。顾名思义，M2B通过将多类校准减少到众多二元校准问题来起作用，每个二进制校准问题都可以使用简单的二进制校准例程来解决。我们将M2B框架实例化使用经过良好研究的直方图（HB）二进制校准器，并证明整体过程是多类校准的，而无需对基础数据分布进行任何假设。在CIFAR-10和CIFAR-100上具有四个深净体系结构的经验评估中，我们发现M2B + HB程序比其他方法（例如温度缩放）获得了较低的顶级标签和类别校准误差。这项工作的代码可在\ url {https://github.com/aigen/df-posthoc-calibration}中获得。

在在下游决策取决于预测概率的安全关键应用中，校准神经网络是最重要的。测量校准误差相当于比较两个实证分布。在这项工作中，我们引入了由经典Kolmogorov-Smirnov（KS）统计测试的自由校准措施，其中主要思想是比较各自的累积概率分布。由此，通过通过Quidsime使用可微分函数来近似经验累积分布，我们获得重新校准函数，将网络输出映射到实际（校准的）类分配概率。使用停滞校准组进行脊柱拟合，并在看不见的测试集上评估所获得的重新校准功能。我们测试了我们对各种图像分类数据集的现有校准方法的方法，并且我们的样条键的重新校准方法始终如一地优于KS错误的现有方法以及其他常用的校准措施。我们的代码可在https://github.com/kartikgupta-at-anu/spline-calibration获得。

Confidence calibration -the problem of predicting probability estimates representative of the true correctness likelihood -is important for classification models in many applications. We discover that modern neural networks, unlike those from a decade ago, are poorly calibrated. Through extensive experiments, we observe that depth, width, weight decay, and Batch Normalization are important factors influencing calibration. We evaluate the performance of various post-processing calibration methods on state-ofthe-art architectures with image and document classification datasets. Our analysis and experiments not only offer insights into neural network learning, but also provide a simple and straightforward recipe for practical settings: on most datasets, temperature scaling -a singleparameter variant of Platt Scaling -is surprisingly effective at calibrating predictions.

Calibration is a popular framework to evaluate whether a classifier knows when it does not know - i.e., its predictive probabilities are a good indication of how likely a prediction is to be correct. Correctness is commonly estimated against the human majority class. Recently, calibration to human majority has been measured on tasks where humans inherently disagree about which class applies. We show that measuring calibration to human majority given inherent disagreements is theoretically problematic, demonstrate this empirically on the ChaosNLI dataset, and derive several instance-level measures of calibration that capture key statistical properties of human judgements - class frequency, ranking and entropy.

当疑问以获得更好的有效精度时，选择性分类允许模型放弃预测（例如，说“我不知道”）。尽管典型的选择性模型平均可以有效地产生更准确的预测，但它们仍可能允许具有很高置信度的错误预测，或者跳过置信度较低的正确预测。提供校准的不确定性估计以及预测（与真实频率相对应的概率）以及具有平均准确的预测一样重要。但是，不确定性估计对于某些输入可能不可靠。在本文中，我们开发了一种新的选择性分类方法，其中我们提出了一种拒绝“不确定”不确定性的示例的方法。通过这样做，我们旨在通过对所接受示例的分布进行{良好校准}的不确定性估计进行预测，这是我们称为选择性校准的属性。我们提出了一个用于学习选择性校准模型的框架，其中训练了单独的选择器网络以改善给定基本模型的选择性校准误差。特别是，我们的工作重点是实现强大的校准，该校准有意地设计为在室外数据上进行测试。我们通过受分配强大的优化启发的训练策略实现了这一目标，在该策略中，我们将模拟输入扰动应用于已知的，内域培训数据。我们证明了方法对多个图像分类和肺癌风险评估任务的经验有效性。

概率分类器输出置信信心得分随着他们的预测，并且应该校准这些置信分数，即，它们应该反映预测的可靠性。最小化标准度量的置信度分数，例如预期的校准误差（ECE）准确地测量整个人口平均值的可靠性。然而，通常不可能测量单独预测的可靠性。在这项工作中，我们提出了本地校准误差（LCE），以跨越平均值和各个可靠性之间的间隙。对于每个单独的预测，LCE测量一组类似预测的平均可靠性，其中通过预先训练的特征空间上的内核函数和通过预测模型信仰的融合方案来量化相似性。我们从理论上显示了LCE可以从数据估计，并经验地发现它显示出比ECE可以检测到更细粒度的错误级别模式。我们的关键结果是一种新颖的局部重新校准方法，以改善个人预测的置信度分数并减少LCE。实验，我们表明我们的重新校准方法产生更准确的置信度分数，从而提高了具有图像和表格数据的分类任务的下游公平性和决策。

由于模型可信度对于敏感的现实世界应用至关重要，因此从业者越来越重视改善深神经网络的不确定性校准。校准误差旨在量化概率预测的可靠性，但其估计器通常是偏见且不一致的。在这项工作中，我们介绍了适当的校准误差的框架，该校准误差将每个校准误差与适当的分数联系起来，并提供具有最佳估计属性的相应上限。这种关系可用于可靠地量化模型校准改进。与我们的方法相比，我们从理论上和经验上证明了常用估计量的缺点。由于适当的分数的广泛适用性，这可以自然地扩展到分类之外的重新校准。

当可能的许多标签是可能的时，选择单个可以导致低精度。一个常见的替代方案，称为顶级k $分类，是选择一些数字$ k $（通常约5），并返回最高分数的$ k $标签。不幸的是，对于明确的案例，$ k> 1 $太多，对于非常暧昧的情况，$ k \ leq 5 $（例如）太小。另一种明智的策略是使用一种自适应方法，其中返回的标签数量随着计算的歧义而变化，但必须平均到所有样本的某些特定的$ k $。我们表示这种替代方案 - $ k $分类。本文在平均值的含量较低的误差率时，本文正式地表征了模糊性曲线，比固定的顶级k $分类更低。此外，它为固定尺寸和自适应分类器提供了自然估计程序，并证明了它们的一致性。最后，它报告了实际图像数据集的实验，揭示了平均值的效益 - 在实践中的价格超过高度k $分类。总的来说，当含糊不清的歧义时，平均值-$ k $永远不会比Top-$ K $更差，并且在我们的实验中，当估计时，这也持有。

Deep neural network (DNN) classifiers are often overconfident, producing miscalibrated class probabilities. Most existing calibration methods either lack theoretical guarantees for producing calibrated outputs or reduce the classification accuracy in the process. This paper proposes a new Kernel-based calibration method called KCal. Unlike other calibration procedures, KCal does not operate directly on the logits or softmax outputs of the DNN. Instead, it uses the penultimate-layer latent embedding to train a metric space in a supervised manner. In effect, KCal amounts to a supervised dimensionality reduction of the neural network embedding, and generates a prediction using kernel density estimation on a holdout calibration set. We first analyze KCal theoretically, showing that it enjoys a provable asymptotic calibration guarantee. Then, through extensive experiments, we confirm that KCal consistently outperforms existing calibration methods in terms of both the classification accuracy and the (confidence and class-wise) calibration error.

在本文中，我们研究了现代神经网络的事后校准，这个问题近年来引起了很多关注。已经为任务提出了许多不同复杂性的校准方法，但是关于这些任务的表达方式尚无共识。我们专注于置信度缩放的任务，特别是在概括温度缩放的事后方法上，我们将其称为自适应温度缩放家族。我们分析了改善校准并提出可解释方法的表达功能。我们表明，当有大量数据复杂模型（例如神经网络）产生更好的性能时，但是当数据量受到限制时，很容易失败，这是某些事后校准应用（例如医学诊断）的常见情况。我们研究表达方法在理想条件和设计更简单的方法下学习但对这些表现良好的功能具有强烈的感应偏见的功能。具体而言，我们提出了基于熵的温度缩放，这是一种简单的方法，可根据其熵缩放预测的置信度。结果表明，与其他方法相比，我们的方法可获得最先进的性能，并且与复杂模型不同，它对数据稀缺是可靠的。此外，我们提出的模型可以更深入地解释校准过程。

学习推迟（L2D）框架有可能使AI系统更安全。对于给定的输入，如果人类比模型更有可能采取正确的行动，则系统可以将决定推迟给人类。我们研究L2D系统的校准，研究它们输出的概率是否合理。我们发现Mozannar＆Sontag（2020）多类框架没有针对专家正确性进行校准。此外，由于其参数化是为此目的而退化的，因此甚至不能保证产生有效的概率。我们提出了一个基于单VS-ALL分类器的L2D系统，该系统能够产生专家正确性的校准概率。此外，我们的损失功能也是多类L2D的一致替代，例如Mozannar＆Sontag（2020）。我们的实验验证了我们的系统校准不仅是我们的系统校准，而且这种好处无需准确。我们的模型的准确性始终可与Mozannar＆Sontag（2020）模型的模型相当（通常是优越），从仇恨言语检测到星系分类到诊断皮肤病变的任务。

在许多现实世界和高影响力决策设置中，从分类过程中说明预测性不确定性的神经网络的概率预测至关重要。但是，实际上，大多数数据集经过非稳定神经网络的培训，默认情况下，这些神经网络不会捕获这种固有的不确定性。这个众所周知的问题导致了事后校准程序的开发，例如PLATT缩放（Logistic），等渗和β校准，这将得分转化为校准良好的经验概率。校准方法的合理替代方法是使用贝叶斯神经网络，该网络直接建模预测分布。尽管它们已应用于图像和文本数据集，但在表格和小型数据制度中的采用有限。在本文中，我们证明了与校准神经网络相比，贝叶斯神经网络在各种数据集中进行实验，从而产生竞争性能。

Deep neural networks (DNN) are prone to miscalibrated predictions, often exhibiting a mismatch between the predicted output and the associated confidence scores. Contemporary model calibration techniques mitigate the problem of overconfident predictions by pushing down the confidence of the winning class while increasing the confidence of the remaining classes across all test samples. However, from a deployment perspective, an ideal model is desired to (i) generate well-calibrated predictions for high-confidence samples with predicted probability say >0.95, and (ii) generate a higher proportion of legitimate high-confidence samples. To this end, we propose a novel regularization technique that can be used with classification losses, leading to state-of-the-art calibrated predictions at test time; From a deployment standpoint in safety-critical applications, only high-confidence samples from a well-calibrated model are of interest, as the remaining samples have to undergo manual inspection. Predictive confidence reduction of these potentially ``high-confidence samples'' is a downside of existing calibration approaches. We mitigate this by proposing a dynamic train-time data pruning strategy that prunes low-confidence samples every few epochs, providing an increase in "confident yet calibrated samples". We demonstrate state-of-the-art calibration performance across image classification benchmarks, reducing training time without much compromise in accuracy. We provide insights into why our dynamic pruning strategy that prunes low-confidence training samples leads to an increase in high-confidence samples at test time.

目的：我们研究使用机器学习（ML）模型的可解释的累入预测，并在预测能力，稀疏性和公平性方面分析性能。与以前的作品不同，本研究列举了输出概率而不是二进制预测的可解释模型，并使用定量公平定义来评估模型。本研究还研究了模型是否可以横跨地理位置概括。方法：我们在佛罗里达州和肯塔基州的两个不同的刑事核查数据集上生成了黑盒和可解释的ML模型。我们将这些模型的预测性能和公平与目前用于司法系统中使用的两种方法进行了比较，以预测审前常规率：Arnold PSA和Compas。我们评估了所有模型的预测性能，可以在两次跨越两次预测六种不同类型犯罪的模型。结果：几种可解释的ML模型可以预测常规和黑盒ML模型，比Compas或Arnold PSA更准确。这些模型在实践中可能有用。类似于Arnold PSA，这些可解释模型中的一些可以作为一个简单的表格写入。其他可以使用一组可视化显示。我们的地理分析表明ML模型应分开培训，以便单独的位置并随时间更新。我们还为可​​解释模型提供了公平分析。结论：可解释的机器学习模型可以在预测准确性和公平性方面表现，也可以表现，也可以表现，也可以执行不可解释的方法和目前使用的风险评估尺度。机器学习模型对于单独培训，可以更准确地进行不同的位置，并保持最新。

最佳决策要求分类器产生与其经验准确性一致的不确定性估计。然而，深度神经网络通常在他们的预测中受到影响或过度自信。因此，已经开发了方法，以改善培训和后HOC期间的预测性不确定性的校准。在这项工作中，我们提出了可分解的损失，以改善基于频流校准误差估计底层的钻孔操作的软（连续）版本的校准。当纳入训练时，这些软校准损耗在多个数据集中实现最先进的单一模型ECE，精度低于1％的数量。例如，我们观察到ECE的82％（相对于HOC后射出ECE 70％），以换取相对于CIFAR-100上的交叉熵基线的准确性0.7％的相对降低。在培训后结合时，基于软合成的校准误差目标会改善温度缩放，一种流行的重新校准方法。总体而言，跨损失和数据集的实验表明，使用校准敏感程序在数据集移位下产生更好的不确定性估计，而不是使用跨熵损失和后HOC重新校准方法的标准做法。

由于机器学习技术在新域中被广泛采用，特别是在诸如自主车辆的安全关键系统中，这是提供准确的输出不确定性估计至关重要。因此，已经提出了许多方法来校准神经网络以准确估计错误分类的可能性。但是，虽然这些方法实现了低校准误差，但有空间以进一步改进，尤其是在大维设置（如想象成）中。在本文中，我们介绍了一个名为Hoki的校准算法，它通过将随机转换应用于神经网络编程来工作。我们为基于应用转换后观察到的标签预测变化的数量提供了足够的条件。我们在多个数据集上执行实验，并表明所提出的方法通常优于多个数据集和模型的最先进的校准算法，尤其是在充满挑战的ImageNet数据集上。最后，Hoki也是可扩展的，因为它需要可比较的执行时间到温度缩放的执行时间。

域名（ood）概括是机器学习模型的重大挑战。已经提出了许多技术来克服这一挑战，通常专注于具有某些不变性属性的学习模型。在这项工作中，我们绘制了ood性能和模型校准之间的链接，争论跨多个域的校准可以被视为一个特殊的表达，导致更好的EOD泛化。具体而言，我们表明，在某些条件下，实现\ EMPH {多域校准}的模型可被证明无杂散相关性。这导致我们提出多域校准作为分类器的性能的可测量和可训练的代理。因此，我们介绍了易于申请的方法，并允许从业者通过训练或修改现有模型来改善多域校准，从而更好地在看不见的域上的性能。使用最近提出的野外的四个数据集以及彩色的MNIST数据集，我们证明了训练或调整模型，以便在多个域中校准它们导致在看不见的测试域中显着提高性能。我们认为，校准和革建化之间的这种有趣联系是从一个实际和理论的观点出发的。