必须校准不确定性估计值（即准确）和清晰（即信息性），以便有用。这激发了各种重新校准的方法，这些方法使用固定数据将未校准的模型转化为校准模型。但是，由于原始模型也是概率模型，因此现有方法的适用性受到限制。我们在回归中引入了一种用于重新校准的算法类别，我们称为模块化保形校准（MCC）。该框架允许人们将任何回归模型转换为校准的概率模型。 MCC的模块化设计使我们能够对现有算法进行简单调整，以实现良好的分配预测。我们还为MCC算法提供有限样本的校准保证。我们的框架恢复了等渗的重新校准，保形校准和共形间隔预测，这意味着我们的理论结果也适用于这些方法。最后，我们对17个回归数据集进行了MCC的经验研究。我们的结果表明，在我们的框架中设计的新算法实现了接近完美的校准，并相对于现有方法提高了清晰度。

可预测的不确定性可以通过两个性能 - 校准和清晰度来表征。本文争辩说明这些属性的不确定性，并提出了在深度学习中强制执行它们的简单算法。我们的方法专注于校准 - 分布校准的最强概念 - 并通过用神经估计器拟合低维密度或定量函数来实施它。由此产生的方法比以前的分类和回归方式更简单，更广泛适用。凭经验，我们发现我们的方法改善了几个任务的预测性不确定性，具有最小的计算和实现开销。我们的见解表明，培训深度学习模式的简单和改进方式，导致应准确的不确定性，应利用，以改善下游应用程序的性能。

A flexible method is developed to construct a confidence interval for the frequency of a queried object in a very large data set, based on a much smaller sketch of the data. The approach requires no knowledge of the data distribution or of the details of the sketching algorithm; instead, it constructs provably valid frequentist confidence intervals for random queries using a conformal inference approach. After achieving marginal coverage for random queries under the assumption of data exchangeability, the proposed method is extended to provide stronger inferences accounting for possibly heterogeneous frequencies of different random queries, redundant queries, and distribution shifts. While the presented methods are broadly applicable, this paper focuses on use cases involving the count-min sketch algorithm and a non-linear variation thereof, to facilitate comparison to prior work. In particular, the developed methods are compared empirically to frequentist and Bayesian alternatives, through simulations and experiments with data sets of SARS-CoV-2 DNA sequences and classic English literature.

在回归设置中量化不确定性的许多方法中，指定完整量子函数具有吸引力，随着量级可用于解释和评估。预测每个输入的真实条件定量的模型，在所有量化水平上都具有潜在的不确定性的正确和有效的表示。为实现这一目标，许多基于当前的分位式的方法侧重于优化所谓的弹球损失。然而，这种损失限制了适用的回归模型的范围，限制了靶向许多所需特性的能力（例如校准，清晰度，中心间隔），并且可能产生差的条件量数。在这项工作中，我们开发了满足这些缺点的新分位式方法。特别是，我们提出了可以适用于任何类别的回归模型的方法，允许在校准和清晰度之间选择权衡，优化校准中心间隔，并产生更准确的条件定位。我们对我们的方法提供了彻底的实验评估，其中包括核融合中的高维不确定性量化任务。

在过去几十年中，已经提出了各种方法，用于估计回归设置中的预测间隔，包括贝叶斯方法，集合方法，直接间隔估计方法和保形预测方法。重要问题是这些方法的校准：生成的预测间隔应该具有预定义的覆盖水平，而不会过于保守。在这项工作中，我们从概念和实验的角度审查上述四类方法。结果来自各个域的基准数据集突出显示从一个数据集中的性能的大波动。这些观察可能归因于违反某些类别的某些方法所固有的某些假设。我们说明了如何将共形预测用作提供不具有校准步骤的方法的方法的一般校准程序。

我们开发了一个框架，用于在线环境中使用有效的覆盖范围保证构建不确定性集，其中基础数据分布可以急剧（甚至对手）随着时间的推移而发生巨大变化。我们提出的技术非常灵活，因为它可以与任何在线学习算法集成，需要最低限度的实施工作和计算成本。我们方法比现有替代方案的关键优势（也基于共形推断）是我们不需要将数据分为培训和保持校准集。这使我们能够以完全在线的方式拟合预测模型，并利用最新的观察结果来构建校准的不确定性集。因此，与现有技术相反，（i）我们构建的集合可以迅速适应分布的新变化； （ii）我们的过程不需要在每个时间步骤进行改装。使用合成和现实世界的基准数据集，我们证明了理论的有效性以及提案对现有技术的提高绩效。为了证明所提出的方法的更大灵活性，我们展示了如何为多出输出回归问题构造有效的间隔，而以前的顺序校准方法由于不切实际的计算和内存需求而无法处理。

有效的决策需要了解预测中固有的不确定性。在回归中，这种不确定性可以通过各种方法估算;然而，许多这些方法对调谐进行费力，产生过度自确性的不确定性间隔，或缺乏敏锐度（给予不精确的间隔）。我们通过提出一种通过定义具有两个不同损失功能的神经网络来捕获回归中的预测分布的新方法来解决这些挑战。具体地，一个网络近似于累积分布函数，第二网络近似于其逆。我们将此方法称为合作网络（CN）。理论分析表明，优化的固定点处于理想化的解决方案，并且该方法是渐近的与地面真理分布一致。凭经验，学习是简单且强大的。我们基准CN对两个合成和六个现实世界数据集的几种常见方法，包括预测来自电子健康记录的糖尿病患者的A1C值，其中不确定是至关重要的。在合成数据中，所提出的方法与基本上匹配地面真理。在真实世界数据集中，CN提高了许多性能度量的结果，包括对数似然估计，平均误差，覆盖估计和预测间隔宽度。

We study the fundamental question of how to define and measure the distance from calibration for probabilistic predictors. While the notion of perfect calibration is well-understood, there is no consensus on how to quantify the distance from perfect calibration. Numerous calibration measures have been proposed in the literature, but it is unclear how they compare to each other, and many popular measures such as Expected Calibration Error (ECE) fail to satisfy basic properties like continuity. We present a rigorous framework for analyzing calibration measures, inspired by the literature on property testing. We propose a ground-truth notion of distance from calibration: the $\ell_1$ distance to the nearest perfectly calibrated predictor. We define a consistent calibration measure as one that is a polynomial factor approximation to the this distance. Applying our framework, we identify three calibration measures that are consistent and can be estimated efficiently: smooth calibration, interval calibration, and Laplace kernel calibration. The former two give quadratic approximations to the ground truth distance, which we show is information-theoretically optimal. Our work thus establishes fundamental lower and upper bounds on measuring distance to calibration, and also provides theoretical justification for preferring certain metrics (like Laplace kernel calibration) in practice.

机器学习方法越来越广泛地用于医疗保健，运输和金融等高危环境中。在这些环境中，重要的是，模型要产生校准的不确定性以反映其自信并避免失败。在本文中，我们调查了有关深度学习的不确定性定量（UQ）的最新著作，特别是针对其数学属性和广泛适用性的无分配保形方法。我们将涵盖共形方法的理论保证，引入在时空数据的背景下提高UQ的校准和效率的技术，并讨论UQ在安全决策中的作用。

本文介绍了分类器校准原理和实践的简介和详细概述。校准的分类器正确地量化了与其实例明智的预测相关的不确定性或信心水平。这对于关键应用，最佳决策，成本敏感的分类以及某些类型的上下文变化至关重要。校准研究具有丰富的历史，其中几十年来预测机器学习作为学术领域的诞生。然而，校准兴趣的最近增加导致了新的方法和从二进制到多种子体设置的扩展。需要考虑的选项和问题的空间很大，并导航它需要正确的概念和工具集。我们提供了主要概念和方法的介绍性材料和最新的技术细节，包括适当的评分规则和其他评估指标，可视化方法，全面陈述二进制和多字数分类的HOC校准方法，以及几个先进的话题。

现在通常用于高风险设置，如医疗诊断，如医疗诊断，那么需要不确定量化，以避免后续模型失败。无分发的不确定性量化（无分布UQ）是用户友好的范式，用于为这种预测创建统计上严格的置信区间/集合。批判性地，间隔/集合有效而不进行分布假设或模型假设，即使具有最多许多DataPoints也具有显式保证。此外，它们适应输入的难度;当输入示例很困难时，不确定性间隔/集很大，信号传达模型可能是错误的。在没有多大的工作和没有再培训的情况下，可以在任何潜在的算法（例如神经网络）上使用无分​​发方法，以产生置信度集，以便包含用户指定概率，例如90％。实际上，这些方法易于理解和一般，应用于计算机视觉，自然语言处理，深度加强学习等领域出现的许多现代预测问题。这种实践介绍是针对对无需统计学家的免费UQ的实际实施感兴趣的读者。我们通过实际的理论和无分发UQ的应用领导读者，从保形预测开始，并使无关的任何风险的分布控制，如虚假发现率，假阳性分布检测，等等。我们将包括Python中的许多解释性插图，示例和代码样本，具有Pytorch语法。目标是提供读者对无分配UQ的工作理解，使它们能够将置信间隔放在算法上，其中包含一个自包含的文档。

卷积图像分类器可以实现高预测的准确性，但是量化其不确定性仍然是尚未解决的挑战，阻碍了他们在结果环境中的部署。现有的不确定性量化技术（例如PLATT缩放）试图校准网络的概率估计，但它们没有正式的保证。我们提出了一种算法，该算法会修改任何分类器，以输出包含具有用户指定概率的真实标签的预测集，例如90％。该算法像PLATT缩放一样简单快捷，但为每个模型和数据集提供了正式的有限样本覆盖范围保证。我们的方法修改了现有的保形预测算法，从而通过在PLATT缩放后正规化不太可能的类别分数来提供更稳定的预测集。在具有RESNET-152和其他分类器的ImageNet和Imagenet-V2的实验中，我们的方案的表现优于现有方法，通过通常比独立PLATT缩放基线小的5到10个因素实现覆盖范围。

Methods for reasoning under uncertainty are a key building block of accurate and reliable machine learning systems. Bayesian methods provide a general framework to quantify uncertainty. However, because of model misspecification and the use of approximate inference, Bayesian uncertainty estimates are often inaccurate -for example, a 90% credible interval may not contain the true outcome 90% of the time. Here, we propose a simple procedure for calibrating any regression algorithm; when applied to Bayesian and probabilistic models, it is guaranteed to produce calibrated uncertainty estimates given enough data. Our procedure is inspired by Platt scaling and extends previous work on classification. We evaluate this approach on Bayesian linear regression, feedforward, and recurrent neural networks, and find that it consistently outputs well-calibrated credible intervals while improving performance on time series forecasting and model-based reinforcement learning tasks.

分位数回归是统计学习中的一个基本问题，这是由于需要量化预测中的不确定性或对多样化的人群建模而不过分减少的统计学习。例如，流行病学预测，成本估算和收入预测都可以准确地量化可能的值的范围。因此，在计量经济学，统计和机器学习的多年研究中，已经为这个问题开发了许多模型。而不是提出另一种（新的）算法用于分位数回归，而是采用元观点：我们研究用于汇总任意数量的有条件分位模型的方法，以提高准确性和鲁棒性。我们考虑加权合奏，其中权重不仅可能因单个模型，而且要多于分位数和特征值而变化。我们在本文中考虑的所有模型都可以使用现代深度学习工具包适合，因此可以广泛访问（从实现的角度）和可扩展。为了提高预测分位数的准确性（或等效地，预测间隔），我们开发了确保分位数保持单调排序的工具，并采用保形校准方法。可以使用这些，而无需对原始模型的原始库进行任何修改。我们还回顾了一些围绕分数聚集和相关评分规则的基本理论，并为该文献做出了一些新的结果（例如，在分类或等渗后回归只能提高加权间隔得分的事实）。最后，我们提供了来自两个不同基准存储库的34个数据集的广泛的经验比较套件。

We develop a method to generate predictive regions that cover a multivariate response variable with a user-specified probability. Our work is composed of two components. First, we use a deep generative model to learn a representation of the response that has a unimodal distribution. Existing multiple-output quantile regression approaches are effective in such cases, so we apply them on the learned representation, and then transform the solution to the original space of the response. This process results in a flexible and informative region that can have an arbitrary shape, a property that existing methods lack. Second, we propose an extension of conformal prediction to the multivariate response setting that modifies any method to return sets with a pre-specified coverage level. The desired coverage is theoretically guaranteed in the finite-sample case for any distribution. Experiments conducted on both real and synthetic data show that our method constructs regions that are significantly smaller compared to existing techniques.

当可能的许多标签是可能的时，选择单个可以导致低精度。一个常见的替代方案，称为顶级k $分类，是选择一些数字$ k $（通常约5），并返回最高分数的$ k $标签。不幸的是，对于明确的案例，$ k> 1 $太多，对于非常暧昧的情况，$ k \ leq 5 $（例如）太小。另一种明智的策略是使用一种自适应方法，其中返回的标签数量随着计算的歧义而变化，但必须平均到所有样本的某些特定的$ k $。我们表示这种替代方案 - $ k $分类。本文在平均值的含量较低的误差率时，本文正式地表征了模糊性曲线，比固定的顶级k $分类更低。此外，它为固定尺寸和自适应分类器提供了自然估计程序，并证明了它们的一致性。最后，它报告了实际图像数据集的实验，揭示了平均值的效益 - 在实践中的价格超过高度k $分类。总的来说，当含糊不清的歧义时，平均值-$ k $永远不会比Top-$ K $更差，并且在我们的实验中，当估计时，这也持有。

We present a new distribution-free conformal prediction algorithm for sequential data (e.g., time series), called the \textit{sequential predictive conformal inference} (\texttt{SPCI}). We specifically account for the nature that the time series data are non-exchangeable, and thus many existing conformal prediction algorithms based on temporal residuals are not applicable. The main idea is to exploit the temporal dependence of conformity scores; thus, the past conformity scores contain information about future ones. Then we cast the problem of conformal prediction interval as predicting the quantile of a future residual, given a prediction algorithm. Theoretically, we establish asymptotic valid conditional coverage upon extending consistency analyses in quantile regression. Using simulation and real-data experiments, we demonstrate a significant reduction in interval width of \texttt{SPCI} compared to other existing methods under the desired empirical coverage.

对未来观察的预测是一个重要且具有挑战性的问题。分别量化预测不确定性使用预测区域和预测分布的两种主流方法，后者认为更具信息性，因为它可以执行其他与预测相关的任务。有效性的标准概念（我们在这里称为1型有效性）着重于预测区域的覆盖范围，而与预测分布执行的其他与预测相关的任务相关的有效性概念则缺乏。在这里，我们提出了一个新概念，称为2型有效性，与这些其他预测任务有关。我们建立了2型有效性和相干性能之间的联系，并表明为实现它而需要不精确的概率考虑因素。我们继续表明，可以通过将共形预测输出作为辅音合理性度量的轮廓函数来实现两种类型的预测有效性。我们还基于新的非参数推论模型构建提供了保​​形预测的替代表征，其中辅音的出现是自然的，并证明了其有效性。

在这项工作中，我们对基本思想和新颖的发展进行了综述的综述，这是基于最小的假设的一种无创新的，无分配的，非参数预测的方法 - 能够以非常简单的方式预测集屈服在有限样本案例中，在统计意义上也有效。论文中提供的深入讨论涵盖了共形预测的理论基础，然后继续列出原始想法的更高级的发展和改编。

We develop a general framework for distribution-free predictive inference in regression, using conformal inference. The proposed methodology allows for the construction of a prediction band for the response variable using any estimator of the regression function. The resulting prediction band preserves the consistency properties of the original estimator under standard assumptions, while guaranteeing finite-sample marginal coverage even when these assumptions do not hold. We analyze and compare, both empirically and theoretically, the two major variants of our conformal framework: full conformal inference and split conformal inference, along with a related jackknife method. These methods offer different tradeoffs between statistical accuracy (length of resulting prediction intervals) and computational efficiency. As extensions, we develop a method for constructing valid in-sample prediction intervals called rank-one-out conformal inference, which has essentially the same computational efficiency as split conformal inference. We also describe an extension of our procedures for producing prediction bands with locally varying length, in order to adapt to heteroskedascity in the data. Finally, we propose a model-free notion of variable importance, called leave-one-covariate-out or LOCO inference. Accompanying this paper is an R package conformalInference that implements all of the proposals we have introduced. In the spirit of reproducibility, all of our empirical results can also be easily (re)generated using this package.