共形预测是一种简单而强大的工具，可以无需任何分布假设来量化不确定性。但是，现有方法只能提供平均覆盖范围保证，这与更强的条件覆盖范围保证相比并不理想。尽管实现确切的条件覆盖范围是不可能的，但近似条件覆盖范围仍然是一个重要的研究方向。在本文中，我们通过利用条件分布的局部近似来提出修改的不符合得分。修改后的分数继承了分裂保形方法的精神，与完整的保形方法相比，这是简单而有效的，但更好地近似条件覆盖范围保证。各种数据集的经验结果，包括图像上的高维年龄回归，表明我们的方法与现有方法相比提供了更紧密的间隔。

We develop a general framework for distribution-free predictive inference in regression, using conformal inference. The proposed methodology allows for the construction of a prediction band for the response variable using any estimator of the regression function. The resulting prediction band preserves the consistency properties of the original estimator under standard assumptions, while guaranteeing finite-sample marginal coverage even when these assumptions do not hold. We analyze and compare, both empirically and theoretically, the two major variants of our conformal framework: full conformal inference and split conformal inference, along with a related jackknife method. These methods offer different tradeoffs between statistical accuracy (length of resulting prediction intervals) and computational efficiency. As extensions, we develop a method for constructing valid in-sample prediction intervals called rank-one-out conformal inference, which has essentially the same computational efficiency as split conformal inference. We also describe an extension of our procedures for producing prediction bands with locally varying length, in order to adapt to heteroskedascity in the data. Finally, we propose a model-free notion of variable importance, called leave-one-covariate-out or LOCO inference. Accompanying this paper is an R package conformalInference that implements all of the proposals we have introduced. In the spirit of reproducibility, all of our empirical results can also be easily (re)generated using this package.

在过去几十年中，已经提出了各种方法，用于估计回归设置中的预测间隔，包括贝叶斯方法，集合方法，直接间隔估计方法和保形预测方法。重要问题是这些方法的校准：生成的预测间隔应该具有预定义的覆盖水平，而不会过于保守。在这项工作中，我们从概念和实验的角度审查上述四类方法。结果来自各个域的基准数据集突出显示从一个数据集中的性能的大波动。这些观察可能归因于违反某些类别的某些方法所固有的某些假设。我们说明了如何将共形预测用作提供不具有校准步骤的方法的方法的一般校准程序。

现在通常用于高风险设置，如医疗诊断，如医疗诊断，那么需要不确定量化，以避免后续模型失败。无分发的不确定性量化（无分布UQ）是用户友好的范式，用于为这种预测创建统计上严格的置信区间/集合。批判性地，间隔/集合有效而不进行分布假设或模型假设，即使具有最多许多DataPoints也具有显式保证。此外，它们适应输入的难度;当输入示例很困难时，不确定性间隔/集很大，信号传达模型可能是错误的。在没有多大的工作和没有再培训的情况下，可以在任何潜在的算法（例如神经网络）上使用无分​​发方法，以产生置信度集，以便包含用户指定概率，例如90％。实际上，这些方法易于理解和一般，应用于计算机视觉，自然语言处理，深度加强学习等领域出现的许多现代预测问题。这种实践介绍是针对对无需统计学家的免费UQ的实际实施感兴趣的读者。我们通过实际的理论和无分发UQ的应用领导读者，从保形预测开始，并使无关的任何风险的分布控制，如虚假发现率，假阳性分布检测，等等。我们将包括Python中的许多解释性插图，示例和代码样本，具有Pytorch语法。目标是提供读者对无分配UQ的工作理解，使它们能够将置信间隔放在算法上，其中包含一个自包含的文档。

We present a new distribution-free conformal prediction algorithm for sequential data (e.g., time series), called the \textit{sequential predictive conformal inference} (\texttt{SPCI}). We specifically account for the nature that the time series data are non-exchangeable, and thus many existing conformal prediction algorithms based on temporal residuals are not applicable. The main idea is to exploit the temporal dependence of conformity scores; thus, the past conformity scores contain information about future ones. Then we cast the problem of conformal prediction interval as predicting the quantile of a future residual, given a prediction algorithm. Theoretically, we establish asymptotic valid conditional coverage upon extending consistency analyses in quantile regression. Using simulation and real-data experiments, we demonstrate a significant reduction in interval width of \texttt{SPCI} compared to other existing methods under the desired empirical coverage.

We develop a method to generate predictive regions that cover a multivariate response variable with a user-specified probability. Our work is composed of two components. First, we use a deep generative model to learn a representation of the response that has a unimodal distribution. Existing multiple-output quantile regression approaches are effective in such cases, so we apply them on the learned representation, and then transform the solution to the original space of the response. This process results in a flexible and informative region that can have an arbitrary shape, a property that existing methods lack. Second, we propose an extension of conformal prediction to the multivariate response setting that modifies any method to return sets with a pre-specified coverage level. The desired coverage is theoretically guaranteed in the finite-sample case for any distribution. Experiments conducted on both real and synthetic data show that our method constructs regions that are significantly smaller compared to existing techniques.

有效的决策需要了解预测中固有的不确定性。在回归中，这种不确定性可以通过各种方法估算;然而，许多这些方法对调谐进行费力，产生过度自确性的不确定性间隔，或缺乏敏锐度（给予不精确的间隔）。我们通过提出一种通过定义具有两个不同损失功能的神经网络来捕获回归中的预测分布的新方法来解决这些挑战。具体地，一个网络近似于累积分布函数，第二网络近似于其逆。我们将此方法称为合作网络（CN）。理论分析表明，优化的固定点处于理想化的解决方案，并且该方法是渐近的与地面真理分布一致。凭经验，学习是简单且强大的。我们基准CN对两个合成和六个现实世界数据集的几种常见方法，包括预测来自电子健康记录的糖尿病患者的A1C值，其中不确定是至关重要的。在合成数据中，所提出的方法与基本上匹配地面真理。在真实世界数据集中，CN提高了许多性能度量的结果，包括对数似然估计，平均误差，覆盖估计和预测间隔宽度。

我们提出\ textbf {jaws}，这是一系列用于无分配的不确定性量化任务的包装方法，以协变量偏移为中心，以我们的核心方法\ textbf {jaw}为中心，\ textbf {ja} ckknife+ \ textbf {w}八 - 重量。下巴还包括使用高阶影响函数的JAW的计算有效\ TextBf {a} pproximations：\ textbf {jawa}。从理论上讲，我们表明JAW放宽了Jackknife+对数据交换性的假设，即使在协变量转移下，也可以实现相同的有限样本覆盖范围保证。 Jawa在轻度假设下进一步以样本量或影响函数顺序的限制接近JAW保证。此外，我们提出了一种通用方法，以重新利用任何无分配不确定性量化方法及其对风险评估的任务的保证：该任务产生了真正标签在用户指定间隔内的估计概率。然后，我们将\ textbf {Jaw-r}和\ textbf {Jawa-r}作为\ textbf {r} ISK评估的建议方法的重新定义版本。实际上，在各种有偏见的现实世界数据集中，下颌的最先进的预测推理基准都超出了间隔生成和风险评估审计任务的偏差。

在回归设置中量化不确定性的许多方法中，指定完整量子函数具有吸引力，随着量级可用于解释和评估。预测每个输入的真实条件定量的模型，在所有量化水平上都具有潜在的不确定性的正确和有效的表示。为实现这一目标，许多基于当前的分位式的方法侧重于优化所谓的弹球损失。然而，这种损失限制了适用的回归模型的范围，限制了靶向许多所需特性的能力（例如校准，清晰度，中心间隔），并且可能产生差的条件量数。在这项工作中，我们开发了满足这些缺点的新分位式方法。特别是，我们提出了可以适用于任何类别的回归模型的方法，允许在校准和清晰度之间选择权衡，优化校准中心间隔，并产生更准确的条件定位。我们对我们的方法提供了彻底的实验评估，其中包括核融合中的高维不确定性量化任务。

This paper presents a novel probabilistic forecasting method called ensemble conformalized quantile regression (EnCQR). EnCQR constructs distribution-free and approximately marginally valid prediction intervals (PIs), which are suitable for nonstationary and heteroscedastic time series data. EnCQR can be applied on top of a generic forecasting model, including deep learning architectures. EnCQR exploits a bootstrap ensemble estimator, which enables the use of conformal predictors for time series by removing the requirement of data exchangeability. The ensemble learners are implemented as generic machine learning algorithms performing quantile regression, which allow the length of the PIs to adapt to local variability in the data. In the experiments, we predict time series characterized by a different amount of heteroscedasticity. The results demonstrate that EnCQR outperforms models based only on quantile regression or conformal prediction, and it provides sharper, more informative, and valid PIs.

Conformal prediction constructs a confidence set for an unobserved response of a feature vector based on previous identically distributed and exchangeable observations of responses and features. It has a coverage guarantee at any nominal level without additional assumptions on their distribution. Its computation deplorably requires a refitting procedure for all replacement candidates of the target response. In regression settings, this corresponds to an infinite number of model fits. Apart from relatively simple estimators that can be written as pieces of linear function of the response, efficiently computing such sets is difficult, and is still considered as an open problem. We exploit the fact that, \emph{often}, conformal prediction sets are intervals whose boundaries can be efficiently approximated by classical root-finding algorithms. We investigate how this approach can overcome many limitations of formerly used strategies; we discuss its complexity and drawbacks.

上下文匪徒的大多数非政策评估方法都集中在政策的预期结果上，该方法是通过最多只能提供渐近保证的方法来估算的。但是，在许多应用中，期望可能不是最佳绩效衡量标准，因为它不会捕获结果的可变性。此外，特别是在关键安全环境中，可能需要比渐近正确性更强的保证。为了解决这些局限性，我们考虑了对上下文匪徒的保形预测的新颖应用。给定在行为策略中收集的数据，我们建议\ emph {condormal非政策预测}（COPP），该数据可以在新目标策略下为结果输出可靠的预测间隔。我们提供理论有限样本的保证，而无需做出任何其他假设，而不是标准的上下文匪徒设置，并且与现有的合成和现实世界数据相比，经验证明了COPP的实用性。

在这项工作中，我们对基本思想和新颖的发展进行了综述的综述，这是基于最小的假设的一种无创新的，无分配的，非参数预测的方法 - 能够以非常简单的方式预测集屈服在有限样本案例中，在统计意义上也有效。论文中提供的深入讨论涵盖了共形预测的理论基础，然后继续列出原始想法的更高级的发展和改编。

分位数回归是统计学习中的一个基本问题，这是由于需要量化预测中的不确定性或对多样化的人群建模而不过分减少的统计学习。例如，流行病学预测，成本估算和收入预测都可以准确地量化可能的值的范围。因此，在计量经济学，统计和机器学习的多年研究中，已经为这个问题开发了许多模型。而不是提出另一种（新的）算法用于分位数回归，而是采用元观点：我们研究用于汇总任意数量的有条件分位模型的方法，以提高准确性和鲁棒性。我们考虑加权合奏，其中权重不仅可能因单个模型，而且要多于分位数和特征值而变化。我们在本文中考虑的所有模型都可以使用现代深度学习工具包适合，因此可以广泛访问（从实现的角度）和可扩展。为了提高预测分位数的准确性（或等效地，预测间隔），我们开发了确保分位数保持单调排序的工具，并采用保形校准方法。可以使用这些，而无需对原始模型的原始库进行任何修改。我们还回顾了一些围绕分数聚集和相关评分规则的基本理论，并为该文献做出了一些新的结果（例如，在分类或等渗后回归只能提高加权间隔得分的事实）。最后，我们提供了来自两个不同基准存储库的34个数据集的广泛的经验比较套件。

机器学习方法越来越广泛地用于医疗保健，运输和金融等高危环境中。在这些环境中，重要的是，模型要产生校准的不确定性以反映其自信并避免失败。在本文中，我们调查了有关深度学习的不确定性定量（UQ）的最新著作，特别是针对其数学属性和广泛适用性的无分配保形方法。我们将涵盖共形方法的理论保证，引入在时空数据的背景下提高UQ的校准和效率的技术，并讨论UQ在安全决策中的作用。

共形分位回归是一种继承保形预测和分数回归的优势的程序。也就是说，我们使用分位数回归来估计真正的条件分位数，然后在校准集中应用一个共形步骤以确保边缘覆盖率。通过这种方式，我们获得了解释异质性的自适应预测间隔。然而，如（Romano等，2019）所述，上述形式缺乏适应性。为了克服这一限制，我们建议在估计有条件的分位数后使用分位数回归后应用单个共形步骤，而是建议将解释变量通过优化的k均值加权的解释变量聚集，并应用k的共形步骤。为了证明此改进的版本优于共形分位数回归的经典版本，并且更适合异方差，我们可以广泛比较开放数据集中两者的预测间隔。

本文提出了概率共形预测（PCP），这是一种预测推理算法，该算法通过不连续的预测集估算目标变量。给定输入，PCP基于估计生成模型的随机样品构建预测集。它有效且与显式或隐式有条件生成模型兼容。从理论上讲，我们表明PCP可以保证使用有限样品正确的边际覆盖范围。从经验上讲，我们研究了PCP在各种模拟和真实数据集上。与现有的共形推断方法相比，PCP提供了更清晰的预测集。

In many applications, heterogeneous treatment effects on a censored response variable are of primary interest, and it is natural to evaluate the effects at different quantiles (e.g., median). The large number of potential effect modifiers, the unknown structure of the treatment effects, and the presence of right censoring pose significant challenges. In this paper, we develop a hybrid forest approach called Hybrid Censored Quantile Regression Forest (HCQRF) to assess the heterogeneous effects varying with high-dimensional variables. The hybrid estimation approach takes advantage of the random forests and the censored quantile regression. We propose a doubly-weighted estimation procedure that consists of a redistribution-of-mass weight to handle censoring and an adaptive nearest neighbor weight derived from the forest to handle high-dimensional effect functions. We propose a variable importance decomposition to measure the impact of a variable on the treatment effect function. Extensive simulation studies demonstrate the efficacy and stability of HCQRF. The result of the simulation study also convinces us of the effectiveness of the variable importance decomposition. We apply HCQRF to a clinical trial of colorectal cancer. We achieve insightful estimations of the treatment effect and meaningful variable importance results. The result of the variable importance also confirms the necessity of the decomposition.

我们研究保形预测的鲁棒性，这是标记噪声的不确定性定量的强大工具。我们的分析解决了回归和分类问题，表征了何时以及如何构建正确覆盖未观察到的无噪音地面真相标签的不确定性集。通过风格化的理论示例和实际实验，我们认为天真的保形预测涵盖了无噪声的地面真相标签，除非噪声分布是对手设计的。这使我们相信，除了病理数据分布或噪声源外，对标签噪声的纠正是不必要的。在这种情况下，我们还可以在保形预测算法中校正有界大小的噪声，以确保在没有得分或数据规律性的情况下正确覆盖地面真相标签。

数据质量的系统量化对于一致的模型性能至关重要。先前的工作集中在分发数据上。取而代之的是，我们解决了一个研究了一个研究的且同样重要的问题，即表征不协调的区域（ID）数据，这可能是由特征空间异质性引起的。为此，我们提出了使用数据套件的范式转移：一个以数据为中心的AI框架来识别这些区域，而与特定于任务的模型无关。数据套件利用Copula建模，表示学习和共形预测，以基于一组培训实例来构建功能置信区间估计器。这些估计器可用于评估有关培训集的测试实例的一致性，以回答两个实际有用的问题：（1）通过培训培训实例培训的模型可以可靠地预测哪些测试实例？ （2）我们可以确定功能空间的不协调区域，以便数据所有者了解数据的局限性还是指导未来数据收集？我们从经验上验证了数据套件的性能和覆盖范围保证，并在跨站点的医疗数据，有偏见的数据以及具有概念漂移的数据上证明，数据套件最能确定下游模型可能是可靠的ID区域（与所述模型无关）。我们还说明了这些确定的区域如何为数据集提供见解并突出其局限性。