现在通常用于高风险设置，如医疗诊断，如医疗诊断，那么需要不确定量化，以避免后续模型失败。无分发的不确定性量化（无分布UQ）是用户友好的范式，用于为这种预测创建统计上严格的置信区间/集合。批判性地，间隔/集合有效而不进行分布假设或模型假设，即使具有最多许多DataPoints也具有显式保证。此外，它们适应输入的难度;当输入示例很困难时，不确定性间隔/集很大，信号传达模型可能是错误的。在没有多大的工作和没有再培训的情况下，可以在任何潜在的算法（例如神经网络）上使用无分​​发方法，以产生置信度集，以便包含用户指定概率，例如90％。实际上，这些方法易于理解和一般，应用于计算机视觉，自然语言处理，深度加强学习等领域出现的许多现代预测问题。这种实践介绍是针对对无需统计学家的免费UQ的实际实施感兴趣的读者。我们通过实际的理论和无分发UQ的应用领导读者，从保形预测开始，并使无关的任何风险的分布控制，如虚假发现率，假阳性分布检测，等等。我们将包括Python中的许多解释性插图，示例和代码样本，具有Pytorch语法。目标是提供读者对无分配UQ的工作理解，使它们能够将置信间隔放在算法上，其中包含一个自包含的文档。

我们介绍了学习然后测试，校准机器学习模型的框架，使其预测满足明确的，有限样本统计保证，无论底层模型如何和（未知）数据生成分布。框架地址，以及在其他示例中，在多标签分类中的错误发现速率控制，在实例分割中交叉联盟控制，以及同时控制分类或回归中的异常检测和置信度覆盖的类型误差。为实现这一目标，我们解决了一个关键的技术挑战：控制不一定单调的任意风险。我们的主要洞察力是将风险控制问题重新构建为多个假设检测，使技术和数学论据不同于先前文献中的技术。我们使用我们的框架为多个核心机器学习任务提供新的校准方法，在计算机视觉中具有详细的工作示例。

部署在现实世界中时，机器学习模型不可避免地遇到数据分布的变化，并且某些 - 但不是全部分布班可能导致显着的性能下降。在实践中，忽略良性移位可能是有意义的，在该频率下，部署模型的性能不会显着降低，不必要地制作人类专家（或模型再培训）的干预。虽然有几种作品已经开发了用于分发班次的测试，但这些通常使用非顺序方法，或者检测任意班次（良性或有害）或两者。我们认为，用于解雇警告的明智方法（a）检测有害移位，同时忽略良性换档，并且（b）允许连续监测模型性能，而不会增加误报率。在这项工作中，我们设计了简单的顺序工具，用于测试源（训练）和目标（测试）分布之间的差异导致感兴趣的风险函数的显着增加，如准确性或校准。构建时均匀置信度序列的最新进展允许在跟踪过程中积累的统计证据进行高效聚合。设计的框架适用于在执行预测之后（某些）真正标签的设置中，或者当批次以延迟的方式获得时批次。我们通过对模拟和真实数据集的集合的广泛实证研究展示了拟议的框架的功效。

在这项工作中，我们对基本思想和新颖的发展进行了综述的综述，这是基于最小的假设的一种无创新的，无分配的，非参数预测的方法 - 能够以非常简单的方式预测集屈服在有限样本案例中，在统计意义上也有效。论文中提供的深入讨论涵盖了共形预测的理论基础，然后继续列出原始想法的更高级的发展和改编。

卷积图像分类器可以实现高预测的准确性，但是量化其不确定性仍然是尚未解决的挑战，阻碍了他们在结果环境中的部署。现有的不确定性量化技术（例如PLATT缩放）试图校准网络的概率估计，但它们没有正式的保证。我们提出了一种算法，该算法会修改任何分类器，以输出包含具有用户指定概率的真实标签的预测集，例如90％。该算法像PLATT缩放一样简单快捷，但为每个模型和数据集提供了正式的有限样本覆盖范围保证。我们的方法修改了现有的保形预测算法，从而通过在PLATT缩放后正规化不太可能的类别分数来提供更稳定的预测集。在具有RESNET-152和其他分类器的ImageNet和Imagenet-V2的实验中，我们的方案的表现优于现有方法，通过通常比独立PLATT缩放基线小的5到10个因素实现覆盖范围。

The ability to quickly and accurately identify covariate shift at test time is a critical and often overlooked component of safe machine learning systems deployed in high-risk domains. While methods exist for detecting when predictions should not be made on out-of-distribution test examples, identifying distributional level differences between training and test time can help determine when a model should be removed from the deployment setting and retrained. In this work, we define harmful covariate shift (HCS) as a change in distribution that may weaken the generalization of a predictive model. To detect HCS, we use the discordance between an ensemble of classifiers trained to agree on training data and disagree on test data. We derive a loss function for training this ensemble and show that the disagreement rate and entropy represent powerful discriminative statistics for HCS. Empirically, we demonstrate the ability of our method to detect harmful covariate shift with statistical certainty on a variety of high-dimensional datasets. Across numerous domains and modalities, we show state-of-the-art performance compared to existing methods, particularly when the number of observed test samples is small.

A flexible method is developed to construct a confidence interval for the frequency of a queried object in a very large data set, based on a much smaller sketch of the data. The approach requires no knowledge of the data distribution or of the details of the sketching algorithm; instead, it constructs provably valid frequentist confidence intervals for random queries using a conformal inference approach. After achieving marginal coverage for random queries under the assumption of data exchangeability, the proposed method is extended to provide stronger inferences accounting for possibly heterogeneous frequencies of different random queries, redundant queries, and distribution shifts. While the presented methods are broadly applicable, this paper focuses on use cases involving the count-min sketch algorithm and a non-linear variation thereof, to facilitate comparison to prior work. In particular, the developed methods are compared empirically to frequentist and Bayesian alternatives, through simulations and experiments with data sets of SARS-CoV-2 DNA sequences and classic English literature.

机器学习方法越来越广泛地用于医疗保健，运输和金融等高危环境中。在这些环境中，重要的是，模型要产生校准的不确定性以反映其自信并避免失败。在本文中，我们调查了有关深度学习的不确定性定量（UQ）的最新著作，特别是针对其数学属性和广泛适用性的无分配保形方法。我们将涵盖共形方法的理论保证，引入在时空数据的背景下提高UQ的校准和效率的技术，并讨论UQ在安全决策中的作用。

本文介绍了分类器校准原理和实践的简介和详细概述。校准的分类器正确地量化了与其实例明智的预测相关的不确定性或信心水平。这对于关键应用，最佳决策，成本敏感的分类以及某些类型的上下文变化至关重要。校准研究具有丰富的历史，其中几十年来预测机器学习作为学术领域的诞生。然而，校准兴趣的最近增加导致了新的方法和从二进制到多种子体设置的扩展。需要考虑的选项和问题的空间很大，并导航它需要正确的概念和工具集。我们提供了主要概念和方法的介绍性材料和最新的技术细节，包括适当的评分规则和其他评估指标，可视化方法，全面陈述二进制和多字数分类的HOC校准方法，以及几个先进的话题。

The notion of uncertainty is of major importance in machine learning and constitutes a key element of machine learning methodology. In line with the statistical tradition, uncertainty has long been perceived as almost synonymous with standard probability and probabilistic predictions. Yet, due to the steadily increasing relevance of machine learning for practical applications and related issues such as safety requirements, new problems and challenges have recently been identified by machine learning scholars, and these problems may call for new methodological developments. In particular, this includes the importance of distinguishing between (at least) two different types of uncertainty, often referred to as aleatoric and epistemic. In this paper, we provide an introduction to the topic of uncertainty in machine learning as well as an overview of attempts so far at handling uncertainty in general and formalizing this distinction in particular.

本文开发了新型的保形方法，以测试是否从与参考集相同的分布中采样了新的观察结果。以创新的方式将感应性和偏置的共形推断融合，所描述的方法可以以原则性的方式基于已知的分布式数据的依赖侧信息重新权重标准p值，并且可以自动利用最强大的优势来自任何一级和二进制分类器的模型。该解决方案可以通过样品分裂或通过新颖的转置交叉验证+方案来实现，该方案与现有的交叉验证方法相比，由于更严格的保证，这也可能在共形推理的其他应用中有用。在研究错误的发现率控制和在具有几个可能的离群值的多个测试框架内的虚假发现率控制和功率之后，提出的解决方案被证明通过模拟以及用于图像识别和表格数据的应用超过了标准的共形P值。

本文衍生了置信区间（CI）和时间统一的置信序列（CS），用于从有限观测值中估算未知平均值的经典问题。我们提出了一种衍生浓度界限的一般方法，可以看作是著名的切尔诺夫方法的概括（和改进）。它的核心是基于推导一类新的复合非负胸腔，通过投注和混合方法与测试的连接很强。我们展示了如何将这些想法扩展到无需更换的情况下，这是另一个经过深入研究的问题。在所有情况下，我们的界限都适应未知的差异，并且基于Hoeffding或经验的Bernstein不平等及其最近的Supermartingale概括，经验上大大优于现有方法。简而言之，我们为四个基本问题建立了一个新的最先进的问题：在有或没有替换的情况下进行采样时，CS和CI进行有限的手段。

Virtually all machine learning tasks are characterized using some form of loss function, and "good performance" is typically stated in terms of a sufficiently small average loss, taken over the random draw of test data. While optimizing for performance on average is intuitive, convenient to analyze in theory, and easy to implement in practice, such a choice brings about trade-offs. In this work, we survey and introduce a wide variety of non-traditional criteria used to design and evaluate machine learning algorithms, place the classical paradigm within the proper historical context, and propose a view of learning problems which emphasizes the question of "what makes for a desirable loss distribution?" in place of tacit use of the expected loss.

We develop a general framework for distribution-free predictive inference in regression, using conformal inference. The proposed methodology allows for the construction of a prediction band for the response variable using any estimator of the regression function. The resulting prediction band preserves the consistency properties of the original estimator under standard assumptions, while guaranteeing finite-sample marginal coverage even when these assumptions do not hold. We analyze and compare, both empirically and theoretically, the two major variants of our conformal framework: full conformal inference and split conformal inference, along with a related jackknife method. These methods offer different tradeoffs between statistical accuracy (length of resulting prediction intervals) and computational efficiency. As extensions, we develop a method for constructing valid in-sample prediction intervals called rank-one-out conformal inference, which has essentially the same computational efficiency as split conformal inference. We also describe an extension of our procedures for producing prediction bands with locally varying length, in order to adapt to heteroskedascity in the data. Finally, we propose a model-free notion of variable importance, called leave-one-covariate-out or LOCO inference. Accompanying this paper is an R package conformalInference that implements all of the proposals we have introduced. In the spirit of reproducibility, all of our empirical results can also be easily (re)generated using this package.

预测一组结果 - 而不是独特的结果 - 是统计学习中不确定性定量的有前途的解决方案。尽管有关于构建具有统计保证的预测集的丰富文献，但适应未知的协变量转变（实践中普遍存在的问题）还是一个严重的未解决的挑战。在本文中，我们表明具有有限样本覆盖范围保证的预测集是非信息性的，并提出了一种新型的无灵活分配方法PredSet-1Step，以有效地构建了在未知协方差转移下具有渐近覆盖范围保证的预测集。我们正式表明我们的方法是\ textIt {渐近上可能是近似正确}，对大型样本的置信度有很好的覆盖误差。我们说明，在南非队列研究中，它在许多实验和有关HIV风险预测的数据集中实现了名义覆盖范围。我们的理论取决于基于一般渐近线性估计器的WALD置信区间覆盖范围的融合率的新结合。

对未来观察的预测是一个重要且具有挑战性的问题。分别量化预测不确定性使用预测区域和预测分布的两种主流方法，后者认为更具信息性，因为它可以执行其他与预测相关的任务。有效性的标准概念（我们在这里称为1型有效性）着重于预测区域的覆盖范围，而与预测分布执行的其他与预测相关的任务相关的有效性概念则缺乏。在这里，我们提出了一个新概念，称为2型有效性，与这些其他预测任务有关。我们建立了2型有效性和相干性能之间的联系，并表明为实现它而需要不精确的概率考虑因素。我们继续表明，可以通过将共形预测输出作为辅音合理性度量的轮廓函数来实现两种类型的预测有效性。我们还基于新的非参数推论模型构建提供了保​​形预测的替代表征，其中辅音的出现是自然的，并证明了其有效性。

在过去几十年中，已经提出了各种方法，用于估计回归设置中的预测间隔，包括贝叶斯方法，集合方法，直接间隔估计方法和保形预测方法。重要问题是这些方法的校准：生成的预测间隔应该具有预定义的覆盖水平，而不会过于保守。在这项工作中，我们从概念和实验的角度审查上述四类方法。结果来自各个域的基准数据集突出显示从一个数据集中的性能的大波动。这些观察可能归因于违反某些类别的某些方法所固有的某些假设。我们说明了如何将共形预测用作提供不具有校准步骤的方法的方法的一般校准程序。

我们开发了一个框架，用于在线环境中使用有效的覆盖范围保证构建不确定性集，其中基础数据分布可以急剧（甚至对手）随着时间的推移而发生巨大变化。我们提出的技术非常灵活，因为它可以与任何在线学习算法集成，需要最低限度的实施工作和计算成本。我们方法比现有替代方案的关键优势（也基于共形推断）是我们不需要将数据分为培训和保持校准集。这使我们能够以完全在线的方式拟合预测模型，并利用最新的观察结果来构建校准的不确定性集。因此，与现有技术相反，（i）我们构建的集合可以迅速适应分布的新变化； （ii）我们的过程不需要在每个时间步骤进行改装。使用合成和现实世界的基准数据集，我们证明了理论的有效性以及提案对现有技术的提高绩效。为了证明所提出的方法的更大灵活性，我们展示了如何为多出输出回归问题构造有效的间隔，而以前的顺序校准方法由于不切实际的计算和内存需求而无法处理。

Classical asymptotic theory for statistical inference usually involves calibrating a statistic by fixing the dimension $d$ while letting the sample size $n$ increase to infinity. Recently, much effort has been dedicated towards understanding how these methods behave in high-dimensional settings, where $d$ and $n$ both increase to infinity together. This often leads to different inference procedures, depending on the assumptions about the dimensionality, leaving the practitioner in a bind: given a dataset with 100 samples in 20 dimensions, should they calibrate by assuming $n \gg d$, or $d/n \approx 0.2$? This paper considers the goal of dimension-agnostic inference; developing methods whose validity does not depend on any assumption on $d$ versus $n$. We introduce an approach that uses variational representations of existing test statistics along with sample splitting and self-normalization to produce a new test statistic with a Gaussian limiting distribution, regardless of how $d$ scales with $n$. The resulting statistic can be viewed as a careful modification of degenerate U-statistics, dropping diagonal blocks and retaining off-diagonal blocks. We exemplify our technique for some classical problems including one-sample mean and covariance testing, and show that our tests have minimax rate-optimal power against appropriate local alternatives. In most settings, our cross U-statistic matches the high-dimensional power of the corresponding (degenerate) U-statistic up to a $\sqrt{2}$ factor.

背景信息：在过去几年中，机器学习（ML）一直是许多创新的核心。然而，包括在所谓的“安全关键”系统中，例如汽车或航空的系统已经被证明是非常具有挑战性的，因为ML的范式转变为ML带来完全改变传统认证方法。目的：本文旨在阐明与ML为基础的安全关键系统认证有关的挑战，以及文献中提出的解决方案，以解决它们，回答问题的问题如何证明基于机器学习的安全关键系统？'方法：我们开展2015年至2020年至2020年之间发布的研究论文的系统文献综述（SLR），涵盖了与ML系统认证有关的主题。总共确定了217篇论文涵盖了主题，被认为是ML认证的主要支柱：鲁棒性，不确定性，解释性，验证，安全强化学习和直接认证。我们分析了每个子场的主要趋势和问题，并提取了提取的论文的总结。结果：单反结果突出了社区对该主题的热情，以及在数据集和模型类型方面缺乏多样性。它还强调需要进一步发展学术界和行业之间的联系，以加深域名研究。最后，它还说明了必须在上面提到的主要支柱之间建立连接的必要性，这些主要柱主要主要研究。结论：我们强调了目前部署的努力，以实现ML基于ML的软件系统，并讨论了一些未来的研究方向。