在监视机器学习系统时，均匀性的两样本测试构成了现有的漂移检测构建方法的基础。它们用于测试证据表明，最近部署数据的分布与历史参考数据的基础数据不同。但是，通常，诸如时间诱导的相关性等各种因素意味着，预计最近的部署数据不会形成I.I.D.来自历史数据分布的样本。取而代之的是，我们可能希望测试允许更改的\ textit {Context}条件上的分布差异。为了促进这一点，我们从因果推理域借用机械，以开发出更通用的漂移检测框架，建立在有条件分布治疗效果的两样本测试基础上。我们建议根据最大条件平均差异对框架进行特定的实例化。然后，我们提供了一项实证研究，证明了其对实践感兴趣的各种漂移检测问题的有效性，例如以对其各自的流行率不敏感的方式检测数据基础分布的漂移。该研究还证明了对成像网尺度视力问题的适用性。

We propose a framework for analyzing and comparing distributions, which we use to construct statistical tests to determine if two samples are drawn from different distributions. Our test statistic is the largest difference in expectations over functions in the unit ball of a reproducing kernel Hilbert space (RKHS), and is called the maximum mean discrepancy (MMD). We present two distributionfree tests based on large deviation bounds for the MMD, and a third test based on the asymptotic distribution of this statistic. The MMD can be computed in quadratic time, although efficient linear time approximations are available. Our statistic is an instance of an integral probability metric, and various classical metrics on distributions are obtained when alternative function classes are used in place of an RKHS. We apply our two-sample tests to a variety of problems, including attribute matching for databases using the Hungarian marriage method, where they perform strongly. Excellent performance is also obtained when comparing distributions over graphs, for which these are the first such tests.

我们提出了一种基于最大平均差异（MMD）的新型非参数两样本测试，该测试是通过具有不同核带宽的聚合测试来构建的。这种称为MMDAGG的聚合过程可确保对所使用的内核的收集最大化测试能力，而无需持有核心选择的数据（这会导致测试能力损失）或任意内核选择，例如中位数启发式。我们在非反应框架中工作，并证明我们的聚集测试对Sobolev球具有最小自适应性。我们的保证不仅限于特定的内核，而是符合绝对可集成的一维翻译不变特性内核的任何产品。此外，我们的结果适用于流行的数值程序来确定测试阈值，即排列和野生引导程序。通过对合成数据集和现实世界数据集的数值实验，我们证明了MMDAGG优于MMD内核适应的替代方法，用于两样本测试。

找到与治疗效果差异相关的特征对于揭示基本因果机制至关重要。现有方法通过测量特征属性如何影响{\ iT条件平均治疗效果}（CATE）的程度来寻求此类特征。但是，这些方法可能会忽略重要特征，因为CATE是平均治疗效果的度量，无法检测到平均值以外的其他分布参数（例如方差）的差异。为了解决现有方法的这种弱点，我们提出了一个特征选择框架，以发现{\ IT分布处理效果修饰符}。我们首先制定特征重要性度量，该指标量化特征属性如何影响潜在结果分布之间的差异。然后，我们得出其计算高效的估计器，并开发了一个功能选择算法，该算法可以将I型错误率控制为所需级别。实验结果表明，我们的框架成功地发现了重要特征，并优于现有的基于均值的方法。

The ability to quickly and accurately identify covariate shift at test time is a critical and often overlooked component of safe machine learning systems deployed in high-risk domains. While methods exist for detecting when predictions should not be made on out-of-distribution test examples, identifying distributional level differences between training and test time can help determine when a model should be removed from the deployment setting and retrained. In this work, we define harmful covariate shift (HCS) as a change in distribution that may weaken the generalization of a predictive model. To detect HCS, we use the discordance between an ensemble of classifiers trained to agree on training data and disagree on test data. We derive a loss function for training this ensemble and show that the disagreement rate and entropy represent powerful discriminative statistics for HCS. Empirically, we demonstrate the ability of our method to detect harmful covariate shift with statistical certainty on a variety of high-dimensional datasets. Across numerous domains and modalities, we show state-of-the-art performance compared to existing methods, particularly when the number of observed test samples is small.

The kernel Maximum Mean Discrepancy~(MMD) is a popular multivariate distance metric between distributions that has found utility in two-sample testing. The usual kernel-MMD test statistic is a degenerate U-statistic under the null, and thus it has an intractable limiting distribution. Hence, to design a level-$\alpha$ test, one usually selects the rejection threshold as the $(1-\alpha)$-quantile of the permutation distribution. The resulting nonparametric test has finite-sample validity but suffers from large computational cost, since every permutation takes quadratic time. We propose the cross-MMD, a new quadratic-time MMD test statistic based on sample-splitting and studentization. We prove that under mild assumptions, the cross-MMD has a limiting standard Gaussian distribution under the null. Importantly, we also show that the resulting test is consistent against any fixed alternative, and when using the Gaussian kernel, it has minimax rate-optimal power against local alternatives. For large sample sizes, our new cross-MMD provides a significant speedup over the MMD, for only a slight loss in power.

Classical asymptotic theory for statistical inference usually involves calibrating a statistic by fixing the dimension $d$ while letting the sample size $n$ increase to infinity. Recently, much effort has been dedicated towards understanding how these methods behave in high-dimensional settings, where $d$ and $n$ both increase to infinity together. This often leads to different inference procedures, depending on the assumptions about the dimensionality, leaving the practitioner in a bind: given a dataset with 100 samples in 20 dimensions, should they calibrate by assuming $n \gg d$, or $d/n \approx 0.2$? This paper considers the goal of dimension-agnostic inference; developing methods whose validity does not depend on any assumption on $d$ versus $n$. We introduce an approach that uses variational representations of existing test statistics along with sample splitting and self-normalization to produce a new test statistic with a Gaussian limiting distribution, regardless of how $d$ scales with $n$. The resulting statistic can be viewed as a careful modification of degenerate U-statistics, dropping diagonal blocks and retaining off-diagonal blocks. We exemplify our technique for some classical problems including one-sample mean and covariance testing, and show that our tests have minimax rate-optimal power against appropriate local alternatives. In most settings, our cross U-statistic matches the high-dimensional power of the corresponding (degenerate) U-statistic up to a $\sqrt{2}$ factor.

部署在现实世界中时，机器学习模型不可避免地遇到数据分布的变化，并且某些 - 但不是全部分布班可能导致显着的性能下降。在实践中，忽略良性移位可能是有意义的，在该频率下，部署模型的性能不会显着降低，不必要地制作人类专家（或模型再培训）的干预。虽然有几种作品已经开发了用于分发班次的测试，但这些通常使用非顺序方法，或者检测任意班次（良性或有害）或两者。我们认为，用于解雇警告的明智方法（a）检测有害移位，同时忽略良性换档，并且（b）允许连续监测模型性能，而不会增加误报率。在这项工作中，我们设计了简单的顺序工具，用于测试源（训练）和目标（测试）分布之间的差异导致感兴趣的风险函数的显着增加，如准确性或校准。构建时均匀置信度序列的最新进展允许在跟踪过程中积累的统计证据进行高效聚合。设计的框架适用于在执行预测之后（某些）真正标签的设置中，或者当批次以延迟的方式获得时批次。我们通过对模拟和真实数据集的集合的广泛实证研究展示了拟议的框架的功效。

本文介绍了分类器校准原理和实践的简介和详细概述。校准的分类器正确地量化了与其实例明智的预测相关的不确定性或信心水平。这对于关键应用，最佳决策，成本敏感的分类以及某些类型的上下文变化至关重要。校准研究具有丰富的历史，其中几十年来预测机器学习作为学术领域的诞生。然而，校准兴趣的最近增加导致了新的方法和从二进制到多种子体设置的扩展。需要考虑的选项和问题的空间很大，并导航它需要正确的概念和工具集。我们提供了主要概念和方法的介绍性材料和最新的技术细节，包括适当的评分规则和其他评估指标，可视化方法，全面陈述二进制和多字数分类的HOC校准方法，以及几个先进的话题。

现在通常用于高风险设置，如医疗诊断，如医疗诊断，那么需要不确定量化，以避免后续模型失败。无分发的不确定性量化（无分布UQ）是用户友好的范式，用于为这种预测创建统计上严格的置信区间/集合。批判性地，间隔/集合有效而不进行分布假设或模型假设，即使具有最多许多DataPoints也具有显式保证。此外，它们适应输入的难度;当输入示例很困难时，不确定性间隔/集很大，信号传达模型可能是错误的。在没有多大的工作和没有再培训的情况下，可以在任何潜在的算法（例如神经网络）上使用无分​​发方法，以产生置信度集，以便包含用户指定概率，例如90％。实际上，这些方法易于理解和一般，应用于计算机视觉，自然语言处理，深度加强学习等领域出现的许多现代预测问题。这种实践介绍是针对对无需统计学家的免费UQ的实际实施感兴趣的读者。我们通过实际的理论和无分发UQ的应用领导读者，从保形预测开始，并使无关的任何风险的分布控制，如虚假发现率，假阳性分布检测，等等。我们将包括Python中的许多解释性插图，示例和代码样本，具有Pytorch语法。目标是提供读者对无分配UQ的工作理解，使它们能够将置信间隔放在算法上，其中包含一个自包含的文档。

估计平均因果效应的理想回归（如果有）是什么？我们在离散协变量的设置中研究了这个问题，从而得出了各种分层估计器的有限样本方差的表达式。这种方法阐明了许多广泛引用的结果的基本统计现象。我们的博览会结合了研究因果效应估计的三种不同的方法论传统的见解：潜在结果，因果图和具有加性误差的结构模型。

训练有素的ML模型被部署在另一个“测试”数据集上，其中目标特征值（标签）未知。漂移是培训数据和部署数据之间的分配变化，这是关于模型性能是否改变的。例如，对于猫/狗图像分类器，部署过程中的漂移可能是兔子图像（新类）或具有变化特征（分布变化）的猫/狗图像。我们希望检测这些更改，但没有部署数据标签，无法衡量准确性。相反，我们通过非参数测试模型预测置信度变化的分布间接检测到漂移。这概括了我们的方法，并回避特定于域特异性特征表示。我们使用变更点模型（CPMS；参见Adams and Ross 2012）解决了重要的统计问题，尤其是在顺序测试中类型1误差控制。我们还使用非参数异常方法来显示用户可疑观察结果以进行模型诊断，因为更改置信度分布显着重叠。在证明鲁棒性的实验中，我们在MNIST数字类别的子集上进行训练，然后在各种设置中的部署数据中插入漂移（例如，看不见的数字类）（漂移比例的逐渐/突然变化）。引入了新的损耗函数，以比较不同水平的漂移类污染的漂移检测器的性能（检测延迟，1型和2个误差）。

我们使用最大平均差异（MMD），Hilbert Schmidt独立标准（HSIC）和内核Stein差异（KSD），，提出了一系列针对两样本，独立性和合适性问题的计算效率，非参数测试，用于两样本，独立性和合适性问题。分别。我们的测试统计数据是不完整的$ u $统计信息，其计算成本与与经典$ u $ u $统计测试相关的样本数量和二次时间之间的线性时间之间的插值。这三个提出的测试在几个内核带宽上汇总，以检测各种尺度的零件：我们称之为结果测试mmdagginc，hsicagginc和ksdagginc。对于测试阈值，我们得出了一个针对野生引导不完整的$ U $ - 统计数据的分位数，该统计是独立的。我们得出了MMDagginc和Hsicagginc的均匀分离率，并准确量化了计算效率和可实现速率之间的权衡：据我们所知，该结果是基于不完整的$ U $统计学的测试新颖的。我们进一步表明，在二次时间案例中，野生引导程序不会对基于更广泛的基于置换的方法进行测试功率，因为​​两者都达到了相同的最小最佳速率（这反过来又与使用Oracle分位数的速率相匹配）。我们通过数值实验对计算效率和测试能力之间的权衡进行数字实验来支持我们的主张。在三个测试框架中，我们观察到我们提出的线性时间聚合测试获得的功率高于当前最新线性时间内核测试。

在本文中，我们提出了一种多个内核测试程序，以推断几个因素（例如不同的治疗组，性别，病史）及其相互作用同时引起了人们的兴趣。我们的方法能够处理复杂的数据，并且当假设诸如相称性不能合理时，可以看作是无所不在的COX模型的替代方法。我们的方法结合了来自生存分析，机器学习和多次测试的众所周知的概念：加权的对数秩检验，内核方法和多个对比度测试。这样，可以检测到超出经典比例危害设置以外的复杂危险替代方案。此外，通过充分利用单个测试程序的依赖性结构以避免功率损失来进行多个比较。总的来说，这为阶乘生存设计提供了灵活而强大的程序，其理论有效性通过Martingale论证和$ v $统计的理论证明。我们在广泛的仿真研究中评估了方法的性能，并通过真实的数据分析对其进行了说明。

背景。通常，深度神经网络（DNN）概括了从类似于训练集的分布的样本概括。然而，当测试样本从不同的分布中抽出时，DNNS的预测是脆性和不可靠的。这是在现实世界应用中部署的主要关注点，这种行为可能以相当大的成本，例如工业生产线，自治车辆或医疗保健应用。贡献。我们将DNN中的分布（OOD）检测出来作为统计假设检测问题。在我们所提出的框架内产生的测试将证据组合来自整个网络。与以前的检测启发式不同，此框架返回每个测试样本的$ p $ -value。有保证维护I型错误（T1E - 错误地识别OOD样本为ID）进行测试数据。此外，这允许在保持T1E的同时组合多个检测器。在此框架上建立，我们建议一种基于低阶统计数据的新型程序。我们的方法在不接受的EOD基准上的最新方法实现了比较或更好的结果，而无需再培训网络参数或假设测试分配的现有知识 - 并且以计算成本的一小部分。

The notion of uncertainty is of major importance in machine learning and constitutes a key element of machine learning methodology. In line with the statistical tradition, uncertainty has long been perceived as almost synonymous with standard probability and probabilistic predictions. Yet, due to the steadily increasing relevance of machine learning for practical applications and related issues such as safety requirements, new problems and challenges have recently been identified by machine learning scholars, and these problems may call for new methodological developments. In particular, this includes the importance of distinguishing between (at least) two different types of uncertainty, often referred to as aleatoric and epistemic. In this paper, we provide an introduction to the topic of uncertainty in machine learning as well as an overview of attempts so far at handling uncertainty in general and formalizing this distinction in particular.

数据质量的系统量化对于一致的模型性能至关重要。先前的工作集中在分发数据上。取而代之的是，我们解决了一个研究了一个研究的且同样重要的问题，即表征不协调的区域（ID）数据，这可能是由特征空间异质性引起的。为此，我们提出了使用数据套件的范式转移：一个以数据为中心的AI框架来识别这些区域，而与特定于任务的模型无关。数据套件利用Copula建模，表示学习和共形预测，以基于一组培训实例来构建功能置信区间估计器。这些估计器可用于评估有关培训集的测试实例的一致性，以回答两个实际有用的问题：（1）通过培训培训实例培训的模型可以可靠地预测哪些测试实例？ （2）我们可以确定功能空间的不协调区域，以便数据所有者了解数据的局限性还是指导未来数据收集？我们从经验上验证了数据套件的性能和覆盖范围保证，并在跨站点的医疗数据，有偏见的数据以及具有概念漂移的数据上证明，数据套件最能确定下游模型可能是可靠的ID区域（与所述模型无关）。我们还说明了这些确定的区域如何为数据集提供见解并突出其局限性。

本文开发了新型的保形方法，以测试是否从与参考集相同的分布中采样了新的观察结果。以创新的方式将感应性和偏置的共形推断融合，所描述的方法可以以原则性的方式基于已知的分布式数据的依赖侧信息重新权重标准p值，并且可以自动利用最强大的优势来自任何一级和二进制分类器的模型。该解决方案可以通过样品分裂或通过新颖的转置交叉验证+方案来实现，该方案与现有的交叉验证方法相比，由于更严格的保证，这也可能在共形推理的其他应用中有用。在研究错误的发现率控制和在具有几个可能的离群值的多个测试框架内的虚假发现率控制和功率之后，提出的解决方案被证明通过模拟以及用于图像识别和表格数据的应用超过了标准的共形P值。

我们提出了对学度校正随机块模型（DCSBM）的合适性测试。该测试基于调整后的卡方统计量，用于测量$ n $多项式分布的组之间的平等性，该分布具有$ d_1，\ dots，d_n $观测值。在网络模型的背景下，多项式的数量（$ n $）的数量比观测值数量（$ d_i $）快得多，与节点$ i $的度相对应，因此设置偏离了经典的渐近学。我们表明，只要$ \ {d_i \} $的谐波平均值生长到无穷大，就可以使统计量在NULL下分配。顺序应用时，该测试也可以用于确定社区数量。该测试在邻接矩阵的压缩版本上进行操作，因此在学位上有条件，因此对大型稀疏网络具有高度可扩展性。我们结合了一个新颖的想法，即在测试$ K $社区时根据$（k+1）$ - 社区分配来压缩行。这种方法在不牺牲计算效率的情况下增加了顺序应用中的力量，我们证明了它在恢复社区数量方面的一致性。由于测试统计量不依赖于特定的替代方案，因此其效用超出了顺序测试，可用于同时测试DCSBM家族以外的各种替代方案。特别是，我们证明该测试与具有社区结构的潜在可变性网络模型的一般家庭一致。

We develop an online kernel Cumulative Sum (CUSUM) procedure, which consists of a parallel set of kernel statistics with different window sizes to account for the unknown change-point location. Compared with many existing sliding window-based kernel change-point detection procedures, which correspond to the Shewhart chart-type procedure, the proposed procedure is more sensitive to small changes. We further present a recursive computation of detection statistics, which is crucial for online procedures to achieve a constant computational and memory complexity, such that we do not need to calculate and remember the entire Gram matrix, which can be a computational bottleneck otherwise. We obtain precise analytic approximations of the two fundamental performance metrics, the Average Run Length (ARL) and Expected Detection Delay (EDD). Furthermore, we establish the optimal window size on the order of $\log ({\rm ARL})$ such that there is nearly no power loss compared with an oracle procedure, which is analogous to the classic result for window-limited Generalized Likelihood Ratio (GLR) procedure. We present extensive numerical experiments to validate our theoretical results and the competitive performance of the proposed method.