测量贡献是合作游戏理论中的一个经典问题，其中沙普利价值是最著名的解决方案概念。在本文中，我们在参数贝叶斯学习游戏中建立了沙普利价值的收敛属性，玩家使用其组合数据进行贝叶斯推断，后端kl差异被用作特征函数。我们表明，对于任何两个玩家，在某些规律性的条件下，其在Shapley价值上的差异与限制性游戏的Shapley值的差异有关，其特征功能与联合Fisher信息的对数确定性成正比。作为一个应用程序，我们介绍了一个在线协作学习框架，该框架是渐近的沙普利 - 费尔。我们的结果使得可以实现这一目标，而无需对后端KL差异的任何昂贵计算。仅需要一致的Fisher信息估计器。使用现实世界数据通过实验证明了我们框架的有效性。

近似贝叶斯计算（ABC）使复杂模型中的统计推断能够计算，其可能性难以计算，但易于模拟。 ABC通过接受/拒绝机制构建到后部分布的内核类型近似，该机制比较真实和模拟数据的摘要统计信息。为了避免对汇总统计数据的需求，我们直接将经验分布与通过分类获得的Kullback-Leibler（KL）发散估计值进行比较。特别是，我们将灵活的机器学习分类器混合在ABC中以自动化虚假/真实数据比较。我们考虑传统的接受/拒绝内核以及不需要ABC接受阈值的指数加权方案。我们的理论结果表明，我们的ABC后部分布集中在真实参数周围的速率取决于分类器的估计误差。我们得出了限制后形状的结果，并找到了一个正确缩放的指数内核，渐近常态持有。我们展示了我们对模拟示例以及在股票波动率估计的背景下的真实数据的有用性。

我们引入了重新定性，这是一种数据依赖性的重新聚集化，将贝叶斯神经网络（BNN）转化为后部的分布，其KL对BNN对BNN的差异随着层宽度的增长而消失。重新定义图直接作用于参数，其分析简单性补充了宽BNN在功能空间中宽BNN的已知神经网络过程（NNGP）行为。利用重新定性，我们开发了马尔可夫链蒙特卡洛（MCMC）后采样算法，该算法将BNN更快地混合在一起。这与MCMC在高维度上的表现差异很差。对于完全连接和残留网络，我们观察到有效样本量高达50倍。在各个宽度上都取得了改进，并在层宽度的重新培训和标准BNN之间的边缘。

Originating from cooperative game theory, Shapley values have become one of the most widely used measures for variable importance in applied Machine Learning. However, the statistical understanding of Shapley values is still limited. In this paper, we take a nonparametric (or smoothing) perspective by introducing Shapley curves as a local measure of variable importance. We propose two estimation strategies and derive the consistency and asymptotic normality both under independence and dependence among the features. This allows us to construct confidence intervals and conduct inference on the estimated Shapley curves. The asymptotic results are validated in extensive experiments. In an empirical application, we analyze which attributes drive the prices of vehicles.

Testing the significance of a variable or group of variables $X$ for predicting a response $Y$, given additional covariates $Z$, is a ubiquitous task in statistics. A simple but common approach is to specify a linear model, and then test whether the regression coefficient for $X$ is non-zero. However, when the model is misspecified, the test may have poor power, for example when $X$ is involved in complex interactions, or lead to many false rejections. In this work we study the problem of testing the model-free null of conditional mean independence, i.e. that the conditional mean of $Y$ given $X$ and $Z$ does not depend on $X$. We propose a simple and general framework that can leverage flexible nonparametric or machine learning methods, such as additive models or random forests, to yield both robust error control and high power. The procedure involves using these methods to perform regressions, first to estimate a form of projection of $Y$ on $X$ and $Z$ using one half of the data, and then to estimate the expected conditional covariance between this projection and $Y$ on the remaining half of the data. While the approach is general, we show that a version of our procedure using spline regression achieves what we show is the minimax optimal rate in this nonparametric testing problem. Numerical experiments demonstrate the effectiveness of our approach both in terms of maintaining Type I error control, and power, compared to several existing approaches.

对于高维和非参数统计模型，速率最优估计器平衡平方偏差和方差是一种常见的现象。虽然这种平衡被广泛观察到，但很少知道是否存在可以避免偏差和方差之间的权衡的方法。我们提出了一般的策略，以获得对任何估计方差的下限，偏差小于预先限定的界限。这表明偏差差异折衷的程度是不可避免的，并且允许量化不服从其的方法的性能损失。该方法基于许多抽象的下限，用于涉及关于不同概率措施的预期变化以及诸如Kullback-Leibler或Chi-Sque-diversence的信息措施的变化。其中一些不平等依赖于信息矩阵的新概念。在该物品的第二部分中，将抽象的下限应用于几种统计模型，包括高斯白噪声模型，边界估计问题，高斯序列模型和高维线性回归模型。对于这些特定的统计应用，发生不同类型的偏差差异发生，其实力变化很大。对于高斯白噪声模型中集成平方偏置和集成方差之间的权衡，我们将较低界限的一般策略与减少技术相结合。这允许我们将原始问题与估计的估计器中的偏差折衷联动，以更简单的统计模型中具有额外的对称性属性。在高斯序列模型中，发生偏差差异的不同相位转换。虽然偏差和方差之间存在非平凡的相互作用，但是平方偏差的速率和方差不必平衡以实现最小估计速率。

鉴于$ n $ i.i.d.从未知的分发$ P $绘制的样本，何时可以生成更大的$ n + m $ samples，这些标题不能与$ n + m $ i.i.d区别区别。从$ p $绘制的样品？（AXELROD等人2019）将该问题正式化为样本放大问题，并为离散分布和高斯位置模型提供了最佳放大程序。然而，这些程序和相关的下限定制到特定分布类，对样本扩增的一般统计理解仍然很大程度上。在这项工作中，我们通过推出通常适用的放大程序，下限技术和与现有统计概念的联系来放置对公司统计基础的样本放大问题。我们的技术适用于一大类分布，包括指数家庭，并在样本放大和分配学习之间建立严格的联系。

基本上有三种不确定性量化方法（UQ）：（a）强大的优化，（b）贝叶斯，（c）决策理论。尽管（a）坚固，但在准确性和数据同化方面是不利的。 （b）需要先验，通常是脆弱的，后验估计可能很慢。尽管（c）导致对最佳先验的识别，但其近似遭受了维度的诅咒，风险的概念是相对于数据分布的平均值。我们引入了第四种，它是（a），（b），（c）和假设检验之间的杂种。可以总结为在观察样本$ x $之后，（1）通过相对可能性定义了可能性区域，（2）在该区域玩Minmax游戏以定义最佳估计器及其风险。最终的方法具有几种理想的属性（a）测量数据后确定了最佳先验，并且风险概念是后部的，（b）确定最佳估计值，其风险可以降低到计算最小封闭的最小封闭式。利益图量下的可能性区域图像的球（这是快速的，不受维数的诅咒）。该方法的特征在于$ [0,1] $中的参数，该参数是在观察到的数据（相对可能性）的稀有度上被假定的下限。当该参数接近$ 1 $时，该方法会产生一个后分布，该分布集中在最大似然估计的情况下，并具有较低的置信度UQ估计值。当该参数接近$ 0 $时，该方法会产生最大风险后验分布，并具有很高的信心UQ估计值。除了导航准确性不确定性权衡外，该建议的方法还通过导航与数据同化相关的稳健性 - 准确性权衡解决了贝叶斯推断的脆弱性。

生成对抗网络（GAN）在数据生成方面取得了巨大成功。但是，其统计特性尚未完全理解。在本文中，我们考虑了GAN的一般$ f $ divergence公式的统计行为，其中包括Kullback- Leibler Divergence与最大似然原理密切相关。我们表明，对于正确指定的参数生成模型，在适当的规律性条件下，所有具有相同歧视类别类别的$ f $ divergence gans均在渐近上等效。 Moreover, with an appropriately chosen local discriminator, they become equivalent to the maximum likelihood estimate asymptotically.对于被误解的生成模型，具有不同$ f $ -Divergences {收敛到不同估计器}的gan，因此无法直接比较。但是，结果表明，对于某些常用的$ f $ -Diverences，原始的$ f $ gan并不是最佳的，因为当更换原始$ f $ gan配方中的判别器培训时，可以实现较小的渐近方差通过逻辑回归。结果估计方法称为对抗梯度估计（年龄）。提供了实证研究来支持该理论，并证明了年龄的优势，而不是模型错误的原始$ f $ gans。

Mixtures of regression are a powerful class of models for regression learning with respect to a highly uncertain and heterogeneous response variable of interest. In addition to being a rich predictive model for the response given some covariates, the parameters in this model class provide useful information about the heterogeneity in the data population, which is represented by the conditional distributions for the response given the covariates associated with a number of distinct but latent subpopulations. In this paper, we investigate conditions of strong identifiability, rates of convergence for conditional density and parameter estimation, and the Bayesian posterior contraction behavior arising in finite mixture of regression models, under exact-fitted and over-fitted settings and when the number of components is unknown. This theory is applicable to common choices of link functions and families of conditional distributions employed by practitioners. We provide simulation studies and data illustrations, which shed some light on the parameter learning behavior found in several popular regression mixture models reported in the literature.

信息技术的进步导致了非常大的数据集，通常保存在不同的存储中心。必须适于现有的统计方法来克服所产生的计算障碍，同时保持统计有效性和效率。分裂和征服方法已应用于许多领域，包括分位式流程，回归分析，主偶数和指数家庭。我们研究了有限高斯混合的分布式学习的分裂和征服方法。我们建议减少策略并开发一种有效的MM算法。新估计器显示在某些一般条件下保持一致并保留根 - N一致性。基于模拟和现实世界数据的实验表明，如果后者是可行的，所提出的分离和征管方法具有基于完整数据集的全球估计的统计性能。如果模型假设与真实数据不匹配，甚至可以略高于全局估算器。它还具有比某些现有方法更好的统计和计算性能。

本文研究了数据估值对嘈杂模型性能得分的鲁棒性。特别是，我们发现广泛使用的随机梯度下降的固有随机性会导致现有的数据值概念（例如，沙普利值和剩余错误），以在不同运行中产生不一致的数据值排名。为了应对这一挑战，我们首先提出一个正式的框架，在该框架中可以测量数据值概念的鲁棒性。我们表明，Banzhaf的价值是一个源自合作游戏理论文献的价值概念，它在所有半估计中实现了最大的鲁棒性 - 一类价值概念满足ML应用程序所带来的重要属性。我们提出了一种算法，以根据最大样本重用（MSR）原理有效地估计Banzhaf值。我们得出了Banzhaf值近似的下限样品复杂性，并表明我们的MSR算法的样品复杂性几乎与下限匹配。我们的评估表明，Banzhaf值的表现优于几个下游ML任务（例如使用加权样品学习和嘈杂的标签检测）的现有基于半半数的数据值概念。总体而言，我们的研究表明，当基础ML算法是随机的时，Banzhaf值是基于半杂志的数据值方案的有前途的替代方法，因为其计算优势和能力可靠地区分数据质量。

我们开发了一种新的原则性算法，用于估计培训数据点对深度学习模型的行为的贡献，例如它做出的特定预测。我们的算法估计了AME，该数量量衡量了将数据点添加到训练数据子集中的预期（平均）边际效应，并从给定的分布中采样。当从均匀分布中采样子集时，AME将还原为众所周知的Shapley值。我们的方法受因果推断和随机实验的启发：我们采样了训练数据的不同子集以训练多个子模型，并评估每个子模型的行为。然后，我们使用套索回归来基于子集组成共同估计每个数据点的AME。在稀疏假设（$ k \ ll n $数据点具有较大的AME）下，我们的估计器仅需要$ O（k \ log n）$随机的子模型培训，从而改善了最佳先前的Shapley值估算器。

The Shapley value (SV) is adopted in various scenarios in machine learning (ML), including data valuation, agent valuation, and feature attribution, as it satisfies their fairness requirements. However, as exact SVs are infeasible to compute in practice, SV estimates are approximated instead. This approximation step raises an important question: do the SV estimates preserve the fairness guarantees of exact SVs? We observe that the fairness guarantees of exact SVs are too restrictive for SV estimates. Thus, we generalise Shapley fairness to probably approximate Shapley fairness and propose fidelity score, a metric to measure the variation of SV estimates, that determines how probable the fairness guarantees hold. Our last theoretical contribution is a novel greedy active estimation (GAE) algorithm that will maximise the lowest fidelity score and achieve a better fairness guarantee than the de facto Monte-Carlo estimation. We empirically verify GAE outperforms several existing methods in guaranteeing fairness while remaining competitive in estimation accuracy in various ML scenarios using real-world datasets.

在本文中，我们研究了高维条件独立测试，统计和机器学习中的关键构建块问题。我们提出了一种基于双生成对抗性网络（GANS）的推理程序。具体来说，我们首先介绍双GANS框架来学习两个发电机的条件分布。然后，我们将这两个生成器集成到构造测试统计，这采用多个转换函数的广义协方差措施的最大形式。我们还采用了数据分割和交叉拟合来最小化发电机上的条件，以实现所需的渐近属性，并采用乘法器引导来获得相应的$ P $ -Value。我们表明，构造的测试统计数据是双重稳健的，并且由此产生的测试既逆向I误差，并具有渐近的电源。同样的是，与现有测试相比，我们建立了较弱和实际上更可行的条件下的理论保障，我们的提案提供了如何利用某些最先进的深层学习工具（如GAN）的具体示例帮助解决古典但具有挑战性的统计问题。我们通过模拟和应用于抗癌药物数据集来证明我们的测试的疗效。在https://github.com/tianlinxu312/dgcit上提供了所提出的程序的Python实现。

本文研究了用于训练过度参数化制度中的贝叶斯神经网络（BNN）的变异推理（VI），即当神经元的数量趋于无穷大时。更具体地说，我们考虑过度参数化的两层BNN，并指出平均VI训练中的关键问题。这个问题来自于证据（ELBO）的下限分解为两个术语：一个与模型的可能性函数相对应，第二个对应于kullback-leibler（KL）差异（KL）差异。特别是，我们从理论和经验上都表明，只有当根据观测值和神经元之间的比率适当地重新缩放KL时，在过度参数化制度中，这两个术语之间存在权衡。我们还通过数值实验来说明我们的理论结果，这些实验突出了该比率的关键选择。

预测一组结果 - 而不是独特的结果 - 是统计学习中不确定性定量的有前途的解决方案。尽管有关于构建具有统计保证的预测集的丰富文献，但适应未知的协变量转变（实践中普遍存在的问题）还是一个严重的未解决的挑战。在本文中，我们表明具有有限样本覆盖范围保证的预测集是非信息性的，并提出了一种新型的无灵活分配方法PredSet-1Step，以有效地构建了在未知协方差转移下具有渐近覆盖范围保证的预测集。我们正式表明我们的方法是\ textIt {渐近上可能是近似正确}，对大型样本的置信度有很好的覆盖误差。我们说明，在南非队列研究中，它在许多实验和有关HIV风险预测的数据集中实现了名义覆盖范围。我们的理论取决于基于一般渐近线性估计器的WALD置信区间覆盖范围的融合率的新结合。

机器学习中的歧视通常沿多个维度（又称保护属性）出现；因此，希望确保\ emph {交叉公平} - 即，没有任何子组受到歧视。众所周知，确保\ emph {边际公平}对于每个维度而言，独立不够。但是，由于亚组的指数数量，直接测量数据交叉公平性是不可能的。在本文中，我们的主要目标是通过统计分析详细了解边际和交叉公平之间的关系。我们首先确定一组足够的条件，在这些条件下可以获得确切的关系。然后，在一般情况下，我们证明了相交公平性的高概率的界限（通过边际公平和其他有意义的统计量很容易计算）。除了它们的描述价值之外，我们还可以利用这些理论界限来得出一种启发式，从而通过以相关的方式选择了我们描述相交子组的保护属性来改善交叉公平的近似和边界。最后，我们测试了实际和合成数据集的近似值和界限的性能。

广义贝叶斯推理使用损失函数而不是可能性的先前信仰更新，因此可以用于赋予鲁棒性，以防止可能的错误规范的可能性。在这里，我们认为广泛化的贝叶斯推论斯坦坦差异作为损失函数的损失，由应用程序的可能性含有难治性归一化常数。在这种情况下，斯坦因差异来避免归一化恒定的评估，并产生封闭形式或使用标准马尔可夫链蒙特卡罗的通用后出版物。在理论层面上，我们显示了一致性，渐近的正常性和偏见 - 稳健性，突出了这些物业如何受到斯坦因差异的选择。然后，我们提供关于一系列棘手分布的数值实验，包括基于内核的指数家庭模型和非高斯图形模型的应用。

最大信息系数（MIC）是一个强大的统计量，可以识别变量之间的依赖性。但是，它可以应用于敏感数据，并且发布可能会泄漏私人信息。作为解决方案，我们提出算法以提供差异隐私的方式近似麦克风。我们表明，经典拉普拉斯机制的自然应用产生的精度不足。因此，我们介绍了MICT统计量，这是一种新的MIC近似值，与差异隐私更加兼容。我们证明MICS是麦克风的一致估计器，我们提供了两个差异性私有版本。我们对各种真实和合成数据集进行实验。结果表明，私人微统计数据极大地超过了拉普拉斯机制的直接应用。此外，对现实世界数据集的实验显示出准确性，当样本量至少适中时可用。