As data becomes the fuel driving technological and economic growth, a fundamental challenge is how to quantify the value of data in algorithmic predictions and decisions. For example, in healthcare and consumer markets, it has been suggested that individuals should be compensated for the data that they generate, but it is not clear what is an equitable valuation for individual data. In this work, we develop a principled framework to address data valuation in the context of supervised machine learning. Given a learning algorithm trained on n data points to produce a predictor, we propose data Shapley as a metric to quantify the value of each training datum to the predictor performance. Data shapley value uniquely satisfies several natural properties of equitable data valuation. We develop Monte Carlo and gradient-based methods to efficiently estimate data Shapley values in practical settings where complex learning algorithms, including neural networks, are trained on large datasets. In addition to being equitable, extensive experiments across biomedical, image and synthetic data demonstrate that data Shapley has several other benefits: 1) it is more powerful than the popular leave-one-out or leverage score in providing insight on what data is more valuable for a given learning task; 2) low Shapley value data effectively capture outliers and corruptions; 3) high Shapley value data inform what type of new data to acquire to improve the predictor.

Data valuation, especially quantifying data value in algorithmic prediction and decision-making, is a fundamental problem in data trading scenarios. The most widely used method is to define the data Shapley and approximate it by means of the permutation sampling algorithm. To make up for the large estimation variance of the permutation sampling that hinders the development of the data marketplace, we propose a more robust data valuation method using stratified sampling, named variance reduced data Shapley (VRDS for short). We theoretically show how to stratify, how many samples are taken at each stratum, and the sample complexity analysis of VRDS. Finally, the effectiveness of VRDS is illustrated in different types of datasets and data removal applications.

This paper proposes a novel approach to explain the predictions made by data-driven methods. Since such predictions rely heavily on the data used for training, explanations that convey information about how the training data affects the predictions are useful. The paper proposes a novel approach to quantify how different data-clusters of the training data affect a prediction. The quantification is based on Shapley values, a concept which originates from coalitional game theory, developed to fairly distribute the payout among a set of cooperating players. A player's Shapley value is a measure of that player's contribution. Shapley values are often used to quantify feature importance, ie. how features affect a prediction. This paper extends this to cluster importance, letting clusters of the training data act as players in a game where the predictions are the payouts. The novel methodology proposed in this paper lets us explore and investigate how different clusters of the training data affect the predictions made by any black-box model, allowing new aspects of the reasoning and inner workings of a prediction model to be conveyed to the users. The methodology is fundamentally different from existing explanation methods, providing insight which would not be available otherwise, and should complement existing explanation methods, including explanations based on feature importance.

本文研究了数据估值对嘈杂模型性能得分的鲁棒性。特别是，我们发现广泛使用的随机梯度下降的固有随机性会导致现有的数据值概念（例如，沙普利值和剩余错误），以在不同运行中产生不一致的数据值排名。为了应对这一挑战，我们首先提出一个正式的框架，在该框架中可以测量数据值概念的鲁棒性。我们表明，Banzhaf的价值是一个源自合作游戏理论文献的价值概念，它在所有半估计中实现了最大的鲁棒性 - 一类价值概念满足ML应用程序所带来的重要属性。我们提出了一种算法，以根据最大样本重用（MSR）原理有效地估计Banzhaf值。我们得出了Banzhaf值近似的下限样品复杂性，并表明我们的MSR算法的样品复杂性几乎与下限匹配。我们的评估表明，Banzhaf值的表现优于几个下游ML任务（例如使用加权样品学习和嘈杂的标签检测）的现有基于半半数的数据值概念。总体而言，我们的研究表明，当基础ML算法是随机的时，Banzhaf值是基于半杂志的数据值方案的有前途的替代方法，因为其计算优势和能力可靠地区分数据质量。

测量黑匣子预测算法中变量重要性的最流行方法是利用合成输入，这些输入结合了来自多个受试者的预测变量。这些输入可能是不可能的，身体上不可能的，甚至在逻辑上是不可能的。结果，对这种情况的预测可以基于数据，这与对黑匣子的训练非常不同。我们认为，当解释使用此类值时，用户不能相信预测算法的决定的解释。取而代之的是，我们主张一种称为同类沙普利的方法，该方法基于经济游戏理论，与大多数其他游戏理论方法不同，它仅使用实际观察到的数据来量化可变重要性。莎普利队的同伙通过缩小判断的主题的缩小，被认为与一个或多个功能上的目标主题相似。如果使用它来缩小队列对队列平均值有很大的不同，则功能很重要。我们在算法公平问题上进行了说明，其中必须将重要性归因于未经训练模型的保护变量。对于每个主题和每个预测变量，我们可以计算该预测因子对受试者的预测响应或对其实际响应的重要性。这些值可以汇总，例如在所有黑色受试者上，我们提出了一个贝叶斯引导程序来量化个人和骨料莎普利值的不确定性。

We introduce the XPER (eXplainable PERformance) methodology to measure the specific contribution of the input features to the predictive or economic performance of a model. Our methodology offers several advantages. First, it is both model-agnostic and performance metric-agnostic. Second, XPER is theoretically founded as it is based on Shapley values. Third, the interpretation of the benchmark, which is inherent in any Shapley value decomposition, is meaningful in our context. Fourth, XPER is not plagued by model specification error, as it does not require re-estimating the model. Fifth, it can be implemented either at the model level or at the individual level. In an application based on auto loans, we find that performance can be explained by a surprisingly small number of features. XPER decompositions are rather stable across metrics, yet some feature contributions switch sign across metrics. Our analysis also shows that explaining model forecasts and model performance are two distinct tasks.

我们开发了一种新的原则性算法，用于估计培训数据点对深度学习模型的行为的贡献，例如它做出的特定预测。我们的算法估计了AME，该数量量衡量了将数据点添加到训练数据子集中的预期（平均）边际效应，并从给定的分布中采样。当从均匀分布中采样子集时，AME将还原为众所周知的Shapley值。我们的方法受因果推断和随机实验的启发：我们采样了训练数据的不同子集以训练多个子模型，并评估每个子模型的行为。然后，我们使用套索回归来基于子集组成共同估计每个数据点的AME。在稀疏假设（$ k \ ll n $数据点具有较大的AME）下，我们的估计器仅需要$ O（k \ log n）$随机的子模型培训，从而改善了最佳先前的Shapley值估算器。

联合学习是一种新兴的分散机器学习方案，允许多个数据所有者在确保数据隐私的同时协同工作。联邦学习的成功在很大程度上取决于数据所有者的参与。为了维持和鼓励数据业主的参与，公正地评估数据所有者提供的数据质量并相应地奖励它们是至关重要的。联邦福利价值，最近由Wang等人提出。 [联合学习，2020]是联合学习框架下的数据值的措施，其满足数据估值的许多所需属性。然而，联邦福利价值设计中潜在的不公平仍然存在因素，因为具有相同本地数据的两个数据所有者可能无法接收相同的评估。我们提出了一种新的措施，称为已联邦福利价值，以提高联邦福利价值的公平性。该设计取决于完成由数据所有者的不同子集的所有可能贡献组成的矩阵。它在温和条件下显示，该矩阵通过利用优化而利用概念和工具而大致低等级。理论分析和实证评估都验证了拟议的措施在许多情况下改善公平性。

在许多多机构设置中，参与者可以组建团队以实现可能超过其个人能力的集体成果。衡量代理商的相对贡献并分配促进持续合作的奖励份额是艰巨的任务。合作游戏理论提供了识别分配方案（例如沙普利价值）的解决方案概念，这些概念公平地反映了个人对团队或核心表现的贡献，从而减少了代理人放弃团队的动机。此类方法的应用包括识别有影响力的特征并分享合资企业或团队成立的成本。不幸的是，即使在受限设置中，使用这些解决方案也需要解决计算障碍，因为它们很难计算。在这项工作中，我们展示了如何通过训练神经网络提出公平和稳定的回报分配来将合作游戏理论解决方案蒸馏成学习的模型。我们表明，我们的方法创建的模型可以推广到远离训练分布的游戏，并且可以预测比训练期间观察到的更多玩家的解决方案。我们框架的一个重要应用是可以解释的AI：我们的方法可用于加快在许多情况下的Shapley价值计算。

基于Shapley值的功能归因在解释机器学习模型中很受欢迎。但是，从理论和计算的角度来看，它们的估计是复杂的。我们将这种复杂性分解为两个因素：（1）〜删除特征信息的方法，以及（2）〜可拖动估计策略。这两个因素提供了一种天然镜头，我们可以更好地理解和比较24种不同的算法。基于各种特征删除方法，我们描述了多种类型的Shapley值特征属性和计算每个类型的方法。然后，基于可进行的估计策略，我们表征了两个不同的方法家族：模型 - 不合时宜的和模型特定的近似值。对于模型 - 不合稳定的近似值，我们基准了广泛的估计方法，并将其与Shapley值的替代性但等效的特征联系起来。对于特定于模型的近似值，我们阐明了对每种方法的线性，树和深模型的障碍至关重要的假设。最后，我们确定了文献中的差距以及有希望的未来研究方向。

机器学习渗透到许多行业，这为公司带来了新的利益来源。然而，在人寿保险行业中，机器学习在实践中并未被广泛使用，因为在过去几年中，统计模型表明了它们的风险评估效率。因此，保险公司可能面临评估人工智能价值的困难。随着时间的流逝，专注于人寿保险行业的修改突出了将机器学习用于保险公司的利益以及通过释放数据价值带来的利益。本文回顾了传统的生存建模方法论，并通过机器学习技术扩展了它们。它指出了与常规机器学习模型的差异，并强调了特定实现在与机器学习模型家族中面对审查数据的重要性。在本文的补充中，已经开发了Python库。已经调整了不同的开源机器学习算法，以适应人寿保险数据的特殊性，即检查和截断。此类模型可以轻松地从该SCOR库中应用，以准确地模拟人寿保险风险。

即使有效，模型的使用也必须伴随着转换数据的各个级别的理解（上游和下游）。因此，需求增加以定义单个数据与算法可以根据其分析可以做出的选择（例如，一种产品或一种促销报价的建议，或代表风险的保险费率）。模型用户必须确保模型不会区分，并且也可以解释其结果。本文介绍了模型解释的重要性，并解决了模型透明度的概念。在保险环境中，它专门说明了如何使用某些工具来强制执行当今可以利用机器学习的精算模型的控制。在一个简单的汽车保险中损失频率估计的示例中，我们展示了一些解释性方法的兴趣，以适应目标受众的解释。

We present a general method for explaining individual predictions of classification models. The method is based on fundamental concepts from coalitional game theory and predictions are explained with contributions of individual feature values. We overcome the method's initial exponential time complexity with a sampling-based approximation. In the experimental part of the paper we use the developed method on models generated by several well-known machine learning algorithms on both synthetic and real-world data sets. The results demonstrate that the method is efficient and that the explanations are intuitive and useful.

吞咽困难是帕金森氏病（PD）的早期症状之一。大多数现有方法使用特征选择方法为所有PD患者找到最佳语音特征子集以提高预测性能。很少有人考虑患者之间的异质性，这意味着需要为不同患者提供特定的预测模型。但是，为每个患者建立这个预测模型都面临着小样本量的挑战，这使其缺乏普遍的能力。实例转移是弥补这种缺陷的有效方法。因此，本文提出了针对PD严重性预测的基于患者的特定于游戏转移（PSGT）方法。首先，选择机制用于从源域中选择与目标患者相似的疾病趋势的PD患者，这大大降低了实例转移的范围并降低了负转移的风险。然后，通过Shapley值对转移的受试者的贡献及其实例对目标受试者的疾病估计进行了公平评估，从而提高了该方法的解释性。接下来，根据转移受试者的贡献确定有效实例的比例，并且根据此比例进行更高贡献的实例，以进一步降低转移的实例子集和目标对象之间的差异。最后，将选定的实例子集添加到目标主体的训练集中，并将扩展数据馈入随机森林中，以提高PD严重性预测方法的性能。帕金森的远程监控数据集用于评估可行性和有效性。实验结果表明，所提出的PSGT方法在预测误差和稳定性中具有更好的性能，而不是比较方法。

联合学习（FL），其中多个机构在不共享数据的情况下协作训练机器学习模型正在变得流行。参与机构可能不会平等地做出贡献，有些贡献了更多的数据，一些更好的质量数据或一些更多样化的数据。为了公平地排名不同机构的贡献，沙普利价值（SV）已成为选择方法。精确的SV计算非常昂贵，尤其是在有数百个贡献者的情况下。现有的SV计算技术使用近似值。但是，在医疗保健中，贡献机构的数量可能不是巨大的规模，计算精确的SVS仍然很昂贵，但并非不可能。对于此类设置，我们提出了一种称为Safe的高效SV计算技术（用于使用Enembly的联合学习的Shapley值）。我们从经验上表明，安全计算接近精确SV的值，并且其性能优于当前SV近似值。这在医学成像环境中尤其重要，在医学成像环境中，整个机构之间的广泛异质性猖ramp，并且需要快速准确的数据评估来确定每个参与者在多机构协作学习中的贡献。

在文献中提出了各种各样的公平度量和可解释的人工智能（XAI）方法，以确定在关键现实环境中使用的机器学习模型中的偏差。但是，仅报告模型的偏差，或使用现有XAI技术生成解释不足以定位并最终减轻偏差源。在这项工作中，我们通过识别对这种行为的根本原因的训练数据的连贯子集来引入Gopher，该系统产生紧凑，可解释和意外模型行为的偏差或意外模型行为。具体而言，我们介绍了因果责任的概念，这些责任通过删除或更新其数据集来解决培训数据的程度可以解决偏差。建立在这一概念上，我们开发了一种有效的方法，用于生成解释模型偏差的顶级模式，该模型偏置利用来自ML社区的技术来实现因果责任，并使用修剪规则来管理模式的大搜索空间。我们的实验评估表明了Gopher在为识别和调试偏置来源产生可解释解释时的有效性。

沙普利价值是衡量单个特征影响的流行方法。尽管Shapley功能归因是基于游戏理论的Desiderata，但在某些机器学习设置中，其某些约束可能不太自然，从而导致不直觉的模型解释。特别是，Shapley值对所有边际贡献都使用相同的权重 - 即，当给出大量其他功能时，当给出少数其他功能时，它具有相同的重要性。如果较大的功能集比较小的功能集更具信息性，则此属性可能是有问题的。我们的工作对沙普利特征归因的潜在局限性进行了严格的分析。我们通过为较小的影响力特征分配较大的属性来确定Shapley值在数学上是次优的设置。在这一观察结果的驱动下，我们提出了加权图，它概括了沙普利的价值，并了解到直接从数据中关注哪些边际贡献。在几个现实世界数据集上，我们证明，与沙普利值确定的功能相比，加权图确定的有影响力的特征可以更好地概括模型的预测。

机器学习（ML）模型需要经常在改变各种应用场景中更改数据集，包括数据估值和不确定量化。为了有效地重新培训模型，已经提出了线性近似方法，例如影响功能，以估计数据变化对模型参数的影响。但是，对于大型数据集的变化，这些方法变得不准确。在这项工作中，我们专注于凸起的学习问题，并提出了一般框架，用于学习使用神经网络进行不同训练集的优化模型参数。我们建议强制执行预测的模型参数，以通过正则化技术遵守最优性条件并保持效用，从而显着提高泛化。此外，我们严格地表征了神经网络的表现力，以近似凸起问题的优化器。经验结果展示了与最先进的准确高效的模型参数估计中提出的方法的优点。

福利值广泛用作模型不可知的解释框架，以解释复杂的预测机器学习模型。福利值具有理想的理论特性和声音数学基础。精确的福芙值估计依赖数据依赖于所有特征组合之间的依赖性的准确建模。在本文中，我们使用具有任意调节（VAEAC）的变形AutoEncoder来同时建模所有特征依赖性。我们通过全面的仿真研究证明了VAEAC对于连续和混合依赖特征的各种环境来说，VAEAC优于最先进的方法。最后，我们将VAEAC应用于从UCI机器学习存储库中的鲍鱼数据集。

目的：我们研究使用机器学习（ML）模型的可解释的累入预测，并在预测能力，稀疏性和公平性方面分析性能。与以前的作品不同，本研究列举了输出概率而不是二进制预测的可解释模型，并使用定量公平定义来评估模型。本研究还研究了模型是否可以横跨地理位置概括。方法：我们在佛罗里达州和肯塔基州的两个不同的刑事核查数据集上生成了黑盒和可解释的ML模型。我们将这些模型的预测性能和公平与目前用于司法系统中使用的两种方法进行了比较，以预测审前常规率：Arnold PSA和Compas。我们评估了所有模型的预测性能，可以在两次跨越两次预测六种不同类型犯罪的模型。结果：几种可解释的ML模型可以预测常规和黑盒ML模型，比Compas或Arnold PSA更准确。这些模型在实践中可能有用。类似于Arnold PSA，这些可解释模型中的一些可以作为一个简单的表格写入。其他可以使用一组可视化显示。我们的地理分析表明ML模型应分开培训，以便单独的位置并随时间更新。我们还为可​​解释模型提供了公平分析。结论：可解释的机器学习模型可以在预测准确性和公平性方面表现，也可以表现，也可以表现，也可以执行不可解释的方法和目前使用的风险评估尺度。机器学习模型对于单独培训，可以更准确地进行不同的位置，并保持最新。