随机森林已被广泛用于其提供的所谓重要措施，在输入变量的相关性来预测某一输出全局（每个数据集）级洞察能力。在另一方面，根据沙普利值方法已被引入特征相关的基于树的模型分析细化到本地（每个实例）的水平。在这种情况下，我们首先证明杂质（MDI）变量重要性得分的全球平均减少对应的Shapley值在某些条件下。然后，我们推导出变量相关的本地MDI重要的措施，这与全球MDI衡量一个非常自然的连接，并且可以与局部特征相关的一个新概念。我们进一步联系当地MDI重要性有关与沙普利值和从文献中有关措施的光进行讨论。这些措施是通过实验在几个分类和回归问题的说明。

机器学习模型，尤其是人工神经网络，越来越多地用于为在各个领域的高风险场景中（从金融服务，公共安全和医疗保健服务）提供信息。尽管神经网络在许多情况下都取得了出色的性能，但它们的复杂性质引起了人们对现实情况下的可靠性，可信赖性和公平性的关注。结果，已经提出了几种A-tostori解释方法来突出影响模型预测的特征。值得注意的是，Shapley的价值 - 一种满足几种理想特性的游戏理论数量 - 在机器学习解释性文献中获得了知名度。然而，更传统上，在统计学习中的特征是通过有条件独立性正式化的，而对其进行测试的标准方法是通过有条件的随机测试（CRT）。到目前为止，有关解释性和特征重要性的这两个观点已被认为是独特的和独立的。在这项工作中，我们表明基于沙普利的解释方法和针对特征重要性的有条件独立性测试密切相关。更确切地说，我们证明，通过类似于CRT的程序实现了一组特定的条件独立性测试，评估了Shapley系数量，以执行特定的条件独立性测试，但用于不同的零假设。此外，获得的游戏理论值上限限制了此类测试的$ p $值。结果，我们授予大型Shapley系数具有精确的统计意义，并具有控制I型错误。

基于Shapley值的功能归因在解释机器学习模型中很受欢迎。但是，从理论和计算的角度来看，它们的估计是复杂的。我们将这种复杂性分解为两个因素：（1）〜删除特征信息的方法，以及（2）〜可拖动估计策略。这两个因素提供了一种天然镜头，我们可以更好地理解和比较24种不同的算法。基于各种特征删除方法，我们描述了多种类型的Shapley值特征属性和计算每个类型的方法。然后，基于可进行的估计策略，我们表征了两个不同的方法家族：模型 - 不合时宜的和模型特定的近似值。对于模型 - 不合稳定的近似值，我们基准了广泛的估计方法，并将其与Shapley值的替代性但等效的特征联系起来。对于特定于模型的近似值，我们阐明了对每种方法的线性，树和深模型的障碍至关重要的假设。最后，我们确定了文献中的差距以及有希望的未来研究方向。

We introduce the XPER (eXplainable PERformance) methodology to measure the specific contribution of the input features to the predictive or economic performance of a model. Our methodology offers several advantages. First, it is both model-agnostic and performance metric-agnostic. Second, XPER is theoretically founded as it is based on Shapley values. Third, the interpretation of the benchmark, which is inherent in any Shapley value decomposition, is meaningful in our context. Fourth, XPER is not plagued by model specification error, as it does not require re-estimating the model. Fifth, it can be implemented either at the model level or at the individual level. In an application based on auto loans, we find that performance can be explained by a surprisingly small number of features. XPER decompositions are rather stable across metrics, yet some feature contributions switch sign across metrics. Our analysis also shows that explaining model forecasts and model performance are two distinct tasks.

This paper proposes a new tree-based ensemble method for supervised classification and regression problems. It essentially consists of randomizing strongly both attribute and cut-point choice while splitting a tree node. In the extreme case, it builds totally randomized trees whose structures are independent of the output values of the learning sample. The strength of the randomization can be tuned to problem specifics by the appropriate choice of a parameter. We evaluate the robustness of the default choice of this parameter, and we also provide insight on how to adjust it in particular situations. Besides accuracy, the main strength of the resulting algorithm is computational efficiency. A bias/variance analysis of the Extra-Trees algorithm is also provided as well as a geometrical and a kernel characterization of the models induced.

Shapley values are ubiquitous in interpretable Machine Learning due to their strong theoretical background and efficient implementation in the SHAP library. Computing these values previously induced an exponential cost with respect to the number of input features of an opaque model. Now, with efficient implementations such as Interventional TreeSHAP, this exponential burden is alleviated assuming one is explaining ensembles of decision trees. Although Interventional TreeSHAP has risen in popularity, it still lacks a formal proof of how/why it works. We provide such proof with the aim of not only increasing the transparency of the algorithm but also to encourage further development of these ideas. Notably, our proof for Interventional TreeSHAP is easily adapted to Shapley-Taylor indices and one-hot-encoded features.

可变重要性措施是分析随机林的黑盒机制的主要工具。虽然平均值降低精度（MDA）被广泛接受作为随机森林最有效的可变重要性措施，但对其统计特性知之甚少。实际上，确切的MDA定义在主随机林软件上变化。在本文中，我们的目标是严格分析主要MDA实施的行为。因此，我们在数学上正式地形化各种实施的MDA算法，然后在样本量增加时建立限制。特别是，我们在三个组件中分解了这些限制：第一个与Sobol指数有关，这是对响应方差的协变度贡献的明确定义措施，广泛应用于敏感性分析领域，而不是TheThird术语，谁的价值随着协变量的依赖而增加。因此，我们理论上证明了MDA在协变者依赖时，MDA不会瞄准正确的数量，这是实验发现的事实。为了解决这个问题，我们为随机林，Sobol-MDA定义了一个新的重要性测量，它修复了原始MDA的缺陷。我们证明了Sobol-MDA的一致性，并表明Sobol-MDA在模拟和实际数据上经验胜过其竞争对手。 R和C ++中的开源实现可在线获取。

树合奏方法如随机森林[Breiman，2001]非常受欢迎，以处理高维表格数据集，特别是因为它们的预测精度良好。然而，当机器学习用于决策问题时，由于开明的决策需要对算法预测过程的深入理解来实现最佳预测程序的解决可能是不合理的。不幸的是，由于他们的预测结果从平均数百个决策树的预测结果，随机森林并不是本质上可解释的。在这种所谓的黑盒算法上获得知识的经典方法是计算可变重要性，这些重点是评估每个输入变量的预测影响。然后使用可变重要性对等变量进行排名或选择变量，从而在数据分析中发挥着重要作用。然而，没有理由使用随机森林变量以这种方式：我们甚至不知道这些数量估计。在本文中，我们分析了两个众所周知的随机森林可变重大之一，平均减少杂质（MDI）。我们证明，如果输入变量是独立的并且在没有相互作用的情况下，MDI提供了输出的方差分解，其中清楚地识别了每个变量的贡献。我们还研究表现出输入变量或交互之间的依赖性的模型，其中变量重要性本质上是不明的。我们的分析表明，与一棵树相比，可能存在使用森林的一些好处。

即使有效，模型的使用也必须伴随着转换数据的各个级别的理解（上游和下游）。因此，需求增加以定义单个数据与算法可以根据其分析可以做出的选择（例如，一种产品或一种促销报价的建议，或代表风险的保险费率）。模型用户必须确保模型不会区分，并且也可以解释其结果。本文介绍了模型解释的重要性，并解决了模型透明度的概念。在保险环境中，它专门说明了如何使用某些工具来强制执行当今可以利用机器学习的精算模型的控制。在一个简单的汽车保险中损失频率估计的示例中，我们展示了一些解释性方法的兴趣，以适应目标受众的解释。

Originating from cooperative game theory, Shapley values have become one of the most widely used measures for variable importance in applied Machine Learning. However, the statistical understanding of Shapley values is still limited. In this paper, we take a nonparametric (or smoothing) perspective by introducing Shapley curves as a local measure of variable importance. We propose two estimation strategies and derive the consistency and asymptotic normality both under independence and dependence among the features. This allows us to construct confidence intervals and conduct inference on the estimated Shapley curves. The asymptotic results are validated in extensive experiments. In an empirical application, we analyze which attributes drive the prices of vehicles.

Preddiff是一种模型不合时宜的局部归因方法，牢固地植根于概率理论。它的简单直觉是在边缘化特征时测量预测变化。在这项工作中，我们阐明了Preddiff的属性及其与Shapley值的密切联系。我们强调分类和回归之间的重要差异，这在两种形式主义中都需要特定的治疗方法。我们通过引入一种新的，有充分的基础的措施来扩展Preddiff，以实现任意特征子集之间的相互作用效果。对互动效应的研究代表了对黑盒模型的全面理解的不可避免的一步，对于科学应用尤其重要。Preddiff配备了我们的新型交互度量，是一种有前途的模型无关方法，用于获得可靠的，数值廉价和理论上声音的归因。

随着现代复杂的神经网络不断破坏记录并解决更严重的问题，它们的预测也变得越来越少。目前缺乏解释性通常会破坏敏感设置中精确的机器学习工具的部署。在这项工作中，我们提出了一种基于Shapley系数的层次扩展的图像分类的模型 - 不足的解释方法 - 层次结构（H-SHAP）（H-SHAP） - 解决了当前方法的某些局限性。与其他基于沙普利的解释方法不同，H-shap是可扩展的，并且可以计算而无需近似。在某些分布假设下，例如在多个实例学习中常见的假设，H-shap检索了确切的Shapley系数，并具有指数改善的计算复杂性。我们将我们的分层方法与基于Shapley的流行基于Shapley和基于Shapley的方法进行比较，而基于Shapley的方法，医学成像方案以及一般的计算机视觉问题，表明H-Shap在准确性和运行时都超过了最先进的状态。代码和实验已公开可用。

While $\ell_2$ regularization is widely used in training gradient boosted trees, popular individualized feature attribution methods for trees such as Saabas and TreeSHAP overlook the training procedure. We propose Prediction Decomposition Attribution (PreDecomp), a novel individualized feature attribution for gradient boosted trees when they are trained with $\ell_2$ regularization. Theoretical analysis shows that the inner product between PreDecomp and labels on in-sample data is essentially the total gain of a tree, and that it can faithfully recover additive models in the population case when features are independent. Inspired by the connection between PreDecomp and total gain, we also propose TreeInner, a family of debiased global feature attributions defined in terms of the inner product between any individualized feature attribution and labels on out-sample data for each tree. Numerical experiments on a simulated dataset and a genomic ChIP dataset show that TreeInner has state-of-the-art feature selection performance. Code reproducing experiments is available at https://github.com/nalzok/TreeInner .

由于其理想的特性，与Shapley相关的技术已成为全球和局部解释工具的关注。但是，他们使用条件期望的计算在计算上是昂贵的。文献中建议的近似方法有局限性。本文提出了基于条件期望的基于替代模型的树来计算沙普利和塑造值。仿真研究表明，拟议的算法可提供准确性的提高，统一全球沙普利和外形解释，而阈值方法为折衷运行时间和准确性提供了一种方法。

使用福利值的添加特征说明已经成为为每个特征的相对重要性提供给机器学习模型的个人预测的透明度。虽然福利值在合作博弈论中提供了独特的添加剂特征归因，但即使是单机学习模型也可以生成的福利值远非独特，具有影响所产生的血统的理论和实施决策。在这里，我们考虑福利值的应用解释决策树集合，并提出了一种可以应用于随机林和提升决策树的基于福芙值的特征归属的新方法。这种新方法提供了准确地反映各个实例的模型预测算法的细节的属性，同时使用最广泛使用的当前方法之一进行计算竞争。我们解释了标准和新颖方法之间的理论差异，并使用合成和实数据进行比较它们的绩效。

基于树的算法，如随机森林和渐变增强树，继续成为多学科最受欢迎和强大的机器学习模型之一。估计基于树模型中特征的影响的传统智慧是测量\脑缩小{节目减少损失函数}，（i）仅收集全球重要性措施和（ii）遭受严重影响偏见。条件特征贡献（CFC）通过遵循决策路径并将模型的预期输出的更改归因于路径的每个功能，提供对预测的\ yourceit {local}，逐个案例说明。但是，Lundberg等人。指出了CFC的潜在偏见，这取决于与树根的距离。现在是现在非常受欢迎的替代方案，福芙添加剂解释（Shap）值似乎减轻了这种偏差，但计算得多更昂贵。在这里，我们有助于对两种公开可用的分类问题的两种方法计算的解释进行了彻底的比较，以便向当前研究人员提供数据驱动算法的建议。对于随机森林，我们发现本地和全球形状值和CFC分数的极高相似之处和相关性，导致非常相似的排名和解释。类似的结论对于使用全局特征重要性分数的保真度作为与每个特征相关的预测电力的代理。

沙普利价值是衡量单个特征影响的流行方法。尽管Shapley功能归因是基于游戏理论的Desiderata，但在某些机器学习设置中，其某些约束可能不太自然，从而导致不直觉的模型解释。特别是，Shapley值对所有边际贡献都使用相同的权重 - 即，当给出大量其他功能时，当给出少数其他功能时，它具有相同的重要性。如果较大的功能集比较小的功能集更具信息性，则此属性可能是有问题的。我们的工作对沙普利特征归因的潜在局限性进行了严格的分析。我们通过为较小的影响力特征分配较大的属性来确定Shapley值在数学上是次优的设置。在这一观察结果的驱动下，我们提出了加权图，它概括了沙普利的价值，并了解到直接从数据中关注哪些边际贡献。在几个现实世界数据集上，我们证明，与沙普利值确定的功能相比，加权图确定的有影响力的特征可以更好地概括模型的预测。

测量黑匣子预测算法中变量重要性的最流行方法是利用合成输入，这些输入结合了来自多个受试者的预测变量。这些输入可能是不可能的，身体上不可能的，甚至在逻辑上是不可能的。结果，对这种情况的预测可以基于数据，这与对黑匣子的训练非常不同。我们认为，当解释使用此类值时，用户不能相信预测算法的决定的解释。取而代之的是，我们主张一种称为同类沙普利的方法，该方法基于经济游戏理论，与大多数其他游戏理论方法不同，它仅使用实际观察到的数据来量化可变重要性。莎普利队的同伙通过缩小判断的主题的缩小，被认为与一个或多个功能上的目标主题相似。如果使用它来缩小队列对队列平均值有很大的不同，则功能很重要。我们在算法公平问题上进行了说明，其中必须将重要性归因于未经训练模型的保护变量。对于每个主题和每个预测变量，我们可以计算该预测因子对受试者的预测响应或对其实际响应的重要性。这些值可以汇总，例如在所有黑色受试者上，我们提出了一个贝叶斯引导程序来量化个人和骨料莎普利值的不确定性。

Besides accuracy, recent studies on machine learning models have been addressing the question on how the obtained results can be interpreted. Indeed, while complex machine learning models are able to provide very good results in terms of accuracy even in challenging applications, it is difficult to interpret them. Aiming at providing some interpretability for such models, one of the most famous methods, called SHAP, borrows the Shapley value concept from game theory in order to locally explain the predicted outcome of an instance of interest. As the SHAP values calculation needs previous computations on all possible coalitions of attributes, its computational cost can be very high. Therefore, a SHAP-based method called Kernel SHAP adopts an efficient strategy that approximate such values with less computational effort. In this paper, we also address local interpretability in machine learning based on Shapley values. Firstly, we provide a straightforward formulation of a SHAP-based method for local interpretability by using the Choquet integral, which leads to both Shapley values and Shapley interaction indices. Moreover, we also adopt the concept of $k$-additive games from game theory, which contributes to reduce the computational effort when estimating the SHAP values. The obtained results attest that our proposal needs less computations on coalitions of attributes to approximate the SHAP values.

Shap是一种衡量机器学习模型中可变重要性的流行方法。在本文中，我们研究了用于估计外形评分的算法，并表明它是功能性方差分析分解的转换。我们使用此连接表明，在Shap近似中的挑战主要与选择功能分布的选择以及估计的$ 2^p $ ANOVA条款的数量有关。我们认为，在这种情况下，机器学习解释性和敏感性分析之间的联系是有照明的，但是直接的实际后果并不明显，因为这两个领域面临着不同的约束。机器学习的解释性问题模型可评估，但通常具有数百个（即使不是数千个）功能。敏感性分析通常处理物理或工程的模型，这些模型可能非常耗时，但在相对较小的输入空间上运行。