由于其强大的理论属性，Shapley的价值已经变得非常流行，以解释黑匣子模型做出的预测。不幸的是，大多数计算沙普利值的现有技术在计算上非常昂贵。我们提出了PDD-shap，这是一种使用基于ANOVA的功能分解模型来近似所解释的黑框模型的算法。这使我们能够比大型数据集的现有方法快地计算出Shapley值的数量级，从而大大降低了计算Shapley值的摊销成本，当需要解释许多预测时。

在可解释的机器学习中，当地的事后解释算法和固有的可解释模型通常被视为竞争方法。在这项工作中，提供了有关Shapley Values的新颖观点，即Shapley Values，这是一种突出的事后解释技术，并表明它与玻璃盒 - 玻璃盒 - gams密切相关，Glassbox-Gam是一种流行的可解释模型。我们介绍了$ n $ -Shapley值，这是Shapley值的自然扩展，该值解释了具有交互条款的个人预测，直到$ n $。随着$ n $的增加，$ n $ shapley的值会收敛于Shapley-Gam，这是原始功能的独特确定分解。从Shapley-GAM中，我们可以计算出任意秩序的Shapley值，从而确切的见解对这些解释的局限性。然后，我们证明Shapley值恢复了订单$ n $的通用添加剂模型，假设我们允许交互条款在解释中订购$ n $。这意味着原始的Shapley值恢复了玻璃盒煤气。在技​​术端，我们表明，选择值函数的不同方式与原始函数的不同功能分解之间存在一对一的对应关系。这为如何选择值函数的问题提供了一个新的观点。我们还对各种标准分类器中存在的可变相互作用程度进行了经验分析，并讨论了我们结果对算法解释的含义。一个用于计算$ n $ shapley值的Python软件包，并在本文中复制结果，请访问\ url {https://github.com/tml-tuebingen/nshap}。

我们通过将回归或分类函数的全局解释分解为主组件和任意顺序的相互作用组件的总和。当添加由因果解释激励的识别约束时，我们发现Q交互作用是该约束的独特解决方案。在这里，Q表示分解中存在的最高相互作用。我们的结果为具有各种实践和理论含义的外形值提供了新的视角：如果将塑形值分解为主要和所有相互作用效应，它们提供了带有因果解释的全球解释。原则上，分解可以应用于任何机器学习模型。但是，由于可能的相互作用的数量随特征的数量呈指数增长，因此精确的计算仅对于适合低维结构或这些组合的方法可行。我们为梯度增压树提供了一种算法和有效的实施（Xgboost和随机种植的森林，计算出这种分解。进行的实验表明，我们的方法提供了有意义的解释，并揭示了更高阶的相互作用。我们还通过利用新见解的进一步的潜力来利用新见解的进一步的潜力。全球解释，用于激励特征重要性的新量度，以及通过删除事后删除来减少直接和间接偏见。

基于Shapley值的功能归因在解释机器学习模型中很受欢迎。但是，从理论和计算的角度来看，它们的估计是复杂的。我们将这种复杂性分解为两个因素：（1）〜删除特征信息的方法，以及（2）〜可拖动估计策略。这两个因素提供了一种天然镜头，我们可以更好地理解和比较24种不同的算法。基于各种特征删除方法，我们描述了多种类型的Shapley值特征属性和计算每个类型的方法。然后，基于可进行的估计策略，我们表征了两个不同的方法家族：模型 - 不合时宜的和模型特定的近似值。对于模型 - 不合稳定的近似值，我们基准了广泛的估计方法，并将其与Shapley值的替代性但等效的特征联系起来。对于特定于模型的近似值，我们阐明了对每种方法的线性，树和深模型的障碍至关重要的假设。最后，我们确定了文献中的差距以及有希望的未来研究方向。

Shap是一种衡量机器学习模型中可变重要性的流行方法。在本文中，我们研究了用于估计外形评分的算法，并表明它是功能性方差分析分解的转换。我们使用此连接表明，在Shap近似中的挑战主要与选择功能分布的选择以及估计的$ 2^p $ ANOVA条款的数量有关。我们认为，在这种情况下，机器学习解释性和敏感性分析之间的联系是有照明的，但是直接的实际后果并不明显，因为这两个领域面临着不同的约束。机器学习的解释性问题模型可评估，但通常具有数百个（即使不是数千个）功能。敏感性分析通常处理物理或工程的模型，这些模型可能非常耗时，但在相对较小的输入空间上运行。

This paper proposes a novel approach to explain the predictions made by data-driven methods. Since such predictions rely heavily on the data used for training, explanations that convey information about how the training data affects the predictions are useful. The paper proposes a novel approach to quantify how different data-clusters of the training data affect a prediction. The quantification is based on Shapley values, a concept which originates from coalitional game theory, developed to fairly distribute the payout among a set of cooperating players. A player's Shapley value is a measure of that player's contribution. Shapley values are often used to quantify feature importance, ie. how features affect a prediction. This paper extends this to cluster importance, letting clusters of the training data act as players in a game where the predictions are the payouts. The novel methodology proposed in this paper lets us explore and investigate how different clusters of the training data affect the predictions made by any black-box model, allowing new aspects of the reasoning and inner workings of a prediction model to be conveyed to the users. The methodology is fundamentally different from existing explanation methods, providing insight which would not be available otherwise, and should complement existing explanation methods, including explanations based on feature importance.

Besides accuracy, recent studies on machine learning models have been addressing the question on how the obtained results can be interpreted. Indeed, while complex machine learning models are able to provide very good results in terms of accuracy even in challenging applications, it is difficult to interpret them. Aiming at providing some interpretability for such models, one of the most famous methods, called SHAP, borrows the Shapley value concept from game theory in order to locally explain the predicted outcome of an instance of interest. As the SHAP values calculation needs previous computations on all possible coalitions of attributes, its computational cost can be very high. Therefore, a SHAP-based method called Kernel SHAP adopts an efficient strategy that approximate such values with less computational effort. In this paper, we also address local interpretability in machine learning based on Shapley values. Firstly, we provide a straightforward formulation of a SHAP-based method for local interpretability by using the Choquet integral, which leads to both Shapley values and Shapley interaction indices. Moreover, we also adopt the concept of $k$-additive games from game theory, which contributes to reduce the computational effort when estimating the SHAP values. The obtained results attest that our proposal needs less computations on coalitions of attributes to approximate the SHAP values.

与经典的统计学习方法相比，机器和深度学习生存模型表现出相似甚至改进事件的预测能力，但太复杂了，无法被人类解释。有几种模型不合时宜的解释可以克服这个问题。但是，没有一个直接解释生存函数预测。在本文中，我们介绍了Survhap（t），这是第一个允许解释生存黑盒模型的解释。它基于Shapley添加性解释，其理论基础稳定，并在机器学习从业人员中广泛采用。拟议的方法旨在增强精确诊断和支持领域的专家做出决策。关于合成和医学数据的实验证实，survhap（t）可以检测具有时间依赖性效果的变量，并且其聚集是对变量对预测的重要性的决定因素，而不是存活。 survhap（t）是模型不可屈服的，可以应用于具有功能输出的所有型号。我们在http://github.com/mi2datalab/survshap中提供了python中时间相关解释的可访问实现。

随着现代复杂的神经网络不断破坏记录并解决更严重的问题，它们的预测也变得越来越少。目前缺乏解释性通常会破坏敏感设置中精确的机器学习工具的部署。在这项工作中，我们提出了一种基于Shapley系数的层次扩展的图像分类的模型 - 不足的解释方法 - 层次结构（H-SHAP）（H-SHAP） - 解决了当前方法的某些局限性。与其他基于沙普利的解释方法不同，H-shap是可扩展的，并且可以计算而无需近似。在某些分布假设下，例如在多个实例学习中常见的假设，H-shap检索了确切的Shapley系数，并具有指数改善的计算复杂性。我们将我们的分层方法与基于Shapley的流行基于Shapley和基于Shapley的方法进行比较，而基于Shapley的方法，医学成像方案以及一般的计算机视觉问题，表明H-Shap在准确性和运行时都超过了最先进的状态。代码和实验已公开可用。

即使有效，模型的使用也必须伴随着转换数据的各个级别的理解（上游和下游）。因此，需求增加以定义单个数据与算法可以根据其分析可以做出的选择（例如，一种产品或一种促销报价的建议，或代表风险的保险费率）。模型用户必须确保模型不会区分，并且也可以解释其结果。本文介绍了模型解释的重要性，并解决了模型透明度的概念。在保险环境中，它专门说明了如何使用某些工具来强制执行当今可以利用机器学习的精算模型的控制。在一个简单的汽车保险中损失频率估计的示例中，我们展示了一些解释性方法的兴趣，以适应目标受众的解释。

由于其理想的特性，与Shapley相关的技术已成为全球和局部解释工具的关注。但是，他们使用条件期望的计算在计算上是昂贵的。文献中建议的近似方法有局限性。本文提出了基于条件期望的基于替代模型的树来计算沙普利和塑造值。仿真研究表明，拟议的算法可提供准确性的提高，统一全球沙普利和外形解释，而阈值方法为折衷运行时间和准确性提供了一种方法。

沙普利价值是衡量单个特征影响的流行方法。尽管Shapley功能归因是基于游戏理论的Desiderata，但在某些机器学习设置中，其某些约束可能不太自然，从而导致不直觉的模型解释。特别是，Shapley值对所有边际贡献都使用相同的权重 - 即，当给出大量其他功能时，当给出少数其他功能时，它具有相同的重要性。如果较大的功能集比较小的功能集更具信息性，则此属性可能是有问题的。我们的工作对沙普利特征归因的潜在局限性进行了严格的分析。我们通过为较小的影响力特征分配较大的属性来确定Shapley值在数学上是次优的设置。在这一观察结果的驱动下，我们提出了加权图，它概括了沙普利的价值，并了解到直接从数据中关注哪些边际贡献。在几个现实世界数据集上，我们证明，与沙普利值确定的功能相比，加权图确定的有影响力的特征可以更好地概括模型的预测。

AI中的解释性对于模型开发，遵守规则并提供对预测的操作细微差异至关重要。 Shapley框架解释性地将模型的预测以数学上的原则和模型无话的方式对其输入特征属性。然而，福利释放性的一般实施使得一个无法维持的假设：模型的功能是不相关的。在这项工作中，我们展示了这种假设的明确缺点，并开发了两个对围绕数据歧管的福利解释性的解决方案。基于生成建模的一种解决方案提供了对数据避难所的灵活访问;另一种直接学习福利价值功能，以灵活成本提供性能和稳定性。虽然“偏流”福谢值（i）产生不正确的解释，但是（ii）隐藏对敏感属性的隐式模型依赖性，并且（iii）导致在高维数据中的解释，歧管解释性克服了这些问题。

We introduce the XPER (eXplainable PERformance) methodology to measure the specific contribution of the input features to the predictive or economic performance of a model. Our methodology offers several advantages. First, it is both model-agnostic and performance metric-agnostic. Second, XPER is theoretically founded as it is based on Shapley values. Third, the interpretation of the benchmark, which is inherent in any Shapley value decomposition, is meaningful in our context. Fourth, XPER is not plagued by model specification error, as it does not require re-estimating the model. Fifth, it can be implemented either at the model level or at the individual level. In an application based on auto loans, we find that performance can be explained by a surprisingly small number of features. XPER decompositions are rather stable across metrics, yet some feature contributions switch sign across metrics. Our analysis also shows that explaining model forecasts and model performance are two distinct tasks.

Understanding why a model makes a certain prediction can be as crucial as the prediction's accuracy in many applications. However, the highest accuracy for large modern datasets is often achieved by complex models that even experts struggle to interpret, such as ensemble or deep learning models, creating a tension between accuracy and interpretability. In response, various methods have recently been proposed to help users interpret the predictions of complex models, but it is often unclear how these methods are related and when one method is preferable over another. To address this problem, we present a unified framework for interpreting predictions, SHAP (SHapley Additive exPlanations). SHAP assigns each feature an importance value for a particular prediction. Its novel components include: (1) the identification of a new class of additive feature importance measures, and (2) theoretical results showing there is a unique solution in this class with a set of desirable properties. The new class unifies six existing methods, notable because several recent methods in the class lack the proposed desirable properties. Based on insights from this unification, we present new methods that show improved computational performance and/or better consistency with human intuition than previous approaches.

While preference modelling is becoming one of the pillars of machine learning, the problem of preference explanation remains challenging and underexplored. In this paper, we propose \textsc{Pref-SHAP}, a Shapley value-based model explanation framework for pairwise comparison data. We derive the appropriate value functions for preference models and further extend the framework to model and explain \emph{context specific} information, such as the surface type in a tennis game. To demonstrate the utility of \textsc{Pref-SHAP}, we apply our method to a variety of synthetic and real-world datasets and show that richer and more insightful explanations can be obtained over the baseline.

研究人员提出了多种模型解释方法，但目前尚不清楚大多数方法如何相关或何时一种方法比另一种方法更可取。我们研究了文献，发现许多方法都是基于通过删除来解释的共同原理 - 本质上是测量从模型中删除一组特征的影响。这些方法在几个方面有所不同，因此我们为基于删除的解释开发了一个沿三个维度表征每个方法的框架：1）该方法如何删除特征，2）该方法解释的模型行为以及3）方法如何汇总每个方法功能的影响。我们的框架统一了26种现有方法，其中包括几种最广泛使用的方法（Shap，Lime，有意义的扰动，排列测试）。揭露这些方法之间的基本相似性使用户能够推荐使用哪种工具，并为正在进行的模型解释性研究提出了有希望的方向。

探索黑盒机器学习（ML）模型的重要技术称为Shap（Shapley添加说明）。Shap值以公平的方式将预测分解为功能的贡献。我们将证明，对于具有添加性建模的一些或所有功能的增强树模型，此类特征的外形依赖图与其部分依赖图相对应，直到垂直移动。我们用XGBoost说明了结果。

测量黑匣子预测算法中变量重要性的最流行方法是利用合成输入，这些输入结合了来自多个受试者的预测变量。这些输入可能是不可能的，身体上不可能的，甚至在逻辑上是不可能的。结果，对这种情况的预测可以基于数据，这与对黑匣子的训练非常不同。我们认为，当解释使用此类值时，用户不能相信预测算法的决定的解释。取而代之的是，我们主张一种称为同类沙普利的方法，该方法基于经济游戏理论，与大多数其他游戏理论方法不同，它仅使用实际观察到的数据来量化可变重要性。莎普利队的同伙通过缩小判断的主题的缩小，被认为与一个或多个功能上的目标主题相似。如果使用它来缩小队列对队列平均值有很大的不同，则功能很重要。我们在算法公平问题上进行了说明，其中必须将重要性归因于未经训练模型的保护变量。对于每个主题和每个预测变量，我们可以计算该预测因子对受试者的预测响应或对其实际响应的重要性。这些值可以汇总，例如在所有黑色受试者上，我们提出了一个贝叶斯引导程序来量化个人和骨料莎普利值的不确定性。

机器学习模型，尤其是人工神经网络，越来越多地用于为在各个领域的高风险场景中（从金融服务，公共安全和医疗保健服务）提供信息。尽管神经网络在许多情况下都取得了出色的性能，但它们的复杂性质引起了人们对现实情况下的可靠性，可信赖性和公平性的关注。结果，已经提出了几种A-tostori解释方法来突出影响模型预测的特征。值得注意的是，Shapley的价值 - 一种满足几种理想特性的游戏理论数量 - 在机器学习解释性文献中获得了知名度。然而，更传统上，在统计学习中的特征是通过有条件独立性正式化的，而对其进行测试的标准方法是通过有条件的随机测试（CRT）。到目前为止，有关解释性和特征重要性的这两个观点已被认为是独特的和独立的。在这项工作中，我们表明基于沙普利的解释方法和针对特征重要性的有条件独立性测试密切相关。更确切地说，我们证明，通过类似于CRT的程序实现了一组特定的条件独立性测试，评估了Shapley系数量，以执行特定的条件独立性测试，但用于不同的零假设。此外，获得的游戏理论值上限限制了此类测试的$ p $值。结果，我们授予大型Shapley系数具有精确的统计意义，并具有控制I型错误。