Shapley values are ubiquitous in interpretable Machine Learning due to their strong theoretical background and efficient implementation in the SHAP library. Computing these values previously induced an exponential cost with respect to the number of input features of an opaque model. Now, with efficient implementations such as Interventional TreeSHAP, this exponential burden is alleviated assuming one is explaining ensembles of decision trees. Although Interventional TreeSHAP has risen in popularity, it still lacks a formal proof of how/why it works. We provide such proof with the aim of not only increasing the transparency of the algorithm but also to encourage further development of these ideas. Notably, our proof for Interventional TreeSHAP is easily adapted to Shapley-Taylor indices and one-hot-encoded features.

使用福利值的添加特征说明已经成为为每个特征的相对重要性提供给机器学习模型的个人预测的透明度。虽然福利值在合作博弈论中提供了独特的添加剂特征归因，但即使是单机学习模型也可以生成的福利值远非独特，具有影响所产生的血统的理论和实施决策。在这里，我们考虑福利值的应用解释决策树集合，并提出了一种可以应用于随机林和提升决策树的基于福芙值的特征归属的新方法。这种新方法提供了准确地反映各个实例的模型预测算法的细节的属性，同时使用最广泛使用的当前方法之一进行计算竞争。我们解释了标准和新颖方法之间的理论差异，并使用合成和实数据进行比较它们的绩效。

随机森林已被广泛用于其提供的所谓重要措施，在输入变量的相关性来预测某一输出全局（每个数据集）级洞察能力。在另一方面，根据沙普利值方法已被引入特征相关的基于树的模型分析细化到本地（每个实例）的水平。在这种情况下，我们首先证明杂质（MDI）变量重要性得分的全球平均减少对应的Shapley值在某些条件下。然后，我们推导出变量相关的本地MDI重要的措施，这与全球MDI衡量一个非常自然的连接，并且可以与局部特征相关的一个新概念。我们进一步联系当地MDI重要性有关与沙普利值和从文献中有关措施的光进行讨论。这些措施是通过实验在几个分类和回归问题的说明。

随着现代复杂的神经网络不断破坏记录并解决更严重的问题，它们的预测也变得越来越少。目前缺乏解释性通常会破坏敏感设置中精确的机器学习工具的部署。在这项工作中，我们提出了一种基于Shapley系数的层次扩展的图像分类的模型 - 不足的解释方法 - 层次结构（H-SHAP）（H-SHAP） - 解决了当前方法的某些局限性。与其他基于沙普利的解释方法不同，H-shap是可扩展的，并且可以计算而无需近似。在某些分布假设下，例如在多个实例学习中常见的假设，H-shap检索了确切的Shapley系数，并具有指数改善的计算复杂性。我们将我们的分层方法与基于Shapley的流行基于Shapley和基于Shapley的方法进行比较，而基于Shapley的方法，医学成像方案以及一般的计算机视觉问题，表明H-Shap在准确性和运行时都超过了最先进的状态。代码和实验已公开可用。

机器学习模型，尤其是人工神经网络，越来越多地用于为在各个领域的高风险场景中（从金融服务，公共安全和医疗保健服务）提供信息。尽管神经网络在许多情况下都取得了出色的性能，但它们的复杂性质引起了人们对现实情况下的可靠性，可信赖性和公平性的关注。结果，已经提出了几种A-tostori解释方法来突出影响模型预测的特征。值得注意的是，Shapley的价值 - 一种满足几种理想特性的游戏理论数量 - 在机器学习解释性文献中获得了知名度。然而，更传统上，在统计学习中的特征是通过有条件独立性正式化的，而对其进行测试的标准方法是通过有条件的随机测试（CRT）。到目前为止，有关解释性和特征重要性的这两个观点已被认为是独特的和独立的。在这项工作中，我们表明基于沙普利的解释方法和针对特征重要性的有条件独立性测试密切相关。更确切地说，我们证明，通过类似于CRT的程序实现了一组特定的条件独立性测试，评估了Shapley系数量，以执行特定的条件独立性测试，但用于不同的零假设。此外，获得的游戏理论值上限限制了此类测试的$ p $值。结果，我们授予大型Shapley系数具有精确的统计意义，并具有控制I型错误。

基于Shapley值的功能归因在解释机器学习模型中很受欢迎。但是，从理论和计算的角度来看，它们的估计是复杂的。我们将这种复杂性分解为两个因素：（1）〜删除特征信息的方法，以及（2）〜可拖动估计策略。这两个因素提供了一种天然镜头，我们可以更好地理解和比较24种不同的算法。基于各种特征删除方法，我们描述了多种类型的Shapley值特征属性和计算每个类型的方法。然后，基于可进行的估计策略，我们表征了两个不同的方法家族：模型 - 不合时宜的和模型特定的近似值。对于模型 - 不合稳定的近似值，我们基准了广泛的估计方法，并将其与Shapley值的替代性但等效的特征联系起来。对于特定于模型的近似值，我们阐明了对每种方法的线性，树和深模型的障碍至关重要的假设。最后，我们确定了文献中的差距以及有希望的未来研究方向。

Besides accuracy, recent studies on machine learning models have been addressing the question on how the obtained results can be interpreted. Indeed, while complex machine learning models are able to provide very good results in terms of accuracy even in challenging applications, it is difficult to interpret them. Aiming at providing some interpretability for such models, one of the most famous methods, called SHAP, borrows the Shapley value concept from game theory in order to locally explain the predicted outcome of an instance of interest. As the SHAP values calculation needs previous computations on all possible coalitions of attributes, its computational cost can be very high. Therefore, a SHAP-based method called Kernel SHAP adopts an efficient strategy that approximate such values with less computational effort. In this paper, we also address local interpretability in machine learning based on Shapley values. Firstly, we provide a straightforward formulation of a SHAP-based method for local interpretability by using the Choquet integral, which leads to both Shapley values and Shapley interaction indices. Moreover, we also adopt the concept of $k$-additive games from game theory, which contributes to reduce the computational effort when estimating the SHAP values. The obtained results attest that our proposal needs less computations on coalitions of attributes to approximate the SHAP values.

最近已经提出了几个查询和分数来解释对ML模型的个人预测。鉴于ML型号的灵活，可靠和易于应用的可解释性方法，我们预见了需要开发声明语言以自然地指定不同的解释性查询。我们以原则的方式通过源于逻辑，称为箔，允许表达许多简单但重要的解释性查询，并且可以作为更具表现力解释性语言的核心来实现这一语言。我们研究箔片查询的两类ML模型的计算复杂性经常被视为容易解释：决策树和OBDD。由于ML模型的可能输入的数量是尺寸的指数，因此箔评估问题的易易性是精细的，但是可以通过限制模型的结构或正在评估的箔片段来实现。我们还以高级声明语言包装的箔片的原型实施，并执行实验，表明可以在实践中使用这种语言。

Shap（Shapley添加说明）值是解释机器学习模型的主要工具之一，具有强大的理论保证（一致性，本地准确性）以及广泛的实现和用例。即使计算形状值通常需要指数时间，也要在基于树的模型上进行多项式时间。尽管加速很大，但Treeshap仍然可以主导具有数百万或更多条目的数据集上行业级的机器学习解决方案的计算时间，从而导致事后模型诊断和解释服务延迟。在本文中，我们介绍了两种新算法，即快速Treeshap V1和V2，旨在提高大型数据集的Treeshap的计算效率。我们从经验上发现，快速的Treeshap V1的速度比Treeshap快1.5倍，同时保持内存成本不变。同样，由于昂贵的Treeshap步骤的预先摄入的前，快速Treeshap V2比Treeshap快2.5倍，其成本略高。我们还表明，快速的Treeshap V2非常适合多时间模型解释，从而使新传入样品的解释更高。

决策树由于易于解释性而闻名。为了提高准确性，我们需要种植深树或树木的合奏。这些很难解释，抵消了它们的原始好处。Shapley的价值最近已成为解释基于树的机器学习模型预测的流行方式。它为独立于树结构的特征提供了线性加权。受欢迎程度的上升主要归因于Treeshap，该treeshap解决了多项式时间中的一般指数复杂性问题。在该行业广泛采用之后，需要更有效的算法。本文提出了一种更有效，更直接的算法：线性三链。像Treeshap一样，线性三膜是精确的，需要相同数量的内存。

在本文中，我们对在表格数据的情况下进行了详尽的理论分析。我们证明，在较大的样本限制中，可以按照算法参数的函数以及与黑框模型相关的一些期望计算来计算表格石灰提供的可解释系数。当要解释的函数具有一些不错的代数结构（根据坐标的子集，线性，乘法或稀疏）时，我们的分析提供了对Lime提供的解释的有趣见解。这些可以应用于一系列机器学习模型，包括高斯内核或卡车随机森林。例如，对于线性函数，我们表明Lime具有理想的属性，可以提供与函数系数成正比的解释，以解释并忽略该函数未使用的坐标来解释。对于基于分区的回归器，另一方面，我们表明石灰会产生可能提供误导性解释的不希望的人工制品。

我们通过将回归或分类函数的全局解释分解为主组件和任意顺序的相互作用组件的总和。当添加由因果解释激励的识别约束时，我们发现Q交互作用是该约束的独特解决方案。在这里，Q表示分解中存在的最高相互作用。我们的结果为具有各种实践和理论含义的外形值提供了新的视角：如果将塑形值分解为主要和所有相互作用效应，它们提供了带有因果解释的全球解释。原则上，分解可以应用于任何机器学习模型。但是，由于可能的相互作用的数量随特征的数量呈指数增长，因此精确的计算仅对于适合低维结构或这些组合的方法可行。我们为梯度增压树提供了一种算法和有效的实施（Xgboost和随机种植的森林，计算出这种分解。进行的实验表明，我们的方法提供了有意义的解释，并揭示了更高阶的相互作用。我们还通过利用新见解的进一步的潜力来利用新见解的进一步的潜力。全球解释，用于激励特征重要性的新量度，以及通过删除事后删除来减少直接和间接偏见。

子模块功能一直是多种现实应用程序的强大数学模型。最近，用于建模数据和功能等实体之间的建模概念（例如信息和冗余），在机器学习（ML）中越来越重要。在这些应用中，一个关键问题是回报分配，即如何评估每个实体对集体目标的重要性？为此，合作游戏理论的经典解决方案概念提供了有原则的收益分配方法。然而，尽管游戏理论文献广泛，但在研究中的收益分配相对不足。特别是，在新兴的子模型应用程序中出现的一个重要概念是冗余，这可能来自各种来源，例如丰富的数据或恶意操纵，在这些来源中，玩家复制其资源并在多个身份下行动。尽管许多游戏理论解决方案概念可以直接用于子模型游戏中，但天真地将它们应用于这些设置中的回报可能会导致鲁棒性问题，以防止复制。在本文中，我们系统地研究了子模型游戏中的复制操作并研究了复制鲁棒性，该指标可以定量测量解决方案概念抗复制的鲁棒性。使用该指标，我们提出了从理论上描述半相象的鲁棒性的条件，该标准是夏普利和班扎夫价值在内的广泛解决方案概念的鲁棒性。此外，我们从经验上验证了我们在新兴的Subsodular ML应用程序（即ML数据市场）上验证我们的理论结果。

A quantitative assessment of the global importance of an agent in a team is as valuable as gold for strategists, decision-makers, and sports coaches. Yet, retrieving this information is not trivial since in a cooperative task it is hard to isolate the performance of an individual from the one of the whole team. Moreover, it is not always clear the relationship between the role of an agent and his personal attributes. In this work we conceive an application of the Shapley analysis for studying the contribution of both agent policies and attributes, putting them on equal footing. Since the computational complexity is NP-hard and scales exponentially with the number of participants in a transferable utility coalitional game, we resort to exploiting a-priori knowledge about the rules of the game to constrain the relations between the participants over a graph. We hence propose a method to determine a Hierarchical Knowledge Graph of agents' policies and features in a Multi-Agent System. Assuming a simulator of the system is available, the graph structure allows to exploit dynamic programming to assess the importances in a much faster way. We test the proposed approach in a proof-of-case environment deploying both hardcoded policies and policies obtained via Deep Reinforcement Learning. The proposed paradigm is less computationally demanding than trivially computing the Shapley values and provides great insight not only into the importance of an agent in a team but also into the attributes needed to deploy the policy at its best.

Shap是一种衡量机器学习模型中可变重要性的流行方法。在本文中，我们研究了用于估计外形评分的算法，并表明它是功能性方差分析分解的转换。我们使用此连接表明，在Shap近似中的挑战主要与选择功能分布的选择以及估计的$ 2^p $ ANOVA条款的数量有关。我们认为，在这种情况下，机器学习解释性和敏感性分析之间的联系是有照明的，但是直接的实际后果并不明显，因为这两个领域面临着不同的约束。机器学习的解释性问题模型可评估，但通常具有数百个（即使不是数千个）功能。敏感性分析通常处理物理或工程的模型，这些模型可能非常耗时，但在相对较小的输入空间上运行。

即使有效，模型的使用也必须伴随着转换数据的各个级别的理解（上游和下游）。因此，需求增加以定义单个数据与算法可以根据其分析可以做出的选择（例如，一种产品或一种促销报价的建议，或代表风险的保险费率）。模型用户必须确保模型不会区分，并且也可以解释其结果。本文介绍了模型解释的重要性，并解决了模型透明度的概念。在保险环境中，它专门说明了如何使用某些工具来强制执行当今可以利用机器学习的精算模型的控制。在一个简单的汽车保险中损失频率估计的示例中，我们展示了一些解释性方法的兴趣，以适应目标受众的解释。

决策树学习是机器学习中广泛使用的方法，在需要简洁明了的模型的应用中受到青睐。传统上，启发式方法用于快速生产具有相当高准确性的模型。然而，一个普遍的批评是，从精度和大小方面，所产生的树可能不一定是数据的最佳表示。近年来，这激发了最佳分类树算法的发展，这些算法与执行一系列本地最佳决策的启发式方法相比，在全球范围内优化决策树。我们遵循这一工作线，并提供了一种基于动态编程和搜索的最佳分类树的新颖算法。我们的算法支持对树的深度和节点数量的约束。我们方法的成功归因于一系列专门技术，这些技术利用了分类树独有的属性。传统上，最佳分类树的算法受到了高运行时的困扰和有限的可伸缩性，但我们在一项详细的实验研究中表明，我们的方法仅使用最先进的时间所需的时间，并且可以处理数十个数据集的数据集在数千个实例中，提供了几个数量级的改进，并特别有助于实现最佳决策树的实现。

解释性是决策系统的压迫问题。已经提出了许多后的HOC方法来解释任何机器学习模型的预测。但是，业务流程和决策系统很少归属于单个独立的模型。这些系统组合了产生关键预测的多个模型，然后应用决策规则以生成最终决定。为了解释此类决定，我们呈现SMACE，半模型 - 不可知论式解释器，一种新的解释方法，该方法将决策规则与现有的机器学习模型进行决策规则，以生成对最终用户身份定制的直观特征排名。我们表明，建立的模型 - 无可止境方法在这一框架中产生了不良的结果。

Understanding why a model makes a certain prediction can be as crucial as the prediction's accuracy in many applications. However, the highest accuracy for large modern datasets is often achieved by complex models that even experts struggle to interpret, such as ensemble or deep learning models, creating a tension between accuracy and interpretability. In response, various methods have recently been proposed to help users interpret the predictions of complex models, but it is often unclear how these methods are related and when one method is preferable over another. To address this problem, we present a unified framework for interpreting predictions, SHAP (SHapley Additive exPlanations). SHAP assigns each feature an importance value for a particular prediction. Its novel components include: (1) the identification of a new class of additive feature importance measures, and (2) theoretical results showing there is a unique solution in this class with a set of desirable properties. The new class unifies six existing methods, notable because several recent methods in the class lack the proposed desirable properties. Based on insights from this unification, we present new methods that show improved computational performance and/or better consistency with human intuition than previous approaches.

尽管对连续数据的归一流流进行了广泛的研究，但直到最近才探索了离散数据的流量。然而，这些先前的模型遭受了与连续流的局限性。最值得注意的是，由于离散函数的梯度不确定或零，因此不能直接优化基于流动的模型。先前的作品近似离散功能的伪级，但不能在基本层面上解决该问题。除此之外，与替代离散算法（例如决策树算法）相比，反向传播可能是计算繁重的。我们的方法旨在减轻计算负担，并通过基于决策树开发离散流程来消除对伪级的需求，这是基于有效的基于树的基于有效的树的方法进行分类和回归的离散数据。我们首先定义了树结构化置换（TSP），该置换量（TSP）紧凑地编码离散数据的排列，其中逆向易于计算；因此，我们可以有效地计算密度值并采样新数据。然后，我们提出了一种决策树算法来构建TSP，该TSP通过新标准在每个节点上学习树结构和排列。我们从经验上证明了我们在多个数据集上方法的可行性。