我们介绍了一个简单而直观的框架，该框架通过对输入特征重要性的概率评估来提供统计模型的定量解释。核心思想来自利用Dirichlet分布来定义输入功能的重要性，并通过大致贝叶斯推断学习。学到的重要性具有概率的解释，并提供了每个输入特征与模型输出的相对重要性，从而评估了对其重要性量化的信心。由于在解释上使用了Dirichlet分布，因此我们可以定义封闭形式的差异来衡量不同模型下所学到的重要性之间的相似性。我们利用这种差异来研究特征重要性的解释性权衡，并在现代机器学习中的基本概念（例如隐私和公平）中进行了折衷。此外，BIF可以在两个层面上工作：全局说明（所有数据实例中的特征重要性）和局部说明（每个数据实例的个人特征重要性）。考虑到表格数据集和图像数据集，我们显示了方法对各种合成和真实数据集的有效性。该代码可在https://github.com/kamadforge/featimp_dp上获得。

可解释的机器学习提供了有关哪些因素推动了黑盒系统的一定预测以及是否信任高风险决策或大规模部署的洞察力。现有方法主要集中于选择解释性输入功能，这些功能遵循本地添加剂或实例方法。加性模型使用启发式采样扰动来依次学习实例特定解释器。因此，该过程效率低下，并且容易受到条件较差的样品的影响。同时，实例技术直接学习本地采样分布，并可以从其他输入中利用全球信息。但是，由于严格依赖预定义的功能，他们只能解释单一级预测并在不同设置上遇到不一致的情况。这项工作利用了这两种方法的优势，并提出了一个全球框架，用于同时学习多个目标类别的本地解释。我们还提出了一种自适应推理策略，以确定特定实例的最佳功能数量。我们的模型解释器极大地超过了忠诚的添加和实例的对应物，而在各种数据集和Black-box模型体系结构上获得了高水平的简洁性。

在本文中，我们提出了一种新的可解释性形式主义，旨在阐明测试集的每个输入变量如何影响机器学习模型的预测。因此，我们根据训练有素的机器学习决策规则提出了一个群体的解释性形式，它们是根据其对输入变量分布的可变性的反应。为了强调每个输入变量的影响，这种形式主义使用信息理论框架，该框架量化了基于熵投影的所有输入输出观测值的影响。因此，这是第一个统一和模型不可知的形式主义，使数据科学家能够解释输入变量之间的依赖性，它们对预测错误的影响以及它们对输出预测的影响。在大型样本案例中提供了熵投影的收敛速率。最重要的是，我们证明，计算框架中的解释具有低算法的复杂性，使其可扩展到现实生活中的大数据集。我们通过解释通过在各种数据集上使用XGBoost，随机森林或深层神经网络分类器（例如成人收入，MNIST，CELEBA，波士顿住房，IRIS以及合成的）上使用的复杂决策规则来说明我们的策略。最终，我们明确了基于单个观察结果的解释性策略石灰和摇摆的差异。可以通过使用自由分布的Python工具箱https://gems-ai.aniti.fr/来复制结果。

由于黑匣子的解释越来越多地用于在高赌注设置中建立模型可信度，重要的是确保这些解释准确可靠。然而，事先工作表明，最先进的技术产生的解释是不一致的，不稳定的，并且提供了对它们的正确性和可靠性的极少了解。此外，这些方法也在计算上效率低下，并且需要显着的超参数调谐。在本文中，我们通过开发一种新的贝叶斯框架来涉及用于产生当地解释以及相关的不确定性来解决上述挑战。我们将本框架实例化以获取贝叶斯版本的石灰和kernelshap，其为特征重要性输出可靠的间隔，捕获相关的不确定性。由此产生的解释不仅使我们能够对其质量进行具体推论（例如，有95％的几率是特征重要性在给定范围内），但也是高度一致和稳定的。我们执行了一个详细的理论分析，可以利用上述不确定性来估计对样品的扰动有多少，以及如何进行更快的收敛。这项工作首次尝试在一次拍摄中通过流行的解释方法解决几个关键问题，从而以计算上有效的方式产生一致，稳定和可靠的解释。具有多个真实世界数据集和用户研究的实验评估表明，提出的框架的功效。

在人类循环机器学习应用程序的背景下，如决策支持系统，可解释性方法应在不使用户等待的情况下提供可操作的见解。在本文中，我们提出了加速的模型 - 不可知论解释（ACME），一种可解释的方法，即在全球和本地层面迅速提供特征重要性分数。可以将acme应用于每个回归或分类模型的后验。 ACME计算功能排名不仅提供了一个什么，但它还提供了一个用于评估功能值的变化如何影响模型预测的原因 - 如果分析工具。我们评估了综合性和现实世界数据集的建议方法，同时也与福芙添加剂解释（Shap）相比，我们制作了灵感的方法，目前是最先进的模型无关的解释性方法。我们在生产解释的质量方面取得了可比的结果，同时急剧减少计算时间并为全局和局部解释提供一致的可视化。为了促进该领域的研究，为重复性，我们还提供了一种存储库，其中代码用于实验。

了解黑盒机器学习模型对于广泛采用至关重要。学习全球可解释的模型是一种方法，但是与他们一起实现高性能是具有挑战性的。另一种方法是使用本地解释的模型来解释个人预测。对于本地可解释的建模，已经提出了各种方法，并且确实使用了常用，但是它们的保真度低，即它们的解释不能很好地近似预测。在本文中，我们的目标是推动高保真性的本地解释建模。我们提出了一个新颖的框架，使用实例的亚采样（LIMIS）进行局部解释的建模。 Limis利用策略梯度选择少数实例，并使用这些选定的实例将黑框模型提炼成一个低容量的本地解释模型。培训是通过衡量本地可解释模型的保真度直接获得的奖励来指导的。我们在多个表格数据集上显示了LIMIS接近匹配黑框模型的预测准确性，从忠诚度和预测准确性方面大大优于最先进的本地解释模型。

研究人员提出了多种模型解释方法，但目前尚不清楚大多数方法如何相关或何时一种方法比另一种方法更可取。我们研究了文献，发现许多方法都是基于通过删除来解释的共同原理 - 本质上是测量从模型中删除一组特征的影响。这些方法在几个方面有所不同，因此我们为基于删除的解释开发了一个沿三个维度表征每个方法的框架：1）该方法如何删除特征，2）该方法解释的模型行为以及3）方法如何汇总每个方法功能的影响。我们的框架统一了26种现有方法，其中包括几种最广泛使用的方法（Shap，Lime，有意义的扰动，排列测试）。揭露这些方法之间的基本相似性使用户能够推荐使用哪种工具，并为正在进行的模型解释性研究提出了有希望的方向。

由于机器学习模型变得越来越复杂和他们的应用程序变得越来越高赌注的，用于解释模型预测工具已经变得越来越重要。这促使模型explainability研究乱舞，并已引起了功能属性的方法，如石灰和SHAP。尽管它们的广泛使用，评价和比较不同功能属性的方法仍然具有挑战性：评价非常需要人的研究，以及实证评价指标往往是数据密集型或真实世界的数据集的计算望而却步。与基准特征归属算法库以及一套综合数据集：在这项工作中，我们通过释放XAI，台式解决这个问题。不同于现实世界的数据集，合成数据集允许那些需要评估地面实况夏普利值等指标的条件期望值的高效计算。我们释放合成的数据集提供了多种可配置模拟真实世界的数据参数。我们通过在多个评价指标和跨多种设置基准流行explainability技术展示我们的图书馆的力量。我们图书馆的多功能性和效率将有助于研究人员把他们的explainability方法从开发到部署。我们的代码可在https://github.com/abacusai/xai-bench。

内核平均嵌入是表示和比较概率度量的有用工具。尽管具有有用性，但内核的意思是考虑无限维度的特征，在差异私有数据生成的背景下，这是具有挑战性的。最近的一项工作建议使用有限维的随机特征近似数据分布的内核平均值嵌入，从而产生可分析的敏感性。但是，所需的随机特征的数量过高，通常是一千到十万，这会使隐私准确的权衡加剧。为了改善权衡取舍，我们建议用Hermite多项式特征替换随机功能。与随机特征不同，储能多项式特征是排序的，其中低订单的特征包含的分布更多的信息比高订单处的分布更多。因此，与明显更高的随机特征相比，HERMITE多项式特征的相对较低的阶多项式特征可以更准确地近似数据分布的平均嵌入。正如在几个表格和图像数据集中所证明的那样，Hermite多项式特征似乎比随机傅立叶功能更适合私人数据生成。

现代深度学习方法构成了令人难以置信的强大工具，以解决无数的挑战问题。然而，由于深度学习方法作为黑匣子运作，因此与其预测相关的不确定性往往是挑战量化。贝叶斯统计数据提供了一种形式主义来理解和量化与深度神经网络预测相关的不确定性。本教程概述了相关文献和完整的工具集，用于设计，实施，列车，使用和评估贝叶斯神经网络，即使用贝叶斯方法培训的随机人工神经网络。

A wide variety of model explanation approaches have been proposed in recent years, all guided by very different rationales and heuristics. In this paper, we take a new route and cast interpretability as a statistical inference problem. We propose a general deep probabilistic model designed to produce interpretable predictions. The model parameters can be learned via maximum likelihood, and the method can be adapted to any predictor network architecture and any type of prediction problem. Our method is a case of amortized interpretability models, where a neural network is used as a selector to allow for fast interpretation at inference time. Several popular interpretability methods are shown to be particular cases of regularised maximum likelihood for our general model. We propose new datasets with ground truth selection which allow for the evaluation of the features importance map. Using these datasets, we show experimentally that using multiple imputation provides more reasonable interpretations.

Post-hoc explanation methods have become increasingly depended upon for understanding black-box classifiers in high-stakes applications, precipitating a need for reliable explanations. While numerous explanation methods have been proposed, recent works have shown that many existing methods can be inconsistent or unstable. In addition, high-performing classifiers are often highly nonlinear and can exhibit complex behavior around the decision boundary, leading to brittle or misleading local explanations. Therefore, there is an impending need to quantify the uncertainty of such explanation methods in order to understand when explanations are trustworthy. We introduce a novel uncertainty quantification method parameterized by a Gaussian Process model, which combines the uncertainty approximation of existing methods with a novel geodesic-based similarity which captures the complexity of the target black-box decision boundary. The proposed framework is highly flexible; it can be used with any black-box classifier and feature attribution method to amortize uncertainty estimates for explanations. We show theoretically that our proposed geodesic-based kernel similarity increases with the complexity of the decision boundary. Empirical results on multiple tabular and image datasets show that our decision boundary-aware uncertainty estimate improves understanding of explanations as compared to existing methods.

即使有效，模型的使用也必须伴随着转换数据的各个级别的理解（上游和下游）。因此，需求增加以定义单个数据与算法可以根据其分析可以做出的选择（例如，一种产品或一种促销报价的建议，或代表风险的保险费率）。模型用户必须确保模型不会区分，并且也可以解释其结果。本文介绍了模型解释的重要性，并解决了模型透明度的概念。在保险环境中，它专门说明了如何使用某些工具来强制执行当今可以利用机器学习的精算模型的控制。在一个简单的汽车保险中损失频率估计的示例中，我们展示了一些解释性方法的兴趣，以适应目标受众的解释。

在深神经网络中量化预测性不确定性的流行方法通常涉及一组权重或模型，例如通过合并或蒙特卡罗辍学。这些技术通常必须产生开销，必须培训多种模型实例，或者不会产生非常多样化的预测。该调查旨在熟悉基于证据深度学习的概念的替代类模型的读者：对于不熟悉的数据，他们承认“他们不知道的内容”并返回到先前的信仰。此外，它们允许在单个模型中进行不确定性估计，并通过参数化分布分布来转发传递。该调查重新承认现有工作，重点是在分类设置中的实现。最后，我们调查了相同范例的应用到回归问题。我们还对现有的方法进行了反思，并与现有方法相比，并提供最大的核心理论成果，以便通知未来的研究。

本文研究了与可解释的AI（XAI）实践有关的两个不同但相关的问题。机器学习（ML）在金融服务中越来越重要，例如预批准，信用承销，投资以及各种前端和后端活动。机器学习可以自动检测培训数据中的非线性和相互作用，从而促进更快，更准确的信用决策。但是，机器学习模型是不透明的，难以解释，这是建立可靠技术所需的关键要素。该研究比较了各种机器学习模型，包括单个分类器（逻辑回归，决策树，LDA，QDA），异质集合（Adaboost，随机森林）和顺序神经网络。结果表明，整体分类器和神经网络的表现优于表现。此外，使用基于美国P2P贷款平台Lending Club提供的开放式访问数据集评估了两种先进的事后不可解释能力 - 石灰和外形来评估基于ML的信用评分模型。对于这项研究，我们还使用机器学习算法来开发新的投资模型，并探索可以最大化盈利能力同时最大程度地降低风险的投资组合策略。

机器学习（ml）越来越多地用于通知高赌注决策。作为复杂的ML模型（例如，深神经网络）通常被认为是黑匣子，已经开发了丰富的程序，以阐明其内在的工作和他们预测来的方式，定义“可解释的AI”（ xai）。显着性方法根据“重要性”的某种尺寸等级等级。由于特征重要性的正式定义是缺乏的，因此难以验证这些方法。已经证明，一些显着性方法可以突出显示与预测目标（抑制变量）没有统计关联的特征。为了避免由于这种行为而误解，我们提出了这种关联的实际存在作为特征重要性的必要条件和客观初步定义。我们仔细制作了一个地面真实的数据集，其中所有统计依赖性都是明确的和线性的，作为研究抑制变量问题的基准。我们评估了关于我们的客观定义的常见解释方法，包括LRP，DTD，Patternet，图案化，石灰，锚，Shap和基于置换的方法。我们表明，大多数这些方法无法区分此设置中的抑制器的重要功能。

Explainability has been widely stated as a cornerstone of the responsible and trustworthy use of machine learning models. With the ubiquitous use of Deep Neural Network (DNN) models expanding to risk-sensitive and safety-critical domains, many methods have been proposed to explain the decisions of these models. Recent years have also seen concerted efforts that have shown how such explanations can be distorted (attacked) by minor input perturbations. While there have been many surveys that review explainability methods themselves, there has been no effort hitherto to assimilate the different methods and metrics proposed to study the robustness of explanations of DNN models. In this work, we present a comprehensive survey of methods that study, understand, attack, and defend explanations of DNN models. We also present a detailed review of different metrics used to evaluate explanation methods, as well as describe attributional attack and defense methods. We conclude with lessons and take-aways for the community towards ensuring robust explanations of DNN model predictions.

尽管在最近的文献中提出了几种类型的事后解释方法（例如，特征归因方法），但在系统地以有效且透明的方式进行系统基准测试这些方法几乎没有工作。在这里，我们介绍了OpenXai，这是一个全面且可扩展的开源框架，用于评估和基准测试事后解释方法。 OpenXAI由以下关键组件组成：（i）灵活的合成数据生成器以及各种现实世界数据集，预训练的模型和最新功能属性方法的集合，（ii）开源实现22个定量指标，用于评估忠诚，稳定性（稳健性）和解释方法的公平性，以及（iii）有史以来第一个公共XAI XAI排行榜对基准解释。 OpenXAI很容易扩展，因为用户可以轻松地评估自定义说明方法并将其纳入我们的排行榜。总体而言，OpenXAI提供了一种自动化的端到端管道，该管道不仅简化并标准化了事后解释方法的评估，而且还促进了基准这些方法的透明度和可重复性。 OpenXAI数据集和数据加载程序，最先进的解释方法的实现和评估指标以及排行榜，可在https://open-xai.github.io/上公开获得。

这是一门专门针对STEM学生开发的介绍性机器学习课程。我们的目标是为有兴趣的读者提供基础知识，以在自己的项目中使用机器学习，并将自己熟悉术语作为进一步阅读相关文献的基础。在这些讲义中，我们讨论受监督，无监督和强化学习。注释从没有神经网络的机器学习方法的说明开始，例如原理分析，T-SNE，聚类以及线性回归和线性分类器。我们继续介绍基本和先进的神经网络结构，例如密集的进料和常规神经网络，经常性的神经网络，受限的玻尔兹曼机器，（变性）自动编码器，生成的对抗性网络。讨论了潜在空间表示的解释性问题，并使用梦和对抗性攻击的例子。最后一部分致力于加强学习，我们在其中介绍了价值功能和政策学习的基本概念。

机器学习方法在做出预测方面越来越好，但与此同时，它们也变得越来越复杂和透明。结果，通常依靠解释器为这些黑框预测模型提供可解释性。作为关键的诊断工具，重要的是这些解释者本身是可靠的。在本文中，我们关注可靠性的一个特定方面，即解释器应为类似的数据输入提供类似的解释。我们通过引入和定义解释者的敏锐度，类似于分类器的敏锐性来形式化这个概念。我们的形式主义灵感来自概率lipchitzness的概念，该概念捕捉了功能局部平滑度的可能性。对于各种解释者（例如，摇摆，上升，CXPLAIN），我们为这些解释者的敏锐性提供了下限保证，鉴于预测函数的lipschitzness。这些理论上的结果表明，局部平滑的预测函数为局部强大的解释提供了自身。我们对模拟和真实数据集进行经验评估这些结果。