可解释的人工智能方法（XAI）用于地球科学应用中，以洞悉神经网络（NNS）的决策策略（NNS），强调了输入中哪些功能对NN预测的影响最大。在这里，我们讨论了我们的教训，了解到将预测归因于输入的任务没有单个解决方案。相反，归因结果及其解释在很大程度上取决于XAI方法使用的考虑的基线（有时称为参考点）。到目前为止，这一事实在文献中被忽略了。该基线可以由用户选择，也可以是通过方法S算法中的构造设置的，通常没有用户意识到该选择。我们强调说，不同的基线可以为不同的科学问题提供不同的见解，因此应相应地选择。为了说明基线的影响，我们使用SSP3-7.0场景强迫的历史和未来气候模拟的大量合奏，并训练完全连接的NN来预测集团和全球均值温度（即强迫全球变暖信号）给定单个合奏成员的年度温度图。然后，我们使用各种XAI方法和不同的基线将网络预测归因于输入。我们表明，在考虑不同的基准时，归因在于回答不同的科学问题，因为它们会有很大差异。我们通过讨论有关基准在XAI研究中使用的一些重要含义和考虑因素来结束。

卷积神经网络（CNN）最近由于捕获非线性系统行为并提取预测性时空模式而引起了地球科学的极大关注。然而，鉴于其黑盒的性质以及预测性的重要性，可解释的人工智能方法（XAI）已成为解释CNN决策策略的一种手段。在这里，我们建立了一些最受欢迎的XAI方法的比较，并研究了它们在解释CNN的地球科学应用决策方面的保真度。我们的目标是提高对这些方法的理论局限性的认识，并深入了解相对优势和缺点，以帮助指导最佳实践。所考虑的XAI方法首先应用于理想化的归因基准，在该基准中，该网络解释的基础真实是先验，以帮助客观地评估其性能。其次，我们将XAI应用于与气候相关的预测设置，即解释CNN，该CNN经过训练，可以预测气候模拟每日快照中的大气河流数量。我们的结果突出了XAI方法的几个重要问题（例如，梯度破碎，无法区分归因的迹象，对零输入的无知），这些迹象以前在我们的领域被忽略了，如果不谨慎地考虑，可能会导致扭曲的图片CNN决策策略。我们设想，我们的分析将激发对XAI保真度的进一步调查，并将有助于在地球科学中谨慎地实施XAI，这可能导致进一步剥削CNN和深入学习预测问题。

尽管神经网络越来越成功地应用于地球科学中的许多问题，但它们的复杂和非线性结构使对预测的解释变得困难，这限制了模型的信任，并且不允许科学家对眼前的问题获得身体上的见解。在可解释的人工智能（XAI）的新兴领域中引入了许多不同的方法，旨在将网络的预测归因于输入域中的特定特征。通常使用基准数据集（例如MNIST或Imagenet进行图像分类）评估XAI方法。但是，对于大多数这些数据集而言，缺乏归因的客观，理论上得出的地面真理，因此在许多情况下对XAI进行了评估。同样，专门针对地球科学问题设计的基准数据集很少见。在这里，我们根据使用可分离功能的使用提供了一个框架，以生成归因基准数据集，以解决回归问题，该问题是归因的基础真理。我们生成一个大型基准数据集并训练一个完全连接的网络，以学习用于仿真的基础功能。然后，我们将估计的热图从不同的XAI方法与地面真理进行了比较，以确定特定XAI方法表现良好或差的示例。我们认为，本文介绍的基准对于在地球科学中进一步应用神经网络以及更客观的评估和对XAI方法的准确实施非常重要，这将增加模型信任并帮助发现新科学。

除了机器学习（ML）模型的令人印象深刻的预测力外，最近还出现了解释方法，使得能够解释诸如深神经网络的复杂非线性学习模型。获得更好的理解尤其重要。对于安全 - 关键的ML应用或医学诊断等。虽然这种可解释的AI（XAI）技术对分类器达到了重大普及，但到目前为止对XAI的重点进行了很少的关注（Xair）。在这篇综述中，我们澄清了XAI对回归和分类任务的基本概念差异，为Xair建立了新的理论见解和分析，为Xair提供了真正的实际回归问题的示范，最后讨论了该领域仍然存在的挑战。

Understanding why a model makes a certain prediction can be as crucial as the prediction's accuracy in many applications. However, the highest accuracy for large modern datasets is often achieved by complex models that even experts struggle to interpret, such as ensemble or deep learning models, creating a tension between accuracy and interpretability. In response, various methods have recently been proposed to help users interpret the predictions of complex models, but it is often unclear how these methods are related and when one method is preferable over another. To address this problem, we present a unified framework for interpreting predictions, SHAP (SHapley Additive exPlanations). SHAP assigns each feature an importance value for a particular prediction. Its novel components include: (1) the identification of a new class of additive feature importance measures, and (2) theoretical results showing there is a unique solution in this class with a set of desirable properties. The new class unifies six existing methods, notable because several recent methods in the class lack the proposed desirable properties. Based on insights from this unification, we present new methods that show improved computational performance and/or better consistency with human intuition than previous approaches.

文献中有许多不同的方法来解释机器学习结果。但是，这些方法的方法有所不同，通常没有提供相同的解释。在本文中，我们考虑了两种最新方法：集成梯度（Sundararajan，Taly和Yan，2017年）和基线Shapley（Sundararajan和Najmi，2020年）。原始作者已经研究了两种方法的公理属性，并提供了一些比较。我们的工作为表格数据提供了一些有关其比较行为的其他见解。我们讨论两者提供相同解释及其不同的常见情况。我们还使用仿真研究来检查具有Relu激活函数的神经网络拟合模型时的差异。

特征属性是用于模型解释的常见范例，因为它们在为模型分配每个输入特征的单个数字分数时是简单的。在可操作的追索范围中，其中解释的目标是改善模型消费者的结果，通常不清楚应该如何正确使用特征归因。通过这项工作，我们的目标是加强和澄清可操作追索和特征归因之间的联系。具体地，我们提出了一种Shap，CoShap的变种，它使用反事实生成技术来生产背景数据集以便在边缘（A.K.a.介入）福利价值框架内使用。我们在使用朔芙值的特征归属时仔细考虑的可动手追索程序设置中的需求，同时涉及单调的要求，具有许多合成示例。此外，我们通过提出和证明要素归属，反事实能力的定量评分来展示COSHAP的功效，表明如通过该指标测量，Coshap优于使用单调树集合在公共数据集上进行评估时的现有方法。

机器学习（ml）越来越多地用于通知高赌注决策。作为复杂的ML模型（例如，深神经网络）通常被认为是黑匣子，已经开发了丰富的程序，以阐明其内在的工作和他们预测来的方式，定义“可解释的AI”（ xai）。显着性方法根据“重要性”的某种尺寸等级等级。由于特征重要性的正式定义是缺乏的，因此难以验证这些方法。已经证明，一些显着性方法可以突出显示与预测目标（抑制变量）没有统计关联的特征。为了避免由于这种行为而误解，我们提出了这种关联的实际存在作为特征重要性的必要条件和客观初步定义。我们仔细制作了一个地面真实的数据集，其中所有统计依赖性都是明确的和线性的，作为研究抑制变量问题的基准。我们评估了关于我们的客观定义的常见解释方法，包括LRP，DTD，Patternet，图案化，石灰，锚，Shap和基于置换的方法。我们表明，大多数这些方法无法区分此设置中的抑制器的重要功能。

基于Shapley值的功能归因在解释机器学习模型中很受欢迎。但是，从理论和计算的角度来看，它们的估计是复杂的。我们将这种复杂性分解为两个因素：（1）〜删除特征信息的方法，以及（2）〜可拖动估计策略。这两个因素提供了一种天然镜头，我们可以更好地理解和比较24种不同的算法。基于各种特征删除方法，我们描述了多种类型的Shapley值特征属性和计算每个类型的方法。然后，基于可进行的估计策略，我们表征了两个不同的方法家族：模型 - 不合时宜的和模型特定的近似值。对于模型 - 不合稳定的近似值，我们基准了广泛的估计方法，并将其与Shapley值的替代性但等效的特征联系起来。对于特定于模型的近似值，我们阐明了对每种方法的线性，树和深模型的障碍至关重要的假设。最后，我们确定了文献中的差距以及有希望的未来研究方向。

Shap是一种衡量机器学习模型中可变重要性的流行方法。在本文中，我们研究了用于估计外形评分的算法，并表明它是功能性方差分析分解的转换。我们使用此连接表明，在Shap近似中的挑战主要与选择功能分布的选择以及估计的$ 2^p $ ANOVA条款的数量有关。我们认为，在这种情况下，机器学习解释性和敏感性分析之间的联系是有照明的，但是直接的实际后果并不明显，因为这两个领域面临着不同的约束。机器学习的解释性问题模型可评估，但通常具有数百个（即使不是数千个）功能。敏感性分析通常处理物理或工程的模型，这些模型可能非常耗时，但在相对较小的输入空间上运行。

Besides accuracy, recent studies on machine learning models have been addressing the question on how the obtained results can be interpreted. Indeed, while complex machine learning models are able to provide very good results in terms of accuracy even in challenging applications, it is difficult to interpret them. Aiming at providing some interpretability for such models, one of the most famous methods, called SHAP, borrows the Shapley value concept from game theory in order to locally explain the predicted outcome of an instance of interest. As the SHAP values calculation needs previous computations on all possible coalitions of attributes, its computational cost can be very high. Therefore, a SHAP-based method called Kernel SHAP adopts an efficient strategy that approximate such values with less computational effort. In this paper, we also address local interpretability in machine learning based on Shapley values. Firstly, we provide a straightforward formulation of a SHAP-based method for local interpretability by using the Choquet integral, which leads to both Shapley values and Shapley interaction indices. Moreover, we also adopt the concept of $k$-additive games from game theory, which contributes to reduce the computational effort when estimating the SHAP values. The obtained results attest that our proposal needs less computations on coalitions of attributes to approximate the SHAP values.

可解释的AI（XAI）的基本任务是确定黑匣子功能$ f $做出的预测背后的最重要功能。 Petsiuk等人的插入和缺失测试。 （2018年）用于判断从最重要的对分类至最不重要的算法的质量。在回归问题的激励下，我们在曲线标准（AUC）标准下建立了一个公式，就$ f $的锚定分解中的某些主要效果和相互作用而言。我们找到了在输入到$ f $的随机排序下AUC的期望值的表达式，并提出了回归设置的直线上方的替代区域。我们使用此标准将集成梯度（IG）计算出的特征与内核Shap（KS）以及石灰，DeepLift，Vanilla梯度和输入$ \ times $ \ times $梯度方法进行比较。 KS在我们考虑的两个数据集中具有最好的总体性能，但是计算非常昂贵。我们发现IG几乎和KS一样好，同时更快。我们的比较问题包括一些对IG构成挑战的二进制输入，因为它必须使用可能的变量级别之间的值，因此我们考虑处理IG中二进制变量的方法。我们表明，通过其shapley值进行排序变量并不一定给出插入插入测试的最佳排序。但是，对于加性模型的单调函数（例如逻辑回归），它将做到这一点。

有希望的方法来改善气候模型中的云参数化，因此气候预测是使用深度学习与来自Storm-解析模型（SRM）模拟的培训数据结合使用。 ICOSAHEDRAL非静水压（图标）建模框架允许模拟从数值天气预报到气候投影，使其成为开发基于神经网络（NN）的子网比例过程的参数化的理想目标。在图标框架内，我们通过基于逼真的区域和全局图标SRM模拟培训基于NN的云覆盖参数化。我们设置了三种不同类型的NNS，其垂直局部程度不同，它们假设从粗粒粒度大气状态变量诊断云盖。 NNS精确地从粗粒数据中估计子网格尺度云覆盖，该数据具有与其训练数据相似的地理特征。此外，全球培训的NNS可以再现区域SRM仿真的子网格级云覆盖。使用基于游戏理论的可解释性库福芙添加剂解释，我们识别特定湿度和云冰上的过分传播，以及我们基于列的NN不能从全局到区域粗粒度SRM数据完全概括的原因。该解释工具还有助于可视化区域和全球训练的基于列的NNS之间的特征重要性的相似性和差异，并在其云覆盖预测和热力学环境之间揭示了本地关系。我们的结果表明，深度学习的潜力从全球SRMS获得准确但可解释的云覆盖参数化，并表明基于邻域的模型可能是精度和概括性之间的良好折衷。

线性程序（LPS）一直是机器学习的基础之一，并在学习系统的可区分优化器中获得了最新进步。尽管有用于高维LP的求解器，但理解高维解决方案带来了正交和未解决的问题。我们介绍了一种方法，我们考虑了LPS的神经编码，这些神经编码证明了为神经学习系统设计的可解释人工智能（XAI）的归因方法的应用。我们提出的几个编码功能都考虑到了方面，例如决策空间的可行性，附加到每个输入的成本或与特殊点的距离。我们研究了几种XAI方法对所述神经LP编码的数学后果。我们从经验上表明，归因方法的显着性和石灰揭示了无法区分的结果，直到扰动水平，一方面，我们提出了定向性的属性，这是显着性和石灰之间的主要判别标准，另一方面是基于扰动的特征置换方法。 。定向性指示归因方法是否给出了该功能增加的特征归因。我们进一步注意到集成梯度的经典计算机视觉设置之外的基线选择问题。

沙普利价值是衡量单个特征影响的流行方法。尽管Shapley功能归因是基于游戏理论的Desiderata，但在某些机器学习设置中，其某些约束可能不太自然，从而导致不直觉的模型解释。特别是，Shapley值对所有边际贡献都使用相同的权重 - 即，当给出大量其他功能时，当给出少数其他功能时，它具有相同的重要性。如果较大的功能集比较小的功能集更具信息性，则此属性可能是有问题的。我们的工作对沙普利特征归因的潜在局限性进行了严格的分析。我们通过为较小的影响力特征分配较大的属性来确定Shapley值在数学上是次优的设置。在这一观察结果的驱动下，我们提出了加权图，它概括了沙普利的价值，并了解到直接从数据中关注哪些边际贡献。在几个现实世界数据集上，我们证明，与沙普利值确定的功能相比，加权图确定的有影响力的特征可以更好地概括模型的预测。

We introduce the XPER (eXplainable PERformance) methodology to measure the specific contribution of the input features to the predictive or economic performance of a model. Our methodology offers several advantages. First, it is both model-agnostic and performance metric-agnostic. Second, XPER is theoretically founded as it is based on Shapley values. Third, the interpretation of the benchmark, which is inherent in any Shapley value decomposition, is meaningful in our context. Fourth, XPER is not plagued by model specification error, as it does not require re-estimating the model. Fifth, it can be implemented either at the model level or at the individual level. In an application based on auto loans, we find that performance can be explained by a surprisingly small number of features. XPER decompositions are rather stable across metrics, yet some feature contributions switch sign across metrics. Our analysis also shows that explaining model forecasts and model performance are two distinct tasks.

与此同时，在可解释的人工智能（XAI）的研究领域中，已经开发了各种术语，动机，方法和评估标准。随着XAI方法的数量大大增长，研究人员以及从业者以及从业者需要一种方法：掌握主题的广度，比较方法，并根据特定用例所需的特征选择正确的XAI方法语境。在文献中，可以找到许多不同细节水平和深度水平的XAI方法分类。虽然他们经常具有不同的焦点，但它们也表现出许多重叠点。本文统一了这些努力，并提供了XAI方法的分类，这是关于目前研究中存在的概念的概念。在结构化文献分析和元研究中，我们识别并审查了XAI方法，指标和方法特征的50多个最引用和最新的调查。总结在调查调查中，我们将文章的术语和概念合并为统一的结构化分类。其中的单一概念总计超过50个不同的选择示例方法，我们相应地分类。分类学可以为初学者，研究人员和从业者提供服务作为XAI方法特征和方面的参考和广泛概述。因此，它提供了针对有针对性的，用例导向的基础和上下文敏感的未来研究。

Explainability is a vibrant research topic in the artificial intelligence community, with growing interest across methods and domains. Much has been written about the topic, yet explainability still lacks shared terminology and a framework capable of providing structural soundness to explanations. In our work, we address these issues by proposing a novel definition of explanation that is a synthesis of what can be found in the literature. We recognize that explanations are not atomic but the product of evidence stemming from the model and its input-output and the human interpretation of this evidence. Furthermore, we fit explanations into the properties of faithfulness (i.e., the explanation being a true description of the model's decision-making) and plausibility (i.e., how much the explanation looks convincing to the user). Using our proposed theoretical framework simplifies how these properties are ope rationalized and provide new insight into common explanation methods that we analyze as case studies.

越来越多的电子健康记录（EHR）数据和深度学习技术进步的越来越多的可用性（DL）已经引发了在开发基于DL的诊断，预后和治疗的DL临床决策支持系统中的研究兴趣激增。尽管承认医疗保健的深度学习的价值，但由于DL的黑匣子性质，实际医疗环境中进一步采用的障碍障碍仍然存在。因此，有一个可解释的DL的新兴需求，它允许最终用户评估模型决策，以便在采用行动之前知道是否接受或拒绝预测和建议。在这篇综述中，我们专注于DL模型在医疗保健中的可解释性。我们首先引入深入解释性的方法，并作为该领域的未来研究人员或临床从业者的方法参考。除了这些方法的细节之外，我们还包括对这些方法的优缺点以及它们中的每个场景都适合的讨论，因此感兴趣的读者可以知道如何比较和选择它们供使用。此外，我们讨论了这些方法，最初用于解决一般域问题，已经适应并应用于医疗保健问题以及如何帮助医生更好地理解这些数据驱动技术。总的来说，我们希望这项调查可以帮助研究人员和从业者在人工智能（AI）和临床领域了解我们为提高其DL模型的可解释性并相应地选择最佳方法。

Preddiff是一种模型不合时宜的局部归因方法，牢固地植根于概率理论。它的简单直觉是在边缘化特征时测量预测变化。在这项工作中，我们阐明了Preddiff的属性及其与Shapley值的密切联系。我们强调分类和回归之间的重要差异，这在两种形式主义中都需要特定的治疗方法。我们通过引入一种新的，有充分的基础的措施来扩展Preddiff，以实现任意特征子集之间的相互作用效果。对互动效应的研究代表了对黑盒模型的全面理解的不可避免的一步，对于科学应用尤其重要。Preddiff配备了我们的新型交互度量，是一种有前途的模型无关方法，用于获得可靠的，数值廉价和理论上声音的归因。