基于概念的黑框模型的解释通常更为直观，让人类理解。基于概念的解释最广泛采用的方法是概念激活向量（CAV）。CAV依靠学习给定模型和概念的某些潜在表示之间的线性关系。线性可分离性通常是隐式假定的，但通常不正确。在这项工作中，我们从基于概念的解释和提出的概念梯度（CG）的最初意图开始，将基于概念的解释扩展到线性概念功能之外。我们表明，对于一般（潜在的非线性）概念，我们可以数学上评估如何影响模型预测的概念的小变化，从而导致基于梯度的解释扩展到概念空间。我们从经验上证明，在玩具示例和现实世界数据集中，CG表现优于CAV。

可解释的人工智能（XAI）的新兴领域旨在为当今强大但不透明的深度学习模型带来透明度。尽管本地XAI方法以归因图的形式解释了个体预测，从而确定了重要特征的发生位置（但没有提供有关其代表的信息），但全局解释技术可视化模型通常学会的编码的概念。因此，两种方法仅提供部分见解，并留下将模型推理解释的负担。只有少数当代技术旨在将本地和全球XAI背后的原则结合起来，以获取更多信息的解释。但是，这些方法通常仅限于特定的模型体系结构，或对培训制度或数据和标签可用性施加其他要求，这实际上使事后应用程序成为任意预训练的模型。在这项工作中，我们介绍了概念相关性传播方法（CRP）方法，该方法结合了XAI的本地和全球观点，因此允许回答“何处”和“ where”和“什么”问题，而没有其他约束。我们进一步介绍了相关性最大化的原则，以根据模型对模型的有用性找到代表性的示例。因此，我们提高了对激活最大化及其局限性的共同实践的依赖。我们证明了我们方法在各种环境中的能力，展示了概念相关性传播和相关性最大化导致了更加可解释的解释，并通过概念图表，概念组成分析和概念集合和概念子区和概念子区和概念子集和定量研究对模型的表示和推理提供了深刻的见解。它们在细粒度决策中的作用。

Explainable AI transforms opaque decision strategies of ML models into explanations that are interpretable by the user, for example, identifying the contribution of each input feature to the prediction at hand. Such explanations, however, entangle the potentially multiple factors that enter into the overall complex decision strategy. We propose to disentangle explanations by finding relevant subspaces in activation space that can be mapped to more abstract human-understandable concepts and enable a joint attribution on concepts and input features. To automatically extract the desired representation, we propose new subspace analysis formulations that extend the principle of PCA and subspace analysis to explanations. These novel analyses, which we call principal relevant component analysis (PRCA) and disentangled relevant subspace analysis (DRSA), optimize relevance of projected activations rather than the more traditional variance or kurtosis. This enables a much stronger focus on subspaces that are truly relevant for the prediction and the explanation, in particular, ignoring activations or concepts to which the prediction model is invariant. Our approach is general enough to work alongside common attribution techniques such as Shapley Value, Integrated Gradients, or LRP. Our proposed methods show to be practically useful and compare favorably to the state of the art as demonstrated on benchmarks and three use cases.

众所周知，端到端的神经NLP体系结构很难理解，这引起了近年来为解释性建模的许多努力。模型解释的基本原则是忠诚，即，解释应准确地代表模型预测背后的推理过程。这项调查首先讨论了忠诚的定义和评估及其对解释性的意义。然后，我们通过将方法分为五类来介绍忠实解释的最新进展：相似性方法，模型内部结构的分析，基于反向传播的方法，反事实干预和自我解释模型。每个类别将通过其代表性研究，优势和缺点来说明。最后，我们从它们的共同美德和局限性方面讨论了上述所有方法，并反思未来的工作方向忠实的解释性。对于有兴趣研究可解释性的研究人员，这项调查将为该领域提供可访问且全面的概述，为进一步探索提供基础。对于希望更好地了解自己的模型的用户，该调查将是一项介绍性手册，帮助选择最合适的解释方法。

Interpretability provides a means for humans to verify aspects of machine learning (ML) models and empower human+ML teaming in situations where the task cannot be fully automated. Different contexts require explanations with different properties. For example, the kind of explanation required to determine if an early cardiac arrest warning system is ready to be integrated into a care setting is very different from the type of explanation required for a loan applicant to help determine the actions they might need to take to make their application successful. Unfortunately, there is a lack of standardization when it comes to properties of explanations: different papers may use the same term to mean different quantities, and different terms to mean the same quantity. This lack of a standardized terminology and categorization of the properties of ML explanations prevents us from both rigorously comparing interpretable machine learning methods and identifying what properties are needed in what contexts. In this work, we survey properties defined in interpretable machine learning papers, synthesize them based on what they actually measure, and describe the trade-offs between different formulations of these properties. In doing so, we enable more informed selection of task-appropriate formulations of explanation properties as well as standardization for future work in interpretable machine learning.

深层神经网络以其对各种机器学习和人工智能任务的精湛处理而闻名。但是，由于其过度参数化的黑盒性质，通常很难理解深层模型的预测结果。近年来，已经提出了许多解释工具来解释或揭示模型如何做出决策。在本文中，我们回顾了这一研究，并尝试进行全面的调查。具体来说，我们首先介绍并阐明了人们通常会感到困惑的两个基本概念 - 解释和解释性。为了解决解释中的研究工作，我们通过提出新的分类法来阐述许多解释算法的设计。然后，为了了解解释结果，我们还调查了评估解释算法的性能指标。此外，我们总结了使用“可信赖”解释算法评估模型的解释性的当前工作。最后，我们审查并讨论了深层模型的解释与其他因素之间的联系，例如对抗性鲁棒性和从解释中学习，并介绍了一些开源库，以解释算法和评估方法。

在许多情况下，基于一些高级概念来解释人为的决定。在这项工作中，我们通过检查其内部代表或神经元对概念的激活来迈出神经网络的可解释性。一个概念的特征在于一组具有共同特征的样本。我们提出了一个框架来检查概念（或其否定）和任务类之间存在因果关系的存在。虽然以前的方法专注于概念对任务类的重要性，但我们进一步进一步介绍了四项措施来定量地确定因果关系的顺序。此外，我们提出了一种以基于概念的决策树的形式构建一种概念的层次结构，其可以阐明各种概念如何在神经网络内交互朝向预测输出类。通过实验，我们展示了提出方法在解释神经网络的概念与预测行为之间的因果关系中的有效性以及通过构建概念层次结构来确定不同概念之间的相互作用。

部署AI驱动的系统需要支持有效人类互动的值得信赖的模型，超出了原始预测准确性。概念瓶颈模型通过在类似人类的概念的中间级别调节分类任务来促进可信度。这使得人类干预措施可以纠正错误预测的概念以改善模型的性能。但是，现有的概念瓶颈模型无法在高任务准确性，基于概念的强大解释和对概念的有效干预措施之间找到最佳的妥协，尤其是在稀缺完整和准确的概念主管的现实情况下。为了解决这个问题，我们提出了概念嵌入模型，这是一种新型的概念瓶颈模型，它通过学习可解释的高维概念表示形式而超出了当前的准确性-VS解关性权衡。我们的实验表明，嵌入模型（1）达到更好或竞争性的任务准确性W.R.T. W.R.T.没有概念的标准神经模型，（2）提供概念表示，以捕获有意义的语义，包括其地面真相标签，（3）支持测试时间概念干预措施，其在测试准确性中的影响超过了标准概念瓶颈模型，以及（4）规模对于稀缺的完整概念监督的现实条件。

除了机器学习（ML）模型的令人印象深刻的预测力外，最近还出现了解释方法，使得能够解释诸如深神经网络的复杂非线性学习模型。获得更好的理解尤其重要。对于安全 - 关键的ML应用或医学诊断等。虽然这种可解释的AI（XAI）技术对分类器达到了重大普及，但到目前为止对XAI的重点进行了很少的关注（Xair）。在这篇综述中，我们澄清了XAI对回归和分类任务的基本概念差异，为Xair建立了新的理论见解和分析，为Xair提供了真正的实际回归问题的示范，最后讨论了该领域仍然存在的挑战。

The interpretation of deep learning models is a challenge due to their size, complexity, and often opaque internal state. In addition, many systems, such as image classifiers, operate on low-level features rather than high-level concepts. To address these challenges, we introduce Concept Activation Vectors (CAVs), which provide an interpretation of a neural net's internal state in terms of human-friendly concepts. The key idea is to view the high-dimensional internal state of a neural net as an aid, not an obstacle. We show how to use CAVs as part of a technique, Testing with CAVs (TCAV), that uses directional derivatives to quantify the degree to which a user-defined concept is important to a classification result-for example, how sensitive a prediction of zebra is to the presence of stripes. Using the domain of image classification as a testing ground, we describe how CAVs may be used to explore hypotheses and generate insights for a standard image classification network as well as a medical application.

Explainability has been widely stated as a cornerstone of the responsible and trustworthy use of machine learning models. With the ubiquitous use of Deep Neural Network (DNN) models expanding to risk-sensitive and safety-critical domains, many methods have been proposed to explain the decisions of these models. Recent years have also seen concerted efforts that have shown how such explanations can be distorted (attacked) by minor input perturbations. While there have been many surveys that review explainability methods themselves, there has been no effort hitherto to assimilate the different methods and metrics proposed to study the robustness of explanations of DNN models. In this work, we present a comprehensive survey of methods that study, understand, attack, and defend explanations of DNN models. We also present a detailed review of different metrics used to evaluate explanation methods, as well as describe attributional attack and defense methods. We conclude with lessons and take-aways for the community towards ensuring robust explanations of DNN model predictions.

解释性成为在批判性方案中部署的机器学习模型的必要功能，例如，法律制度，医疗保健。在这些情况下，算法决策可能具有（潜在负面）对受决策影响的最终用户的持久影响。在许多情况下，不需要深度学习模型的代表性，因此应该优选简单和可解释的模型（例如线性模型）。然而，在高维和/或复杂的域（例如计算机视觉）中，需要神经网络的普遍近似能力。灵感来自线性模型和Kolmogorov-Arnold表示定理，我们提出了一种新颖的一类结构受限的神经网络，我们呼叫FLANS（特征 - 明智的附加网络）。粗略地，FLANS分别处理每个输入特征，为它们中的每一个计算共同潜在空间中的表示。然后简单地求和这些特征明智的表示，并且聚合表示用于预测。这些约束（在线性模型的解释性的核心）允许用户独立于其他特征来估计每个特征的效果，增强解释性。在不同领域的一组实验中，我们展示了如何在不妥协的情况下进行测试性能，弗拉斯提出的结构约束确实有助于深入学习模型的可解释性。我们通过最近引入的指标定量比较氟玻璃对后HOC方法的可解释性，讨论了在HOC分析后本地可解释模型的优势。

自解释深层模型旨在在训练期间隐含地学习基于潜在的概念的解释，从而消除了任何HOC后期解释生成技术的要求。在这项工作中，我们提出了一种这样的模型，该模型将解释生成模块附加在任何基本网络的顶部，并共同列举显示出高预测性能的整个模块，并在概念方面产生有意义的解释。与基线方法相比，我们的培训策略适用于无监督的概念学习，与基线方法相比具有更大的参数空间要求。我们拟议的模式还规定了利用自我监督对概念来提取更好的解释。然而，通过完整的概念监督，与最近提出的基于概念的可解释模型相比，我们实现了最佳预测性能。我们通过我们的方法报告了定性和定量结果，这表明了比最近提出的基于概念的解释方法更好的性能。我们报告了一个没有地面真理概念的两个数据集，即CiFar10，ImageNet和两个具有地面真理概念的数据集，即AWA2，Cub-200，以显示我们两种情况的方法。据我们所知，我们是第一批展示诸如ImageNet的大规模数据集的结果。

如今，人工智能（AI）已成为临床和远程医疗保健应用程序的基本组成部分，但是最佳性能的AI系统通常太复杂了，无法自我解释。可解释的AI（XAI）技术被定义为揭示系统的预测和决策背后的推理，并且在处理敏感和个人健康数据时，它们变得更加至关重要。值得注意的是，XAI并未在不同的研究领域和数据类型中引起相同的关注，尤其是在医疗保健领域。特别是，许多临床和远程健康应用程序分别基于表格和时间序列数据，而XAI并未在这些数据类型上进行分析，而计算机视觉和自然语言处理（NLP）是参考应用程序。为了提供最适合医疗领域表格和时间序列数据的XAI方法的概述，本文提供了过去5年中文献的审查，说明了生成的解释的类型以及为评估其相关性所提供的努力和质量。具体而言，我们确定临床验证，一致性评估，客观和标准化质量评估以及以人为本的质量评估作为确保最终用户有效解释的关键特征。最后，我们强调了该领域的主要研究挑战以及现有XAI方法的局限性。

对理解和分解学习的嵌入空间的兴趣正在增长。例如，最近基于概念的解释技术通过可解释的潜在组件分析机器学习模型。必须在模型的嵌入空间中发现此类组件，例如，通过独立的组件分析（ICA）或现代的分离学习技术。尽管这些无监督的方法提供了一个合理的正式框架，但它们要么需要访问数据生成功能，要么对数据分布（例如组件的独立性）施加严格的假设，而这些假设通常在实践中受到侵犯。在这项工作中，我们将视觉模型的概念解释性与解开学习和ICA联系起来。这使我们能够提供有关如何识别组件的第一个理论结果，而无需任何分配假设。从这些见解中，我们得出了与当前方法相比，它适用于更广泛的问题，但拥有正式的可识别性保证。在与组件分析和300多个最先进的分解模型的广泛比较中，即使在不同的分布和相关强度下，DA也稳定地保持了卓越的性能。

卷积神经网络（CNN）最近由于捕获非线性系统行为并提取预测性时空模式而引起了地球科学的极大关注。然而，鉴于其黑盒的性质以及预测性的重要性，可解释的人工智能方法（XAI）已成为解释CNN决策策略的一种手段。在这里，我们建立了一些最受欢迎的XAI方法的比较，并研究了它们在解释CNN的地球科学应用决策方面的保真度。我们的目标是提高对这些方法的理论局限性的认识，并深入了解相对优势和缺点，以帮助指导最佳实践。所考虑的XAI方法首先应用于理想化的归因基准，在该基准中，该网络解释的基础真实是先验，以帮助客观地评估其性能。其次，我们将XAI应用于与气候相关的预测设置，即解释CNN，该CNN经过训练，可以预测气候模拟每日快照中的大气河流数量。我们的结果突出了XAI方法的几个重要问题（例如，梯度破碎，无法区分归因的迹象，对零输入的无知），这些迹象以前在我们的领域被忽略了，如果不谨慎地考虑，可能会导致扭曲的图片CNN决策策略。我们设想，我们的分析将激发对XAI保真度的进一步调查，并将有助于在地球科学中谨慎地实施XAI，这可能导致进一步剥削CNN和深入学习预测问题。

Preddiff是一种模型不合时宜的局部归因方法，牢固地植根于概率理论。它的简单直觉是在边缘化特征时测量预测变化。在这项工作中，我们阐明了Preddiff的属性及其与Shapley值的密切联系。我们强调分类和回归之间的重要差异，这在两种形式主义中都需要特定的治疗方法。我们通过引入一种新的，有充分的基础的措施来扩展Preddiff，以实现任意特征子集之间的相互作用效果。对互动效应的研究代表了对黑盒模型的全面理解的不可避免的一步，对于科学应用尤其重要。Preddiff配备了我们的新型交互度量，是一种有前途的模型无关方法，用于获得可靠的，数值廉价和理论上声音的归因。

对于使用高性能机器学习算法通常不透明的决策，人们越来越担心。用特定于领域的术语对推理过程的解释对于在医疗保健等风险敏感领域中采用至关重要。我们认为，机器学习算法应该可以通过设计来解释，并且表达这些解释的语言应与域和任务有关。因此，我们将模型的预测基于数据的用户定义和特定于任务的二进制函数，每个都对最终用户有明确的解释。然后，我们最大程度地减少了在任何给定输入上准确预测所需的预期查询数。由于解决方案通常是棘手的，因此在事先工作之后，我们根据信息增益顺序选择查询。但是，与以前的工作相反，我们不必假设查询在有条件地独立。取而代之的是，我们利用随机生成模型（VAE）和MCMC算法（未经调整的Langevin）来选择基于先前的查询 - 答案的输入的最有用的查询。这使得在线确定要解决预测歧义所需的任何深度的查询链。最后，关于视觉和NLP任务的实验证明了我们的方法的功效及其优越性比事后解释的优势。

Current learning machines have successfully solved hard application problems, reaching high accuracy and displaying seemingly "intelligent" behavior. Here we apply recent techniques for explaining decisions of state-of-the-art learning machines and analyze various tasks from computer vision and arcade games. This showcases a spectrum of problem-solving behaviors ranging from naive and short-sighted, to wellinformed and strategic. We observe that standard performance evaluation metrics can be oblivious to distinguishing these diverse problem solving behaviors. Furthermore, we propose our semi-automated Spectral Relevance Analysis that provides a practically effective way of characterizing and validating the behavior of nonlinear learning machines. This helps to assess whether a learned model indeed delivers reliably for the problem that it was conceived for. Furthermore, our work intends to add a voice of caution to the ongoing excitement about machine intelligence and pledges to evaluate and judge some of these recent successes in a more nuanced manner.

随着深度神经网络的兴起，解释这些网络预测的挑战已经越来越识别。虽然存在许多用于解释深度神经网络的决策的方法，但目前没有关于如何评估它们的共识。另一方面，鲁棒性是深度学习研究的热门话题;但是，在最近，几乎没有谈论解释性。在本教程中，我们首先呈现基于梯度的可解释性方法。这些技术使用梯度信号来分配对输入特征的决定的负担。后来，我们讨论如何为其鲁棒性和对抗性的鲁棒性在具有有意义的解释中扮演的作用来评估基于梯度的方法。我们还讨论了基于梯度的方法的局限性。最后，我们提出了在选择解释性方法之前应检查的最佳实践和属性。我们结束了未来在稳健性和解释性融合的地区研究的研究。