本文提出了分层和符号和或图形（AOG），客观地解释由训练有素的深层模型进行推理的内部逻辑。我们首先定义博弈论中解释器模型的客观性，我们开发了深层模型编码的逻辑和逻辑的严格表示。AOG解释者的客观性和可信度在理论上和实验验证。此外，我们提出了几种技术来提升解释的简明。

本文探讨了深度神经网络（DNN）的特征表示的瓶颈，从DNN中编码的输入变量之间的相互作用的复杂性的角度来看。为此，我们专注于输入变量之间的多阶交互，其中顺序表示交互的复杂性。我们发现DNN更有可能编码过于简单的相互作用和过于复杂的相互作用，但通常无法学习中间复杂性的相互作用。这种现象被不同的DNN广泛共享，用于不同的任务。这种现象表明了DNN和人类之间的认知差距，我们称之为瓶颈。理论上，理论上证明了代表瓶颈的潜在原因。此外，我们提出了鼓励/惩罚特定复杂性的相互作用的损失，并分析不同复杂性相互作用的表示能力。

本文提供了一个统一的观点来解释不同的逆势攻击和防御方法，即DNN的输入变量之间的多阶交互的视图。根据多阶互动，我们发现对抗性攻击主要影响愚弄DNN的高阶相互作用。此外，我们发现前列培训的DNN的鲁棒性来自特定于类别的低阶交互。我们的研究结果提供了统一对抗的扰动和鲁棒性的潜在方法，可以以原则方式解释现有的防御方法。此外，我们的调查结果还修订了先前的不准确了解对抗普遍学习特征的偏差。

本文提供了统一的观点来解释不同的对抗攻击和防御方法，\ emph {i.e.} DNN的输入变量之间的多阶交互的视图。根据多阶互动，我们发现对抗性攻击主要影响愚弄DNN的高阶相互作用。此外，我们发现前列培训的DNN的鲁棒性来自特定于类别的低阶交互。我们的研究结果提供了统一对抗的扰动和鲁棒性的潜在方法，可以以原则方式解释现有的防御方法。此外，我们的调查结果还修订了先前的不准确了解对抗普遍学习特征的偏差。

尽管已经提出了许多方法来增强对抗性扰动的可转移性，但这些方法是以启发式方式设计的，并且尚不清楚改善对抗性转移性的基本机制。本文总结了在统一视图中以十二个以前的可传递性提高方法共享的共同机制，即这些方法都减少了区域对抗性扰动之间的游戏理论相互作用。为此，我们专注于区域对抗扰动之间所有相互作用的攻击效用，我们首先发现并证明了对抗传递性与相互作用的攻击效用之间的负相关性。基于这一发现，我们从理论上证明并从经验上验证了十二种以前的可传递性提高方法均减少了区域对抗扰动之间的相互作用。更重要的是，我们将相互作用的减少视为增强对抗性转移性的基本原因。此外，我们设计了交互损失，以直接惩罚攻击过程中区域对抗扰动之间的相互作用。实验结果表明，相互作用损失显着提高了对抗扰动的转移性。

本文提出了一种可视化DNN编码的中间层视觉模式的辨别力的方法。具体而言，我们可视化（1）DNN在训练过程中如何逐渐学习各个中间层中的区域视觉模式，（2）DNN使用低层中的非辨别模式的效果来构建中/高层中的剥离图案通过前向传播。基于我们的可视化方法，我们可以量化DNN学习的知识点（即，判别视觉模式的数量）来评估DNN的表示能力。此外，该方法还提供了新的洞察现有的深度学习技术的信号处理行为，例如对抗攻击和知识蒸馏。

本文介绍了一种解释在深神经网络（DNN）中向前传播期间每个输入变量的信息如何逐渐丢弃的方法，该信息提供了解释DNN的新观点。我们定义了两种类型的基于熵的指标，即（1）向前传播中使用的像素范围信息的丢弃，以及（2）输入重建的不确定性，以从两个角度测量特定层所包含的输入信息。与以前的归因指标不同，所提出的指标可确保不同DNN不同层之间比较的公平性。我们可以使用这些指标来分析DNN中信息处理的效率，后者与DNN的性能表现出牢固的联系。我们以像素方式分析信息丢弃的信息，这与信息瓶颈理论测量特征信息W.R.T.不同。样本分布。实验显示了我们指标在分析经典DNN和解释现有深度学习技术方面的有效性。

众所周知，端到端的神经NLP体系结构很难理解，这引起了近年来为解释性建模的许多努力。模型解释的基本原则是忠诚，即，解释应准确地代表模型预测背后的推理过程。这项调查首先讨论了忠诚的定义和评估及其对解释性的意义。然后，我们通过将方法分为五类来介绍忠实解释的最新进展：相似性方法，模型内部结构的分析，基于反向传播的方法，反事实干预和自我解释模型。每个类别将通过其代表性研究，优势和缺点来说明。最后，我们从它们的共同美德和局限性方面讨论了上述所有方法，并反思未来的工作方向忠实的解释性。对于有兴趣研究可解释性的研究人员，这项调查将为该领域提供可访问且全面的概述，为进一步探索提供基础。对于希望更好地了解自己的模型的用户，该调查将是一项介绍性手册，帮助选择最合适的解释方法。

我们通过将回归或分类函数的全局解释分解为主组件和任意顺序的相互作用组件的总和。当添加由因果解释激励的识别约束时，我们发现Q交互作用是该约束的独特解决方案。在这里，Q表示分解中存在的最高相互作用。我们的结果为具有各种实践和理论含义的外形值提供了新的视角：如果将塑形值分解为主要和所有相互作用效应，它们提供了带有因果解释的全球解释。原则上，分解可以应用于任何机器学习模型。但是，由于可能的相互作用的数量随特征的数量呈指数增长，因此精确的计算仅对于适合低维结构或这些组合的方法可行。我们为梯度增压树提供了一种算法和有效的实施（Xgboost和随机种植的森林，计算出这种分解。进行的实验表明，我们的方法提供了有意义的解释，并揭示了更高阶的相互作用。我们还通过利用新见解的进一步的潜力来利用新见解的进一步的潜力。全球解释，用于激励特征重要性的新量度，以及通过删除事后删除来减少直接和间接偏见。

在本文中，我们评估了用于3D点云处理的深神经网络（DNN）中编码的知识表示的质量。我们提出了一种方法来解开整体模型脆弱性进入旋转，翻译，尺度和局部3D结构的敏感性。此外，我们还提出了指标来评估编码3D结构的空间平滑度，以及DNN的表示复杂性。基于此类分析，实验将揭示经典DNN的表现问题，并解释对抗性培训的效用。

解释深度卷积神经网络最近引起了人们的关注，因为它有助于了解网络的内部操作以及为什么它们做出某些决定。显着地图强调了与网络决策的主要连接的显着区域，是可视化和分析计算机视觉社区深层网络的最常见方法之一。但是，由于未经证实的激活图权重的建议，这些图像没有稳固的理论基础，并且未能考虑每个像素之间的关系，因此现有方法生成的显着图不能表示图像中的真实信息。在本文中，我们开发了一种基于类激活映射的新型事后视觉解释方法，称为Shap-Cam。与以前的基于梯度的方法不同，Shap-Cam通过通过Shapley值获得每个像素的重要性来摆脱对梯度的依赖。我们证明，Shap-Cam可以在解释决策过程中获得更好的视觉性能和公平性。我们的方法在识别和本地化任务方面的表现优于以前的方法。

与从头开始的传统学习相比，知识蒸馏有时会使DNN实现卓越的性能。本文提供了一种新的观点，可以根据信息理论来解释知识蒸馏的成功，即量化在DNN的中间层中编码的知识点。为此，我们将DNN中的信号处理视为丢弃层的信息。知识点称为输入单元，其信息比其他输入单元所丢弃的信息要少得多。因此，我们根据知识点的量化提出了三个用于知识蒸馏的假设。 1. DNN从知识蒸馏中学习比从头开始学习的DNN学习更多的知识点。 2.知识蒸馏使DNN更有可能同时学习不同的知识点。相比之下，从头开始的DNN学习倾向于顺序编码各种知识点。 3.与从头开始学习的DNN学习通常更稳定地优化了从知识蒸馏中学习的DNN学习。为了验证上述假设，我们设计了具有前景对象注释的三种类型的指标，以分析DNN的功能表示，\ textit {i.e。}知识点的数量和质量，不同知识点的学习速度，以及优化方向的稳定性。在实验中，我们诊断出各种DNN的不同分类任务，即图像分类，3D点云分类，二进制情感分类和问题回答，这些问题验证了上述假设。

本文的目的是理论上分析具有relu层的分段线性DNN中编码的特征转换的复杂性。我们建议指标根据信息理论衡量转换的三种复杂性。我们进一步发现并证明了转换的复杂性和分离之间的密切相关性。根据提议的指标，我们分析了训练过程中转换复杂性变化的两个典型现象，并探索DNN复杂性的上限。所提出的指标也可以用作学习具有最小复杂性的DNN的损失，这也控制DNN的过度拟合水平并影响对抗性的鲁棒性，对抗性转移性和知识一致性。全面的比较研究为了解DNN提供了新的观点。

沙普利价值是衡量单个特征影响的流行方法。尽管Shapley功能归因是基于游戏理论的Desiderata，但在某些机器学习设置中，其某些约束可能不太自然，从而导致不直觉的模型解释。特别是，Shapley值对所有边际贡献都使用相同的权重 - 即，当给出大量其他功能时，当给出少数其他功能时，它具有相同的重要性。如果较大的功能集比较小的功能集更具信息性，则此属性可能是有问题的。我们的工作对沙普利特征归因的潜在局限性进行了严格的分析。我们通过为较小的影响力特征分配较大的属性来确定Shapley值在数学上是次优的设置。在这一观察结果的驱动下，我们提出了加权图，它概括了沙普利的价值，并了解到直接从数据中关注哪些边际贡献。在几个现实世界数据集上，我们证明，与沙普利值确定的功能相比，加权图确定的有影响力的特征可以更好地概括模型的预测。

基于Shapley值的功能归因在解释机器学习模型中很受欢迎。但是，从理论和计算的角度来看，它们的估计是复杂的。我们将这种复杂性分解为两个因素：（1）〜删除特征信息的方法，以及（2）〜可拖动估计策略。这两个因素提供了一种天然镜头，我们可以更好地理解和比较24种不同的算法。基于各种特征删除方法，我们描述了多种类型的Shapley值特征属性和计算每个类型的方法。然后，基于可进行的估计策略，我们表征了两个不同的方法家族：模型 - 不合时宜的和模型特定的近似值。对于模型 - 不合稳定的近似值，我们基准了广泛的估计方法，并将其与Shapley值的替代性但等效的特征联系起来。对于特定于模型的近似值，我们阐明了对每种方法的线性，树和深模型的障碍至关重要的假设。最后，我们确定了文献中的差距以及有希望的未来研究方向。

Explainability has been widely stated as a cornerstone of the responsible and trustworthy use of machine learning models. With the ubiquitous use of Deep Neural Network (DNN) models expanding to risk-sensitive and safety-critical domains, many methods have been proposed to explain the decisions of these models. Recent years have also seen concerted efforts that have shown how such explanations can be distorted (attacked) by minor input perturbations. While there have been many surveys that review explainability methods themselves, there has been no effort hitherto to assimilate the different methods and metrics proposed to study the robustness of explanations of DNN models. In this work, we present a comprehensive survey of methods that study, understand, attack, and defend explanations of DNN models. We also present a detailed review of different metrics used to evaluate explanation methods, as well as describe attributional attack and defense methods. We conclude with lessons and take-aways for the community towards ensuring robust explanations of DNN model predictions.

越来越多的电子健康记录（EHR）数据和深度学习技术进步的越来越多的可用性（DL）已经引发了在开发基于DL的诊断，预后和治疗的DL临床决策支持系统中的研究兴趣激增。尽管承认医疗保健的深度学习的价值，但由于DL的黑匣子性质，实际医疗环境中进一步采用的障碍障碍仍然存在。因此，有一个可解释的DL的新兴需求，它允许最终用户评估模型决策，以便在采用行动之前知道是否接受或拒绝预测和建议。在这篇综述中，我们专注于DL模型在医疗保健中的可解释性。我们首先引入深入解释性的方法，并作为该领域的未来研究人员或临床从业者的方法参考。除了这些方法的细节之外，我们还包括对这些方法的优缺点以及它们中的每个场景都适合的讨论，因此感兴趣的读者可以知道如何比较和选择它们供使用。此外，我们讨论了这些方法，最初用于解决一般域问题，已经适应并应用于医疗保健问题以及如何帮助医生更好地理解这些数据驱动技术。总的来说，我们希望这项调查可以帮助研究人员和从业者在人工智能（AI）和临床领域了解我们为提高其DL模型的可解释性并相应地选择最佳方法。

Explainable AI transforms opaque decision strategies of ML models into explanations that are interpretable by the user, for example, identifying the contribution of each input feature to the prediction at hand. Such explanations, however, entangle the potentially multiple factors that enter into the overall complex decision strategy. We propose to disentangle explanations by finding relevant subspaces in activation space that can be mapped to more abstract human-understandable concepts and enable a joint attribution on concepts and input features. To automatically extract the desired representation, we propose new subspace analysis formulations that extend the principle of PCA and subspace analysis to explanations. These novel analyses, which we call principal relevant component analysis (PRCA) and disentangled relevant subspace analysis (DRSA), optimize relevance of projected activations rather than the more traditional variance or kurtosis. This enables a much stronger focus on subspaces that are truly relevant for the prediction and the explanation, in particular, ignoring activations or concepts to which the prediction model is invariant. Our approach is general enough to work alongside common attribution techniques such as Shapley Value, Integrated Gradients, or LRP. Our proposed methods show to be practically useful and compare favorably to the state of the art as demonstrated on benchmarks and three use cases.

Deep Learning and Machine Learning based models have become extremely popular in text processing and information retrieval. However, the non-linear structures present inside the networks make these models largely inscrutable. A significant body of research has focused on increasing the transparency of these models. This article provides a broad overview of research on the explainability and interpretability of natural language processing and information retrieval methods. More specifically, we survey approaches that have been applied to explain word embeddings, sequence modeling, attention modules, transformers, BERT, and document ranking. The concluding section suggests some possible directions for future research on this topic.

卷积神经网络（CNN）最近由于捕获非线性系统行为并提取预测性时空模式而引起了地球科学的极大关注。然而，鉴于其黑盒的性质以及预测性的重要性，可解释的人工智能方法（XAI）已成为解释CNN决策策略的一种手段。在这里，我们建立了一些最受欢迎的XAI方法的比较，并研究了它们在解释CNN的地球科学应用决策方面的保真度。我们的目标是提高对这些方法的理论局限性的认识，并深入了解相对优势和缺点，以帮助指导最佳实践。所考虑的XAI方法首先应用于理想化的归因基准，在该基准中，该网络解释的基础真实是先验，以帮助客观地评估其性能。其次，我们将XAI应用于与气候相关的预测设置，即解释CNN，该CNN经过训练，可以预测气候模拟每日快照中的大气河流数量。我们的结果突出了XAI方法的几个重要问题（例如，梯度破碎，无法区分归因的迹象，对零输入的无知），这些迹象以前在我们的领域被忽略了，如果不谨慎地考虑，可能会导致扭曲的图片CNN决策策略。我们设想，我们的分析将激发对XAI保真度的进一步调查，并将有助于在地球科学中谨慎地实施XAI，这可能导致进一步剥削CNN和深入学习预测问题。