已经提出了各种类型的显着性方法来解释黑盒分类。在图像应用程序中，这意味着要突出显示与当前决策最相关的图像的一部分。我们观察到，这些方法中的几种可以看作是基于在分类器域中找到特定的消融路径的单个，更通用过程的边缘情况。这为现有方法提供了其他几何见解。我们还证明，这种消融路径方法本身可以用作一种技术，较高的计算成本与路径给出的其他信息进行交易。
translated by 谷歌翻译
2017-04-11
由于机器学习算法越来越多地应用于高影响的高风险任务，例如医学诊断或自主驾驶，研究人员可以解释这些算法如何到达他们的预测是至关重要的。近年来，已经开发了许多图像显着性方法，总结了在图像中高度复杂的神经网络“看”以获得其预测的证据。然而，这些技术受到他们启发式性质和建筑限制的限制。在本文中，我们提出了两个主要贡献：首先，我们提出了一般框架，用于学习任何黑盒算法的不同类型的解释。其次，我们专注于框架，找到最负责分类器决定的图像的一部分。与以前的作品不同，我们的方法是模型 - 不可知和可测试的，因为它是在明确和可解释的图像扰动中的基础。
translated by 谷歌翻译
Saliency methods compute heat maps that highlight portions of an input that were most {\em important} for the label assigned to it by a deep net. Evaluations of saliency methods convert this heat map into a new {\em masked input} by retaining the $k$ highest-ranked pixels of the original input and replacing the rest with \textquotedblleft uninformative\textquotedblright\ pixels, and checking if the net's output is mostly unchanged. This is usually seen as an {\em explanation} of the output, but the current paper highlights reasons why this inference of causality may be suspect. Inspired by logic concepts of {\em completeness \& soundness}, it observes that the above type of evaluation focuses on completeness of the explanation, but ignores soundness. New evaluation metrics are introduced to capture both notions, while staying in an {\em intrinsic} framework -- i.e., using the dataset and the net, but no separately trained nets, human evaluations, etc. A simple saliency method is described that matches or outperforms prior methods in the evaluations. Experiments also suggest new intrinsic justifications, based on soundness, for popular heuristic tricks such as TV regularization and upsampling.
translated by 谷歌翻译
In this work we develop a fast saliency detection method that can be applied to any differentiable image classifier. We train a masking model to manipulate the scores of the classifier by masking salient parts of the input image. Our model generalises well to unseen images and requires a single forward pass to perform saliency detection, therefore suitable for use in real-time systems. We test our approach on CIFAR-10 and ImageNet datasets and show that the produced saliency maps are easily interpretable, sharp, and free of artifacts. We suggest a new metric for saliency and test our method on the ImageNet object localisation task. We achieve results outperforming other weakly supervised methods.
translated by 谷歌翻译
Explainability has been widely stated as a cornerstone of the responsible and trustworthy use of machine learning models. With the ubiquitous use of Deep Neural Network (DNN) models expanding to risk-sensitive and safety-critical domains, many methods have been proposed to explain the decisions of these models. Recent years have also seen concerted efforts that have shown how such explanations can be distorted (attacked) by minor input perturbations. While there have been many surveys that review explainability methods themselves, there has been no effort hitherto to assimilate the different methods and metrics proposed to study the robustness of explanations of DNN models. In this work, we present a comprehensive survey of methods that study, understand, attack, and defend explanations of DNN models. We also present a detailed review of different metrics used to evaluate explanation methods, as well as describe attributional attack and defense methods. We conclude with lessons and take-aways for the community towards ensuring robust explanations of DNN model predictions.
translated by 谷歌翻译
Deep neural networks are being used increasingly to automate data analysis and decision making, yet their decision-making process is largely unclear and is difficult to explain to the end users. In this paper, we address the problem of Explainable AI for deep neural networks that take images as input and output a class probability. We propose an approach called RISE that generates an importance map indicating how salient each pixel is for the model's prediction. In contrast to white-box approaches that estimate pixel importance using gradients or other internal network state, RISE works on blackbox models. It estimates importance empirically by probing the model with randomly masked versions of the input image and obtaining the corresponding outputs. We compare our approach to state-of-the-art importance extraction methods using both an automatic deletion/insertion metric and a pointing metric based on human-annotated object segments. Extensive experiments on several benchmark datasets show that our approach matches or exceeds the performance of other methods, including white-box approaches.
translated by 谷歌翻译
背景信息：在过去几年中，机器学习（ML）一直是许多创新的核心。然而，包括在所谓的“安全关键”系统中，例如汽车或航空的系统已经被证明是非常具有挑战性的，因为ML的范式转变为ML带来完全改变传统认证方法。目的：本文旨在阐明与ML为基础的安全关键系统认证有关的挑战，以及文献中提出的解决方案，以解决它们，回答问题的问题如何证明基于机器学习的安全关键系统？'方法：我们开展2015年至2020年至2020年之间发布的研究论文的系统文献综述（SLR），涵盖了与ML系统认证有关的主题。总共确定了217篇论文涵盖了主题，被认为是ML认证的主要支柱：鲁棒性，不确定性，解释性，验证，安全强化学习和直接认证。我们分析了每个子场的主要趋势和问题，并提取了提取的论文的总结。结果：单反结果突出了社区对该主题的热情，以及在数据集和模型类型方面缺乏多样性。它还强调需要进一步发展学术界和行业之间的联系，以加深域名研究。最后，它还说明了必须在上面提到的主要支柱之间建立连接的必要性，这些主要柱主要主要研究。结论：我们强调了目前部署的努力，以实现ML基于ML的软件系统，并讨论了一些未来的研究方向。
translated by 谷歌翻译
我们描述了一种新颖的归因方法，它基于敏感性分析并使用Sobol指数。除了模拟图像区域的个人贡献之外，索尔索尔指标提供了一种有效的方法来通过方差镜头捕获图像区域与其对神经网络的预测的贡献之间的高阶相互作用。我们描述了一种通过使用扰动掩模与有效估计器耦合的扰动掩模来计算用于高维问题的这些指标的方法，以处理图像的高维度。重要的是，我们表明，与其他黑盒方法相比，该方法对视觉（和语言模型）的标准基准测试的标准基准有利地导致了有利的分数 - 甚至超过最先进的白色的准确性 - 需要访问内部表示的箱方法。我们的代码是免费的：https://github.com/fel-thomas/sobol-attribution-method
translated by 谷歌翻译
基于签名的技术使数学洞察力洞悉不断发展的数据的复杂流之间的相互作用。这些见解可以自然地转化为理解流数据的数值方法，也许是由于它们的数学精度，已被证明在数据不规则而不是固定的情况下分析流的数据以及数据和数据的尺寸很有用样本量均为中等。了解流的多模式数据是指数的：$ d $ d $的字母中的$ n $字母中的一个单词可以是$ d^n $消息之一。签名消除了通过采样不规则性引起的指数级噪声，但仍然存在指数量的信息。这项调查旨在留在可以直接管理指数缩放的域中。在许多问题中，可伸缩性问题是一个重要的挑战，但需要另一篇调查文章和进一步的想法。这项调查描述了一系列环境集足够小以消除大规模机器学习的可能性，并且可以有效地使用一小部分免费上下文和原则性功能。工具的数学性质可以使他们对非数学家的使用恐吓。本文中介绍的示例旨在弥合此通信差距，并提供从机器学习环境中绘制的可进行的工作示例。笔记本可以在线提供这些示例中的一些。这项调查是基于伊利亚·雪佛兰（Ilya Chevryev）和安德烈·科米利津（Andrey Kormilitzin）的早期论文，它们在这种机械开发的较早时刻大致相似。本文说明了签名提供的理论见解是如何在对应用程序数据的分析中简单地实现的，这种方式在很大程度上对数据类型不可知。
translated by 谷歌翻译
随着深度学习（DL）功效的增长，对模型差解释性的关注也会增长。归因方法通过量化输入功能对模型预测的重要性来解决解释性问题。在各种方法中，综合梯度（IG）通过声称其他方法无法满足理想的公理，而IG和类似的方法则独特地满足了公理。本文评论了IG及其应用/扩展的基本方面：1）我们确定IG函数空间与支持文献的功能空间之间的关键差异，这些空间使IG唯一性的先前主张问题成为问题。我们表明，通过引入附加的公理，\ textit {nontecreasing postitivity}，可以建立唯一性主张。 2）我们通过识别Ig是/不是属性输入中IG不是Lipschitz的函数类来解决输入灵敏度的问题。 3）我们表明，单基线方法的公理具有具有概率分布基线的方法的类似特性。 4）我们引入了一种计算有效的方法，用于识别有助于IG归因图的指定区域的内部神经元。最后，我们提出了验证此方法的实验结果。
translated by 谷歌翻译
本文提出了一种基于Hilbert-Schmidt独立标准（HSIC）的新有效的黑盒归因方法，这是一种基于再现核Hilbert Spaces（RKHS）的依赖度量。 HSIC测量了基于分布的内核的输入图像区域之间的依赖性和模型的输出。因此，它提供了由RKHS表示功能丰富的解释。可以非常有效地估计HSIC，与其他黑盒归因方法相比，大大降低了计算成本。我们的实验表明，HSIC的速度比以前的最佳黑盒归因方法快8倍，同时忠实。确实，我们改进或匹配了黑盒和白框归因方法的最新方法，用于具有各种最近的模型体系结构的Imagenet上的几个保真度指标。重要的是，我们表明这些进步可以被转化为有效而忠实地解释诸如Yolov4之类的对象检测模型。最后，我们通过提出一种新的内核来扩展传统的归因方法，从而实现基于HSIC的重要性分数的正交分解，从而使我们不仅可以评估每个图像贴片的重要性，还可以评估其成对相互作用的重要性。
translated by 谷歌翻译
We study the problem of attributing the prediction of a deep network to its input features, a problem previously studied by several other works. We identify two fundamental axioms-Sensitivity and Implementation Invariance that attribution methods ought to satisfy. We show that they are not satisfied by most known attribution methods, which we consider to be a fundamental weakness of those methods. We use the axioms to guide the design of a new attribution method called Integrated Gradients. Our method requires no modification to the original network and is extremely simple to implement; it just needs a few calls to the standard gradient operator. We apply this method to a couple of image models, a couple of text models and a chemistry model, demonstrating its ability to debug networks, to extract rules from a network, and to enable users to engage with models better.
translated by 谷歌翻译
已经提出了多种解释性方法和理论评价分数。然而，尚不清楚：（1）这些方法有多有用的现实情景和（2）理论措施如何预测人类实际使用方法的有用性。为了填补这一差距，我们在规模中进行了人类的心理物理学实验，以评估人类参与者（n = 1,150）以利用代表性归因方法学习预测不同图像分类器的决定的能力。我们的结果表明，用于得分的理论措施可解释方法的反映在现实世界方案中的个人归因方法的实际实用性不佳。此外，个人归因方法帮助人类参与者预测分类器的决策的程度在分类任务和数据集中广泛变化。总体而言，我们的结果突出了该领域的根本挑战 - 建议致力于开发更好的解释方法和部署人以人为本的评估方法。我们将制定框架的代码可用于缓解新颖解释性方法的系统评估。
translated by 谷歌翻译
当前，随机平滑被认为是获得确切可靠分类器的最新方法。尽管其表现出色，但该方法仍与各种严重问题有关，例如``认证准确性瀑布''，认证与准确性权衡甚至公平性问题。已经提出了依赖输入的平滑方法，目的是克服这些缺陷。但是，我们证明了这些方法缺乏正式的保证，因此所产生的证书是没有道理的。我们表明，一般而言，输入依赖性平滑度遭受了维数的诅咒，迫使方差函数具有低半弹性。另一方面，我们提供了一个理论和实用的框架，即使在严格的限制下，即使在有维度的诅咒的情况下，即使在存在维度的诅咒的情况下，也可以使用依赖输入的平滑。我们提供平滑方差功能的一种混凝土设计，并在CIFAR10和MNIST上进行测试。我们的设计减轻了经典平滑的一些问题，并正式下划线，但仍需要进一步改进设计。
translated by 谷歌翻译
可解释的人工智能（XAI）的新兴领域旨在为当今强大但不透明的深度学习模型带来透明度。尽管本地XAI方法以归因图的形式解释了个体预测，从而确定了重要特征的发生位置（但没有提供有关其代表的信息），但全局解释技术可视化模型通常学会的编码的概念。因此，两种方法仅提供部分见解，并留下将模型推理解释的负担。只有少数当代技术旨在将本地和全球XAI背后的原则结合起来，以获取更多信息的解释。但是，这些方法通常仅限于特定的模型体系结构，或对培训制度或数据和标签可用性施加其他要求，这实际上使事后应用程序成为任意预训练的模型。在这项工作中，我们介绍了概念相关性传播方法（CRP）方法，该方法结合了XAI的本地和全球观点，因此允许回答“何处”和“ where”和“什么”问题，而没有其他约束。我们进一步介绍了相关性最大化的原则，以根据模型对模型的有用性找到代表性的示例。因此，我们提高了对激活最大化及其局限性的共同实践的依赖。我们证明了我们方法在各种环境中的能力，展示了概念相关性传播和相关性最大化导致了更加可解释的解释，并通过概念图表，概念组成分析和概念集合和概念子区和概念子区和概念子集和定量研究对模型的表示和推理提供了深刻的见解。它们在细粒度决策中的作用。
translated by 谷歌翻译
深度神经网络的可解释性方法主要集中于类得分相对于原始或扰动输入的敏感性，通常使用实际或修改的梯度测量。某些方法还使用模型不足的方法来理解每个预测背后的基本原理。在本文中，我们争论并证明了模型参数空间相对于输入的局部几何形状也可以有益于改善事后解释。为了实现这一目标，我们引入了一种称为“几何引导的集成梯度”的可解释性方法，该方法沿线性路径的梯度计算以传统上用于集成梯度方法中的方式构建。但是，我们的方法没有集成梯度信息，而是从输入的多个缩放版本中探索了模型的动态行为，并捕获了每个输入的最佳归因。我们通过广泛的实验证明，所提出的方法在主观和定量评估中的表现优于香草和综合梯度。我们还提出了“模型扰动”理智检查，以补充传统使用的“模型随机化”测试。
translated by 谷歌翻译
可解释的AI（XAI）的基本任务是确定黑匣子功能$ f $做出的预测背后的最重要功能。 Petsiuk等人的插入和缺失测试。 （2018年）用于判断从最重要的对分类至最不重要的算法的质量。在回归问题的激励下，我们在曲线标准（AUC）标准下建立了一个公式，就$ f $的锚定分解中的某些主要效果和相互作用而言。我们找到了在输入到$ f $的随机排序下AUC的期望值的表达式，并提出了回归设置的直线上方的替代区域。我们使用此标准将集成梯度（IG）计算出的特征与内核Shap（KS）以及石灰，DeepLift，Vanilla梯度和输入$ \ times $ \ times $梯度方法进行比较。 KS在我们考虑的两个数据集中具有最好的总体性能，但是计算非常昂贵。我们发现IG几乎和KS一样好，同时更快。我们的比较问题包括一些对IG构成挑战的二进制输入，因为它必须使用可能的变量级别之间的值，因此我们考虑处理IG中二进制变量的方法。我们表明，通过其shapley值进行排序变量并不一定给出插入插入测试的最佳排序。但是，对于加性模型的单调函数（例如逻辑回归），它将做到这一点。
translated by 谷歌翻译
随着深度神经网络的兴起，解释这些网络预测的挑战已经越来越识别。虽然存在许多用于解释深度神经网络的决策的方法，但目前没有关于如何评估它们的共识。另一方面，鲁棒性是深度学习研究的热门话题;但是，在最近，几乎没有谈论解释性。在本教程中，我们首先呈现基于梯度的可解释性方法。这些技术使用梯度信号来分配对输入特征的决定的负担。后来，我们讨论如何为其鲁棒性和对抗性的鲁棒性在具有有意义的解释中扮演的作用来评估基于梯度的方法。我们还讨论了基于梯度的方法的局限性。最后，我们提出了在选择解释性方法之前应检查的最佳实践和属性。我们结束了未来在稳健性和解释性融合的地区研究的研究。
translated by 谷歌翻译
Current learning machines have successfully solved hard application problems, reaching high accuracy and displaying seemingly "intelligent" behavior. Here we apply recent techniques for explaining decisions of state-of-the-art learning machines and analyze various tasks from computer vision and arcade games. This showcases a spectrum of problem-solving behaviors ranging from naive and short-sighted, to wellinformed and strategic. We observe that standard performance evaluation metrics can be oblivious to distinguishing these diverse problem solving behaviors. Furthermore, we propose our semi-automated Spectral Relevance Analysis that provides a practically effective way of characterizing and validating the behavior of nonlinear learning machines. This helps to assess whether a learned model indeed delivers reliably for the problem that it was conceived for. Furthermore, our work intends to add a voice of caution to the ongoing excitement about machine intelligence and pledges to evaluate and judge some of these recent successes in a more nuanced manner.
translated by 谷歌翻译
众所周知，端到端的神经NLP体系结构很难理解，这引起了近年来为解释性建模的许多努力。模型解释的基本原则是忠诚，即，解释应准确地代表模型预测背后的推理过程。这项调查首先讨论了忠诚的定义和评估及其对解释性的意义。然后，我们通过将方法分为五类来介绍忠实解释的最新进展：相似性方法，模型内部结构的分析，基于反向传播的方法，反事实干预和自我解释模型。每个类别将通过其代表性研究，优势和缺点来说明。最后，我们从它们的共同美德和局限性方面讨论了上述所有方法，并反思未来的工作方向忠实的解释性。对于有兴趣研究可解释性的研究人员，这项调查将为该领域提供可访问且全面的概述，为进一步探索提供基础。对于希望更好地了解自己的模型的用户，该调查将是一项介绍性手册，帮助选择最合适的解释方法。
translated by 谷歌翻译