注意图是解释图像分类卷积网络的决策的流行方式。通常，对于感兴趣的每个图像，产生单一的注意图，其基于它们对分类的重要性分配给像素的权重。然而，单一的注意图提供了不完整的理解，因为通常有许多其他地图可以同样解释分类。在本文中，我们介绍了结构化的注意图（SAG），它通过捕获图像区域的不同组合影响分类器的信心来紧凑地代表图像的注意力映射。我们提出了一种方法来计算SAG和SAG的可视化，以便可以获得更深层次的洞察力进入分类器的决定。我们进行用户学习比较使用SAG对传统注意图的使用，以应对图像分类的反事实问题。我们的结果表明，当基于SAG与基线相比，用户在回答基于落下的比较反事实问题时更为正确。

We propose a methodology that systematically applies deep explanation algorithms on a dataset-wide basis, to compare different types of visual recognition backbones, such as convolutional networks (CNNs), global attention networks, and local attention networks. Examination of both qualitative visualizations and quantitative statistics across the dataset helps us to gain intuitions that are not just anecdotal, but are supported by the statistics computed on the entire dataset. Specifically, we propose two methods. The first one, sub-explanation counting, systematically searches for minimally-sufficient explanations of all images and count the amount of sub-explanations for each network. The second one, called cross-testing, computes salient regions using one network and then evaluates the performance by only showing these regions as an image to other networks. Through a combination of qualitative insights and quantitative statistics, we illustrate that 1) there are significant differences between the salient features of CNNs and attention models; 2) the occlusion-robustness in local attention models and global attention models may come from different decision-making mechanisms.

我们提出了CX-TOM，简短于与理论的理论，一种新的可解释的AI（XAI）框架，用于解释深度卷积神经网络（CNN）制定的决定。与生成解释的XAI中的当前方法形成对比，我们将说明作为迭代通信过程，即对话框，机器和人类用户之间。更具体地说，我们的CX-TOM框架通过调解机器和人类用户的思想之间的差异，在对话中生成解释顺序。为此，我们使用思想理论（汤姆），帮助我们明确地建模人类的意图，通过人类的推断，通过机器推断出人类的思想。此外，大多数最先进的XAI框架提供了基于注意的（或热图）的解释。在我们的工作中，我们表明，这些注意力的解释不足以增加人类信任在潜在的CNN模型中。在CX-TOM中，我们使用命名为您定义的故障行的反事实解释：给定CNN分类模型M预测C_PRED的CNN分类模型M的输入图像I，错误线识别最小的语义级别特征（例如，斑马上的条纹，狗的耳朵），称为可解释的概念，需要从I添加或删除，以便将m的分类类别改变为另一个指定的c_alt。我们认为，由于CX-TOM解释的迭代，概念和反事本质，我们的框架对于专家和非专家用户来说是实用的，更加自然，以了解复杂的深度学习模式的内部运作。广泛的定量和定性实验验证了我们的假设，展示了我们的CX-TOM显着优于最先进的可解释的AI模型。

近年来，可解释的人工智能（XAI）已成为一个非常适合的框架，可以生成人类对“黑盒”模型的可理解解释。在本文中，一种新颖的XAI视觉解释算法称为相似性差异和唯一性（SIDU）方法，该方法可以有效地定位负责预测的整个对象区域。通过各种计算和人类主题实验分析了SIDU算法的鲁棒性和有效性。特别是，使用三种不同类型的评估（应用，人类和功能地面）评估SIDU算法以证明其出色的性能。在对“黑匣子”模型的对抗性攻击的情况下，进一步研究了Sidu的鲁棒性，以更好地了解其性能。我们的代码可在：https：//github.com/satyamahesh84/sidu_xai_code上找到。

在许多高风险应用中，人工智能（AI）的预测越来越重要，甚至是必要的，而人类是最终的决策者。在这项工作中，我们提出了两种自我解剖图像分类器的新型架构，这些架构首先解释，然后通过利用查询图像和示例之间的视觉对应关系来预测（与事后解释）。我们的模型始终在分布（OOD）数据集上始终改进（提高1-4分），同时在分布测试中略差（比Resnet-50）和$ k $ near的邻居分类器更差（1至2分）。 （KNN）。通过大规模的人类对成像网和幼崽的研究，我们基于对应的解释对用户的解释比KNN解释更有用。我们的解释可帮助用户更准确地拒绝AI的错误决策，而不是所有其他测试方法。有趣的是，我们首次表明，在ImageNet和Cub图像分类任务中，有可能实现互补的人类团队的准确性（即比Ai-Olone或单词更高）。

We propose a technique for producing 'visual explanations' for decisions from a large class of Convolutional Neural Network (CNN)-based models, making them more transparent and explainable.Our approach -Gradient-weighted Class Activation Mapping (Grad-CAM), uses the gradients of any target concept (say 'dog' in a classification network or a sequence of words in captioning network) flowing into the final convolutional layer to produce a coarse localization map highlighting the important regions in the image for predicting the concept.Unlike previous approaches, Grad-CAM is applicable to a wide variety of CNN model-families: (1) CNNs with fullyconnected layers (e.g. VGG), (2) CNNs used for structured outputs (e.g. captioning), (3) CNNs used in tasks with multimodal inputs (e.g. visual question answering) or reinforcement learning, all without architectural changes or re-training. We combine Grad-CAM with existing fine-grained visualizations to create a high-resolution class-discriminative vi-

由于机器学习算法越来越多地应用于高影响的高风险任务，例如医学诊断或自主驾驶，研究人员可以解释这些算法如何到达他们的预测是至关重要的。近年来，已经开发了许多图像显着性方法，总结了在图像中高度复杂的神经网络“看”以获得其预测的证据。然而，这些技术受到他们启发式性质和建筑限制的限制。在本文中，我们提出了两个主要贡献：首先，我们提出了一般框架，用于学习任何黑盒算法的不同类型的解释。其次，我们专注于框架，找到最负责分类器决定的图像的一部分。与以前的作品不同，我们的方法是模型 - 不可知和可测试的，因为它是在明确和可解释的图像扰动中的基础。

Deep neural networks are being used increasingly to automate data analysis and decision making, yet their decision-making process is largely unclear and is difficult to explain to the end users. In this paper, we address the problem of Explainable AI for deep neural networks that take images as input and output a class probability. We propose an approach called RISE that generates an importance map indicating how salient each pixel is for the model's prediction. In contrast to white-box approaches that estimate pixel importance using gradients or other internal network state, RISE works on blackbox models. It estimates importance empirically by probing the model with randomly masked versions of the input image and obtaining the corresponding outputs. We compare our approach to state-of-the-art importance extraction methods using both an automatic deletion/insertion metric and a pointing metric based on human-annotated object segments. Extensive experiments on several benchmark datasets show that our approach matches or exceeds the performance of other methods, including white-box approaches.

Artificial intelligence(AI) systems based on deep neural networks (DNNs) and machine learning (ML) algorithms are increasingly used to solve critical problems in bioinformatics, biomedical informatics, and precision medicine. However, complex DNN or ML models that are unavoidably opaque and perceived as black-box methods, may not be able to explain why and how they make certain decisions. Such black-box models are difficult to comprehend not only for targeted users and decision-makers but also for AI developers. Besides, in sensitive areas like healthcare, explainability and accountability are not only desirable properties of AI but also legal requirements -- especially when AI may have significant impacts on human lives. Explainable artificial intelligence (XAI) is an emerging field that aims to mitigate the opaqueness of black-box models and make it possible to interpret how AI systems make their decisions with transparency. An interpretable ML model can explain how it makes predictions and which factors affect the model's outcomes. The majority of state-of-the-art interpretable ML methods have been developed in a domain-agnostic way and originate from computer vision, automated reasoning, or even statistics. Many of these methods cannot be directly applied to bioinformatics problems, without prior customization, extension, and domain adoption. In this paper, we discuss the importance of explainability with a focus on bioinformatics. We analyse and comprehensively overview of model-specific and model-agnostic interpretable ML methods and tools. Via several case studies covering bioimaging, cancer genomics, and biomedical text mining, we show how bioinformatics research could benefit from XAI methods and how they could help improve decision fairness.

已经提出了多种解释性方法和理论评价分数。然而，尚不清楚：（1）这些方法有多有用的现实情景和（2）理论措施如何预测人类实际使用方法的有用性。为了填补这一差距，我们在规模中进行了人类的心理物理学实验，以评估人类参与者（n = 1,150）以利用代表性归因方法学习预测不同图像分类器的决定的能力。我们的结果表明，用于得分的理论措施可解释方法的反映在现实世界方案中的个人归因方法的实际实用性不佳。此外，个人归因方法帮助人类参与者预测分类器的决策的程度在分类任务和数据集中广泛变化。总体而言，我们的结果突出了该领域的根本挑战 - 建议致力于开发更好的解释方法和部署人以人为本的评估方法。我们将制定框架的代码可用于缓解新颖解释性方法的系统评估。

由于自然语言处理和基于计算机视觉模型的显着进步，视觉问题应答（VQA）系统变得越来越聪明，高级。然而，在处理相对复杂的问题时，它们仍然易于出错。因此，在采用结果之前了解VQA模型的行为非常重要。在本文中，我们通过生成反事实图像来引入VQA模型的可解释方法。具体地，所生成的图像应该具有对原始图像具有最小可能的改变，并引导VQA模型来提供不同的答案。此外，我们的方法确保生成的图像是逼真的。由于无法使用定量度量来评估模型的可解释性，因此我们进行了用户学习，以评估我们方法的不同方面。除了在单个图像上解释VQA模型的结果，所获得的结果和讨论还提供了对VQA模型的行为的广泛解释。

由于机器学习越来越多地应用于高冲击，高风险域，因此有许多新方法旨在使AI模型更具人类解释。尽管最近的可解释性工作增长，但缺乏对所提出的技术的系统评价。在这项工作中，我们提出了一种新的人类评估框架蜂巢（可视化解释的人类可解释性），用于计算机愿景中的不同解释性方法;据我们所知，这是它的第一个工作。我们认为，人类研究应该是正确评估方法对人类用户的可解释方式的金标。虽然由于与成本，研究设计和跨方法比较相关的挑战，我们常常避免人类研究，但我们描述了我们的框架如何减轻这些问题并进行IRB批准的四种方法，这些方法是代表解释性的多样性：GradCam，Bagnet ，protopnet和prodotree。我们的结果表明，解释（无论它们是否实际正确）发芽人类信任，但用户对用户不够明确，以区分正确和不正确的预测。最后，我们还开展框架以实现未来的研究，并鼓励更多以人以人为本的解释方法。

与此同时，在可解释的人工智能（XAI）的研究领域中，已经开发了各种术语，动机，方法和评估标准。随着XAI方法的数量大大增长，研究人员以及从业者以及从业者需要一种方法：掌握主题的广度，比较方法，并根据特定用例所需的特征选择正确的XAI方法语境。在文献中，可以找到许多不同细节水平和深度水平的XAI方法分类。虽然他们经常具有不同的焦点，但它们也表现出许多重叠点。本文统一了这些努力，并提供了XAI方法的分类，这是关于目前研究中存在的概念的概念。在结构化文献分析和元研究中，我们识别并审查了XAI方法，指标和方法特征的50多个最引用和最新的调查。总结在调查调查中，我们将文章的术语和概念合并为统一的结构化分类。其中的单一概念总计超过50个不同的选择示例方法，我们相应地分类。分类学可以为初学者，研究人员和从业者提供服务作为XAI方法特征和方面的参考和广泛概述。因此，它提供了针对有针对性的，用例导向的基础和上下文敏感的未来研究。

众所周知，端到端的神经NLP体系结构很难理解，这引起了近年来为解释性建模的许多努力。模型解释的基本原则是忠诚，即，解释应准确地代表模型预测背后的推理过程。这项调查首先讨论了忠诚的定义和评估及其对解释性的意义。然后，我们通过将方法分为五类来介绍忠实解释的最新进展：相似性方法，模型内部结构的分析，基于反向传播的方法，反事实干预和自我解释模型。每个类别将通过其代表性研究，优势和缺点来说明。最后，我们从它们的共同美德和局限性方面讨论了上述所有方法，并反思未来的工作方向忠实的解释性。对于有兴趣研究可解释性的研究人员，这项调查将为该领域提供可访问且全面的概述，为进一步探索提供基础。对于希望更好地了解自己的模型的用户，该调查将是一项介绍性手册，帮助选择最合适的解释方法。

由于算法预测对人类的影响增加，模型解释性已成为机器学习（ML）的重要问题。解释不仅可以帮助用户了解为什么ML模型做出某些预测，还可以帮助用户了解这些预测如何更改。在本论文中，我们研究了从三个有利位置的ML模型的解释性：算法，用户和教学法，并为解释性问题贡献了一些新颖的解决方案。

我们描述了一种新颖的归因方法，它基于敏感性分析并使用Sobol指数。除了模拟图像区域的个人贡献之外，索尔索尔指标提供了一种有效的方法来通过方差镜头捕获图像区域与其对神经网络的预测的贡献之间的高阶相互作用。我们描述了一种通过使用扰动掩模与有效估计器耦合的扰动掩模来计算用于高维问题的这些指标的方法，以处理图像的高维度。重要的是，我们表明，与其他黑盒方法相比，该方法对视觉（和语言模型）的标准基准测试的标准基准有利地导致了有利的分数 - 甚至超过最先进的白色的准确性 - 需要访问内部表示的箱方法。我们的代码是免费的：https://github.com/fel-thomas/sobol-attribution-method

这项调查回顾了对基于视觉的自动驾驶系统进行行为克隆训练的解释性方法。解释性的概念具有多个方面，并且需要解释性的驾驶强度是一种安全至关重要的应用。从几个研究领域收集贡献，即计算机视觉，深度学习，自动驾驶，可解释的AI（X-AI），这项调查可以解决几点。首先，它讨论了从自动驾驶系统中获得更多可解释性和解释性的定义，上下文和动机，以及该应用程序特定的挑战。其次，以事后方式为黑盒自动驾驶系统提供解释的方法是全面组织和详细的。第三，详细介绍和讨论了旨在通过设计构建更容易解释的自动驾驶系统的方法。最后，确定并检查了剩余的开放挑战和潜在的未来研究方向。

In the last years many accurate decision support systems have been constructed as black boxes, that is as systems that hide their internal logic to the user. This lack of explanation constitutes both a practical and an ethical issue. The literature reports many approaches aimed at overcoming this crucial weakness sometimes at the cost of scarifying accuracy for interpretability. The applications in which black box decision systems can be used are various, and each approach is typically developed to provide a solution for a specific problem and, as a consequence, delineating explicitly or implicitly its own definition of interpretability and explanation. The aim of this paper is to provide a classification of the main problems addressed in the literature with respect to the notion of explanation and the type of black box system. Given a problem definition, a black box type, and a desired explanation this survey should help the researcher to find the proposals more useful for his own work. The proposed classification of approaches to open black box models should also be useful for putting the many research open questions in perspective.

Despite widespread adoption, machine learning models remain mostly black boxes. Understanding the reasons behind predictions is, however, quite important in assessing trust, which is fundamental if one plans to take action based on a prediction, or when choosing whether to deploy a new model. Such understanding also provides insights into the model, which can be used to transform an untrustworthy model or prediction into a trustworthy one.In this work, we propose LIME, a novel explanation technique that explains the predictions of any classifier in an interpretable and faithful manner, by learning an interpretable model locally around the prediction. We also propose a method to explain models by presenting representative individual predictions and their explanations in a non-redundant way, framing the task as a submodular optimization problem. We demonstrate the flexibility of these methods by explaining different models for text (e.g. random forests) and image classification (e.g. neural networks). We show the utility of explanations via novel experiments, both simulated and with human subjects, on various scenarios that require trust: deciding if one should trust a prediction, choosing between models, improving an untrustworthy classifier, and identifying why a classifier should not be trusted.

越来越多的电子健康记录（EHR）数据和深度学习技术进步的越来越多的可用性（DL）已经引发了在开发基于DL的诊断，预后和治疗的DL临床决策支持系统中的研究兴趣激增。尽管承认医疗保健的深度学习的价值，但由于DL的黑匣子性质，实际医疗环境中进一步采用的障碍障碍仍然存在。因此，有一个可解释的DL的新兴需求，它允许最终用户评估模型决策，以便在采用行动之前知道是否接受或拒绝预测和建议。在这篇综述中，我们专注于DL模型在医疗保健中的可解释性。我们首先引入深入解释性的方法，并作为该领域的未来研究人员或临床从业者的方法参考。除了这些方法的细节之外，我们还包括对这些方法的优缺点以及它们中的每个场景都适合的讨论，因此感兴趣的读者可以知道如何比较和选择它们供使用。此外，我们讨论了这些方法，最初用于解决一般域问题，已经适应并应用于医疗保健问题以及如何帮助医生更好地理解这些数据驱动技术。总的来说，我们希望这项调查可以帮助研究人员和从业者在人工智能（AI）和临床领域了解我们为提高其DL模型的可解释性并相应地选择最佳方法。