The most popular methods and algorithms for AI are, for the vast majority, black boxes. Black boxes can be an acceptable solution to unimportant problems (in the sense of the degree of impact) but have a fatal flaw for the rest. Therefore the explanation tools for them have been quickly developed. The evaluation of their quality remains an open research question. In this technical report, we remind recently proposed post-hoc explainers FEM and MLFEM which have been designed for explanations of CNNs in image and video classification tasks. We also propose their evaluation with reference-based and no-reference metrics. The reference-based metrics are Pearson Correlation coefficient and Similarity computed between the explanation maps and the ground truth, which is represented by Gaze Fixation Density Maps obtained due to a psycho-visual experiment. As a no-reference metric we use "stability" metric, proposed by Alvarez-Melis and Jaakkola. We study its behaviour, consensus with reference-based metrics and show that in case of several kind of degradations on input images, this metric is in agreement with reference-based ones. Therefore it can be used for evaluation of the quality of explainers when the ground truth is not available.

近年来，可解释的人工智能（XAI）已成为一个非常适合的框架，可以生成人类对“黑盒”模型的可理解解释。在本文中，一种新颖的XAI视觉解释算法称为相似性差异和唯一性（SIDU）方法，该方法可以有效地定位负责预测的整个对象区域。通过各种计算和人类主题实验分析了SIDU算法的鲁棒性和有效性。特别是，使用三种不同类型的评估（应用，人类和功能地面）评估SIDU算法以证明其出色的性能。在对“黑匣子”模型的对抗性攻击的情况下，进一步研究了Sidu的鲁棒性，以更好地了解其性能。我们的代码可在：https：//github.com/satyamahesh84/sidu_xai_code上找到。

Deep neural networks are being used increasingly to automate data analysis and decision making, yet their decision-making process is largely unclear and is difficult to explain to the end users. In this paper, we address the problem of Explainable AI for deep neural networks that take images as input and output a class probability. We propose an approach called RISE that generates an importance map indicating how salient each pixel is for the model's prediction. In contrast to white-box approaches that estimate pixel importance using gradients or other internal network state, RISE works on blackbox models. It estimates importance empirically by probing the model with randomly masked versions of the input image and obtaining the corresponding outputs. We compare our approach to state-of-the-art importance extraction methods using both an automatic deletion/insertion metric and a pointing metric based on human-annotated object segments. Extensive experiments on several benchmark datasets show that our approach matches or exceeds the performance of other methods, including white-box approaches.

Recently, increasing attention has been drawn to the internal mechanisms of convolutional neural networks, and the reason why the network makes specific decisions. In this paper, we develop a novel post-hoc visual explanation method called Score-CAM based on class activation mapping. Unlike previous class activation mapping based approaches, Score-CAM gets rid of the dependence on gradients by obtaining the weight of each activation map through its forward passing score on target class, the final result is obtained by a linear combination of weights and activation maps. We demonstrate that Score-CAM achieves better visual performance and fairness for interpreting the decision making process. Our approach outperforms previous methods on both recognition and localization tasks, it also passes the sanity check. We also indicate its application as debugging tools. The implementation is available 1 .

随着深度神经网络的兴起，解释这些网络预测的挑战已经越来越识别。虽然存在许多用于解释深度神经网络的决策的方法，但目前没有关于如何评估它们的共识。另一方面，鲁棒性是深度学习研究的热门话题;但是，在最近，几乎没有谈论解释性。在本教程中，我们首先呈现基于梯度的可解释性方法。这些技术使用梯度信号来分配对输入特征的决定的负担。后来，我们讨论如何为其鲁棒性和对抗性的鲁棒性在具有有意义的解释中扮演的作用来评估基于梯度的方法。我们还讨论了基于梯度的方法的局限性。最后，我们提出了在选择解释性方法之前应检查的最佳实践和属性。我们结束了未来在稳健性和解释性融合的地区研究的研究。

本文的目的是评估图像分类任务的解释热图的质量。为了评估解释性方法的质量，我们通过准确性和稳定性的角度来处理任务。在这项工作中，我们做出以下贡献。首先，我们介绍了加权游戏，该游戏衡量了正确的类“分割掩码中包含的类别引导的解释”。其次，我们使用缩放/平移变换引入了用于解释稳定性的度量，以测量具有相似内容的显着性图之间的差异。使用这些新指标生产定量实验，以评估常用CAM方法提供的解释质量。解释的质量在不同的模型体系结构之间也形成了鲜明对比，发现突出了选择在选择解释性方法时考虑模型体系结构的必要性。

可解释的人工智能（XAI）的新兴领域旨在为当今强大但不透明的深度学习模型带来透明度。尽管本地XAI方法以归因图的形式解释了个体预测，从而确定了重要特征的发生位置（但没有提供有关其代表的信息），但全局解释技术可视化模型通常学会的编码的概念。因此，两种方法仅提供部分见解，并留下将模型推理解释的负担。只有少数当代技术旨在将本地和全球XAI背后的原则结合起来，以获取更多信息的解释。但是，这些方法通常仅限于特定的模型体系结构，或对培训制度或数据和标签可用性施加其他要求，这实际上使事后应用程序成为任意预训练的模型。在这项工作中，我们介绍了概念相关性传播方法（CRP）方法，该方法结合了XAI的本地和全球观点，因此允许回答“何处”和“ where”和“什么”问题，而没有其他约束。我们进一步介绍了相关性最大化的原则，以根据模型对模型的有用性找到代表性的示例。因此，我们提高了对激活最大化及其局限性的共同实践的依赖。我们证明了我们方法在各种环境中的能力，展示了概念相关性传播和相关性最大化导致了更加可解释的解释，并通过概念图表，概念组成分析和概念集合和概念子区和概念子区和概念子集和定量研究对模型的表示和推理提供了深刻的见解。它们在细粒度决策中的作用。

自我监督的视觉学习彻底改变了深度学习，成为域中的下一个重大挑战，并通过大型计算机视觉基准的监督方法迅速缩小了差距。随着当前的模型和培训数据成倍增长，解释和理解这些模型变得关键。我们研究了视力任务的自我监督学习领域中可解释的人工智能的问题，并提出了了解经过自学训练的网络及其内部工作的方法。鉴于自我监督的视觉借口任务的巨大多样性，我们缩小了对理解范式的关注，这些范式从同一图像的两种观点中学习，主要是旨在了解借口任务。我们的工作重点是解释相似性学习，并且很容易扩展到所有其他借口任务。我们研究了两个流行的自我监督视觉模型：Simclr和Barlow Twins。我们总共开发了六种可视化和理解这些模型的方法：基于扰动的方法（条件闭塞，上下文无形的条件闭塞和成对的闭塞），相互作用-CAM，特征可视化，模型差异可视化，平均变换和像素无形。最后，我们通过将涉及单个图像的监督图像分类系统量身定制的众所周知的评估指标来评估这些解释，并将其涉及两个图像的自我监督学习领域。代码为：https：//github.com/fawazsammani/xai-ssl

由于深度学习模型的黑盒性质，最近有针对CNN的视觉解释的解决方案的开发。鉴于用户研究的高成本，必须进行比较和评估这些不同方法的指标。在本文中，我们严格分析了Petsiuk等人提出的曲线（IAUC）指标下曲线（DAUC）和插入区域下的缺失区域。 （2018）。这些指标旨在评估通过Grad-CAM或Rise等通用方法产生的显着图的忠诚。首先，我们表明，由于仅考虑了分数的排名，因此忽略了显着性图的实际显着性分数值。这表明这些指标本身不足，因为显着图的视觉外观可能会发生很大变化，而无需修改分数的排名。其次，我们认为在DAUC和IAUC的计算过程中，该模型被呈现出来自训练分布的图像，这些图像可能导致所解释的模型的不可靠行为。为了补充DAUC/IAUC，我们提出了量化解释方法的稀疏性和校准的新指标，这是两个以前未研究的特性。最后，我们对本文研究的指标进行了一般性评论，并讨论了如何在用户研究中评估它们。

Explainability has been widely stated as a cornerstone of the responsible and trustworthy use of machine learning models. With the ubiquitous use of Deep Neural Network (DNN) models expanding to risk-sensitive and safety-critical domains, many methods have been proposed to explain the decisions of these models. Recent years have also seen concerted efforts that have shown how such explanations can be distorted (attacked) by minor input perturbations. While there have been many surveys that review explainability methods themselves, there has been no effort hitherto to assimilate the different methods and metrics proposed to study the robustness of explanations of DNN models. In this work, we present a comprehensive survey of methods that study, understand, attack, and defend explanations of DNN models. We also present a detailed review of different metrics used to evaluate explanation methods, as well as describe attributional attack and defense methods. We conclude with lessons and take-aways for the community towards ensuring robust explanations of DNN model predictions.

本文提出了一种基于Hilbert-Schmidt独立标准（HSIC）的新有效的黑盒归因方法，这是一种基于再现核Hilbert Spaces（RKHS）的依赖度量。 HSIC测量了基于分布的内核的输入图像区域之间的依赖性和模型的输出。因此，它提供了由RKHS表示功能丰富的解释。可以非常有效地估计HSIC，与其他黑盒归因方法相比，大大降低了计算成本。我们的实验表明，HSIC的速度比以前的最佳黑盒归因方法快8倍，同时忠实。确实，我们改进或匹配了黑盒和白框归因方法的最新方法，用于具有各种最近的模型体系结构的Imagenet上的几个保真度指标。重要的是，我们表明这些进步可以被转化为有效而忠实地解释诸如Yolov4之类的对象检测模型。最后，我们通过提出一种新的内核来扩展传统的归因方法，从而实现基于HSIC的重要性分数的正交分解，从而使我们不仅可以评估每个图像贴片的重要性，还可以评估其成对相互作用的重要性。

已经提出了一种夸张的方法来解释深度神经网络如何达到他们的决策，但相比之下，已经做出了很少的努力，以确保这些方法产生的解释是客观相关的。虽然制定了一些可信赖的解释的若干理想的性质，但客观措施越来越难以得出。在这里，我们提出了两项​​新措施来评估从算法稳定性领域借来的解释：意味着普通象征性和相对一致性的重读。我们对不同的网络架构，常见解释性方法和几个图像数据集进行广泛的实验，以证明提出措施的好处。与我们的策略相比，流行的保真度措施不足以保证值得信赖的解释。最后，我们发现1-Lipschitz网络在达到类似的准确度的同时，具有比普通神经网络更高的象征和重新遗传的解释。这表明1-lipschitz网络是朝着更可解释和值得信赖的预测器的相关方向。

卷积神经网络（CNN）以其出色的功能提取能力而闻名，可以从数据中学习模型，但被用作黑匣子。对卷积滤液和相关特征的解释可以帮助建立对CNN的理解，以区分各种类别。在这项工作中，我们关注的是CNN模型的解释性，称为CNNexplain，该模型用于COVID-19和非CoVID-19分类，重点是卷积过滤器的特征解释性，以及这些功能如何有助于分类。具体而言，我们使用了各种可解释的人工智能（XAI）方法，例如可视化，SmoothGrad，Grad-Cam和Lime来提供卷积滤液的解释及相关特征及其在分类中的作用。我们已经分析了使用干咳嗽光谱图的这些方法的解释。从石灰，光滑果实和GRAD-CAM获得的解释结果突出了不同频谱图的重要特征及其与分类的相关性。

我们描述了一种新颖的归因方法，它基于敏感性分析并使用Sobol指数。除了模拟图像区域的个人贡献之外，索尔索尔指标提供了一种有效的方法来通过方差镜头捕获图像区域与其对神经网络的预测的贡献之间的高阶相互作用。我们描述了一种通过使用扰动掩模与有效估计器耦合的扰动掩模来计算用于高维问题的这些指标的方法，以处理图像的高维度。重要的是，我们表明，与其他黑盒方法相比，该方法对视觉（和语言模型）的标准基准测试的标准基准有利地导致了有利的分数 - 甚至超过最先进的白色的准确性 - 需要访问内部表示的箱方法。我们的代码是免费的：https://github.com/fel-thomas/sobol-attribution-method

卷积神经网络（CNN）成为计算机视觉最受欢迎和最突出的深度学习体系结构之一，但其黑匣子功能隐藏了内部预测过程。因此，AI从业者阐明了可解释的AI，以提供模型行为的解释性。特别是，基于类的激活图（CAM）和基于GRAD-CAM的方法已显示出希望结果，但它们具有架构限制或梯度计算负担。为了解决这些问题，已建议将得分摄像机作为一种无梯度方法，但是，与基于CAM或GRAD-CAM的方法相比，它需要更多的执行时间。因此，我们通过空间掩盖提取的特征图来利用激活图和网络输出之间的相关性，提出了一个轻巧的体系结构和无梯度的互惠凸轮（配克CAM）。通过提出的方法，与平均跌落 - 相干 - 复杂性（ADCC）度量相比，Resnet家族中的1：78-3：72％的收益不包括VGG-16（1：39％）（1：39％） ）。此外，配置摄像头表现出与Grad-CAM相似的显着性图生成速率，并且比Score-CAM快于148倍。

深神经网络（DNN）的黑盒性质严重阻碍了其在特定场景中的性能改善和应用。近年来，基于类激活映射的方法已被广泛用于解释计算机视觉任务中模型的内部决策。但是，当此方法使用反向传播获得梯度时，它将在显着图中引起噪声，甚至找到与决策无关的特征。在本文中，我们提出了一个基于绝对价值类激活映射（ABS-CAM）方法，该方法优化了从反向传播中得出的梯度，并将所有这些梯度变成正梯度，以增强输出神经元激活的视觉特征，并改善。显着图的本地化能力。 ABS-CAM的框架分为两个阶段：生成初始显着性图并生成最终显着图。第一阶段通过优化梯度来提高显着性图的定位能力，第二阶段将初始显着性图与原始图像线性结合在一起，以增强显着性图的语义信息。我们对拟议方法进行定性和定量评估，包括删除，插入和指向游戏。实验结果表明，ABS-CAM显然可以消除显着性图中的噪声，并且可以更好地定位与决策相关的功能，并且优于以前的识别和定位任务中的方法。

We propose a technique for producing 'visual explanations' for decisions from a large class of Convolutional Neural Network (CNN)-based models, making them more transparent and explainable.Our approach -Gradient-weighted Class Activation Mapping (Grad-CAM), uses the gradients of any target concept (say 'dog' in a classification network or a sequence of words in captioning network) flowing into the final convolutional layer to produce a coarse localization map highlighting the important regions in the image for predicting the concept.Unlike previous approaches, Grad-CAM is applicable to a wide variety of CNN model-families: (1) CNNs with fullyconnected layers (e.g. VGG), (2) CNNs used for structured outputs (e.g. captioning), (3) CNNs used in tasks with multimodal inputs (e.g. visual question answering) or reinforcement learning, all without architectural changes or re-training. We combine Grad-CAM with existing fine-grained visualizations to create a high-resolution class-discriminative vi-

类激活图（CAM）已被广泛研究，用于视觉解释卷积神经网络的内部工作机理。现有基于CAM的方法的关键是计算有效的权重以在目标卷积层中结合激活图。现有的基于梯度和得分的加权方案在确保CAM的可区分性或忠诚度方面表现出了优越性，但它们通常在这两种属性中都无法表现出色。在本文中，我们提出了一种名为FD-CAM的新型CAM加权方案，以提高基于CAM的CNN视觉解释的忠诚和可区分性。首先，我们通过执行分组的通道切换操作来提高基于分数的权重的忠诚和可区分性。具体而言，对于每个通道，我们计算其相似性组，并同时打开或关闭一组通道以计算类预测评分的变化为权重。然后，我们将改进的基于得分的权重与常规梯度的权重相结合，以便可以进一步提高最终CAM的可区分性。我们与最新的CAM算法进行了广泛的比较。定量和定性的结果表明，我们的FD-CAM可以对CNN产生更忠实，更具歧视性的视觉解释。我们还进行实验，以验证提出的分组通道切换和重量组合方案在改善结果方面的有效性。我们的代码可在https://github.com/crishhhhh1998/fd-cam上找到。

无法解释的黑框模型创建场景，使异常引起有害响应，从而造成不可接受的风险。这些风险促使可解释的人工智能（XAI）领域通过评估黑盒神经网络中的局部解释性来改善信任。不幸的是，基本真理对于模型的决定不可用，因此评估仅限于定性评估。此外，可解释性可能导致有关模型或错误信任感的不准确结论。我们建议通过探索Black-Box模型的潜在特征空间来从用户信任的有利位置提高XAI。我们提出了一种使用典型的几弹网络的Protoshotxai方法，该方法探索了不同类别的非线性特征之间的对比歧管。用户通过扰动查询示例的输入功能并记录任何类的示例子集的响应来探索多种多样。我们的方法是第一个可以将其扩展到很少的网络的本地解释的XAI模型。我们将ProtoShotxai与MNIST，Omniglot和Imagenet的最新XAI方法进行了比较，以进行定量和定性，Protoshotxai为模型探索提供了更大的灵活性。最后，Protoshotxai还展示了对抗样品的新颖解释和检测。

该属性方法通过识别和可视化占据网络输出的输入区域/像素来提供用于以可视化方式解释不透明神经网络的方向。关于视觉上解释视频理解网络的归因方法，由于视频输入中存在的独特的时空依赖性以及视频理解网络的特殊3D卷积或经常性结构，它具有具有挑战性。然而，大多数现有的归因方法专注于解释拍摄单个图像的网络作为输入，并且少量设计用于视频归属的作品来处理视频理解网络的多样化结构。在本文中，我们调查了与多样化视频理解网络兼容的基于通用扰动的归因方法。此外，我们提出了一种新的正则化术语来增强方法，通过限制其归属的平滑度导致空间和时间维度。为了评估不同视频归因方法的有效性而不依赖于手动判断，我们引入了通过新提出的可靠性测量检查的可靠的客观度量。我们通过主观和客观评估和与多种重要归因方法进行比较验证了我们的方法的有效性。