深神经网络（DNN）的黑盒性质严重阻碍了其在特定场景中的性能改善和应用。近年来，基于类激活映射的方法已被广泛用于解释计算机视觉任务中模型的内部决策。但是，当此方法使用反向传播获得梯度时，它将在显着图中引起噪声，甚至找到与决策无关的特征。在本文中，我们提出了一个基于绝对价值类激活映射（ABS-CAM）方法，该方法优化了从反向传播中得出的梯度，并将所有这些梯度变成正梯度，以增强输出神经元激活的视觉特征，并改善。显着图的本地化能力。 ABS-CAM的框架分为两个阶段：生成初始显着性图并生成最终显着图。第一阶段通过优化梯度来提高显着性图的定位能力，第二阶段将初始显着性图与原始图像线性结合在一起，以增强显着性图的语义信息。我们对拟议方法进行定性和定量评估，包括删除，插入和指向游戏。实验结果表明，ABS-CAM显然可以消除显着性图中的噪声，并且可以更好地定位与决策相关的功能，并且优于以前的识别和定位任务中的方法。

Recently, increasing attention has been drawn to the internal mechanisms of convolutional neural networks, and the reason why the network makes specific decisions. In this paper, we develop a novel post-hoc visual explanation method called Score-CAM based on class activation mapping. Unlike previous class activation mapping based approaches, Score-CAM gets rid of the dependence on gradients by obtaining the weight of each activation map through its forward passing score on target class, the final result is obtained by a linear combination of weights and activation maps. We demonstrate that Score-CAM achieves better visual performance and fairness for interpreting the decision making process. Our approach outperforms previous methods on both recognition and localization tasks, it also passes the sanity check. We also indicate its application as debugging tools. The implementation is available 1 .

类激活图（CAM）已被广泛研究，用于视觉解释卷积神经网络的内部工作机理。现有基于CAM的方法的关键是计算有效的权重以在目标卷积层中结合激活图。现有的基于梯度和得分的加权方案在确保CAM的可区分性或忠诚度方面表现出了优越性，但它们通常在这两种属性中都无法表现出色。在本文中，我们提出了一种名为FD-CAM的新型CAM加权方案，以提高基于CAM的CNN视觉解释的忠诚和可区分性。首先，我们通过执行分组的通道切换操作来提高基于分数的权重的忠诚和可区分性。具体而言，对于每个通道，我们计算其相似性组，并同时打开或关闭一组通道以计算类预测评分的变化为权重。然后，我们将改进的基于得分的权重与常规梯度的权重相结合，以便可以进一步提高最终CAM的可区分性。我们与最新的CAM算法进行了广泛的比较。定量和定性的结果表明，我们的FD-CAM可以对CNN产生更忠实，更具歧视性的视觉解释。我们还进行实验，以验证提出的分组通道切换和重量组合方案在改善结果方面的有效性。我们的代码可在https://github.com/crishhhhh1998/fd-cam上找到。

解释深度卷积神经网络最近引起了人们的关注，因为它有助于了解网络的内部操作以及为什么它们做出某些决定。显着地图强调了与网络决策的主要连接的显着区域，是可视化和分析计算机视觉社区深层网络的最常见方法之一。但是，由于未经证实的激活图权重的建议，这些图像没有稳固的理论基础，并且未能考虑每个像素之间的关系，因此现有方法生成的显着图不能表示图像中的真实信息。在本文中，我们开发了一种基于类激活映射的新型事后视觉解释方法，称为Shap-Cam。与以前的基于梯度的方法不同，Shap-Cam通过通过Shapley值获得每个像素的重要性来摆脱对梯度的依赖。我们证明，Shap-Cam可以在解释决策过程中获得更好的视觉性能和公平性。我们的方法在识别和本地化任务方面的表现优于以前的方法。

在几个机器学习应用领域，包括可解释的AI和弱监督的对象检测和细分，高质量的显着性图至关重要。已经开发了许多技术来使用神经网络提高显着性。但是，它们通常仅限于特定的显着性可视化方法或显着性问题。我们提出了一种新型的显着性增强方法，称为SESS（通过缩放和滑动增强显着性）。这是对现有显着性图生成方法的方法和模型不可或缺的扩展。借助SESS，现有的显着性方法变得稳健，可在尺度差异，目标对象的多次出现，分散器的存在以及产生较少的嘈杂和更具歧视性显着性图。 SESS通过从不同区域的不同尺度上从多个斑块中提取的显着图来提高显着性，并使用新型的融合方案结合了这些单独的地图，该方案结合了通道的重量和空间加权平均值。为了提高效率，我们引入了一个预过滤步骤，该步骤可以排除非信息显着图以提高效率，同时仍提高整体结果。我们在对象识别和检测基准上评估SESS可以取得重大改进。该守则公开发布以使研究人员能够验证绩效和进一步发展。代码可用：https：//github.com/neouyghur/sess

Deep neural networks are being used increasingly to automate data analysis and decision making, yet their decision-making process is largely unclear and is difficult to explain to the end users. In this paper, we address the problem of Explainable AI for deep neural networks that take images as input and output a class probability. We propose an approach called RISE that generates an importance map indicating how salient each pixel is for the model's prediction. In contrast to white-box approaches that estimate pixel importance using gradients or other internal network state, RISE works on blackbox models. It estimates importance empirically by probing the model with randomly masked versions of the input image and obtaining the corresponding outputs. We compare our approach to state-of-the-art importance extraction methods using both an automatic deletion/insertion metric and a pointing metric based on human-annotated object segments. Extensive experiments on several benchmark datasets show that our approach matches or exceeds the performance of other methods, including white-box approaches.

卷积神经网络（CNN）成为计算机视觉最受欢迎和最突出的深度学习体系结构之一，但其黑匣子功能隐藏了内部预测过程。因此，AI从业者阐明了可解释的AI，以提供模型行为的解释性。特别是，基于类的激活图（CAM）和基于GRAD-CAM的方法已显示出希望结果，但它们具有架构限制或梯度计算负担。为了解决这些问题，已建议将得分摄像机作为一种无梯度方法，但是，与基于CAM或GRAD-CAM的方法相比，它需要更多的执行时间。因此，我们通过空间掩盖提取的特征图来利用激活图和网络输出之间的相关性，提出了一个轻巧的体系结构和无梯度的互惠凸轮（配克CAM）。通过提出的方法，与平均跌落 - 相干 - 复杂性（ADCC）度量相比，Resnet家族中的1：78-3：72％的收益不包括VGG-16（1：39％）（1：39％） ）。此外，配置摄像头表现出与Grad-CAM相似的显着性图生成速率，并且比Score-CAM快于148倍。

Despite the popularity of Vision Transformers (ViTs) and eXplainable AI (XAI), only a few explanation methods have been proposed for ViTs thus far. They use attention weights of the classification token on patch embeddings and often produce unsatisfactory saliency maps. In this paper, we propose a novel method for explaining ViTs called ViT-CX. It is based on patch embeddings, rather than attentions paid to them, and their causal impacts on the model output. ViT-CX can be used to explain different ViT models. Empirical results show that, in comparison with previous methods, ViT-CX produces more meaningful saliency maps and does a better job at revealing all the important evidence for prediction. It is also significantly more faithful to the model as measured by deletion AUC and insertion AUC.

神经网络的活跃区域查找告诉我们，在做出决定时，神经网络的重点是哪个区域，这为我们提供了可解释性的基础，当神经网络做出分类决策时。我们提出了一种算法多动态掩码（MDM），这是一种具有解释性的通用显着图查询方法。它的建议基于一个假设：当图像输入到已经训练的神经网络时，与分类有关的激活特征将影响神经网络的分类结果，并且与分类无关的特征几乎不会影响分类结果网络。 MDM：一种基于学习的端到端算法，用于查找神经网络分类感兴趣的区域。它具有以下优点：1。它具有推理过程的解释性。 2.它是通用的，可以用于任何神经网络，并且不取决于神经网络的内部结构。 3.搜索性能更好。由于该算法基于学习生成面具并具有适应不同数据和网络的能力，因此性能比上一篇论文中提出的方法更好。对于MDM显着图搜索算法，我们在实验上比较了各种显着性图搜索方法的性能指标和MDM的Resnet和Densenet作为训练有素的神经网络。 MDM的搜索效果性能达到了最新的状态。我们将MDM应用于可解释的神经网络Protopnet和Xprotonet，从而改善了模型的解释性和原型搜索性能。我们可视化卷积神经体系结构和变压器体系结构在显着图搜索中的性能。

该属性方法通过识别和可视化占据网络输出的输入区域/像素来提供用于以可视化方式解释不透明神经网络的方向。关于视觉上解释视频理解网络的归因方法，由于视频输入中存在的独特的时空依赖性以及视频理解网络的特殊3D卷积或经常性结构，它具有具有挑战性。然而，大多数现有的归因方法专注于解释拍摄单个图像的网络作为输入，并且少量设计用于视频归属的作品来处理视频理解网络的多样化结构。在本文中，我们调查了与多样化视频理解网络兼容的基于通用扰动的归因方法。此外，我们提出了一种新的正则化术语来增强方法，通过限制其归属的平滑度导致空间和时间维度。为了评估不同视频归因方法的有效性而不依赖于手动判断，我们引入了通过新提出的可靠性测量检查的可靠的客观度量。我们通过主观和客观评估和与多种重要归因方法进行比较验证了我们的方法的有效性。

近年来，可解释的人工智能（XAI）已成为一个非常适合的框架，可以生成人类对“黑盒”模型的可理解解释。在本文中，一种新颖的XAI视觉解释算法称为相似性差异和唯一性（SIDU）方法，该方法可以有效地定位负责预测的整个对象区域。通过各种计算和人类主题实验分析了SIDU算法的鲁棒性和有效性。特别是，使用三种不同类型的评估（应用，人类和功能地面）评估SIDU算法以证明其出色的性能。在对“黑匣子”模型的对抗性攻击的情况下，进一步研究了Sidu的鲁棒性，以更好地了解其性能。我们的代码可在：https：//github.com/satyamahesh84/sidu_xai_code上找到。

We propose a technique for producing 'visual explanations' for decisions from a large class of Convolutional Neural Network (CNN)-based models, making them more transparent and explainable.Our approach -Gradient-weighted Class Activation Mapping (Grad-CAM), uses the gradients of any target concept (say 'dog' in a classification network or a sequence of words in captioning network) flowing into the final convolutional layer to produce a coarse localization map highlighting the important regions in the image for predicting the concept.Unlike previous approaches, Grad-CAM is applicable to a wide variety of CNN model-families: (1) CNNs with fullyconnected layers (e.g. VGG), (2) CNNs used for structured outputs (e.g. captioning), (3) CNNs used in tasks with multimodal inputs (e.g. visual question answering) or reinforcement learning, all without architectural changes or re-training. We combine Grad-CAM with existing fine-grained visualizations to create a high-resolution class-discriminative vi-

随着深度神经网络的兴起，解释这些网络预测的挑战已经越来越识别。虽然存在许多用于解释深度神经网络的决策的方法，但目前没有关于如何评估它们的共识。另一方面，鲁棒性是深度学习研究的热门话题;但是，在最近，几乎没有谈论解释性。在本教程中，我们首先呈现基于梯度的可解释性方法。这些技术使用梯度信号来分配对输入特征的决定的负担。后来，我们讨论如何为其鲁棒性和对抗性的鲁棒性在具有有意义的解释中扮演的作用来评估基于梯度的方法。我们还讨论了基于梯度的方法的局限性。最后，我们提出了在选择解释性方法之前应检查的最佳实践和属性。我们结束了未来在稳健性和解释性融合的地区研究的研究。

本文提出了一种通过视觉解释3D卷积神经网络（CNN）的决策过程的方法，并具有闭塞灵敏度分析的时间扩展。这里的关键思想是在输入3D时间空间数据空间中通过3D掩码遮住特定的数据，然后测量输出评分中的变更程度。产生较大变化程度的遮挡体积数据被认为是分类的更关键元素。但是，虽然通常使用遮挡敏感性分析来分析单个图像分类，但将此想法应用于视频分类并不是那么简单，因为简单的固定核心无法处理动作。为此，我们将3D遮挡掩模的形状调整为目标对象的复杂运动。通过考虑从输入视频数据中提取的光流的时间连续性和空间共存在，我们的灵活面膜适应性进行了。我们进一步建议通过使用分数的一阶部分导数相对于输入图像来降低其计算成本，以近似我们的方法。我们通过与删除/插入度量的常规方法和UCF-101上的指向度量来证明我们方法的有效性。该代码可在以下网址获得：https：//github.com/uchiyama33/aosa。

由于其灵活性和适应性，深度学习已成为技术和业务领域的一定大小的解决方案。它是使用不透明模型实施的，不幸的是，这破坏了结果的可信度。为了更好地了解系统的行为，尤其是由时间序列驱动的系统的行为，在深度学习模型中，所谓的可解释的人工智能（XAI）方法是重要的。时间序列数据有两种主要类型的XAI类型，即模型不可屈服和特定于模型。在这项工作中考虑了模型特定的方法。尽管其他方法采用了类激活映射（CAM）或注意机制，但我们将两种策略合并为单个系统，简称为时间加权的时空可解释的多元时间序列（TSEM）。 TSEM结合了RNN和CNN模型的功能，使RNN隐藏单元被用作CNN具有暂时轴的注意力权重。结果表明TSEM优于XCM。就准确性而言，它与Stam相似，同时还满足了许多解释性标准，包括因果关系，忠诚度和时空性。

类激活图（CAM）有助于制定显着图，有助于解释深度神经网络的预测。基于梯度的方法通常比视力解释性的其他分支更快，并且独立于人类的指导。类似CAM的研究的性能取决于管理模型的层响应以及梯度的影响。典型的面向梯度的CAM研究依赖加权聚合来进行显着图估计，通过将梯度图投影到单权重值中，这可能导致过度的广义显着图。为了解决此问题，我们使用全球指导图来纠正显着性估计过程中加权聚合操作，在这种情况下，结果解释是相对干净的ER且特定于实例的。我们通过在特征图及其相应的梯度图之间执行元素乘法来获得全局引导图。为了验证我们的研究，我们将拟议的研究与八个不同的显着性可视化器进行了比较。此外，我们使用七个常用的评估指标进行定量比较。提出的方案比ImageNet，MS-Coco 14和Pascal VOC 2012数据集的测试图像取得了重大改进。

基于弱监管的像素 - 明显的密集预测任务当前使用类注意映射（CAM）以产生伪掩模作为地面真理。然而，现有方法通常取决于诱人的训练模块，这可能会引入磨削计算开销和复杂的培训程序。在这项工作中，提出了语义结构知识推断（SSA）来探索隐藏在基于CNN的网络的不同阶段的语义结构信息，以在模型推断中产生高质量凸轮。具体地，首先提出语义结构建模模块（SSM）来生成类别不可知语义相关表示，其中每个项目表示一个类别对象和所有其他类别之间的亲和程度。然后，探索结构化特征表示通过点产品操作来抛光不成熟的凸轮。最后，来自不同骨架级的抛光凸轮融合为输出。所提出的方法具有没有参数的优点，不需要培训。因此，它可以应用于广泛的弱监管像素 - 明智的密集预测任务。对弱势监督对象本地化和弱监督语义分割任务的实验结果证明了该方法的效力，这使得新的最先进的结果实现了这两项任务。

已经在生物大脑的皮层中观察到了侧向抑制连接，并且已经在其在认知功能中的作用进行了广泛的研究。但是，在深度学习中的香草版本反向传播中，所有梯度（可以理解为信号和噪声梯度）在重量更新过程中流过网络。这可能导致过度拟合。在这项工作中，受到生物横向抑制的启发，我们提出了梯度面膜，该面膜在反向传播过程中有效地滤除了噪声梯度。这使学习的功能信息可以更强烈地存储在网络中，同时滤除嘈杂或不重要的功能。此外，我们在分析上证明了人工神经网络中的横向抑制如何提高传播梯度的质量。提出了一个新的梯度质量标准，该标准可以用作训练各种卷积神经网络（CNN）的措施。最后，我们进行了几个不同的实验，以研究梯度掩模如何定量和定性地改善网络的性能。定量地，原始CNN体系结构的准确性，修剪后的准确性以及对抗攻击后的准确性已显示出改善。从定性上讲，使用梯度掩模训练的CNN开发了显着图，主要集中在感兴趣的对象上，这对于数据增强和网络解释性很有用。

最近，卷积神经网络（CNN）在分类任务中取得了良好的性能。众所周知，CNN被认为是“黑匣子”，这很难理解预测机制并调试错误的预测。开发了一些模型调试和解释工作，用于解决上述缺点。然而，这些方法专注于解释和诊断模型预测的可能原因，基于研究人员手动处理以下模型优化的模型预测。在本文中，我们提出了第一个完全自动模型诊断和治疗工具，称为模型医生。基于两个发现，每个类别只与稀疏和特定的卷积核相关，而2）在特征空间中逐次地隔离2）对逆势样本，设计了一个简单的聚合梯度约束，以便有效地诊断和优化CNN分类器。聚合渐变策略是用于主流CNN分类器的多功能模块。广泛的实验表明，拟议的模型医生适用于所有现有的CNN分类器，并提高16美元主流CNN分类器的准确性1％-5％。

Black-Box AI模型的广泛使用增加了对解释这些模型做出决定的算法和方法的需求。近年来，AI研究界对模型的解释性越来越感兴趣，因为Black-Box模型接管了越来越复杂和具有挑战性的任务。考虑到深度学习技术在广泛应用中的主导地位，包括但不限于计算机视觉，解释性变得至关重要。在理解深度学习模型的推理过程的指导下，已经开发了许多为人工智能模型决策提供人类可理解证据的方法，因为绝大多数人都依靠他们的操作来访问这些模型的内部体系结构和参数（例如，神经网络的权重）。我们提出了一种模型 - 不足的方法，用于生成仅访问模型输出的显着性图，并且不需要其他信息，例如梯度。我们使用差分进化（DE）来确定哪些图像像素在模型的决策过程中最有影响力，并产生类激活图（CAM），其质量与使用模型特异性算法创建的CAM质量相当。 DE-CAM可以实现良好的性能，而无需以更高的计算复杂性来访问模型体系结构的内部细节。