在许多应用中，必须了解机器学习模型使其做出决定的原因是必不可少的，但这受到最先进的神经网络的黑匣子性质的抑制。因此，由于在深度学习中，增加了越来越长的关注，包括在视频理解领域。由于视频数据的时间维度，解释视频动作识别模型的主要挑战是产生时尚常规一致的视觉解释，这在现有文献中被忽略。在本文中，我们提出了基于频率的极值扰动（F-EP）来解释视频了解模型的决策。因为扰动方法给出的解释是在空间和时间上的噪声和非光滑的，所以我们建议用具有离散余弦变换（DCT）的神经网络模型来调制梯度图的频率。我们在一系列实验中展示了F-EP提供了更加不稳定的始终如一的解释，与现有的最先进的方法相比，更忠实地代表模型的决定。

该属性方法通过识别和可视化占据网络输出的输入区域/像素来提供用于以可视化方式解释不透明神经网络的方向。关于视觉上解释视频理解网络的归因方法，由于视频输入中存在的独特的时空依赖性以及视频理解网络的特殊3D卷积或经常性结构，它具有具有挑战性。然而，大多数现有的归因方法专注于解释拍摄单个图像的网络作为输入，并且少量设计用于视频归属的作品来处理视频理解网络的多样化结构。在本文中，我们调查了与多样化视频理解网络兼容的基于通用扰动的归因方法。此外，我们提出了一种新的正则化术语来增强方法，通过限制其归属的平滑度导致空间和时间维度。为了评估不同视频归因方法的有效性而不依赖于手动判断，我们引入了通过新提出的可靠性测量检查的可靠的客观度量。我们通过主观和客观评估和与多种重要归因方法进行比较验证了我们的方法的有效性。

Recently, increasing attention has been drawn to the internal mechanisms of convolutional neural networks, and the reason why the network makes specific decisions. In this paper, we develop a novel post-hoc visual explanation method called Score-CAM based on class activation mapping. Unlike previous class activation mapping based approaches, Score-CAM gets rid of the dependence on gradients by obtaining the weight of each activation map through its forward passing score on target class, the final result is obtained by a linear combination of weights and activation maps. We demonstrate that Score-CAM achieves better visual performance and fairness for interpreting the decision making process. Our approach outperforms previous methods on both recognition and localization tasks, it also passes the sanity check. We also indicate its application as debugging tools. The implementation is available 1 .

Deep neural networks are being used increasingly to automate data analysis and decision making, yet their decision-making process is largely unclear and is difficult to explain to the end users. In this paper, we address the problem of Explainable AI for deep neural networks that take images as input and output a class probability. We propose an approach called RISE that generates an importance map indicating how salient each pixel is for the model's prediction. In contrast to white-box approaches that estimate pixel importance using gradients or other internal network state, RISE works on blackbox models. It estimates importance empirically by probing the model with randomly masked versions of the input image and obtaining the corresponding outputs. We compare our approach to state-of-the-art importance extraction methods using both an automatic deletion/insertion metric and a pointing metric based on human-annotated object segments. Extensive experiments on several benchmark datasets show that our approach matches or exceeds the performance of other methods, including white-box approaches.

随着深度神经网络的兴起，解释这些网络预测的挑战已经越来越识别。虽然存在许多用于解释深度神经网络的决策的方法，但目前没有关于如何评估它们的共识。另一方面，鲁棒性是深度学习研究的热门话题;但是，在最近，几乎没有谈论解释性。在本教程中，我们首先呈现基于梯度的可解释性方法。这些技术使用梯度信号来分配对输入特征的决定的负担。后来，我们讨论如何为其鲁棒性和对抗性的鲁棒性在具有有意义的解释中扮演的作用来评估基于梯度的方法。我们还讨论了基于梯度的方法的局限性。最后，我们提出了在选择解释性方法之前应检查的最佳实践和属性。我们结束了未来在稳健性和解释性融合的地区研究的研究。

本文提出了一种通过视觉解释3D卷积神经网络（CNN）的决策过程的方法，并具有闭塞灵敏度分析的时间扩展。这里的关键思想是在输入3D时间空间数据空间中通过3D掩码遮住特定的数据，然后测量输出评分中的变更程度。产生较大变化程度的遮挡体积数据被认为是分类的更关键元素。但是，虽然通常使用遮挡敏感性分析来分析单个图像分类，但将此想法应用于视频分类并不是那么简单，因为简单的固定核心无法处理动作。为此，我们将3D遮挡掩模的形状调整为目标对象的复杂运动。通过考虑从输入视频数据中提取的光流的时间连续性和空间共存在，我们的灵活面膜适应性进行了。我们进一步建议通过使用分数的一阶部分导数相对于输入图像来降低其计算成本，以近似我们的方法。我们通过与删除/插入度量的常规方法和UCF-101上的指向度量来证明我们方法的有效性。该代码可在以下网址获得：https：//github.com/uchiyama33/aosa。

深神经网络（DNN）的黑盒性质严重阻碍了其在特定场景中的性能改善和应用。近年来，基于类激活映射的方法已被广泛用于解释计算机视觉任务中模型的内部决策。但是，当此方法使用反向传播获得梯度时，它将在显着图中引起噪声，甚至找到与决策无关的特征。在本文中，我们提出了一个基于绝对价值类激活映射（ABS-CAM）方法，该方法优化了从反向传播中得出的梯度，并将所有这些梯度变成正梯度，以增强输出神经元激活的视觉特征，并改善。显着图的本地化能力。 ABS-CAM的框架分为两个阶段：生成初始显着性图并生成最终显着图。第一阶段通过优化梯度来提高显着性图的定位能力，第二阶段将初始显着性图与原始图像线性结合在一起，以增强显着性图的语义信息。我们对拟议方法进行定性和定量评估，包括删除，插入和指向游戏。实验结果表明，ABS-CAM显然可以消除显着性图中的噪声，并且可以更好地定位与决策相关的功能，并且优于以前的识别和定位任务中的方法。

近年来，可解释的人工智能（XAI）已成为一个非常适合的框架，可以生成人类对“黑盒”模型的可理解解释。在本文中，一种新颖的XAI视觉解释算法称为相似性差异和唯一性（SIDU）方法，该方法可以有效地定位负责预测的整个对象区域。通过各种计算和人类主题实验分析了SIDU算法的鲁棒性和有效性。特别是，使用三种不同类型的评估（应用，人类和功能地面）评估SIDU算法以证明其出色的性能。在对“黑匣子”模型的对抗性攻击的情况下，进一步研究了Sidu的鲁棒性，以更好地了解其性能。我们的代码可在：https：//github.com/satyamahesh84/sidu_xai_code上找到。

自我监督的视觉学习彻底改变了深度学习，成为域中的下一个重大挑战，并通过大型计算机视觉基准的监督方法迅速缩小了差距。随着当前的模型和培训数据成倍增长，解释和理解这些模型变得关键。我们研究了视力任务的自我监督学习领域中可解释的人工智能的问题，并提出了了解经过自学训练的网络及其内部工作的方法。鉴于自我监督的视觉借口任务的巨大多样性，我们缩小了对理解范式的关注，这些范式从同一图像的两种观点中学习，主要是旨在了解借口任务。我们的工作重点是解释相似性学习，并且很容易扩展到所有其他借口任务。我们研究了两个流行的自我监督视觉模型：Simclr和Barlow Twins。我们总共开发了六种可视化和理解这些模型的方法：基于扰动的方法（条件闭塞，上下文无形的条件闭塞和成对的闭塞），相互作用-CAM，特征可视化，模型差异可视化，平均变换和像素无形。最后，我们通过将涉及单个图像的监督图像分类系统量身定制的众所周知的评估指标来评估这些解释，并将其涉及两个图像的自我监督学习领域。代码为：https：//github.com/fawazsammani/xai-ssl

由于机器学习算法越来越多地应用于高影响的高风险任务，例如医学诊断或自主驾驶，研究人员可以解释这些算法如何到达他们的预测是至关重要的。近年来，已经开发了许多图像显着性方法，总结了在图像中高度复杂的神经网络“看”以获得其预测的证据。然而，这些技术受到他们启发式性质和建筑限制的限制。在本文中，我们提出了两个主要贡献：首先，我们提出了一般框架，用于学习任何黑盒算法的不同类型的解释。其次，我们专注于框架，找到最负责分类器决定的图像的一部分。与以前的作品不同，我们的方法是模型 - 不可知和可测试的，因为它是在明确和可解释的图像扰动中的基础。

本文的目的是评估图像分类任务的解释热图的质量。为了评估解释性方法的质量，我们通过准确性和稳定性的角度来处理任务。在这项工作中，我们做出以下贡献。首先，我们介绍了加权游戏，该游戏衡量了正确的类“分割掩码中包含的类别引导的解释”。其次，我们使用缩放/平移变换引入了用于解释稳定性的度量，以测量具有相似内容的显着性图之间的差异。使用这些新指标生产定量实验，以评估常用CAM方法提供的解释质量。解释的质量在不同的模型体系结构之间也形成了鲜明对比，发现突出了选择在选择解释性方法时考虑模型体系结构的必要性。

We propose a technique for producing 'visual explanations' for decisions from a large class of Convolutional Neural Network (CNN)-based models, making them more transparent and explainable.Our approach -Gradient-weighted Class Activation Mapping (Grad-CAM), uses the gradients of any target concept (say 'dog' in a classification network or a sequence of words in captioning network) flowing into the final convolutional layer to produce a coarse localization map highlighting the important regions in the image for predicting the concept.Unlike previous approaches, Grad-CAM is applicable to a wide variety of CNN model-families: (1) CNNs with fullyconnected layers (e.g. VGG), (2) CNNs used for structured outputs (e.g. captioning), (3) CNNs used in tasks with multimodal inputs (e.g. visual question answering) or reinforcement learning, all without architectural changes or re-training. We combine Grad-CAM with existing fine-grained visualizations to create a high-resolution class-discriminative vi-

类激活图（CAM）已被广泛研究，用于视觉解释卷积神经网络的内部工作机理。现有基于CAM的方法的关键是计算有效的权重以在目标卷积层中结合激活图。现有的基于梯度和得分的加权方案在确保CAM的可区分性或忠诚度方面表现出了优越性，但它们通常在这两种属性中都无法表现出色。在本文中，我们提出了一种名为FD-CAM的新型CAM加权方案，以提高基于CAM的CNN视觉解释的忠诚和可区分性。首先，我们通过执行分组的通道切换操作来提高基于分数的权重的忠诚和可区分性。具体而言，对于每个通道，我们计算其相似性组，并同时打开或关闭一组通道以计算类预测评分的变化为权重。然后，我们将改进的基于得分的权重与常规梯度的权重相结合，以便可以进一步提高最终CAM的可区分性。我们与最新的CAM算法进行了广泛的比较。定量和定性的结果表明，我们的FD-CAM可以对CNN产生更忠实，更具歧视性的视觉解释。我们还进行实验，以验证提出的分组通道切换和重量组合方案在改善结果方面的有效性。我们的代码可在https://github.com/crishhhhh1998/fd-cam上找到。

3D卷积神经网络（3D CNN）在诸如视频序列之类的3D数据中捕获空间和时间信息。然而，由于卷积和汇集机制，信息损失似乎是不可避免的。为了改善3D CNN的视觉解释和分类，我们提出了两种方法; i）使用培训的3dresnext网络聚合到本地（全局 - 本地）离散梯度的层面全局，II）实施注意门控网络以提高动作识别的准确性。拟议的方法打算通过视觉归因，弱监督行动本地化和行动识别，显示各层在3D CNN中被称为全球局部关注的有用性。首先，使用关于最大预测类的BackPropagation培训3dresnext培训并应用于动作分类。然后将每层的梯度和激活取样。稍后，聚合用于产生更细致的注意力，指出了预测类输入视频的最关键部分。我们使用最终关注的轮廓阈值为最终的本地化。我们使用3DCAM使用细粒度的视觉解释来评估修剪视频中的空间和时间动作定位。实验结果表明，该拟议方法产生了丰富的视觉解释和歧视性的关注。此外，通过每个层上的注意栅格的动作识别产生比基线模型更好的分类结果。

Saliency methods compute heat maps that highlight portions of an input that were most {\em important} for the label assigned to it by a deep net. Evaluations of saliency methods convert this heat map into a new {\em masked input} by retaining the $k$ highest-ranked pixels of the original input and replacing the rest with \textquotedblleft uninformative\textquotedblright\ pixels, and checking if the net's output is mostly unchanged. This is usually seen as an {\em explanation} of the output, but the current paper highlights reasons why this inference of causality may be suspect. Inspired by logic concepts of {\em completeness \& soundness}, it observes that the above type of evaluation focuses on completeness of the explanation, but ignores soundness. New evaluation metrics are introduced to capture both notions, while staying in an {\em intrinsic} framework -- i.e., using the dataset and the net, but no separately trained nets, human evaluations, etc. A simple saliency method is described that matches or outperforms prior methods in the evaluations. Experiments also suggest new intrinsic justifications, based on soundness, for popular heuristic tricks such as TV regularization and upsampling.

Despite the popularity of Vision Transformers (ViTs) and eXplainable AI (XAI), only a few explanation methods have been proposed for ViTs thus far. They use attention weights of the classification token on patch embeddings and often produce unsatisfactory saliency maps. In this paper, we propose a novel method for explaining ViTs called ViT-CX. It is based on patch embeddings, rather than attentions paid to them, and their causal impacts on the model output. ViT-CX can be used to explain different ViT models. Empirical results show that, in comparison with previous methods, ViT-CX produces more meaningful saliency maps and does a better job at revealing all the important evidence for prediction. It is also significantly more faithful to the model as measured by deletion AUC and insertion AUC.

交通事故预期是自动化驾驶系统（广告）提供安全保证的驾驶体验的重要功能。事故预期模型旨在在发生之前及时准确地预测事故。现有的人工智能（AI）意外预期模型缺乏对其决策的人类可意识形态的解释。虽然这些模型表现良好，但它们仍然是广告用户的黑匣子，因此难以获得他们的信任。为此，本文介绍了一个门控复发单位（GRU）网络，用于了解从Dashcam视频数据的交通事故的早期期间的时空关系特征。名为Grad-CAM的后HOC关注机制被集成到网络中，以产生显着图作为事故预期决策的视觉解释。眼跟踪器捕获人眼固定点以产生人类注意图。与人类注意图相比，评估网络生成的显着性图的解释性。在公共崩溃数据集上的定性和定量结果证实，建议的可解释网络可以平均预期事故，然后在发生之前的4.57秒，平均精度为94.02％。此外，评估各种基于HOC的基于后关注的XAI方法。它证实了本研究选择的渐变凸轮可以产生高质量的人类可解释的显着性图（具有1.23标准化的扫描路径显着性），以解释碰撞预期决定。重要的是，结果证实，拟议的AI模型，具有人类灵感设计，可以在事故期内超越人类。

由于其灵活性和适应性，深度学习已成为技术和业务领域的一定大小的解决方案。它是使用不透明模型实施的，不幸的是，这破坏了结果的可信度。为了更好地了解系统的行为，尤其是由时间序列驱动的系统的行为，在深度学习模型中，所谓的可解释的人工智能（XAI）方法是重要的。时间序列数据有两种主要类型的XAI类型，即模型不可屈服和特定于模型。在这项工作中考虑了模型特定的方法。尽管其他方法采用了类激活映射（CAM）或注意机制，但我们将两种策略合并为单个系统，简称为时间加权的时空可解释的多元时间序列（TSEM）。 TSEM结合了RNN和CNN模型的功能，使RNN隐藏单元被用作CNN具有暂时轴的注意力权重。结果表明TSEM优于XCM。就准确性而言，它与Stam相似，同时还满足了许多解释性标准，包括因果关系，忠诚度和时空性。

In this work we develop a fast saliency detection method that can be applied to any differentiable image classifier. We train a masking model to manipulate the scores of the classifier by masking salient parts of the input image. Our model generalises well to unseen images and requires a single forward pass to perform saliency detection, therefore suitable for use in real-time systems. We test our approach on CIFAR-10 and ImageNet datasets and show that the produced saliency maps are easily interpretable, sharp, and free of artifacts. We suggest a new metric for saliency and test our method on the ImageNet object localisation task. We achieve results outperforming other weakly supervised methods.

深层神经网络以其对各种机器学习和人工智能任务的精湛处理而闻名。但是，由于其过度参数化的黑盒性质，通常很难理解深层模型的预测结果。近年来，已经提出了许多解释工具来解释或揭示模型如何做出决策。在本文中，我们回顾了这一研究，并尝试进行全面的调查。具体来说，我们首先介绍并阐明了人们通常会感到困惑的两个基本概念 - 解释和解释性。为了解决解释中的研究工作，我们通过提出新的分类法来阐述许多解释算法的设计。然后，为了了解解释结果，我们还调查了评估解释算法的性能指标。此外，我们总结了使用“可信赖”解释算法评估模型的解释性的当前工作。最后，我们审查并讨论了深层模型的解释与其他因素之间的联系，例如对抗性鲁棒性和从解释中学习，并介绍了一些开源库，以解释算法和评估方法。