许多过去的作品旨在通过监督特征重要性（通过模型解释技术估算）通过人类注释（例如重要图像区域的亮点）来改善模型中的视觉推理。但是，最近的工作表明，即使在随机的监督下，对视觉问题答案（VQA）任务的特征重要性（FI）监督的绩效收益也会持续下去，这表明这些方法不会有意义地将模型FI与人类FI保持一致。在本文中，我们表明模型FI监督可以有意义地提高VQA模型的准确性，并通过优化四个关键模型目标来提高几个正确的右季节（RRR）指标的性能：（1）给出的准确预测有限。但是足够的信息（足够）； （2）没有重要信息（不确定性）的最大 - 凝集预测； （3）预测不重要的特征变化（不变性）的不变性； （4）模型FI解释与人类FI解释（合理性）之间的对齐。我们的最佳性能方法，视觉功能重要性监督（Visfis），就分布和分布的精度而言，在基准VQA数据集上优于基准VQA数据集的强大基准。尽管过去的工作表明，提高准确性的机制是通过改善解释的合理性，但我们表明这种关系取决于忠诚的解释（解释是否真的代表了模型的内部推理）。当解释是合理的和忠实的，而不是当它们是合理而不是忠实的时候，预测更为准确。最后，我们表明，令人惊讶的是，在控制模型的分布精度时，RRR指标不能预测分布模型的准确性，这使这些指标的价值质疑评估模型推理的价值。所有支持代码均可在https://github.com/zfying/disfis上获得

As the societal impact of Deep Neural Networks (DNNs) grows, the goals for advancing DNNs become more complex and diverse, ranging from improving a conventional model accuracy metric to infusing advanced human virtues such as fairness, accountability, transparency (FaccT), and unbiasedness. Recently, techniques in Explainable Artificial Intelligence (XAI) are attracting considerable attention, and have tremendously helped Machine Learning (ML) engineers in understanding AI models. However, at the same time, we started to witness the emerging need beyond XAI among AI communities; based on the insights learned from XAI, how can we better empower ML engineers in steering their DNNs so that the model's reasonableness and performance can be improved as intended? This article provides a timely and extensive literature overview of the field Explanation-Guided Learning (EGL), a domain of techniques that steer the DNNs' reasoning process by adding regularization, supervision, or intervention on model explanations. In doing so, we first provide a formal definition of EGL and its general learning paradigm. Secondly, an overview of the key factors for EGL evaluation, as well as summarization and categorization of existing evaluation procedures and metrics for EGL are provided. Finally, the current and potential future application areas and directions of EGL are discussed, and an extensive experimental study is presented aiming at providing comprehensive comparative studies among existing EGL models in various popular application domains, such as Computer Vision (CV) and Natural Language Processing (NLP) domains.

视觉问题的视觉关注在视觉问题上应答（VQA）目标在定位有关答案预测的右图像区域，提供强大的技术来促进多模态理解。然而，最近的研究指出，来自视觉关注的突出显示的图像区域通常与给定的问题和答案无关，导致模型混淆正确的视觉推理。为了解决这个问题，现有方法主要是为了对准人类关注的视觉注意力。尽管如此，收集这种人类数据是费力且昂贵的，使其在数据集中调整良好开发的模型。为了解决这个问题，在本文中，我们设计了一种新的视觉关注正规化方法，即attreg，以便在VQA中更好地视觉接地。具体而言，attraT首先识别了由骨干模型出乎意料地忽略（即，分配低注意重量）的问题所必需的图像区域。然后，利用掩模引导的学习方案来规范视觉注意力，以便更多地关注这些忽略的关键区域。所提出的方法是非常灵活的，模型不可知，可以集成到基于大多数基于视觉关注的VQA模型中，并且不需要人类注意监督。已经进行了三个基准数据集，即VQA-CP V2，VQA-CP V1和VQA V2的广泛实验，以评估attreg的有效性。作为副产品，将Attreg纳入强基线LMH时，我们的方法可以实现新的最先进的准确性为60.00％，在VQA-CP V2基准数据集上绝对性能增益为7.01％。 。

众所周知，端到端的神经NLP体系结构很难理解，这引起了近年来为解释性建模的许多努力。模型解释的基本原则是忠诚，即，解释应准确地代表模型预测背后的推理过程。这项调查首先讨论了忠诚的定义和评估及其对解释性的意义。然后，我们通过将方法分为五类来介绍忠实解释的最新进展：相似性方法，模型内部结构的分析，基于反向传播的方法，反事实干预和自我解释模型。每个类别将通过其代表性研究，优势和缺点来说明。最后，我们从它们的共同美德和局限性方面讨论了上述所有方法，并反思未来的工作方向忠实的解释性。对于有兴趣研究可解释性的研究人员，这项调查将为该领域提供可访问且全面的概述，为进一步探索提供基础。对于希望更好地了解自己的模型的用户，该调查将是一项介绍性手册，帮助选择最合适的解释方法。

Explainability has been widely stated as a cornerstone of the responsible and trustworthy use of machine learning models. With the ubiquitous use of Deep Neural Network (DNN) models expanding to risk-sensitive and safety-critical domains, many methods have been proposed to explain the decisions of these models. Recent years have also seen concerted efforts that have shown how such explanations can be distorted (attacked) by minor input perturbations. While there have been many surveys that review explainability methods themselves, there has been no effort hitherto to assimilate the different methods and metrics proposed to study the robustness of explanations of DNN models. In this work, we present a comprehensive survey of methods that study, understand, attack, and defend explanations of DNN models. We also present a detailed review of different metrics used to evaluate explanation methods, as well as describe attributional attack and defense methods. We conclude with lessons and take-aways for the community towards ensuring robust explanations of DNN model predictions.

机器学习已经急剧提高，在多模式任务中缩小了人类的准确性差距，例如视觉问题答案（VQA）。但是，尽管人类在不确定的时候可以说“我不知道”（即避免回答问题），但这种能力在多模式研究中被大大忽略了，尽管此问题对VQA的使用很重要，而VQA实际上使用了VQA。设置。在这项工作中，我们为可靠的VQA提出了一个问题制定，我们更喜欢弃权，而不是提供错误的答案。我们首先为多种VQA模型提供了弃戒功能，并分析了它们的覆盖范围，回答的问题的一部分和风险，该部分的错误。为此，我们探索了几种弃权方法。我们发现，尽管最佳性能模型在VQA V2数据集上实现了超过71％的准确性，但通过直接使用模型的SoftMax得分介绍了弃权的选项，限制了它们的少于8％的问题，以达到错误的错误风险（即1％）。这促使我们利用多模式选择功能直接估计预测答案的正确性，我们显示的可以将覆盖率增加，例如，在1％风险下，2.4倍从6.8％到16.3％。尽管分析覆盖范围和风险很重要，但这些指标具有权衡，这使得比较VQA模型具有挑战性。为了解决这个问题，我们还建议对VQA的有效可靠性指标，与弃权相比，将不正确的答案的成本更大。 VQA的这种新问题制定，度量和分析为构建有效和可靠的VQA模型提供了基础，这些模型具有自我意识，并且只有当他们不知道答案时才戒除。

Saliency methods compute heat maps that highlight portions of an input that were most {\em important} for the label assigned to it by a deep net. Evaluations of saliency methods convert this heat map into a new {\em masked input} by retaining the $k$ highest-ranked pixels of the original input and replacing the rest with \textquotedblleft uninformative\textquotedblright\ pixels, and checking if the net's output is mostly unchanged. This is usually seen as an {\em explanation} of the output, but the current paper highlights reasons why this inference of causality may be suspect. Inspired by logic concepts of {\em completeness \& soundness}, it observes that the above type of evaluation focuses on completeness of the explanation, but ignores soundness. New evaluation metrics are introduced to capture both notions, while staying in an {\em intrinsic} framework -- i.e., using the dataset and the net, but no separately trained nets, human evaluations, etc. A simple saliency method is described that matches or outperforms prior methods in the evaluations. Experiments also suggest new intrinsic justifications, based on soundness, for popular heuristic tricks such as TV regularization and upsampling.

可解释的人工智能（XAI）方法缺乏地面真理。代替方法，方法开发人员依靠公理来确定其解释行为的理想特性。对于需要解释性的机器学习的高利益使用，因此依靠公理作为实现或使用不足是不足以实现理想的。结果，对验证XAI方法的性能进行了积极的研究。在依赖XAI的域中，对验证的需求特别放大。一项消融研究，经常用于评估其效用并在某种程度上评估其效用的程序。通过在重要性等级顺序上扰动输入变量，目标是评估模型性能的敏感性。扰动重要变量应与模型能力度量的降低相关，而不是扰动不太重要的特征。尽管意图很明确，但实际实施细节尚未针对表格数据进行严格研究。使用五个数据集，三种XAI方法，四个基线和三个扰动，我们的目的是表明1）不同的扰动和添加简单的护栏如何有助于避免可能有缺陷的结论，2）分类变量的处理是如何在两个帖子中都重要的考虑因素。 - HOC解释性和消融研究，以及3）如何识别XAI方法的有用基准，以及用于消融研究的可行扰动。

Explainable artificial intelligence (XAI) is essential for enabling clinical users to get informed decision support from AI and comply with evidence-based medical practice. Applying XAI in clinical settings requires proper evaluation criteria to ensure the explanation technique is both technically sound and clinically useful, but specific support is lacking to achieve this goal. To bridge the research gap, we propose the Clinical XAI Guidelines that consist of five criteria a clinical XAI needs to be optimized for. The guidelines recommend choosing an explanation form based on Guideline 1 (G1) Understandability and G2 Clinical relevance. For the chosen explanation form, its specific XAI technique should be optimized for G3 Truthfulness, G4 Informative plausibility, and G5 Computational efficiency. Following the guidelines, we conducted a systematic evaluation on a novel problem of multi-modal medical image explanation with two clinical tasks, and proposed new evaluation metrics accordingly. Sixteen commonly-used heatmap XAI techniques were evaluated and found to be insufficient for clinical use due to their failure in G3 and G4. Our evaluation demonstrated the use of Clinical XAI Guidelines to support the design and evaluation of clinically viable XAI.

由于算法预测对人类的影响增加，模型解释性已成为机器学习（ML）的重要问题。解释不仅可以帮助用户了解为什么ML模型做出某些预测，还可以帮助用户了解这些预测如何更改。在本论文中，我们研究了从三个有利位置的ML模型的解释性：算法，用户和教学法，并为解释性问题贡献了一些新颖的解决方案。

多模型对现实世界应用的承诺激发了可视化和理解其内部力学的研究，其最终目标是使利益相关者能够可视化模型行为，执行模型调试并促进对机器学习模型的信任。但是，现代的多模型模型通常是黑盒神经网络，这使得了解其内部力学变得具有挑战性。我们如何能在这些模型中可视化多模式相互作用的内部建模？我们的论文旨在通过提出Multiviz来填补这一空白，这是一种通过将可解释性问题分为4个阶段来分析多模型模型行为的方法：（1）单峰的重要性：每种模式如何有助于下游建模和预测，（2）交叉交叉。 - 模式相互作用：不同模态如何相互关系，（3）多模式表示：如何在决策级特征中表示单峰和跨模式的交互作用，以及（4）多模式预测：决策级特征如何组成以制造一个预言。 Multiviz旨在在不同的模式，模型，任务和研究领域进行操作。通过对6个现实世界任务的8个训练模型的实验，我们表明，Multiviz中的互补阶段共同使用户能够（1）模拟模型预测，（2）将可解释的概念分配给功能，（3）对模型错误分析执行错误分析，（4）使用错误分析到调试模型的见解。 Multiviz公开可用，将定期使用新的解释工具和指标进行更新，并欢迎社区的意见。

变形金刚已成为计算机视觉中的默认架构，但是了解驱动其预测的原因仍然是一个具有挑战性的问题。当前的解释方法依赖于注意值或输入梯度，但是这些方法对模型的依赖性有限。Shapley值在理论上提供了一种替代方案，但是它们的计算成本使它们对于大型高维模型不切实际。在这项工作中，我们旨在使Shapley价值观对视觉变压器（VIT）实用。为此，我们首先利用一种注意力掩盖方法来评估VIT的部分信息，然后我们开发了一种通过单独的，学习的解释器模型来生成Shapley价值解释的程序。我们的实验将沙普利值与许多基线方法（例如，注意推出，Gradcam，LRP）进行了比较，我们发现我们的方法提供了比任何现有的VIT方法更准确的解释。

识别受机器学习模型决策影响的人算法追索的问题最近受到了很多关注。一些最近的作品模型用户产生的成本，直接与用户满意相关联。但他们假设在所有用户共享的单一全局成本函数。当用户对其对其愿意行动的愿意和与改变该功能相关的不同成本具有相似的偏好时，这是一个不切实际的假设。在这项工作中，我们正式化了用户特定成本函数的概念，并引入了一种用于用户识别可操作的辅助的新方法。默认情况下，我们假设用户的成本函数是从追索方法隐藏的，尽管我们的框架允许用户部分或完全指定其偏好或成本函数。我们提出了一个客观函数，预期的最低成本（EMC），基于两个关键的想法：（1）在向用户呈现一组选项时，用户可以采用至少一个低成本解决方案至关重要; （2）当我们不了解用户的真实成本函数时，我们可以通过首先采样合理的成本函数来满足用户满意度，然后找到一个达到用户在期望中的良好成本的集合。我们以新颖的离散优化算法优化EMC，成本优化的本地搜索（COL），保证可以在迭代中提高追索性质量​​。具有模拟用户成本的流行实际数据集的实验评估表明，与强基线方法相比，我们的方法多达25.89个百分点。使用标准公平度量，我们还表明，我们的方法可以在人口统计组中提供比较可比方法的更公平的解决方案，我们验证了我们的方法是否稳健地击败成本函数分布。

语言模型是否存在对世界的信念？ Dennett（1995年）着名的据称，即使是恒温器也有信仰，认为，信仰只是一种与任何动机国家分离的信息状态。在本文中，我们讨论了何时何时对世界的信仰何时对世界的信念进行检测，并且我们改进了更新模型信念的方法更加真实，重点是基于学习优化器或HyperNetwork的方法。我们的主要贡献包括：（1）评估信仰更新方法的新指标，重点关注信仰的逻辑一致性，（2）培训目标，用于顺序，本地和概括模型更新（渣），从而提高学习优化器的性能（3）介绍信仰图，这是一种新的界面，语言模型显示模型信仰之间的相互依赖性。我们的实验表明，模型只有有限的程度才具有相信的品质，但更新方法都可以修复不正确的模型信念，并大大提高了它们的一致性。虽然现成的优化器令人惊讶地强烈的信念更新基线，但我们所学的优化器可以在更困难的环境中赢得比过去的工作更困难。代码可在https://github.com/peterbhase/slag-belifapdating中获得

We propose a technique for producing 'visual explanations' for decisions from a large class of Convolutional Neural Network (CNN)-based models, making them more transparent and explainable.Our approach -Gradient-weighted Class Activation Mapping (Grad-CAM), uses the gradients of any target concept (say 'dog' in a classification network or a sequence of words in captioning network) flowing into the final convolutional layer to produce a coarse localization map highlighting the important regions in the image for predicting the concept.Unlike previous approaches, Grad-CAM is applicable to a wide variety of CNN model-families: (1) CNNs with fullyconnected layers (e.g. VGG), (2) CNNs used for structured outputs (e.g. captioning), (3) CNNs used in tasks with multimodal inputs (e.g. visual question answering) or reinforcement learning, all without architectural changes or re-training. We combine Grad-CAM with existing fine-grained visualizations to create a high-resolution class-discriminative vi-

自我监督的视觉学习彻底改变了深度学习，成为域中的下一个重大挑战，并通过大型计算机视觉基准的监督方法迅速缩小了差距。随着当前的模型和培训数据成倍增长，解释和理解这些模型变得关键。我们研究了视力任务的自我监督学习领域中可解释的人工智能的问题，并提出了了解经过自学训练的网络及其内部工作的方法。鉴于自我监督的视觉借口任务的巨大多样性，我们缩小了对理解范式的关注，这些范式从同一图像的两种观点中学习，主要是旨在了解借口任务。我们的工作重点是解释相似性学习，并且很容易扩展到所有其他借口任务。我们研究了两个流行的自我监督视觉模型：Simclr和Barlow Twins。我们总共开发了六种可视化和理解这些模型的方法：基于扰动的方法（条件闭塞，上下文无形的条件闭塞和成对的闭塞），相互作用-CAM，特征可视化，模型差异可视化，平均变换和像素无形。最后，我们通过将涉及单个图像的监督图像分类系统量身定制的众所周知的评估指标来评估这些解释，并将其涉及两个图像的自我监督学习领域。代码为：https：//github.com/fawazsammani/xai-ssl

我们提出了CX-TOM，简短于与理论的理论，一种新的可解释的AI（XAI）框架，用于解释深度卷积神经网络（CNN）制定的决定。与生成解释的XAI中的当前方法形成对比，我们将说明作为迭代通信过程，即对话框，机器和人类用户之间。更具体地说，我们的CX-TOM框架通过调解机器和人类用户的思想之间的差异，在对话中生成解释顺序。为此，我们使用思想理论（汤姆），帮助我们明确地建模人类的意图，通过人类的推断，通过机器推断出人类的思想。此外，大多数最先进的XAI框架提供了基于注意的（或热图）的解释。在我们的工作中，我们表明，这些注意力的解释不足以增加人类信任在潜在的CNN模型中。在CX-TOM中，我们使用命名为您定义的故障行的反事实解释：给定CNN分类模型M预测C_PRED的CNN分类模型M的输入图像I，错误线识别最小的语义级别特征（例如，斑马上的条纹，狗的耳朵），称为可解释的概念，需要从I添加或删除，以便将m的分类类别改变为另一个指定的c_alt。我们认为，由于CX-TOM解释的迭代，概念和反事本质，我们的框架对于专家和非专家用户来说是实用的，更加自然，以了解复杂的深度学习模式的内部运作。广泛的定量和定性实验验证了我们的假设，展示了我们的CX-TOM显着优于最先进的可解释的AI模型。

可解释的机器学习提供了有关哪些因素推动了黑盒系统的一定预测以及是否信任高风险决策或大规模部署的洞察力。现有方法主要集中于选择解释性输入功能，这些功能遵循本地添加剂或实例方法。加性模型使用启发式采样扰动来依次学习实例特定解释器。因此，该过程效率低下，并且容易受到条件较差的样品的影响。同时，实例技术直接学习本地采样分布，并可以从其他输入中利用全球信息。但是，由于严格依赖预定义的功能，他们只能解释单一级预测并在不同设置上遇到不一致的情况。这项工作利用了这两种方法的优势，并提出了一个全球框架，用于同时学习多个目标类别的本地解释。我们还提出了一种自适应推理策略，以确定特定实例的最佳功能数量。我们的模型解释器极大地超过了忠诚的添加和实例的对应物，而在各种数据集和Black-box模型体系结构上获得了高水平的简洁性。

如今，人工智能（AI）已成为临床和远程医疗保健应用程序的基本组成部分，但是最佳性能的AI系统通常太复杂了，无法自我解释。可解释的AI（XAI）技术被定义为揭示系统的预测和决策背后的推理，并且在处理敏感和个人健康数据时，它们变得更加至关重要。值得注意的是，XAI并未在不同的研究领域和数据类型中引起相同的关注，尤其是在医疗保健领域。特别是，许多临床和远程健康应用程序分别基于表格和时间序列数据，而XAI并未在这些数据类型上进行分析，而计算机视觉和自然语言处理（NLP）是参考应用程序。为了提供最适合医疗领域表格和时间序列数据的XAI方法的概述，本文提供了过去5年中文献的审查，说明了生成的解释的类型以及为评估其相关性所提供的努力和质量。具体而言，我们确定临床验证，一致性评估，客观和标准化质量评估以及以人为本的质量评估作为确保最终用户有效解释的关键特征。最后，我们强调了该领域的主要研究挑战以及现有XAI方法的局限性。

机器学习（ML）模型通常是针对给定数据集的精度进行优化的。但是，此预测标准很少捕获模型的所有理想属性，特别是它与域专家对任务的理解的匹配程度。指定的是指多种模型的存在，这些模型在其内域准确性上是无法区分的，即使它们在其他期望的属性（例如分布（OOD）性能）上有所不同。确定这些情况对于评估ML模型的可靠性至关重要。我们正式化了指定的概念，并提出了一种识别和部分解决它的方法。我们训练多个模型具有独立约束，迫使他们实施不同的功能。他们发现了预测性特征，否则标准经验风险最小化（ERM）忽略了这些特征，然后我们将其提炼成具有出色OOD性能的全球模型。重要的是，我们限制了模型以与数据歧管保持一致，以确保它们发现有意义的功能。我们在计算机视觉（拼贴，wild-camelyon17，gqa）中演示了多个数据集的方法，并讨论了指定规定的一般含义。最值得注意的是，没有其他假设，内域性能无法用于OOD模型选择。