Explainable artificial intelligence (XAI) is essential for enabling clinical users to get informed decision support from AI and comply with evidence-based medical practice. Applying XAI in clinical settings requires proper evaluation criteria to ensure the explanation technique is both technically sound and clinically useful, but specific support is lacking to achieve this goal. To bridge the research gap, we propose the Clinical XAI Guidelines that consist of five criteria a clinical XAI needs to be optimized for. The guidelines recommend choosing an explanation form based on Guideline 1 (G1) Understandability and G2 Clinical relevance. For the chosen explanation form, its specific XAI technique should be optimized for G3 Truthfulness, G4 Informative plausibility, and G5 Computational efficiency. Following the guidelines, we conducted a systematic evaluation on a novel problem of multi-modal medical image explanation with two clinical tasks, and proposed new evaluation metrics accordingly. Sixteen commonly-used heatmap XAI techniques were evaluated and found to be insufficient for clinical use due to their failure in G3 and G4. Our evaluation demonstrated the use of Clinical XAI Guidelines to support the design and evaluation of clinically viable XAI.

人工智能被出现为众多临床应用诊断和治疗决策的有用援助。由于可用数据和计算能力的快速增加，深度神经网络的性能与许多任务中的临床医生相同或更好。为了符合信任AI的原则，AI系统至关重要的是透明，强大，公平和确保责任。由于对决策过程的具体细节缺乏了解，目前的深神经系统被称为黑匣子。因此，需要确保在常规临床工作流中纳入常规神经网络之前的深度神经网络的可解释性。在这一叙述审查中，我们利用系统的关键字搜索和域专业知识来确定已经基于所产生的解释和技术相似性的类型的医学图像分析应用的深度学习模型来确定九种不同类型的可解释方法。此外，我们报告了评估各种可解释方法产生的解释的进展。最后，我们讨论了局限性，提供了利用可解释性方法和未来方向的指导，了解医学成像分析深度神经网络的解释性。

深度学习的显着成功引起了人们对医学成像诊断的应用的兴趣。尽管最新的深度学习模型在分类不同类型的医学数据方面已经达到了人类水平的准确性，但这些模型在临床工作流程中几乎不采用，这主要是由于缺乏解释性。深度学习模型的黑盒子性提出了制定策略来解释这些模型的决策过程的必要性，从而导致了可解释的人工智能（XAI）主题的创建。在这种情况下，我们对应用于医学成像诊断的XAI进行了详尽的调查，包括视觉，基于示例和基于概念的解释方法。此外，这项工作回顾了现有的医学成像数据集和现有的指标，以评估解释的质量。此外，我们还包括一组基于报告生成的方法的性能比较。最后，还讨论了将XAI应用于医学成像以及有关该主题的未来研究指示的主要挑战。

尽管有无数的同伴审查的论文，证明了新颖的人工智能（AI）基于大流行期间的Covid-19挑战的解决方案，但很少有临床影响。人工智能在Covid-19大流行期间的影响因缺乏模型透明度而受到极大的限制。这种系统审查考察了在大流行期间使用可解释的人工智能（Xai）以及如何使用它可以克服现实世界成功的障碍。我们发现，Xai的成功使用可以提高模型性能，灌输信任在最终用户，并提供影响用户决策所需的值。我们将读者介绍给常见的XAI技术，其实用程序以及其应用程序的具体例子。 XAI结果的评估还讨论了最大化AI的临床决策支持系统的价值的重要步骤。我们说明了Xai的古典，现代和潜在的未来趋势，以阐明新颖的XAI技术的演变。最后，我们在最近出版物支持的实验设计过程中提供了建议的清单。潜在解决方案的具体示例也解决了AI解决方案期间的共同挑战。我们希望本次审查可以作为提高未来基于AI的解决方案的临床影响的指导。

机器学习透明度（ML），试图揭示复杂模型的工作机制。透明ML承诺推进人为因素在目标用户中以人为本的人体目标的工程目标。从以人为本的设计视角，透明度不是ML模型的属性，而是一种能力，即算法与用户之间的关系;因此，与用户的迭代原型和评估对于获得提供透明度的充足解决方案至关重要。然而，由于有限的可用性和最终用户，遵循了医疗保健和医学图像分析的人以人为本的设计原则是具有挑战性的。为了调查医学图像分析中透明ML的状态，我们对文献进行了系统审查。我们的评论在医学图像分析应用程序的透明ML的设计和验证方面揭示了多种严重的缺点。我们发现，大多数研究到达迄今为止透明度作为模型本身的属性，类似于任务性能，而不考虑既未开发也不考虑最终用户也不考虑评估。此外，缺乏用户研究以及透明度声明的偶发验证将当代研究透明ML的医学图像分析有可能对用户难以理解的风险，因此临床无关紧要。为了缓解即将到来的研究中的这些缺点，同时承认人以人为中心设计在医疗保健中的挑战，我们介绍了用于医学图像分析中的透明ML系统的系统设计指令。 Intrult指南建议形成的用户研究作为透明模型设计的第一步，以了解用户需求和域要求。在此过程之后，会产生支持设计选择的证据，最终增加了算法提供透明度的可能性。

现有的可解释人工智能（XAI）算法的界限仅限于技术用户对解释性的需求所基于的问题。这项研究范式不成比例地忽略了XAI的非技术最终用户的较大群体，他们没有技术知识，但需要在其AI-ASS辅助批判性决定中进行解释。缺乏以解释性为重点的功能支持可能会阻碍在医疗保健，刑事司法，金融和自动驾驶系统等高风险领域中对AI的安全和负责任的使用。在这项工作中，我们探讨了如何设计为最终用户的关键任务量身定制的XAI如何激发新技术问题的框架。为了引起用户对XAI算法的解释和要求，我们首先将八个解释表格确定为AI研究人员和最终用户之间的通信工具，例如使用功能，示例或规则来解释。然后，我们在实现不同的解释目标（例如验证AI决策并改善用户的预测结果）的背景下，使用32名外行参与者进行用户研究。基于用户研究结果，我们确定并提出新颖的XAI技术问题，并根据用户的解释目标提出评估度量验证能力。我们的工作表明，在最终用户使用XAI中解决技术问题可以激发新的研究问题。这样的最终用户启发的研究问题有可能通过使人工智能民主化并确保在关键领域中对AI负责使用，从而促进社会利益。

如今，人工智能（AI）已成为临床和远程医疗保健应用程序的基本组成部分，但是最佳性能的AI系统通常太复杂了，无法自我解释。可解释的AI（XAI）技术被定义为揭示系统的预测和决策背后的推理，并且在处理敏感和个人健康数据时，它们变得更加至关重要。值得注意的是，XAI并未在不同的研究领域和数据类型中引起相同的关注，尤其是在医疗保健领域。特别是，许多临床和远程健康应用程序分别基于表格和时间序列数据，而XAI并未在这些数据类型上进行分析，而计算机视觉和自然语言处理（NLP）是参考应用程序。为了提供最适合医疗领域表格和时间序列数据的XAI方法的概述，本文提供了过去5年中文献的审查，说明了生成的解释的类型以及为评估其相关性所提供的努力和质量。具体而言，我们确定临床验证，一致性评估，客观和标准化质量评估以及以人为本的质量评估作为确保最终用户有效解释的关键特征。最后，我们强调了该领域的主要研究挑战以及现有XAI方法的局限性。

越来越多的电子健康记录（EHR）数据和深度学习技术进步的越来越多的可用性（DL）已经引发了在开发基于DL的诊断，预后和治疗的DL临床决策支持系统中的研究兴趣激增。尽管承认医疗保健的深度学习的价值，但由于DL的黑匣子性质，实际医疗环境中进一步采用的障碍障碍仍然存在。因此，有一个可解释的DL的新兴需求，它允许最终用户评估模型决策，以便在采用行动之前知道是否接受或拒绝预测和建议。在这篇综述中，我们专注于DL模型在医疗保健中的可解释性。我们首先引入深入解释性的方法，并作为该领域的未来研究人员或临床从业者的方法参考。除了这些方法的细节之外，我们还包括对这些方法的优缺点以及它们中的每个场景都适合的讨论，因此感兴趣的读者可以知道如何比较和选择它们供使用。此外，我们讨论了这些方法，最初用于解决一般域问题，已经适应并应用于医疗保健问题以及如何帮助医生更好地理解这些数据驱动技术。总的来说，我们希望这项调查可以帮助研究人员和从业者在人工智能（AI）和临床领域了解我们为提高其DL模型的可解释性并相应地选择最佳方法。

每年医生对患者的基于形象的诊断需求越来越大，是最近的人工智能方法可以解决的问题。在这种情况下，我们在医学图像的自动报告领域进行了调查，重点是使用深神经网络的方法，了解：（1）数据集，（2）架构设计，（3）解释性和（4）评估指标。我们的调查确定了有趣的发展，也是留下挑战。其中，目前对生成的报告的评估尤为薄弱，因为它主要依赖于传统的自然语言处理（NLP）指标，这不准确地捕获医疗正确性。

与此同时，在可解释的人工智能（XAI）的研究领域中，已经开发了各种术语，动机，方法和评估标准。随着XAI方法的数量大大增长，研究人员以及从业者以及从业者需要一种方法：掌握主题的广度，比较方法，并根据特定用例所需的特征选择正确的XAI方法语境。在文献中，可以找到许多不同细节水平和深度水平的XAI方法分类。虽然他们经常具有不同的焦点，但它们也表现出许多重叠点。本文统一了这些努力，并提供了XAI方法的分类，这是关于目前研究中存在的概念的概念。在结构化文献分析和元研究中，我们识别并审查了XAI方法，指标和方法特征的50多个最引用和最新的调查。总结在调查调查中，我们将文章的术语和概念合并为统一的结构化分类。其中的单一概念总计超过50个不同的选择示例方法，我们相应地分类。分类学可以为初学者，研究人员和从业者提供服务作为XAI方法特征和方面的参考和广泛概述。因此，它提供了针对有针对性的，用例导向的基础和上下文敏感的未来研究。

Explainable AI (XAI) is widely viewed as a sine qua non for ever-expanding AI research. A better understanding of the needs of XAI users, as well as human-centered evaluations of explainable models are both a necessity and a challenge. In this paper, we explore how HCI and AI researchers conduct user studies in XAI applications based on a systematic literature review. After identifying and thoroughly analyzing 85 core papers with human-based XAI evaluations over the past five years, we categorize them along the measured characteristics of explanatory methods, namely trust, understanding, fairness, usability, and human-AI team performance. Our research shows that XAI is spreading more rapidly in certain application domains, such as recommender systems than in others, but that user evaluations are still rather sparse and incorporate hardly any insights from cognitive or social sciences. Based on a comprehensive discussion of best practices, i.e., common models, design choices, and measures in user studies, we propose practical guidelines on designing and conducting user studies for XAI researchers and practitioners. Lastly, this survey also highlights several open research directions, particularly linking psychological science and human-centered XAI.

随着AI系统表现出越来越强烈的预测性能，它们的采用已经在许多域中种植。然而，在刑事司法和医疗保健等高赌场域中，由于安全，道德和法律问题，往往是完全自动化的，但是完全手工方法可能是不准确和耗时的。因此，对研究界的兴趣日益增长，以增加人力决策。除了为此目的开发AI技术之外，人民AI决策的新兴领域必须采用实证方法，以形成对人类如何互动和与AI合作做出决定的基础知识。为了邀请和帮助结构研究努力了解理解和改善人为 - AI决策的研究，我们近期对本课题的实证人体研究的文献。我们总结了在三个重要方面的100多篇论文中的研究设计选择：（1）决定任务，（2）AI模型和AI援助要素，以及（3）评估指标。对于每个方面，我们总结了当前的趋势，讨论了现场当前做法中的差距，并列出了未来研究的建议。我们的调查强调了开发共同框架的需要考虑人类 - AI决策的设计和研究空间，因此研究人员可以在研究设计中进行严格的选择，研究界可以互相构建并产生更广泛的科学知识。我们还希望这项调查将成为HCI和AI社区的桥梁，共同努力，相互塑造人类决策的经验科学和计算技术。

Artificial intelligence(AI) systems based on deep neural networks (DNNs) and machine learning (ML) algorithms are increasingly used to solve critical problems in bioinformatics, biomedical informatics, and precision medicine. However, complex DNN or ML models that are unavoidably opaque and perceived as black-box methods, may not be able to explain why and how they make certain decisions. Such black-box models are difficult to comprehend not only for targeted users and decision-makers but also for AI developers. Besides, in sensitive areas like healthcare, explainability and accountability are not only desirable properties of AI but also legal requirements -- especially when AI may have significant impacts on human lives. Explainable artificial intelligence (XAI) is an emerging field that aims to mitigate the opaqueness of black-box models and make it possible to interpret how AI systems make their decisions with transparency. An interpretable ML model can explain how it makes predictions and which factors affect the model's outcomes. The majority of state-of-the-art interpretable ML methods have been developed in a domain-agnostic way and originate from computer vision, automated reasoning, or even statistics. Many of these methods cannot be directly applied to bioinformatics problems, without prior customization, extension, and domain adoption. In this paper, we discuss the importance of explainability with a focus on bioinformatics. We analyse and comprehensively overview of model-specific and model-agnostic interpretable ML methods and tools. Via several case studies covering bioimaging, cancer genomics, and biomedical text mining, we show how bioinformatics research could benefit from XAI methods and how they could help improve decision fairness.

在临床工作流程中成功部署AI的计算机辅助诊断（CAD）系统的一个主要障碍是它们缺乏透明决策。虽然常用可解释的AI方法提供了一些对不透明算法的洞察力，但除了高度训练的专家外，这种解释通常是复杂的，而不是易于理解的。关于皮肤病图像的皮肤病病变恶性的决定的解释需要特别清晰，因为潜在的医疗问题定义本身是模棱两可的。这项工作提出了exaid（可解释的ai用于皮肤科），是生物医学图像分析的新框架，提供了由易于理解的文本解释组成的多模态概念的解释，该概念由可视地图证明预测的视觉映射。 Exap依赖于概念激活向量，将人类概念映射到潜在空间中的任意深度学习模型学习的人，以及概念本地化地图，以突出输入空间中的概念。然后，这种相关概念的识别将用于构建由概念 - 明智地点信息补充的细粒度文本解释，以提供全面和相干的多模态解释。所有信息都在诊断界面中全面呈现，用于临床常规。教育模式为数据和模型探索提供数据集级别解释统计和工具，以帮助医学研究和教育。通过严谨的exaid定量和定性评估，即使在错误的预测情况下，我们展示了CAD辅助情景的多模态解释的效用。我们认为突然将为皮肤科医生提供一种有效的筛查工具，他们都理解和信任。此外，它将是其他生物医学成像领域的类似应用的基础。

过去十年已经看到人工智能（AI）的显着进展，这导致了用于解决各种问题的算法。然而，通过增加模型复杂性并采用缺乏透明度的黑匣子AI模型来满足这种成功。为了响应这种需求，已经提出了说明的AI（Xai）以使AI更透明，从而提高关键结构域中的AI。虽然有几个关于Xai主题的Xai主题的评论，但在Xai中发现了挑战和潜在的研究方向，这些挑战和研究方向被分散。因此，本研究为Xai组织的挑战和未来的研究方向提出了系统的挑战和未来研究方向：（1）基于机器学习生命周期的Xai挑战和研究方向，基于机器的挑战和研究方向阶段：设计，开发和部署。我们认为，我们的META调查通过为XAI地区的未来探索指导提供了XAI文学。

可解释的人工智能（XAI）的新兴领域旨在为当今强大但不透明的深度学习模型带来透明度。尽管本地XAI方法以归因图的形式解释了个体预测，从而确定了重要特征的发生位置（但没有提供有关其代表的信息），但全局解释技术可视化模型通常学会的编码的概念。因此，两种方法仅提供部分见解，并留下将模型推理解释的负担。只有少数当代技术旨在将本地和全球XAI背后的原则结合起来，以获取更多信息的解释。但是，这些方法通常仅限于特定的模型体系结构，或对培训制度或数据和标签可用性施加其他要求，这实际上使事后应用程序成为任意预训练的模型。在这项工作中，我们介绍了概念相关性传播方法（CRP）方法，该方法结合了XAI的本地和全球观点，因此允许回答“何处”和“ where”和“什么”问题，而没有其他约束。我们进一步介绍了相关性最大化的原则，以根据模型对模型的有用性找到代表性的示例。因此，我们提高了对激活最大化及其局限性的共同实践的依赖。我们证明了我们方法在各种环境中的能力，展示了概念相关性传播和相关性最大化导致了更加可解释的解释，并通过概念图表，概念组成分析和概念集合和概念子区和概念子区和概念子集和定量研究对模型的表示和推理提供了深刻的见解。它们在细粒度决策中的作用。

As the societal impact of Deep Neural Networks (DNNs) grows, the goals for advancing DNNs become more complex and diverse, ranging from improving a conventional model accuracy metric to infusing advanced human virtues such as fairness, accountability, transparency (FaccT), and unbiasedness. Recently, techniques in Explainable Artificial Intelligence (XAI) are attracting considerable attention, and have tremendously helped Machine Learning (ML) engineers in understanding AI models. However, at the same time, we started to witness the emerging need beyond XAI among AI communities; based on the insights learned from XAI, how can we better empower ML engineers in steering their DNNs so that the model's reasonableness and performance can be improved as intended? This article provides a timely and extensive literature overview of the field Explanation-Guided Learning (EGL), a domain of techniques that steer the DNNs' reasoning process by adding regularization, supervision, or intervention on model explanations. In doing so, we first provide a formal definition of EGL and its general learning paradigm. Secondly, an overview of the key factors for EGL evaluation, as well as summarization and categorization of existing evaluation procedures and metrics for EGL are provided. Finally, the current and potential future application areas and directions of EGL are discussed, and an extensive experimental study is presented aiming at providing comprehensive comparative studies among existing EGL models in various popular application domains, such as Computer Vision (CV) and Natural Language Processing (NLP) domains.

能够分析和量化人体或行为特征的系统（称为生物识别系统）正在使用和应用变异性增长。由于其从手工制作的功能和传统的机器学习转变为深度学习和自动特征提取，因此生物识别系统的性能增加到了出色的价值。尽管如此，这种快速进步的成本仍然尚不清楚。由于其不透明度，深层神经网络很难理解和分析，因此，由错误动机动机动机的隐藏能力或决定是潜在的风险。研究人员已经开始将注意力集中在理解深度神经网络及其预测的解释上。在本文中，我们根据47篇论文的研究提供了可解释生物识别技术的当前状态，并全面讨论了该领域的发展方向。

Since the mid-10s, the era of Deep Learning (DL) has continued to this day, bringing forth new superlatives and innovations each year. Nevertheless, the speed with which these innovations translate into real applications lags behind this fast pace. Safety-critical applications, in particular, underlie strict regulatory and ethical requirements which need to be taken care of and are still active areas of debate. eXplainable AI (XAI) and privacy-preserving machine learning (PPML) are both crucial research fields, aiming at mitigating some of the drawbacks of prevailing data-hungry black-box models in DL. Despite brisk research activity in the respective fields, no attention has yet been paid to their interaction. This work is the first to investigate the impact of private learning techniques on generated explanations for DL-based models. In an extensive experimental analysis covering various image and time series datasets from multiple domains, as well as varying privacy techniques, XAI methods, and model architectures, the effects of private training on generated explanations are studied. The findings suggest non-negligible changes in explanations through the introduction of privacy. Apart from reporting individual effects of PPML on XAI, the paper gives clear recommendations for the choice of techniques in real applications. By unveiling the interdependencies of these pivotal technologies, this work is a first step towards overcoming the remaining hurdles for practically applicable AI in safety-critical domains.

多模型对现实世界应用的承诺激发了可视化和理解其内部力学的研究，其最终目标是使利益相关者能够可视化模型行为，执行模型调试并促进对机器学习模型的信任。但是，现代的多模型模型通常是黑盒神经网络，这使得了解其内部力学变得具有挑战性。我们如何能在这些模型中可视化多模式相互作用的内部建模？我们的论文旨在通过提出Multiviz来填补这一空白，这是一种通过将可解释性问题分为4个阶段来分析多模型模型行为的方法：（1）单峰的重要性：每种模式如何有助于下游建模和预测，（2）交叉交叉。 - 模式相互作用：不同模态如何相互关系，（3）多模式表示：如何在决策级特征中表示单峰和跨模式的交互作用，以及（4）多模式预测：决策级特征如何组成以制造一个预言。 Multiviz旨在在不同的模式，模型，任务和研究领域进行操作。通过对6个现实世界任务的8个训练模型的实验，我们表明，Multiviz中的互补阶段共同使用户能够（1）模拟模型预测，（2）将可解释的概念分配给功能，（3）对模型错误分析执行错误分析，（4）使用错误分析到调试模型的见解。 Multiviz公开可用，将定期使用新的解释工具和指标进行更新，并欢迎社区的意见。