最近集成了多源胸X射线数据集以改进自动诊断的趋势提出了模型学会利用源特定的相关性以通过识别图像的源域而不是医学病理来提高性能。我们假设这种效果由源区，即对应于源的疾病的患病率来强制执行并利用标记 - 不平衡。因此，在这项工作中，我们彻底研究了Lable-angalance对多源训练的影响，以便在广泛使用的Chestx-ray14和Chexpert数据集上进行肺炎检测任务。结果强调并强调了使用更忠实和透明的自解释模型进行自动诊断的重要性，从而实现了对杂志学习的固有检测。他们进一步说明了在确保标签平衡的源域数据集时可以显着降低学习虚假相关的这种不希望的效果。

深度学习的显着成功引起了人们对医学成像诊断的应用的兴趣。尽管最新的深度学习模型在分类不同类型的医学数据方面已经达到了人类水平的准确性，但这些模型在临床工作流程中几乎不采用，这主要是由于缺乏解释性。深度学习模型的黑盒子性提出了制定策略来解释这些模型的决策过程的必要性，从而导致了可解释的人工智能（XAI）主题的创建。在这种情况下，我们对应用于医学成像诊断的XAI进行了详尽的调查，包括视觉，基于示例和基于概念的解释方法。此外，这项工作回顾了现有的医学成像数据集和现有的指标，以评估解释的质量。此外，我们还包括一组基于报告生成的方法的性能比较。最后，还讨论了将XAI应用于医学成像以及有关该主题的未来研究指示的主要挑战。

卷积神经网络（CNN）在一系列医学成像任务中表现出了出色的性能。但是，常规的CNN无法解释其推理过程，因此限制了它们在临床实践中的采用。在这项工作中，我们建议使用基于相似性的比较（Indightr-net）回归的固有解释的CNN，并演示了我们关于糖尿病性视网膜病变的任务的方法。结合到体系结构中的原型层可以可视化图像中与学到的原型最相似的区域。然后将最终预测直观地建模为原型标签的平均值，并由相似性加权。与重新网基的基线相比，我们在无效的网络中实现了竞争性预测性能，这表明没有必要损害性能以实现可解释性。此外，我们使用稀疏性和多样性量化了解释的质量，这两个概念对良好的解释很重要，并证明了几个参数对潜在空间嵌入的影响。

在过去的几年中，卷积神经网络（CNN）占据了计算机视野的领域，这要归功于它们提取功能及其在分类问题中出色的表现，例如在自动分析X射线中。不幸的是，这些神经网络被认为是黑盒算法，即不可能了解该算法如何实现最终结果。要将这些算法应用于不同领域并测试方法论的工作原理，我们需要使用可解释的AI技术。医学领域的大多数工作都集中在二进制或多类分类问题上。但是，在许多现实生活中，例如胸部X射线射线，可以同时出现不同疾病的放射学迹象。这引起了所谓的“多标签分类问题”。这些任务的缺点是类不平衡，即不同的标签没有相同数量的样本。本文的主要贡献是一种深度学习方法，用于不平衡的多标签胸部X射线数据集。它为当前未充分利用的Padchest数据集建立了基线，并基于热图建立了可解释的AI技术。该技术还包括概率和模型间匹配。我们系统的结果很有希望，尤其是考虑到使用的标签数量。此外，热图与预期区域相匹配，即它们标志着专家将用来做出决定的区域。

人工智能被出现为众多临床应用诊断和治疗决策的有用援助。由于可用数据和计算能力的快速增加，深度神经网络的性能与许多任务中的临床医生相同或更好。为了符合信任AI的原则，AI系统至关重要的是透明，强大，公平和确保责任。由于对决策过程的具体细节缺乏了解，目前的深神经系统被称为黑匣子。因此，需要确保在常规临床工作流中纳入常规神经网络之前的深度神经网络的可解释性。在这一叙述审查中，我们利用系统的关键字搜索和域专业知识来确定已经基于所产生的解释和技术相似性的类型的医学图像分析应用的深度学习模型来确定九种不同类型的可解释方法。此外，我们报告了评估各种可解释方法产生的解释的进展。最后，我们讨论了局限性，提供了利用可解释性方法和未来方向的指导，了解医学成像分析深度神经网络的解释性。

最先进的（SOTA）深度学习乳房X线照片分类器接受了弱标记的图像训练，通常依赖于产生有限解释性预测的全球模型，这是他们成功地转化为临床实践的关键障碍。另一方面，基于原型的模型通过将预测与训练图像原型相关联，改善了可解释性，但是它们的准确性不如全球模型，其原型往往具有差的多样性。我们通过BraixProtopnet ++的建议解决了这两个问题，该问题通过将基于原型的模型结合起来，为全局模型增添了解释性。 BraixProtopnet ++在训练基于原型的模型以提高合奏的分类精度时，会提炼全局模型的知识。此外，我们提出了一种方法来通过保证所有原型都与不同的训练图像相关联，以增加原型多样性。对弱标记的私人和公共数据集进行的实验表明，BraixProtopnet ++的分类精度比基于SOTA Global和基于原型的模型具有更高的分类精度。使用病变定位来评估模型可解释性，我们显示BraixProtopnet ++比其他基于原型的模型和全球模型的事后解释更有效。最后，我们表明，BraixProtopnet ++学到的原型的多样性优于基于SOTA原型的方法。

由于其弱监督性，多个实例学习（MIL）在许多现实生活中的机器学习应用中都获得了受欢迎程度。但是，解释MIL滞后的相应努力，通常仅限于提出对特定预测至关重要的袋子的实例。在本文中，我们通过引入Protomil，这是一种新型的自我解释的MIL方法，该方法受到基于案例的推理过程的启发，该方法是基于案例的推理过程，该方法在视觉原型上运行。由于将原型特征纳入对象描述中，Protomil空前加入了模型的准确性和细粒度的可解释性，我们在五个公认的MIL数据集上进行了实验。

放射学报告产生（RRG）旨在用类似人类的语言描述自动放射学图像，并有可能支持放射科医生的工作，从而减轻手动报告的负担。先前的方法通常采用编码器架构，并专注于单模式特征学习，而很少的研究探索了跨模式特征交互。在这里，我们提出了一个跨模式原型驱动网络（XPRONET），以促进跨模式模式学习并利用它以改善放射学报告生成的任务。这是通过三个精心设计，完全可区分和互补的模块来实现的：共享的跨模式原型矩阵来记录跨模式原型；一个跨模式原型网络，可学习跨模式原型，并将交叉模式信息嵌入视觉和文本特征中；以及改进的多标签对比度损失，以实现和增强多标签原型学习。 Xpronet在IU-XRAR和MIMIC-CXR基准方面取得了重大改进，其性能超过了最新的最新方法，从IU-XRAY上的差距很大，并且在Mimic-CXR上的性能可比性。

我们介绍Protopool，一个可解释的图像分类模型，其中包含类的原型池。培训比现有方法更直接，因为它不需要修剪阶段。通过向特定类别引入完全可分辨分配的原型来获得它。此外，我们介绍了一种新的焦点相似度，将模型集中在罕见的前景特征上。我们表明Protopool在Cub-200-2011和斯坦福汽车数据集上获得最先进的准确性，大大减少了原型的数量。我们提供了对方法和用户学习的理论分析，以表明我们的原型比具有竞争方法所获得的原型更具独特。

在临床工作流程中成功部署AI的计算机辅助诊断（CAD）系统的一个主要障碍是它们缺乏透明决策。虽然常用可解释的AI方法提供了一些对不透明算法的洞察力，但除了高度训练的专家外，这种解释通常是复杂的，而不是易于理解的。关于皮肤病图像的皮肤病病变恶性的决定的解释需要特别清晰，因为潜在的医疗问题定义本身是模棱两可的。这项工作提出了exaid（可解释的ai用于皮肤科），是生物医学图像分析的新框架，提供了由易于理解的文本解释组成的多模态概念的解释，该概念由可视地图证明预测的视觉映射。 Exap依赖于概念激活向量，将人类概念映射到潜在空间中的任意深度学习模型学习的人，以及概念本地化地图，以突出输入空间中的概念。然后，这种相关概念的识别将用于构建由概念 - 明智地点信息补充的细粒度文本解释，以提供全面和相干的多模态解释。所有信息都在诊断界面中全面呈现，用于临床常规。教育模式为数据和模型探索提供数据集级别解释统计和工具，以帮助医学研究和教育。通过严谨的exaid定量和定性评估，即使在错误的预测情况下，我们展示了CAD辅助情景的多模态解释的效用。我们认为突然将为皮肤科医生提供一种有效的筛查工具，他们都理解和信任。此外，它将是其他生物医学成像领域的类似应用的基础。

理解和解释训练有素的模型对许多机器学习目标至关重要，例如改善鲁棒性，解决概念漂移和减轻偏见。但是，这通常是一个临时过程，涉及手动查看许多测试样本上的模型的错误，并猜测这些错误的预测的根本原因。在本文中，我们提出了一种系统的方法，概念性的反事实解释（CCE），解释了为什么分类器在人类理解的概念方面在特定的测试样本上犯了一个错误（例如，此斑马被错误地分类为狗，因为因为是因为是因为是狗的。微弱的条纹）。我们基于两个先前的想法：反事实解释和概念激活向量，并在众所周知的预读模型上验证我们的方法，表明它有意义地解释了模型的错误。此外，对于接受具有虚假相关性数据的数据训练的新模型，CCE准确地将虚假相关性确定为单个错误分类测试样本中模型错误的原因。在两个具有挑战性的医学应用程序中，CCE产生了有用的见解，并由临床医生确认，涉及该模型在现实世界中犯的偏见和错误。

可解释的人工智能（XAI）的新兴领域旨在为当今强大但不透明的深度学习模型带来透明度。尽管本地XAI方法以归因图的形式解释了个体预测，从而确定了重要特征的发生位置（但没有提供有关其代表的信息），但全局解释技术可视化模型通常学会的编码的概念。因此，两种方法仅提供部分见解，并留下将模型推理解释的负担。只有少数当代技术旨在将本地和全球XAI背后的原则结合起来，以获取更多信息的解释。但是，这些方法通常仅限于特定的模型体系结构，或对培训制度或数据和标签可用性施加其他要求，这实际上使事后应用程序成为任意预训练的模型。在这项工作中，我们介绍了概念相关性传播方法（CRP）方法，该方法结合了XAI的本地和全球观点，因此允许回答“何处”和“ where”和“什么”问题，而没有其他约束。我们进一步介绍了相关性最大化的原则，以根据模型对模型的有用性找到代表性的示例。因此，我们提高了对激活最大化及其局限性的共同实践的依赖。我们证明了我们方法在各种环境中的能力，展示了概念相关性传播和相关性最大化导致了更加可解释的解释，并通过概念图表，概念组成分析和概念集合和概念子区和概念子区和概念子集和定量研究对模型的表示和推理提供了深刻的见解。它们在细粒度决策中的作用。

Deep learning (DL) analysis of Chest X-ray (CXR) and Computed tomography (CT) images has garnered a lot of attention in recent times due to the COVID-19 pandemic. Convolutional Neural Networks (CNNs) are well suited for the image analysis tasks when trained on humongous amounts of data. Applications developed for medical image analysis require high sensitivity and precision compared to any other fields. Most of the tools proposed for detection of COVID-19 claims to have high sensitivity and recalls but have failed to generalize and perform when tested on unseen datasets. This encouraged us to develop a CNN model, analyze and understand the performance of it by visualizing the predictions of the model using class activation maps generated using (Gradient-weighted Class Activation Mapping) Grad-CAM technique. This study provides a detailed discussion of the success and failure of the proposed model at an image level. Performance of the model is compared with state-of-the-art DL models and shown to be comparable. The data and code used are available at https://github.com/aleesuss/c19.

深度学习（DL）模型在许多计算机视觉问题上非常有效，并且越来越多地用于关键应用。他们也是黑人盒子。存在许多方法以生成图像明智的解释，其允许从业者理解和验证给定图像的模型预测。除此之外，希望验证DL Model \ Textit {一般}以明智的方式工作，即与域知识一致，而不是依赖于不期望的数据伪影。为此目的，需要在全球范围内解释模型。在这项工作中，我们专注于自然对齐的图像模态，使得每个像素位置表示成像对象上的相似位置，如在医学成像中常见。我们提出了图像明智的解释的像素明智的聚合作为获得标签和整体全局解释的简单方法。然后，这些可以用于模型验证，知识发现，以及传达从检查图像明智的解释的定性结论的有效方法。我们进一步提出了进步擦除加上渐进式恢复（PEPPR）作为定量验证这些全球解释忠于模型如何使其预测的方法。然后，我们将这些方法应用于超广域视网膜图像，是一种自然对齐的模态。我们发现全球解释与域知识一致，忠实地反映了模型的工作。

Explainable artificial intelligence (XAI) is essential for enabling clinical users to get informed decision support from AI and comply with evidence-based medical practice. Applying XAI in clinical settings requires proper evaluation criteria to ensure the explanation technique is both technically sound and clinically useful, but specific support is lacking to achieve this goal. To bridge the research gap, we propose the Clinical XAI Guidelines that consist of five criteria a clinical XAI needs to be optimized for. The guidelines recommend choosing an explanation form based on Guideline 1 (G1) Understandability and G2 Clinical relevance. For the chosen explanation form, its specific XAI technique should be optimized for G3 Truthfulness, G4 Informative plausibility, and G5 Computational efficiency. Following the guidelines, we conducted a systematic evaluation on a novel problem of multi-modal medical image explanation with two clinical tasks, and proposed new evaluation metrics accordingly. Sixteen commonly-used heatmap XAI techniques were evaluated and found to be insufficient for clinical use due to their failure in G3 and G4. Our evaluation demonstrated the use of Clinical XAI Guidelines to support the design and evaluation of clinically viable XAI.

了解模型预测在医疗保健方面至关重要，以促进模型正确性的快速验证，并防止利用利用混淆变量的模型。我们介绍了体积医学图像中可解释的多种异常分类的挑战新任务，其中模型必须指示用于预测每个异常的区域。为了解决这项任务，我们提出了一个多实例学习卷积神经网络，AxialNet，允许识别每个异常的顶部切片。接下来我们将赫雷库姆纳入注意机制，识别子切片区域。我们证明，对于Axialnet，Hirescam的说明得到保证，以反映所用模型的位置，与Grad-Cam不同，有时突出不相关的位置。使用一种产生忠实解释的模型，我们旨在通过一种新颖的面具损失来改善模型的学习，利用赫克斯克姆和3D允许的区域来鼓励模型仅预测基于器官的异常，其中出现的异常。 3D允许的区域通过新方法，分区自动获得，其组合从放射学报告中提取的位置信息与通过形态图像处理获得的器官分割图。总体而言，我们提出了第一种模型，用于解释容量医学图像中的可解释的多异常预测，然后使用掩模损耗来实现36,316扫描的Rad-Chessct数据集中多个异常的器官定位提高33％，代表状态本领域。这项工作推进了胸部CT卷中多种异常模型的临床适用性。

由于深度学习在放射学领域被广泛使用，因此在使用模型进行诊断时，这种模型的解释性越来越成为获得临床医生的信任至关重要的。在这项研究中，使用U-NET架构进行了三个实验集，以改善分类性能，同时通过在训练过程中结合热图生成器来增强与模型相对应的热图。所有实验均使用包含胸部X光片的数据集，来自三个条件之一（“正常”，“充血性心力衰竭（CHF）”和“肺炎”）的相关标签，以及有关放射科医师眼神坐标的数值信息在图像上。引入该数据集的论文（A. Karargyris和Moradi，2021年）开发了一个U-NET模型，该模型被视为这项研究的基线模型，以显示如何将眼目光数据用于多模式培训中的眼睛凝视数据以进行多模式培训以进行多模式训练。解释性改进。为了比较分类性能，测量了接收器操作特征曲线（AUC）下面积的95％置信区间（CI）。最佳方法的AUC为0.913（CI：0.860-0.966）。最大的改进是“肺炎”和“ CHF”类别，基线模型最努力地进行分类，导致AUCS 0.859（CI：0.732-0.957）和0.962（CI：0.933-0.989）。所提出的方法的解码器还能够产生概率掩模，以突出模型分类中确定的图像部分，类似于放射科医生的眼睛凝视数据。因此，这项工作表明，将热图发生器和眼睛凝视信息纳入训练可以同时改善疾病分类，并提供可解释的视觉效果，与放射线医生在进行诊断时如何看待胸部X光片。

为医学图像评估构建准确和强大的人工智能系统，不仅需要高级深度学习模型的研究和设计，还需要创建大型和策划的注释训练示例。然而，构造这种数据集通常非常昂贵 - 由于注释任务的复杂性和解释医学图像所需的高度专业知识（例如，专家放射科医师）。为了对此限制来说，我们提出了一种基于对比学习和在线特征聚类的丰富图像特征自我监督学习方法。为此目的，我们利用各种方式的大超过100,000,000个医学图像的大型训练数据集，包括放射线照相，计算机断层扫描（CT），磁共振（MR）成像和超声检查。我们建议使用这些功能来指导在各种下游任务的监督和混合自我监督/监督制度的模型培训。我们突出了这种策略对射线照相，CT和MR：1的挑战性图像评估问题的许多优点，与最先进的（例如，检测3-7％的AUC升压为3-7％胸部射线照相扫描的异常和脑CT的出血检测）; 2）与使用无预先训练（例如，83％，在培训MR扫描MR扫描中的脑转移的模型时，在训练期间训练期间的模型收敛在训练期间的培训期高达85％。 3）对各种图像增强的鲁棒性增加，例如在场中看到的数据变化的强度变化，旋转或缩放反射。

ProtoPNet and its follow-up variants (ProtoPNets) have attracted broad research interest for their intrinsic interpretability from prototypes and comparable accuracy to non-interpretable counterparts. However, it has been recently found that the interpretability of prototypes can be corrupted due to the semantic gap between similarity in latent space and that in input space. In this work, we make the first attempt to quantitatively evaluate the interpretability of prototype-based explanations, rather than solely qualitative evaluations by some visualization examples, which can be easily misled by cherry picks. To this end, we propose two evaluation metrics, termed consistency score and stability score, to evaluate the explanation consistency cross images and the explanation robustness against perturbations, both of which are essential for explanations taken into practice. Furthermore, we propose a shallow-deep feature alignment (SDFA) module and a score aggregation (SA) module to improve the interpretability of prototypes. We conduct systematical evaluation experiments and substantial discussions to uncover the interpretability of existing ProtoPNets. Experiments demonstrate that our method achieves significantly superior performance to the state-of-the-arts, under both the conventional qualitative evaluations and the proposed quantitative evaluations, in both accuracy and interpretability. Codes are available at https://github.com/hqhQAQ/EvalProtoPNet.

尽管有无数的同伴审查的论文，证明了新颖的人工智能（AI）基于大流行期间的Covid-19挑战的解决方案，但很少有临床影响。人工智能在Covid-19大流行期间的影响因缺乏模型透明度而受到极大的限制。这种系统审查考察了在大流行期间使用可解释的人工智能（Xai）以及如何使用它可以克服现实世界成功的障碍。我们发现，Xai的成功使用可以提高模型性能，灌输信任在最终用户，并提供影响用户决策所需的值。我们将读者介绍给常见的XAI技术，其实用程序以及其应用程序的具体例子。 XAI结果的评估还讨论了最大化AI的临床决策支持系统的价值的重要步骤。我们说明了Xai的古典，现代和潜在的未来趋势，以阐明新颖的XAI技术的演变。最后，我们在最近出版物支持的实验设计过程中提供了建议的清单。潜在解决方案的具体示例也解决了AI解决方案期间的共同挑战。我们希望本次审查可以作为提高未来基于AI的解决方案的临床影响的指导。