卷积神经网络（CNN）在一系列医学成像任务中表现出了出色的性能。但是，常规的CNN无法解释其推理过程，因此限制了它们在临床实践中的采用。在这项工作中，我们建议使用基于相似性的比较（Indightr-net）回归的固有解释的CNN，并演示了我们关于糖尿病性视网膜病变的任务的方法。结合到体系结构中的原型层可以可视化图像中与学到的原型最相似的区域。然后将最终预测直观地建模为原型标签的平均值，并由相似性加权。与重新网基的基线相比，我们在无效的网络中实现了竞争性预测性能，这表明没有必要损害性能以实现可解释性。此外，我们使用稀疏性和多样性量化了解释的质量，这两个概念对良好的解释很重要，并证明了几个参数对潜在空间嵌入的影响。

When we are faced with challenging image classification tasks, we often explain our reasoning by dissecting the image, and pointing out prototypical aspects of one class or another. The mounting evidence for each of the classes helps us make our final decision. In this work, we introduce a deep network architectureprototypical part network (ProtoPNet), that reasons in a similar way: the network dissects the image by finding prototypical parts, and combines evidence from the prototypes to make a final classification. The model thus reasons in a way that is qualitatively similar to the way ornithologists, physicians, and others would explain to people on how to solve challenging image classification tasks. The network uses only image-level labels for training without any annotations for parts of images. We demonstrate our method on the CUB-200-2011 dataset and the Stanford Cars dataset. Our experiments show that ProtoPNet can achieve comparable accuracy with its analogous non-interpretable counterpart, and when several ProtoPNets are combined into a larger network, it can achieve an accuracy that is on par with some of the best-performing deep models. Moreover, ProtoPNet provides a level of interpretability that is absent in other interpretable deep models. * Contributed equally † DISTRIBUTION STATEMENT A. Approved for public release. Distribution is unlimited.

由于其弱监督性，多个实例学习（MIL）在许多现实生活中的机器学习应用中都获得了受欢迎程度。但是，解释MIL滞后的相应努力，通常仅限于提出对特定预测至关重要的袋子的实例。在本文中，我们通过引入Protomil，这是一种新型的自我解释的MIL方法，该方法受到基于案例的推理过程的启发，该方法是基于案例的推理过程，该方法在视觉原型上运行。由于将原型特征纳入对象描述中，Protomil空前加入了模型的准确性和细粒度的可解释性，我们在五个公认的MIL数据集上进行了实验。

机器学习已广泛采用在许多领域，包括高赌注应用，如医疗保健，金融和刑事司法。为了满足公平，问责制和透明度的担忧，这些关键域中的机器学习模型的预测必须是可解释的。通过整合深度神经网络的力量以及基于案例的推理来产生准确尚不可解释的图像分类模型来实现这一挑战的一系列挑战。这些模型通常通过将其与培训期间学习的原型进行比较来分类输入图像，以“这看起来这样的形式产生解释”。然而，来自这一工作行的方法使用空间刚性原型，这不能明确地解释姿势变化。在本文中，我们通过提出基于案例的可解释的神经网络来解决这种缺点，该神经网络提供空间柔性原型，称为可变形的原型部件网络（可变形Protopnet）。在可变形的Protopnet中，每个原型由若干原型部分组成，其根据输入图像自适应地改变其相对空间位置。这使得每个原型能够检测具有更高的空间变换容差的对象特征，因为允许原型内的部件移动。因此，可变形的Protopnet可以明确地捕获姿势变化，提高模型精度和所提供的解释的丰富性。与使用原型的其他基于案例的可解释模型相比，我们的方法实现了竞争精度，提供了更大的上下文的解释，并且更容易训练，从而使得更广泛地利用可解释模型来进行计算机视觉的可解释模型。

我们介绍Protopool，一个可解释的图像分类模型，其中包含类的原型池。培训比现有方法更直接，因为它不需要修剪阶段。通过向特定类别引入完全可分辨分配的原型来获得它。此外，我们介绍了一种新的焦点相似度，将模型集中在罕见的前景特征上。我们表明Protopool在Cub-200-2011和斯坦福汽车数据集上获得最先进的准确性，大大减少了原型的数量。我们提供了对方法和用户学习的理论分析，以表明我们的原型比具有竞争方法所获得的原型更具独特。

最先进的（SOTA）深度学习乳房X线照片分类器接受了弱标记的图像训练，通常依赖于产生有限解释性预测的全球模型，这是他们成功地转化为临床实践的关键障碍。另一方面，基于原型的模型通过将预测与训练图像原型相关联，改善了可解释性，但是它们的准确性不如全球模型，其原型往往具有差的多样性。我们通过BraixProtopnet ++的建议解决了这两个问题，该问题通过将基于原型的模型结合起来，为全局模型增添了解释性。 BraixProtopnet ++在训练基于原型的模型以提高合奏的分类精度时，会提炼全局模型的知识。此外，我们提出了一种方法来通过保证所有原型都与不同的训练图像相关联，以增加原型多样性。对弱标记的私人和公共数据集进行的实验表明，BraixProtopnet ++的分类精度比基于SOTA Global和基于原型的模型具有更高的分类精度。使用病变定位来评估模型可解释性，我们显示BraixProtopnet ++比其他基于原型的模型和全球模型的事后解释更有效。最后，我们表明，BraixProtopnet ++学到的原型的多样性优于基于SOTA原型的方法。

人工智能被出现为众多临床应用诊断和治疗决策的有用援助。由于可用数据和计算能力的快速增加，深度神经网络的性能与许多任务中的临床医生相同或更好。为了符合信任AI的原则，AI系统至关重要的是透明，强大，公平和确保责任。由于对决策过程的具体细节缺乏了解，目前的深神经系统被称为黑匣子。因此，需要确保在常规临床工作流中纳入常规神经网络之前的深度神经网络的可解释性。在这一叙述审查中，我们利用系统的关键字搜索和域专业知识来确定已经基于所产生的解释和技术相似性的类型的医学图像分析应用的深度学习模型来确定九种不同类型的可解释方法。此外，我们报告了评估各种可解释方法产生的解释的进展。最后，我们讨论了局限性，提供了利用可解释性方法和未来方向的指导，了解医学成像分析深度神经网络的解释性。

In this work, we propose the novel Prototypical Graph Regression Self-explainable Trees (ProGReST) model, which combines prototype learning, soft decision trees, and Graph Neural Networks. In contrast to other works, our model can be used to address various challenging tasks, including compound property prediction. In ProGReST, the rationale is obtained along with prediction due to the model's built-in interpretability. Additionally, we introduce a new graph prototype projection to accelerate model training. Finally, we evaluate PRoGReST on a wide range of chemical datasets for molecular property prediction and perform in-depth analysis with chemical experts to evaluate obtained interpretations. Our method achieves competitive results against state-of-the-art methods.

IMPORTANCE: An interpretable machine learning model can provide faithful explanations of each prediction and yet maintain higher performance than its black box counterpart. OBJECTIVE: To design an interpretable machine learning model which accurately predicts EEG protopatterns while providing an explanation of its predictions with assistance of a specialized GUI. To map the cEEG latent features to a 2D space in order to visualize the ictal-interictal-injury continuum and gain insight into its high-dimensional structure. DESIGN, SETTING, AND PARTICIPANTS: 50,697 50-second cEEG samples from 2,711 ICU patients collected between July 2006 and March 2020 at Massachusetts General Hospital. Samples were labeled as one of 6 EEG activities by domain experts, with 124 different experts providing annotations. MAIN OUTCOMES AND MEASURES: Our neural network is interpretable because it uses case-based reasoning: it compares a new EEG reading to a set of learned prototypical EEG samples from the training dataset. Interpretability was measured with task-specific neighborhood agreement statistics. Discriminatory performance was evaluated with AUROC and AUPRC. RESULTS: The model achieves AUROCs of 0.87, 0.93, 0.96, 0.92, 0.93, 0.80 for classes Seizure, LPD, GPD, LRDA, GRDA, Other respectively. This performance is statistically significantly higher than that of the corresponding uninterpretable (black box) model with p<0.0001. Videos of the ictal-interictal-injury continuum are provided. CONCLUSION AND RELEVANCE: Our interpretable model and GUI can act as a reference for practitioners who work with cEEG patterns. We can now better understand the relationships between different types of cEEG patterns. In the future, this system may allow for targeted intervention and training in clinical settings. It could also be used for re-confirming or providing additional information for diagnostics.

流量分类，即识别网络中流动的应用程序类型，是许多活动（例如，入侵检测，路由）的战略任务。这项任务面临当前深度学习方法无法解决的一些关键挑战。当前方法的设计没有考虑到网络硬件（例如路由器）通常以有限的计算资源运行的事实。此外，他们不满足监管机构强调的忠实解释性的需求。最后，这些流量分类器将在小型数据集上进行评估，这些数据集未能反映现实世界中应用程序的多样性。因此，本文引入了用于互联网交通分类的轻巧，高效且可解释的逐卷卷积神经网络（LEXNET），该网络依赖于新的残留块（用于轻巧和效率目的）和原型层（用于解释性）。基于商业级数据集，我们的评估表明，Lexnet成功地保持了与最佳性能最先进的神经网络相同的准确性，同时提供了前面提到的其他功能。此外，我们说明了方法的解释性特征，这源于检测到的应用程序原型与最终用户的交流，我们通过与事后方法的比较来强调Lexnet解释的忠诚。

最近集成了多源胸X射线数据集以改进自动诊断的趋势提出了模型学会利用源特定的相关性以通过识别图像的源域而不是医学病理来提高性能。我们假设这种效果由源区，即对应于源的疾病的患病率来强制执行并利用标记 - 不平衡。因此，在这项工作中，我们彻底研究了Lable-angalance对多源训练的影响，以便在广泛使用的Chestx-ray14和Chexpert数据集上进行肺炎检测任务。结果强调并强调了使用更忠实和透明的自解释模型进行自动诊断的重要性，从而实现了对杂志学习的固有检测。他们进一步说明了在确保标签平衡的源域数据集时可以显着降低学习虚假相关的这种不希望的效果。

尽管近期图形神经网络（GNN）进展，但解释了GNN的预测仍然具有挑战性。现有的解释方法主要专注于后性后解释，其中采用另一种解释模型提供培训的GNN的解释。后HOC方法未能揭示GNN的原始推理过程的事实引发了建立GNN与内置解释性的需求。在这项工作中，我们提出了原型图形神经网络（Protgnn），其将原型学习与GNNS相结合，并提供了对GNN的解释的新视角。在Protgnn中，解释自然地从基于案例的推理过程衍生，并且实际在分类期间使用。通过将输入与潜伏空间中的一些学习原型的输入进行比较来获得ProtGnn的预测。此外，为了更好地解释性和更高的效率，结合了一种新颖的条件子图采样模块，以指示输入图的哪个部分与ProtGnn +中的每个原型最相似。最后，我们在各种数据集中评估我们的方法并进行具体的案例研究。广泛的结果表明，Protgnn和Protgnn +可以提供固有的解释性，同时实现与非可解释对方的准确性有关的准确性。

在医学中，精心策划的图像数据集经常采用离散标签来描述所谓的健康状况与病理状况的连续光谱，例如阿尔茨海默氏病连续体或图像在诊断中起关键点的其他领域。我们提出了一个基于条件变异自动编码器的图像分层的体系结构。我们的框架VAESIM利用连续的潜在空间来表示疾病的连续体并在训练过程中找到簇，然后可以将其用于图像/患者分层。该方法的核心学习一组原型向量，每个向量与群集关联。首先，我们将每个数据样本的软分配给群集。然后，我们根据样品嵌入和簇的原型向量之间的相似性度量重建样品。为了更新原型嵌入，我们使用批处理大小中实际原型和样品之间最相似表示的指数移动平均值。我们在MNIST手写数字数据集和名为Pneumoniamnist的医疗基准数据集上测试了我们的方法。我们证明，我们的方法在两个数据集中针对标准VAE的分类任务（性能提高了15％）的KNN准确性优于基准，并且还以完全监督的方式培训的分类模型同等。我们还展示了我们的模型如何优于无监督分层的当前，端到端模型。

诊断阿尔茨海默氏病（AD）涉及故意诊断过程，这是由于其先天性的不可逆性特征和微妙而逐渐发展。这些特征使AD生物标志物从结构性脑成像（例如结构MRI）扫描非常具有挑战性。此外，很有可能与正常衰老纠缠在一起。我们通过使用临床引导的原型学习，通过可解释的AD可能性图估计（XADLIME）提出了一种新颖的深度学习方法，用于在3D SMRIS上进行AD进展模型。具体而言，我们在潜在临床特征的簇上建立了一组拓扑感知的原型，发现了AD光谱歧管。然后，我们测量潜在临床特征和完善的原型之间的相似性，估计“伪”可能性图。通过将此伪图视为丰富的参考，我们采用估计网络来估算3D SMRI扫描的AD可能性图。此外，我们通过从两个角度揭示了可理解的概述：临床和形态学，促进了这种可能性图的解释性。在推断期间，这张估计的似然图可以替代看不见的SMRI扫描，以有效地执行下游任务，同时提供彻底的可解释状态。

While deep reinforcement learning has proven to be successful in solving control tasks, the "black-box" nature of an agent has received increasing concerns. We propose a prototype-based post-hoc policy explainer, ProtoX, that explains a blackbox agent by prototyping the agent's behaviors into scenarios, each represented by a prototypical state. When learning prototypes, ProtoX considers both visual similarity and scenario similarity. The latter is unique to the reinforcement learning context, since it explains why the same action is taken in visually different states. To teach ProtoX about visual similarity, we pre-train an encoder using contrastive learning via self-supervised learning to recognize states as similar if they occur close together in time and receive the same action from the black-box agent. We then add an isometry layer to allow ProtoX to adapt scenario similarity to the downstream task. ProtoX is trained via imitation learning using behavior cloning, and thus requires no access to the environment or agent. In addition to explanation fidelity, we design different prototype shaping terms in the objective function to encourage better interpretability. We conduct various experiments to test ProtoX. Results show that ProtoX achieved high fidelity to the original black-box agent while providing meaningful and understandable explanations.

与临床上建立的疾病类别相比，缺乏大型标记的医学成像数据集以及个体间的显着可变性，在精确医学范式中利用医学成像信息方面面临重大挑战个体预测和/或将患者分为较细粒的群体，这些群体可能遵循更多均匀的轨迹，从而赋予临床试验能力。为了有效地探索以无监督的方式探索医学图像中有效的自由度可变性，在这项工作中，我们提出了一个无监督的自动编码器框架，并增加了对比度损失，以鼓励潜在空间中的高可分离性。该模型在（医学）基准数据集上进行了验证。由于群集标签是根据集群分配分配给每个示例的，因此我们将性能与监督的转移学习基线进行比较。我们的方法达到了与监督体系结构相似的性能，表明潜在空间中的分离再现了专家医学观察者分配的标签。所提出的方法可能对患者分层有益，探索较大类或病理连续性的新细分，或者由于其在变化环境中的采样能力，因此医学图像处理中的数据增强。

重要性采样（IS）通常用于执行违规策略评估，但容易出现几个问题，特别是当行为策略未知并且必须从数据估计时。由于例如高方差和非评估动作，目标和行为策略之间的显着差异可能导致不确定的值估计。如果使用黑盒式模型估计行为策略，则可能很难诊断潜在的问题，并确定哪些输入策略在其建议的动作和结果中不同。为了解决这个问题，我们建议估算使用原型学习的行为策略。我们在评估败血症处理的政策时应用这种方法，展示了原型如何在目标和行为政策之间提供凝聚率的差异摘要，同时保留与基线估计相当的准确性。我们还描述了原型的估计值，以更好地了解目标政策的哪些部分对估计产生最大影响。使用模拟器，我们研究限制模型以使用原型的偏差。

原型零件网络（Protopnet）引起了广泛的关注，并增加了许多随访研究，因为它的自我解释特性可解释人工智能（XAI）。但是，当直接在视觉变压器（VIT）骨架上应用原始网络时，学到的原型存在“分心”问题：它们具有相对较高的可能性，即被背景激活，并且对前景的关注较少。建模长期依赖性的强大能力使得基于变压器的Protopnet难以专注于原型部分，从而严重损害了其固有的解释性。本文提出了原型零件变压器（ProtoPformer），以适当有效地应用基于原型的方法，并使用VIT进行可解释的图像识别。提出的方法介绍了根据VIT的建筑特征捕获和突出目标的代表性整体和部分特征的全局和局部原型。采用了全球原型，以提供对象的全球视图，以指导本地原型集中在前景上，同时消除背景的影响。之后，明确监督局部原型，以专注于它们各自的原型视觉部分，从而提高整体可解释性。广泛的实验表明，我们提出的全球和本地原型可以相互纠正并共同做出最终决策，这些决策分别忠实，透明地从整体和地方的角度缔合过程。此外，ProtoPformer始终取得优于基于原型的原型基线（SOTA）的卓越性能和可视化结果。我们的代码已在https://github.com/zju-vipa/protopformer上发布。

ProtoPNet and its follow-up variants (ProtoPNets) have attracted broad research interest for their intrinsic interpretability from prototypes and comparable accuracy to non-interpretable counterparts. However, it has been recently found that the interpretability of prototypes can be corrupted due to the semantic gap between similarity in latent space and that in input space. In this work, we make the first attempt to quantitatively evaluate the interpretability of prototype-based explanations, rather than solely qualitative evaluations by some visualization examples, which can be easily misled by cherry picks. To this end, we propose two evaluation metrics, termed consistency score and stability score, to evaluate the explanation consistency cross images and the explanation robustness against perturbations, both of which are essential for explanations taken into practice. Furthermore, we propose a shallow-deep feature alignment (SDFA) module and a score aggregation (SA) module to improve the interpretability of prototypes. We conduct systematical evaluation experiments and substantial discussions to uncover the interpretability of existing ProtoPNets. Experiments demonstrate that our method achieves significantly superior performance to the state-of-the-arts, under both the conventional qualitative evaluations and the proposed quantitative evaluations, in both accuracy and interpretability. Codes are available at https://github.com/hqhQAQ/EvalProtoPNet.

深度学习的显着成功引起了人们对医学成像诊断的应用的兴趣。尽管最新的深度学习模型在分类不同类型的医学数据方面已经达到了人类水平的准确性，但这些模型在临床工作流程中几乎不采用，这主要是由于缺乏解释性。深度学习模型的黑盒子性提出了制定策略来解释这些模型的决策过程的必要性，从而导致了可解释的人工智能（XAI）主题的创建。在这种情况下，我们对应用于医学成像诊断的XAI进行了详尽的调查，包括视觉，基于示例和基于概念的解释方法。此外，这项工作回顾了现有的医学成像数据集和现有的指标，以评估解释的质量。此外，我们还包括一组基于报告生成的方法的性能比较。最后，还讨论了将XAI应用于医学成像以及有关该主题的未来研究指示的主要挑战。