我们介绍Protopool，一个可解释的图像分类模型，其中包含类的原型池。培训比现有方法更直接，因为它不需要修剪阶段。通过向特定类别引入完全可分辨分配的原型来获得它。此外，我们介绍了一种新的焦点相似度，将模型集中在罕见的前景特征上。我们表明Protopool在Cub-200-2011和斯坦福汽车数据集上获得最先进的准确性，大大减少了原型的数量。我们提供了对方法和用户学习的理论分析，以表明我们的原型比具有竞争方法所获得的原型更具独特。

由于其弱监督性，多个实例学习（MIL）在许多现实生活中的机器学习应用中都获得了受欢迎程度。但是，解释MIL滞后的相应努力，通常仅限于提出对特定预测至关重要的袋子的实例。在本文中，我们通过引入Protomil，这是一种新型的自我解释的MIL方法，该方法受到基于案例的推理过程的启发，该方法是基于案例的推理过程，该方法在视觉原型上运行。由于将原型特征纳入对象描述中，Protomil空前加入了模型的准确性和细粒度的可解释性，我们在五个公认的MIL数据集上进行了实验。

When we are faced with challenging image classification tasks, we often explain our reasoning by dissecting the image, and pointing out prototypical aspects of one class or another. The mounting evidence for each of the classes helps us make our final decision. In this work, we introduce a deep network architectureprototypical part network (ProtoPNet), that reasons in a similar way: the network dissects the image by finding prototypical parts, and combines evidence from the prototypes to make a final classification. The model thus reasons in a way that is qualitatively similar to the way ornithologists, physicians, and others would explain to people on how to solve challenging image classification tasks. The network uses only image-level labels for training without any annotations for parts of images. We demonstrate our method on the CUB-200-2011 dataset and the Stanford Cars dataset. Our experiments show that ProtoPNet can achieve comparable accuracy with its analogous non-interpretable counterpart, and when several ProtoPNets are combined into a larger network, it can achieve an accuracy that is on par with some of the best-performing deep models. Moreover, ProtoPNet provides a level of interpretability that is absent in other interpretable deep models. * Contributed equally † DISTRIBUTION STATEMENT A. Approved for public release. Distribution is unlimited.

ProtoPNet and its follow-up variants (ProtoPNets) have attracted broad research interest for their intrinsic interpretability from prototypes and comparable accuracy to non-interpretable counterparts. However, it has been recently found that the interpretability of prototypes can be corrupted due to the semantic gap between similarity in latent space and that in input space. In this work, we make the first attempt to quantitatively evaluate the interpretability of prototype-based explanations, rather than solely qualitative evaluations by some visualization examples, which can be easily misled by cherry picks. To this end, we propose two evaluation metrics, termed consistency score and stability score, to evaluate the explanation consistency cross images and the explanation robustness against perturbations, both of which are essential for explanations taken into practice. Furthermore, we propose a shallow-deep feature alignment (SDFA) module and a score aggregation (SA) module to improve the interpretability of prototypes. We conduct systematical evaluation experiments and substantial discussions to uncover the interpretability of existing ProtoPNets. Experiments demonstrate that our method achieves significantly superior performance to the state-of-the-arts, under both the conventional qualitative evaluations and the proposed quantitative evaluations, in both accuracy and interpretability. Codes are available at https://github.com/hqhQAQ/EvalProtoPNet.

In this work, we propose the novel Prototypical Graph Regression Self-explainable Trees (ProGReST) model, which combines prototype learning, soft decision trees, and Graph Neural Networks. In contrast to other works, our model can be used to address various challenging tasks, including compound property prediction. In ProGReST, the rationale is obtained along with prediction due to the model's built-in interpretability. Additionally, we introduce a new graph prototype projection to accelerate model training. Finally, we evaluate PRoGReST on a wide range of chemical datasets for molecular property prediction and perform in-depth analysis with chemical experts to evaluate obtained interpretations. Our method achieves competitive results against state-of-the-art methods.

原型零件网络（Protopnet）引起了广泛的关注，并增加了许多随访研究，因为它的自我解释特性可解释人工智能（XAI）。但是，当直接在视觉变压器（VIT）骨架上应用原始网络时，学到的原型存在“分心”问题：它们具有相对较高的可能性，即被背景激活，并且对前景的关注较少。建模长期依赖性的强大能力使得基于变压器的Protopnet难以专注于原型部分，从而严重损害了其固有的解释性。本文提出了原型零件变压器（ProtoPformer），以适当有效地应用基于原型的方法，并使用VIT进行可解释的图像识别。提出的方法介绍了根据VIT的建筑特征捕获和突出目标的代表性整体和部分特征的全局和局部原型。采用了全球原型，以提供对象的全球视图，以指导本地原型集中在前景上，同时消除背景的影响。之后，明确监督局部原型，以专注于它们各自的原型视觉部分，从而提高整体可解释性。广泛的实验表明，我们提出的全球和本地原型可以相互纠正并共同做出最终决策，这些决策分别忠实，透明地从整体和地方的角度缔合过程。此外，ProtoPformer始终取得优于基于原型的原型基线（SOTA）的卓越性能和可视化结果。我们的代码已在https://github.com/zju-vipa/protopformer上发布。

机器学习已广泛采用在许多领域，包括高赌注应用，如医疗保健，金融和刑事司法。为了满足公平，问责制和透明度的担忧，这些关键域中的机器学习模型的预测必须是可解释的。通过整合深度神经网络的力量以及基于案例的推理来产生准确尚不可解释的图像分类模型来实现这一挑战的一系列挑战。这些模型通常通过将其与培训期间学习的原型进行比较来分类输入图像，以“这看起来这样的形式产生解释”。然而，来自这一工作行的方法使用空间刚性原型，这不能明确地解释姿势变化。在本文中，我们通过提出基于案例的可解释的神经网络来解决这种缺点，该神经网络提供空间柔性原型，称为可变形的原型部件网络（可变形Protopnet）。在可变形的Protopnet中，每个原型由若干原型部分组成，其根据输入图像自适应地改变其相对空间位置。这使得每个原型能够检测具有更高的空间变换容差的对象特征，因为允许原型内的部件移动。因此，可变形的Protopnet可以明确地捕获姿势变化，提高模型精度和所提供的解释的丰富性。与使用原型的其他基于案例的可解释模型相比，我们的方法实现了竞争精度，提供了更大的上下文的解释，并且更容易训练，从而使得更广泛地利用可解释模型来进行计算机视觉的可解释模型。

卷积神经网络（CNN）在一系列医学成像任务中表现出了出色的性能。但是，常规的CNN无法解释其推理过程，因此限制了它们在临床实践中的采用。在这项工作中，我们建议使用基于相似性的比较（Indightr-net）回归的固有解释的CNN，并演示了我们关于糖尿病性视网膜病变的任务的方法。结合到体系结构中的原型层可以可视化图像中与学到的原型最相似的区域。然后将最终预测直观地建模为原型标签的平均值，并由相似性加权。与重新网基的基线相比，我们在无效的网络中实现了竞争性预测性能，这表明没有必要损害性能以实现可解释性。此外，我们使用稀疏性和多样性量化了解释的质量，这两个概念对良好的解释很重要，并证明了几个参数对潜在空间嵌入的影响。

可解释的人工智能（XAI）的新兴领域旨在为当今强大但不透明的深度学习模型带来透明度。尽管本地XAI方法以归因图的形式解释了个体预测，从而确定了重要特征的发生位置（但没有提供有关其代表的信息），但全局解释技术可视化模型通常学会的编码的概念。因此，两种方法仅提供部分见解，并留下将模型推理解释的负担。只有少数当代技术旨在将本地和全球XAI背后的原则结合起来，以获取更多信息的解释。但是，这些方法通常仅限于特定的模型体系结构，或对培训制度或数据和标签可用性施加其他要求，这实际上使事后应用程序成为任意预训练的模型。在这项工作中，我们介绍了概念相关性传播方法（CRP）方法，该方法结合了XAI的本地和全球观点，因此允许回答“何处”和“ where”和“什么”问题，而没有其他约束。我们进一步介绍了相关性最大化的原则，以根据模型对模型的有用性找到代表性的示例。因此，我们提高了对激活最大化及其局限性的共同实践的依赖。我们证明了我们方法在各种环境中的能力，展示了概念相关性传播和相关性最大化导致了更加可解释的解释，并通过概念图表，概念组成分析和概念集合和概念子区和概念子区和概念子集和定量研究对模型的表示和推理提供了深刻的见解。它们在细粒度决策中的作用。

对于使用高性能机器学习算法通常不透明的决策，人们越来越担心。用特定于领域的术语对推理过程的解释对于在医疗保健等风险敏感领域中采用至关重要。我们认为，机器学习算法应该可以通过设计来解释，并且表达这些解释的语言应与域和任务有关。因此，我们将模型的预测基于数据的用户定义和特定于任务的二进制函数，每个都对最终用户有明确的解释。然后，我们最大程度地减少了在任何给定输入上准确预测所需的预期查询数。由于解决方案通常是棘手的，因此在事先工作之后，我们根据信息增益顺序选择查询。但是，与以前的工作相反，我们不必假设查询在有条件地独立。取而代之的是，我们利用随机生成模型（VAE）和MCMC算法（未经调整的Langevin）来选择基于先前的查询 - 答案的输入的最有用的查询。这使得在线确定要解决预测歧义所需的任何深度的查询链。最后，关于视觉和NLP任务的实验证明了我们的方法的功效及其优越性比事后解释的优势。

在许多高风险应用中，人工智能（AI）的预测越来越重要，甚至是必要的，而人类是最终的决策者。在这项工作中，我们提出了两种自我解剖图像分类器的新型架构，这些架构首先解释，然后通过利用查询图像和示例之间的视觉对应关系来预测（与事后解释）。我们的模型始终在分布（OOD）数据集上始终改进（提高1-4分），同时在分布测试中略差（比Resnet-50）和$ k $ near的邻居分类器更差（1至2分）。 （KNN）。通过大规模的人类对成像网和幼崽的研究，我们基于对应的解释对用户的解释比KNN解释更有用。我们的解释可帮助用户更准确地拒绝AI的错误决策，而不是所有其他测试方法。有趣的是，我们首次表明，在ImageNet和Cub图像分类任务中，有可能实现互补的人类团队的准确性（即比Ai-Olone或单词更高）。

由于机器学习越来越多地应用于高冲击，高风险域，因此有许多新方法旨在使AI模型更具人类解释。尽管最近的可解释性工作增长，但缺乏对所提出的技术的系统评价。在这项工作中，我们提出了一种新的人类评估框架蜂巢（可视化解释的人类可解释性），用于计算机愿景中的不同解释性方法;据我们所知，这是它的第一个工作。我们认为，人类研究应该是正确评估方法对人类用户的可解释方式的金标。虽然由于与成本，研究设计和跨方法比较相关的挑战，我们常常避免人类研究，但我们描述了我们的框架如何减轻这些问题并进行IRB批准的四种方法，这些方法是代表解释性的多样性：GradCam，Bagnet ，protopnet和prodotree。我们的结果表明，解释（无论它们是否实际正确）发芽人类信任，但用户对用户不够明确，以区分正确和不正确的预测。最后，我们还开展框架以实现未来的研究，并鼓励更多以人以人为本的解释方法。

没有强烈监督的原始图像学习视觉概念是一个具有挑战性的任务。在这项工作中，我们展示了理解和修改神经概念学习者的潜在空间的原型表示的优势。为此目的，我们介绍交互式概念交换网络（ICSNS），这是一种通过弱监督和隐式原型表示学习概念接地表示的新框架。ICSNS学习通过交换配对图像的潜在表示来将概念信息与特定的原型插槽绑定。这种语义接地和离散的潜在空间有助于人类的理解和人机相互作用。我们通过对我们的小说数据集“基本概念推理”（ECR）进行实验来支持这一主张，重点关注几何对象共享的视觉概念。

我们通过重新访问最近的质心，这是最经典，最简单的分类器之一，这是一个概念上优雅而有效的网络，这是一个概念上优雅而有效的网络，这是一个概念上优雅而有效的网络，这是一个概念上优雅而有效的网络，这是一个概念上优雅而有效的网络，这是一个概念上优雅但令人惊讶的有效网络，这是一个概念上优雅而有效的网络，这是最经典，最简单的分类器之一。当前的深层模型以完全参数的方式学习分类器，忽略了潜在的数据结构，缺乏简单性和解释性。 DNC相反进行非参数，基于案例的推理；它利用训练样本的亚中心来描述类别分布，并清楚地将分类解释为特征空间中测试数据和类亚电视的近距离。由于基于距离的性质，网络输出维度是灵活的，所有可学习的参数仅用于数据嵌入。这意味着在“预训练和微调”范式下，可以将所有用于像素识别学习的知识完全转移到像素识别学习中。除了其嵌套的简单性和直观的决策机制外，DNC甚至可以选择次级抗毒剂作为人类可以查看和检查的实际训练图像时具有临时解释性。与参数对应物相比，DNC在图像分类（CIFAR-10，IMAGENET）和靴子像素识别（ADE20K，CityScapes）方面的性能更好，具有提高的透明度和更少的可学习参数，使用各种网络体系结构（Resnet，SWIN，SWIN）和分割模型（Resnet，Swin）和分裂模型（ FCN，DeepLabv3，Swin）。我们认为这项工作带来了对相关领域的基本见解。

采用注意机制的普遍性引起了人们对注意力分布的解释性的关注。尽管它提供了有关模型如何运行的见解，但由于对模型预测的解释仍然非常怀疑，但它利用了注意力。社区仍在寻求更容易解释的策略，以更好地识别最终决定最大的本地活跃地区。为了提高现有注意模型的解释性，我们提出了一种新型的双线性代表性非参数注意（BR-NPA）策略，该策略捕获了与任务相关的人类解剖信息。目标模型首先要蒸馏以具有高分辨率中间特征图。然后，根据本地成对特征相似性将代表性特征分组，以产生更精确的，更精确的注意力图，突出显示输入的任务相关部分。获得的注意图根据化合物特征的活性水平进行对，该功能提供了有关突出显示区域的重要水平的信息。提出的模型可以很容易地在涉及分类的各种现代深层模型中进行调整。与最先进的注意力模型和可视化方法相比，广泛的定量和定性实验显示了更全面和准确的视觉解释，以及跨多个任务的可视化方法，包括细粒度的图像分类，很少的射击分类和人重新识别，而无需损害该方法分类精度。提出的可视化模型急切地阐明了神经网络如何在不同任务中以不同的方式“注意他们的注意力”。

深层神经网络以其对各种机器学习和人工智能任务的精湛处理而闻名。但是，由于其过度参数化的黑盒性质，通常很难理解深层模型的预测结果。近年来，已经提出了许多解释工具来解释或揭示模型如何做出决策。在本文中，我们回顾了这一研究，并尝试进行全面的调查。具体来说，我们首先介绍并阐明了人们通常会感到困惑的两个基本概念 - 解释和解释性。为了解决解释中的研究工作，我们通过提出新的分类法来阐述许多解释算法的设计。然后，为了了解解释结果，我们还调查了评估解释算法的性能指标。此外，我们总结了使用“可信赖”解释算法评估模型的解释性的当前工作。最后，我们审查并讨论了深层模型的解释与其他因素之间的联系，例如对抗性鲁棒性和从解释中学习，并介绍了一些开源库，以解释算法和评估方法。

解释性成为在批判性方案中部署的机器学习模型的必要功能，例如，法律制度，医疗保健。在这些情况下，算法决策可能具有（潜在负面）对受决策影响的最终用户的持久影响。在许多情况下，不需要深度学习模型的代表性，因此应该优选简单和可解释的模型（例如线性模型）。然而，在高维和/或复杂的域（例如计算机视觉）中，需要神经网络的普遍近似能力。灵感来自线性模型和Kolmogorov-Arnold表示定理，我们提出了一种新颖的一类结构受限的神经网络，我们呼叫FLANS（特征 - 明智的附加网络）。粗略地，FLANS分别处理每个输入特征，为它们中的每一个计算共同潜在空间中的表示。然后简单地求和这些特征明智的表示，并且聚合表示用于预测。这些约束（在线性模型的解释性的核心）允许用户独立于其他特征来估计每个特征的效果，增强解释性。在不同领域的一组实验中，我们展示了如何在不妥协的情况下进行测试性能，弗拉斯提出的结构约束确实有助于深入学习模型的可解释性。我们通过最近引入的指标定量比较氟玻璃对后HOC方法的可解释性，讨论了在HOC分析后本地可解释模型的优势。

这项调查回顾了对基于视觉的自动驾驶系统进行行为克隆训练的解释性方法。解释性的概念具有多个方面，并且需要解释性的驾驶强度是一种安全至关重要的应用。从几个研究领域收集贡献，即计算机视觉，深度学习，自动驾驶，可解释的AI（X-AI），这项调查可以解决几点。首先，它讨论了从自动驾驶系统中获得更多可解释性和解释性的定义，上下文和动机，以及该应用程序特定的挑战。其次，以事后方式为黑盒自动驾驶系统提供解释的方法是全面组织和详细的。第三，详细介绍和讨论了旨在通过设计构建更容易解释的自动驾驶系统的方法。最后，确定并检查了剩余的开放挑战和潜在的未来研究方向。

In the last years many accurate decision support systems have been constructed as black boxes, that is as systems that hide their internal logic to the user. This lack of explanation constitutes both a practical and an ethical issue. The literature reports many approaches aimed at overcoming this crucial weakness sometimes at the cost of scarifying accuracy for interpretability. The applications in which black box decision systems can be used are various, and each approach is typically developed to provide a solution for a specific problem and, as a consequence, delineating explicitly or implicitly its own definition of interpretability and explanation. The aim of this paper is to provide a classification of the main problems addressed in the literature with respect to the notion of explanation and the type of black box system. Given a problem definition, a black box type, and a desired explanation this survey should help the researcher to find the proposals more useful for his own work. The proposed classification of approaches to open black box models should also be useful for putting the many research open questions in perspective.

神经网络（NNS）和决策树（DTS）都是机器学习的流行模型，但具有相互排斥的优势和局限性。为了带来两个世界中的最好，提出了各种方法来明确或隐式地集成NN和DTS。在这项调查中，这些方法是在我们称为神经树（NTS）的学校中组织的。这项调查旨在对NTS进行全面审查，并尝试确定它们如何增强模型的解释性。我们首先提出了NTS的彻底分类学，该分类法表达了NNS和DTS的逐步整合和共同进化。之后，我们根据NTS的解释性和绩效分析，并建议解决其余挑战的可能解决方案。最后，这项调查以讨论有条件计算和向该领域的有希望的方向进行讨论结束。该调查中审查的论文列表及其相应的代码可在以下网址获得：https：//github.com/zju-vipa/awesome-neural-trees