作为当今最受欢迎的机器学习模型之一，Graph神经网络（GNN）最近引起了激烈的兴趣，其解释性也引起了人们的兴趣。用户对更好地了解GNN模型及其结果越来越感兴趣。不幸的是，当今的GNN评估框架通常依赖于合成数据集，从而得出有限范围的结论，因为问题实例缺乏复杂性。由于GNN模型被部署到更关键的任务应用程序中，因此我们迫切需要使用GNN解释性方法的共同评估协议。在本文中，据我们最大的知识，我们提出了针对GNN解释性的第一个系统评估框架，考虑了三种不同的“用户需求”的解释性：解释焦点，掩盖性质和掩蔽转换。我们提出了一个独特的指标，该指标将忠诚度措施结合在一起，并根据其足够或必要的质量对解释进行分类。我们将自己范围用于节点分类任务，并比较GNN的输入级解释性领域中最具代表性的技术。对于广泛使用的合成基准测试，令人惊讶的是，诸如个性化Pagerank之类的浅水技术在最小计算时间内具有最佳性能。但是，当图形结构更加复杂并且节点具有有意义的特征时，根据我们的评估标准，基于梯度的方法，尤其是显着性。但是，没有人在所有评估维度上占主导地位，而且总会有一个权衡。我们在eBay图上的案例研究中进一步应用了我们的评估协议，以反映生产环境。

深度学习方法正在实现许多人工智能任务上的不断增长。深层模型的一个主要局限性是它们不适合可解释性。可以通过开发事后技术来解释预测，从而产生解释性领域，从而规避这种限制。最近，关于图像和文本的深层模型的解释性取得了重大进展。在图数据的领域，图形神经网络（GNN）及其解释性正在迅速发展。但是，既没有对GNN解释性方法的统一处理，也没有标准的基准和测试床。在这项调查中，我们提供了当前GNN解释性方法的统一和分类观点。我们对这一主题的统一和分类治疗对现有方法的共同性和差异阐明了灯光，并为进一步的方法论发展奠定了基础。为了促进评估，我们生成了一组专门用于GNN解释性的基准图数据集。我们总结了当前的数据集和指标，以评估GNN的解释性。总的来说，这项工作提供了GNN解释性和评估标准化测试床的统一方法论。

解释机器学习决策的问题是经过深入研究和重要的。我们对一种涉及称为图形神经网络的图形数据的特定类型的机器学习模型感兴趣。众所周知，由于缺乏公认的基准，评估图形神经网络（GNN）的可解释性方法是具有挑战性的。鉴于GNN模型，存在几种可解释性方法来解释具有多种（有时相互矛盾的）方法论的GNN模型。在本文中，我们提出了一个基准，用于评估称为Bagel的GNN的解释性方法。在百吉饼中，我们首先提出了四种不同的GNN解释评估制度 - 1）忠诚，2）稀疏性，3）正确性。 4）合理性。我们在现有文献中调和多个评估指标，并涵盖了各种概念以进行整体评估。我们的图数据集范围从引文网络，文档图，到分子和蛋白质的图。我们对四个GNN模型和九个有关节点和图形分类任务的事后解释方法进行了广泛的实证研究。我们打开基准和参考实现，并在https://github.com/mandeep-rathee/bagel-benchmark上提供它们。

Graph Neural Networks (GNNs) are a powerful tool for machine learning on graphs. GNNs combine node feature information with the graph structure by recursively passing neural messages along edges of the input graph. However, incorporating both graph structure and feature information leads to complex models and explaining predictions made by GNNs remains unsolved. Here we propose GNNEXPLAINER, the first general, model-agnostic approach for providing interpretable explanations for predictions of any GNN-based model on any graph-based machine learning task. Given an instance, GNNEXPLAINER identifies a compact subgraph structure and a small subset of node features that have a crucial role in GNN's prediction. Further, GNNEXPLAINER can generate consistent and concise explanations for an entire class of instances. We formulate GNNEXPLAINER as an optimization task that maximizes the mutual information between a GNN's prediction and distribution of possible subgraph structures. Experiments on synthetic and real-world graphs show that our approach can identify important graph structures as well as node features, and outperforms alternative baseline approaches by up to 43.0% in explanation accuracy. GNNEXPLAINER provides a variety of benefits, from the ability to visualize semantically relevant structures to interpretability, to giving insights into errors of faulty GNNs.

由于算法预测对人类的影响增加，模型解释性已成为机器学习（ML）的重要问题。解释不仅可以帮助用户了解为什么ML模型做出某些预测，还可以帮助用户了解这些预测如何更改。在本论文中，我们研究了从三个有利位置的ML模型的解释性：算法，用户和教学法，并为解释性问题贡献了一些新颖的解决方案。

图形神经网络（GNN）已证明图形数据的预测性能显着提高。同时，这些模型的预测通常很难解释。在这方面，已经做出了许多努力来从gnnexplainer，XGNN和PGEXPlainer等角度解释这些模型的预测机制。尽管这样的作品呈现出系统的框架来解释GNN，但对于可解释的GNN的整体评论是不可用的。在这项调查中，我们介绍了针对GNN开发的解释性技术的全面综述。我们专注于可解释的图形神经网络，并根据可解释方法的使用对它们进行分类。我们进一步为GNNS解释提供了共同的性能指标，并指出了几个未来的研究指标。

我们研究了图神经网络（GNN）的解释性，作为阐明其工作机制的一步。尽管大多数当前方法都集中在解释图节点，边缘或功能上，但我们认为，作为GNNS的固有功能机制，消息流对执行解释性更为自然。为此，我们在这里提出了一种新颖的方法，即FlowX，以通过识别重要的消息流来解释GNN。为了量化流量的重要性，我们建议遵循合作游戏理论中沙普利价值观的哲学。为了解决计算所有联盟边际贡献的复杂性，我们提出了一个近似方案，以计算类似沙普利的值，作为进一步再分配训练的初步评估。然后，我们提出一种学习算法来训练流量评分并提高解释性。关于合成和现实世界数据集的实验研究表明，我们提出的FlowX导致GNN的解释性提高。

In this paper, we investigate the degree of explainability of graph neural networks (GNNs). Existing explainers work by finding global/local subgraphs to explain a prediction, but they are applied after a GNN has already been trained. Here, we propose a meta-learning framework for improving the level of explainability of a GNN directly at training time, by steering the optimization procedure towards what we call `interpretable minima'. Our framework (called MATE, MetA-Train to Explain) jointly trains a model to solve the original task, e.g., node classification, and to provide easily processable outputs for downstream algorithms that explain the model's decisions in a human-friendly way. In particular, we meta-train the model's parameters to quickly minimize the error of an instance-level GNNExplainer trained on-the-fly on randomly sampled nodes. The final internal representation relies upon a set of features that can be `better' understood by an explanation algorithm, e.g., another instance of GNNExplainer. Our model-agnostic approach can improve the explanations produced for different GNN architectures and use any instance-based explainer to drive this process. Experiments on synthetic and real-world datasets for node and graph classification show that we can produce models that are consistently easier to explain by different algorithms. Furthermore, this increase in explainability comes at no cost for the accuracy of the model.

在高措施应用中大量部署图神经网络（GNNS）对对噪声的强大解释产生了强烈的需求，这些解释与人类的直觉很好。大多数现有方法通过识别与预测有很强相关性的输入图的子图来生成解释。这些解释对噪声并不强大，因为独立优化单个输入的相关性很容易过分拟合噪声。此外，它们与人类直觉并不十分吻合，因为从输入图中删除已识别的子图并不一定会改变预测结果。在本文中，我们提出了一种新颖的方法，可以通过在类似的输入图上明确建模GNNS的共同决策逻辑来生成对GNN的强大反事实解释。我们的解释自然对噪声是强大的，因为它们是由控制许多类似输入图的GNN的共同决策边界产生的。该解释也与人类的直觉很好地吻合，因为从输入图中的解释中删除了一组边缘，从而显着改变了预测。许多公共数据集上的详尽实验证明了我们方法的出色性能。

由于事后解释越来越多地用于了解图神经网络（GNN）的行为，因此评估GNN解释的质量和可靠性至关重要。但是，评估GNN解释的质量是具有挑战性的，因为现有的图形数据集对给定任务没有或不可靠的基础真相解释。在这里，我们介绍了一个合成图数据生成器ShapeGgen，该生成可以生成各种基准数据集（例如，不同的图形大小，度分布，同粒细胞与异性图）以及伴随着地面真相解释。此外，生成各种合成数据集和相应的基础真相解释的灵活性使我们能够模仿各种现实世界应用程序生成的数据。我们将ShapeGgen和几个现实图形数据集包括在开源图形图库GraphXai中。除了带有基础真相说明的合成和现实图形数据集外，GraphXAI还提供数据加载程序，数据处理功能，可视化器，GNN模型实现和评估指标，以基准基准GNN解释性方法的性能。

Explaining machine learning models is an important and increasingly popular area of research interest. The Shapley value from game theory has been proposed as a prime approach to compute feature importance towards model predictions on images, text, tabular data, and recently graph neural networks (GNNs) on graphs. In this work, we revisit the appropriateness of the Shapley value for GNN explanation, where the task is to identify the most important subgraph and constituent nodes for GNN predictions. We claim that the Shapley value is a non-ideal choice for graph data because it is by definition not structure-aware. We propose a Graph Structure-aware eXplanation (GStarX) method to leverage the critical graph structure information to improve the explanation. Specifically, we define a scoring function based on a new structure-aware value from the cooperative game theory proposed by Hamiache and Navarro (HN). When used to score node importance, the HN value utilizes graph structures to attribute cooperation surplus between neighbor nodes, resembling message passing in GNNs, so that node importance scores reflect not only the node feature importance, but also the node structural roles. We demonstrate that GStarX produces qualitatively more intuitive explanations, and quantitatively improves explanation fidelity over strong baselines on chemical graph property prediction and text graph sentiment classification.

图形神经网络（GNNS）正在快速成为在多个域中学习图形结构化数据的标准方法，但它们在其决策中缺乏透明度。已经开发了几种基于扰动的方法，以提供对GNN的决策过程的见解。由于这是一个早期研究区域，用于评估生成的解释的方法和数据缺乏成熟。我们探索了这些现有的方法，并识别三个主要领域的普通缺陷：（1）合成数据生成过程，（2）评估指标，以及（3）最终呈现解释。为此目的，我们执行一个实证研究，以探索这些陷阱以及他们意外的后果，并提出补救措施来减轻它们的效果。

隐私性和解释性是实现值得信赖的机器学习的两种重要成分。我们通过图形重建攻击研究了图机学习中这两个方面的相互作用。这里的对手的目的是重建给定模型解释的训练数据的图形结构。根据对手可用的不同种类的辅助信息，我们提出了几种图形重建攻击。我们表明，事后功能解释的其他知识大大提高了这些攻击的成功率。此外，我们详细研究了攻击性能相对于三种不同类别的图形神经网络的解释方法的差异：基于梯度，基于扰动和基于替代模型的方法。虽然基于梯度的解释在图形结构方面显示最多，但我们发现这些解释并不总是在实用程序上得分很高。对于其他两类的解释，隐私泄漏随着解释实用程序的增加而增加。最后，我们提出了基于随机响应机制的防御，以释放大大降低攻击成功率的解释。我们的匿名代码可用。

图神经网络（GNN）是一类流行的机器学习模型。受到学习解释（L2X）范式的启发，我们提出了L2XGNN，这是一个可解释的GNN的框架，该框架通过设计提供了忠实的解释。L2XGNN学习了一种选择解释性子图（主题）的机制，该机制仅在GNNS消息通话操作中使用。L2XGNN能够为每个输入图选择具有特定属性的子图，例如稀疏和连接。对主题施加这种限制通常会导致更容易解释和有效的解释。几个数据集的实验表明，L2XGNN使用整个输入图实现了与基线方法相同的分类精度，同时确保仅使用提供的解释来进行预测。此外，我们表明L2XGNN能够识别负责预测图形属性的主题。

Explainability of Graph Neural Networks (GNNs) is critical to various GNN applications but remains an open challenge. A convincing explanation should be both necessary and sufficient simultaneously. However, existing GNN explaining approaches focus on only one of the two aspects, necessity or sufficiency, or a trade-off between the two. To search for the most necessary and sufficient explanation, the Probability of Necessity and Sufficiency (PNS) can be applied since it can mathematically quantify the necessity and sufficiency of an explanation. Nevertheless, the difficulty of obtaining PNS due to non-monotonicity and the challenge of counterfactual estimation limits its wide use. To address the non-identifiability of PNS, we resort to a lower bound of PNS that can be optimized via counterfactual estimation, and propose Necessary and Sufficient Explanation for GNN (NSEG) via optimizing that lower bound. Specifically, we employ nearest neighbor matching to generate counterfactual samples for the features, which is different from the random perturbation. In particular, NSEG combines the edges and node features to generate an explanation, where the common edge explanation is a special case of the combined explanation. Empirical study shows that NSEG achieves excellent performance in generating the most necessary and sufficient explanations among a series of state-of-the-art methods.

图形神经网络（GNN）在各种高桩预测任务中实现了最先进的性能，但是具有不规则结构的图表上的多层聚合使得GNN成为一种更不可解释的模型。先前的方法使用更简单的子图来模拟完整模型，或识别预测原因的完整模型或反事实。这两个方法旨在瞄准两个不同的目标，“模拟性”和“反事实相关”，但目前尚不清楚目标如何共同影响人类理解解释。我们设计用户学习，以调查这些关节效果，并使用该研究结果设计多目标优化（MOO）算法，以查找帕累托最佳解释，可在模拟性和反事实方面得到良好平衡。由于目标模型可以是任何GNN变体，并且由于隐私问题可能无法访问，因此我们使用零顺序信息设计一个搜索算法而不访问目标模型的架构和参数。来自四个应用的九个图表的定量实验表明，帕累托有效的解释主导使用一阶连续优化或离散组合搜索的单目标基线。在鲁棒性和敏感性中进一步评估了解释，以表明他们揭示令人信服的令人信服的能力，同时对可能的混乱持谨慎态度。各种主导的反事件可以证明算法追索权的可行性，这可能促进人类参与使用GNN决策的算法公平性。

图形神经网络（GNN）已成为编码图形结构数据的强大工具。由于其广泛的应用程序，越来越需要开发工具来解释GNN如何做出给定的图形结构数据决定。现有的基于学习的GNN解释方法在培训中是特定于任务的，因此遭受了关键的缺点。具体而言，它们无法为使用单个解释器提供多任务预测模型的解释。在GNN以自我监督的方式训练的情况下，他们也无法提供解释，并且在未来的下游任务中使用了结果表示。为了解决这些局限性，我们提出了一个任务不合时宜的GNN解释器（TAGE），该解释器（Tage）独立于下游模型，并在自学人员的情况下接受了训练，而对下游任务不了解。 Tage可以通过看不见的下游任务来解释GNN嵌入模型，并可以有效解释多任务模型。我们的广泛实验表明，通过使用相同的模型来解释多个下游任务的预测，同时实现了与当前最新的GNN解释方法一样好甚至更好的解释质量，可以显着提高解释效率。我们的代码可公开作为DIG库的一部分，网址为https://github.com/divelab/dig/tree/main/main/dig/xgraph/tage/。

图形神经网络的不透明推理导致缺乏人类的信任。现有的图形网络解释器试图通过提供事后解释来解决此问题，但是，它们无法使模型本身更容易解释。为了填补这一空白，我们介绍了概念编码器模块，这是图形网络的第一个可区分概念 - 发现方法。所提出的方法使图形网络可以通过首先发现图形概念，然后使用这些来解决任务来解释。我们的结果表明，这种方法允许图形网络：（i）达到模型准确性与它们的等效香草版本相当，（ii）发现有意义的概念，以实现高概念完整性和纯度得分，（iii）提供基于高质量的概念逻辑。对其预测的解释，以及（iv）在测试时支持有效的干预措施：这些可以提高人类的信任并显着提高模型绩效。

With the increasing use of Graph Neural Networks (GNNs) in critical real-world applications, several post hoc explanation methods have been proposed to understand their predictions. However, there has been no work in generating explanations on the fly during model training and utilizing them to improve the expressive power of the underlying GNN models. In this work, we introduce a novel explanation-directed neural message passing framework for GNNs, EXPASS (EXplainable message PASSing), which aggregates only embeddings from nodes and edges identified as important by a GNN explanation method. EXPASS can be used with any existing GNN architecture and subgraph-optimizing explainer to learn accurate graph embeddings. We theoretically show that EXPASS alleviates the oversmoothing problem in GNNs by slowing the layer wise loss of Dirichlet energy and that the embedding difference between the vanilla message passing and EXPASS framework can be upper bounded by the difference of their respective model weights. Our empirical results show that graph embeddings learned using EXPASS improve the predictive performance and alleviate the oversmoothing problems of GNNs, opening up new frontiers in graph machine learning to develop explanation-based training frameworks.

图形神经网络（GNN）在高级AI系统中被广泛采用，因为它们在图形数据上的表示能力。即使GNN的解释对于增加对系统的信任至关重要，但由于GNN执行的复杂性，它也是一项挑战。最近，已经提出了许多工作来解决GNN解释中的一些问题。但是，当图形的大小巨大时，它们缺乏概括能力或遭受计算负担。为了应对这些挑战，我们提出了一个多级GNN解释框架，基于观察到GNN是图形数据中多个组件的多模式学习过程。原始问题的复杂性是通过分解为表示为层次结构的多个子部分来放松的。顶级解释旨在指定每个组件对模型执行和预测的贡献，而细粒度的级别则集中于基于知识蒸馏的特征归因和图形结构归因分析。学生模型接受了独立模式的培训，并负责捕获不同的教师行为，后来用于特定的组成部分。此外，我们还旨在实现个性化的解释，因为该框架可以根据用户偏好产生不同的结果。最后，广泛的实验证明了我们提出的方法的有效性和保真度。