子图识别旨在发现对图表属性最具信息的图表的压缩子结构。可以通过使用相互信息估计器优化图形信息瓶颈（GIB）来配制它。然而，由于图数据的相互信息本质上难以估计，GIB遭到培训不稳定。本文介绍了一种噪声注入方法，用于压缩子图中的信息，这导致了一种新颖的变分图信息瓶颈（VGIB）框架。VGIB允许对其在温和假设下的物镜的易变分别近似。因此，VGIB享有更稳定和高效的培训过程 - 我们发现VGIB在练习中提高表演的速度快10倍。广泛的图形解释实验，图形神经网络的解释性，图表分类显示VGIB发现比现有方法更好的子图。

图形神经网络（GNNS）在广泛的应用方面显示了有希望的结果。 GNN的大多数实证研究直接将观察图视为输入，假设观察到的结构完美地描绘了节点之间的准确性和完全关系。然而，现实世界中的图形是不可避免的或不完整的，甚至可以加剧图表表示的质量。在这项工作中，我们提出了一种新颖的变分信息瓶颈引导图形结构学习框架，即vib-gsl，在信息理论的角度下。 VIB-GSL推进了图形结构学习的信息瓶颈（IB）原则，为挖掘潜在的任务关系提供了更优雅且普遍的框架。 VIB-GSL了解一个信息和压缩图形结构，用于蒸馏出特定的下游任务的可操作信息。 VIB-GSL为不规则图数据推导了变化近似，以形成促进训练稳定性的易切换IB目标函数。广泛的实验结果表明，VIB-GSL的卓越有效性和鲁棒性。

由于图形神经网络（GNN）在各个域中的出色性能，因此对GNN解释问题越来越感兴趣“ \ emph {输入图的哪一部分是决定模型决定的最关键？}“现有的解释？方法集中在监督的设置，例如节点分类和图形分类上，而无监督的图形表示学习的解释仍未探索。当部署高级决策情况时，图表表示的不透明可能会导致意外风险。在本文中，我们推进了信息瓶颈原理（IB），以解决无监督的图表表示所提出的解释问题，这导致了一个新颖的原理，\ textit {无监督的子图表信息瓶颈}（USIB）。我们还理论上分析了标签空间上图表和解释子图之间的联系，这表明表示的表现力和鲁棒性有益于解释性子图的保真度。合成和现实世界数据集的实验结果证明了我们发达的解释器的优越性以及我们的理论分析的有效性。

作为图形神经网络（GNNS）在数字病理学中被广泛采用，越来越关注GNN的发出解释模型（解释器），以提高临床决策的透明度。现有的解释者发现与预测相关的解释性子图。然而，这种子图不足以揭示预测的所有关键生物学子结构，因为在去除该子图之后预测将保持不变。因此，解释性子图不仅应该需要预测，而且应该足以揭示用于解释的最具预测区域。这种解释需要测量从不同输入子图传送到预测输出的信息，我们将其定义为信息流。在这项工作中，我们解决了这些关键挑战并提出了IFExplainer，它为GNN产生了必要和充分的解释。为了评估GNN预测中的信息流，我们首先提出了一种新颖的预测性概念，命名为$ F $ -Information，它是定向的，并包含GNN模型的现实容量。基于它，IFExplainer产生具有最大信息流到预测的解释性子图。同时，在去除解释之后，它最小化了从输入到预测结果的信息流。因此，所产生的解释对于预测并且足以揭示最重要的子结构是重要的。我们评估IFExplainer以解释GNN对乳腺癌亚型的预测。 BRACS数据集的实验结果显示了该方法的卓越性能。

本文着重于由于看不见的分布变化而导致性能下降的图表上的分布概括。以前的图形域概括始终诉诸于不同源域之间的不变预测因子。但是，他们假设在培训期间提供了足够的源域，为现实应用带来了巨大挑战。相比之下，我们通过从源域中构造多个种群来提出一个新的图形域概括框架，称为DPS。具体而言，DPS旨在发现多个\ textbf {d} iverse和\ textbf {p}可redictable \ textbf {s}带有一组发电机的ubgraphs，即，子图是彼此不同的，但它们彼此不同，但所有这些都与相同的语义共享输入图。这些生成的源域被利用以学习跨域的\ textIt {Equi-Prestivical}图神经网络（GNN），这有望很好地概括到看不见的目标域。通常，DPS是模型不合时宜的，可以与各种GNN骨架合并。节点级别和图形基准测试的广泛实验表明，所提出的DPS为各种图形域概括任务实现了令人印象深刻的性能。

需要解释的图表学习是需要的，因为许多科学应用都取决于学习模型来从图形结构数据中收集见解。先前的工作主要集中在使用事后方法来解释预训练的模型（尤其是图形神经网络模型）。他们反对固有的可解释模型，因为对这些模型的良好解释通常是以其预测准确性为代价。而且，广泛使用的固有解释的注意力机制通常无法在图形学习任务中提供忠实的解释。在这项工作中，我们通过提出图形随机关注（GSAT）来解决这两个问题，这是一种来自信息瓶颈原理的注意机制。 GSAT利用随机关注来阻止从任务 - 核定图组件中的信息，同时学习降低随机性的注意力以选择与任务相关的子图以进行解释。 GSAT也可以通过随机注意机制应用于微调和解释预训练的模型。八个数据集的广泛实验表明，GSAT在解释AUC中的最高最高为20％$ \ uparrow $，而预测准确性则高于最高的最高$ \ uparrow $。

由于现实世界图形/网络数据中的广泛标签稀缺问题，因此，自我监督的图形神经网络（GNN）非常需要。曲线图对比度学习（GCL），通过训练GNN以其不同的增强形式最大化相同图表之间的表示之间的对应关系，即使在不使用标签的情况下也可以产生稳健和可转移的GNN。然而，GNN由传统的GCL培训经常冒险捕获冗余图形特征，因此可能是脆弱的，并在下游任务中提供子对比。在这里，我们提出了一种新的原理，称为普通的普通GCL（AD-GCL），其使GNN能够通过优化GCL中使用的对抗性图形增强策略来避免在训练期间捕获冗余信息。我们将AD-GCL与理论解释和设计基于可训练的边缘滴加图的实际实例化。我们通过与最先进的GCL方法进行了实验验证了AD-GCL，并在无监督，6 \％$ 14 \％$ 6 \％$ 14 \％$ 6 \％$ 6 \％$ 3 \％$ 3 \％$达到半监督总体学习设置，具有18个不同的基准数据集，用于分子属性回归和分类和社交网络分类。

图形神经网络（GNN）已成为编码图形结构数据的强大工具。由于其广泛的应用程序，越来越需要开发工具来解释GNN如何做出给定的图形结构数据决定。现有的基于学习的GNN解释方法在培训中是特定于任务的，因此遭受了关键的缺点。具体而言，它们无法为使用单个解释器提供多任务预测模型的解释。在GNN以自我监督的方式训练的情况下，他们也无法提供解释，并且在未来的下游任务中使用了结果表示。为了解决这些局限性，我们提出了一个任务不合时宜的GNN解释器（TAGE），该解释器（Tage）独立于下游模型，并在自学人员的情况下接受了训练，而对下游任务不了解。 Tage可以通过看不见的下游任务来解释GNN嵌入模型，并可以有效解释多任务模型。我们的广泛实验表明，通过使用相同的模型来解释多个下游任务的预测，同时实现了与当前最新的GNN解释方法一样好甚至更好的解释质量，可以显着提高解释效率。我们的代码可公开作为DIG库的一部分，网址为https://github.com/divelab/dig/tree/main/main/dig/xgraph/tage/。

学习强大的表示是图形神经网络（GNN）的一个中心主题。它需要从输入图中炼制关键信息，而不是琐碎的模式，以丰富表示。为此，图表注意力和汇集方法占上风。他们主要遵循“学会参加”的范式。它最大限度地提高了上述子图和地面真理标签之间的相互信息。然而，这种训练范例易于捕获微级子图和标签之间的虚假相关性。这种杂散的相关性对分布（ID）测试评估有益，但在分布外（OOD）测试数据中引起差的概括。在这项工作中，我们从因果角度重新审视GNN建模。在我们的因果假设之上，琐碎的信息是关键信息和标签之间的混淆，它在它们之间打开了一个后门路径，使它们保持虚拟相关。因此，我们提出了一个新的解压缩训练范式（DTP），更好地减轻了批评信息的混淆效果并锁存，以提高表示和泛化能力。具体而言，我们采用注意模块解开关键的子图和微不足道的子图。然后我们使每个关键的子图相当与不同的琐碎子图相互作用，以实现稳定的预测。它允许GNN捕获一个更可靠的子图，其与标签的关系跨越不同的分布。我们对综合和现实世界数据集进行了广泛的实验，以证明有效性。

我们研究了图神经网络（GNN）的解释性，作为阐明其工作机制的一步。尽管大多数当前方法都集中在解释图节点，边缘或功能上，但我们认为，作为GNNS的固有功能机制，消息流对执行解释性更为自然。为此，我们在这里提出了一种新颖的方法，即FlowX，以通过识别重要的消息流来解释GNN。为了量化流量的重要性，我们建议遵循合作游戏理论中沙普利价值观的哲学。为了解决计算所有联盟边际贡献的复杂性，我们提出了一个近似方案，以计算类似沙普利的值，作为进一步再分配训练的初步评估。然后，我们提出一种学习算法来训练流量评分并提高解释性。关于合成和现实世界数据集的实验研究表明，我们提出的FlowX导致GNN的解释性提高。

Graph Neural Networks (GNNs) are a powerful tool for machine learning on graphs. GNNs combine node feature information with the graph structure by recursively passing neural messages along edges of the input graph. However, incorporating both graph structure and feature information leads to complex models and explaining predictions made by GNNs remains unsolved. Here we propose GNNEXPLAINER, the first general, model-agnostic approach for providing interpretable explanations for predictions of any GNN-based model on any graph-based machine learning task. Given an instance, GNNEXPLAINER identifies a compact subgraph structure and a small subset of node features that have a crucial role in GNN's prediction. Further, GNNEXPLAINER can generate consistent and concise explanations for an entire class of instances. We formulate GNNEXPLAINER as an optimization task that maximizes the mutual information between a GNN's prediction and distribution of possible subgraph structures. Experiments on synthetic and real-world graphs show that our approach can identify important graph structures as well as node features, and outperforms alternative baseline approaches by up to 43.0% in explanation accuracy. GNNEXPLAINER provides a variety of benefits, from the ability to visualize semantically relevant structures to interpretability, to giving insights into errors of faulty GNNs.

深度学习方法正在实现许多人工智能任务上的不断增长。深层模型的一个主要局限性是它们不适合可解释性。可以通过开发事后技术来解释预测，从而产生解释性领域，从而规避这种限制。最近，关于图像和文本的深层模型的解释性取得了重大进展。在图数据的领域，图形神经网络（GNN）及其解释性正在迅速发展。但是，既没有对GNN解释性方法的统一处理，也没有标准的基准和测试床。在这项调查中，我们提供了当前GNN解释性方法的统一和分类观点。我们对这一主题的统一和分类治疗对现有方法的共同性和差异阐明了灯光，并为进一步的方法论发展奠定了基础。为了促进评估，我们生成了一组专门用于GNN解释性的基准图数据集。我们总结了当前的数据集和指标，以评估GNN的解释性。总的来说，这项工作提供了GNN解释性和评估标准化测试床的统一方法论。

理由定义为最能解释或支持机器学习模型预测的输入功能的子集。基本原理识别改善了神经网络在视觉和语言数据上的普遍性和解释性。在诸如分子和聚合物属性预测之类的图应用中，识别称为图理由的代表性子图结构在图神经网络的性能中起着至关重要的作用。现有的图形合并和/或分发干预方法缺乏示例，无法学习确定最佳图理由。在这项工作中，我们介绍了一个名为“环境替代”的新的增强操作，该操作自动创建虚拟数据示例以改善基本原理识别。我们提出了一个有效的框架，该框架在潜在空间中对真实和增强的示例进行基本环境分离和表示学习，以避免显式图解码和编码的高复杂性。与最近的技术相比，对七个分子和四个聚合物实际数据集进行的实验证明了拟议的基于增强的图形合理化框架的有效性和效率。

图神经网络（GNN）是一类流行的机器学习模型。受到学习解释（L2X）范式的启发，我们提出了L2XGNN，这是一个可解释的GNN的框架，该框架通过设计提供了忠实的解释。L2XGNN学习了一种选择解释性子图（主题）的机制，该机制仅在GNNS消息通话操作中使用。L2XGNN能够为每个输入图选择具有特定属性的子图，例如稀疏和连接。对主题施加这种限制通常会导致更容易解释和有效的解释。几个数据集的实验表明，L2XGNN使用整个输入图实现了与基线方法相同的分类精度，同时确保仅使用提供的解释来进行预测。此外，我们表明L2XGNN能够识别负责预测图形属性的主题。

Uncovering rationales behind predictions of graph neural networks (GNNs) has received increasing attention over recent years. Instance-level GNN explanation aims to discover critical input elements, like nodes or edges, that the target GNN relies upon for making predictions. Though various algorithms are proposed, most of them formalize this task by searching the minimal subgraph which can preserve original predictions. However, an inductive bias is deep-rooted in this framework: several subgraphs can result in the same or similar outputs as the original graphs. Consequently, they have the danger of providing spurious explanations and fail to provide consistent explanations. Applying them to explain weakly-performed GNNs would further amplify these issues. To address this problem, we theoretically examine the predictions of GNNs from the causality perspective. Two typical reasons of spurious explanations are identified: confounding effect of latent variables like distribution shift, and causal factors distinct from the original input. Observing that both confounding effects and diverse causal rationales are encoded in internal representations, we propose a simple yet effective countermeasure by aligning embeddings. Concretely, concerning potential shifts in the high-dimensional space, we design a distribution-aware alignment algorithm based on anchors. This new objective is easy to compute and can be incorporated into existing techniques with no or little effort. Theoretical analysis shows that it is in effect optimizing a more faithful explanation objective in design, which further justifies the proposed approach.

尽管最近在欧几里得数据（例如图像）上使用不变性原理（OOD）概括（例如图像），但有关图数据的研究仍然受到限制。与图像不同，图形的复杂性质给采用不变性原理带来了独特的挑战。特别是，图表上的分布变化可以以多种形式出现，例如属性和结构，因此很难识别不变性。此外，在欧几里得数据上通常需要的域或环境分区通常需要的图形可能非常昂贵。为了弥合这一差距，我们提出了一个新的框架，以捕获图形的不变性，以在各种分配变化下进行保证的OOD概括。具体而言，我们表征了具有因果模型的图形上的潜在分布变化，得出结论，当模型仅关注包含有关标签原因最多信息的子图时，可以实现图形上的OOD概括。因此，我们提出了一个信息理论目标，以提取最大地保留不变的阶级信息的所需子图。用这些子图学习不受分配变化的影响。对合成和现实世界数据集进行的广泛实验，包括在AI ADED药物发现中充满挑战的环境，验证了我们方法的上等OOD概括能力。

由于大型数据集中的深度学习模型需要大量时间和资源，因此希望构建一个小型合成数据集，我们可以通过该数据集充分训练深度学习模型。最近有一些作品通过复杂的BI级优化探索了有关凝结图像数据集的解决方案。例如，数据集冷凝（DC）匹配网络梯度W.R.T.大型数据和小合成数据，在每个外迭代处，网络权重优化了多个步骤。但是，现有方法具有其固有的局限性：（1）它们不直接适用于数据离散的图表； （2）由于所涉及的嵌套优化，冷凝过程在计算上昂贵。为了弥合差距，我们研究了针对图形数据集量身定制的有效数据集冷凝，在该数据集中我们将离散图结构模拟为概率模型。我们进一步提出了一个单步梯度匹配方案，该方案仅执行一个步骤，而无需训练网络权重。我们的理论分析表明，该策略可以生成合成图，从而导致实际图上的分类损失降低。各种图数据集的广泛实验证明了该方法的有效性和效率。特别是，我们能够将数据集大小降低90％，同时大约98％的原始性能，并且我们的方法明显快于多步梯度匹配（例如，CIFAR10中的15倍用于合成500个图）。

Explaining machine learning models is an important and increasingly popular area of research interest. The Shapley value from game theory has been proposed as a prime approach to compute feature importance towards model predictions on images, text, tabular data, and recently graph neural networks (GNNs) on graphs. In this work, we revisit the appropriateness of the Shapley value for GNN explanation, where the task is to identify the most important subgraph and constituent nodes for GNN predictions. We claim that the Shapley value is a non-ideal choice for graph data because it is by definition not structure-aware. We propose a Graph Structure-aware eXplanation (GStarX) method to leverage the critical graph structure information to improve the explanation. Specifically, we define a scoring function based on a new structure-aware value from the cooperative game theory proposed by Hamiache and Navarro (HN). When used to score node importance, the HN value utilizes graph structures to attribute cooperation surplus between neighbor nodes, resembling message passing in GNNs, so that node importance scores reflect not only the node feature importance, but also the node structural roles. We demonstrate that GStarX produces qualitatively more intuitive explanations, and quantitatively improves explanation fidelity over strong baselines on chemical graph property prediction and text graph sentiment classification.

高阶相关性学习在数据表示学习中表现出了优越性，在近几十年来，超图已被广泛使用。基于超图的表示方法（例如HyperGraph神经网络）的性能很大程度上取决于HyperGraph结构的质量。如何在数据之间生成超图结构仍然是一项具有挑战性的任务。缺失和嘈杂的数据可能会导致超图结构中的“不良连接”，并破坏基于超图的表示过程。因此，揭示高阶结构，即观察到的数据背后的超图成为一项紧迫但重要的任务。为了解决这个问题，我们设计了深度图结构学习的一般范式，即DeepHGSL，以优化基于超图表的表示超图结构。具体地，受鲁棒性问题的信息瓶颈原则的启发，我们首先将其扩展到HyperGraph Case，该案例由HyperGraph Information Bottleneck（HIB）原理命名。然后，我们应用此原理来指导超图结构学习，其中引入HIB以构建损耗函数以最大程度地减少超图结构中的嘈杂信息。可以优化超图结构，并且可以认为该过程可以增强正确的连接并削弱训练阶段的错误连接。因此，所提出的方法即使在严重的嘈杂结构上提取更健壮的表示也有益。最后，我们在四个基准数据集上评估该模型以进行表示。与其他最新方法相比，对图形和超图结构数据的实验结果证明了我们方法的有效性和鲁棒性。

In this paper, we investigate the degree of explainability of graph neural networks (GNNs). Existing explainers work by finding global/local subgraphs to explain a prediction, but they are applied after a GNN has already been trained. Here, we propose a meta-learning framework for improving the level of explainability of a GNN directly at training time, by steering the optimization procedure towards what we call `interpretable minima'. Our framework (called MATE, MetA-Train to Explain) jointly trains a model to solve the original task, e.g., node classification, and to provide easily processable outputs for downstream algorithms that explain the model's decisions in a human-friendly way. In particular, we meta-train the model's parameters to quickly minimize the error of an instance-level GNNExplainer trained on-the-fly on randomly sampled nodes. The final internal representation relies upon a set of features that can be `better' understood by an explanation algorithm, e.g., another instance of GNNExplainer. Our model-agnostic approach can improve the explanations produced for different GNN architectures and use any instance-based explainer to drive this process. Experiments on synthetic and real-world datasets for node and graph classification show that we can produce models that are consistently easier to explain by different algorithms. Furthermore, this increase in explainability comes at no cost for the accuracy of the model.