最近出现了许多子图增强图神经网络（GNN），可证明增强了标准（消息通话）GNN的表达能力。但是，对这些方法之间的相互关系和weisfeiler层次结构的关系有限。此外，当前的方法要么使用给定尺寸的所有子图，要随机均匀地对其进行采样，或者使用手工制作的启发式方法，而不是学习以数据驱动的方式选择子图。在这里，我们提供了一种统一的方法来研究此类体系结构，通过引入理论框架并扩展了亚图增强GNN的已知表达结果。具体而言，我们表明，增加子图的大小总是会增加表达能力，并通过将它们与已建立的$ k \ text { - } \ Mathsf {Wl} $ hierArchy联系起来，从而更好地理解其局限性。此外，我们还使用最近通过复杂的离散概率分布进行反向传播的方法探索了学习对子图进行采样的不同方法。从经验上讲，我们研究了不同子图增强的GNN的预测性能，表明我们的数据驱动体系结构与非DATA驱动的亚图增强图形神经网络相比，在标准基准数据集上提高了对标准基准数据集的预测准确性，同时减少了计算时间。

尽管（消息通话）图形神经网络在图形或一般关系数据上近似置换量等函数方面具有明显的局限性，但更具表现力的高阶图神经网络不会扩展到大图。他们要么在$ k $ - 订单张量子上操作，要么考虑所有$ k $ - 节点子图，这意味着在内存需求中对$ k $的指数依赖，并且不适合图形的稀疏性。通过为图同构问题引入新的启发式方法，我们设计了一类通用的，置换式的图形网络，与以前的体系结构不同，该网络在表达性和可伸缩性之间提供了细粒度的控制，并适应了图的稀疏性。这些体系结构与监督节点和图形级别的标准高阶网络以及回归体系中的标准高阶图网络相比大大减少了计算时间，同时在预测性能方面显着改善了标准图神经网络和图形内核体系结构。

近年来，基于Weisfeiler-Leman算法的算法和神经架构，是一个众所周知的Graph同构问题的启发式问题，它成为具有图形和关系数据的机器学习的强大工具。在这里，我们全面概述了机器学习设置中的算法的使用，专注于监督的制度。我们讨论了理论背景，展示了如何将其用于监督的图形和节点表示学习，讨论最近的扩展，并概述算法的连接（置换 - ）方面的神经结构。此外，我们概述了当前的应用和未来方向，以刺激进一步的研究。

Knowledge graphs, modeling multi-relational data, improve numerous applications such as question answering or graph logical reasoning. Many graph neural networks for such data emerged recently, often outperforming shallow architectures. However, the design of such multi-relational graph neural networks is ad-hoc, driven mainly by intuition and empirical insights. Up to now, their expressivity, their relation to each other, and their (practical) learning performance is poorly understood. Here, we initiate the study of deriving a more principled understanding of multi-relational graph neural networks. Namely, we investigate the limitations in the expressive power of the well-known Relational GCN and Compositional GCN architectures and shed some light on their practical learning performance. By aligning both architectures with a suitable version of the Weisfeiler-Leman test, we establish under which conditions both models have the same expressive power in distinguishing non-isomorphic (multi-relational) graphs or vertices with different structural roles. Further, by leveraging recent progress in designing expressive graph neural networks, we introduce the $k$-RN architecture that provably overcomes the expressiveness limitations of the above two architectures. Empirically, we confirm our theoretical findings in a vertex classification setting over small and large multi-relational graphs.

消息传递神经网络（MPNNS）是由于其简单性和可扩展性而大部分地进行图形结构数据的深度学习的领先架构。不幸的是，有人认为这些架构的表现力有限。本文提出了一种名为Comifariant Subgraph聚合网络（ESAN）的新颖框架来解决这个问题。我们的主要观察是，虽然两个图可能无法通过MPNN可区分，但它们通常包含可区分的子图。因此，我们建议将每个图形作为由某些预定义策略导出的一组子图，并使用合适的等分性架构来处理它。我们为图同构同构同构造的1立维Weisfeiler-Leman（1-WL）测试的新型变体，并在这些新的WL变体方面证明了ESAN的表达性下限。我们进一步证明，我们的方法增加了MPNNS和更具表现力的架构的表现力。此外，我们提供了理论结果，描述了设计选择诸如子图选择政策和等效性神经结构的设计方式如何影响我们的架构的表现力。要处理增加的计算成本，我们提出了一种子图采样方案，可以将其视为我们框架的随机版本。关于真实和合成数据集的一套全面的实验表明，我们的框架提高了流行的GNN架构的表现力和整体性能。

图形神经网络（GNNS）具有有限的表现力量，无法正确代表许多图形类。虽然更具表现力的图表表示学习（GRL）替代方案可以区分其中一些类，但它们明显难以实现，可能不会很好地扩展，并且尚未显示在现实世界任务中优于经过良好调整的GNN。因此，设计简单，可扩展和表现力的GRL架构，也实现了现实世界的改进仍然是一个开放的挑战。在这项工作中，我们展示了图形重建的程度 - 从其子图重建图形 - 可以减轻GRL架构目前面临的理论和实际问题。首先，我们利用图形重建来构建两个新的表达图表表示。其次，我们展示了图形重建如何提升任何GNN架构的表现力，同时是一个（可证明的）强大的归纳偏见，用于侵略性的侵略性。凭经验，我们展示了重建如何提高GNN的表现力 - 同时保持其与顶点的排列的不变性 - 通过解决原始GNN的七个图形属性任务而无法解决。此外，我们展示了如何在九世界基准数据集中提升最先进的GNN性能。

近年来，图形神经网络（GNNS）被出现为一个强大的神经结构，以学习在监督的端到端时尚中的节点和图表的矢量表示。到目前为止，只有经验评估GNNS - 显示有希望的结果。以下工作从理论的角度调查了GNN，并将它们与1美元 - 二维韦斯美犬 - Leman Graph同构Heuristic（1美元-WL）相关联。我们表明GNNS在区分非同义（子）图表中，GNN具有与1美元-WL相同的表现力。因此，这两种算法也具有相同的缺点。基于此，我们提出了GNN的概括，所谓的$ k $ -dimensional gnns（$ k $ -gnns），这可以考虑多个尺度的高阶图结构。这些高阶结构在社交网络和分子图的表征中起重要作用。我们的实验评估证实了我们的理论调查结果，并确认了更高阶信息在图形分类和回归的任务中有用。

图形神经网络（GNNS）是关于图形机器学习问题的深度学习架构。最近已经表明，GNN的富有效力可以精确地由组合Weisfeiler-Leman算法和有限可变计数逻辑来表征。该对应关系甚至导致了对应于更高维度的WL算法的新的高阶GNN。本文的目的是解释GNN的这些描述性特征。

消息传递神经网络（MPNNs）是格拉夫神经网络（GNN）的一个常见的类型，其中，每个节点的表示是通过聚集从表示其直接邻居（消息）类似于一个星形图案递归计算。 MPNNs的呼吁是有效的，可扩展的，怎么样，曾经它们的表现是由一阶Weisfeiler雷曼同构测试（1-WL）的上界。对此，之前的作品提出在可扩展性的成本极富表现力的模型，有时泛化性能。我们的工作表示这两个政权：我们介绍抬升任何MPNN更加传神，具有可扩展性有限的开销，大大提高了实用性能的总体框架。我们从星星图案一般的子模式（例如，K-egonets）在MPNNs扩展本地聚合实现这一点：在我们的框架中，每个节点表示被计算为周边诱发子的编码，而不是唯一的近邻编码（即一个明星）。我们选择子编码器是一个GNN（主要是MPNNs，考虑到可扩展性）来设计用作一个包装掀任何GNN的总体框架。我们把我们提出的方法GNN-AK（GNN为核心），作为框架用GNNS更换内核类似于卷积神经网络。从理论上讲，我们表明，我们的框架比1和2-WL确实更强大，并且不超过3-WL那么强大。我们还设计子取样策略，可大大降低内存占用和提高速度的同时保持性能。我们的方法将大利润率多家知名图形ML任务新的国家的最先进的性能;具体地，0.08 MAE锌，74.79％和86.887％的准确度上CIFAR10和分别PATTERN。

子图GNNS是最近表达的图形神经网络（GNN）的一类，它们将图形图形为子图的集合。到目前为止，可能的子图GNN体系结构的设计空间及其基本理论属性仍然在很大程度上尚未探索。在本文中，我们研究了子图方法的最突出形式，该方法采用了基于节点的子图选择策略，例如自我网络或节点标记和删除。我们解决了两个中心问题：（1）这些方法的表达能力的上限是什么？ （2）在这些子图集上传递层的模棱两可的消息家族是什么？我们回答这些问题的第一步是一种新颖的对称分析，该分析表明，建模基于节点的子图集的对称性需要比以前的作品中所采用的对称组明显小。然后，该分析用于建立子图GNN和不变图网络（IGNS）之间的联系。我们通过首先通过3-WL来界定子图方法的表达能力，然后提出一个通用子图方法的一般家族，以将所有先前基于节点的子图GNN泛化。最后，我们设计了一个新颖的子图Gnn称为Sun，从理论上讲，该子gnn统一了以前的体系结构，同时在多个基准上提供了更好的经验性能。

近年来，基于Weisfeiler-Leman算法的算法和神经架构，是图形同构的着名启发式问题，它被成为具有图形和关系数据的（监督）机器学习的强大工具。在这里，我们全面概述了机器学习设置中的算法使用。我们讨论了理论背景，展示了如何将其用于监督的图形和节点分类，讨论最近的扩展，以及其与神经结构的连接。此外，我们概述了当前的应用和未来方向，以刺激研究。

在过去十年中，图形内核引起了很多关注，并在结构化数据上发展成为一种快速发展的学习分支。在过去的20年中，该领域发生的相当大的研究活动导致开发数十个图形内核，每个图形内核都对焦于图形的特定结构性质。图形内核已成功地成功地在广泛的域中，从社交网络到生物信息学。本调查的目标是提供图形内核的文献的统一视图。特别是，我们概述了各种图形内核。此外，我们对公共数据集的几个内核进行了实验评估，并提供了比较研究。最后，我们讨论图形内核的关键应用，并概述了一些仍有待解决的挑战。

图形神经网络（GNNS）最流行的设计范例是1跳消息传递 - 反复反复从1跳邻居聚集特征。但是，1-HOP消息传递的表达能力受Weisfeiler-Lehman（1-WL）测试的界定。最近，研究人员通过同时从节点的K-Hop邻居汇总信息传递到K-HOP消息。但是，尚无分析K-Hop消息传递的表达能力的工作。在这项工作中，我们从理论上表征了K-Hop消息传递的表达力。具体而言，我们首先正式区分了两种k-hop消息传递的内核，它们在以前的作品中经常被滥用。然后，我们通过表明它比1-Hop消息传递更强大，从而表征了K-Hop消息传递的表现力。尽管具有较高的表达能力，但我们表明K-Hop消息传递仍然无法区分一些简单的常规图。为了进一步增强其表现力，我们引入了KP-GNN框架，该框架通过利用每个跳跃中的外围子图信息来改善K-HOP消息。我们证明，KP-GNN可以区分几乎所有常规图，包括一些距离常规图，这些图无法通过以前的距离编码方法来区分。实验结果验证了KP-GNN的表达能力和有效性。 KP-GNN在所有基准数据集中都取得了竞争成果。

在本文中，我们提供了一种使用图形神经网络（GNNS）的理论，用于多节点表示学习（我们有兴趣学习一组多个节点的表示）。我们知道GNN旨在学习单节点表示。当我们想学习涉及多个节点的节点集表示时，先前作品中的常见做法是直接将GNN学习的多节点表示与节点集的关节表示。在本文中，我们显示了这种方法的基本限制，即无法捕获节点集中节点之间的依赖性，并且认为直接聚合各个节点表示不会导致多个节点的有效关节表示。然后，我们注意到，以前的一些成功的工作作品用于多节点表示学习，包括密封，距离编码和ID-GNN，所有使用的节点标记。这些方法根据应用GNN之前的与目标节点集的关系，首先标记图中的节点。然后，在标记的图表中获得的节点表示被聚合到节点集表示中。通过调查其内部机制，我们将这些节点标记技术统一到单个和最基本的形式，即标记技巧。我们证明，通过标记技巧，可以获得足够富有表现力的GNN学习最具表现力的节点集表示，因此原则上可以解决节点集的任何联合学习任务。关于一个重要的双节点表示学习任务，链接预测，验证了我们理论的实验。我们的工作建立了使用GNN在节点集上使用GNN进行联合预测任务的理论基础。

我们提出了一个新的图形神经网络，我们称为AgentNet，该网络专为图形级任务而设计。 AgentNet的灵感来自子宫性算法，具有独立于图形大小的计算复杂性。代理Net的体系结构从根本上与已知图神经网络的体系结构不同。在AgentNet中，一些受过训练的\ textit {神经代理}智能地行走图，然后共同决定输出。我们提供了对AgentNet的广泛理论分析：我们表明，代理可以学会系统地探索其邻居，并且AgentNet可以区分某些甚至3-WL无法区分的结构。此外，AgentNet能够将任何两个图形分开，这些图在子图方面完全不同。我们通过在难以辨认的图和现实图形分类任务上进行合成实验来确认这些理论结果。在这两种情况下，我们不仅与标准GNN相比，而且与计算更昂贵的GNN扩展相比。

Identifying similar network structures is key to capture graph isomorphisms and learn representations that exploit structural information encoded in graph data. This work shows that ego-networks can produce a structural encoding scheme for arbitrary graphs with greater expressivity than the Weisfeiler-Lehman (1-WL) test. We introduce IGEL, a preprocessing step to produce features that augment node representations by encoding ego-networks into sparse vectors that enrich Message Passing (MP) Graph Neural Networks (GNNs) beyond 1-WL expressivity. We describe formally the relation between IGEL and 1-WL, and characterize its expressive power and limitations. Experiments show that IGEL matches the empirical expressivity of state-of-the-art methods on isomorphism detection while improving performance on seven GNN architectures.

图形神经网络（GNN）是旨在处理图表上图和信号的学习模型。最受欢迎，最成功的GNN是基于消息传递方案的基础。在区分两个非同构图时，这种方案固有地具有有限的表达能力。在本文中，我们依靠覆盖空间的理论来充分表征GNN无法区分的图形类别。然后，我们生成任意生成许多无法通过GNN来区分的非同构图，导致GraphCovers数据集。我们还表明，数据集中没有可区分的图的数量随节点的数量增长。最后，我们在几个GNN体系结构上测试GraphCovers数据集，表明它们都无法区分其包含的任何两个图。

In recent years, graph neural networks (GNNs) have emerged as a promising tool for solving machine learning problems on graphs. Most GNNs are members of the family of message passing neural networks (MPNNs). There is a close connection between these models and the Weisfeiler-Leman (WL) test of isomorphism, an algorithm that can successfully test isomorphism for a broad class of graphs. Recently, much research has focused on measuring the expressive power of GNNs. For instance, it has been shown that standard MPNNs are at most as powerful as WL in terms of distinguishing non-isomorphic graphs. However, these studies have largely ignored the distances between the representations of nodes/graphs which are of paramount importance for learning tasks. In this paper, we define a distance function between nodes which is based on the hierarchy produced by the WL algorithm, and propose a model that learns representations which preserve those distances between nodes. Since the emerging hierarchy corresponds to a tree, to learn these representations, we capitalize on recent advances in the field of hyperbolic neural networks. We empirically evaluate the proposed model on standard node and graph classification datasets where it achieves competitive performance with state-of-the-art models.

图表学习方法的理论分析通常假设输入图的完全观察。由于实践中的可扩展性问题，这种假设可能对处理任何大小的图表都不有用。在这项工作中，我们在部分观察设置中开发了图形分类问题的理论框架（即，子图采样）。在图形限制理论中配备了洞察力，我们提出了一种新的图形分类模型，用于在随机采样的子图和新颖的拓扑上工作，以表征模型的可颂扬性。我们的理论框架在图形上提供了迷你批量学习的理论验证，并导致新的学习 - 理论上的泛化界限以及尺寸概括地，而不是输入的假设。

Pre-publication draft of a book to be published byMorgan & Claypool publishers. Unedited version released with permission. All relevant copyrights held by the author and publisher extend to this pre-publication draft.