图形神经网络（GNNS）依赖于图形结构来定义聚合策略，其中每个节点通过与邻居的信息组合来更新其表示。已知GNN的限制是，随着层数的增加，信息被平滑，压扁并且节点嵌入式变得无法区分，对性能产生负面影响。因此，实用的GNN模型雇用了几层，只能在每个节点周围的有限邻域利用图形结构。不可避免地，实际的GNN不会根据图的全局结构捕获信息。虽然有几种研究GNNS的局限性和表达性，但是关于图形结构数据的实际应用的问题需要全局结构知识，仍然没有答案。在这项工作中，我们通过向几个GNN模型提供全球信息并观察其对下游性能的影响来认证解决这个问题。我们的研究结果表明，全球信息实际上可以为共同的图形相关任务提供显着的好处。我们进一步确定了一项新的正规化策略，导致所有考虑的任务的平均准确性提高超过5％。

Most graph neural network models rely on a particular message passing paradigm, where the idea is to iteratively propagate node representations of a graph to each node in the direct neighborhood. While very prominent, this paradigm leads to information propagation bottlenecks, as information is repeatedly compressed at intermediary node representations, which causes loss of information, making it practically impossible to gather meaningful signals from distant nodes. To address this issue, we propose shortest path message passing neural networks, where the node representations of a graph are propagated to each node in the shortest path neighborhoods. In this setting, nodes can directly communicate between each other even if they are not neighbors, breaking the information bottleneck and hence leading to more adequately learned representations. Theoretically, our framework generalizes message passing neural networks, resulting in provably more expressive models, and we show that some recent state-of-the-art models are special instances of this framework. Empirically, we verify the capacity of a basic model of this framework on dedicated synthetic experiments, and on real-world graph classification and regression benchmarks, and obtain state-of-the-art results.

Pre-publication draft of a book to be published byMorgan & Claypool publishers. Unedited version released with permission. All relevant copyrights held by the author and publisher extend to this pre-publication draft.

Learning node embeddings that capture a node's position within the broader graph structure is crucial for many prediction tasks on graphs. However, existing Graph Neural Network (GNN) architectures have limited power in capturing the position/location of a given node with respect to all other nodes of the graph. Here we propose Position-aware Graph Neural Networks (P-GNNs), a new class of GNNs for computing position-aware node embeddings. P-GNN first samples sets of anchor nodes, computes the distance of a given target node to each anchor-set, and then learns a non-linear distance-weighted aggregation scheme over the anchor-sets. This way P-GNNs can capture positions/locations of nodes with respect to the anchor nodes. P-GNNs have several advantages: they are inductive, scalable, and can incorporate node feature information. We apply P-GNNs to multiple prediction tasks including link prediction and community detection. We show that P-GNNs consistently outperform state of the art GNNs, with up to 66% improvement in terms of the ROC AUC score.Node embedding methods can be categorized into Graph Neural Networks (GNNs) approaches (Scarselli et al., 2009),

Graph classification is an important area in both modern research and industry. Multiple applications, especially in chemistry and novel drug discovery, encourage rapid development of machine learning models in this area. To keep up with the pace of new research, proper experimental design, fair evaluation, and independent benchmarks are essential. Design of strong baselines is an indispensable element of such works. In this thesis, we explore multiple approaches to graph classification. We focus on Graph Neural Networks (GNNs), which emerged as a de facto standard deep learning technique for graph representation learning. Classical approaches, such as graph descriptors and molecular fingerprints, are also addressed. We design fair evaluation experimental protocol and choose proper datasets collection. This allows us to perform numerous experiments and rigorously analyze modern approaches. We arrive to many conclusions, which shed new light on performance and quality of novel algorithms. We investigate application of Jumping Knowledge GNN architecture to graph classification, which proves to be an efficient tool for improving base graph neural network architectures. Multiple improvements to baseline models are also proposed and experimentally verified, which constitutes an important contribution to the field of fair model comparison.

图表可以模拟实体之间的复杂交互，它在许多重要的应用程序中自然出现。这些应用程序通常可以投入到标准图形学习任务中，其中关键步骤是学习低维图表示。图形神经网络（GNN）目前是嵌入方法中最受欢迎的模型。然而，邻域聚合范例中的标准GNN患有区分\ EMPH {高阶}图形结构的有限辨别力，而不是\ EMPH {低位}结构。为了捕获高阶结构，研究人员求助于主题和开发的基于主题的GNN。然而，现有的基于主基的GNN仍然仍然遭受较少的辨别力的高阶结构。为了克服上述局限性，我们提出了一个新颖的框架，以更好地捕获高阶结构的新框架，铰接于我们所提出的主题冗余最小化操作员和注射主题组合的新颖框架。首先，MGNN生成一组节点表示W.R.T.每个主题。下一阶段是我们在图案中提出的冗余最小化，该主题在彼此相互比较并蒸馏出每个主题的特征。最后，MGNN通过组合来自不同图案的多个表示来执行节点表示的更新。特别地，为了增强鉴别的功率，MGNN利用重新注射功能来组合表示的函数w.r.t.不同的主题。我们进一步表明，我们的拟议体系结构增加了GNN的表现力，具有理论分析。我们展示了MGNN在节点分类和图形分类任务上的七个公共基准上表现出最先进的方法。

在过去十年中，图形内核引起了很多关注，并在结构化数据上发展成为一种快速发展的学习分支。在过去的20年中，该领域发生的相当大的研究活动导致开发数十个图形内核，每个图形内核都对焦于图形的特定结构性质。图形内核已成功地成功地在广泛的域中，从社交网络到生物信息学。本调查的目标是提供图形内核的文献的统一视图。特别是，我们概述了各种图形内核。此外，我们对公共数据集的几个内核进行了实验评估，并提供了比较研究。最后，我们讨论图形内核的关键应用，并概述了一些仍有待解决的挑战。

Neural message passing algorithms for semi-supervised classification on graphs have recently achieved great success. However, for classifying a node these methods only consider nodes that are a few propagation steps away and the size of this utilized neighborhood is hard to extend. In this paper, we use the relationship between graph convolutional networks (GCN) and PageRank to derive an improved propagation scheme based on personalized PageRank. We utilize this propagation procedure to construct a simple model, personalized propagation of neural predictions (PPNP), and its fast approximation, APPNP. Our model's training time is on par or faster and its number of parameters on par or lower than previous models. It leverages a large, adjustable neighborhood for classification and can be easily combined with any neural network. We show that this model outperforms several recently proposed methods for semi-supervised classification in the most thorough study done so far for GCN-like models. Our implementation is available online. 1

近年来，基于Weisfeiler-Leman算法的算法和神经架构，是一个众所周知的Graph同构问题的启发式问题，它成为具有图形和关系数据的机器学习的强大工具。在这里，我们全面概述了机器学习设置中的算法的使用，专注于监督的制度。我们讨论了理论背景，展示了如何将其用于监督的图形和节点表示学习，讨论最近的扩展，并概述算法的连接（置换 - ）方面的神经结构。此外，我们概述了当前的应用和未来方向，以刺激进一步的研究。

变压器架构最近在图表表示学习中引起了人们的注意，因为它自然地克服了图神经网络（GNN）的几个局限性，避免了它们严格的结构电感偏置，而仅通过位置编码来编码图形结构。在这里，我们表明，具有位置编码的变压器生成的节点表示不一定捕获它们之间的结构相似性。为了解决这个问题，我们提出了结构感知的变压器，这是一类简单而灵活的图形变压器，建立在新的自我发项机制的基础上。这一新的自我注意力通过在计算注意力之前提取植根于每个节点的子图表来结合结构信息。我们提出了几种自动生成子图表表示的方法，并从理论上说明结果表示至少与子图表一样表现力。从经验上讲，我们的方法在五个图预测基准上实现了最先进的性能。我们的结构感知框架可以利用任何现有的GNN提取子图表表示，我们表明它系统地改善了相对于基本GNN模型的性能，成功地结合了GNN和变形金刚的优势。我们的代码可在https://github.com/borgwardtlab/sat上找到。

在过去的几年中，图形神经网络（GNN）已成为图形分类的事实上的选择模型。尽管从理论观点来看，大多数GNN可以在任何大小的图表上操作，但从经验上观察到，当它们应用于与训练数据中的尺寸不同的尺寸的图表时，它们的分类性能会降低。以前的工作试图通过为模型提供从图形生成过程的假设或需要从测试域中访问图形的模型来解决图形分类中的此问题。第一个策略与使用临时模型以及在生成过程中做出的假设的质量有关，这使如何在一般环境中改善通用GNN模型的性能。另一方面，第二种策略可以应用于任何GNN，但需要访问并不总是容易获得的信息。在这项工作中，我们考虑只有访问培训数据的情况，我们提出了一种正则化策略，可以应用于任何GNN，以将其概括能力从较小的图表提高到较大的图表，而无需访问测试数据。我们的正则化是基于模拟使用粗糙技术模拟训练图的大小的想法，并强制实施模型以稳健地进行这种转变。标准数据集的实验结果表明，受欢迎的GNN模型在数据集中的50％最小图表上进行了训练，并在10％最大的图表上进行了测试，在接受我们的正则化策略培训时，可获得高达30％的性能提高。

图形神经网络（GNNS）最流行的设计范例是1跳消息传递 - 反复反复从1跳邻居聚集特征。但是，1-HOP消息传递的表达能力受Weisfeiler-Lehman（1-WL）测试的界定。最近，研究人员通过同时从节点的K-Hop邻居汇总信息传递到K-HOP消息。但是，尚无分析K-Hop消息传递的表达能力的工作。在这项工作中，我们从理论上表征了K-Hop消息传递的表达力。具体而言，我们首先正式区分了两种k-hop消息传递的内核，它们在以前的作品中经常被滥用。然后，我们通过表明它比1-Hop消息传递更强大，从而表征了K-Hop消息传递的表现力。尽管具有较高的表达能力，但我们表明K-Hop消息传递仍然无法区分一些简单的常规图。为了进一步增强其表现力，我们引入了KP-GNN框架，该框架通过利用每个跳跃中的外围子图信息来改善K-HOP消息。我们证明，KP-GNN可以区分几乎所有常规图，包括一些距离常规图，这些图无法通过以前的距离编码方法来区分。实验结果验证了KP-GNN的表达能力和有效性。 KP-GNN在所有基准数据集中都取得了竞争成果。

图表神经网络（GNNS）最近提出了用于处理图形结构数据的神经网络结构。由于他们所采用的邻国聚合策略，现有的GNNS专注于捕获节点级信息并忽略高级信息。因此，现有的GNN受到本地置换不变性（LPI）问题引起的代表性限制。为了克服这些限制并丰富GNN捕获的特征，我们提出了一种新的GNN框架，称为两级GNN（TL-GNN）。这与节点级信息合并子图级信息。此外，我们提供了对LPI问题的数学分析，这表明子图级信息有利于克服与LPI相关的问题。还提出了一种基于动态编程算法的子图计数方法，并且该具有时间复杂度是O（n ^ 3），n是图的节点的数量。实验表明，TL-GNN优于现有的GNN，实现了最先进的性能。

图表神经网络（GNNS）在各种机器学习任务中获得了表示学习的提高。然而，应用邻域聚合的大多数现有GNN通常在图中的图表上执行不良，其中相邻的节点属于不同的类。在本文中，我们示出了在典型的异界图中，边缘可以被引导，以及是否像是处理边缘，也可以使它们过度地影响到GNN模型的性能。此外，由于异常的限制，节点对来自本地邻域之外的类似节点的消息非常有益。这些激励我们开发一个自适应地学习图表的方向性的模型，并利用潜在的长距离相关性节点之间。我们首先将图拉普拉斯概括为基于所提出的特征感知PageRank算法向数字化，该算法同时考虑节点之间的图形方向性和长距离特征相似性。然后，Digraph Laplacian定义了一个图形传播矩阵，导致一个名为{\ em diglaciangcn}的模型。基于此，我们进一步利用节点之间的通勤时间测量的节点接近度，以便在拓扑级别上保留节点的远距离相关性。具有不同级别的10个数据集的广泛实验，同意级别展示了我们在节点分类任务任务中对现有解决方案的有效性。

近年来，图形神经网络（GNNS）被出现为一个强大的神经结构，以学习在监督的端到端时尚中的节点和图表的矢量表示。到目前为止，只有经验评估GNNS - 显示有希望的结果。以下工作从理论的角度调查了GNN，并将它们与1美元 - 二维韦斯美犬 - Leman Graph同构Heuristic（1美元-WL）相关联。我们表明GNNS在区分非同义（子）图表中，GNN具有与1美元-WL相同的表现力。因此，这两种算法也具有相同的缺点。基于此，我们提出了GNN的概括，所谓的$ k $ -dimensional gnns（$ k $ -gnns），这可以考虑多个尺度的高阶图结构。这些高阶结构在社交网络和分子图的表征中起重要作用。我们的实验评估证实了我们的理论调查结果，并确认了更高阶信息在图形分类和回归的任务中有用。

Various graph neural networks (GNNs) have been proposed to solve node classification tasks in machine learning for graph data. GNNs use the structural information of graph data by aggregating the features of neighboring nodes. However, they fail to directly characterize and leverage the structural information. In this paper, we propose multi-duplicated characterization of graph structures using information gain ratio (IGR) for GNNs (MSI-GNN), which enhances the performance of node classification by using an i-hop adjacency matrix as the structural information of the graph data. In MSI-GNN, the i-hop adjacency matrix is adaptively adjusted by two methods: (i) structural features in the matrix are selected based on the IGR, and (ii) the selected features in (i) for each node are duplicated and combined flexibly. In an experiment, we show that our MSI-GNN outperforms GCN, H2GCN, and GCNII in terms of average accuracies in benchmark graph datasets.

尽管在深度学习的其他应用领域中取得了非常深的架构，但流行的图神经网络是浅层模型。这降低了建模能力，并使模型无法捕获远程关系。浅设计的主要原因是过度平滑的，这导致节点状态随着深度的增加而变得更加相似。我们建立在GNNS和Pagerank之间的紧密联系的基础上，为此，个性化的Pagerank介绍了对个性化向量的考虑。通过这个想法，我们提出了个性化的Pagerank图神经网络（PPRGNN），该神经网络将图形卷积网络扩展到无限深度模型，该模型有机会将邻居聚集重置回每个迭代中的初始状态。我们引入了一个很好的解释调整，以重置重置并证明我们的方法与独特解决方案的收敛性，而无需放置任何限制，即使无限地进行了许多邻居聚集。与个性化的Pagerank一样，我们的结果不会过度光滑。在这样做的同时，在我们保持内存复杂性恒定的同时，时间复杂性保持线性，而与网络的深度无关，使其比较大图。我们从经验上展示了方法对各种节点和图形分类任务的有效性。在几乎所有情况下，PPRGNN优于可比较的方法。

在本文中，我们提供了一种使用图形神经网络（GNNS）的理论，用于多节点表示学习（我们有兴趣学习一组多个节点的表示）。我们知道GNN旨在学习单节点表示。当我们想学习涉及多个节点的节点集表示时，先前作品中的常见做法是直接将GNN学习的多节点表示与节点集的关节表示。在本文中，我们显示了这种方法的基本限制，即无法捕获节点集中节点之间的依赖性，并且认为直接聚合各个节点表示不会导致多个节点的有效关节表示。然后，我们注意到，以前的一些成功的工作作品用于多节点表示学习，包括密封，距离编码和ID-GNN，所有使用的节点标记。这些方法根据应用GNN之前的与目标节点集的关系，首先标记图中的节点。然后，在标记的图表中获得的节点表示被聚合到节点集表示中。通过调查其内部机制，我们将这些节点标记技术统一到单个和最基本的形式，即标记技巧。我们证明，通过标记技巧，可以获得足够富有表现力的GNN学习最具表现力的节点集表示，因此原则上可以解决节点集的任何联合学习任务。关于一个重要的双节点表示学习任务，链接预测，验证了我们理论的实验。我们的工作建立了使用GNN在节点集上使用GNN进行联合预测任务的理论基础。

数据增强已广泛用于图像数据和语言数据，但仍然探索图形神经网络（GNN）。现有方法专注于从全局视角增强图表数据，并大大属于两个类型：具有特征噪声注入的结构操纵和对抗训练。但是，最近的图表数据增强方法忽略了GNNS“消息传递机制的本地信息的重要性。在这项工作中，我们介绍了本地增强，这通过其子图结构增强了节点表示的局部。具体而言，我们将数据增强模拟为特征生成过程。鉴于节点的功能，我们的本地增强方法了解其邻居功能的条件分布，并生成更多邻居功能，以提高下游任务的性能。基于本地增强，我们进一步设计了一个新颖的框架：La-GNN，可以以即插即用的方式应用于任何GNN模型。广泛的实验和分析表明，局部增强一致地对各种基准的各种GNN架构始终如一地产生性能改进。

我们提出了一个食谱，讲述了如何建立具有线性复杂性和最先进的结果的一般，功能可扩展的（GPS）图形变压器，并在各种基准测试基准上。 Graph Transformers（GTS）在图形表示学习领域中获得了多种近期出版物的知名度，但它们对构成良好的位置或结构编码的共同基础以及与众不同的区别。在本文中，我们总结了具有更清晰的定义的不同类型的编码，并将其分类为$ \ textit {local} $，$ \ textit {global} $或$ \ textit {fextit {ferseal} $。此外，GTS仍被限制在具有数百个节点的小图上，我们提出了第一个具有复杂性线性的体系结构对节点和边缘$ O（n+e）$的数量，通过将局部实质汇总从完全 - 连接的变压器。我们认为，这种解耦并不会对表现性产生负面影响，而我们的体系结构是图形的通用函数近似器。我们的GPS配方包括选择3种主要成分：（i）位置/结构编码，（ii）局部消息通讯机制和（iii）全局注意机制。我们构建和开源一个模块化框架$ \ textit {graphgps} $，该{GraphGps} $支持多种类型的编码，并且在小图和大图中提供效率和可扩展性。我们在11个基准测试上测试了我们的体系结构，并对所有这些基准显示出非常具竞争力的结果，展示了由模块化和不同策略组合获得的经验益处。