Graph Neural Networks (GNNs) have shown great potential in the field of graph representation learning. Standard GNNs define a local message-passing mechanism which propagates information over the whole graph domain by stacking multiple layers. This paradigm suffers from two major limitations, over-squashing and poor long-range dependencies, that can be solved using global attention but significantly increases the computational cost to quadratic complexity. In this work, we propose an alternative approach to overcome these structural limitations by leveraging the ViT/MLP-Mixer architectures introduced in computer vision. We introduce a new class of GNNs, called Graph MLP-Mixer, that holds three key properties. First, they capture long-range dependency and mitigate the issue of over-squashing as demonstrated on the Long Range Graph Benchmark (LRGB) and the TreeNeighbourMatch datasets. Second, they offer better speed and memory efficiency with a complexity linear to the number of nodes and edges, surpassing the related Graph Transformer and expressive GNN models. Third, they show high expressivity in terms of graph isomorphism as they can distinguish at least 3-WL non-isomorphic graphs. We test our architecture on 4 simulated datasets and 7 real-world benchmarks, and show highly competitive results on all of them.

我们提出了一个食谱，讲述了如何建立具有线性复杂性和最先进的结果的一般，功能可扩展的（GPS）图形变压器，并在各种基准测试基准上。 Graph Transformers（GTS）在图形表示学习领域中获得了多种近期出版物的知名度，但它们对构成良好的位置或结构编码的共同基础以及与众不同的区别。在本文中，我们总结了具有更清晰的定义的不同类型的编码，并将其分类为$ \ textit {local} $，$ \ textit {global} $或$ \ textit {fextit {ferseal} $。此外，GTS仍被限制在具有数百个节点的小图上，我们提出了第一个具有复杂性线性的体系结构对节点和边缘$ O（n+e）$的数量，通过将局部实质汇总从完全 - 连接的变压器。我们认为，这种解耦并不会对表现性产生负面影响，而我们的体系结构是图形的通用函数近似器。我们的GPS配方包括选择3种主要成分：（i）位置/结构编码，（ii）局部消息通讯机制和（iii）全局注意机制。我们构建和开源一个模块化框架$ \ textit {graphgps} $，该{GraphGps} $支持多种类型的编码，并且在小图和大图中提供效率和可扩展性。我们在11个基准测试上测试了我们的体系结构，并对所有这些基准显示出非常具竞争力的结果，展示了由模块化和不同策略组合获得的经验益处。

In the last few years, graph neural networks (GNNs) have become the standard toolkit for analyzing and learning from data on graphs. This emerging field has witnessed an extensive growth of promising techniques that have been applied with success to computer science, mathematics, biology, physics and chemistry. But for any successful field to become mainstream and reliable, benchmarks must be developed to quantify progress. This led us in March 2020 to release a benchmark framework that i) comprises of a diverse collection of mathematical and real-world graphs, ii) enables fair model comparison with the same parameter budget to identify key architectures, iii) has an open-source, easy-to-use and reproducible code infrastructure, and iv) is flexible for researchers to experiment with new theoretical ideas. As of December 2022, the GitHub repository has reached 2,000 stars and 380 forks, which demonstrates the utility of the proposed open-source framework through the wide usage by the GNN community. In this paper, we present an updated version of our benchmark with a concise presentation of the aforementioned framework characteristics, an additional medium-sized molecular dataset AQSOL, similar to the popular ZINC, but with a real-world measured chemical target, and discuss how this framework can be leveraged to explore new GNN designs and insights. As a proof of value of our benchmark, we study the case of graph positional encoding (PE) in GNNs, which was introduced with this benchmark and has since spurred interest of exploring more powerful PE for Transformers and GNNs in a robust experimental setting.

基于1-HOP邻居之间的消息传递（MP）范式交换信息的图形神经网络（GNN），以在每一层构建节点表示。原则上，此类网络无法捕获在图形上学习给定任务的可能或必需的远程交互（LRI）。最近，人们对基于变压器的图的开发产生了越来越多的兴趣，这些方法可以考虑超出原始稀疏结构以外的完整节点连接，从而实现了LRI的建模。但是，仅依靠1跳消息传递的MP-gnn与位置特征表示形式结合使用时通常在几个现有的图形基准中表现得更好，因此，限制了Transferter类似体系结构的感知效用和排名。在这里，我们介绍了5个图形学习数据集的远程图基准（LRGB）：Pascalvoc-SP，Coco-SP，PCQM-Contact，Peptides-Func和肽结构，可以说需要LRI推理以在给定的任务中实现强大的性能。我们基准测试基线GNN和Graph Transformer网络，以验证捕获长期依赖性的模型在这些任务上的性能明显更好。因此，这些数据集适用于旨在捕获LRI的MP-GNN和Graph Transformer架构的基准测试和探索。

变压器架构已成为许多域中的主导选择，例如自然语言处理和计算机视觉。然而，与主流GNN变体相比，它对图形水平预测的流行排行榜没有竞争表现。因此，它仍然是一个谜，变形金机如何对图形表示学习表现良好。在本文中，我们通过提出了基于标准变压器架构构建的Gragemer来解决这一神秘性，并且可以在广泛的图形表示学习任务中获得优异的结果，特别是在最近的OGB大规模挑战上。我们在图中利用变压器的关键洞察是有效地将图形的结构信息有效地编码到模型中。为此，我们提出了几种简单但有效的结构编码方法，以帮助Gramemormer更好的模型图形结构数据。此外，我们在数学上表征了Gramemormer的表现力，并展示了我们编码图形结构信息的方式，许多流行的GNN变体都可以被涵盖为GrameRormer的特殊情况。

变压器架构最近在图表表示学习中引起了人们的注意，因为它自然地克服了图神经网络（GNN）的几个局限性，避免了它们严格的结构电感偏置，而仅通过位置编码来编码图形结构。在这里，我们表明，具有位置编码的变压器生成的节点表示不一定捕获它们之间的结构相似性。为了解决这个问题，我们提出了结构感知的变压器，这是一类简单而灵活的图形变压器，建立在新的自我发项机制的基础上。这一新的自我注意力通过在计算注意力之前提取植根于每个节点的子图表来结合结构信息。我们提出了几种自动生成子图表表示的方法，并从理论上说明结果表示至少与子图表一样表现力。从经验上讲，我们的方法在五个图预测基准上实现了最先进的性能。我们的结构感知框架可以利用任何现有的GNN提取子图表表示，我们表明它系统地改善了相对于基本GNN模型的性能，成功地结合了GNN和变形金刚的优势。我们的代码可在https://github.com/borgwardtlab/sat上找到。

The Transformer architecture has become a dominant choice in many domains, such as natural language processing and computer vision. Yet, it has not achieved competitive performance on popular leaderboards of graph-level prediction compared to mainstream GNN variants. Therefore, it remains a mystery how Transformers could perform well for graph representation learning. In this paper, we solve this mystery by presenting Graphormer, which is built upon the standard Transformer architecture, and could attain excellent results on a broad range of graph representation learning tasks, especially on the recent OGB Large-Scale Challenge. Our key insight to utilizing Transformer in the graph is the necessity of effectively encoding the structural information of a graph into the model. To this end, we propose several simple yet effective structural encoding methods to help Graphormer better model graph-structured data. Besides, we mathematically characterize the expressive power of Graphormer and exhibit that with our ways of encoding the structural information of graphs, many popular GNN variants could be covered as the special cases of Graphormer. The code and models of Graphormer will be made publicly available at https://github.com/Microsoft/Graphormer.

分子特性预测的深度学习模型的研究主要集中在更好的图形神经网络（GNN）架构的发展。虽然新的GNN变体继续提高性能，但它们的修改共享一个常见的主题，即减轻其基本图形到图形的内在内在的问题。在这项工作中，我们研究了这些限制，并提出了一种新的分子表现，可以完全绕过GNN的需求。与变压器模型配对时，我们的固定尺寸随机表示超出了最先进的GNN模型的性能，并提供了一种可扩展性的路径。

Graph classification is an important area in both modern research and industry. Multiple applications, especially in chemistry and novel drug discovery, encourage rapid development of machine learning models in this area. To keep up with the pace of new research, proper experimental design, fair evaluation, and independent benchmarks are essential. Design of strong baselines is an indispensable element of such works. In this thesis, we explore multiple approaches to graph classification. We focus on Graph Neural Networks (GNNs), which emerged as a de facto standard deep learning technique for graph representation learning. Classical approaches, such as graph descriptors and molecular fingerprints, are also addressed. We design fair evaluation experimental protocol and choose proper datasets collection. This allows us to perform numerous experiments and rigorously analyze modern approaches. We arrive to many conclusions, which shed new light on performance and quality of novel algorithms. We investigate application of Jumping Knowledge GNN architecture to graph classification, which proves to be an efficient tool for improving base graph neural network architectures. Multiple improvements to baseline models are also proposed and experimentally verified, which constitutes an important contribution to the field of fair model comparison.

消息传递神经网络（MPNNS）是由于其简单性和可扩展性而大部分地进行图形结构数据的深度学习的领先架构。不幸的是，有人认为这些架构的表现力有限。本文提出了一种名为Comifariant Subgraph聚合网络（ESAN）的新颖框架来解决这个问题。我们的主要观察是，虽然两个图可能无法通过MPNN可区分，但它们通常包含可区分的子图。因此，我们建议将每个图形作为由某些预定义策略导出的一组子图，并使用合适的等分性架构来处理它。我们为图同构同构同构造的1立维Weisfeiler-Leman（1-WL）测试的新型变体，并在这些新的WL变体方面证明了ESAN的表达性下限。我们进一步证明，我们的方法增加了MPNNS和更具表现力的架构的表现力。此外，我们提供了理论结果，描述了设计选择诸如子图选择政策和等效性神经结构的设计方式如何影响我们的架构的表现力。要处理增加的计算成本，我们提出了一种子图采样方案，可以将其视为我们框架的随机版本。关于真实和合成数据集的一套全面的实验表明，我们的框架提高了流行的GNN架构的表现力和整体性能。

消息传递神经网络（MPNNs）是格拉夫神经网络（GNN）的一个常见的类型，其中，每个节点的表示是通过聚集从表示其直接邻居（消息）类似于一个星形图案递归计算。 MPNNs的呼吁是有效的，可扩展的，怎么样，曾经它们的表现是由一阶Weisfeiler雷曼同构测试（1-WL）的上界。对此，之前的作品提出在可扩展性的成本极富表现力的模型，有时泛化性能。我们的工作表示这两个政权：我们介绍抬升任何MPNN更加传神，具有可扩展性有限的开销，大大提高了实用性能的总体框架。我们从星星图案一般的子模式（例如，K-egonets）在MPNNs扩展本地聚合实现这一点：在我们的框架中，每个节点表示被计算为周边诱发子的编码，而不是唯一的近邻编码（即一个明星）。我们选择子编码器是一个GNN（主要是MPNNs，考虑到可扩展性）来设计用作一个包装掀任何GNN的总体框架。我们把我们提出的方法GNN-AK（GNN为核心），作为框架用GNNS更换内核类似于卷积神经网络。从理论上讲，我们表明，我们的框架比1和2-WL确实更强大，并且不超过3-WL那么强大。我们还设计子取样策略，可大大降低内存占用和提高速度的同时保持性能。我们的方法将大利润率多家知名图形ML任务新的国家的最先进的性能;具体地，0.08 MAE锌，74.79％和86.887％的准确度上CIFAR10和分别PATTERN。

Deep learning has revolutionized many machine learning tasks in recent years, ranging from image classification and video processing to speech recognition and natural language understanding. The data in these tasks are typically represented in the Euclidean space. However, there is an increasing number of applications where data are generated from non-Euclidean domains and are represented as graphs with complex relationships and interdependency between objects. The complexity of graph data has imposed significant challenges on existing machine learning algorithms. Recently, many studies on extending deep learning approaches for graph data have emerged. In this survey, we provide a comprehensive overview of graph neural networks (GNNs) in data mining and machine learning fields. We propose a new taxonomy to divide the state-of-the-art graph neural networks into four categories, namely recurrent graph neural networks, convolutional graph neural networks, graph autoencoders, and spatial-temporal graph neural networks. We further discuss the applications of graph neural networks across various domains and summarize the open source codes, benchmark data sets, and model evaluation of graph neural networks. Finally, we propose potential research directions in this rapidly growing field.

近年来，基于Weisfeiler-Leman算法的算法和神经架构，是一个众所周知的Graph同构问题的启发式问题，它成为具有图形和关系数据的机器学习的强大工具。在这里，我们全面概述了机器学习设置中的算法的使用，专注于监督的制度。我们讨论了理论背景，展示了如何将其用于监督的图形和节点表示学习，讨论最近的扩展，并概述算法的连接（置换 - ）方面的神经结构。此外，我们概述了当前的应用和未来方向，以刺激进一步的研究。

图形神经网络（GNNS）的表现力量受到限制，具有远程交互的斗争，缺乏模拟高阶结构的原则性方法。这些问题可以归因于计算图表和输入图结构之间的强耦合。最近提出的消息通过单独的网络通过执行图形的Clique复合物的消息来自然地解耦这些元素。然而，这些模型可能受到单纯复合物（SCS）的刚性组合结构的严重限制。在这项工作中，我们将最近的基于常规细胞复合物的理论结果扩展到常规细胞复合物，灵活地满满SCS和图表的拓扑物体。我们表明，该概括提供了一组强大的图表“提升”转换，每个图形是导致唯一的分层消息传递过程。我们集体呼叫CW Networks（CWNS）的结果方法比WL测试更强大，而不是比3 WL测试更强大。特别是，当应用于分子图问题时，我们证明了一种基于环的一个这样的方案的有效性。所提出的架构从可提供的较大的表达效益于常用的GNN，高阶信号的原则建模以及压缩节点之间的距离。我们展示了我们的模型在各种分子数据集上实现了最先进的结果。

Most graph neural network models rely on a particular message passing paradigm, where the idea is to iteratively propagate node representations of a graph to each node in the direct neighborhood. While very prominent, this paradigm leads to information propagation bottlenecks, as information is repeatedly compressed at intermediary node representations, which causes loss of information, making it practically impossible to gather meaningful signals from distant nodes. To address this issue, we propose shortest path message passing neural networks, where the node representations of a graph are propagated to each node in the shortest path neighborhoods. In this setting, nodes can directly communicate between each other even if they are not neighbors, breaking the information bottleneck and hence leading to more adequately learned representations. Theoretically, our framework generalizes message passing neural networks, resulting in provably more expressive models, and we show that some recent state-of-the-art models are special instances of this framework. Empirically, we verify the capacity of a basic model of this framework on dedicated synthetic experiments, and on real-world graph classification and regression benchmarks, and obtain state-of-the-art results.

Pre-publication draft of a book to be published byMorgan & Claypool publishers. Unedited version released with permission. All relevant copyrights held by the author and publisher extend to this pre-publication draft.

图形神经网络（GNNS）最流行的设计范例是1跳消息传递 - 反复反复从1跳邻居聚集特征。但是，1-HOP消息传递的表达能力受Weisfeiler-Lehman（1-WL）测试的界定。最近，研究人员通过同时从节点的K-Hop邻居汇总信息传递到K-HOP消息。但是，尚无分析K-Hop消息传递的表达能力的工作。在这项工作中，我们从理论上表征了K-Hop消息传递的表达力。具体而言，我们首先正式区分了两种k-hop消息传递的内核，它们在以前的作品中经常被滥用。然后，我们通过表明它比1-Hop消息传递更强大，从而表征了K-Hop消息传递的表现力。尽管具有较高的表达能力，但我们表明K-Hop消息传递仍然无法区分一些简单的常规图。为了进一步增强其表现力，我们引入了KP-GNN框架，该框架通过利用每个跳跃中的外围子图信息来改善K-HOP消息。我们证明，KP-GNN可以区分几乎所有常规图，包括一些距离常规图，这些图无法通过以前的距离编码方法来区分。实验结果验证了KP-GNN的表达能力和有效性。 KP-GNN在所有基准数据集中都取得了竞争成果。

近年来，图形变压器在各种图形学习任务上表现出了优势。但是，现有图形变压器的复杂性与节点的数量二次缩放，因此难以扩展到具有数千个节点的图形。为此，我们提出了一个邻域聚集图变压器（Nagphormer），该变压器可扩展到具有数百万节点的大图。在将节点特征馈送到变压器模型中之前，Nagphormer构造令牌由称为Hop2Token的邻域聚合模块为每个节点。对于每个节点，Hop2token聚合从每个跳跃到表示形式的邻域特征，从而产生一系列令牌向量。随后，不同HOP信息的结果序列是变压器模型的输入。通过将每个节点视为一个序列，可以以迷你批量的方式训练Nagphormer，从而可以扩展到大图。 Nagphormer进一步开发了基于注意力的读数功能，以便学习每个跳跃的重要性。我们在各种流行的基准测试中进行了广泛的实验，包括六个小数据集和三个大数据集。结果表明，Nagphormer始终优于现有的图形变压器和主流图神经网络。

我们表明，没有图形特异性修改的标准变压器可以在理论和实践中都带来图形学习的有希望的结果。鉴于图，我们只是将所有节点和边缘视为独立的令牌，用令牌嵌入增强它们，然后将它们馈入变压器。有了适当的令牌嵌入选择，我们证明这种方法在理论上至少与不变的图形网络（2-ign）一样表达，由等效线性层组成，它已经比所有消息传播的图形神经网络（GNN）更具表现力）。当在大规模图数据集（PCQM4MV2）上接受训练时，与具有精致的图形特异性电感偏置相比，与GNN基准相比，与GNN基准相比，与GNN基准相比，与GNN基准相比，我们创造的令牌化图形变压器（Tokengt）取得了明显更好的结果。我们的实施可从https://github.com/jw9730/tokengt获得。

基于变压器的模型已在各个领域（例如自然语言处理和计算机视觉）中广泛使用并实现了最先进的性能。最近的作品表明，变压器也可以推广到图形结构化数据。然而，由于技术挑战，诸如节点数量和非本地聚集的技术挑战之类的技术挑战，因此成功限于小规模图，这通常会导致对常规图神经网络的概括性能。在本文中，为了解决这些问题，我们提出了可变形的图形变压器（DGT），以动态采样的键和值对进行稀疏注意。具体而言，我们的框架首先构建具有各种标准的多个节点序列，以考虑结构和语义接近。然后，将稀疏的注意力应用于节点序列，以减少计算成本，以学习节点表示。我们还设计简单有效的位置编码，以捕获节点之间的结构相似性和距离。实验表明，我们的新型图形变压器始终胜过现有的基于变压器的模型，并且与8个图形基准数据集（包括大型图形）的最新模型相比，与最新的模型相比表现出竞争性能。