最新提出的基于变压器的图形模型的作品证明了香草变压器用于图形表示学习的不足。要了解这种不足，需要研究变压器的光谱分析是否会揭示其对其表现力的见解。类似的研究已经确定，图神经网络（GNN）的光谱分析为其表现力提供了额外的观点。在这项工作中，我们系统地研究并建立了变压器领域中的空间和光谱域之间的联系。我们进一步提供了理论分析，并证明了变压器中的空间注意机制无法有效捕获所需的频率响应，因此，固有地限制了其在光谱空间中的表现力。因此，我们提出了feta，该框架旨在在整个图形频谱（即图形的实际频率成分）上进行注意力类似于空间空间中的注意力。经验结果表明，FETA在标准基准的所有任务中为香草变压器提供均匀的性能增益，并且可以轻松地扩展到具有低通特性的基于GNN的模型（例如GAT）。

Pre-publication draft of a book to be published byMorgan & Claypool publishers. Unedited version released with permission. All relevant copyrights held by the author and publisher extend to this pre-publication draft.

几何深度学习取得了长足的进步，旨在概括从传统领域到非欧几里得群岛的结构感知神经网络的设计，从而引起图形神经网络（GNN），这些神经网络（GNN）可以应用于形成的图形结构数据，例如社会，例如，网络，生物化学和材料科学。尤其是受欧几里得对应物的启发，尤其是图形卷积网络（GCN）通过提取结构感知功能来成功处理图形数据。但是，当前的GNN模型通常受到各种现象的限制，这些现象限制了其表达能力和推广到更复杂的图形数据集的能力。大多数模型基本上依赖于通过本地平均操作对图形信号的低通滤波，从而导致过度平滑。此外，为了避免严重的过度厚度，大多数流行的GCN式网络往往是较浅的，并且具有狭窄的接收场，导致侵犯。在这里，我们提出了一个混合GNN框架，该框架将传统的GCN过滤器与通过几何散射定义的带通滤波器相结合。我们进一步介绍了一个注意框架，该框架允许该模型在节点级别上从不同过滤器的组合信息进行本地参与。我们的理论结果确定了散射过滤器的互补益处，以利用图表中的结构信息，而我们的实验显示了我们方法对各种学习任务的好处。

图形神经网络（GNNS）从节点功能和输入图拓扑中利用信号来改善节点分类任务性能。然而，这些模型倾向于在异细胞图上表现不良，其中连接的节点具有不同的标记。最近提出了GNNS横跨具有不同程度的同性恋级别的图表。其中，依赖于多项式图滤波器的模型已经显示了承诺。我们观察到这些多项式图滤波器模型的解决方案也是过度确定的方程式系统的解决方案。它表明，在某些情况下，模型需要学习相当高的多项式。在调查中，我们发现由于其设计而在学习此类多项式的拟议模型。为了缓解这个问题，我们执行图表的特征分解，并建议学习作用于频谱的不同子集的多个自适应多项式滤波器。理论上和经验证明我们所提出的模型学习更好的过滤器，从而提高了分类准确性。我们研究了我们提出的模型的各个方面，包括利用潜在多项式滤波器的依义组分的数量以及节点分类任务上的各个多项式的性能的依赖性。我们进一步表明，我们的模型通过在大图中评估来扩展。我们的模型在最先进的模型上实现了高达5％的性能增益，并且通常优于现有的基于多项式滤波器的方法。

光谱图神经网络是基于图信号过滤器的一种图神经网络（GNN）。一些能够学习任意光谱过滤器的模型最近出现了。但是，很少有作品分析光谱GNN的表达能力。本文理论上研究了光谱GNNS的表现力。我们首先证明，即使没有非线性的光谱GNN也可以产生任意的图形信号，并给出了两个条件以达到普遍性。它们是：1）图Laplacian的多个特征值和2）节点特征中没有缺失的频率组件。我们还建立了光谱GNN的表达能力与图形同构（GI）测试之间的联系，后者通常用于表征空间GNNS的表达能力。此外，我们从优化的角度研究了具有相同表达能力的不同光谱GNN之间的经验性能差异，并激发了其重量函数对应于光谱中图信号密度的正交基础的使用。受分析的启发，我们提出了Jacobiconv，该雅各比基的正交性和灵活性使用了雅各比的基础，以适应广泛的重量功能。 Jacobiconv抛弃了非线性，同时在合成和现实世界数据集上都超过了所有基线。

图表是一个宇宙数据结构，广泛用于组织现实世界中的数据。像交通网络，社交和学术网络这样的各种实际网络网络可以由图表代表。近年来，目睹了在网络中代表顶点的快速发展，进入低维矢量空间，称为网络表示学习。表示学习可以促进图形数据上的新算法的设计。在本调查中，我们对网络代表学习的当前文献进行了全面审查。现有算法可以分为三组：浅埋模型，异构网络嵌入模型，图形神经网络的模型。我们为每个类别审查最先进的算法，并讨论这些算法之间的基本差异。调查的一个优点是，我们系统地研究了不同类别的算法底层的理论基础，这提供了深入的见解，以更好地了解网络表示学习领域的发展。

图表神经网络（GNNS）在图形结构数据的表现中表现出巨大的成功。在捕获图形拓扑中，GNN中的层展图表卷积显示为强大。在此过程中，GNN通常由预定义的内核引导，例如拉普拉斯矩阵，邻接矩阵或其变体。但是，预定义的内核的采用可能会限制不同图形的必要性：图形和内核之间的不匹配将导致次优性能。例如，当高频信息对于图表具有重要意义时，聚焦在低频信息上的GNN可能无法实现令人满意的性能，反之亦然。为了解决这个问题，在本文中，我们提出了一种新颖的框架 - 即，即Adaptive Kernel图神经网络（AKGNN） - 这将在第一次尝试时以统一的方式适应最佳图形内核。在所提出的AKGNN中，我们首先设计一种数据驱动的图形内核学习机制，它通过修改图拉普拉斯的最大特征值来自适应地调制全通过和低通滤波器之间的平衡。通过此过程，AKGNN了解高频信号之间的最佳阈值以减轻通用问题。稍后，我们通过参数化技巧进一步减少参数的数量，并通过全局读出功能增强富有表现力。在确认的基准数据集中进行了广泛的实验，并且有希望的结果通过与最先进的GNNS比较，展示了我们所提出的Akgnn的出色表现。源代码在公开上可用：https://github.com/jumxglhf/akgnn。

图形神经网络（GNNS）对图表上的半监督节点分类展示了卓越的性能，结果是它们能够同时利用节点特征和拓扑信息的能力。然而，大多数GNN隐含地假设曲线图中的节点和其邻居的标签是相同或一致的，其不包含在异质图中，其中链接节点的标签可能不同。因此，当拓扑是非信息性的标签预测时，普通的GNN可以显着更差，而不是在每个节点上施加多层Perceptrons（MLPS）。为了解决上述问题，我们提出了一种新的$ -laplacian基于GNN模型，称为$ ^ P $ GNN，其消息传递机制来自离散正则化框架，并且可以理论上解释为多项式图的近似值在$ p $ -laplacians的频谱域上定义过滤器。光谱分析表明，新的消息传递机制同时用作低通和高通滤波器，从而使$ ^ P $ GNNS对同性恋和异化图有效。关于现实世界和合成数据集的实证研究验证了我们的调查结果，并证明了$ ^ P $ GNN明显优于异交基准的几个最先进的GNN架构，同时在同性恋基准上实现竞争性能。此外，$ ^ p $ gnns可以自适应地学习聚合权重，并且对嘈杂的边缘具有强大。

变压器架构最近在图表表示学习中引起了人们的注意，因为它自然地克服了图神经网络（GNN）的几个局限性，避免了它们严格的结构电感偏置，而仅通过位置编码来编码图形结构。在这里，我们表明，具有位置编码的变压器生成的节点表示不一定捕获它们之间的结构相似性。为了解决这个问题，我们提出了结构感知的变压器，这是一类简单而灵活的图形变压器，建立在新的自我发项机制的基础上。这一新的自我注意力通过在计算注意力之前提取植根于每个节点的子图表来结合结构信息。我们提出了几种自动生成子图表表示的方法，并从理论上说明结果表示至少与子图表一样表现力。从经验上讲，我们的方法在五个图预测基准上实现了最先进的性能。我们的结构感知框架可以利用任何现有的GNN提取子图表表示，我们表明它系统地改善了相对于基本GNN模型的性能，成功地结合了GNN和变形金刚的优势。我们的代码可在https://github.com/borgwardtlab/sat上找到。

图形神经网络（GNN）已被证明可以实现竞争结果，以解决与图形相关的任务，例如节点和图形分类，链接预测和节点以及各种域中的图形群集。大多数GNN使用消息传递框架，因此称为MPNN。尽管有很有希望的结果，但据报道，MPNN会遭受过度平滑，过度阵型和不足的影响。文献中已经提出了图形重新布线和图形池作为解决这些局限性的解决方案。但是，大多数最先进的图形重新布线方法无法保留该图的全局拓扑，因此没有可区分（电感），并且需要调整超参数。在本文中，我们提出了Diffwire，这是一个在MPNN中进行图形重新布线的新型框架，它通过利用LOV \'ASZ绑定来原理，完全可区分且无参数。我们的方法通过提出两个新的，mpnns中的新的互补层来提供统一的图形重新布线：首先，ctlayer，一个学习通勤时间并将其用作边缘重新加权的相关函数；其次，Gaplayer是优化光谱差距的图层，具体取决于网络的性质和手头的任务。我们从经验上验证了我们提出的方法的价值，并使用基准数据集分别验证了这些层的每个层以进行图形分类。 Diffwire将通勤时间的可学习性汇集到相关的曲率定义，为发展更具表现力的MPNN的发展打开了大门。

图形卷积网络对于从图形结构数据进行深入学习而变得必不可少。大多数现有的图形卷积网络都有两个大缺点。首先，它们本质上是低通滤波器，因此忽略了图形信号的潜在有用的中和高频带。其次，固定了现有图卷积过滤器的带宽。图形卷积过滤器的参数仅转换图输入而不更改图形卷积滤波器函数的曲率。实际上，除非我们有专家领域知识，否则我们不确定是否应该在某个点保留或切断频率。在本文中，我们建议自动图形卷积网络（AUTOGCN）捕获图形信号的完整范围，并自动更新图形卷积过滤器的带宽。虽然它基于图谱理论，但我们的自动环境也位于空间中，并具有空间形式。实验结果表明，AutoGCN比仅充当低通滤波器的基线方法实现了显着改善。

最小化能量的动力系统在几何和物理学中无处不在。我们为GNN提出了一个梯度流框架，其中方程遵循可学习能量的最陡峭下降的方向。这种方法允许从多粒子的角度来解释GNN的演变，以通过对称“通道混合”矩阵的正和负特征值在特征空间中学习吸引力和排斥力。我们对溶液进行光谱分析，并得出结论，梯度流量图卷积模型可以诱导以图高频为主导的动力学，这对于异性数据集是理想的。我们还描述了对常见GNN体系结构的结构约束，从而将其解释为梯度流。我们进行了彻底的消融研究，以证实我们的理论分析，并在现实世界同质和异性数据集上显示了简单和轻量级模型的竞争性能。

Graph classification is an important area in both modern research and industry. Multiple applications, especially in chemistry and novel drug discovery, encourage rapid development of machine learning models in this area. To keep up with the pace of new research, proper experimental design, fair evaluation, and independent benchmarks are essential. Design of strong baselines is an indispensable element of such works. In this thesis, we explore multiple approaches to graph classification. We focus on Graph Neural Networks (GNNs), which emerged as a de facto standard deep learning technique for graph representation learning. Classical approaches, such as graph descriptors and molecular fingerprints, are also addressed. We design fair evaluation experimental protocol and choose proper datasets collection. This allows us to perform numerous experiments and rigorously analyze modern approaches. We arrive to many conclusions, which shed new light on performance and quality of novel algorithms. We investigate application of Jumping Knowledge GNN architecture to graph classification, which proves to be an efficient tool for improving base graph neural network architectures. Multiple improvements to baseline models are also proposed and experimentally verified, which constitutes an important contribution to the field of fair model comparison.

Deep learning has been shown to be successful in a number of domains, ranging from acoustics, images, to natural language processing. However, applying deep learning to the ubiquitous graph data is non-trivial because of the unique characteristics of graphs. Recently, substantial research efforts have been devoted to applying deep learning methods to graphs, resulting in beneficial advances in graph analysis techniques. In this survey, we comprehensively review the different types of deep learning methods on graphs. We divide the existing methods into five categories based on their model architectures and training strategies: graph recurrent neural networks, graph convolutional networks, graph autoencoders, graph reinforcement learning, and graph adversarial methods. We then provide a comprehensive overview of these methods in a systematic manner mainly by following their development history. We also analyze the differences and compositions of different methods. Finally, we briefly outline the applications in which they have been used and discuss potential future research directions.

近年来，基于Weisfeiler-Leman算法的算法和神经架构，是一个众所周知的Graph同构问题的启发式问题，它成为具有图形和关系数据的机器学习的强大工具。在这里，我们全面概述了机器学习设置中的算法的使用，专注于监督的制度。我们讨论了理论背景，展示了如何将其用于监督的图形和节点表示学习，讨论最近的扩展，并概述算法的连接（置换 - ）方面的神经结构。此外，我们概述了当前的应用和未来方向，以刺激进一步的研究。

In the last few years, graph neural networks (GNNs) have become the standard toolkit for analyzing and learning from data on graphs. This emerging field has witnessed an extensive growth of promising techniques that have been applied with success to computer science, mathematics, biology, physics and chemistry. But for any successful field to become mainstream and reliable, benchmarks must be developed to quantify progress. This led us in March 2020 to release a benchmark framework that i) comprises of a diverse collection of mathematical and real-world graphs, ii) enables fair model comparison with the same parameter budget to identify key architectures, iii) has an open-source, easy-to-use and reproducible code infrastructure, and iv) is flexible for researchers to experiment with new theoretical ideas. As of December 2022, the GitHub repository has reached 2,000 stars and 380 forks, which demonstrates the utility of the proposed open-source framework through the wide usage by the GNN community. In this paper, we present an updated version of our benchmark with a concise presentation of the aforementioned framework characteristics, an additional medium-sized molecular dataset AQSOL, similar to the popular ZINC, but with a real-world measured chemical target, and discuss how this framework can be leveraged to explore new GNN designs and insights. As a proof of value of our benchmark, we study the case of graph positional encoding (PE) in GNNs, which was introduced with this benchmark and has since spurred interest of exploring more powerful PE for Transformers and GNNs in a robust experimental setting.

图表学习目的旨在将节点内容与图形结构集成以学习节点/图表示。然而，发现许多现有的图形学习方法在具有高异性级别的数据上不能很好地工作，这是不同类标签之间很大比例的边缘。解决这个问题的最新努力集中在改善消息传递机制上。但是，尚不清楚异质性是否确实会损害图神经网络（GNNS）的性能。关键是要展现一个节点与其直接邻居之间的关系，例如它们是异性还是同质性？从这个角度来看，我们在这里研究了杂质表示在披露连接节点之间的关系之前/之后的杂音表示的作用。特别是，我们提出了一个端到端框架，该框架既学习边缘的类型（即异性/同质性），并利用边缘类型的信息来提高图形神经网络的表现力。我们以两种不同的方式实施此框架。具体而言，为了避免通过异质边缘传递的消息，我们可以通过删除边缘分类器鉴定的异性边缘来优化图形结构。另外，可以利用有关异性邻居的存在的信息进行特征学习，因此，设计了一种混合消息传递方法来汇总同质性邻居，并根据边缘分类使异性邻居多样化。广泛的实验表明，在整个同质级别的多个数据集上，通过在多个数据集上提出的框架对GNN的绩效提高了显着提高。

Graph Convolutional Networks (GCNs) and their variants have experienced significant attention and have become the de facto methods for learning graph representations. GCNs derive inspiration primarily from recent deep learning approaches, and as a result, may inherit unnecessary complexity and redundant computation. In this paper, we reduce this excess complexity through successively removing nonlinearities and collapsing weight matrices between consecutive layers. We theoretically analyze the resulting linear model and show that it corresponds to a fixed low-pass filter followed by a linear classifier. Notably, our experimental evaluation demonstrates that these simplifications do not negatively impact accuracy in many downstream applications. Moreover, the resulting model scales to larger datasets, is naturally interpretable, and yields up to two orders of magnitude speedup over FastGCN.

许多代表性图形神经网络，例如GPR-GNN和CHEBNET，具有曲线图谱滤波器的图形卷曲。但是，现有的工作要么应用预定义的滤波器权重，或者没有必要的约束来学习它们，这可能导致过度简化或不良滤波器。为了克服这些问题，我们提出了一种具有理论支持的新型图形神经网络的Bernnet，提供了一种简单但有效的设计和学习任意曲线图谱滤波器的方案。特别是，对于在图形的标准化Laplacian谱上的任何过滤器上，我们的Bernnet通过命令估计它是一个订单 - $ k $伯尔尼斯坦多项式近似，并通过设置伯尔尼斯坦的系数来设计其光谱特性。此外，我们可以基于观察的图形及其相关信号学习系数（和相应的滤波器权重），从而实现专门用于数据的BERNNET。我们的实验表明，Bernnet可以学习任意光谱滤波器，包括复杂的带抑制和梳状滤波器，并且它在真实的图形建模任务中实现了卓越的性能。代码可在https://github.com/ivam-he/bernnet上获得。

本文旨在为多尺度帧卷积提供一种新颖的光谱图神经网络设计。在光谱范例中，光谱GNN通过提出频谱域中的各种光谱滤波器来提高图形学习任务性能，以捕获全局和本地图形结构信息。虽然现有的光谱方法在某些图表中显示出卓越的性能，但是当图表信息不完整或扰乱时，它们患有缺乏灵活性并脆弱。我们的新帧卷曲卷积包括直接在光谱域中设计的过滤功能，以克服这些限制。所提出的卷积在切断光谱信息中表现出具有很大的灵活性，并有效地减轻了噪声曲线图信号的负效应。此外，为了利用现实世界图数据中的异质性，具有我们新的帧卷积的异构图形神经网络提供了一种用于将元路径的内在拓扑信息与多级图分析嵌入的解决方案。进行了扩展实验实现了具有嘈杂节点特征和卓越性能结果的设置下的现实异构图和均匀图。