A central challenge of building more powerful Graph Neural Networks (GNNs) is the oversmoothing phenomenon, where increasing the network depth leads to homogeneous node representations and thus worse classification performance. While previous works have only demonstrated that oversmoothing is inevitable when the number of graph convolutions tends to infinity, in this paper, we precisely characterize the mechanism behind the phenomenon via a non-asymptotic analysis. Specifically, we distinguish between two different effects when applying graph convolutions -- an undesirable mixing effect that homogenizes node representations in different classes, and a desirable denoising effect that homogenizes node representations in the same class. By quantifying these two effects on random graphs sampled from the Contextual Stochastic Block Model (CSBM), we show that oversmoothing happens once the mixing effect starts to dominate the denoising effect, and the number of layers required for this transition is $O(\log N/\log (\log N))$ for sufficiently dense graphs with $N$ nodes. We also extend our analysis to study the effects of Personalized PageRank (PPR) on oversmoothing. Our results suggest that while PPR mitigates oversmoothing at deeper layers, PPR-based architectures still achieve their best performance at a shallow depth and are outperformed by the graph convolution approach on certain graphs. Finally, we support our theoretical results with numerical experiments, which further suggest that the oversmoothing phenomenon observed in practice may be exacerbated by the difficulty of optimizing deep GNN models.

图形卷积网络（GCN）是最受欢迎的体系结构之一，用于解决分类问题，并附有图形信息。我们对图形卷积在多层网络中的影响进行了严格的理论理解。我们通过与随机块模型结合的非线性分离高斯混合模型的节点分类问题研究这些效果。首先，我们表明，单个图卷积扩展了多层网络可以至少$ 1/\ sqrt [4] {\ Mathbb {e} {\ rm veg对数据进行分类的均值之间的距离。 }} $，其中$ \ mathbb {e} {\ rm deg} $表示节点的预期度。其次，我们表明，随着图的密度稍强，两个图卷积将此因素提高到至少$ 1/\ sqrt [4] {n} $，其中$ n $是图中的节点的数量。最后，我们对网络层中不同组合的图形卷积的性能提供了理论和经验见解，得出的结论是，对于所有位置的所有组合，性能都是相互相似的。我们对合成数据和现实世界数据进行了广泛的实验，以说明我们的结果。

图形神经网络（GNNS）由于其强大的表示能力而广泛用于图形结构化数据处理。通常认为，GNNS可以隐式消除非预测性的噪音。但是，对图神经网络中隐式降解作用的分析仍然开放。在这项工作中，我们进行了一项全面的理论研究，并分析了隐式denoising在GNN中发生的何时以及为什么发生。具体而言，我们研究噪声矩阵的收敛性。我们的理论分析表明，隐式转化很大程度上取决于连接性，图形大小和GNN体系结构。此外，我们通过扩展图形信号降解问题来正式定义并提出对抗图信号denoising（AGSD）问题。通过解决这样的问题，我们得出了一个可靠的图形卷积，可以增强节点表示的平滑度和隐式转化效果。广泛的经验评估验证了我们的理论分析和我们提出的模型的有效性。

Graph-based learning is a rapidly growing sub-field of machine learning with applications in social networks, citation networks, and bioinformatics. One of the most popular models is graph attention networks. They were introduced to allow a node to aggregate information from features of neighbor nodes in a non-uniform way, in contrast to simple graph convolution which does not distinguish the neighbors of a node. In this paper, we study theoretically this expected behaviour of graph attention networks. We prove multiple results on the performance of graph attention mechanism for the problem of node classification for a contextual stochastic block model. Here the node features are obtained from a mixture of Gaussians and the edges from a stochastic block model. We show that in an "easy" regime, where the distance between the means of the Gaussians is large enough, graph attention is able to distinguish inter-class from intra-class edges, and thus it maintains the weights of important edges and significantly reduces the weights of unimportant edges. Consequently, we show that this implies perfect node classification. In the "hard" regime, we show that every attention mechanism fails to distinguish intra-class from inter-class edges. We evaluate our theoretical results on synthetic and real-world data.

近年来，监督学习环境的几个结果表明，古典统计学习 - 理论措施，如VC维度，不充分解释深度学习模型的性能，促使在无限宽度和迭代制度中的工作摆动。但是，对于超出监督环境之外的神经网络成功几乎没有理论解释。在本文中，我们认为，在一些分布假设下，经典学习 - 理论措施可以充分解释转导造型中的图形神经网络的概括。特别是，我们通过分析节点分类问题图卷积网络的概括性特性，对神经网络的性能进行严格分析神经网络。虽然VC维度确实导致该设置中的琐碎泛化误差界限，但我们表明转导变速器复杂性可以解释用于随机块模型的图形卷积网络的泛化特性。我们进一步使用基于转换的Rademacher复杂性的泛化误差界限来展示图形卷积和网络架构在实现较小的泛化误差方面的作用，并在图形结构可以帮助学习时提供洞察。本文的调查结果可以重新新的兴趣在学习理论措施方面对神经网络的概括，尽管在特定问题中。

Graph Neural Networks (graph NNs) are a promising deep learning approach for analyzing graph-structured data. However, it is known that they do not improve (or sometimes worsen) their predictive performance as we pile up many layers and add non-lineality. To tackle this problem, we investigate the expressive power of graph NNs via their asymptotic behaviors as the layer size tends to infinity. Our strategy is to generalize the forward propagation of a Graph Convolutional Network (GCN), which is a popular graph NN variant, as a specific dynamical system. In the case of a GCN, we show that when its weights satisfy the conditions determined by the spectra of the (augmented) normalized Laplacian, its output exponentially approaches the set of signals that carry information of the connected components and node degrees only for distinguishing nodes. Our theory enables us to relate the expressive power of GCNs with the topological information of the underlying graphs inherent in the graph spectra. To demonstrate this, we characterize the asymptotic behavior of GCNs on the Erdős -Rényi graph. We show that when the Erdős -Rényi graph is sufficiently dense and large, a broad range of GCNs on it suffers from the "information loss" in the limit of infinite layers with high probability. Based on the theory, we provide a principled guideline for weight normalization of graph NNs. We experimentally confirm that the proposed weight scaling enhances the predictive performance of GCNs in real data 1 .

大多数图形神经网络（GNNS）使用传递范例的消息，其中节点特征在输入图上传播。最近的作品指出，从远处节点流动的信息失真，作为限制依赖于长途交互的任务的消息的效率。这种现象称为“过度挤压”，已经启动到图形瓶颈，其中$ k $ -hop邻居的数量以$ k $迅速增长。我们在GNNS中提供了精确描述了GNNS中的过度挤压现象，并分析了它如何从图中的瓶颈引发。为此目的，我们介绍了一种新的基于边缘的组合曲率，并证明了负曲面负责过度挤压问题。我们还提出并通过实验测试了一种基于曲率的曲线图重新挖掘方法，以减轻过度挤压。

在节点分类任务中，异常和过天性是两个可能损害图形卷积神经网络（GCN）性能的两个问题。异种源于问题是指模型无法处理异构节点属于不同类别的异细则图;过度问题是指模型的退化性能随着越来越多的层。这两个看似无关的问题大多是独立研究的，但最近有近期解决一个问题可能有益于另一个问题的经验证据。在这项工作中，除了经验观察之外，我们的目标是：（1）从统一的理论角度分析异常和过天际上的问题，（2）确定两个问题的共同原因，（3）提出简单但有效的解决策略共同的原因。在我们的理论分析中，我们表明异通源性和过天际上问题的共同原因 - 即节点的相对程度及其异常级别 - 触发连续层中的节点表示，以“移动”更靠近原始决策边界，这增加了某些约束下节点标签的错误分类率。理论上我们显示：（1）具有高异味的节点具有更高的错误分类率。 （2）即使在异常的情况下，节点邻域中的程度差异也可以影响节点表示的运动并导致“伪异性”情况，这有助于解释过度处理。 （3）允许在消息传递期间肯定的阳性而且负面信息可以有助于抵消两个问题的常见原因。基于我们的理论见解，我们提出了对GCN架构的简单修改（即学习程度校正和签名消息），我们表明他们在9个网络上缓解了HeteOlephily和过天际上的问题。

图形神经网络（GNN）在许多预测任务中表现出优于图形的优越性，因为它们在图形结构数据中捕获非线性关系的令人印象深刻。但是，对于节点分类任务，通常只观察到GNN在线性对应物上的边际改进。以前的作品对这种现象的理解很少。在这项工作中，我们求助于贝叶斯学习，以深入研究GNNS在节点分类任务中非线性的功能。鉴于从统计模型CSBM生成的图，我们观察到，给定其自身和邻居的属性的节点标签的最大a-后方估计包括两种类型的非线性，可能是节点属性和节点属性的非线性转换和来自邻居的重新激活特征聚合。后者令人惊讶地与许多GNN模型中使用的非线性类型匹配。通过进一步对节点属性施加高斯假设，我们证明，当节点属性比图形结构更具信息性时，这些relu激活的优越性才是显着的，该图与许多以前的经验观察非常匹配。当训练和测试数据集之间的节点属性分布变化时，可以实现类似的参数。最后，我们验证了关于合成和现实世界网络的理论。

图形神经网络（GNN）已被证明可以实现竞争结果，以解决与图形相关的任务，例如节点和图形分类，链接预测和节点以及各种域中的图形群集。大多数GNN使用消息传递框架，因此称为MPNN。尽管有很有希望的结果，但据报道，MPNN会遭受过度平滑，过度阵型和不足的影响。文献中已经提出了图形重新布线和图形池作为解决这些局限性的解决方案。但是，大多数最先进的图形重新布线方法无法保留该图的全局拓扑，因此没有可区分（电感），并且需要调整超参数。在本文中，我们提出了Diffwire，这是一个在MPNN中进行图形重新布线的新型框架，它通过利用LOV \'ASZ绑定来原理，完全可区分且无参数。我们的方法通过提出两个新的，mpnns中的新的互补层来提供统一的图形重新布线：首先，ctlayer，一个学习通勤时间并将其用作边缘重新加权的相关函数；其次，Gaplayer是优化光谱差距的图层，具体取决于网络的性质和手头的任务。我们从经验上验证了我们提出的方法的价值，并使用基准数据集分别验证了这些层的每个层以进行图形分类。 Diffwire将通勤时间的可学习性汇集到相关的曲率定义，为发展更具表现力的MPNN的发展打开了大门。

Graph Neural Networks (GNNs) had been demonstrated to be inherently susceptible to the problems of over-smoothing and over-squashing. These issues prohibit the ability of GNNs to model complex graph interactions by limiting their effectiveness at taking into account distant information. Our study reveals the key connection between the local graph geometry and the occurrence of both of these issues, thereby providing a unified framework for studying them at a local scale using the Ollivier's Ricci curvature. Based on our theory, a number of principled methods are proposed to alleviate the over-smoothing and over-squashing issues.

图神经网络（GNN）已证明其在各种应用中的表现出色。然而，其背后的工作机制仍然神秘。 GNN模型旨在学习图形结构数据的有效表示，该数据本质上与图形信号denoising（GSD）的原理相吻合。算法展开是一种“学习优化”技术的算法，由于其在构建高效和可解释的神经网络体系结构方面的前景，人们引起了人们的关注。在本文中，我们引入了基于GSD问题的截断优化算法（例如梯度下降和近端梯度下降）构建的一类展开网络。它们被证明与许多流行的GNN模型紧密相连，因为这些GNN中的正向传播实际上是为特定GSD提供服务的展开网络。此外，可以将GNN模型的训练过程视为解决了较低级别的GSD问题的双重优化问题。这种连接带来了GNN的新景，因为我们可以尝试从GSD对应物中理解它们的实际功能，并且还可以激励设计新的GNN模型。基于算法展开的观点，一种名为UGDGNN的表达模型，即展开的梯度下降GNN，进一步提出了继承具有吸引力的理论属性的。七个基准数据集上的大量数值模拟表明，UGDGNN可以比最新模型实现卓越或竞争性的性能。

消息传递神经网络（MPNN）自从引入卷积神经网络以泛滥到图形结构的数据以来，人们的受欢迎程度急剧上升，现在被认为是解决各种以图形为中心的最先进的工具问题。我们研究图形分类和回归中MPNN的概括误差。我们假设不同类别的图是从不同的随机图模型中采样的。我们表明，当在从这种分布中采样的数据集上训练MPNN时，概括差距会增加MPNN的复杂性，并且不仅相对于训练样本的数量，而且还会减少节点的平均数量在图中。这表明，只要图形很大，具有高复杂性的MPNN如何从图形的小数据集中概括。概括结合是从均匀收敛结果得出的，该结果表明，应用于图的任何MPNN近似于该图离散的几何模型上应用的MPNN。

图形神经网络（GNNS）是由图形卷积和叉指非线性组成的层组成的深度卷积架构。由于其不变性和稳定性属性，GNN在网络数据的学习陈述中被证明是成功的。但是，训练它们需要矩阵计算，这对于大图可能是昂贵的。为了解决这个限制，我们研究了GNN横跨图形转移的能力。我们考虑图形，这是加权和随机图形的图形限制和生成模型，以定义图形卷积和GNNS - Graphon卷曲和Graphon神经网络（WNNS）的限制对象 - 我们用作图形卷曲的生成模型和GNNS。我们表明，这些石墨源区和WNN可以通过图形滤波器和来自加权和随机图中的它们采样的GNN来近似。使用这些结果，我们将导出误差界限，用于跨越此类图形传输图形过滤器和GNN。这些界限表明，可转换性随着图尺寸的增加而增加，并且揭示了在GNN中的可转换性和光谱分辨率之间的折衷，其被点亮的非线性缓解。这些发现经验在电影推荐和分散机器人控制中的数值实验中进行了经验验证。

本文研究了辍学图神经网络（DAVERGNNS），一种旨在克服标准GNN框架的局限性的新方法。在DAMPGNNS中，我们在输入图上执行多个GNN运行，其中一些节点随机且独立地在这些运行中丢弃。然后，我们将这些运行的结果结合起来获得最终结果。我们证明DAMPGNN可以区分无法通过GNN的消息分隔的各种图形邻域。我们导出了确保可靠分布辍学所需的运行数量的理论界限，我们证明了有关DACKGNNS的表现能力和限制的若干特性。我们在实验上验证了我们对表现力的理论结果。此外，我们表明DOWNNNS在已建立的GNN基准上表现得很竞争。

Pre-publication draft of a book to be published byMorgan & Claypool publishers. Unedited version released with permission. All relevant copyrights held by the author and publisher extend to this pre-publication draft.

提高GCN的深度（预计将允许更多表达性）显示出损害性能，尤其是在节点分类上。原因的主要原因在于过度平滑。过度平滑的问题将GCN的输出驱动到一个在节点之间包含有限的区别信息的空间，从而导致表现不佳。已经提出了一些有关完善GCN架构的作品，但理论上仍然未知这些改进是否能够缓解过度平衡。在本文中，我们首先从理论上分析了通用GCN如何与深度增加的作用，包括通用GCN，GCN，具有偏见，RESGCN和APPNP。我们发现所有这些模型都以通用过程为特征：所有节点融合到Cuboid。在该定理下，我们建议通过在每个训练时期随机去除一定数量的边缘来减轻过度光滑的状态。从理论上讲，Dropedge可以降低过度平滑的收敛速度，或者可以减轻尺寸崩溃引起的信息损失。对模拟数据集的实验评估已可视化不同GCN之间过度平滑的差异。此外，对几个真正的基准支持的广泛实验，这些实验始终如一地改善各种浅GCN和深度GCN的性能。

图神经网络（GNN）是非欧盟数据的强大深度学习方法。流行的GNN是通信算法（MPNNS），它们在本地图中汇总并结合了信号。但是，浅的mpnns倾向于错过远程信号，并且在某些异质图上表现不佳，而深度mpnns可能会遇到过度平滑或过度阵型等问题。为了减轻此类问题，现有的工作通常会从欧几里得数据上训练神经网络或修改图形结构中借用归一化技术。然而，这些方法在理论上并不是很好地理解，并且可能会提高整体计算复杂性。在这项工作中，我们从光谱图嵌入中汲取灵感，并提出$ \ texttt {powerembed} $ - 一种简单的层归一化技术来增强mpnns。我们显示$ \ texttt {powerembed} $可以证明图形运算符的顶部 - $ k $引导特征向量，该算子可以防止过度光滑，并且对图形拓扑是不可知的；同时，它产生了从本地功能到全球信号的表示列表，避免了过度阵列。我们将$ \ texttt {powerembed} $应用于广泛的模拟和真实图表，并展示其竞争性能，尤其是对于异性图。

Most graph neural network models rely on a particular message passing paradigm, where the idea is to iteratively propagate node representations of a graph to each node in the direct neighborhood. While very prominent, this paradigm leads to information propagation bottlenecks, as information is repeatedly compressed at intermediary node representations, which causes loss of information, making it practically impossible to gather meaningful signals from distant nodes. To address this issue, we propose shortest path message passing neural networks, where the node representations of a graph are propagated to each node in the shortest path neighborhoods. In this setting, nodes can directly communicate between each other even if they are not neighbors, breaking the information bottleneck and hence leading to more adequately learned representations. Theoretically, our framework generalizes message passing neural networks, resulting in provably more expressive models, and we show that some recent state-of-the-art models are special instances of this framework. Empirically, we verify the capacity of a basic model of this framework on dedicated synthetic experiments, and on real-world graph classification and regression benchmarks, and obtain state-of-the-art results.

图形神经网络（GNNS）对图表上的半监督节点分类展示了卓越的性能，结果是它们能够同时利用节点特征和拓扑信息的能力。然而，大多数GNN隐含地假设曲线图中的节点和其邻居的标签是相同或一致的，其不包含在异质图中，其中链接节点的标签可能不同。因此，当拓扑是非信息性的标签预测时，普通的GNN可以显着更差，而不是在每个节点上施加多层Perceptrons（MLPS）。为了解决上述问题，我们提出了一种新的$ -laplacian基于GNN模型，称为$ ^ P $ GNN，其消息传递机制来自离散正则化框架，并且可以理论上解释为多项式图的近似值在$ p $ -laplacians的频谱域上定义过滤器。光谱分析表明，新的消息传递机制同时用作低通和高通滤波器，从而使$ ^ P $ GNNS对同性恋和异化图有效。关于现实世界和合成数据集的实证研究验证了我们的调查结果，并证明了$ ^ P $ GNN明显优于异交基准的几个最先进的GNN架构，同时在同性恋基准上实现竞争性能。此外，$ ^ p $ gnns可以自适应地学习聚合权重，并且对嘈杂的边缘具有强大。