Recent works have investigated the role of graph bottlenecks in preventing long-range information propagation in message-passing graph neural networks, causing the so-called `over-squashing' phenomenon. As a remedy, graph rewiring mechanisms have been proposed as preprocessing steps. Graph Echo State Networks (GESNs) are a reservoir computing model for graphs, where node embeddings are recursively computed by an untrained message-passing function. In this paper, we show that GESNs can achieve a significantly better accuracy on six heterophilic node classification tasks without altering the graph connectivity, thus suggesting a different route for addressing the over-squashing problem.

大多数图形神经网络（GNNS）使用传递范例的消息，其中节点特征在输入图上传播。最近的作品指出，从远处节点流动的信息失真，作为限制依赖于长途交互的任务的消息的效率。这种现象称为“过度挤压”，已经启动到图形瓶颈，其中$ k $ -hop邻居的数量以$ k $迅速增长。我们在GNNS中提供了精确描述了GNNS中的过度挤压现象，并分析了它如何从图中的瓶颈引发。为此目的，我们介绍了一种新的基于边缘的组合曲率，并证明了负曲面负责过度挤压问题。我们还提出并通过实验测试了一种基于曲率的曲线图重新挖掘方法，以减轻过度挤压。

尽管在深度学习的其他应用领域中取得了非常深的架构，但流行的图神经网络是浅层模型。这降低了建模能力，并使模型无法捕获远程关系。浅设计的主要原因是过度平滑的，这导致节点状态随着深度的增加而变得更加相似。我们建立在GNNS和Pagerank之间的紧密联系的基础上，为此，个性化的Pagerank介绍了对个性化向量的考虑。通过这个想法，我们提出了个性化的Pagerank图神经网络（PPRGNN），该神经网络将图形卷积网络扩展到无限深度模型，该模型有机会将邻居聚集重置回每个迭代中的初始状态。我们引入了一个很好的解释调整，以重置重置并证明我们的方法与独特解决方案的收敛性，而无需放置任何限制，即使无限地进行了许多邻居聚集。与个性化的Pagerank一样，我们的结果不会过度光滑。在这样做的同时，在我们保持内存复杂性恒定的同时，时间复杂性保持线性，而与网络的深度无关，使其比较大图。我们从经验上展示了方法对各种节点和图形分类任务的有效性。在几乎所有情况下，PPRGNN优于可比较的方法。

Graph Neural Networks (GNNs) have been successfully applied in many applications in computer sciences. Despite the success of deep learning architectures in other domains, deep GNNs still underperform their shallow counterparts. There are many open questions about deep GNNs, but over-smoothing and over-squashing are perhaps the most intriguing issues. When stacking multiple graph convolutional layers, the over-smoothing and over-squashing problems arise and have been defined as the inability of GNNs to learn deep representations and propagate information from distant nodes, respectively. Even though the widespread definitions of both problems are similar, these phenomena have been studied independently. This work strives to understand the underlying relationship between over-smoothing and over-squashing from a topological perspective. We show that both problems are intrinsically related to the spectral gap of the Laplacian of the graph. Therefore, there is a trade-off between these two problems, i.e., we cannot simultaneously alleviate both over-smoothing and over-squashing. We also propose a Stochastic Jost and Liu curvature Rewiring (SJLR) algorithm based on a bound of the Ollivier's Ricci curvature. SJLR is less expensive than previous curvature-based rewiring methods while retaining fundamental properties. Finally, we perform a thorough comparison of SJLR with previous techniques to alleviate over-smoothing or over-squashing, seeking to gain a better understanding of both problems.

图形神经网络（GNN）已被证明可以实现竞争结果，以解决与图形相关的任务，例如节点和图形分类，链接预测和节点以及各种域中的图形群集。大多数GNN使用消息传递框架，因此称为MPNN。尽管有很有希望的结果，但据报道，MPNN会遭受过度平滑，过度阵型和不足的影响。文献中已经提出了图形重新布线和图形池作为解决这些局限性的解决方案。但是，大多数最先进的图形重新布线方法无法保留该图的全局拓扑，因此没有可区分（电感），并且需要调整超参数。在本文中，我们提出了Diffwire，这是一个在MPNN中进行图形重新布线的新型框架，它通过利用LOV \'ASZ绑定来原理，完全可区分且无参数。我们的方法通过提出两个新的，mpnns中的新的互补层来提供统一的图形重新布线：首先，ctlayer，一个学习通勤时间并将其用作边缘重新加权的相关函数；其次，Gaplayer是优化光谱差距的图层，具体取决于网络的性质和手头的任务。我们从经验上验证了我们提出的方法的价值，并使用基准数据集分别验证了这些层的每个层以进行图形分类。 Diffwire将通勤时间的可学习性汇集到相关的曲率定义，为发展更具表现力的MPNN的发展打开了大门。

Graph convolution is the core of most Graph Neural Networks (GNNs) and usually approximated by message passing between direct (one-hop) neighbors. In this work, we remove the restriction of using only the direct neighbors by introducing a powerful, yet spatially localized graph convolution: Graph diffusion convolution (GDC). GDC leverages generalized graph diffusion, examples of which are the heat kernel and personalized PageRank. It alleviates the problem of noisy and often arbitrarily defined edges in real graphs. We show that GDC is closely related to spectral-based models and thus combines the strengths of both spatial (message passing) and spectral methods. We demonstrate that replacing message passing with graph diffusion convolution consistently leads to significant performance improvements across a wide range of models on both supervised and unsupervised tasks and a variety of datasets. Furthermore, GDC is not limited to GNNs but can trivially be combined with any graph-based model or algorithm (e.g. spectral clustering) without requiring any changes to the latter or affecting its computational complexity. Our implementation is available online. 1

图形神经网络（GNNS）显着改善了图形结构数据的表示功率。尽管最近GNN的成功，大多数GNN的图表卷积都有两个限制。由于图形卷积在输入图上的小本地邻域中执行，因此固有地无法捕获距离节点之间的远程依赖性。另外，当节点具有属于不同类别的邻居时，即，异常，来自它们的聚合消息通常会影响表示学习。为了解决图表卷积的两个常见问题，在本文中，我们提出了可变形的图形卷积网络（可变形GCNS），可在多个潜在空间中自适应地执行卷积并捕获节点之间的短/远程依赖性。与节点表示（特征）分开，我们的框架同时学习节点位置嵌入式嵌入式（坐标）以确定节点之间以端到端的方式之间的关系。根据节点位置，卷积内核通过变形向量变形并将不同的变换应用于其邻居节点。我们广泛的实验表明，可变形的GCNS灵活地处理异常的处理，并在六个异化图数据集中实现节点分类任务中的最佳性能。

图形神经网络（GNNS）对图表上的半监督节点分类展示了卓越的性能，结果是它们能够同时利用节点特征和拓扑信息的能力。然而，大多数GNN隐含地假设曲线图中的节点和其邻居的标签是相同或一致的，其不包含在异质图中，其中链接节点的标签可能不同。因此，当拓扑是非信息性的标签预测时，普通的GNN可以显着更差，而不是在每个节点上施加多层Perceptrons（MLPS）。为了解决上述问题，我们提出了一种新的$ -laplacian基于GNN模型，称为$ ^ P $ GNN，其消息传递机制来自离散正则化框架，并且可以理论上解释为多项式图的近似值在$ p $ -laplacians的频谱域上定义过滤器。光谱分析表明，新的消息传递机制同时用作低通和高通滤波器，从而使$ ^ P $ GNNS对同性恋和异化图有效。关于现实世界和合成数据集的实证研究验证了我们的调查结果，并证明了$ ^ P $ GNN明显优于异交基准的几个最先进的GNN架构，同时在同性恋基准上实现竞争性能。此外，$ ^ p $ gnns可以自适应地学习聚合权重，并且对嘈杂的边缘具有强大。

Graph neural networks have shown significant success in the field of graph representation learning. Graph convolutions perform neighborhood aggregation and represent one of the most important graph operations. Nevertheless, one layer of these neighborhood aggregation methods only consider immediate neighbors, and the performance decreases when going deeper to enable larger receptive fields. Several recent studies attribute this performance deterioration to the over-smoothing issue, which states that repeated propagation makes node representations of different classes indistinguishable. In this work, we study this observation systematically and develop new insights towards deeper graph neural networks. First, we provide a systematical analysis on this issue and argue that the key factor compromising the performance significantly is the entanglement of representation transformation and propagation in current graph convolution operations. After decoupling these two operations, deeper graph neural networks can be used to learn graph node representations from larger receptive fields. We further provide a theoretical analysis of the above observation when building very deep models, which can serve as a rigorous and gentle description of the over-smoothing issue. Based on our theoretical and empirical analysis, we propose Deep Adaptive Graph Neural Network (DAGNN) to adaptively incorporate information from large receptive fields. A set of experiments on citation, coauthorship, and co-purchase datasets have confirmed our analysis and insights and demonstrated the superiority of our proposed methods. CCS CONCEPTS• Mathematics of computing → Graph algorithms; • Computing methodologies → Artificial intelligence; Neural networks.

图表学习目的旨在将节点内容与图形结构集成以学习节点/图表示。然而，发现许多现有的图形学习方法在具有高异性级别的数据上不能很好地工作，这是不同类标签之间很大比例的边缘。解决这个问题的最新努力集中在改善消息传递机制上。但是，尚不清楚异质性是否确实会损害图神经网络（GNNS）的性能。关键是要展现一个节点与其直接邻居之间的关系，例如它们是异性还是同质性？从这个角度来看，我们在这里研究了杂质表示在披露连接节点之间的关系之前/之后的杂音表示的作用。特别是，我们提出了一个端到端框架，该框架既学习边缘的类型（即异性/同质性），并利用边缘类型的信息来提高图形神经网络的表现力。我们以两种不同的方式实施此框架。具体而言，为了避免通过异质边缘传递的消息，我们可以通过删除边缘分类器鉴定的异性边缘来优化图形结构。另外，可以利用有关异性邻居的存在的信息进行特征学习，因此，设计了一种混合消息传递方法来汇总同质性邻居，并根据边缘分类使异性邻居多样化。广泛的实验表明，在整个同质级别的多个数据集上，通过在多个数据集上提出的框架对GNN的绩效提高了显着提高。

A prominent paradigm for graph neural networks is based on the message passing framework. In this framework, information communication is realized only between neighboring nodes. The challenge of approaches that use this paradigm is to ensure efficient and accurate \textit{long distance communication} between nodes, as deep convolutional networks are prone to over-smoothing. In this paper, we present a novel method based on time derivative graph diffusion (TIDE), with a learnable time parameter. Our approach allows to adapt the spatial extent of diffusion across different tasks and network channels, thus enabling medium and long-distance communication efficiently. Furthermore, we show that our architecture directly enables local message passing and thus inherits from the expressive power of local message passing approaches. We show that on widely used graph benchmarks we achieve comparable performance and on a synthetic mesh dataset we outperform state-of-the-art methods like GCN or GRAND by a significant margin.

图形神经网络（GNNS）在各种基于图形的应用中显示了优势。大多数现有的GNNS假设图形结构的强大奇妙并应用邻居的置换不变本地聚合以学习每个节点的表示。然而，它们未能概括到异质图，其中大多数相邻节点具有不同的标签或特征，并且相关节点远处。最近的几项研究通过组合中央节点的隐藏表示（即，基于多跳的方法）的多个跳数来解决这个问题，或者基于注意力分数对相邻节点进行排序（即，基于排名的方法）来解决这个问题。结果，这些方法具有一些明显的限制。一方面，基于多跳的方法没有明确区分相关节点的大量多跳社区，导致严重的过平滑问题。另一方面，基于排名的模型不与结束任务进行联合优化节点排名，并导致次优溶液。在这项工作中，我们呈现图表指针神经网络（GPNN）来解决上述挑战。我们利用指针网络从大量的多跳邻域选择最相关的节点，这根据与中央节点的关系来构造有序序列。然后应用1D卷积以从节点序列中提取高级功能。 GPNN中的基于指针网络的Ranker是以端到端的方式与其他部件进行联合优化的。在具有异质图的六个公共节点分类数据集上进行了广泛的实验。结果表明，GPNN显着提高了最先进方法的分类性能。此外，分析还揭示了拟议的GPNN在过滤出无关邻居并减少过平滑的特权。

由于问题过度问题，大多数现有的图形神经网络只能使用其固有有限的聚合层捕获有限的依赖性。为了克服这一限制，我们提出了一种新型的图形卷积，称为图形隐式非线性扩散（GIND），该卷积隐含地可以访问邻居的无限啤酒花，同时具有非线性扩散的自适应聚集特征，以防止过度张开。值得注意的是，我们表明，学到的表示形式可以正式化为显式凸优化目标的最小化器。有了这个属性，我们可以从优化的角度从理论上表征GIND的平衡。更有趣的是，我们可以通过修改相应的优化目标来诱导新的结构变体。具体而言，我们可以将先前的特性嵌入到平衡中，并引入跳过连接以促进训练稳定性。广泛的实验表明，GIND擅长捕获长期依赖性，并且在具有非线性扩散的同粒细胞和异性图上表现良好。此外，我们表明，我们模型的优化引起的变体可以提高性能并提高训练稳定性和效率。结果，我们的GIND在节点级别和图形级任务上都获得了重大改进。

提高GCN的深度（预计将允许更多表达性）显示出损害性能，尤其是在节点分类上。原因的主要原因在于过度平滑。过度平滑的问题将GCN的输出驱动到一个在节点之间包含有限的区别信息的空间，从而导致表现不佳。已经提出了一些有关完善GCN架构的作品，但理论上仍然未知这些改进是否能够缓解过度平衡。在本文中，我们首先从理论上分析了通用GCN如何与深度增加的作用，包括通用GCN，GCN，具有偏见，RESGCN和APPNP。我们发现所有这些模型都以通用过程为特征：所有节点融合到Cuboid。在该定理下，我们建议通过在每个训练时期随机去除一定数量的边缘来减轻过度光滑的状态。从理论上讲，Dropedge可以降低过度平滑的收敛速度，或者可以减轻尺寸崩溃引起的信息损失。对模拟数据集的实验评估已可视化不同GCN之间过度平滑的差异。此外，对几个真正的基准支持的广泛实验，这些实验始终如一地改善各种浅GCN和深度GCN的性能。

Deep learning has revolutionized many machine learning tasks in recent years, ranging from image classification and video processing to speech recognition and natural language understanding. The data in these tasks are typically represented in the Euclidean space. However, there is an increasing number of applications where data are generated from non-Euclidean domains and are represented as graphs with complex relationships and interdependency between objects. The complexity of graph data has imposed significant challenges on existing machine learning algorithms. Recently, many studies on extending deep learning approaches for graph data have emerged. In this survey, we provide a comprehensive overview of graph neural networks (GNNs) in data mining and machine learning fields. We propose a new taxonomy to divide the state-of-the-art graph neural networks into four categories, namely recurrent graph neural networks, convolutional graph neural networks, graph autoencoders, and spatial-temporal graph neural networks. We further discuss the applications of graph neural networks across various domains and summarize the open source codes, benchmark data sets, and model evaluation of graph neural networks. Finally, we propose potential research directions in this rapidly growing field.

我们研究了深GCN模型中的自适应层图形卷积。我们建议ADAGPR在GCNII网络的每一层中学习通用的Pageranks，以诱导适应性卷积。我们表明，ADAGPR结合的概括是由归一化邻接矩阵的特征值谱的多项式按概括性Pagerank系数数量的顺序界定的。通过分析概括范围，我们表明过度厚度取决于汇总的较高阶段矩阵矩阵和模型深度。我们使用基准真实数据对节点分类进行了评估，并表明ADAGPR与现有的图形卷积网络相比提供了改进的精确度，同时证明了针对超平面的稳健性。此外，我们证明了对层概括的PageRanks系数的分析使我们能够在每个层上定性地了解模型解释的卷积。

Over-fitting and over-smoothing are two main obstacles of developing deep Graph Convolutional Networks (GCNs) for node classification. In particular, over-fitting weakens the generalization ability on small dataset, while over-smoothing impedes model training by isolating output representations from the input features with the increase in network depth. This paper proposes DropEdge, a novel and flexible technique to alleviate both issues. At its core, DropEdge randomly removes a certain number of edges from the input graph at each training epoch, acting like a data augmenter and also a message passing reducer. Furthermore, we theoretically demonstrate that DropEdge either reduces the convergence speed of over-smoothing or relieves the information loss caused by it. More importantly, our DropEdge is a general skill that can be equipped with many other backbone models (e.g. GCN, ResGCN, GraphSAGE, and JKNet) for enhanced performance. Extensive experiments on several benchmarks verify that DropEdge consistently improves the performance on a variety of both shallow and deep GCNs. The effect of DropEdge on preventing over-smoothing is empirically visualized and validated as well. Codes are released on https://github.com/DropEdge/DropEdge.

信息过度时是网络上远处节点之间效率低下的信息传播的现象。这是一个重要的问题，已知会显着影响图形神经网络（GNN）的训练，因为节点的接受场呈指数增长。为了减轻此问题，通常将称为重新布线的预处理程序应用于输入网络。在本文中，我们研究了经典曲率几何概念的离散类似物的使用来对网络上的信息流进行建模并重新织线。我们表明，这些经典概念在各种现实世界网络数据集上实现了GNN培训准确性的最新性能。此外，与当前的最新概念相比，这些经典概念在计算运行时表现出明显的优势。

消息传递已作为设计图形神经网络（GNN）的有效工具的发展。但是，消息传递的大多数现有方法简单地简单或平均所有相邻的功能更新节点表示。它们受到两个问题的限制，即（i）缺乏可解释性来识别对GNN的预测重要的节点特征，以及（ii）特征过度混合，导致捕获长期依赖和无能为力的过度平滑问题在异质或低同质的下方处理图。在本文中，我们提出了一个节点级胶囊图神经网络（NCGNN），以通过改进的消息传递方案来解决这些问题。具体而言，NCGNN表示节点为节点级胶囊组，其中每个胶囊都提取其相应节点的独特特征。对于每个节点级胶囊，开发了一个新颖的动态路由过程，以适应适当的胶囊，以从设计的图形滤波器确定的子图中聚集。 NCGNN聚集仅有利的胶囊并限制无关的消息，以避免交互节点的过度混合特征。因此，它可以缓解过度平滑的问题，并通过同粒或异质的图表学习有效的节点表示。此外，我们提出的消息传递方案本质上是可解释的，并免于复杂的事后解释，因为图形过滤器和动态路由过程确定了节点特征的子集，这对于从提取的子分类中的模型预测最为重要。关于合成和现实图形的广泛实验表明，NCGNN可以很好地解决过度光滑的问题，并为半监视的节点分类产生更好的节点表示。它的表现优于同质和异质的艺术状态。

过度平滑是一个具有挑战性的问题，这会降低深图卷积网络（GCNS）的性能。然而，用于缓解过度平滑问题的现有研究缺乏一般性或有效性。在本文中，我们分析了过度平滑问题背后的潜在问题，即特征 - 多样性退化，梯度消失和模型重量衰减。灵感来自于此，我们提出了一个简单而有效的即插即用模块，速度，缓解过度平滑。具体地，对于GCN模型的每个中间层，随机地（或基于节点度）选择节点以通过直接向非线性函数馈送它们的输入特征来跳过卷积操作。分析，1）跳过卷积操作可以防止特征失去多样性; 2）“跳过”节点使能梯度直接传递回来，从而减轻梯度消失和模型权重过腐蚀问题。为了展示Skipnode的优越性，我们对九个流行的数据集进行了广泛的实验，包括同性恋和异化图，在两个典型的任务上具有不同的图表大小：节点分类和链路预测。具体而言，1）SkipNode具有适应不同数据集和任务的各种基于GCN的模型的普遍性。 2）Skipnode优于最近最先进的反平滑插头 - 播放模块，即DropEdge和Dropnode，在不同的设置中。代码将在GitHub上公开提供。