图表卷积网络（GCNS）已经实现了最近处理各种图形结构数据的显着学习能力。通常，由于传统GCNS中的图形卷积是Laplacian平滑的特殊形式，因此，Deep GCN不起作用很好，因此使不同节点的表示无法区分。在文献中，在GCN中采用多尺度信息来增强GCN的表现力。但是，过度平滑现象作为GCN的关键问题仍有待解决和调查。在本文中，我们通过将自我注意机制和多尺度信息结合到GCNS设计中，提出了两种新的多尺度GCN框架。我们的方法大大提高了GCNS模型的计算效率和预测准确性。对两个节点分类和图表分类的广泛实验证明了几种最先进的GCNS的有效性。值得注意的是，提出的两个架构可以有效地减轻GCN的过平滑问题，而我们的模型层甚至可以增加到64美元。

图表卷积网络（GCN）是一种强大的模型，在各种图形结构数据学习任务中逐渐研究。然而，为了减轻过平滑的现象，并处理异构图形结构数据，GCN模型的设计仍然是要调查的重要问题。在本文中，我们通过利用堆叠和聚合的思想提出一种名为SSTAGCN（简化堆叠的GCN）的新型GCN，这是用于解决异构图数据的自适应一般框架。具体来说，我们首先使用堆叠的基础模型来提取图形的节点特征。随后，采用诸如平均值，关注和投票技术的聚合方法来进一步增强节点特征提取的能力。此后，节点特征被认为是输入并馈入vanilla GCN模型。此外，明确地解析了所提出的模型的理论泛化结合分析。广泛的3美元公共引用网络和另外3美元的异质表格数据进行了广泛的实验，证明了拟议的艺术技术的效果和效率。值得注意的是，所提出的SSTAGCN可以有效地减轻GCN的过平滑问题。

Advanced methods of applying deep learning to structured data such as graphs have been proposed in recent years. In particular, studies have focused on generalizing convolutional neural networks to graph data, which includes redefining the convolution and the downsampling (pooling) operations for graphs. The method of generalizing the convolution operation to graphs has been proven to improve performance and is widely used. However, the method of applying downsampling to graphs is still difficult to perform and has room for improvement. In this paper, we propose a graph pooling method based on selfattention. Self-attention using graph convolution allows our pooling method to consider both node features and graph topology. To ensure a fair comparison, the same training procedures and model architectures were used for the existing pooling methods and our method. The experimental results demonstrate that our method achieves superior graph classification performance on the benchmark datasets using a reasonable number of parameters.

Graph convolutional networks (GCNs) are a powerful deep learning approach for graph-structured data. Recently, GCNs and subsequent variants have shown superior performance in various application areas on real-world datasets. Despite their success, most of the current GCN models are shallow, due to the over-smoothing problem.In this paper, we study the problem of designing and analyzing deep graph convolutional networks. We propose the GCNII, an extension of the vanilla GCN model with two simple yet effective techniques: Initial residual and Identity mapping. We provide theoretical and empirical evidence that the two techniques effectively relieves the problem of over-smoothing. Our experiments show that the deep GCNII model outperforms the state-of-the-art methods on various semi-and fullsupervised tasks. Code is available at https: //github.com/chennnM/GCNII.

图形神经网络已成为从图形结构数据学习的不可缺少的工具之一，并且它们的实用性已在各种各样的任务中显示。近年来，建筑设计的巨大改进，导致各种预测任务的性能更好。通常，这些神经架构在同一层中使用可知的权重矩阵组合节点特征聚合和特征转换。这使得分析从各种跳过的节点特征和神经网络层的富有效力来挑战。由于不同的图形数据集显示在特征和类标签分布中的不同级别和异常级别，因此必须了解哪些特征对于没有任何先前信息的预测任务是重要的。在这项工作中，我们将节点特征聚合步骤和深度与图形神经网络分离，并经验分析了不同的聚合特征在预测性能中发挥作用。我们表明，并非通过聚合步骤生成的所有功能都很有用，并且通常使用这些较少的信息特征可能对GNN模型的性能有害。通过我们的实验，我们表明学习这些功能的某些子集可能会导致各种数据集的性能更好。我们建议使用Softmax作为常规器，并从不同跳距的邻居聚合的功能的“软选择器”;和L2 - GNN层的标准化。结合这些技术，我们呈现了一个简单浅的模型，特征选择图神经网络（FSGNN），并经验展示所提出的模型比九个基准数据集中的最先进的GNN模型实现了可比或甚至更高的准确性节点分类任务，具有显着的改进，可达51.1％。

图表神经网络（GNNS）在图形结构数据的表现中表现出巨大的成功。在捕获图形拓扑中，GNN中的层展图表卷积显示为强大。在此过程中，GNN通常由预定义的内核引导，例如拉普拉斯矩阵，邻接矩阵或其变体。但是，预定义的内核的采用可能会限制不同图形的必要性：图形和内核之间的不匹配将导致次优性能。例如，当高频信息对于图表具有重要意义时，聚焦在低频信息上的GNN可能无法实现令人满意的性能，反之亦然。为了解决这个问题，在本文中，我们提出了一种新颖的框架 - 即，即Adaptive Kernel图神经网络（AKGNN） - 这将在第一次尝试时以统一的方式适应最佳图形内核。在所提出的AKGNN中，我们首先设计一种数据驱动的图形内核学习机制，它通过修改图拉普拉斯的最大特征值来自适应地调制全通过和低通滤波器之间的平衡。通过此过程，AKGNN了解高频信号之间的最佳阈值以减轻通用问题。稍后，我们通过参数化技巧进一步减少参数的数量，并通过全局读出功能增强富有表现力。在确认的基准数据集中进行了广泛的实验，并且有希望的结果通过与最先进的GNNS比较，展示了我们所提出的Akgnn的出色表现。源代码在公开上可用：https://github.com/jumxglhf/akgnn。

数据增强已广泛用于图像数据和语言数据，但仍然探索图形神经网络（GNN）。现有方法专注于从全局视角增强图表数据，并大大属于两个类型：具有特征噪声注入的结构操纵和对抗训练。但是，最近的图表数据增强方法忽略了GNNS“消息传递机制的本地信息的重要性。在这项工作中，我们介绍了本地增强，这通过其子图结构增强了节点表示的局部。具体而言，我们将数据增强模拟为特征生成过程。鉴于节点的功能，我们的本地增强方法了解其邻居功能的条件分布，并生成更多邻居功能，以提高下游任务的性能。基于本地增强，我们进一步设计了一个新颖的框架：La-GNN，可以以即插即用的方式应用于任何GNN模型。广泛的实验和分析表明，局部增强一致地对各种基准的各种GNN架构始终如一地产生性能改进。

过度平滑是一个具有挑战性的问题，这会降低深图卷积网络（GCNS）的性能。然而，用于缓解过度平滑问题的现有研究缺乏一般性或有效性。在本文中，我们分析了过度平滑问题背后的潜在问题，即特征 - 多样性退化，梯度消失和模型重量衰减。灵感来自于此，我们提出了一个简单而有效的即插即用模块，速度，缓解过度平滑。具体地，对于GCN模型的每个中间层，随机地（或基于节点度）选择节点以通过直接向非线性函数馈送它们的输入特征来跳过卷积操作。分析，1）跳过卷积操作可以防止特征失去多样性; 2）“跳过”节点使能梯度直接传递回来，从而减轻梯度消失和模型权重过腐蚀问题。为了展示Skipnode的优越性，我们对九个流行的数据集进行了广泛的实验，包括同性恋和异化图，在两个典型的任务上具有不同的图表大小：节点分类和链路预测。具体而言，1）SkipNode具有适应不同数据集和任务的各种基于GCN的模型的普遍性。 2）Skipnode优于最近最先进的反平滑插头 - 播放模块，即DropEdge和Dropnode，在不同的设置中。代码将在GitHub上公开提供。

We present graph attention networks (GATs), novel neural network architectures that operate on graph-structured data, leveraging masked self-attentional layers to address the shortcomings of prior methods based on graph convolutions or their approximations. By stacking layers in which nodes are able to attend over their neighborhoods' features, we enable (implicitly) specifying different weights to different nodes in a neighborhood, without requiring any kind of costly matrix operation (such as inversion) or depending on knowing the graph structure upfront. In this way, we address several key challenges of spectral-based graph neural networks simultaneously, and make our model readily applicable to inductive as well as transductive problems. Our GAT models have achieved or matched state-of-theart results across four established transductive and inductive graph benchmarks: the Cora, Citeseer and Pubmed citation network datasets, as well as a proteinprotein interaction dataset (wherein test graphs remain unseen during training).

图形神经网络（GNNS）显着改善了图形结构数据的表示功率。尽管最近GNN的成功，大多数GNN的图表卷积都有两个限制。由于图形卷积在输入图上的小本地邻域中执行，因此固有地无法捕获距离节点之间的远程依赖性。另外，当节点具有属于不同类别的邻居时，即，异常，来自它们的聚合消息通常会影响表示学习。为了解决图表卷积的两个常见问题，在本文中，我们提出了可变形的图形卷积网络（可变形GCNS），可在多个潜在空间中自适应地执行卷积并捕获节点之间的短/远程依赖性。与节点表示（特征）分开，我们的框架同时学习节点位置嵌入式嵌入式（坐标）以确定节点之间以端到端的方式之间的关系。根据节点位置，卷积内核通过变形向量变形并将不同的变换应用于其邻居节点。我们广泛的实验表明，可变形的GCNS灵活地处理异常的处理，并在六个异化图数据集中实现节点分类任务中的最佳性能。

几何深度学习取得了长足的进步，旨在概括从传统领域到非欧几里得群岛的结构感知神经网络的设计，从而引起图形神经网络（GNN），这些神经网络（GNN）可以应用于形成的图形结构数据，例如社会，例如，网络，生物化学和材料科学。尤其是受欧几里得对应物的启发，尤其是图形卷积网络（GCN）通过提取结构感知功能来成功处理图形数据。但是，当前的GNN模型通常受到各种现象的限制，这些现象限制了其表达能力和推广到更复杂的图形数据集的能力。大多数模型基本上依赖于通过本地平均操作对图形信号的低通滤波，从而导致过度平滑。此外，为了避免严重的过度厚度，大多数流行的GCN式网络往往是较浅的，并且具有狭窄的接收场，导致侵犯。在这里，我们提出了一个混合GNN框架，该框架将传统的GCN过滤器与通过几何散射定义的带通滤波器相结合。我们进一步介绍了一个注意框架，该框架允许该模型在节点级别上从不同过滤器的组合信息进行本地参与。我们的理论结果确定了散射过滤器的互补益处，以利用图表中的结构信息，而我们的实验显示了我们方法对各种学习任务的好处。

图形卷积网络对于从图形结构数据进行深入学习而变得必不可少。大多数现有的图形卷积网络都有两个大缺点。首先，它们本质上是低通滤波器，因此忽略了图形信号的潜在有用的中和高频带。其次，固定了现有图卷积过滤器的带宽。图形卷积过滤器的参数仅转换图输入而不更改图形卷积滤波器函数的曲率。实际上，除非我们有专家领域知识，否则我们不确定是否应该在某个点保留或切断频率。在本文中，我们建议自动图形卷积网络（AUTOGCN）捕获图形信号的完整范围，并自动更新图形卷积过滤器的带宽。虽然它基于图谱理论，但我们的自动环境也位于空间中，并具有空间形式。实验结果表明，AutoGCN比仅充当低通滤波器的基线方法实现了显着改善。

图表可以模拟实体之间的复杂交互，它在许多重要的应用程序中自然出现。这些应用程序通常可以投入到标准图形学习任务中，其中关键步骤是学习低维图表示。图形神经网络（GNN）目前是嵌入方法中最受欢迎的模型。然而，邻域聚合范例中的标准GNN患有区分\ EMPH {高阶}图形结构的有限辨别力，而不是\ EMPH {低位}结构。为了捕获高阶结构，研究人员求助于主题和开发的基于主题的GNN。然而，现有的基于主基的GNN仍然仍然遭受较少的辨别力的高阶结构。为了克服上述局限性，我们提出了一个新颖的框架，以更好地捕获高阶结构的新框架，铰接于我们所提出的主题冗余最小化操作员和注射主题组合的新颖框架。首先，MGNN生成一组节点表示W.R.T.每个主题。下一阶段是我们在图案中提出的冗余最小化，该主题在彼此相互比较并蒸馏出每个主题的特征。最后，MGNN通过组合来自不同图案的多个表示来执行节点表示的更新。特别地，为了增强鉴别的功率，MGNN利用重新注射功能来组合表示的函数w.r.t.不同的主题。我们进一步表明，我们的拟议体系结构增加了GNN的表现力，具有理论分析。我们展示了MGNN在节点分类和图形分类任务上的七个公共基准上表现出最先进的方法。

Graph Convolutional Networks (GCNs) and their variants have experienced significant attention and have become the de facto methods for learning graph representations. GCNs derive inspiration primarily from recent deep learning approaches, and as a result, may inherit unnecessary complexity and redundant computation. In this paper, we reduce this excess complexity through successively removing nonlinearities and collapsing weight matrices between consecutive layers. We theoretically analyze the resulting linear model and show that it corresponds to a fixed low-pass filter followed by a linear classifier. Notably, our experimental evaluation demonstrates that these simplifications do not negatively impact accuracy in many downstream applications. Moreover, the resulting model scales to larger datasets, is naturally interpretable, and yields up to two orders of magnitude speedup over FastGCN.

Deep learning has revolutionized many machine learning tasks in recent years, ranging from image classification and video processing to speech recognition and natural language understanding. The data in these tasks are typically represented in the Euclidean space. However, there is an increasing number of applications where data are generated from non-Euclidean domains and are represented as graphs with complex relationships and interdependency between objects. The complexity of graph data has imposed significant challenges on existing machine learning algorithms. Recently, many studies on extending deep learning approaches for graph data have emerged. In this survey, we provide a comprehensive overview of graph neural networks (GNNs) in data mining and machine learning fields. We propose a new taxonomy to divide the state-of-the-art graph neural networks into four categories, namely recurrent graph neural networks, convolutional graph neural networks, graph autoencoders, and spatial-temporal graph neural networks. We further discuss the applications of graph neural networks across various domains and summarize the open source codes, benchmark data sets, and model evaluation of graph neural networks. Finally, we propose potential research directions in this rapidly growing field.

图形神经网络（GNNS）在各种基于图形的应用中显示了优势。大多数现有的GNNS假设图形结构的强大奇妙并应用邻居的置换不变本地聚合以学习每个节点的表示。然而，它们未能概括到异质图，其中大多数相邻节点具有不同的标签或特征，并且相关节点远处。最近的几项研究通过组合中央节点的隐藏表示（即，基于多跳的方法）的多个跳数来解决这个问题，或者基于注意力分数对相邻节点进行排序（即，基于排名的方法）来解决这个问题。结果，这些方法具有一些明显的限制。一方面，基于多跳的方法没有明确区分相关节点的大量多跳社区，导致严重的过平滑问题。另一方面，基于排名的模型不与结束任务进行联合优化节点排名，并导致次优溶液。在这项工作中，我们呈现图表指针神经网络（GPNN）来解决上述挑战。我们利用指针网络从大量的多跳邻域选择最相关的节点，这根据与中央节点的关系来构造有序序列。然后应用1D卷积以从节点序列中提取高级功能。 GPNN中的基于指针网络的Ranker是以端到端的方式与其他部件进行联合优化的。在具有异质图的六个公共节点分类数据集上进行了广泛的实验。结果表明，GPNN显着提高了最先进方法的分类性能。此外，分析还揭示了拟议的GPNN在过滤出无关邻居并减少过平滑的特权。

图形卷积网络（GCN）类似于卷积神经网络（CNN），通常基于两个主要操作 - 空间和点的卷积。在GCN的背景下，与CNN不同，通常选择基于图形laplacian的预定的​​空间操作员，通常只允许学习点的操作。但是，学习有意义的空间操作员对于开发更具表现力的GCN以提高性能至关重要。在本文中，我们提出了PathGCN，这是一种从图上的随机路径学习空间操作员的新方法。我们分析方法的收敛及其与现有GCN的差异。此外，我们讨论了将我们所学的空间操作员与点卷积相结合的几种选择。我们在众多数据集上进行的广泛实验表明，通过适当地学习空间和角度的卷积，可以固有地避免诸如过度光滑的现象，并实现新的最先进的性能。

基于光谱的图形神经网络（SGNNS）在图表表示学习中一直吸引了不断的关注。然而，现有的SGNN是限于实现具有刚性变换的曲线滤波器（例如，曲线图傅立叶或预定义的曲线波小波变换）的限制，并且不能适应驻留在手中的图形和任务上的信号。在本文中，我们提出了一种新颖的图形神经网络，实现了具有自适应图小波的曲线图滤波器。具体地，自适应图表小波通过神经网络参数化提升结构学习，其中开发了基于结构感知的提升操作（即，预测和更新操作）以共同考虑图形结构和节点特征。我们建议基于扩散小波提升以缓解通过分区非二分类图引起的结构信息损失。通过设计，得到了所得小波变换的局部和稀疏性以及提升结构的可扩展性。我们进一步通过在学习的小波中学习稀疏图表表示来引导软阈值滤波操作，从而产生局部，高效和可伸缩的基于小波的图形滤波器。为了确保学习的图形表示不变于节点排列，在网络的输入中采用层以根据其本地拓扑信息重新排序节点。我们在基准引用和生物信息图形数据集中评估节点级和图形级别表示学习任务的所提出的网络。大量实验在准确性，效率和可扩展性方面展示了在现有的SGNN上的所提出的网络的优越性。

协同的药物组合为增强治疗功效和减少不良反应提供了巨大的潜力。然而，由于未知的因果疾病信号通路，有效和协同的药物组合预测仍然是一个悬而未决的问题。尽管已经提出了各种深度学习（AI）模型来定量预测药物组合的协同作用。现有深度学习方法的主要局限性是它们本质上是不可解释的，这使得AI模型的结论是对人类专家的非透明度的结论，因此限制了模型结论的鲁棒性和这些模型在现实世界中的实施能力人类医疗保健。在本文中，我们开发了一个可解释的图神经网络（GNN），该神经网络（GNN）揭示了通过挖掘非常重要的亚分子网络来揭示协同（MOS）的基本基本治疗靶标和机制。可解释的GNN预测模型的关键点是一个新颖的图池层，基于自我注意的节点和边缘池（此后为SANEPOOL），可以根据节点特征和图表计算节点和边缘的注意力评分（重要性）拓扑。因此，提出的GNN模型提供了一种系统的方法来预测和解释基于检测到的关键亚分子网络的药物组合协同作用。我们评估了来自NCI Almanac药物组合筛查数据的46个核心癌症信号通路和药物组合的基因制造的分子网络。实验结果表明，1）Sanepool可以在其他流行的图神经网络中实现当前的最新性能； 2）由SANEPOOOL检测到的亚分子网络是可自我解释的，并且可以鉴定协同的药物组合。

在非欧几里得空间上卷积成功之后，在有关图形的各种任务上也验证了相应的合并方法。但是，由于固定的压缩配额和逐步合并设计，这些层次池方法仍然遭受局部结构损害和次优问题的困扰。在这项工作的启发下，我们提出了一种层次的合并方法，即SEP解决这两个问题。具体而言，在不分配特定层的压缩配额的情况下，全局优化算法旨在生成一次集群分配矩阵以一次汇总。然后，我们介绍了在环和网格合成图的重建中先前方法中局部结构损害的例证。除SEP外，我​​们还将分别设计两个分类模型，分别用于图形分类和节点分类。结果表明，SEP在图形分类基准上优于最先进的图形合并方法，并在节点分类上获得了卓越的性能。