我们研究了从高阶图卷积中的有效学习，并直接从邻接矩阵进行节点分类学习。我们重新访问缩放的图形残留网络，并从残留层中删除Relu激活，并在每个残留层上应用一个重量矩阵。我们表明，所得模型导致新的图卷积模型作为归一化邻接矩阵，残留权重矩阵和残差缩放参数的多项式。此外，我们提出了直接绘制多项式卷积模型和直接从邻接矩阵学习的自适应学习。此外，我们提出了完全自适应模型，以学习每个残留层的缩放参数。我们表明，所提出的方法的概括界限是特征值谱，缩放参数和残留权重的上限的多项式。通过理论分析，我们认为所提出的模型可以通过限制卷积的更高端口和直接从邻接矩阵学习来获得改进的概括界限。我们使用一套真实数据，我们证明所提出的方法获得了提高的非全粒图淋巴结分类的精度。

我们研究了深GCN模型中的自适应层图形卷积。我们建议ADAGPR在GCNII网络的每一层中学习通用的Pageranks，以诱导适应性卷积。我们表明，ADAGPR结合的概括是由归一化邻接矩阵的特征值谱的多项式按概括性Pagerank系数数量的顺序界定的。通过分析概括范围，我们表明过度厚度取决于汇总的较高阶段矩阵矩阵和模型深度。我们使用基准真实数据对节点分类进行了评估，并表明ADAGPR与现有的图形卷积网络相比提供了改进的精确度，同时证明了针对超平面的稳健性。此外，我们证明了对层概括的PageRanks系数的分析使我们能够在每个层上定性地了解模型解释的卷积。

Existing popular methods for semi-supervised learning with Graph Neural Networks (such as the Graph Convolutional Network) provably cannot learn a general class of neighborhood mixing relationships. To address this weakness, we propose a new model, MixHop, that can learn these relationships, including difference operators, by repeatedly mixing feature representations of neighbors at various distances. MixHop requires no additional memory or computational complexity, and outperforms on challenging baselines. In addition, we propose sparsity regularization that allows us to visualize how the network prioritizes neighborhood information across different graph datasets. Our analysis of the learned architectures reveals that neighborhood mixing varies per datasets. 1 We use "like", as graph edges are not axis-aligned.

图形神经网络已成为从图形结构数据学习的不可缺少的工具之一，并且它们的实用性已在各种各样的任务中显示。近年来，建筑设计的巨大改进，导致各种预测任务的性能更好。通常，这些神经架构在同一层中使用可知的权重矩阵组合节点特征聚合和特征转换。这使得分析从各种跳过的节点特征和神经网络层的富有效力来挑战。由于不同的图形数据集显示在特征和类标签分布中的不同级别和异常级别，因此必须了解哪些特征对于没有任何先前信息的预测任务是重要的。在这项工作中，我们将节点特征聚合步骤和深度与图形神经网络分离，并经验分析了不同的聚合特征在预测性能中发挥作用。我们表明，并非通过聚合步骤生成的所有功能都很有用，并且通常使用这些较少的信息特征可能对GNN模型的性能有害。通过我们的实验，我们表明学习这些功能的某些子集可能会导致各种数据集的性能更好。我们建议使用Softmax作为常规器，并从不同跳距的邻居聚合的功能的“软选择器”;和L2 - GNN层的标准化。结合这些技术，我们呈现了一个简单浅的模型，特征选择图神经网络（FSGNN），并经验展示所提出的模型比九个基准数据集中的最先进的GNN模型实现了可比或甚至更高的准确性节点分类任务，具有显着的改进，可达51.1％。

Graph Convolutional Networks (GCNs) and their variants have experienced significant attention and have become the de facto methods for learning graph representations. GCNs derive inspiration primarily from recent deep learning approaches, and as a result, may inherit unnecessary complexity and redundant computation. In this paper, we reduce this excess complexity through successively removing nonlinearities and collapsing weight matrices between consecutive layers. We theoretically analyze the resulting linear model and show that it corresponds to a fixed low-pass filter followed by a linear classifier. Notably, our experimental evaluation demonstrates that these simplifications do not negatively impact accuracy in many downstream applications. Moreover, the resulting model scales to larger datasets, is naturally interpretable, and yields up to two orders of magnitude speedup over FastGCN.

Graph convolutional networks (GCNs) are a powerful deep learning approach for graph-structured data. Recently, GCNs and subsequent variants have shown superior performance in various application areas on real-world datasets. Despite their success, most of the current GCN models are shallow, due to the over-smoothing problem.In this paper, we study the problem of designing and analyzing deep graph convolutional networks. We propose the GCNII, an extension of the vanilla GCN model with two simple yet effective techniques: Initial residual and Identity mapping. We provide theoretical and empirical evidence that the two techniques effectively relieves the problem of over-smoothing. Our experiments show that the deep GCNII model outperforms the state-of-the-art methods on various semi-and fullsupervised tasks. Code is available at https: //github.com/chennnM/GCNII.

Graph Neural Networks (graph NNs) are a promising deep learning approach for analyzing graph-structured data. However, it is known that they do not improve (or sometimes worsen) their predictive performance as we pile up many layers and add non-lineality. To tackle this problem, we investigate the expressive power of graph NNs via their asymptotic behaviors as the layer size tends to infinity. Our strategy is to generalize the forward propagation of a Graph Convolutional Network (GCN), which is a popular graph NN variant, as a specific dynamical system. In the case of a GCN, we show that when its weights satisfy the conditions determined by the spectra of the (augmented) normalized Laplacian, its output exponentially approaches the set of signals that carry information of the connected components and node degrees only for distinguishing nodes. Our theory enables us to relate the expressive power of GCNs with the topological information of the underlying graphs inherent in the graph spectra. To demonstrate this, we characterize the asymptotic behavior of GCNs on the Erdős -Rényi graph. We show that when the Erdős -Rényi graph is sufficiently dense and large, a broad range of GCNs on it suffers from the "information loss" in the limit of infinite layers with high probability. Based on the theory, we provide a principled guideline for weight normalization of graph NNs. We experimentally confirm that the proposed weight scaling enhances the predictive performance of GCNs in real data 1 .

图表神经网络（GNNS）对于节点分类或边缘预测等预测任务，在最近的机器中从图形结构数据中获得了越来越长的注意。然而，难以获得大量标记的图表，这显着限制了GNN的真正成功。虽然积极学习已被广​​泛研究用于解决文本，图像等等其他数据类型的标签稀疏问题，但如何使其有效地对图表进行有效，是一个开放的研究问题。在本文中，我们对节点分类任务的GNN进行了主动学习的调查。具体地，我们提出了一种新方法，它使用节点特征传播，然后是节点的K-METOIDS聚类，例如在活动学习中选择。通过理论束缚分析，我们证明了我们的方法的设计选择。在我们在四个基准数据集的实验中，所提出的方法始终如一地优于其他代表性基线方法。

图表神经网络（GNNS）在图形结构数据的表现中表现出巨大的成功。在捕获图形拓扑中，GNN中的层展图表卷积显示为强大。在此过程中，GNN通常由预定义的内核引导，例如拉普拉斯矩阵，邻接矩阵或其变体。但是，预定义的内核的采用可能会限制不同图形的必要性：图形和内核之间的不匹配将导致次优性能。例如，当高频信息对于图表具有重要意义时，聚焦在低频信息上的GNN可能无法实现令人满意的性能，反之亦然。为了解决这个问题，在本文中，我们提出了一种新颖的框架 - 即，即Adaptive Kernel图神经网络（AKGNN） - 这将在第一次尝试时以统一的方式适应最佳图形内核。在所提出的AKGNN中，我们首先设计一种数据驱动的图形内核学习机制，它通过修改图拉普拉斯的最大特征值来自适应地调制全通过和低通滤波器之间的平衡。通过此过程，AKGNN了解高频信号之间的最佳阈值以减轻通用问题。稍后，我们通过参数化技巧进一步减少参数的数量，并通过全局读出功能增强富有表现力。在确认的基准数据集中进行了广泛的实验，并且有希望的结果通过与最先进的GNNS比较，展示了我们所提出的Akgnn的出色表现。源代码在公开上可用：https://github.com/jumxglhf/akgnn。

由于它们对处理图形结构数据的显着功率，图表卷积网络（GCNS）已广泛应用于各个领域。典型的GCN及其变体在同声源性假设下工作（即，具有相同类的节点容易彼此连接），同时忽略许多真实网络中存在的异源性（即，具有不同类别的节点倾向于形成边缘） 。现有方法通过主要聚集高阶邻域或梳理即时表示来处理异常的方法，这导致结果导致噪声和无关的信息。但这些方法没有改变在同性恋假设下工作的传播机制（这是GCN的基本部分）。这使得难以区分不同类别的节点的表示。为了解决这个问题，在本文中，我们设计了一种新的传播机制，可以根据节点对之间自动或异常改变传播和聚合过程。为了自适应地学习传播过程，我们在节点对之间引入两个奇妙程度的两个测量，这分别基于拓扑和属性信息来学习。然后，我们将学习的同音源于Graph卷积框架纳入图形卷积框架，该框架在端到端的架构中培训，使其能够超越奇妙的假设。更重要的是，我们理论上证明我们的模型可以根据他们的同意程度来限制节点之间的表示的相似性。 7个现实世界数据集的实验表明，这种新方法在异常或低意识下表现出最先进的方法，并在精梳性下获得竞争性能。

在节点分类任务中，异常和过天性是两个可能损害图形卷积神经网络（GCN）性能的两个问题。异种源于问题是指模型无法处理异构节点属于不同类别的异细则图;过度问题是指模型的退化性能随着越来越多的层。这两个看似无关的问题大多是独立研究的，但最近有近期解决一个问题可能有益于另一个问题的经验证据。在这项工作中，除了经验观察之外，我们的目标是：（1）从统一的理论角度分析异常和过天际上的问题，（2）确定两个问题的共同原因，（3）提出简单但有效的解决策略共同的原因。在我们的理论分析中，我们表明异通源性和过天际上问题的共同原因 - 即节点的相对程度及其异常级别 - 触发连续层中的节点表示，以“移动”更靠近原始决策边界，这增加了某些约束下节点标签的错误分类率。理论上我们显示：（1）具有高异味的节点具有更高的错误分类率。 （2）即使在异常的情况下，节点邻域中的程度差异也可以影响节点表示的运动并导致“伪异性”情况，这有助于解释过度处理。 （3）允许在消息传递期间肯定的阳性而且负面信息可以有助于抵消两个问题的常见原因。基于我们的理论见解，我们提出了对GCN架构的简单修改（即学习程度校正和签名消息），我们表明他们在9个网络上缓解了HeteOlephily和过天际上的问题。

We investigate the representation power of graph neural networks in the semisupervised node classification task under heterophily or low homophily, i.e., in networks where connected nodes may have different class labels and dissimilar features. Many popular GNNs fail to generalize to this setting, and are even outperformed by models that ignore the graph structure (e.g., multilayer perceptrons). Motivated by this limitation, we identify a set of key designs-ego-and neighbor-embedding separation, higher-order neighborhoods, and combination of intermediate representations-that boost learning from the graph structure under heterophily. We combine them into a graph neural network, H 2 GCN, which we use as the base method to empirically evaluate the effectiveness of the identified designs. Going beyond the traditional benchmarks with strong homophily, our empirical analysis shows that the identified designs increase the accuracy of GNNs by up to 40% and 27% over models without them on synthetic and real networks with heterophily, respectively, and yield competitive performance under homophily.

图形神经网络（GNNS）对图表上的半监督节点分类展示了卓越的性能，结果是它们能够同时利用节点特征和拓扑信息的能力。然而，大多数GNN隐含地假设曲线图中的节点和其邻居的标签是相同或一致的，其不包含在异质图中，其中链接节点的标签可能不同。因此，当拓扑是非信息性的标签预测时，普通的GNN可以显着更差，而不是在每个节点上施加多层Perceptrons（MLPS）。为了解决上述问题，我们提出了一种新的$ -laplacian基于GNN模型，称为$ ^ P $ GNN，其消息传递机制来自离散正则化框架，并且可以理论上解释为多项式图的近似值在$ p $ -laplacians的频谱域上定义过滤器。光谱分析表明，新的消息传递机制同时用作低通和高通滤波器，从而使$ ^ P $ GNNS对同性恋和异化图有效。关于现实世界和合成数据集的实证研究验证了我们的调查结果，并证明了$ ^ P $ GNN明显优于异交基准的几个最先进的GNN架构，同时在同性恋基准上实现竞争性能。此外，$ ^ p $ gnns可以自适应地学习聚合权重，并且对嘈杂的边缘具有强大。

图卷积网络（GCN）最近在学习图形结构数据方面取得了巨大的经验成功。为了解决由于相邻特征的递归嵌入而导致的可伸缩性问题，已经提出了图形拓扑抽样来降低训练GCN的记忆和计算成本，并且在许多经验研究中，它与没有拓扑采样的人达到了可比的测试性能。据我们所知，本文为半监督节点分类的训练（最多）三层GCN提供了图形拓扑采样的第一个理论理由。我们正式表征了图形拓扑抽样的一些足够条件，以使GCN训练导致概括误差减少。此外，我们的方法可以解决跨层的重量的非凸相互作用，这在GCN的现有理论分析中尚未探索。本文表征了图结构和拓扑抽样对概括性能和样本复杂性的影响，理论发现也通过数值实验证明了合理性。

图形神经网络（GNNS）从节点功能和输入图拓扑中利用信号来改善节点分类任务性能。然而，这些模型倾向于在异细胞图上表现不良，其中连接的节点具有不同的标记。最近提出了GNNS横跨具有不同程度的同性恋级别的图表。其中，依赖于多项式图滤波器的模型已经显示了承诺。我们观察到这些多项式图滤波器模型的解决方案也是过度确定的方程式系统的解决方案。它表明，在某些情况下，模型需要学习相当高的多项式。在调查中，我们发现由于其设计而在学习此类多项式的拟议模型。为了缓解这个问题，我们执行图表的特征分解，并建议学习作用于频谱的不同子集的多个自适应多项式滤波器。理论上和经验证明我们所提出的模型学习更好的过滤器，从而提高了分类准确性。我们研究了我们提出的模型的各个方面，包括利用潜在多项式滤波器的依义组分的数量以及节点分类任务上的各个多项式的性能的依赖性。我们进一步表明，我们的模型通过在大图中评估来扩展。我们的模型在最先进的模型上实现了高达5％的性能增益，并且通常优于现有的基于多项式滤波器的方法。

图表神经网络（GNNS）在各种机器学习任务中获得了表示学习的提高。然而，应用邻域聚合的大多数现有GNN通常在图中的图表上执行不良，其中相邻的节点属于不同的类。在本文中，我们示出了在典型的异界图中，边缘可以被引导，以及是否像是处理边缘，也可以使它们过度地影响到GNN模型的性能。此外，由于异常的限制，节点对来自本地邻域之外的类似节点的消息非常有益。这些激励我们开发一个自适应地学习图表的方向性的模型，并利用潜在的长距离相关性节点之间。我们首先将图拉普拉斯概括为基于所提出的特征感知PageRank算法向数字化，该算法同时考虑节点之间的图形方向性和长距离特征相似性。然后，Digraph Laplacian定义了一个图形传播矩阵，导致一个名为{\ em diglaciangcn}的模型。基于此，我们进一步利用节点之间的通勤时间测量的节点接近度，以便在拓扑级别上保留节点的远距离相关性。具有不同级别的10个数据集的广泛实验，同意级别展示了我们在节点分类任务任务中对现有解决方案的有效性。

图表学习目的旨在将节点内容与图形结构集成以学习节点/图表示。然而，发现许多现有的图形学习方法在具有高异性级别的数据上不能很好地工作，这是不同类标签之间很大比例的边缘。解决这个问题的最新努力集中在改善消息传递机制上。但是，尚不清楚异质性是否确实会损害图神经网络（GNNS）的性能。关键是要展现一个节点与其直接邻居之间的关系，例如它们是异性还是同质性？从这个角度来看，我们在这里研究了杂质表示在披露连接节点之间的关系之前/之后的杂音表示的作用。特别是，我们提出了一个端到端框架，该框架既学习边缘的类型（即异性/同质性），并利用边缘类型的信息来提高图形神经网络的表现力。我们以两种不同的方式实施此框架。具体而言，为了避免通过异质边缘传递的消息，我们可以通过删除边缘分类器鉴定的异性边缘来优化图形结构。另外，可以利用有关异性邻居的存在的信息进行特征学习，因此，设计了一种混合消息传递方法来汇总同质性邻居，并根据边缘分类使异性邻居多样化。广泛的实验表明，在整个同质级别的多个数据集上，通过在多个数据集上提出的框架对GNN的绩效提高了显着提高。

我们提出了一个框架，该框架会自动将不可缩放的GNN转换为基于预典型的GNN，该GNN对于大型图表有效且可扩展。我们框架的优势是两倍。1）它通过将局部特征聚合与其图形卷积中的重量学习分开，2）通过将其边缘分解为小型图形，将其有效地在GPU上进行了预先执行，将各种局部特征聚合与重量学习分开，将各种局部特征聚合从重量学习中分离出来，从而使各种不可估计的GNN转换为大规模图表。和平衡的集合。通过大规模图的广泛实验，我们证明了转化的GNN在训练时间内的运行速度比现有的GNN更快，同时实现了最先进的GNN的竞争精度。因此，我们的转型框架为可伸缩GNN的未来研究提供了简单有效的基础。

最近，图形神经网络（GNN）通过利用图形结构和节点特征的知识来表现出图表表示的显着性能。但是，他们中的大多数都有两个主要限制。首先，GNN可以通过堆叠更多的层来学习高阶结构信息，但由于过度光滑的问题，无法处理较大的深度。其次，由于昂贵的计算成本和高内存使用情况，在大图上应用这些方法并不容易。在本文中，我们提出了节点自适应特征平滑（NAFS），这是一种简单的非参数方法，该方法构建了没有参数学习的节点表示。 NAFS首先通过特征平滑提取每个节点及其不同啤酒花的邻居的特征，然后自适应地结合了平滑的特征。此外，通过不同的平滑策略提取的平滑特征的合奏可以进一步增强构建的节点表示形式。我们在两个不同的应用程序方案上对四个基准数据集进行实验：节点群集和链接预测。值得注意的是，具有功能合奏的NAFS优于这些任务上最先进的GNN，并减轻上述大多数基于学习的GNN对应物的两个限制。

过度平滑是一个具有挑战性的问题，这会降低深图卷积网络（GCNS）的性能。然而，用于缓解过度平滑问题的现有研究缺乏一般性或有效性。在本文中，我们分析了过度平滑问题背后的潜在问题，即特征 - 多样性退化，梯度消失和模型重量衰减。灵感来自于此，我们提出了一个简单而有效的即插即用模块，速度，缓解过度平滑。具体地，对于GCN模型的每个中间层，随机地（或基于节点度）选择节点以通过直接向非线性函数馈送它们的输入特征来跳过卷积操作。分析，1）跳过卷积操作可以防止特征失去多样性; 2）“跳过”节点使能梯度直接传递回来，从而减轻梯度消失和模型权重过腐蚀问题。为了展示Skipnode的优越性，我们对九个流行的数据集进行了广泛的实验，包括同性恋和异化图，在两个典型的任务上具有不同的图表大小：节点分类和链路预测。具体而言，1）SkipNode具有适应不同数据集和任务的各种基于GCN的模型的普遍性。 2）Skipnode优于最近最先进的反平滑插头 - 播放模块，即DropEdge和Dropnode，在不同的设置中。代码将在GitHub上公开提供。