大规模淋巴结分类的图形神经网络（GNNS）培训具有挑战性。关键困难在于在避免邻居爆炸问题的同时获得准确的隐藏节点表示。在这里，我们提出了一种新技术，称为特征动量（FM），该技术在更新功能表示时使用动量步骤来合并历史嵌入。我们开发了两种特定的算法，称为GraphFM-IB和GraphFM-OB，它们分别考虑了内部和隔离外数据。 GraphFM-AIB将FM应用于内部采样数据，而GraphFM-OB则将FM应用于隔离数据的隔离数据，而口气数据是1跳入数据的1个邻域。对于特征嵌入的估计误差，我们为GraphFM-IB和GraphFM-OB的理论见解提供了严格的合并分析。从经验上讲，我们观察到GraphFM-IB可以有效缓解现有方法的邻里爆炸问题。此外，GraphFM-OB在多个大型图形数据集上实现了有希望的性能。

图表卷积网络（GCNS）在各种半监督节点分类任务中取得了令人印象深刻的实证进步。尽管取得了巨大的成功，但在大型图形上培训GCNS遭受了计算和内存问题。规避这些障碍的潜在路径是基于采样的方法，其中在每个层处采样节点的子集。虽然最近的研究已经证明了基于采样的方法的有效性，但这些作品缺乏在现实环境下的理论融合担保，并且不能完全利用优化期间演出参数的信息。在本文中，我们描述并分析了一般的双差异减少模式，可以在内存预算下加速任何采样方法。所提出的模式的激励推动是仔细分析采样方法的差异，其中示出了诱导方差可以在前进传播期间分解为节点嵌入近似方差（Zeroth阶差异）（第一 - 顺序变化）在后向传播期间。理论上，从理论上分析所提出的架构的融合，并显示它享有$ \ Mathcal {O}（1 / T）$收敛率。我们通过将建议的模式集成在不同的采样方法中并将其应用于不同的大型实际图形来补充我们的理论结果。

Graph convolutional network (GCN) has been successfully applied to many graph-based applications; however, training a large-scale GCN remains challenging. Current SGD-based algorithms suffer from either a high computational cost that exponentially grows with number of GCN layers, or a large space requirement for keeping the entire graph and the embedding of each node in memory. In this paper, we propose Cluster-GCN, a novel GCN algorithm that is suitable for SGD-based training by exploiting the graph clustering structure. Cluster-GCN works as the following: at each step, it samples a block of nodes that associate with a dense subgraph identified by a graph clustering algorithm, and restricts the neighborhood search within this subgraph. This simple but effective strategy leads to significantly improved memory and computational efficiency while being able to achieve comparable test accuracy with previous algorithms. To test the scalability of our algorithm, we create a new Amazon2M data with 2 million nodes and 61 million edges which is more than 5 times larger than the previous largest publicly available dataset (Reddit). For training a 3-layer GCN on this data, Cluster-GCN is faster than the previous state-of-the-art VR-GCN (1523 seconds vs 1961 seconds) and using much less memory (2.2GB vs 11.2GB). Furthermore, for training 4 layer GCN on this data, our algorithm can finish in around 36 minutes while all the existing GCN training algorithms fail to train due to the out-of-memory issue. Furthermore, Cluster-GCN allows us to train much deeper GCN without much time and memory overhead, which leads to improved prediction accuracy-using a 5-layer Cluster-GCN, we achieve state-of-the-art test F1 score 99.36 on the PPI dataset, while the previous best result was 98.71 by [16]. Our codes are publicly available at https://github.com/google-research/google-research/ tree/master/cluster_gcn.

尽管图表神经网络（GNNS）的最近成功，但大图上的培训GNN仍然具有挑战性。现有服务器的有限资源容量，图中节点之间的依赖关系以及由于集中存储和模型学习导致的隐私问题刺激了用于GNN训练的有效分布式算法的需要。然而，现有的分布式GNN训练方法强加过度的通信成本或妨碍其可扩展性的大存储器开销。为了克服这些问题，我们提出了一种名为$ \ text {{locally，正确的全球}} $（llcg）的通信有效的分布式GNN培训技术。为了减少通信和内存开销，LLCG中的每个本地计算机首先通过忽略不同机器之间的节点之间的依赖性在其本地数据上列出GNN，然后将本地训练的模型发送到服务器以获取周期性模型平均。但是，忽略节点依赖性可能导致显着的性能下降。要解决性能下降，我们建议在服务器上应用$ \ text {{{global server校正}} $以优化本地学习的模型。我们严格地分析了具有用于训练GNN的周期性模型的分布式方法的收敛性，并且显示了天真地应用周期模型平均但忽略节点之间的依赖性将受到不可缩小的残余错误。然而，通过利用所提出的全局校正来避免收敛速度，可以消除这种剩余误差。对现实世界数据集的广泛实验表明，LLCG可以显着提高效率而不会伤害性能。

Graph Convolutional Networks (GCNs) are powerful models for learning representations of attributed graphs. To scale GCNs to large graphs, state-of-the-art methods use various layer sampling techniques to alleviate the "neighbor explosion" problem during minibatch training. We propose GraphSAINT, a graph sampling based inductive learning method that improves training efficiency and accuracy in a fundamentally different way. By changing perspective, GraphSAINT constructs minibatches by sampling the training graph, rather than the nodes or edges across GCN layers. Each iteration, a complete GCN is built from the properly sampled subgraph. Thus, we ensure fixed number of well-connected nodes in all layers. We further propose normalization technique to eliminate bias, and sampling algorithms for variance reduction. Importantly, we can decouple the sampling from the forward and backward propagation, and extend GraphSAINT with many architecture variants (e.g., graph attention, jumping connection). GraphSAINT demonstrates superior performance in both accuracy and training time on five large graphs, and achieves new state-of-the-art F1 scores for PPI (0.995) and Reddit (0.970).

图形神经网络（GNN）在学习强大的节点表示中显示了令人信服的性能，这些表现在保留节点属性和图形结构信息的强大节点表示中。然而，许多GNNS在设计有更深的网络结构或手柄大小的图形时遇到有效性和效率的问题。已经提出了几种采样算法来改善和加速GNN的培训，但他们忽略了解GNN性能增益的来源。图表数据中的信息的测量可以帮助采样算法来保持高价值信息，同时消除冗余信息甚至噪声。在本文中，我们提出了一种用于GNN的公制引导（MEGUIDE）子图学习框架。 MEGUIDE采用两种新颖的度量：功能平滑和连接失效距离，以指导子图采样和迷你批次的培训。功能平滑度专为分析节点的特征而才能保留最有价值的信息，而连接失败距离可以测量结构信息以控制子图的大小。我们展示了MEGUIDE在多个数据集上培训各种GNN的有效性和效率。

数据增强已广泛用于图像数据和语言数据，但仍然探索图形神经网络（GNN）。现有方法专注于从全局视角增强图表数据，并大大属于两个类型：具有特征噪声注入的结构操纵和对抗训练。但是，最近的图表数据增强方法忽略了GNNS“消息传递机制的本地信息的重要性。在这项工作中，我们介绍了本地增强，这通过其子图结构增强了节点表示的局部。具体而言，我们将数据增强模拟为特征生成过程。鉴于节点的功能，我们的本地增强方法了解其邻居功能的条件分布，并生成更多邻居功能，以提高下游任务的性能。基于本地增强，我们进一步设计了一个新颖的框架：La-GNN，可以以即插即用的方式应用于任何GNN模型。广泛的实验和分析表明，局部增强一致地对各种基准的各种GNN架构始终如一地产生性能改进。

由于学习节点表示的优越性，图形神经网络（GNNS）受到了巨大的关注。这些模型依赖于消息传递和特征转换功能来从邻居编码结构和功能信息。然而，堆叠更多的卷积层显着降低了GNN的性能。大多数最近的研究将此限制属于过平滑问题，其中节点嵌入式会聚到无法区分的向量。通过许多实验观察，我们认为，主要因素降低性能是不稳定的正向标准化和后向梯度因特征变换的不当设计而导致的，尤其是对于未发生过平滑的浅GNN。因此，我们提出了一个名为Ortho-GConv的新型正交特征转换，这通常可以增加现有的GNN骨干，以稳定模型训练并改善模型的泛化性能。具体地，我们从三个视角综合地维持特征变换的正交性，即混合权重初始化，正交变换和正交正规。通过用ortho-gconv配备现有的GNN（例如GCN，JKNET，GCNII），我们展示了正交特征变换的一般性以实现稳定训练，并显示其对节点和图形分类任务的有效性。

While many systems have been developed to train Graph Neural Networks (GNNs), efficient model inference and evaluation remain to be addressed. For instance, using the widely adopted node-wise approach, model evaluation can account for up to 94% of the time in the end-to-end training process due to neighbor explosion, which means that a node accesses its multi-hop neighbors. On the other hand, layer-wise inference avoids the neighbor explosion problem by conducting inference layer by layer such that the nodes only need their one-hop neighbors in each layer. However, implementing layer-wise inference requires substantial engineering efforts because users need to manually decompose a GNN model into layers for computation and split workload into batches to fit into device memory. In this paper, we develop Deep Graph Inference (DGI) -- a system for easy and efficient GNN model inference, which automatically translates the training code of a GNN model for layer-wise execution. DGI is general for various GNN models and different kinds of inference requests, and supports out-of-core execution on large graphs that cannot fit in CPU memory. Experimental results show that DGI consistently outperforms layer-wise inference across different datasets and hardware settings, and the speedup can be over 1,000x.

图表神经网络（GNNS）对于节点分类或边缘预测等预测任务，在最近的机器中从图形结构数据中获得了越来越长的注意。然而，难以获得大量标记的图表，这显着限制了GNN的真正成功。虽然积极学习已被广​​泛研究用于解决文本，图像等等其他数据类型的标签稀疏问题，但如何使其有效地对图表进行有效，是一个开放的研究问题。在本文中，我们对节点分类任务的GNN进行了主动学习的调查。具体地，我们提出了一种新方法，它使用节点特征传播，然后是节点的K-METOIDS聚类，例如在活动学习中选择。通过理论束缚分析，我们证明了我们的方法的设计选择。在我们在四个基准数据集的实验中，所提出的方法始终如一地优于其他代表性基线方法。

Over-fitting and over-smoothing are two main obstacles of developing deep Graph Convolutional Networks (GCNs) for node classification. In particular, over-fitting weakens the generalization ability on small dataset, while over-smoothing impedes model training by isolating output representations from the input features with the increase in network depth. This paper proposes DropEdge, a novel and flexible technique to alleviate both issues. At its core, DropEdge randomly removes a certain number of edges from the input graph at each training epoch, acting like a data augmenter and also a message passing reducer. Furthermore, we theoretically demonstrate that DropEdge either reduces the convergence speed of over-smoothing or relieves the information loss caused by it. More importantly, our DropEdge is a general skill that can be equipped with many other backbone models (e.g. GCN, ResGCN, GraphSAGE, and JKNet) for enhanced performance. Extensive experiments on several benchmarks verify that DropEdge consistently improves the performance on a variety of both shallow and deep GCNs. The effect of DropEdge on preventing over-smoothing is empirically visualized and validated as well. Codes are released on https://github.com/DropEdge/DropEdge.

近年来，图形变压器在各种图形学习任务上表现出了优势。但是，现有图形变压器的复杂性与节点的数量二次缩放，因此难以扩展到具有数千个节点的图形。为此，我们提出了一个邻域聚集图变压器（Nagphormer），该变压器可扩展到具有数百万节点的大图。在将节点特征馈送到变压器模型中之前，Nagphormer构造令牌由称为Hop2Token的邻域聚合模块为每个节点。对于每个节点，Hop2token聚合从每个跳跃到表示形式的邻域特征，从而产生一系列令牌向量。随后，不同HOP信息的结果序列是变压器模型的输入。通过将每个节点视为一个序列，可以以迷你批量的方式训练Nagphormer，从而可以扩展到大图。 Nagphormer进一步开发了基于注意力的读数功能，以便学习每个跳跃的重要性。我们在各种流行的基准测试中进行了广泛的实验，包括六个小数据集和三个大数据集。结果表明，Nagphormer始终优于现有的图形变压器和主流图神经网络。

我们提出了一个框架，该框架会自动将不可缩放的GNN转换为基于预典型的GNN，该GNN对于大型图表有效且可扩展。我们框架的优势是两倍。1）它通过将局部特征聚合与其图形卷积中的重量学习分开，2）通过将其边缘分解为小型图形，将其有效地在GPU上进行了预先执行，将各种局部特征聚合与重量学习分开，将各种局部特征聚合从重量学习中分离出来，从而使各种不可估计的GNN转换为大规模图表。和平衡的集合。通过大规模图的广泛实验，我们证明了转化的GNN在训练时间内的运行速度比现有的GNN更快，同时实现了最先进的GNN的竞争精度。因此，我们的转型框架为可伸缩GNN的未来研究提供了简单有效的基础。

数据处理的最新进展刺激了对非常大尺度的学习图的需求。众所周知，图形神经网络（GNN）是解决图形学习任务的一种新兴和有力的方法，很难扩大规模。大多数可扩展模型应用基于节点的技术来简化GNN的昂贵图形消息传播过程。但是，我们发现当应用于百万甚至数十亿尺度的图表时，这种加速度不足。在这项工作中，我们提出了Scara，这是一种可扩展的GNN，具有针对图形计算的特征优化。 Scara有效地计算出从节点功能中嵌入的图形，并进一步选择和重用功能计算结果以减少开销。理论分析表明，我们的模型在传播过程以及GNN培训和推理中具有确保精度，实现了子线性时间的复杂性。我们在各种数据集上进行了广泛的实验，以评估圣aca的功效和效率。与基线的性能比较表明，与快速收敛和可比精度相比，与当前的最新方法相比，圣aca最高可达到100倍的图形传播加速度。最值得注意的是，在100秒内处理最大的十亿个GNN数据集纸100m（1.11亿节点，1.6B边缘）上的预先计算是有效的。

With the increasing use of Graph Neural Networks (GNNs) in critical real-world applications, several post hoc explanation methods have been proposed to understand their predictions. However, there has been no work in generating explanations on the fly during model training and utilizing them to improve the expressive power of the underlying GNN models. In this work, we introduce a novel explanation-directed neural message passing framework for GNNs, EXPASS (EXplainable message PASSing), which aggregates only embeddings from nodes and edges identified as important by a GNN explanation method. EXPASS can be used with any existing GNN architecture and subgraph-optimizing explainer to learn accurate graph embeddings. We theoretically show that EXPASS alleviates the oversmoothing problem in GNNs by slowing the layer wise loss of Dirichlet energy and that the embedding difference between the vanilla message passing and EXPASS framework can be upper bounded by the difference of their respective model weights. Our empirical results show that graph embeddings learned using EXPASS improve the predictive performance and alleviate the oversmoothing problems of GNNs, opening up new frontiers in graph machine learning to develop explanation-based training frameworks.

图表神经网络（GNNS）最近提出了用于处理图形结构数据的神经网络结构。由于他们所采用的邻国聚合策略，现有的GNNS专注于捕获节点级信息并忽略高级信息。因此，现有的GNN受到本地置换不变性（LPI）问题引起的代表性限制。为了克服这些限制并丰富GNN捕获的特征，我们提出了一种新的GNN框架，称为两级GNN（TL-GNN）。这与节点级信息合并子图级信息。此外，我们提供了对LPI问题的数学分析，这表明子图级信息有利于克服与LPI相关的问题。还提出了一种基于动态编程算法的子图计数方法，并且该具有时间复杂度是O（n ^ 3），n是图的节点的数量。实验表明，TL-GNN优于现有的GNN，实现了最先进的性能。

链接预测是图神经网络（GNN）的重要应用。链接预测的大多数现有GNN基于一维Weisfeiler-Lehman（1-WL）测试。 1-wl-gnn首先通过迭代的相邻节点特征来计算中心，然后通过汇总成对节点表示来获得链接表示。正如先前的作品所指出的那样，这两步过程会导致较低的区分功能，因为自然而然地学习节点级表示而不是链接级别。在本文中，我们研究了一种完全不同的方法，该方法可以基于\ textit {二维WEISFEILER-LEHMAN（2-WL）测试直接获得节点对（链接）表示。 2-WL测试直接使用链接（2个小说）作为消息传递单元而不是节点，因此可以直接获得链接表示。我们理论上分析了2-WL测试的表达能力以区分非晶状体链接，并证明其优越的链接与1-WL相比。基于不同的2-WL变体，我们提出了一系列用于链路预测的新型2-WL-GNN模型。在广泛的现实数据集上进行的实验证明了它们对最先进的基线的竞争性能以及优于普通1-WL-GNN的优势。

图形神经网络（GNNS）在各种基于图形的应用中显示了优势。大多数现有的GNNS假设图形结构的强大奇妙并应用邻居的置换不变本地聚合以学习每个节点的表示。然而，它们未能概括到异质图，其中大多数相邻节点具有不同的标签或特征，并且相关节点远处。最近的几项研究通过组合中央节点的隐藏表示（即，基于多跳的方法）的多个跳数来解决这个问题，或者基于注意力分数对相邻节点进行排序（即，基于排名的方法）来解决这个问题。结果，这些方法具有一些明显的限制。一方面，基于多跳的方法没有明确区分相关节点的大量多跳社区，导致严重的过平滑问题。另一方面，基于排名的模型不与结束任务进行联合优化节点排名，并导致次优溶液。在这项工作中，我们呈现图表指针神经网络（GPNN）来解决上述挑战。我们利用指针网络从大量的多跳邻域选择最相关的节点，这根据与中央节点的关系来构造有序序列。然后应用1D卷积以从节点序列中提取高级功能。 GPNN中的基于指针网络的Ranker是以端到端的方式与其他部件进行联合优化的。在具有异质图的六个公共节点分类数据集上进行了广泛的实验。结果表明，GPNN显着提高了最先进方法的分类性能。此外，分析还揭示了拟议的GPNN在过滤出无关邻居并减少过平滑的特权。

图形神经网络（GNN）在许多基于图的应用程序中取得了巨大成功。但是，巨大的尺寸和高稀疏度的图表阻碍了其在工业场景下的应用。尽管为大规模图提出了一些可扩展的GNN，但它们为每个节点采用固定的$ k $ hop邻域，因此在稀疏区域内采用大型繁殖深度时面临过度光滑的问题。为了解决上述问题，我们提出了一种新的GNN体系结构 - 图形注意多层感知器（GAMLP），该架构可以捕获不同图形知识范围之间的基本相关性。我们已经与天使平台部署了GAMLP，并进一步评估了现实世界数据集和大规模工业数据集的GAMLP。这14个图数据集的广泛实验表明，GAMLP在享有高可扩展性和效率的同时，达到了最先进的性能。具体来说，在我们的大规模腾讯视频数据集上的预测准确性方面，它的表现优于1.3 \％，同时达到了高达$ 50 \ times $ triending的速度。此外，它在开放图基准的最大同质和异质图（即OGBN-PAPERS100M和OGBN-MAG）的排行榜上排名第一。

图形神经网络（GNN）已被密切应用于各种基于图的应用程序。尽管他们成功了，但手动设计行为良好的GNN需要巨大的人类专业知识。因此，发现潜在的最佳数据特异性GNN体系结构效率低下。本文提出了DFG-NAS，这是一种新的神经体系结构搜索（NAS）方法，可自动搜索非常深入且灵活的GNN体系结构。与大多数专注于微构造的方法不同，DFG-NAS突出了另一个设计级别：搜索有关原子传播的宏观构造（\ TextBf {\ Textbf {\ Texttt {p}}}）和转换（\ texttt {\ textttt {\ texttt {\ texttt {\ texttt { T}}）的操作被整合并组织到GNN中。为此，DFG-NAS为\ textbf {\ texttt {p-t}}}的排列和组合提出了一个新颖的搜索空间，该搜索空间是基于消息传播的散布，定义了四个自定义设计的宏观架构突变，并采用了进化性algorithm to to the Evolutionary algorithm进行有效的搜索。关于四个节点分类任务的实证研究表明，DFG-NAS优于最先进的手动设计和GNN的NAS方法。