图形神经网络（GNN）是具有无核数据的应用的有前途的方法。但是，具有数亿节点的大规模图上的培训GNN既是资源又是耗时的。与DNN不同，GNN通常具有更大的内存足迹，因此GPU内存能力和PCIE带宽是GNN培训中的主要资源瓶颈。为了解决此问题，我们提出分叉：一种图形量化方法，通过显着减少内存足迹和PCIE带宽要求来加速GNN训练，以便GNN可以充分利用GPU计算功能。我们的关键见解是，与DNN不同，GNN不太容易发生量化引起的输入特征的信息丢失。我们确定图形特征量化中的主要准确性影响因素，从理论上证明，分叉训练会收敛到网络，在该网络中，损失在未压缩网络的最佳损失的$ \ epsilon $之内。我们使用几种流行的GNN模型和数据集对分叉进行了广泛的评估，包括最大的公共图数据集MAG240M上的图形。结果表明，分叉达到30以上的压缩率，并在边际准确性损失的情况下提高了GNN训练速度200％-320％。特别是，分叉在一小时内仅使用四个GPU在MAG240M上的训练图来实现记录。

数据处理的最新进展刺激了对非常大尺度的学习图的需求。众所周知，图形神经网络（GNN）是解决图形学习任务的一种新兴和有力的方法，很难扩大规模。大多数可扩展模型应用基于节点的技术来简化GNN的昂贵图形消息传播过程。但是，我们发现当应用于百万甚至数十亿尺度的图表时，这种加速度不足。在这项工作中，我们提出了Scara，这是一种可扩展的GNN，具有针对图形计算的特征优化。 Scara有效地计算出从节点功能中嵌入的图形，并进一步选择和重用功能计算结果以减少开销。理论分析表明，我们的模型在传播过程以及GNN培训和推理中具有确保精度，实现了子线性时间的复杂性。我们在各种数据集上进行了广泛的实验，以评估圣aca的功效和效率。与基线的性能比较表明，与快速收敛和可比精度相比，与当前的最新方法相比，圣aca最高可达到100倍的图形传播加速度。最值得注意的是，在100秒内处理最大的十亿个GNN数据集纸100m（1.11亿节点，1.6B边缘）上的预先计算是有效的。

图形神经网络（GNNS）将深度神经网络（DNN）的成功扩展到非欧几里德图数据，实现了各种任务的接地性能，例如节点分类和图形属性预测。尽管如此，现有系统效率低，培训数十亿节点和GPU的节点和边缘训练大图。主要瓶颈是准备GPU数据的过程 - 子图采样和特征检索。本文提出了一个分布式GNN培训系统的BGL，旨在解决一些关键思想的瓶颈。首先，我们提出了一种动态缓存引擎，以最小化特征检索流量。通过协同设计缓存政策和抽样顺序，我们发现低开销和高缓存命中率的精美斑点。其次，我们改善了曲线图分区算法，以减少子图采样期间的交叉分区通信。最后，仔细资源隔离减少了不同数据预处理阶段之间的争用。关于各种GNN模型和大图数据集的广泛实验表明，BGL平均明显优于现有的GNN训练系统20.68倍。

图形神经网络（GNN）在学习强大的节点表示中显示了令人信服的性能，这些表现在保留节点属性和图形结构信息的强大节点表示中。然而，许多GNNS在设计有更深的网络结构或手柄大小的图形时遇到有效性和效率的问题。已经提出了几种采样算法来改善和加速GNN的培训，但他们忽略了解GNN性能增益的来源。图表数据中的信息的测量可以帮助采样算法来保持高价值信息，同时消除冗余信息甚至噪声。在本文中，我们提出了一种用于GNN的公制引导（MEGUIDE）子图学习框架。 MEGUIDE采用两种新颖的度量：功能平滑和连接失效距离，以指导子图采样和迷你批次的培训。功能平滑度专为分析节点的特征而才能保留最有价值的信息，而连接失败距离可以测量结构信息以控制子图的大小。我们展示了MEGUIDE在多个数据集上培训各种GNN的有效性和效率。

最近提出了基于子图的图表学习（SGRL）来应对规范图神经网络（GNNS）遇到的一些基本挑战，并在许多重要的数据科学应用（例如链接，关系和主题预测）中证明了优势。但是，当前的SGRL方法遇到了可伸缩性问题，因为它们需要为每个培训或测试查询提取子图。扩大规范GNN的最新解决方案可能不适用于SGRL。在这里，我们通过共同设计学习算法及其系统支持，为可扩展的SGRL提出了一种新颖的框架Surel。 Surel采用基于步行的子图表分解，并将步行重新形成子图，从而大大降低了子图提取的冗余并支持并行计算。具有数百万个节点和边缘的六个同质，异质和高阶图的实验证明了Surel的有效性和可扩展性。特别是，与SGRL基线相比，Surel可以实现10 $ \ times $ Quad-Up，具有可比甚至更好的预测性能；与规范GNN相比，Surel可实现50％的预测准确性。

尽管图表神经网络（GNNS）的最近成功，但大图上的培训GNN仍然具有挑战性。现有服务器的有限资源容量，图中节点之间的依赖关系以及由于集中存储和模型学习导致的隐私问题刺激了用于GNN训练的有效分布式算法的需要。然而，现有的分布式GNN训练方法强加过度的通信成本或妨碍其可扩展性的大存储器开销。为了克服这些问题，我们提出了一种名为$ \ text {{locally，正确的全球}} $（llcg）的通信有效的分布式GNN培训技术。为了减少通信和内存开销，LLCG中的每个本地计算机首先通过忽略不同机器之间的节点之间的依赖性在其本地数据上列出GNN，然后将本地训练的模型发送到服务器以获取周期性模型平均。但是，忽略节点依赖性可能导致显着的性能下降。要解决性能下降，我们建议在服务器上应用$ \ text {{{global server校正}} $以优化本地学习的模型。我们严格地分析了具有用于训练GNN的周期性模型的分布式方法的收敛性，并且显示了天真地应用周期模型平均但忽略节点之间的依赖性将受到不可缩小的残余错误。然而，通过利用所提出的全局校正来避免收敛速度，可以消除这种剩余误差。对现实世界数据集的广泛实验表明，LLCG可以显着提高效率而不会伤害性能。

最近，Graph神经网络（GNNS）已成为聚光灯作为强大的工具，可以有效地在图形结构化数据上执行各种推理任务。随着现实图表的大小继续扩展，GNN训练系统面临可扩展性挑战。分布式培训是一种流行的方法，可以通过扩展CPU节点来应对这一挑战。但是，对基于磁盘的GNN培训的关注不多，该培训可以通过利用NVME SSD等高性能存储设备来以更具成本效益的方式扩展单节点系统。我们观察到，主内存和磁盘之间的数据移动是基于SSD的训练系统中的主要瓶颈，并且常规的GNN训练管道是不错的选择，而无需考虑此开销。因此，我们提出了Ginex，这是第一个基于SSD的GNN训练系统，可以在单台计算机上处​​理数十亿个图形数据集。受到编译器优化的检查员执行模型的启发，Ginex通过分开样品和收集阶段来重组GNN训练管道。这种分离使Ginex能够实现一种可证明的最佳替换算法，即被称为Belady的算法，用于存储器中的Caching特征向量，该算法是I/O访问的主要部分。根据我们对40亿尺度图数据集的评估，Ginex平均比SSD扩展的Pytorch几何得出了2.11倍的训练吞吐量（最大最高2.67倍）。

培训广泛和深度神经网络（DNN）需要大量的存储资源，例如内存，因为在转发传播期间必须在存储器中保存中间激活数据，然后恢复以便向后传播。然而，由于硬件设计约束，诸如GPU之类的最先进的加速器（例如GPU）仅配备了非常有限的存储容量，这显着限制了在训练大规模DNN时的最大批量大小和性能加速。传统的记忆保存技术均受性能开销或受限互连带宽或特定互连技术的约束。在本文中，我们提出了一种新颖的记忆高效的CNN训练框架（称为Comet），利用错误界限的损耗压缩来显着降低训练的内存要求，以允许培训更大的模型或加速培训。不同于采用基于图像的有损压缩机（例如JPEG）的最先进的解决方案来压缩激活数据，我们的框架故意采用严格的错误控制机制来采用错误界限的损耗压缩。具体而言，我们对从改变的激活数据传播到梯度的压缩误差传播的理论分析，并经验探讨改变梯度对训练过程的影响。基于这些分析，我们优化了误报的损耗压缩，并提出了一种用于激活数据压缩的自适应误差控制方案。我们评估我们对最先进的解决方案的设计，其中包含五个广泛采用的CNN和Imagenet DataSet。实验表明，我们所提出的框架可以在基线训练中显着降低13.5倍，并分别在另一个最先进的基于压缩框架上的1.8倍，几乎没有准确性损失。

Using graph neural networks for large graphs is challenging since there is no clear way of constructing mini-batches. To solve this, previous methods have relied on sampling or graph clustering. While these approaches often lead to good training convergence, they introduce significant overhead due to expensive random data accesses and perform poorly during inference. In this work we instead focus on model behavior during inference. We theoretically model batch construction via maximizing the influence score of nodes on the outputs. This formulation leads to optimal approximation of the output when we do not have knowledge of the trained model. We call the resulting method influence-based mini-batching (IBMB). IBMB accelerates inference by up to 130x compared to previous methods that reach similar accuracy. Remarkably, with adaptive optimization and the right training schedule IBMB can also substantially accelerate training, thanks to precomputed batches and consecutive memory accesses. This results in up to 18x faster training per epoch and up to 17x faster convergence per runtime compared to previous methods.

最近，图形神经网络（GNN）通过利用图形结构和节点特征的知识来表现出图表表示的显着性能。但是，他们中的大多数都有两个主要限制。首先，GNN可以通过堆叠更多的层来学习高阶结构信息，但由于过度光滑的问题，无法处理较大的深度。其次，由于昂贵的计算成本和高内存使用情况，在大图上应用这些方法并不容易。在本文中，我们提出了节点自适应特征平滑（NAFS），这是一种简单的非参数方法，该方法构建了没有参数学习的节点表示。 NAFS首先通过特征平滑提取每个节点及其不同啤酒花的邻居的特征，然后自适应地结合了平滑的特征。此外，通过不同的平滑策略提取的平滑特征的合奏可以进一步增强构建的节点表示形式。我们在两个不同的应用程序方案上对四个基准数据集进行实验：节点群集和链接预测。值得注意的是，具有功能合奏的NAFS优于这些任务上最先进的GNN，并减轻上述大多数基于学习的GNN对应物的两个限制。

Graph convolutional network (GCN) has been successfully applied to many graph-based applications; however, training a large-scale GCN remains challenging. Current SGD-based algorithms suffer from either a high computational cost that exponentially grows with number of GCN layers, or a large space requirement for keeping the entire graph and the embedding of each node in memory. In this paper, we propose Cluster-GCN, a novel GCN algorithm that is suitable for SGD-based training by exploiting the graph clustering structure. Cluster-GCN works as the following: at each step, it samples a block of nodes that associate with a dense subgraph identified by a graph clustering algorithm, and restricts the neighborhood search within this subgraph. This simple but effective strategy leads to significantly improved memory and computational efficiency while being able to achieve comparable test accuracy with previous algorithms. To test the scalability of our algorithm, we create a new Amazon2M data with 2 million nodes and 61 million edges which is more than 5 times larger than the previous largest publicly available dataset (Reddit). For training a 3-layer GCN on this data, Cluster-GCN is faster than the previous state-of-the-art VR-GCN (1523 seconds vs 1961 seconds) and using much less memory (2.2GB vs 11.2GB). Furthermore, for training 4 layer GCN on this data, our algorithm can finish in around 36 minutes while all the existing GCN training algorithms fail to train due to the out-of-memory issue. Furthermore, Cluster-GCN allows us to train much deeper GCN without much time and memory overhead, which leads to improved prediction accuracy-using a 5-layer Cluster-GCN, we achieve state-of-the-art test F1 score 99.36 on the PPI dataset, while the previous best result was 98.71 by [16]. Our codes are publicly available at https://github.com/google-research/google-research/ tree/master/cluster_gcn.

Graph neural networks (GNNs) have been demonstrated to be a powerful algorithmic model in broad application fields for their effectiveness in learning over graphs. To scale GNN training up for large-scale and ever-growing graphs, the most promising solution is distributed training which distributes the workload of training across multiple computing nodes. However, the workflows, computational patterns, communication patterns, and optimization techniques of distributed GNN training remain preliminarily understood. In this paper, we provide a comprehensive survey of distributed GNN training by investigating various optimization techniques used in distributed GNN training. First, distributed GNN training is classified into several categories according to their workflows. In addition, their computational patterns and communication patterns, as well as the optimization techniques proposed by recent work are introduced. Second, the software frameworks and hardware platforms of distributed GNN training are also introduced for a deeper understanding. Third, distributed GNN training is compared with distributed training of deep neural networks, emphasizing the uniqueness of distributed GNN training. Finally, interesting issues and opportunities in this field are discussed.

图形神经网络（GNNS）由于图形数据的规模和模型参数的数量呈指数增长，因此限制了它们在实际应用中的效用，因此往往会遭受高计算成本。为此，最近的一些作品着重于用彩票假设（LTH）稀疏GNN，以降低推理成本，同时保持绩效水平。但是，基于LTH的方法具有两个主要缺点：1）它们需要对密集模型进行详尽且迭代的训练，从而产生了极大的训练计算成本，2）它们仅修剪图形结构和模型参数，但忽略了节点功能维度，存在大量冗余。为了克服上述局限性，我们提出了一个综合的图形渐进修剪框架，称为CGP。这是通过在一个训练过程中设计在训练图周期修剪范式上进行动态修剪GNN来实现的。与基于LTH的方法不同，提出的CGP方法不需要重新训练，这大大降低了计算成本。此外，我们设计了一个共同策略，以全面地修剪GNN的所有三个核心元素：图形结构，节点特征和模型参数。同时，旨在完善修剪操作，我们将重生过程引入我们的CGP框架，以重新建立修剪但重要的连接。提出的CGP通过在6个GNN体系结构中使用节点分类任务进行评估，包括浅层模型（GCN和GAT），浅但深度散发模型（SGC和APPNP）以及Deep Models（GCNII和RESGCN），总共有14个真实图形数据集，包括来自挑战性开放图基准的大规模图数据集。实验表明，我们提出的策略在匹配时大大提高了训练和推理效率，甚至超过了现有方法的准确性。

图形神经网络（GNNS）在学习从图形结构数据中展示了成功，其中包含欺诈检测，推荐和知识图形推理。然而，培训GNN有效地具有挑战性，因为：1）GPU存储器容量有限，对于大型数据集可能不足，而2）基于图形的数据结构导致不规则的数据访问模式。在这项工作中，我们提供了一种统计分析的方法，并确定了GNN培训前更频繁地访问的数据。我们的数据分层方法不仅利用输入图的结构，而且还从实际GNN训练过程中获得了洞察力，以实现更高的预测结果。通过我们的数据分层方法，我们还提供了一种新的数据放置和访问策略，以进一步最大限度地减少CPU-GPU通信开销。我们还考虑了多GPU GNN培训，我们也展示了我们在多GPU系统中的策略的有效性。评估结果表明，我们的工作将CPU-GPU流量降低了87-95％，并通过数亿节点和数十亿边缘的图表提高了现有解决方案的GNN训练速度。

本文介绍了一种通过张量 - 训练（TT）分解来更紧凑地表示图形神经网络（GNN）表的新方法。我们考虑（a）缺乏节点特征的图形数据，从而在训练过程中学习嵌入的情况； （b）我们希望利用GPU平台，即使对于大型内存GPU，也需要较小的桌子来减少主机到GPU的通信。 TT的使用实现了嵌入的紧凑参数化，使其足够小，甚至可以完全适合现代GPU，即使是大量图形。当与明智的初始化和分层图分区结合使用时，这种方法可以将嵌入矢量的大小降低1,659次，至81,362次，在大型公开可用的基准数据集中，可以实现可比性或更高的准确性或更高的准确性和在多GPU系统上的显着速度。在某些情况下，我们的模型在输入上没有明确的节点功能甚至可以匹配使用节点功能的模型的准确性。

最近，图形卷积网络（GCNS）已成为用于分析非欧几里德图数据的最先进的算法。然而，实现有效的GCN训练，特别是在大图中挑战。原因是许多折叠的原因：1）GCN训练引发了大量的内存占用。大图中的全批量培训甚至需要数百到数千千兆字节的内存，以缓冲中间数据进行反向传播。 2）GCN培训涉及内存密集型数据减少和计算密集型功能/渐变更新操作。这种异构性质挑战当前的CPU / GPU平台。 3）图形的不规则性和复杂的训练数据流共同增加了提高GCN培训系统效率的难度。本文提出了一种混合架构来解决这些挑战的混合架构。具体地，GCNEAR采用基于DIMM的存储系统，提供易于级别的存储器容量。为了匹配异构性质，我们将GCN培训操作分类为内存密集型减少和计算密集型更新操作。然后，我们卸载将操作减少到DIMM NMES，充分利用高聚合的本地带宽。我们采用具有足够计算能力的CAE来处理更新操作。我们进一步提出了几种优化策略来处理GCN任务的不规则，提高GCNEAR的表现。我们还提出了一种多GCNEAR系统来评估GCNEAR的可扩展性。

Graph neural networks (GNNs) have received great attention due to their success in various graph-related learning tasks. Several GNN frameworks have then been developed for fast and easy implementation of GNN models. Despite their popularity, they are not well documented, and their implementations and system performance have not been well understood. In particular, unlike the traditional GNNs that are trained based on the entire graph in a full-batch manner, recent GNNs have been developed with different graph sampling techniques for mini-batch training of GNNs on large graphs. While they improve the scalability, their training times still depend on the implementations in the frameworks as sampling and its associated operations can introduce non-negligible overhead and computational cost. In addition, it is unknown how much the frameworks are 'eco-friendly' from a green computing perspective. In this paper, we provide an in-depth study of two mainstream GNN frameworks along with three state-of-the-art GNNs to analyze their performance in terms of runtime and power/energy consumption. We conduct extensive benchmark experiments at several different levels and present detailed analysis results and observations, which could be helpful for further improvement and optimization.

图表卷积网络（GCNS）在各种半监督节点分类任务中取得了令人印象深刻的实证进步。尽管取得了巨大的成功，但在大型图形上培训GCNS遭受了计算和内存问题。规避这些障碍的潜在路径是基于采样的方法，其中在每个层处采样节点的子集。虽然最近的研究已经证明了基于采样的方法的有效性，但这些作品缺乏在现实环境下的理论融合担保，并且不能完全利用优化期间演出参数的信息。在本文中，我们描述并分析了一般的双差异减少模式，可以在内存预算下加速任何采样方法。所提出的模式的激励推动是仔细分析采样方法的差异，其中示出了诱导方差可以在前进传播期间分解为节点嵌入近似方差（Zeroth阶差异）（第一 - 顺序变化）在后向传播期间。理论上，从理论上分析所提出的架构的融合，并显示它享有$ \ Mathcal {O}（1 / T）$收敛率。我们通过将建议的模式集成在不同的采样方法中并将其应用于不同的大型实际图形来补充我们的理论结果。

图形神经网络（GNN）在许多基于图的应用程序中取得了巨大成功。但是，巨大的尺寸和高稀疏度的图表阻碍了其在工业场景下的应用。尽管为大规模图提出了一些可扩展的GNN，但它们为每个节点采用固定的$ k $ hop邻域，因此在稀疏区域内采用大型繁殖深度时面临过度光滑的问题。为了解决上述问题，我们提出了一种新的GNN体系结构 - 图形注意多层感知器（GAMLP），该架构可以捕获不同图形知识范围之间的基本相关性。我们已经与天使平台部署了GAMLP，并进一步评估了现实世界数据集和大规模工业数据集的GAMLP。这14个图数据集的广泛实验表明，GAMLP在享有高可扩展性和效率的同时，达到了最先进的性能。具体来说，在我们的大规模腾讯视频数据集上的预测准确性方面，它的表现优于1.3 \％，同时达到了高达$ 50 \ times $ triending的速度。此外，它在开放图基准的最大同质和异质图（即OGBN-PAPERS100M和OGBN-MAG）的排行榜上排名第一。

Machine Unerning是在收到删除请求时从机器学习（ML）模型中删除某些培训数据的影响的过程。虽然直接而合法，但从划痕中重新训练ML模型会导致高计算开销。为了解决这个问题，在图像和文本数据的域中提出了许多近似算法，其中SISA是最新的解决方案。它将训练集随机分配到多个碎片中，并为每个碎片训练一个组成模型。但是，将SISA直接应用于图形数据可能会严重损害图形结构信息，从而导致的ML模型实用程序。在本文中，我们提出了Grapheraser，这是一种针对图形数据量身定制的新型机器学习框架。它的贡献包括两种新型的图形分区算法和一种基于学习的聚合方法。我们在五个现实世界图数据集上进行了广泛的实验，以说明Grapheraser的学习效率和模型实用程序。它可以实现2.06 $ \ times $（小数据集）至35.94 $ \ times $（大数据集）未学习时间的改进。另一方面，Grapheraser的实现最高62.5美元\％$更高的F1分数，我们提出的基于学习的聚合方法可达到高达$ 112 \％$ $ F1分数。 github.com/minchen00/graph-unlearning}。}。}