最近，作为基于图形机器学习的骨干的图形神经网络（GNN）展示了各个域（例如，电子商务）的巨大成功。然而，由于基于高稀疏和不规则的图形操作，GNN的性能通常不令人满意。为此，我们提出，TC-GNN，基于GNN加速框架的第一个GPU张量核心单元（TCU）。核心思想是将“稀疏”GNN计算与“密集”TCU进行调和。具体地，我们对主流GNN计算框架中的稀疏操作进行了深入的分析。我们介绍了一种新颖的稀疏图翻译技术，便于TCU处理稀疏GNN工作量。我们还实现了一个有效的CUDA核心和TCU协作设计，以充分利用GPU资源。我们将TC-GNN与Pytorch框架完全集成，以便于编程。严格的实验在各种GNN型号和数据集设置的最先进的深图库框架上平均显示了1.70倍的加速。

图形神经网络（GNN）的输入图的大小不断增加，突显了使用多GPU平台的需求。但是，由于计算不平衡和效率较低的通信，现有的多GPU GNN解决方案遭受了劣质性能。为此，我们提出了MGG，这是一种新型的系统设计，可以通过以GPU为中心的软件管道在多GPU平台上加速GNN。 MGG探讨了通过细粒度计算通信管道中隐藏GNN工作负载中远程内存访问延迟的潜力。具体而言，MGG引入了管​​道感知工作负载管理策略和混合数据布局设计，以促进通信局限性重叠。 MGG实现以优化的管道为中心的内核。它包括工作负载交织和基于经经的映射，以进行有效的GPU内核操作管道和专门的内存设计以及优化，以更好地数据访问性能。此外，MGG还结合了轻巧的分析建模和优化启发式方法，以动态提高运行时不同设置的GNN执行性能。全面的实验表明，MGG在各种GNN设置上的最先进的多GPU系统要比最先进的多GPU系统：平均比具有统一虚拟内存设计的多GPU系统快3.65倍，平均比DGCL框架快7.38倍。

Dynamic Graph Neural Networks (DGNNs) have been broadly applied in various real-life applications, such as link prediction and pandemic forecast, to capture both static structural information and temporal characteristics from dynamic graphs. Combining both time-dependent and -independent components, DGNNs manifest substantial parallel computation and data reuse potentials, but suffer from severe memory access inefficiency and data transfer overhead under the canonical one-graph-at-a-time training pattern. To tackle the challenges, we propose PiPAD, a $\underline{\textbf{Pi}}pelined$ and $\underline{\textbf{PA}}rallel$ $\underline{\textbf{D}}GNN$ training framework for the end-to-end performance optimization on GPUs. From both the algorithm and runtime level, PiPAD holistically reconstructs the overall training paradigm from the data organization to computation manner. Capable of processing multiple graph snapshots in parallel, PiPAD eliminates the unnecessary data transmission and alleviates memory access inefficiency to improve the overall performance. Our evaluation across various datasets shows PiPAD achieves $1.22\times$-$9.57\times$ speedup over the state-of-the-art DGNN frameworks on three representative models.

虽然有很多关于图像深度学习的硬件加速研究，但在加速涉及图形的深度学习应用时，有一个相当有利的专注。图的独特特性，例如不规则的内存访问和动态并行性，当算法映射到CPU或GPU时，施加有几个挑战。为了在利用所有可用的稀疏性的同时解决这些挑战，我们提出了一种灵活的架构，称为SPA-GCN，用于加速图形卷积网络（GCN），在图中的深度学习算法中的核心计算单元。该架构专门用于处理许多小图形，因为图表尺寸对设计考虑产生了重大影响。在这种情况下，我们使用SIMGNN是一种基于神经网络的图形匹配算法，作为展示我们架构的有效性的案例研究。实验结果表明，与多核CPU实施和GPU实施相比，SPA-GCN可以提供高速度，显示设计效率。

图表卷积网络（GCNS）已成为最先进的图形学习模型。但是，它可以令人难以置于大图数据集的推断GCNS，这会将其应用于大型实际图表并阻碍更深层更复杂的GCN图形的探讨。这是因为真实世界图可能非常大而稀疏。此外，GCN的节点度倾向于遵循幂律分布，因此具有高度不规则的邻接矩阵，导致数据处理和移动中的禁止低效率，从而显着地限制了可实现的GCN加速效率。为此，本文提出了一种GCN算法和加速器协同设计框架被称为GCOD，其在很大程度上可以缓解上述GCN不规则性并提高GCNS推理效率。具体地，在算法级别上，GCOD集成了分割和征服GCN训练策略，该训练策略将图形偏离在本地邻域中的密集或稀疏，而不会影响模型精度，从而导致（主要）的图形邻接矩阵仅仅是两个级别的工作量并享受大部分增强的规律性，从而轻松加速。在硬件水平上，我们进一步开发了一个具有分离发动机的专用双子加速器，以处理每个上述密集和稀疏工作负载，进一步提高整体利用率和加速效率。广泛的实验和消融研究验证了我们的GCOD始终如一地减少了与CPU，GPU和现有技术GCN加速器相比的15286倍，294倍，7.8倍和2.5倍的加速，包括HYGCN和AWB -GCN分别在保持甚至提高任务准确性的同时。

图形神经网络（GNN）由于其独特的能力扩展了机器学习（ML）方法，因此引起了极大的关注，该应用程序广泛定义为具有非结构化数据，尤其是图形。与其他机器学习（ML）方式相比，由于源自图类型的不规则性和异质性，图形神经网络（GNN）的加速度更具挑战性。但是，现有的努力主要集中在处理图形的不规则性上，并且没有研究其异质性。为此，我们提出了H-GCN，PL（可编程逻辑）和AIE（AI引擎）的混合加速器，以利用Xilinx Versal自适应计算加速度平台（ACAPS）的新兴异质性（ACAPS）来实现高表现GNN的确定。特别是，H-GCN根据其固有的异质性将每个图分为三个子图，并分别使用PL和AIE处理它们。为了进一步提高性能，我们探索了AIE的稀疏支持，并开发了一种有效的密度感知方法，以自动将稀疏矩阵矩阵乘法（SPMM）的瓷砖自动映射到收缩张量数阵列上。与最先进的GCN加速器相比，H-GCN平均达到1.1〜2.3倍的速度。

Graph convolutional neural networks (GCNs) have emerged as a key technology in various application domains where the input data is relational. A unique property of GCNs is that its two primary execution stages, aggregation and combination, exhibit drastically different dataflows. Consequently, prior GCN accelerators tackle this research space by casting the aggregation and combination stages as a series of sparse-dense matrix multiplication. However, prior work frequently suffers from inefficient data movements, leaving significant performance left on the table. We present GROW, a GCN accelerator based on Gustavson's algorithm to architect a row-wise product based sparse-dense GEMM accelerator. GROW co-designs the software/hardware that strikes a balance in locality and parallelism for GCNs, achieving significant energy-efficiency improvements vs. state-of-the-art GCN accelerators.

最近，Graph神经网络（GNNS）已成为聚光灯作为强大的工具，可以有效地在图形结构化数据上执行各种推理任务。随着现实图表的大小继续扩展，GNN训练系统面临可扩展性挑战。分布式培训是一种流行的方法，可以通过扩展CPU节点来应对这一挑战。但是，对基于磁盘的GNN培训的关注不多，该培训可以通过利用NVME SSD等高性能存储设备来以更具成本效益的方式扩展单节点系统。我们观察到，主内存和磁盘之间的数据移动是基于SSD的训练系统中的主要瓶颈，并且常规的GNN训练管道是不错的选择，而无需考虑此开销。因此，我们提出了Ginex，这是第一个基于SSD的GNN训练系统，可以在单台计算机上处​​理数十亿个图形数据集。受到编译器优化的检查员执行模型的启发，Ginex通过分开样品和收集阶段来重组GNN训练管道。这种分离使Ginex能够实现一种可证明的最佳替换算法，即被称为Belady的算法，用于存储器中的Caching特征向量，该算法是I/O访问的主要部分。根据我们对40亿尺度图数据集的评估，Ginex平均比SSD扩展的Pytorch几何得出了2.11倍的训练吞吐量（最大最高2.67倍）。

图形神经网络（GNNS）在学习从图形结构数据中展示了成功，其中包含欺诈检测，推荐和知识图形推理。然而，培训GNN有效地具有挑战性，因为：1）GPU存储器容量有限，对于大型数据集可能不足，而2）基于图形的数据结构导致不规则的数据访问模式。在这项工作中，我们提供了一种统计分析的方法，并确定了GNN培训前更频繁地访问的数据。我们的数据分层方法不仅利用输入图的结构，而且还从实际GNN训练过程中获得了洞察力，以实现更高的预测结果。通过我们的数据分层方法，我们还提供了一种新的数据放置和访问策略，以进一步最大限度地减少CPU-GPU通信开销。我们还考虑了多GPU GNN培训，我们也展示了我们在多GPU系统中的策略的有效性。评估结果表明，我们的工作将CPU-GPU流量降低了87-95％，并通过数亿节点和数十亿边缘的图表提高了现有解决方案的GNN训练速度。

稀疏的张量正在迅速成为现代深度学习工作负载的关键组成部分。但是，开发高性能的稀疏运营商可能很困难和乏味，现有的供应商库无法满足新运营商的不断升级要求。稀疏张量编译器简化了操作员的开发，但是对深度学习的有效稀疏编译仍然具有挑战性，因为单个稀疏格式无法最大程度地提高硬件效率，并且单次弹出编译器无法跟上最新的硬件和系统进步。我们表明，解决这两个挑战的关键是两种合成性。在本文中，我们提出了SparSetir，这是一种稀疏的张张汇编抽象，可为深度学习工作负载提供可合理的格式和可组合的转换。 Sparsetir在这些可组合组件上构建一个搜索空间，以进行性能调整。通过这些改进，SparSetir获得了单个操作员的GPU上的一致性能加速与供应商库：GNN操作员的1.1-3.3倍，稀疏变压器操作员的1.1-4.4x。 Sparsetir还以1.1-2.2倍的速度加速了端到端GNN，用于图形训练，而RGCN推断为0.9-26x。

最近，图形卷积网络（GCNS）已成为用于分析非欧几里德图数据的最先进的算法。然而，实现有效的GCN训练，特别是在大图中挑战。原因是许多折叠的原因：1）GCN训练引发了大量的内存占用。大图中的全批量培训甚至需要数百到数千千兆字节的内存，以缓冲中间数据进行反向传播。 2）GCN培训涉及内存密集型数据减少和计算密集型功能/渐变更新操作。这种异构性质挑战当前的CPU / GPU平台。 3）图形的不规则性和复杂的训练数据流共同增加了提高GCN培训系统效率的难度。本文提出了一种混合架构来解决这些挑战的混合架构。具体地，GCNEAR采用基于DIMM的存储系统，提供易于级别的存储器容量。为了匹配异构性质，我们将GCN培训操作分类为内存密集型减少和计算密集型更新操作。然后，我们卸载将操作减少到DIMM NMES，充分利用高聚合的本地带宽。我们采用具有足够计算能力的CAE来处理更新操作。我们进一步提出了几种优化策略来处理GCN任务的不规则，提高GCNEAR的表现。我们还提出了一种多GCNEAR系统来评估GCNEAR的可扩展性。

As the interest to Graph Neural Networks (GNNs) is growing, the importance of benchmarking and performance characterization studies of GNNs is increasing. So far, we have seen many studies that investigate and present the performance and computational efficiency of GNNs. However, the work done so far has been carried out using a few high-level GNN frameworks. Although these frameworks provide ease of use, they contain too many dependencies to other existing libraries. The layers of implementation details and the dependencies complicate the performance analysis of GNN models that are built on top of these frameworks, especially while using architectural simulators. Furthermore, different approaches on GNN computation are generally overlooked in prior characterization studies, and merely one of the common computational models is evaluated. Based on these shortcomings and needs that we observed, we developed a benchmark suite that is framework independent, supporting versatile computational models, easily configurable and can be used with architectural simulators without additional effort. Our benchmark suite, which we call gSuite, makes use of only hardware vendor's libraries and therefore it is independent of any other frameworks. gSuite enables performing detailed performance characterization studies on GNN Inference using both contemporary GPU profilers and architectural GPU simulators. To illustrate the benefits of our new benchmark suite, we perform a detailed characterization study with a set of well-known GNN models with various datasets; running gSuite both on a real GPU card and a timing-detailed GPU simulator. We also implicate the effect of computational models on performance. We use several evaluation metrics to rigorously measure the performance of GNN computation.

图表卷积网络（GCNS）已经引入有效地处理非欧几里德图数据。但是，GCNS在计算和内存访问中产生了大量的不规则性，这可以防止有效地利用传统的神经网络加速器。此外，现有的专用GCN加速器需要高内存卷，并且难以实现到资源有限的边缘设备上。在这项工作中，我们提出了LW-GCN，一种基于轻量级的FPGA的加速器，具有软件 - 硬件共同设计的过程，可以在GCN推理中解决计算和存储器访问中的不规则性。 LW-GCN将主GCN操作分解为稀疏密集的矩阵乘法（SDMM）和致密矩阵乘法（DMM）。我们提出了一种新颖的压缩格式来平衡PE的工作量并防止数据危险。此外，我们应用数据量化和工作负载折叠，并将GCN推理的SDMM和DMM映射到资源有限硬件上的统一架构上。 GCN和Graphsage的评估在Xilinx Kintex-7 FPGA中进行了三个流行的数据集。与现有CPU，GPU和最先进的FPGA的加速器相比，LW-GCN可将延迟缩短高达60倍，12倍，1.7倍，并分别将功率效率提高至912倍。，511x和3.87倍。此外，与NVIDIA最新的GPU Jetson Xavier NX相比，LW-GCN分别实现了32倍和84倍的加速和节能。

Graph neural networks (GNNs) have been demonstrated to be a powerful algorithmic model in broad application fields for their effectiveness in learning over graphs. To scale GNN training up for large-scale and ever-growing graphs, the most promising solution is distributed training which distributes the workload of training across multiple computing nodes. However, the workflows, computational patterns, communication patterns, and optimization techniques of distributed GNN training remain preliminarily understood. In this paper, we provide a comprehensive survey of distributed GNN training by investigating various optimization techniques used in distributed GNN training. First, distributed GNN training is classified into several categories according to their workflows. In addition, their computational patterns and communication patterns, as well as the optimization techniques proposed by recent work are introduced. Second, the software frameworks and hardware platforms of distributed GNN training are also introduced for a deeper understanding. Third, distributed GNN training is compared with distributed training of deep neural networks, emphasizing the uniqueness of distributed GNN training. Finally, interesting issues and opportunities in this field are discussed.

这项工作提出了专门针对粒子探测器的低潜伏期图神经网络（GNN）设计的新型可重构体系结构。加速粒子探测器的GNN是具有挑战性的，因为它需要次微秒延迟才能在CERN大型强子撞机实验的级别1触发器中部署网络以进行在线事件选择。本文提出了一种自定义代码转换，并在基于互动网络的GNN中使用完全连接的图表中的矩阵乘法操作降低了强度，从而避免了昂贵的乘法。它利用了稀疏模式以及二进制邻接矩阵，并避免了不规则的内存访问，从而降低了延迟和硬件效率的提高。此外，我们引入了一种基于外部产品的基质乘法方法，该方法通过降低潜伏期设计的强度降低来增强。此外，引入了融合步骤，以进一步降低设计延迟。此外，提出了GNN特异性算法 - 硬件共同设计方法，该方法不仅找到了具有更好延迟的设计，而且在给定的延迟约束下发现了高精度的设计。最后，已经设计和开源了此低延迟GNN硬件体系结构的可自定义模板，该模板可以使用高级合成工具来生成低延迟的FPGA设计，并有效地利用资源。评估结果表明，我们的FPGA实施速度高24倍，并且消耗的功率比GPU实施少45倍。与我们以前的FPGA实施相比，这项工作的延迟降低了6.51至16.7倍。此外，我们的FPGA设计的延迟足以使GNN在亚微秒，实时撞机触发器系统中部署，从而使其能够从提高的精度中受益。

图形神经网络（GNN）已被证明是分析非欧国人图数据的强大工具。但是，缺乏有效的分布图学习（GL）系统极大地阻碍了GNN的应用，尤其是当图形大且GNN相对深时。本文中，我们提出了GraphTheta，这是一种以顶点为中心的图形编程模型实现的新颖分布式和可扩展的GL系统。 GraphTheta是第一个基于分布式图处理的GL系统，其神经网络运算符以用户定义的功能实现。该系统支持多种培训策略，并在分布式（虚拟）机器上启用高度可扩展的大图学习。为了促进图形卷积实现，GraphTheta提出了一个名为NN-Tgar的新的GL抽象，以弥合图形处理和图形深度学习之间的差距。提出了分布式图引擎，以通过混合平行执行进行随机梯度下降优化。此外，除了全球批次和迷你批次外，我们还为新的集群批次培训策略提供了支持。我们使用许多网络大小的数据集评估GraphTheta，范围从小，适度到大规模。实验结果表明，GraphTheta可以很好地扩展到1,024名工人，用于培训内部开发的GNN，该工业尺度的Aripay数据集为14亿个节点和41亿个属性边缘，并带有CPU虚拟机（Dockers）群的小群。 （5 $ \ sim $ 12GB）。此外，GraphTheta比最先进的GNN实现获得了可比或更好的预测结果，证明其学习GNN和现有框架的能力，并且可以超过多达$ 2.02 \ tims $ $ 2.02 \ times $，具有更好的可扩展性。据我们所知，这项工作介绍了文献中最大的边缘属性GNN学习任务。

图形神经网络（GNNS）将深度神经网络（DNN）的成功扩展到非欧几里德图数据，实现了各种任务的接地性能，例如节点分类和图形属性预测。尽管如此，现有系统效率低，培训数十亿节点和GPU的节点和边缘训练大图。主要瓶颈是准备GPU数据的过程 - 子图采样和特征检索。本文提出了一个分布式GNN培训系统的BGL，旨在解决一些关键思想的瓶颈。首先，我们提出了一种动态缓存引擎，以最小化特征检索流量。通过协同设计缓存政策和抽样顺序，我们发现低开销和高缓存命中率的精美斑点。其次，我们改善了曲线图分区算法，以减少子图采样期间的交叉分区通信。最后，仔细资源隔离减少了不同数据预处理阶段之间的争用。关于各种GNN模型和大图数据集的广泛实验表明，BGL平均明显优于现有的GNN训练系统20.68倍。

成倍增长的模型大小驱动了深度学习的持续成功，但它带来了过度的计算和记忆成本。从算法的角度来看，已经研究了模型的稀疏和量化以减轻问题。从体系结构的角度来看，硬件供应商提供了张量核心以进行加速。但是，由于严格的数据布局要求以及缺乏有效操纵低精度整数的支持，因此从稀疏的低精度矩阵操作中获得实践加速非常具有挑战性。我们提出了Magicube，这是一个高性能的稀疏矩阵库，用于张量芯上的低精度整数。 Magicube支持SPMM和SDDMM，这是深度学习的两个主要稀疏操作。 NVIDIA A100 GPU的实验结果表明，Magicube平均在供应商优化的库中平均达到1.44倍（高达2.37倍）的速度，用于稀疏内核，而在最先进的艺术品上进行了1.43倍的速度，具有可比的准确性。端到端稀疏变压器推断。

Graph Convolutional Networks (GCNs) are extensively utilized for deep learning on graphs. The large data sizes of graphs and their vertex features make scalable training algorithms and distributed memory systems necessary. Since the convolution operation on graphs induces irregular memory access patterns, designing a memory- and communication-efficient parallel algorithm for GCN training poses unique challenges. We propose a highly parallel training algorithm that scales to large processor counts. In our solution, the large adjacency and vertex-feature matrices are partitioned among processors. We exploit the vertex-partitioning of the graph to use non-blocking point-to-point communication operations between processors for better scalability. To further minimize the parallelization overheads, we introduce a sparse matrix partitioning scheme based on a hypergraph partitioning model for full-batch training. We also propose a novel stochastic hypergraph model to encode the expected communication volume in mini-batch training. We show the merits of the hypergraph model, previously unexplored for GCN training, over the standard graph partitioning model which does not accurately encode the communication costs. Experiments performed on real-world graph datasets demonstrate that the proposed algorithms achieve considerable speedups over alternative solutions. The optimizations achieved on communication costs become even more pronounced at high scalability with many processors. The performance benefits are preserved in deeper GCNs having more layers as well as on billion-scale graphs.

在过去十年中，已经开发出新的深度学习（DL）算法，工作负载和硬件来解决各种问题。尽管工作量和硬件生态系统的进步，DL系统的编程方法是停滞不前的。 DL工作负载从DL库中的高度优化，特定于平台和不灵活的内核，或者在新颖的操作员的情况下，通过具有强大性能的DL框架基元建立参考实现。这项工作介绍了Tensor加工基元（TPP），一个编程抽象，用于高效的DL工作负载的高效，便携式实现。 TPPS定义了一组紧凑而多才多艺的2D张镜操作员（或虚拟张量ISA），随后可以用作构建块，以在高维张量上构建复杂的运算符。 TPP规范是平台 - 不可行的，因此通过TPPS表示的代码是便携式的，而TPP实现是高度优化的，并且特定于平台。我们展示了我们使用独立内核和端到端DL＆HPC工作负载完全通过TPPS表达的方法的效力和生存性，这在多个平台上优于最先进的实现。