科学家越来越依靠Python工具使用丰富的，类似于Numpy的表达式执行可扩展的分布式内存阵列操作。但是，这些工具中的许多工具都依赖于针对抽象任务图进行了优化的动态调度程序，这些调度图通常遇到内存和网络带宽相关的瓶颈，这是由于亚最佳数据和操作员的放置决策。在消息传递接口（MPI）（例如Scalapack和Slate）上构建的工具具有更好的缩放属性，但是这些解决方案需要使用专门的知识。在这项工作中，我们提出了NUMS，这是一个数组编程库，可在基于任务的分布式系统上优化类似Numpy的表达式。这是通过称为负载模拟层次调度（LSHS）的新型调度程序来实现的。 LSHS是一种本地搜索方法，可通过最大程度地减少分布式系统中任何给定节点上的最大内存和网络加载来优化操作员放置。再加上用于负载平衡数据布局的启发式，我们的方法能够在某些常见的数值操作上达到通信下限，我们的经验研究表明，LSHS通过减少2倍的降低2倍来增强RAR上的性能，需要减少4倍的内存， ，在逻辑回归问题上减少10倍的执行时间。在Terabyte尺度数据上，NUMS在DGEMM上实现了竞争性能，与Dask ML和Spark的Mllib相比，在键盘分解的密钥操作中，DASK高达20倍的速度以及logistic回归的2倍加速。

在过去十年中，已经开发出新的深度学习（DL）算法，工作负载和硬件来解决各种问题。尽管工作量和硬件生态系统的进步，DL系统的编程方法是停滞不前的。 DL工作负载从DL库中的高度优化，特定于平台和不灵活的内核，或者在新颖的操作员的情况下，通过具有强大性能的DL框架基元建立参考实现。这项工作介绍了Tensor加工基元（TPP），一个编程抽象，用于高效的DL工作负载的高效，便携式实现。 TPPS定义了一组紧凑而多才多艺的2D张镜操作员（或虚拟张量ISA），随后可以用作构建块，以在高维张量上构建复杂的运算符。 TPP规范是平台 - 不可行的，因此通过TPPS表示的代码是便携式的，而TPP实现是高度优化的，并且特定于平台。我们展示了我们使用独立内核和端到端DL＆HPC工作负载完全通过TPPS表达的方法的效力和生存性，这在多个平台上优于最先进的实现。

TensorFlow is a machine learning system that operates at large scale and in heterogeneous environments. Tensor-Flow uses dataflow graphs to represent computation, shared state, and the operations that mutate that state. It maps the nodes of a dataflow graph across many machines in a cluster, and within a machine across multiple computational devices, including multicore CPUs, generalpurpose GPUs, and custom-designed ASICs known as Tensor Processing Units (TPUs). This architecture gives flexibility to the application developer: whereas in previous "parameter server" designs the management of shared state is built into the system, TensorFlow enables developers to experiment with novel optimizations and training algorithms. TensorFlow supports a variety of applications, with a focus on training and inference on deep neural networks. Several Google services use TensorFlow in production, we have released it as an open-source project, and it has become widely used for machine learning research. In this paper, we describe the TensorFlow dataflow model and demonstrate the compelling performance that Tensor-Flow achieves for several real-world applications.

ALPA通过生成统一数据，操作员和管道并行性的执行计划来自动对大型深度学习（DL）模型的模型平行训练。现有的模型并行训练系统要求用户手动创建并行化计划，或者自动从有限的模型并行性配置中生成一个计划。它们不足以在分布式计算设备上扩展复杂的DL模型。 ALPA通过将并行性视为两个层次级别来分配大型DL模型的训练：操作员和操作员并行性。基于它，ALPA构建了一个新的分层空间，用于大规模的模型并行执行计划。 ALPA设计了许多汇编，以在每个并行性级别自动得出有效的并行执行计划。 ALPA实现了有效的运行时，以在分布式计算设备上协调两级并行执行。我们的评估表明，ALPA生成的并行化计划，即使在其设计的型号上，也可以匹配或超过手动模型并联训练系统。与专业系统不同，ALPA还推广到具有异质体系结构和模型的模型，而没有手动设计的计划。 ALPA的源代码可在https://github.com/alpa-projects/alpa上公开获得

近年来，在平衡（超级）图分配算法的设计和评估中取得了重大进展。我们调查了过去十年的实用算法的趋势，用于平衡（超级）图形分区以及未来的研究方向。我们的工作是对先前有关该主题的调查的更新。特别是，该调查还通过涵盖了超图形分区和流算法来扩展先前的调查，并额外关注并行算法。

Graph neural networks (GNNs) have been demonstrated to be a powerful algorithmic model in broad application fields for their effectiveness in learning over graphs. To scale GNN training up for large-scale and ever-growing graphs, the most promising solution is distributed training which distributes the workload of training across multiple computing nodes. However, the workflows, computational patterns, communication patterns, and optimization techniques of distributed GNN training remain preliminarily understood. In this paper, we provide a comprehensive survey of distributed GNN training by investigating various optimization techniques used in distributed GNN training. First, distributed GNN training is classified into several categories according to their workflows. In addition, their computational patterns and communication patterns, as well as the optimization techniques proposed by recent work are introduced. Second, the software frameworks and hardware platforms of distributed GNN training are also introduced for a deeper understanding. Third, distributed GNN training is compared with distributed training of deep neural networks, emphasizing the uniqueness of distributed GNN training. Finally, interesting issues and opportunities in this field are discussed.

一般矩阵乘法或GEMM内核在高性能计算和机器学习中占据中心位置。最近的NVIDIA GPU包括Gemm加速器，如Nvidia的张量核心。他们的剥削受到双语言问题的阻碍：它需要低级编程，这意味着低程序员的工作效率或使用只提供有限组件集的库。由于建立的组件方面的REPRASING算法经常引入开销，因此图书馆缺乏灵活性限制了探索新算法的自由。因此，使用GEMMS的研究人员无法立即享受编程生产力，高性能和研究灵活性。在本文中，我们解决了这个问题。我们在科学朱莉娅编程语言中展示了三组抽象和接口来编程宝石。界面和抽象共同设计用于研究人员的需求和朱莉娅的特征，以实现足够的担忧和灵活性的充分分离，以便在不支付性能价格的情况下轻松地扩展基本宝石。将我们的Gemms与最先进的图书馆Cublas和Cutlass进行比较，我们证明我们的性能在图书馆的相同球场中，并且在某些情况下甚至超过它，而无需在CUDA C ++中编写单行代码或者组装，而不面临灵活限制。

随着深度学习模型的速度较大，需要进行大型型号培训的系统级解决方案。我们展示了Amazon Sagemaker模型并行性，这是一个与Pytorch集成的软件库，并且可以使用模型并行性和其他内存节省功能轻松培训大型模型。与现有解决方案相比，Sagemaker库的实现更通用，灵活，因为它可以自动分区和运行具有最小代码的任意模型架构上的管道并行性，并且还为张量并行度提供一般和可扩展的框架，它支持更广泛的用例，并且可以轻松应用于新培训脚本的模块化。该库还将本机Pytorch用户体验保留到更大的程度，支持模块重复使用和动态图形，同时让用户完全控制训练步骤的细节。我们评估GPT-3，Roberta，BERT和神经协作过滤的性能，并表现出对现有解决方案的竞争性能。

图形神经网络（GNN）已被证明是分析非欧国人图数据的强大工具。但是，缺乏有效的分布图学习（GL）系统极大地阻碍了GNN的应用，尤其是当图形大且GNN相对深时。本文中，我们提出了GraphTheta，这是一种以顶点为中心的图形编程模型实现的新颖分布式和可扩展的GL系统。 GraphTheta是第一个基于分布式图处理的GL系统，其神经网络运算符以用户定义的功能实现。该系统支持多种培训策略，并在分布式（虚拟）机器上启用高度可扩展的大图学习。为了促进图形卷积实现，GraphTheta提出了一个名为NN-Tgar的新的GL抽象，以弥合图形处理和图形深度学习之间的差距。提出了分布式图引擎，以通过混合平行执行进行随机梯度下降优化。此外，除了全球批次和迷你批次外，我们还为新的集群批次培训策略提供了支持。我们使用许多网络大小的数据集评估GraphTheta，范围从小，适度到大规模。实验结果表明，GraphTheta可以很好地扩展到1,024名工人，用于培训内部开发的GNN，该工业尺度的Aripay数据集为14亿个节点和41亿个属性边缘，并带有CPU虚拟机（Dockers）群的小群。 （5 $ \ sim $ 12GB）。此外，GraphTheta比最先进的GNN实现获得了可比或更好的预测结果，证明其学习GNN和现有框架的能力，并且可以超过多达$ 2.02 \ tims $ $ 2.02 \ times $，具有更好的可扩展性。据我们所知，这项工作介绍了文献中最大的边缘属性GNN学习任务。

分散算法是一种计算形式，通过依赖于直接连接代理之间的低成本通信的本地动态实现全局目标。在涉及分布式数据集的大规模优化任务中，分散算法显示出强大，有时优越，性能与中央节点的分布式算法。最近，发展分散的深度学习算法引起了极大的关注。它们被视为使用参数服务器或环形恢复协议的那些的低通信开销替代方案。但是，缺乏易于使用和高效的软件包仅在纸上保持了最分散的算法。为了填补差距，我们介绍了Bluefog，一个Python库进行了直接的，高性能的不同分散算法的实现。基于各种通信操作的统一抽象，Bluefog提供直观的接口来实现分散的算法的频谱，从使用静态无向图的那些，用于使用动态和定向图形的同步操作进行异步操作。 Bluefog还采用了多种系统级加速技术，以进一步优化深度学习任务的性能。在主流DNN培训任务中，Bluefog达到了更高的吞吐量，并实现了一个总体上的吞吐量1.2 \ times \ sim 1.8 \ times $ speedup，这是一个基于环 - allyuce的最先进的分布式深度学习包。 Bluefog是https://github.com/bluefog-lib/bluefog的开源。

Graph Convolutional Networks (GCNs) are extensively utilized for deep learning on graphs. The large data sizes of graphs and their vertex features make scalable training algorithms and distributed memory systems necessary. Since the convolution operation on graphs induces irregular memory access patterns, designing a memory- and communication-efficient parallel algorithm for GCN training poses unique challenges. We propose a highly parallel training algorithm that scales to large processor counts. In our solution, the large adjacency and vertex-feature matrices are partitioned among processors. We exploit the vertex-partitioning of the graph to use non-blocking point-to-point communication operations between processors for better scalability. To further minimize the parallelization overheads, we introduce a sparse matrix partitioning scheme based on a hypergraph partitioning model for full-batch training. We also propose a novel stochastic hypergraph model to encode the expected communication volume in mini-batch training. We show the merits of the hypergraph model, previously unexplored for GCN training, over the standard graph partitioning model which does not accurately encode the communication costs. Experiments performed on real-world graph datasets demonstrate that the proposed algorithms achieve considerable speedups over alternative solutions. The optimizations achieved on communication costs become even more pronounced at high scalability with many processors. The performance benefits are preserved in deeper GCNs having more layers as well as on billion-scale graphs.

图形神经网络（GNNS）将深度神经网络（DNN）的成功扩展到非欧几里德图数据，实现了各种任务的接地性能，例如节点分类和图形属性预测。尽管如此，现有系统效率低，培训数十亿节点和GPU的节点和边缘训练大图。主要瓶颈是准备GPU数据的过程 - 子图采样和特征检索。本文提出了一个分布式GNN培训系统的BGL，旨在解决一些关键思想的瓶颈。首先，我们提出了一种动态缓存引擎，以最小化特征检索流量。通过协同设计缓存政策和抽样顺序，我们发现低开销和高缓存命中率的精美斑点。其次，我们改善了曲线图分区算法，以减少子图采样期间的交叉分区通信。最后，仔细资源隔离减少了不同数据预处理阶段之间的争用。关于各种GNN模型和大图数据集的广泛实验表明，BGL平均明显优于现有的GNN训练系统20.68倍。

There is an increasing need to bring machine learning to a wide diversity of hardware devices. Current frameworks rely on vendor-specific operator libraries and optimize for a narrow range of server-class GPUs. Deploying workloads to new platforms -such as mobile phones, embedded devices, and accelerators (e.g., FPGAs, ASICs) -requires significant manual effort. We propose TVM, a compiler that exposes graph-level and operator-level optimizations to provide performance portability to deep learning workloads across diverse hardware back-ends. TVM solves optimization challenges specific to deep learning, such as high-level operator fusion, mapping to arbitrary hardware primitives, and memory latency hiding. It also automates optimization of low-level programs to hardware characteristics by employing a novel, learning-based cost modeling method for rapid exploration of code optimizations. Experimental results show that TVM delivers performance across hardware back-ends that are competitive with state-ofthe-art, hand-tuned libraries for low-power CPU, mobile GPU, and server-class GPUs. We also demonstrate TVM's ability to target new accelerator back-ends, such as the FPGA-based generic deep learning accelerator.The system is open sourced and in production use inside several major companies.

稀疏的张量正在迅速成为现代深度学习工作负载的关键组成部分。但是，开发高性能的稀疏运营商可能很困难和乏味，现有的供应商库无法满足新运营商的不断升级要求。稀疏张量编译器简化了操作员的开发，但是对深度学习的有效稀疏编译仍然具有挑战性，因为单个稀疏格式无法最大程度地提高硬件效率，并且单次弹出编译器无法跟上最新的硬件和系统进步。我们表明，解决这两个挑战的关键是两种合成性。在本文中，我们提出了SparSetir，这是一种稀疏的张张汇编抽象，可为深度学习工作负载提供可合理的格式和可组合的转换。 Sparsetir在这些可组合组件上构建一个搜索空间，以进行性能调整。通过这些改进，SparSetir获得了单个操作员的GPU上的一致性能加速与供应商库：GNN操作员的1.1-3.3倍，稀疏变压器操作员的1.1-4.4x。 Sparsetir还以1.1-2.2倍的速度加速了端到端GNN，用于图形训练，而RGCN推断为0.9-26x。

现代大规模深度学习工作负载突出了在许多设备上并行执行的需要，以便将模型数据拟合到硬件加速器存储器中。在这些设置中，在计算期间可能需要数组再分配，但如果没有有效地完成，也可以成为瓶颈。在本文中，我们解决了在SPMD计算中重新分配多维阵列数据的问题，深度学习中最普遍的并行性形式。我们介绍了一种类型定向的方法来合成阵列再分配作为MPI式集体操作的序列。我们证明了我们的合成重新分发是内存高效的，并且不执行过多的数据传输。使用集体操作的SPMD计算的数组再分配也在XLA SPMD Partitioner的上下文中实现了一种用于跨加速器系统进行分区程序的生产级工具。我们评估我们对XLA实施的方法，并发现我们的方法提供了1.22美元的几何平均加速，最大加速度为高达5.7倍$，同时提供可提供的内存保证，使我们的系统特别吸引力 - 规模模型。

训练机学习（ML）算法是一个计算密集型过程，由于反复访问大型培训数据集，经常会陷入内存。结果，以处理器为中心的系统（例如CPU，GPU）遭受了内存单元和处理单元之间的昂贵数据移动，这会消耗大量的能量和执行周期。以内存为中心的计算系统，即具有内存（PIM）功能，可以减轻此数据运动瓶颈。我们的目标是了解现代通用PIM体系结构加速ML培训的潜力。为此，我们（1）在现实世界通用PIM体系结构上实现了几种代表性的经典ML算法（即线性回归，逻辑回归，决策树，K-均值聚类），（2）严格评估并表征它们在准确性，性能和缩放方面以及（3）与CPU和GPU上的对应物实现相比。我们对具有2500多个PIM核心的真实内存计算系统的评估表明，当PIM硬件在必要的操作和数据类型上，通用PIM架构可以极大地加速内存的ML工作负载。例如，我们对决策树的PIM实施比8核Intel Xeon上的最先进的CPU版本$ 27 \ times $ $，并且比最先进的GPU快$ 1.34 \ times $ $ NVIDIA A100上的版本。我们在PIM上的K-Means聚类分别为$ 2.8 \ times $和$ 3.2 \ times $ $，分别是最先进的CPU和GPU版本。据我们所知，我们的工作是第一个评估现实世界中PIM架构的ML培训的工作。我们以关键的观察，外卖和建议结束，可以激发ML工作负载的用户，PIM架构的程序员以及未来以内存计算系统的硬件设计师和架构师。

基础模型正在成为主要的深度学习技术。由于模型参数和训练数据集的大规模，预处理基础模型始终耗时。除了计算密集型外，培训过程还非常密集和沟通密集。这些功能使得需要应用3D并行性，该平行性整合数据并行性，管道模型并行性和张量模型并行性，以实现高训练效率。为了实现这一目标，开发了一些自定义软件框架，例如Megatron-LM和DeepSpeed。但是，当前的3D平行框架仍然符合两个问题：i）它们对模型开发人员不透明，这些开发人员需要手动修改模型以并行化培训。 ii）它们对计算，GPU存储器和网络带宽的利用不足。我们提出了Merak，这是一个自动化的3D并行性深度学习培训框架，并具有高度资源利用。 Merak会自动使用自动模型分区仪部署，该分区仪在模型的代理表示上使用图形sharding算法。 Merak还提出了非侵入性的API，用于通过最小的代码修改来扩展基础模型培训。此外，我们在Merak设计了高性能的3D平行运行时引擎。它使用多种技术来利用可用的培训资源，包括移动的关键路径管道时间表，该计划带来了更高的计算利用率，阶段感知的重新计算，可利用空闲工作者的记忆以及子额定张量的模型并行性，这些模型并联与通信和计算重叠。 64 GPU的实验显示，Merak可以加快在最新的3D平行性框架上，具有1.5、2.5、8.3和20亿的模型框架，最高可达1.42x，1.39x，1.43x和1.61 x分别。

输入管道，其摄取和转换输入数据，是培训机器学习（ML）模型的重要组成部分。然而，实现有效的输入管道有挑战性，因为它需要推理有关并行性，异步的推理和细粒度分析信息的可变性。我们对谷歌数据中心超过200万毫升工作的分析表明，大量模型培训工作可以从更快的输入数据管道中受益。与此同时，我们的分析表明，大多数工作都不饱和主机硬件，指向基于软件的瓶颈的方向。这些发现的动机，我们提出了水管工，一种用于在ML输入管道中找到瓶颈的工具。管道工使用可扩展和可解释的操作分析分析模型来自动调整Host资源约束下的并行性，预取和缓存。在五个代表性ML管道上，水管工可获得最多46倍的误配置管道的加速。通过自动化缓存，与最先进的调谐器相比，水管工获得超过40％的端到端加速。

图形神经网络（GNN）的输入图的大小不断增加，突显了使用多GPU平台的需求。但是，由于计算不平衡和效率较低的通信，现有的多GPU GNN解决方案遭受了劣质性能。为此，我们提出了MGG，这是一种新型的系统设计，可以通过以GPU为中心的软件管道在多GPU平台上加速GNN。 MGG探讨了通过细粒度计算通信管道中隐藏GNN工作负载中远程内存访问延迟的潜力。具体而言，MGG引入了管​​道感知工作负载管理策略和混合数据布局设计，以促进通信局限性重叠。 MGG实现以优化的管道为中心的内核。它包括工作负载交织和基于经经的映射，以进行有效的GPU内核操作管道和专门的内存设计以及优化，以更好地数据访问性能。此外，MGG还结合了轻巧的分析建模和优化启发式方法，以动态提高运行时不同设置的GNN执行性能。全面的实验表明，MGG在各种GNN设置上的最先进的多GPU系统要比最先进的多GPU系统：平均比具有统一虚拟内存设计的多GPU系统快3.65倍，平均比DGCL框架快7.38倍。

Training Graph Neural Networks, on graphs containing billions of vertices and edges, at scale using minibatch sampling poses a key challenge: strong-scaling graphs and training examples results in lower compute and higher communication volume and potential performance loss. DistGNN-MB employs a novel Historical Embedding Cache combined with compute-communication overlap to address this challenge. On a 32-node (64-socket) cluster of $3^{rd}$ generation Intel Xeon Scalable Processors with 36 cores per socket, DistGNN-MB trains 3-layer GraphSAGE and GAT models on OGBN-Papers100M to convergence with epoch times of 2 seconds and 4.9 seconds, respectively, on 32 compute nodes. At this scale, DistGNN-MB trains GraphSAGE 5.2x faster than the widely-used DistDGL. DistGNN-MB trains GraphSAGE and GAT 10x and 17.2x faster, respectively, as compute nodes scale from 2 to 32.