ALPA通过生成统一数据，操作员和管道并行性的执行计划来自动对大型深度学习（DL）模型的模型平行训练。现有的模型并行训练系统要求用户手动创建并行化计划，或者自动从有限的模型并行性配置中生成一个计划。它们不足以在分布式计算设备上扩展复杂的DL模型。 ALPA通过将并行性视为两个层次级别来分配大型DL模型的训练：操作员和操作员并行性。基于它，ALPA构建了一个新的分层空间，用于大规模的模型并行执行计划。 ALPA设计了许多汇编，以在每个并行性级别自动得出有效的并行执行计划。 ALPA实现了有效的运行时，以在分布式计算设备上协调两级并行执行。我们的评估表明，ALPA生成的并行化计划，即使在其设计的型号上，也可以匹配或超过手动模型并联训练系统。与专业系统不同，ALPA还推广到具有异质体系结构和模型的模型，而没有手动设计的计划。 ALPA的源代码可在https://github.com/alpa-projects/alpa上公开获得

We study a novel and important communication pattern in large-scale model-parallel deep learning (DL), which we call cross-mesh resharding. This pattern emerges when the two paradigms of model parallelism - intra-operator and inter-operator parallelism - are combined to support large models on large clusters. In cross-mesh resharding, a sharded tensor needs to be sent from a source device mesh to a destination device mesh, on which the tensor may be distributed with the same or different layouts. We formalize this as a many-to-many multicast communication problem, and show that existing approaches either are sub-optimal or do not generalize to different network topologies or tensor layouts, which result from different model architectures and parallelism strategies. We then propose two contributions to address cross-mesh resharding: an efficient broadcast-based communication system, and an "overlapping-friendly" pipeline schedule. On microbenchmarks, our overall system outperforms existing ones by up to 10x across various tensor and mesh layouts. On end-to-end training of two large models, GPT-3 and U-Transformer, we improve throughput by 10% and 50%, respectively.

我们呈现GSPMD，一种用于公共机器学习计算的自动，基于编译的并行化系统。它允许用户以与单个设备的方式相同的方式编写程序，然后通过关于如何分发Tensors的一些注释来提供提示，基于哪个GSPMD将并行化计算。其分区的表示简单尚不一般，允许它在各种模型上表达并行性的不同或混合范式。GSPMD基于有限的用户注释为每个运算符的分区Inventing，使得缩放现有的单设备程序方便。它解决了生产使用的几种技术挑战，允许GSPMD实现50％至62％的计算利用率，用于高达2048个云TPUv3核心，适用于高达1万亿参数的模型。

基础模型正在成为主要的深度学习技术。由于模型参数和训练数据集的大规模，预处理基础模型始终耗时。除了计算密集型外，培训过程还非常密集和沟通密集。这些功能使得需要应用3D并行性，该平行性整合数据并行性，管道模型并行性和张量模型并行性，以实现高训练效率。为了实现这一目标，开发了一些自定义软件框架，例如Megatron-LM和DeepSpeed。但是，当前的3D平行框架仍然符合两个问题：i）它们对模型开发人员不透明，这些开发人员需要手动修改模型以并行化培训。 ii）它们对计算，GPU存储器和网络带宽的利用不足。我们提出了Merak，这是一个自动化的3D并行性深度学习培训框架，并具有高度资源利用。 Merak会自动使用自动模型分区仪部署，该分区仪在模型的代理表示上使用图形sharding算法。 Merak还提出了非侵入性的API，用于通过最小的代码修改来扩展基础模型培训。此外，我们在Merak设计了高性能的3D平行运行时引擎。它使用多种技术来利用可用的培训资源，包括移动的关键路径管道时间表，该计划带来了更高的计算利用率，阶段感知的重新计算，可利用空闲工作者的记忆以及子额定张量的模型并行性，这些模型并联与通信和计算重叠。 64 GPU的实验显示，Merak可以加快在最新的3D平行性框架上，具有1.5、2.5、8.3和20亿的模型框架，最高可达1.42x，1.39x，1.43x和1.61 x分别。

变压器模型的成功将深度学习模型量表推向了数十亿个参数。但是，由于单个GPU的内存资源有限，因此仍然缺乏选择最佳并行策略的最佳实践，因为它需要深度学习和并行计算方面的域专业知识。巨大的AI系统通过引入统一的界面来解决上述挑战，以将模型培训的顺序代码扩展到分布式环境。它支持并行训练方法，例如数据，管道，张量和序列并行性，以及与零冗余优化器集成的异质训练方法。与基线系统相比，巨大的AI可以实现大型型号的训练速度的2.76倍。

过去的几年见证了基于变压器的模型的成功，其规模和应用方案继续积极发展。变压器模型的当前景观越来越多样化：该模型大小差异很大，最大的参数是最大的。模型特性由于特征的混合物所引入的稀疏性而有所不同。目标应用程序方案可以是关键延迟或面向吞吐量的情况；部署硬件可以是具有不同类型的内存和存储等单身或多GPU系统。随着多样性的增加和变压器模型的快速发展速度，设计高性能和高效的推理系统非常具有挑战性。在本文中，我们提出了DeepSpeed推断，这是用于解决上述挑战的变压器模型推理的全面系统解决方案。深速推理包括（1）一种多GPU推理解决方案，可最大程度地减少潜伏度，同时最大化密集和稀疏变压器模型的吞吐量，当它们适合聚集的GPU内存时，以及（2）一种异质推理解决方案，该解决方案利用CPU和NVME内存中的CPU和NVME内存。除了GPU内存和计算以使高推理吞吐量具有不适合聚集GPU内存的大型推理吞吐量。对于面向延迟的方案，深速推理可将延迟降低到最新的7倍，而对于面向吞吐量的方案，延迟的潜伏期将延迟减少到1.5倍以上。此外，它通过利用数百个GPU来实现实时延迟约束下的参数量表推断，这是一个前所未有的推理。它可以比仅使用GPU的解决方案更大的25倍模型，同时提供84个TFLOPS（超过50美元的A6000峰值）。

近来增加大型机器学习模型的趋势需要分发培训和推理任务。考虑到培训这些模型的巨大成本，必须在计算和沟通中解锁优化以获得最佳性能。然而，深入学习框架中的计算和通信内核之间的当前逻辑分离遍及此类障碍的优化机会。通过整体考虑破坏此抽象可以提供许多优化，以提供分布式工作负载中的性能改进。手动应用这些优化需要在每个场景中的底层计算和通信库中的修改，这是耗时和容易出错的。因此，我们呈现Coconet，用DSL表达具有计算和通信的程序。 Coconet包含几种机器学习感知转换，以优化程序和编译器以生成高性能内核。作为第一类构造的计算和通信允许用户在高级抽象上工作，并应用强大的优化，例如融合或传播和计算重叠。 Coconet使我们能够以几行代码在大型语言模型中优化数据，模型和管道平行工作负载。实验显示椰子显着优于最先进的分布式机器学习实现。

随着深度学习模型的速度较大，需要进行大型型号培训的系统级解决方案。我们展示了Amazon Sagemaker模型并行性，这是一个与Pytorch集成的软件库，并且可以使用模型并行性和其他内存节省功能轻松培训大型模型。与现有解决方案相比，Sagemaker库的实现更通用，灵活，因为它可以自动分区和运行具有最小代码的任意模型架构上的管道并行性，并且还为张量并行度提供一般和可扩展的框架，它支持更广泛的用例，并且可以轻松应用于新培训脚本的模块化。该库还将本机Pytorch用户体验保留到更大的程度，支持模块重复使用和动态图形，同时让用户完全控制训练步骤的细节。我们评估GPT-3，Roberta，BERT和神经协作过滤的性能，并表现出对现有解决方案的竞争性能。

训练基金会模型（例如GPT-3和Palm）可能非常昂贵，通常涉及数以万计的GPU连续运行数月。这些模型通常经过专门的群集培训，这些群集具有快速，均匀的互连，并使用精心设计的软件系统来支持数据并行性和模型/管道并行性。这样的专用集群可能是昂贵且难以获得的。我们可以相反，可以利用更大量的分散，异质和较低的互连计算？先前的工作研究了可以纯粹以数据并行方式训练的相对较小模型的异质，分散的设置重点。模型平行基础模型培训（例如威震天）的最先进的方案仅考虑均匀的数据中心设置。在本文中，我们介绍了第一个研究大型基础模型的研究，该模型在异质网络上的去中心化制度中进行了模型并行性。我们的主要技术贡献是一种调度算法，该算法将不同的计算“任务”在培训基础模型中分配给通过缓慢的异质网络连接的一组分散的GPU设备。我们提供了正式的成本模型，并进一步提出了一种有效的进化算法，以找到最佳分配策略。我们进行了广泛的实验，这些实验代表了使用现实世界网络测量模拟的地理分布设备进行学习的不同方案。在最极端的情况下，在跨越3大洲的8个不同的城市中，我们的方法比以前的最新培训系统（Megatron）快4.8倍。

Large deep learning models offer significant accuracy gains, but training billions to trillions of parameters is challenging. Existing solutions such as data and model parallelisms exhibit fundamental limitations to fit these models into limited device memory, while obtaining computation, communication and development efficiency. We develop a novel solution, Zero Redundancy Optimizer (ZeRO), to optimize memory, vastly improving training speed while increasing the model size that can be efficiently trained. ZeRO eliminates memory redundancies in data-and model-parallel training while retaining low communication volume and high computational granularity, allowing us to scale the model size proportional to the number of devices with sustained high efficiency. Our analysis on memory requirements and communication volume demonstrates: ZeRO has the potential to scale beyond 1 Trillion parameters using today's hardware.We implement and evaluate ZeRO: it trains large models of over 100B parameter with super-linear speedup on 400 GPUs, achieving throughput of 15 Petaflops. This represents an 8x increase in model size and 10x increase in achievable performance over state-of-the-art. In terms of usability, ZeRO can train large models of up to 13B parameters (e.g., larger than Megatron GPT 8.3B and T5 11B) without requiring model parallelism which is harder for scientists to apply. Last but not the least, researchers have used the system breakthroughs of ZeRO to create the world's largest language model (17B parameters) with record breaking accuracy.

深度神经网络（DNN）模型和数据集的快速增长大小引起了各种分布策略，如数据，张量模型，管道并行和其混合组合。这些策略中的每一个都提供自己的权衡，并在不同的模型和硬件拓扑上展示最佳性能。选择给定设置的最佳策略集是具有挑战性的，因为搜索空间组合增长，并且在群集上调试和测试昂贵。在这项工作中，我们提出了DISTIR，对于分布式DNN计算，这是针对有效分析而定制的分布式DNN计算的表达中间表示，例如模拟。这使得能够自动识别顶级执行策略，而无需在物理硬件上执行。与事先工作不同，Distir自然可以表达许多分发策略，包括管道并行性，具有任意时间表。我们对MLP培训和GPT-2推理模型的评估演示了DISTIR及其模拟器启用快速网格在跨越1000多种配置的复杂分配空间上搜索，以某些制度的数量级递减优化时间。

预训练的模型（PTM）正在革新人工智能（AI）技术。但是，PTM培训的硬件要求非常高，使其成为一小部分人的游戏。因此，我们提出了Patrickstar系统，以降低PTM的硬件要求，并使所有人都可以使用。 Patrickstar使用CPU-GPU异质存储空间来存储模型数据。与现有作品不同，我们在内存块中组织模型数据，并在异质内存中动态分配它们。在热身迭代中收集的运行时内存统计的指导下，块在异质内存中有效地精心策划，并生成较低的CPU-GPU数据传输量和较高的带宽利用率。与零冗余优化器的共生，Patrickstar量表在多个节点上均为多个GPU。 ％使用数据并行性。该系统可以在更大的型号和较大的批次大小上训练任务，这是现有工程无法完成的。实验结果表明，Patrickstar扩展了模型量表2.27和2.5倍，并且始终显示出更高的执行速度。 Patricstar还成功地在32 GPU集群上成功运行了175B GPT3培训任务。我们的代码可在https://github.com/tencent/patrickstar上公开获取。

分布式培训已成为培训大型神经网络（NN）模型的普遍性和有效的方法，该模型加工大规模数据。然而，满足来自各种NN模型，多样化计算资源的要求以及在培训工作期间的动态变化是非常挑战的。在这项研究中，我们在系统的端到端视图中设计了我们的分布式训练框架，以提供不同场景的内置自适应能力，特别是对于工业应用和生产环境，通过完全考虑资源分配，模型分区，任务放置和分布式执行。基于统一的分布式图和统一群集对象，我们的自适应框架配备了全球成本模型和全局计划者，可以实现任意并行，资源感知的放置，多模式执行，容错和弹性分布式。训练。实验表明，我们的框架可以满足应用程序的多样性和资源的异质性满足各种要求和具有竞争力的性能。具有260亿参数的Ernie语言模型在数千个AI处理器上有效地培训，可扩展性较弱的91.7％。通过采用异质管道异步执行，从推荐系统的模型的吞吐量可以分别增加到2.1倍，仅增加了GPU和CPU培训的3.3倍。此外，容错和弹性分布式培训已成功应用于在线工业应用，这减少了长期培训工作的数量，增加了34.49％，并在全球调度效率增加了33.91％生产环境。

There is an increasing need to bring machine learning to a wide diversity of hardware devices. Current frameworks rely on vendor-specific operator libraries and optimize for a narrow range of server-class GPUs. Deploying workloads to new platforms -such as mobile phones, embedded devices, and accelerators (e.g., FPGAs, ASICs) -requires significant manual effort. We propose TVM, a compiler that exposes graph-level and operator-level optimizations to provide performance portability to deep learning workloads across diverse hardware back-ends. TVM solves optimization challenges specific to deep learning, such as high-level operator fusion, mapping to arbitrary hardware primitives, and memory latency hiding. It also automates optimization of low-level programs to hardware characteristics by employing a novel, learning-based cost modeling method for rapid exploration of code optimizations. Experimental results show that TVM delivers performance across hardware back-ends that are competitive with state-ofthe-art, hand-tuned libraries for low-power CPU, mobile GPU, and server-class GPUs. We also demonstrate TVM's ability to target new accelerator back-ends, such as the FPGA-based generic deep learning accelerator.The system is open sourced and in production use inside several major companies.

模型大小的范围不断增加，并且持续改进性能使大型模型时代的到来的到来。在本报告中，我们通过潜入培训目标和培训方法来探讨大型模型培训如何运作。具体而言，培训目标描述了如何利用Web规模数据来开发基于自我监督的学习以及基于分布式培训的培训方法，开发出极强的大型模型，描述了如何使大型模型培训成为现实。我们将现有的培训方法总结为三个主要类别：训练并行性，节省记忆技术和模型稀疏设计。训练并行性可以根据发生的并行性维度分类为数据，管道和张量并行性。节省记忆的技术是正交的，并且与训练并行性互补。和模型稀疏设计以恒定的计算成本进一步扩大模型大小。在https://github.com/qhliu26/bm-training提供了不断更新的大型模型培训清单。

近年来，Experts（MOE）的混合物已成为一种有前途的深度学习技术，可以将模型能力扩展为万亿多个参数，同时通过稀疏计算降低计算成本。虽然MoE开设了一个非常大的模型的新领域，但由于MOE的动态性质与系统的静态平行性/管道层之间的不匹配，因此其数以千计的GPU的实现受到限制。我们提出了Tutel，这是一种具有动态自适应并行性和管道的高度可扩展的堆栈设计和实现。 TUTEL在运行时提供自适应并行性切换和自适应管道，分别达到1.74倍和2.00倍的单MOE层加速度。我们还提出了一种用于MOE通信速度的新颖的二维层次结构算法，该算法的表现超过了2,048 GPU的先前最先前的最新时间。 Tutel汇总了所有技术，最终在16 GPU和2,048 GPU上分别提供了4.96倍和5.75倍的加速度，分别通过Fairseq：Meta的Facebook AI AI研究序列到序列工具Kit（Tutel（Tutel）（Tutel）（Tutel）（现在由Fairseq部分采用）。 Tutel源代码可在公共场所获得：https：//github.com/microsoft/tutel。我们的评估表明，Tutel有效，有效地运行了一个基于现实的MOE模型，名为Swinv2-Moe，建立在Swin Transformer V2上，这是一种最先进的计算机视觉体系结构。在效率方面，Tutel加速了Swinv2-MoE，在FairSeq的训练和推理中分别达到1.55倍和2.11倍的速度。关于有效性，SWINV2-MOE模型在预训练和下游计算机视觉任务（例如可可对象检测）方面都比对应的密度密度模型都达到了卓越的精度，这表明Tutel准备对端到端现实世界模型训练的准备就绪和推理。 Swinv2-Moe在https://github.com/microsoft/swin-transformer中开放。

在过去的十年中，深度神经网络（DNNS）的规模成倍增长，只剩下那些具有大量基于数据中心的资源的人具有开发和培训此类模型的能力。对于可能只有有限的资源（例如，单个多GPU服务器）的研究人员的长尾巴的主要挑战之一是GPU内存能力与模型大小相比。问题是如此严重，以至于训练大规模DNN模型的内存需求通常可以超过单个服务器上所有可用GPU的总容量；这个问题只会随着不断增长的模型大小的趋势而变得更糟。当前依赖于虚拟化GPU内存的解决方案（通过向CPU内存交换/从CPU内存）会产生过多的交换开销。在本文中，我们提出了一个新的培训框架，和谐和倡导者，重新思考了DNN框架如何安排计算并移动数据以在单个商品服务器上有效地推动培训大规模模型的边界。在各种大型DNN模型中，Harmony能够将交换负载最多减少两个数量级，并在具有虚拟化内存的高度优化基线上获得高达7.6倍的训练吞吐量加速。

在过去十年中，已经开发出新的深度学习（DL）算法，工作负载和硬件来解决各种问题。尽管工作量和硬件生态系统的进步，DL系统的编程方法是停滞不前的。 DL工作负载从DL库中的高度优化，特定于平台和不灵活的内核，或者在新颖的操作员的情况下，通过具有强大性能的DL框架基元建立参考实现。这项工作介绍了Tensor加工基元（TPP），一个编程抽象，用于高效的DL工作负载的高效，便携式实现。 TPPS定义了一组紧凑而多才多艺的2D张镜操作员（或虚拟张量ISA），随后可以用作构建块，以在高维张量上构建复杂的运算符。 TPP规范是平台 - 不可行的，因此通过TPPS表示的代码是便携式的，而TPP实现是高度优化的，并且特定于平台。我们展示了我们使用独立内核和端到端DL＆HPC工作负载完全通过TPPS表达的方法的效力和生存性，这在多个平台上优于最先进的实现。

We introduce Breadth-First Pipeline Parallelism, a novel training schedule which optimizes the combination of pipeline and data parallelism. Breadth-First Pipeline Parallelism lowers training time, cost and memory usage by combining a high GPU utilization with a small batch size per GPU, and by making use of fully sharded data parallelism. Experimentally, we observed increases of up to 53% in training speed.

TensorFlow is a machine learning system that operates at large scale and in heterogeneous environments. Tensor-Flow uses dataflow graphs to represent computation, shared state, and the operations that mutate that state. It maps the nodes of a dataflow graph across many machines in a cluster, and within a machine across multiple computational devices, including multicore CPUs, generalpurpose GPUs, and custom-designed ASICs known as Tensor Processing Units (TPUs). This architecture gives flexibility to the application developer: whereas in previous "parameter server" designs the management of shared state is built into the system, TensorFlow enables developers to experiment with novel optimizations and training algorithms. TensorFlow supports a variety of applications, with a focus on training and inference on deep neural networks. Several Google services use TensorFlow in production, we have released it as an open-source project, and it has become widely used for machine learning research. In this paper, we describe the TensorFlow dataflow model and demonstrate the compelling performance that Tensor-Flow achieves for several real-world applications.