训练大型神经网络（NN）模型需要广泛的记忆资源，而激活压缩训练（ACT）是减少训练记忆足迹的一种有前途的方法。本文介绍了GACT，这是一个ACT框架，旨在支持具有有限域知识的通用NN体系结构的广泛机器学习任务。通过分析ACT近似梯度的线性化版本，我们证明了GACT的收敛性，而没有有关操作员类型或模型体系结构的先验知识。为了使训练保持稳定，我们提出了一种算法，该算法通过估计运行时对梯度的影响来决定每个张量的压缩比。我们将GACT实施为Pytorch库，很容易适用于任何NN体系结构。GACT将卷积NN，变压器和图形NNS的激活记忆降低到8.1倍，从而使4.2倍至24.7倍的训练能够较大，而精度损失可忽略不计。

在设计高性能变压器方面有兴趣爆发。虽然变形金刚提供了显着的性能改进，但由于存储在背部经历期间梯度计算所需的所有中间激活，尤其是长序列，虽然变形金刚提供了显着的性能改进，但培训这种网络非常内存。为此，我们展示了MESA，一个用于变压器的节省记忆资源有效的训练框架。具体而言，MESA在转发过程中使用精确的激活，同时存储低精度版本的激活，以减少训练期间的内存消耗。然后在返回传播期间对低精度激活进行拆分以计算梯度。此外，为了解决多头自我注意层中的异构激活分布，我们提出了一种头脑激活量化策略，其基于每个头的统计量来量化激活，以最小化近似误差。为了进一步提高训练效率，我们通过运行估计来学习量化参数。更重要的是，通过在采用更大的批量大小或缩放模型尺寸时重新投资所保存的内存，我们可以进一步提高受约束的计算资源下的性能。关于Imagenet的广泛实验，CiFar-100和ADE20K表明，MESA可以在训练期间减少一半的内存足迹，同时实现可比或更好的性能。代码在https://github.com/zhuang-group/mesa获得

基于变压器的神经模型在许多AI应用中使用。培训这些模型很昂贵，因为它需要大量的GPU资源和较长的持续时间。这是具有挑战性的，因为诸如句子之类的典型数据具有可变的长度，而变压器的计算模式比卷积神经网络更为复杂。现有系统要么仅专注于模型推理，要么仅针对BERT样编码器模型进行优化。在本文中，我们提出了LightSeq2，该系统是为GPU上的一般变压器模型加速培训的系统。我们提出了一系列针对变压器模型的特定计算流量和内存访问模式量身定制的GPU优化技术。 LightSeq2支持许多模型体系结构，包括BERT（仅编码），GPT（仅解码器），变压器（编码器编码器）和视觉变压器。我们对各种模型和基准测试的实验表明，LightSeq2始终比不同GPU上的先前系统更快（1.4-3.5倍）。特别是，与大型公共机器翻译基准（WMT14英语 - 德国人）上的现有系统相比，它获得了308％的培训速度。

沟通压缩是现代分布式学习系统的至关重要技术，可以减轻其在较慢的网络上的交流瓶颈。尽管最近对数据并行式训练的梯度压缩进行了深入的研究，但压缩了通过管道并行性训练的模型的激活仍然是一个空旷的问题。在本文中，我们提出了AC-SGD，这是一种新型的激活压缩算法，用于在慢速网络上进行通信有效的管道并行性训练。 AC-SGD与以前的激活压缩方面的努力不同，而不是直接压缩激活值，而是压缩激活的变化。这使我们能够首次向我们的知识表明，仍然可以实现$ o（1/\ sqrt {t}）$收敛速率，即激活压缩的非convex目标，而无需对梯度做出假设无偏见对于具有非线性激活功能的深度学习模型不符合。然后，我们证明AC-SGD可以有效地优化和实施，而无需额外的端到端运行时开销。我们将AC-SGD评估为微调语言具有高达15亿个参数的模型，将激活压缩至2-4位。AC-SGD在较慢的网络中可提供高达4.3倍的端到端速度，而无需牺牲模型质量。此外，我们还表明，AC-SGD可以与最先进的梯度压缩算法结合使用，以启用“端到端通信压缩：机器之间的所有通信，包括模型梯度，远期激活和后退梯度压缩为较低的精度。这提供了高达4.9倍的端到端加速，而无需牺牲模型质量。

深度学习在广泛的AI应用方面取得了有希望的结果。较大的数据集和模型一致地产生更好的性能。但是，我们一般花费更长的培训时间，以更多的计算和沟通。在本调查中，我们的目标是在模型精度和模型效率方面提供关于大规模深度学习优化的清晰草图。我们调查最常用于优化的算法，详细阐述了大批量培训中出现的泛化差距的可辩论主题，并审查了解决通信开销并减少内存足迹的SOTA策略。

培训广泛和深度神经网络（DNN）需要大量的存储资源，例如内存，因为在转发传播期间必须在存储器中保存中间激活数据，然后恢复以便向后传播。然而，由于硬件设计约束，诸如GPU之类的最先进的加速器（例如GPU）仅配备了非常有限的存储容量，这显着限制了在训练大规模DNN时的最大批量大小和性能加速。传统的记忆保存技术均受性能开销或受限互连带宽或特定互连技术的约束。在本文中，我们提出了一种新颖的记忆高效的CNN训练框架（称为Comet），利用错误界限的损耗压缩来显着降低训练的内存要求，以允许培训更大的模型或加速培训。不同于采用基于图像的有损压缩机（例如JPEG）的最先进的解决方案来压缩激活数据，我们的框架故意采用严格的错误控制机制来采用错误界限的损耗压缩。具体而言，我们对从改变的激活数据传播到梯度的压缩误差传播的理论分析，并经验探讨改变梯度对训练过程的影响。基于这些分析，我们优化了误报的损耗压缩，并提出了一种用于激活数据压缩的自适应误差控制方案。我们评估我们对最先进的解决方案的设计，其中包含五个广泛采用的CNN和Imagenet DataSet。实验表明，我们所提出的框架可以在基线训练中显着降低13.5倍，并分别在另一个最先进的基于压缩框架上的1.8倍，几乎没有准确性损失。

混合精确的深神经网络达到了硬件部署所需的能源效率和吞吐量，尤其是在资源有限的情况下，而无需牺牲准确性。但是，不容易找到保留精度的最佳每层钻头精度，尤其是在创建巨大搜索空间的大量模型，数据集和量化技术中。为了解决这一困难，最近出现了一系列文献，并且已经提出了一些实现有希望的准确性结果的框架。在本文中，我们首先总结了文献中通常使用的量化技术。然后，我们对混合精液框架进行了彻底的调查，该调查是根据其优化技术进行分类的，例如增强学习和量化技术，例如确定性舍入。此外，讨论了每个框架的优势和缺点，我们在其中呈现并列。我们最终为未来的混合精液框架提供了指南。

扩展培训工作负载的能力是深度学习的关键性能推动者之一。主要缩放方法是基于数据并行GPU的培训，该培训已经被硬件和软件支持高效地支持高效的GPU通信，特别是通过带宽过度曝光。此支持以A价格出现：相对于其“消费者级”对应物，“云级”服务器之间存在幅度成本差异，但相对于其“消费者级”对应物，虽然服务器级和消费者级GPU可以具有类似的计算信封。在本文中，我们调查了昂贵的硬件过度控制方法是否可以通过算法和系统设计所涵盖，并提出称为CGX的框架，为通信压缩提供有效的软件支持。我们认为，在没有硬件支持的情况下，该框架能够从消费者级多GPU系统中删除通信瓶颈：在没有硬件支持的情况下：在培训现代模型和全部准确性方面时，我们的框架可以在商品上进行2-3倍的自动加速系统使用8个消费者级NVIDIA RTX 3090 GPU，并使其超越NVIDIA DGX-1服务器的吞吐量，其具有类似的峰值闪光，但是从带宽过度提供的益处。

While machine learning is traditionally a resource intensive task, embedded systems, autonomous navigation, and the vision of the Internet of Things fuel the interest in resource-efficient approaches. These approaches aim for a carefully chosen trade-off between performance and resource consumption in terms of computation and energy. The development of such approaches is among the major challenges in current machine learning research and key to ensure a smooth transition of machine learning technology from a scientific environment with virtually unlimited computing resources into everyday's applications. In this article, we provide an overview of the current state of the art of machine learning techniques facilitating these real-world requirements. In particular, we focus on deep neural networks (DNNs), the predominant machine learning models of the past decade. We give a comprehensive overview of the vast literature that can be mainly split into three non-mutually exclusive categories: (i) quantized neural networks, (ii) network pruning, and (iii) structural efficiency. These techniques can be applied during training or as post-processing, and they are widely used to reduce the computational demands in terms of memory footprint, inference speed, and energy efficiency. We also briefly discuss different concepts of embedded hardware for DNNs and their compatibility with machine learning techniques as well as potential for energy and latency reduction. We substantiate our discussion with experiments on well-known benchmark datasets using compression techniques (quantization, pruning) for a set of resource-constrained embedded systems, such as CPUs, GPUs and FPGAs. The obtained results highlight the difficulty of finding good trade-offs between resource efficiency and predictive performance.

模型二进制化是一种压缩神经网络并加速其推理过程的有效方法。但是，1位模型和32位模型之间仍然存在显着的性能差距。实证研究表明，二进制会导致前进和向后传播中的信息损失。我们提出了一个新颖的分布敏感信息保留网络（DIR-NET），该网络通过改善内部传播和引入外部表示，将信息保留在前后传播中。 DIR-NET主要取决于三个技术贡献：（1）最大化二进制（IMB）的信息：最小化信息损失和通过重量平衡和标准化同时同时使用权重/激活的二进制误差； （2）分布敏感的两阶段估计器（DTE）：通过共同考虑更新能力和准确的梯度来通过分配敏感的软近似来保留梯度的信息； （3）代表性二进制 - 意识蒸馏（RBD）：通过提炼完整精确和二元化网络之间的表示来保留表示信息。 DIR-NET从统一信息的角度研究了BNN的前进过程和后退过程，从而提供了对网络二进制机制的新见解。我们的DIR-NET中的三种技术具有多功能性和有效性，可以在各种结构中应用以改善BNN。关于图像分类和客观检测任务的综合实验表明，我们的DIR-NET始终优于主流和紧凑型体系结构（例如Resnet，vgg，vgg，EfficityNet，darts和mobilenet）下最新的二进制方法。此外，我们在现实世界中的资源有限设备上执行DIR-NET，该设备可实现11.1倍的存储空间和5.4倍的速度。

模型量化已成为加速深度学习推理的不可或缺的技术。虽然研究人员继续推动量化算法的前沿，但是现有量化工作通常是不可否认的和不可推销的。这是因为研究人员不选择一致的训练管道并忽略硬件部署的要求。在这项工作中，我们提出了模型量化基准（MQBench），首次尝试评估，分析和基准模型量化算法的再现性和部署性。我们为实际部署选择多个不同的平台，包括CPU，GPU，ASIC，DSP，并在统一培训管道下评估广泛的最新量化算法。 MQBENCK就像一个连接算法和硬件的桥梁。我们进行全面的分析，并找到相当大的直观或反向直观的见解。通过对齐训练设置，我们发现现有的算法在传统的学术轨道上具有大致相同的性能。虽然用于硬件可部署量化，但有一个巨大的精度差距，仍然不稳定。令人惊讶的是，没有现有的算法在MQBench中赢得每一项挑战，我们希望这项工作能够激发未来的研究方向。

现代深度学习模型通常在分布式机器集合中并行培训，以减少训练时间。在这种情况下，机器之间模型更新的通信变成了一个重要的性能瓶颈，并且已经提出了各种有损的压缩技术来减轻此问题。在这项工作中，我们介绍了一种新的，简单但理论上和实践上有效的压缩技术：自然压缩（NC）。我们的技术分别应用于要进行压缩的更新向量的所有条目，并通过随机舍入到两个的（负或正）两种功能，可以通过忽略Mantissa来以“自然”方式计算。我们表明，与没有压缩相比，NC将压缩向量的第二刻增加不超过微小因子$ \ frac {9} {8} $，这意味着NC对流行训练算法的收敛速度的影响，例如分布式SGD，可以忽略不计。但是，NC启用的通信节省是可观的，导致$ 3 $ - $ 4 \ times $ $改善整体理论运行时间。对于需要更具侵略性压缩的应用，我们将NC推广到自然抖动，我们证明这比常见的随机抖动技术要好得多。我们的压缩操作员可以自行使用，也可以与现有操作员结合使用，从而产生更具侵略性的结合效果，并在理论和实践中提供新的最先进。

数据剪辑对于降低量化操作中的噪声和提高量化感知训练（QAT）的准确性至关重要。当前的实践依靠启发式方法来设置剪接阈值标量，不能证明是最佳的。我们提出了最佳的剪切张量和向量（octav），这是一种递归算法，以确定MSE最佳的剪切标量。 OCTAV源自Fast Newton-Raphson方法，在QAT例程的每一个迭代中，都可以随时发现最佳的剪切标量。因此，QAT算法在每个步骤中都具有可证明的最小量化噪声配制。此外，我们揭示了QAT中常见梯度估计技术的局限性，并提出了幅度感知的分化，以进一步提高准确性。在实验上，启用了八度的QAT在多个任务上实现了最先进的精度。其中包括在ImageNet上进行训练，并在ImageNet上进行重新注册和Mobilenets，以及使用BERT模型进行微调，其中启用八叶速度的QAT始终以低精度（4到6位）保持准确性。我们的结果不需要对基线训练配方进行任何修改，除了在适当的情况下插入量化操作。

代表低精度的深度神经网络（DNN）是一种有希望的方法来实现有效的加速和记忆力。以前的方法在低精度中培训DNN的方法通常在重量更新期间在高精度中保持重量的重量副本。由于低精度数字系统与学习算法之间的复杂相互作用，直接具有低精度重量的培训导致精度下降。为了解决这个问题，我们开发了一个共同设计的低精度训练框架，被称为LNS-MADAM，我们共同设计了对数号系统（LNS）和乘法权重算法（MADAM）。我们证明了LNS-MADAM在重量更新期间导致低量化误差，即使精度有限，也导致稳定的收敛。我们进一步提出了LNS-MADAM的硬件设计，可以解决实现LNS计算的有效数据路径的实际挑战。我们的实现有效地降低了LNS - 整数转换和部分总和累积所产生的能量开销。实验结果表明，LNS-MADAM为全精密对应物达到了可比的准确性，只有8位对流行的计算机视觉和自然语言任务。与全精密浮点实施相比，LNS-MADAM将能耗降低超过90。

激活压缩训练〜（ACT）已被证明是减少训练深神经网络中记忆消耗的一种有希望的方法。但是，现有的ACT工作依赖于在深神经网络（DNN）训练期间寻找最佳的位宽度以减少量化噪声，从而使过程变得复杂且透明。为此，我们提出了一种简单有效的DNN培训方法。我们的方法是由观察结果激励的：\ emph {DNN向后传播主要取决于激活图的低频组分〜（LFC），而不是高频组件〜（HFC）}。它表明激活图的HFC在DNN训练过程中是高度冗余和可压缩的，这激发了我们提出的双重激活精度〜（分裂）。在培训期间，分裂估计激活图的LFC和HFC，并将HFC压缩到低精度副本中以消除冗余。这可以大大减少记忆消耗，而不会对DNN向后传播的精度产生负面影响。这样，部门可以实现可比的表现与正常培训。三个基准数据集的实验结果表明，在记忆消耗，模型准确性和跑步速度方面，分裂的表现优于最先进的基线方法。

权重和激活的量化是减少深神经网络（DNN）训练的计算占地面积的主要方法之一。当前方法使得4位量化的前向阶段。但是，这仅构成了培训过程的三分之一。减少整个训练过程的计算占地面积需要定量神经梯度，即相对于中间神经层的输出的损耗梯度。在这项工作中，我们研究了在量化神经网络训练中具有无偏差值的重要性，以及如何维护它，以及如何。基于此，我们建议一个$ \ texit {logarithic unbiased量化} $（luq）方法，以将前向和向后阶段量化为4位，实现最先进的导致4位训练，没有开销。例如，在Imagenet的Reset50中，我们实现了1.18％的降级。我们进一步改善了这一点以降解仅在高精度微调的单一时期与差异减少方法结合后的单一时期 - 均增加与先前建议的方法相当的开销。最后，我们建议使用低精度格式的方法来避免在训练过程的三分之二期间乘法，从而减少乘法器使用的5倍。

Large deep learning models offer significant accuracy gains, but training billions to trillions of parameters is challenging. Existing solutions such as data and model parallelisms exhibit fundamental limitations to fit these models into limited device memory, while obtaining computation, communication and development efficiency. We develop a novel solution, Zero Redundancy Optimizer (ZeRO), to optimize memory, vastly improving training speed while increasing the model size that can be efficiently trained. ZeRO eliminates memory redundancies in data-and model-parallel training while retaining low communication volume and high computational granularity, allowing us to scale the model size proportional to the number of devices with sustained high efficiency. Our analysis on memory requirements and communication volume demonstrates: ZeRO has the potential to scale beyond 1 Trillion parameters using today's hardware.We implement and evaluate ZeRO: it trains large models of over 100B parameter with super-linear speedup on 400 GPUs, achieving throughput of 15 Petaflops. This represents an 8x increase in model size and 10x increase in achievable performance over state-of-the-art. In terms of usability, ZeRO can train large models of up to 13B parameters (e.g., larger than Megatron GPT 8.3B and T5 11B) without requiring model parallelism which is harder for scientists to apply. Last but not the least, researchers have used the system breakthroughs of ZeRO to create the world's largest language model (17B parameters) with record breaking accuracy.

Deep neural networks (DNNs) are currently widely used for many artificial intelligence (AI) applications including computer vision, speech recognition, and robotics. While DNNs deliver state-of-the-art accuracy on many AI tasks, it comes at the cost of high computational complexity. Accordingly, techniques that enable efficient processing of DNNs to improve energy efficiency and throughput without sacrificing application accuracy or increasing hardware cost are critical to the wide deployment of DNNs in AI systems.This article aims to provide a comprehensive tutorial and survey about the recent advances towards the goal of enabling efficient processing of DNNs. Specifically, it will provide an overview of DNNs, discuss various hardware platforms and architectures that support DNNs, and highlight key trends in reducing the computation cost of DNNs either solely via hardware design changes or via joint hardware design and DNN algorithm changes. It will also summarize various development resources that enable researchers and practitioners to quickly get started in this field, and highlight important benchmarking metrics and design considerations that should be used for evaluating the rapidly growing number of DNN hardware designs, optionally including algorithmic co-designs, being proposed in academia and industry.The reader will take away the following concepts from this article: understand the key design considerations for DNNs; be able to evaluate different DNN hardware implementations with benchmarks and comparison metrics; understand the trade-offs between various hardware architectures and platforms; be able to evaluate the utility of various DNN design techniques for efficient processing; and understand recent implementation trends and opportunities.

深神经网络（DNNS）在各种机器学习（ML）应用程序中取得了巨大成功，在计算机视觉，自然语言处理和虚拟现实等中提供了高质量的推理解决方案。但是，基于DNN的ML应用程序也带来计算和存储要求的增加了很多，对于具有有限的计算/存储资源，紧张的功率预算和较小形式的嵌入式系统而言，这尤其具有挑战性。挑战还来自各种特定应用的要求，包括实时响应，高通量性能和可靠的推理准确性。为了应对这些挑战，我们介绍了一系列有效的设计方法，包括有效的ML模型设计，定制的硬件加速器设计以及硬件/软件共同设计策略，以启用嵌入式系统上有效的ML应用程序。

Although considerable progress has been obtained in neural network quantization for efficient inference, existing methods are not scalable to heterogeneous devices as one dedicated model needs to be trained, transmitted, and stored for one specific hardware setting, incurring considerable costs in model training and maintenance. In this paper, we study a new vertical-layered representation of neural network weights for encapsulating all quantized models into a single one. With this representation, we can theoretically achieve any precision network for on-demand service while only needing to train and maintain one model. To this end, we propose a simple once quantization-aware training (QAT) scheme for obtaining high-performance vertical-layered models. Our design incorporates a cascade downsampling mechanism which allows us to obtain multiple quantized networks from one full precision source model by progressively mapping the higher precision weights to their adjacent lower precision counterparts. Then, with networks of different bit-widths from one source model, multi-objective optimization is employed to train the shared source model weights such that they can be updated simultaneously, considering the performance of all networks. By doing this, the shared weights will be optimized to balance the performance of different quantized models, thus making the weights transferable among different bit widths. Experiments show that the proposed vertical-layered representation and developed once QAT scheme are effective in embodying multiple quantized networks into a single one and allow one-time training, and it delivers comparable performance as that of quantized models tailored to any specific bit-width. Code will be available.