RDMA超过融合以太网（ROCE），由于其与常规以太网的织物的兼容性，对数据中心网络具有重要的吸引力。但是，RDMA协议仅在（几乎）无损网络上有效，这强调了拥塞控制对ROCE网络的重要作用。不幸的是，基于优先流量控制（PFC）的本地ROCE拥塞控制方案遭受了许多缺点，例如不公平，线路阻滞和僵局。因此，近年来，已经提出许多计划为ROCE网络提供额外的拥塞控制，以最大程度地减少PFC缺点。但是，这些方案是针对一般数据中心环境提出的。与使用商品硬件构建并运行通用工作负载的一般数据中心相反，高性能分布式培训平台部署高端加速器和网络组件，并专门使用集体（全能，全能，全能）运行培训工作负载）通信库进行通信。此外，这些平台通常具有一个私人网络，将其通信流量与其他数据中心流量分开。可扩展的拓扑意识集体算法固有地设计旨在避免造成的模式并最佳地平衡流量。这些独特的功能需要重新审视先前提出的通用数据中心环境的拥塞控制方案。在本文中，我们彻底分析了在分布式培训平台上运行时的一些SOTA ROCE拥塞控制方案与PFC。我们的结果表明，先前提出的ROCE拥塞控制计划对培训工作负载的端到端表现几乎没有影响，这激发了根据分布式培训平台和分布式培训平台和特征的设计优化但低空的拥塞控制计划的必要性工作负载。

分布式训练是通过将任务分配到多个NPU（例如GPU/TPU）来减少DNN训练时间的解决方案。但是，分布式培训增加了NPU之间的通信开销，以使梯度和/或激活同步，具体取决于并行化策略。在用于大规模培训的下一代平台中，NPU将通过具有多种多样的异质带宽的多维网络连接。这项工作确定了一个迫在眉睫的挑战，即如果我们利用日程安排技术来使整个系统进行集体沟通，使所有网络维度保持繁忙并最大化网络BW。我们提出了Themis，这是一种新颖的集体调度方案，该方案动态调度集体（分为块）以平衡各个维度的通信负载，从而进一步改善了网络BW利用率。我们的结果表明，平均而言，Themis可以将单个全减还器的网络BW利用提高1.72倍（2.70倍），并改善实际工作负载的端到端训练迭代迭代迭代迭代迭代性能，例如RESNET-152，GNMT ，DLRM和Transformer-1T分别为1.49倍（最大2.25倍），1.30倍（1.78倍），1.30x（最大1.77倍）和1.25X（最大1.53倍）。

云数据中心的数字和大小都在成倍增长。这种增加导致网络活动激增，可以更好地避免交通拥堵。最终的挑战是两个方面：（i）设计算法，可以对给定数据中心的复杂流量模式进行定制；但是，与此同时（ii）在低级硬件上运行，具有有效拥塞控制（CC）所需的低潜伏期。在这项工作中，我们提出了一个基于强化学习（RL）的CC解决方案，该解决方案从某些交通情况中学习并成功地将其推广到他人。然后，我们将RL神经网络政策提炼成二进制决策树，以实现与RDMA实时推断所需的$ \ mu $ sec决策延迟。我们在真实网络中部署了NVIDIA NIC的蒸馏政策，并展示了最先进的性能，同时平衡所有测试的指标：带宽，延迟，公平和数据包下降。

Distributed deep learning (DDL) systems strongly depend on network performance. Current electronic packet switched (EPS) network architectures and technologies suffer from variable diameter topologies, low-bisection bandwidth and over-subscription affecting completion time of communication and collective operations. We introduce a near-exascale, full-bisection bandwidth, all-to-all, single-hop, all-optical network architecture with nanosecond reconfiguration called RAMP, which supports large-scale distributed and parallel computing systems (12.8~Tbps per node for up to 65,536 nodes). For the first time, a custom RAMP-x MPI strategy and a network transcoder is proposed to run MPI collective operations across the optical circuit switched (OCS) network in a schedule-less and contention-less manner. RAMP achieves 7.6-171$\times$ speed-up in completion time across all MPI operations compared to realistic EPS and OCS counterparts. It can also deliver a 1.3-16$\times$ and 7.8-58$\times$ reduction in Megatron and DLRM training time respectively} while offering 42-53$\times$ and 3.3-12.4$\times$ improvement in energy consumption and cost respectively.

许多微体系式优化为深度神经网络解锁了巨大的处理能力，从而促进了AI革命。随着这种优化的精疲力尽，现代AI的增长现在是通过培训系统的性能，尤其是其数据流动的。我们没有专注于单个加速器，而是研究了全系统规模的大规模培训的数据移动特征。基于我们的工作量分析，我们设计了HammingMesh，这是一种新颖的网络拓扑，以低成本提供高的带宽，并具有很高的工作计划灵活性。具体而言，HammingMesh可以支持具有两个并行性的两个维度的深度学习培训工作的完整带宽和隔离。此外，它还为通用流量的高全球带宽提供支持。因此，HammingMesh将为未来的大规模深度学习系统供电，并具有极端的带宽要求。

大型ML型号和数据集已经需要使用多GPU系统进行分布式模型培训。为了利用多GPU系统提供的权力，消除GPU间通信中的瓶颈至关重要 - 互连异构性质的问题挑战。在这项工作中，我们呈现TACCL，这是用于大规模多GPU系统的集体通信原语的合成器。 TACCL将异形拓扑和输入大小进行编码为合成问题，以生成优化的通信算法。 TACCL建立在标准的NVIDIA集体通信库（NCCL）之上，允许它成为PYTORCH等框架中GPU通信的替代品，具有最小的变化。 TACCL为全球，AllToAll和ALLERDUCE等通信基元生成算法，该算法高达3美元的速度超过NCCL。使用TACCL的算法加快了专家模型内部混合物的端到端培训，以17 \％$。通过将优化问题分解成零件并利用多GPU拓扑中的对称性，TACCL在不到3分钟内合成高达80-GPU的集体，比其他基于综合的状态快至少两个数量级 - 艺术集体通信图书馆。

Modern Deep Learning (DL) models have grown to sizes requiring massive clusters of specialized, high-end nodes to train. Designing such clusters to maximize both performance and utilization to amortize their steep cost is a challenging task requiring careful balance of compute, memory, and network resources. Moreover, a plethora of each model's tuning knobs drastically affect the performance, with optimal values often depending on the underlying cluster's characteristics, which necessitates a complex cluster-workload co-design process. To facilitate the design space exploration of such massive DL training clusters, we introduce COMET a holistic cluster design methodology and workflow to jointly study the impact of parallelization strategies and key cluster resource provisioning on the performance of distributed DL training. We develop a step-by-step process to establish a reusable and flexible methodology, and demonstrate its application with a case study of training a Transformer-1T model on a cluster of variable compute, memory, and network resources. Our case study demonstrates COMET's utility in identifying promising architectural optimization directions and guiding system designers in configuring key model and cluster parameters.

Deep learning based recommendation models (DLRM) are widely used in several business critical applications. Training such recommendation models efficiently is challenging primarily because they consist of billions of embedding-based parameters which are often stored remotely leading to significant overheads from embedding access. By profiling existing DLRM training, we observe that only 8.5% of the iteration time is spent in forward/backward pass while the remaining time is spent on embedding and model synchronization. Our key insight in this paper is that access to embeddings have a specific structure and pattern which can be used to accelerate training. We observe that embedding accesses are heavily skewed, with almost 1% of embeddings represent more than 92% of total accesses. Further, we observe that during training we can lookahead at future batches to determine exactly which embeddings will be needed at what iteration in the future. Based on these insight, we propose Bagpipe, a system for training deep recommendation models that uses caching and prefetching to overlap remote embedding accesses with the computation. We designed an Oracle Cacher, a new system component which uses our lookahead algorithm to generate optimal cache update decisions and provide strong consistency guarantees. Our experiments using three datasets and two models shows that our approach provides a speed up of up to 6.2x compared to state of the art baselines, while providing the same convergence and reproducibility guarantees as synchronous training.

我们旨在通过引入全面的分布式深度学习（DDL）探索器来解决此问题，该研究人员可以确定DDL在公共云上运行时遭受的各种执行“失速”。我们已经通过扩展先前的工作来估算两种类型的通信失速 - 互连和网络摊位来实现剖面。我们使用Profiler培训流行的DNN模型来表征各种AWS GPU实例，并列出了用户做出明智决定的优势和缺点。我们观察到，较昂贵的GPU实例可能不是所有DNN型号的性能最多，并且AWS可能会在次优的硬件互连资源分配次优。具体而言，与单个实例的培训相比，机内互连可以引入高达90％的DNN培训时间和网络连接的实例的通信开销，而与网络连接的实例可能会遭受高达5倍的速度。此外，我们对DNN宏观特征的影响进行建模，例如层的数量和通信摊位上的梯度数量。最后，我们为用户提出了一个基于衡量的建议模型，以降低DDL的公共云货币成本。

Network models are an essential block of modern networks. For example, they are widely used in network planning and optimization. However, as networks increase in scale and complexity, some models present limitations, such as the assumption of markovian traffic in queuing theory models, or the high computational cost of network simulators. Recent advances in machine learning, such as Graph Neural Networks (GNN), are enabling a new generation of network models that are data-driven and can learn complex non-linear behaviors. In this paper, we present RouteNet-Fermi, a custom GNN model that shares the same goals as queuing theory, while being considerably more accurate in the presence of realistic traffic models. The proposed model predicts accurately the delay, jitter, and loss in networks. We have tested RouteNet-Fermi in networks of increasing size (up to 300 nodes), including samples with mixed traffic profiles -- e.g., with complex non-markovian models -- and arbitrary routing and queue scheduling configurations. Our experimental results show that RouteNet-Fermi achieves similar accuracy as computationally-expensive packet-level simulators and it is able to accurately scale to large networks. For example, the model produces delay estimates with a mean relative error of 6.24% when applied to a test dataset with 1,000 samples, including network topologies one order of magnitude larger than those seen during training.

沟通效率在加速深神经网络（DNN）的分布式训练中起着重要作用。 All-Reduce是减少分布式DNN培训中模型参数的关键沟通原始性。大多数现有的全减少算法都是为传统的电气互连系统设计的，该系统无法满足大型DNN分布式培训的通信要求。电气互连的有希望的替代方案之一是光学互连，可以提供高带宽，低传输延迟和低功率成本。我们提出了一个称为WRHT（波长重复使用的层次树）的有效方案，用于在光学互连系统中实现全降压操作，该系统可以利用WDM（波长多路复用）来减少分布式数据 - 偏置DNN训练的通信时间。我们进一步得出了最少的通信步骤和通信时间，以实现使用WRHT的全面减少。仿真结果表明，与在光学互连系统中模拟的三种传统的全减少算法相比，WRHT的通信时间分别减少了75.59％，49.25％和70.1％。仿真结果还表明，与电气互连系统中的两种现有的全减速算法相比，WRHT可以将所有还原操作的通信时间减少86.69％和84.71％。

现代深度学习应用程序需要越来越多地计算培训最先进的模型。为了解决这一需求，大型企业和机构使用专用的高性能计算集群，其建筑和维护既昂贵又远远超出大多数组织的预算。结果，一些研究方向成为几个大型工业甚至更少的学术作用者的独家领域。为了减轻这种差异，较小的团体可以汇集他们的计算资源并运行有利于所有参与者的协作实验。这种范式称为网格或志愿者计算，在众多科学领域看到了成功的应用。然而，由于高延迟，不对称带宽以及志愿者计算独特的几个挑战，使用这种用于机器学习的方法是困难的。在这项工作中，我们仔细分析了这些约束，并提出了一种专门用于协作培训的新型算法框架。我们展示了我们在现实条件下的SWAV和Albert预先预价的方法的有效性，并在成本的一小部分中实现了与传统设置相当的性能。最后，我们提供了一份成功的协作语言模型预先追溯的详细报告，有40名参与者。

分散算法是一种计算形式，通过依赖于直接连接代理之间的低成本通信的本地动态实现全局目标。在涉及分布式数据集的大规模优化任务中，分散算法显示出强大，有时优越，性能与中央节点的分布式算法。最近，发展分散的深度学习算法引起了极大的关注。它们被视为使用参数服务器或环形恢复协议的那些的低通信开销替代方案。但是，缺乏易于使用和高效的软件包仅在纸上保持了最分散的算法。为了填补差距，我们介绍了Bluefog，一个Python库进行了直接的，高性能的不同分散算法的实现。基于各种通信操作的统一抽象，Bluefog提供直观的接口来实现分散的算法的频谱，从使用静态无向图的那些，用于使用动态和定向图形的同步操作进行异步操作。 Bluefog还采用了多种系统级加速技术，以进一步优化深度学习任务的性能。在主流DNN培训任务中，Bluefog达到了更高的吞吐量，并实现了一个总体上的吞吐量1.2 \ times \ sim 1.8 \ times $ speedup，这是一个基于环 - allyuce的最先进的分布式深度学习包。 Bluefog是https://github.com/bluefog-lib/bluefog的开源。

我们使用加强学习（RL）来处理数据中心中网络拥塞控制的任务。成功的拥堵控制算法可以显着改善延迟和整体网络吞吐量。直到今天，尚无此类基于学习的算法在该领域显示出实际潜力。显然，最近最受欢迎的部署依赖于基于规则的启发式方法，这些启发式方法经过预定的一组基准测试。因此，这些启发式方法并不能很好地概括到新近观察的场景上。相反，我们设计了一种基于RL的算法，目的是将其推广到现实世界数据中心网络的不同配置。我们克服了诸如部分观察性，非平稳性和多目标的挑战。我们进一步提出了一种利用奖励函数的分析结构来近似其导数并提高稳定性的策略梯度算法。我们表明，该方案的表现优于其他流行的RL方法，并概括了训练中未见的场景。我们的实验是在模拟通信网络行为的现实模拟器上进行的，与今天在实际数据中心中部署的流行算法相比，在多个考虑的指标上同时表现出了改进的性能。我们的算法正在生产起来，以取代世界上一些最大的数据中心中的启发式方法。

分布式数据并行训练已被广泛用于深神经网络（DNN）模型。尽管当前的深度学习（DL）框架对于图像分类模型（例如图像分类模型）的密集模型很好地扩展了，但我们发现这些DL框架对于具有高度稀疏嵌入表的稀疏模型（NLP）模型（NLP）模型（NLP）模型具有相对较低的可扩展性。大多数现有作品忽略了模型参数的稀疏性，因此遭受了重要但不必要的沟通开销。在本文中，我们提出了Ablace，这是一个有效的沟通框架，以加快稀疏模型分布式培训的通信。 Embrace引入了稀疏感知的混合通信，将AlltoAll和模型并行置于数据并行训练中，以减少高度稀疏参数的交流开销。为了有效地重叠稀疏的通信与后向前和前向计算，采用进一步设计的2D通信调度方法，该方法优化了模型计算过程，放松嵌入式的依赖性，并计划以优先级的排队来安排每个嵌入行的稀疏通信。我们已经基于Pytorch和Horovod实施了Embrace的原型，并通过四个代表性的NLP模型进行了全面的评估。实验结果表明，与最先进的分布式训练基线相比，Embrace的速度高达2.41倍。

近年来，物联网设备的数量越来越快，这导致了用于管理，存储，分析和从不同物联网设备的原始数据做出决定的具有挑战性的任务，尤其是对于延时敏感的应用程序。在车辆网络（VANET）环境中，由于常见的拓扑变化，车辆的动态性质使当前的开放研究发出更具挑战性，这可能导致车辆之间断开连接。为此，已经在5G基础设施上计算了云和雾化的背景下提出了许多研究工作。另一方面，有多种研究提案旨在延长车辆之间的连接时间。已经定义了车辆社交网络（VSN）以减少车辆之间的连接时间的负担。本调查纸首先提供了关于雾，云和相关范例，如5G和SDN的必要背景信息和定义。然后，它将读者介绍给车辆社交网络，不同的指标和VSN和在线社交网络之间的主要差异。最后，本调查调查了在展示不同架构的VANET背景下的相关工作，以解决雾计算中的不同问题。此外，它提供了不同方法的分类，并在雾和云的上下文中讨论所需的指标，并将其与车辆社交网络进行比较。与VSN和雾计算领域的新研究挑战和趋势一起讨论了相关相关工程的比较。

扩展培训工作负载的能力是深度学习的关键性能推动者之一。主要缩放方法是基于数据并行GPU的培训，该培训已经被硬件和软件支持高效地支持高效的GPU通信，特别是通过带宽过度曝光。此支持以A价格出现：相对于其“消费者级”对应物，“云级”服务器之间存在幅度成本差异，但相对于其“消费者级”对应物，虽然服务器级和消费者级GPU可以具有类似的计算信封。在本文中，我们调查了昂贵的硬件过度控制方法是否可以通过算法和系统设计所涵盖，并提出称为CGX的框架，为通信压缩提供有效的软件支持。我们认为，在没有硬件支持的情况下，该框架能够从消费者级多GPU系统中删除通信瓶颈：在没有硬件支持的情况下：在培训现代模型和全部准确性方面时，我们的框架可以在商品上进行2-3倍的自动加速系统使用8个消费者级NVIDIA RTX 3090 GPU，并使其超越NVIDIA DGX-1服务器的吞吐量，其具有类似的峰值闪光，但是从带宽过度提供的益处。

未来的互联网涉及几种新兴技术，例如5G和5G网络，车辆网络，无人机（UAV）网络和物联网（IOT）。此外，未来的互联网变得异质并分散了许多相关网络实体。每个实体可能需要做出本地决定，以在动态和不确定的网络环境下改善网络性能。最近使用标准学习算法，例如单药强化学习（RL）或深入强化学习（DRL），以使每个网络实体作为代理人通过与未知环境进行互动来自适应地学习最佳决策策略。但是，这种算法未能对网络实体之间的合作或竞争进行建模，而只是将其他实体视为可能导致非平稳性问题的环境的一部分。多机构增强学习（MARL）允许每个网络实体不仅观察环境，还可以观察其他实体的政策来学习其最佳政策。结果，MAL可以显着提高网络实体的学习效率，并且最近已用于解决新兴网络中的各种问题。在本文中，我们因此回顾了MAL在新兴网络中的应用。特别是，我们提供了MARL的教程，以及对MARL在下一代互联网中的应用进行全面调查。特别是，我们首先介绍单代机Agent RL和MARL。然后，我们回顾了MAL在未来互联网中解决新兴问题的许多应用程序。这些问题包括网络访问，传输电源控制，计算卸载，内容缓存，数据包路由，无人机网络的轨迹设计以及网络安全问题。

在过去几年中，培训最先进的神经网络的记忆要求远远超过了现代硬件加速器的DRAM能力。这仍然需要开发有效的算法，并在大规模的基于GPU的集群上并行培训这些神经网络。由于在现代GPU上的计算相对便宜，因此在这些并行训练算法中设计和实现极其有效的通信对于提取最大性能至关重要。本文介绍了Axonn，一个并行深度学习框架，用于利用异步和消息驱动的执行来安排每个GPU上的神经网络操作，从而降低GPU空闲时间并最大限度地提高硬件效率。通过使用CPU存储器作为划痕空间来定期在训练期间定期卸载数据，AXONN能够将GPU存储器消耗降低四次。这使我们可以将每个GPU的参数数量增加四次，从而减少通信量并将性能提高超过13％。在48-384 NVIDIA TESLA V100 GPU的大型变压器模型上进行了12-100亿参数，Axonn实现了理论峰的49.4-54.78％的每GPU吞吐量，并将培训时间减少22-37天（15-25与最先进的加速度）。

变形金刚是一种深入学习语言模型，用于数据中心中的自然语言处理（NLP）服务。在变压器模型中，生成的预训练的变压器（GPT）在文本生成或自然语言生成（NLG）中取得了显着的性能，它需要在摘要阶段处理大型输入上下文，然后是产生一个生成阶段的一次单词。常规平台（例如GPU）专门用于在摘要阶段平行处理大型输入，但是由于其顺序特征，它们的性能在生成阶段显着降低。因此，需要一个有效的硬件平台来解决由文本生成的顺序特征引起的高潜伏期。在本文中，我们提出了DFX，这是一种多FPGA加速器，该设备在摘要和发电阶段中执行GPT-2模型端到端，并具有低延迟和高吞吐量。 DFX使用模型并行性和优化的数据流，这是模型和硬件感知的设备之间快速同时执行执行。其计算核心根据自定义说明运行，并提供GPT-2操作端到端。我们在四个Xilinx Alveo U280 FPGAS上实现了建议的硬件体系结构，并利用了高带宽内存（HBM）的所有频道，以及用于高硬件效率的最大计算资源数量。 DFX在现代GPT-2模型上实现了四个NVIDIA V100 GPU的5.58倍加速度和3.99倍的能效。 DFX的成本效益比GPU设备更具成本效益，这表明它是云数据中心中文本生成工作负载的有前途解决方案。