To enable the pre-trained models to be fine-tuned with local data on edge devices without sharing data with the cloud, we design an efficient split fine-tuning (SFT) framework for edge and cloud collaborative learning. We propose three novel techniques in this framework. First, we propose a matrix decomposition-based method to compress the intermediate output of a neural network to reduce the communication volume between the edge device and the cloud server. Second, we eliminate particular links in the model without affecting the convergence performance in fine-tuning. Third, we implement our system atop PyTorch to allow users to easily extend their existing training scripts to enjoy the efficient edge and cloud collaborative learning. Experiments results on 9 NLP datasets show that our framework can reduce the communication traffic by 96 times with little impact on the model accuracy.

二阶优化方法，尤其是D-KFAC（分布式Kronecker近似曲率）算法，在加速GPU簇上加速了深神经网络（DNN）训练方面已获得了吸引力。但是，现有的D-KFAC算法需要计算和传达大量二阶信息，即Kronecker因素（KFS），在预处理梯度之前，导致大量计算和通信开销以及高存储器足迹。在本文中，我们提出了DP-KFAC，这是一种新颖的分布式预处理方案，该方案将不同DNN层的KF构造任务分配给不同的工人。 DP-KFAC不仅保留了现有D-KFAC算法的收敛性属性，而且还可以带来三个好处：减少计算开销在构造KFS中，没有KFS的通信和低内存足迹。在64-GPU群集上进行的广泛实验表明，DP-KFAC将开销的计算开销降低了1.55 x-1.65x，通信成本降低2.79x-3.15x，并且内存足迹在每秒二阶更新中降低1.14x-1.47 x与最先进的D-KFAC方法相比。

联合学习（FL）和分裂学习（SL）是两种新兴的协作学习方法，可能会极大地促进物联网（IoT）中无处不在的智能。联合学习使机器学习（ML）模型在本地培训的模型使用私人数据汇总为全球模型。分裂学习使ML模型的不同部分可以在学习框架中对不同工人进行协作培训。联合学习和分裂学习，每个学习都有独特的优势和各自的局限性，可能会相互补充，在物联网中无处不在的智能。因此，联合学习和分裂学习的结合最近成为一个活跃的研究领域，引起了广泛的兴趣。在本文中，我们回顾了联合学习和拆分学习方面的最新发展，并介绍了有关最先进技术的调查，该技术用于将这两种学习方法组合在基于边缘计算的物联网环境中。我们还确定了一些开放问题，并讨论了该领域未来研究的可能方向，希望进一步引起研究界对这个新兴领域的兴趣。

Split学习（SL）通过允许客户在不共享原始数据的情况下协作培训深度学习模型来实现数据隐私保护。但是，SL仍然有限制，例如潜在的数据隐私泄漏和客户端的高计算。在这项研究中，我们建议将SL局部层进行二线以进行更快的计算（在移动设备上的培训和推理阶段的前进时间少17.5倍）和减少内存使用情况（最多减少32倍的内存和带宽要求） 。更重要的是，二进制的SL（B-SL）模型可以减少SL污染数据中的隐私泄漏，而模型精度的降解仅小。为了进一步增强隐私保护，我们还提出了两种新颖的方法：1）培训额外的局部泄漏损失，2）应用差异隐私，可以单独或同时集成到B-SL模型中。与多种基准模型相比，使用不同数据集的实验结果肯定了B-SL模型的优势。还说明了B-SL模型针对功能空间劫持攻击（FSHA）的有效性。我们的结果表明，B-SL模型对于具有高隐私保护要求（例如移动医疗保健应用程序）的轻巧的物联网/移动应用程序很有希望。

模型大小的范围不断增加，并且持续改进性能使大型模型时代的到来的到来。在本报告中，我们通过潜入培训目标和培训方法来探讨大型模型培训如何运作。具体而言，培训目标描述了如何利用Web规模数据来开发基于自我监督的学习以及基于分布式培训的培训方法，开发出极强的大型模型，描述了如何使大型模型培训成为现实。我们将现有的培训方法总结为三个主要类别：训练并行性，节省记忆技术和模型稀疏设计。训练并行性可以根据发生的并行性维度分类为数据，管道和张量并行性。节省记忆的技术是正交的，并且与训练并行性互补。和模型稀疏设计以恒定的计算成本进一步扩大模型大小。在https://github.com/qhliu26/bm-training提供了不断更新的大型模型培训清单。

大多数现有研究通过压缩传输特征来提高分裂学习（SL）的效率。但是，大多数工作集中在尺寸的压缩上，将高维特征转化为低维空间。在本文中，我们建议对SL（C3-SL）（C3-SL）进行基于圆形卷积的批量压缩，以将多个功能压缩为一个单个功能。为了避免在合并多个特征时信息丢失，我们利用具有圆形卷积和叠加的高维空间中特征的准正交性。据我们所知，我们是第一个探索在SL情景下批次压缩潜力的人。基于CIFAR-10和CIFAR-100的仿真结果，与香草SL相比，我们的方法以微不足道的精度下降达到16倍的压缩比。此外，与最先进的尺寸压缩方法相比，C3-SL显着降低了1152X内存和2.25x计算开销。

近年来，与私人数据的分散学习领域有很大进展。联合学习（FL）和分裂学习（SL）是两个拥有其优点和缺点的矛头，并分别适用于许多用户客户和大型型号。为了享受这两个好处，斯普利特这样的混合方法已经出现了迟到，但他们的基本面仍然是虚幻的。在这项工作中，我们首先识别SL的基本瓶颈，从而提出可伸缩的SL框架，被卷曲的SGLR。 SGLR下的服务器在分裂层上广播了平均的公共梯度，在没有横跨客户端的情况下仿真FL而没有任何额外的通信。同时，SGLR将学习率分解为服务器端和客户端速率，并单独调整它们以支持许多客户端。仿真结果证实了SGLR实现比其他基线SL方法更高的精度，包括分裂，这甚至是与耗能更高的能量和通信成本的影响。作为次要结果，我们通过使用SLGR通过基线通过相互信息观察更大的敏感信息泄漏。

最近，Experts（简称为MOE）体系结构在提高大规模语言模型的模型能力方面取得了巨大的成功。但是，MOE需要比要扩展的基本模型要合并更多的参数。在本文中，我们建议通过跨专家共享信息来构建一个有效的MOE架构。我们采用矩阵产品运营商（MPO，量子多体物理学的张量分解）来重建专家层中的参数矩阵，并通过共享中央张量的参数（包含核心信息）来增加预训练语言模型的模型容量（ ）在不同专家的同时，通过不同专家的辅助张量（补充中央张量）实现特异性。为了解决不平衡的优化问题，我们进一步设计了基于MPO的MOE体系结构的梯度面膜策略。基于T5和GPT-2的广泛实验表明，预训练的语言模型的性能和效率提高（与开关变压器相比，高级模型性能的总参数降低了27.2倍）。我们的代码可在\ url {https://github.com/rucaibox/mpo/mpoe}上公开获得。

基础模型正在成为主要的深度学习技术。由于模型参数和训练数据集的大规模，预处理基础模型始终耗时。除了计算密集型外，培训过程还非常密集和沟通密集。这些功能使得需要应用3D并行性，该平行性整合数据并行性，管道模型并行性和张量模型并行性，以实现高训练效率。为了实现这一目标，开发了一些自定义软件框架，例如Megatron-LM和DeepSpeed。但是，当前的3D平行框架仍然符合两个问题：i）它们对模型开发人员不透明，这些开发人员需要手动修改模型以并行化培训。 ii）它们对计算，GPU存储器和网络带宽的利用不足。我们提出了Merak，这是一个自动化的3D并行性深度学习培训框架，并具有高度资源利用。 Merak会自动使用自动模型分区仪部署，该分区仪在模型的代理表示上使用图形sharding算法。 Merak还提出了非侵入性的API，用于通过最小的代码修改来扩展基础模型培训。此外，我们在Merak设计了高性能的3D平行运行时引擎。它使用多种技术来利用可用的培训资源，包括移动的关键路径管道时间表，该计划带来了更高的计算利用率，阶段感知的重新计算，可利用空闲工作者的记忆以及子额定张量的模型并行性，这些模型并联与通信和计算重叠。 64 GPU的实验显示，Merak可以加快在最新的3D平行性框架上，具有1.5、2.5、8.3和20亿的模型框架，最高可达1.42x，1.39x，1.43x和1.61 x分别。

培训广泛和深度神经网络（DNN）需要大量的存储资源，例如内存，因为在转发传播期间必须在存储器中保存中间激活数据，然后恢复以便向后传播。然而，由于硬件设计约束，诸如GPU之类的最先进的加速器（例如GPU）仅配备了非常有限的存储容量，这显着限制了在训练大规模DNN时的最大批量大小和性能加速。传统的记忆保存技术均受性能开销或受限互连带宽或特定互连技术的约束。在本文中，我们提出了一种新颖的记忆高效的CNN训练框架（称为Comet），利用错误界限的损耗压缩来显着降低训练的内存要求，以允许培训更大的模型或加速培训。不同于采用基于图像的有损压缩机（例如JPEG）的最先进的解决方案来压缩激活数据，我们的框架故意采用严格的错误控制机制来采用错误界限的损耗压缩。具体而言，我们对从改变的激活数据传播到梯度的压缩误差传播的理论分析，并经验探讨改变梯度对训练过程的影响。基于这些分析，我们优化了误报的损耗压缩，并提出了一种用于激活数据压缩的自适应误差控制方案。我们评估我们对最先进的解决方案的设计，其中包含五个广泛采用的CNN和Imagenet DataSet。实验表明，我们所提出的框架可以在基线训练中显着降低13.5倍，并分别在另一个最先进的基于压缩框架上的1.8倍，几乎没有准确性损失。

In recent years, deep learning (DL) models have demonstrated remarkable achievements on non-trivial tasks such as speech recognition and natural language understanding. One of the significant contributors to its success is the proliferation of end devices that acted as a catalyst to provide data for data-hungry DL models. However, computing DL training and inference is the main challenge. Usually, central cloud servers are used for the computation, but it opens up other significant challenges, such as high latency, increased communication costs, and privacy concerns. To mitigate these drawbacks, considerable efforts have been made to push the processing of DL models to edge servers. Moreover, the confluence point of DL and edge has given rise to edge intelligence (EI). This survey paper focuses primarily on the fifth level of EI, called all in-edge level, where DL training and inference (deployment) are performed solely by edge servers. All in-edge is suitable when the end devices have low computing resources, e.g., Internet-of-Things, and other requirements such as latency and communication cost are important in mission-critical applications, e.g., health care. Firstly, this paper presents all in-edge computing architectures, including centralized, decentralized, and distributed. Secondly, this paper presents enabling technologies, such as model parallelism and split learning, which facilitate DL training and deployment at edge servers. Thirdly, model adaptation techniques based on model compression and conditional computation are described because the standard cloud-based DL deployment cannot be directly applied to all in-edge due to its limited computational resources. Fourthly, this paper discusses eleven key performance metrics to evaluate the performance of DL at all in-edge efficiently. Finally, several open research challenges in the area of all in-edge are presented.

许多NLP任务受益于使用通常具有超过1000亿参数的大语言模型（LLM）。随着Bloom-176b和Opt-175B的发布，每个人都可以下载该规模的预估计型号。尽管如此，使用这些模型仍需要许多研究人员无法获得高端硬件。在某些情况下，LLM可以通过RAM卸载或托管API更实惠。但是，这些技术具有先天的局限性：对于交互推理而言，卸载太慢，而API的灵活性不足以进行研究。在这项工作中，我们通过加入信任处理客户数据的多个政党的资源来提出花瓣$ - $ $用于推理和微调大型模型的系统。我们证明，这种策略的表现极大地超过了非常大型型号的卸载，以每秒约1美元的价格$ \ $ \ $ \ $ \ $ \ $ \ $ \ $ \ $ 1。与大多数推理API不同，花瓣还本地揭示了服务模型的隐藏状态，从而使其用户可以根据有效的微调方法训练和共享自定义模型扩展。

沟通压缩是现代分布式学习系统的至关重要技术，可以减轻其在较慢的网络上的交流瓶颈。尽管最近对数据并行式训练的梯度压缩进行了深入的研究，但压缩了通过管道并行性训练的模型的激活仍然是一个空旷的问题。在本文中，我们提出了AC-SGD，这是一种新型的激活压缩算法，用于在慢速网络上进行通信有效的管道并行性训练。 AC-SGD与以前的激活压缩方面的努力不同，而不是直接压缩激活值，而是压缩激活的变化。这使我们能够首次向我们的知识表明，仍然可以实现$ o（1/\ sqrt {t}）$收敛速率，即激活压缩的非convex目标，而无需对梯度做出假设无偏见对于具有非线性激活功能的深度学习模型不符合。然后，我们证明AC-SGD可以有效地优化和实施，而无需额外的端到端运行时开销。我们将AC-SGD评估为微调语言具有高达15亿个参数的模型，将激活压缩至2-4位。AC-SGD在较慢的网络中可提供高达4.3倍的端到端速度，而无需牺牲模型质量。此外，我们还表明，AC-SGD可以与最先进的梯度压缩算法结合使用，以启用“端到端通信压缩：机器之间的所有通信，包括模型梯度，远期激活和后退梯度压缩为较低的精度。这提供了高达4.9倍的端到端加速，而无需牺牲模型质量。

Low-rankness plays an important role in traditional machine learning, but is not so popular in deep learning. Most previous low-rank network compression methods compress the networks by approximating pre-trained models and re-training. However, the optimal solution in the Euclidean space may be quite different from the one in the low-rank manifold. A well-pre-trained model is not a good initialization for the model with low-rank constraints. Thus, the performance of a low-rank compressed network degrades significantly. Compared to other network compression methods such as pruning, low-rank methods attracts less attention in recent years. In this paper, we devise a new training method, low-rank projection with energy transfer (LRPET), that trains low-rank compressed networks from scratch and achieves competitive performance. First, we propose to alternately perform stochastic gradient descent training and projection onto the low-rank manifold. Compared to re-training on the compact model, this enables full utilization of model capacity since solution space is relaxed back to Euclidean space after projection. Second, the matrix energy (the sum of squares of singular values) reduction caused by projection is compensated by energy transfer. We uniformly transfer the energy of the pruned singular values to the remaining ones. We theoretically show that energy transfer eases the trend of gradient vanishing caused by projection. Third, we propose batch normalization (BN) rectification to cut off its effect on the optimal low-rank approximation of the weight matrix, which further improves the performance. Comprehensive experiments on CIFAR-10 and ImageNet have justified that our method is superior to other low-rank compression methods and also outperforms recent state-of-the-art pruning methods. Our code is available at https://github.com/BZQLin/LRPET.

Singular value decomposition (SVD) is one of the most popular compression methods that approximate a target matrix with smaller matrices. However, standard SVD treats the parameters within the matrix with equal importance, which is a simple but unrealistic assumption. The parameters of a trained neural network model may affect task performance unevenly, which suggests non-equal importance among the parameters. Compared to SVD, the decomposition method aware of parameter importance is the more practical choice in real cases. Unlike standard SVD, weighted value decomposition is a non-convex optimization problem that lacks a closed-form solution. We systematically investigated multiple optimization strategies to tackle the problem and examined our method by compressing Transformer-based language models. Further, we designed a metric to predict when the SVD may introduce a significant performance drop, for which our method can be a rescue strategy. The extensive evaluations demonstrate that our method can perform better than current SOTA methods in compressing Transformer-based language models.

深度神经网络（DNN）的记录断裂性能具有沉重的参数化，导致外部动态随机存取存储器（DRAM）进行存储。 DRAM访问的禁用能量使得在资源受限的设备上部署DNN是不普遍的，呼叫最小化重量和数据移动以提高能量效率。我们呈现SmartDeal（SD），算法框架，以进行更高成本的存储器存储/访问的较低成本计算，以便在推理和培训中积极提高存储和能量效率。 SD的核心是一种具有结构约束的新型重量分解，精心制作以释放硬件效率潜力。具体地，我们将每个重量张量分解为小基矩阵的乘积以及大的结构稀疏系数矩阵，其非零被量化为-2的功率。由此产生的稀疏和量化的DNN致力于为数据移动和重量存储而大大降低的能量，因为由于稀疏的比特 - 操作和成本良好的计算，恢复原始权重的最小开销。除了推理之外，我们采取了另一次飞跃来拥抱节能培训，引入创新技术，以解决培训时出现的独特障碍，同时保留SD结构。我们还设计专用硬件加速器，充分利用SD结构来提高实际能源效率和延迟。我们在不同的设置中对多个任务，模型和数据集进行实验。结果表明：1）应用于推理，SD可实现高达2.44倍的能效，通过实际硬件实现评估; 2）应用于培训，储存能量降低10.56倍，减少了10.56倍和4.48倍，与最先进的训练基线相比，可忽略的准确性损失。我们的源代码在线提供。

基于变压器的神经模型在许多AI应用中使用。培训这些模型很昂贵，因为它需要大量的GPU资源和较长的持续时间。这是具有挑战性的，因为诸如句子之类的典型数据具有可变的长度，而变压器的计算模式比卷积神经网络更为复杂。现有系统要么仅专注于模型推理，要么仅针对BERT样编码器模型进行优化。在本文中，我们提出了LightSeq2，该系统是为GPU上的一般变压器模型加速培训的系统。我们提出了一系列针对变压器模型的特定计算流量和内存访问模式量身定制的GPU优化技术。 LightSeq2支持许多模型体系结构，包括BERT（仅编码），GPT（仅解码器），变压器（编码器编码器）和视觉变压器。我们对各种模型和基准测试的实验表明，LightSeq2始终比不同GPU上的先前系统更快（1.4-3.5倍）。特别是，与大型公共机器翻译基准（WMT14英语 - 德国人）上的现有系统相比，它获得了308％的培训速度。

受到深入学习的巨大成功通过云计算和边缘芯片的快速发展的影响，人工智能研究（AI）的研究已经转移到计算范例，即云计算和边缘计算。近年来，我们目睹了在云服务器上开发更高级的AI模型，以超越传统的深度学习模型，以造成模型创新（例如，变压器，净化家庭），训练数据爆炸和飙升的计算能力。但是，边缘计算，尤其是边缘和云协同计算，仍然在其初期阶段，因为由于资源受限的IOT场景，因此由于部署了非常有限的算法而导致其成功。在本调查中，我们对云和边缘AI进行系统审查。具体而言，我们是第一个设置云和边缘建模的协作学习机制，通过彻底的审查使能够实现这种机制的架构。我们还讨论了一些正在进行的先进EDGE AI主题的潜在和实践经验，包括预先训练模型，图形神经网络和加强学习。最后，我们讨论了这一领域的有希望的方向和挑战。

分布式深度学习框架，如联合学习（FL）及其变体都是在广泛的Web客户端和移动/ IOT设备上实现个性化体验。然而，由于模型参数的爆炸增长（例如，十亿参数模型），基于FL的框架受到客户的计算资源的限制。拆分学习（SL），最近的框架，通过拆分客户端和服务器之间的模型培训来减少客户端计算负载。这种灵活性对于低计算设置非常有用，但通常以带宽消耗的增加成本而实现，并且可能导致次优化会聚，尤其是当客户数据异构时。在这项工作中，我们介绍了adasplit，通过降低带宽消耗并提高异构客户端的性能，使得能够将SL有效地缩放到低资源场景。为了捕获和基准的分布式深度学习的多维性质，我们还介绍了C3分数，是评估资源预算下的性能。我们通过与强大联邦和分裂学习基线的大量实验比较进行了大量实验比较，验证了adasplit在有限的资源下的有效性。我们还展示了adasplit中关键设计选择的敏感性分析，该选择验证了adasplit在可变资源预算中提供适应性权衡的能力。

联合学习（FL）是一种隐私保留的分布式机器学习技术，该技术培训模型而不直接访问设备上生成的原始数据。由于设备可以是资源约束，因此可以通过将计算工作负载从设备传送到边缘服务器来改善流动来改善流动。然而，由于移动性，参与FL的设备可以在训练期间离开网络，并且需要连接到不同的边缘服务器。这是具有挑战性的，因为需要迁移边缘服务器的卸载计算。符合此断言，我们提出了Fedfly，即据我们所知，当设备在FL训练期间在边缘服务器之间移动时，将深度神经网络（DNN）迁移的第一项工作。我们对CiFar-10数据集的实证结果，具有平衡和不平衡的数据分布，支持我们的索赔，即当设备在50％的培训完成后，Fedfly可以将培训时间降低到33％，达到55％当与FL中的最先进的卸载方法相比，90％的培训时。 Fedfly在2秒的开销中可以忽略不计，并且不会妥协准确。最后，我们突出了一些开放的研究问题进行进一步调查。 fedfly可以从https://github.com/qub-blesson/fedfly下载