联合学习（FL）使移动边缘计算（MEC）中的设备能够在不上载本地数据的情况下协作培训共享模型。可以应用梯度压缩来缓解通信开销，但随着梯度压缩的流动仍然面临着巨大的挑战。为了部署绿色MEC，我们提出了Fedgreen，它通过细粒度梯度压缩增强了原始流体，以有效控制设备的总能耗。具体地，我们介绍了相关的操作，包括设备侧梯度减少和服务器侧元素 - 明智的聚合，以便于FL中的梯度压缩。根据公共数据集，我们研究了压缩的本地梯度对不同压缩比的贡献。之后，我们制定和解决学习精度 - 能效概率问题，其中为每个设备导出最佳压缩比和计算频率。实验结果表明，与基线方案相比，鉴于80％的测试精度要求，FedGreen减少了装置总能耗的至少32％。

联合学习（FL）使移动设备能够在保留本地数据的同时协作学习共享的预测模型。但是，实际上在移动设备上部署FL存在两个主要的研究挑战：（i）频繁的无线梯度更新v.s.频谱资源有限，以及（ii）培训期间渴望的FL通信和本地计算V.S.电池约束的移动设备。为了应对这些挑战，在本文中，我们提出了一种新型的多位空天空计算（MAIRCOMP）方法，用于FL中本地模型更新的频谱有效聚合，并进一步介绍用于移动的能源有效的FL设计设备。具体而言，高精度数字调制方案是在MAIRCOMP中设计和合并的，允许移动设备同时在多访问通道中同时在所选位置上传模型更新。此外，我们理论上分析了FL算法的收敛性。在FL收敛分析的指导下，我们制定了联合传输概率和局部计算控制优化，旨在最大程度地减少FL移动设备的总体能源消耗（即迭代局部计算 +多轮通信）。广泛的仿真结果表明，我们提出的方案在频谱利用率，能源效率和学习准确性方面优于现有计划。

通过具有资源约束设备的无线网络部署联合学习（FL）需要平衡精度，能量效率和精度之间。现有技术在FL上经常需要设备使用32位精度级别来培训深神经网络（DNN）以进行数据表示以提高精度。然而，由于DNN可能需要执行数百万运算，因此这些算法对于资源受限设备来说是不切实际的。因此，培训具有高精度水平的DNN，对FL的高能量成本引起。在本文中，提出了一种量化的FL框架，其表示在本地训练和上行链路传输中具有有限精度的有限精度的数据。这里，通过使用量化的神经网络（QNN）以固定精度格式量化的量化神经网络（QNN）来捕获有限的精度。在所考虑的流域中，每个设备列举其QNN并将量化的训练结果传输到基站。用于本地训练的能源模型和具有量化的传输经过严格导出。在确保收敛的同时，相对于精度的水平配制了能量最小化问题。为了解决问题，我们首先分析了流量收敛速度并使用了线路搜索方法。仿真结果表明，与标准FL模型相比，我们的FL框架可以将能耗降低至53％。结果在无线网络上的精度，能量和准确性之间的权衡之间还阐明了借调。

在本章中，我们将主要关注跨无线设备的协作培训。培训ML模型相当于解决优化问题，并且在过去几十年中已经开发了许多分布式优化算法。这些分布式ML算法提供数据局部性;也就是说，可以协同地培训联合模型，而每个参与设备的数据仍然是本地的数据。这个地址，一些延伸，隐私问题。它们还提供计算可扩展性，因为它们允许利用分布在许多边缘设备的计算资源。然而，在实践中，这不会直接导致整体学习速度的线性增益与设备的数量。这部分是由于通信瓶颈限制了整体计算速度。另外，无线设备在其计算能力中具有高度异构，并且它们的计算速度和通信速率都可能由于物理因素而高度变化。因此，考虑到时变通信网络的影响以及器件的异构和随机计算能力，必须仔细设计分布式学习算法，特别是在无线网络边缘实现的算法。

在本文中，提出了一个绿色，量化的FL框架，该框架在本地培训和上行链路传输中代表具有有限精度水平的数据。在这里，有限的精度级别是通过使用量化的神经网络（QNN）来捕获的，该神经网络（QNN）以固定精确格式量化权重和激活。在考虑的FL模型中，每个设备训练其QNN并将量化的训练结果传输到基站。严格得出了局部训练和传输的能量模型。为了同时最大程度地减少能耗和交流的数量，相对于本地迭代的数量，选定设备的数量以及本地培训和传输的精确级别，在确保融合的同时，提出了多目标优化问题目标准确性约束。为了解决此问题，相对于系统控制变量，分析得出所提出的FL系统的收敛速率。然后，该问题的帕累托边界被表征为使用正常边界检查方法提供有效的解决方案。通过使用NASH讨价还价解决方案并分析派生的收敛速率，从两个目标之间平衡了两种目标之间的权衡的洞察力。仿真结果表明，与代表完全精确的数据相比，提出的FL框架可以减少能源消耗，直到收敛高达52％。

有限的通信资源，例如带宽和能源以及设备之间的数据异质性是联合学习的两个主要瓶颈（FL）。为了应对这些挑战，我们首先使用部分模型聚合（PMA）设计了一个新颖的FL框架，该框架仅汇总负责特征提取的神经网络的下层，而与复杂模式识别相对应的上层仍保留在个性化设备上。提出的PMA-FL能够解决数据异质性并减少无线通道中的传输信息。然后，我们在非convex损耗函数设置下获得了框架的收敛结合。借助此界限，我们定义了一个新的目标函数，名为“计划数据样本量”，以将原始的不明智优化问题转移到可用于设备调度，带宽分配，计算和通信时间分配的可拖动问题中。我们的分析表明，当PMA-FL的沟通和计算部分具有相同的功率时，可以实现最佳时段。我们还开发了一种二级方法来解决最佳带宽分配策略，并使用SET扩展算法来解决最佳设备调度。与最先进的基准测试相比，提议的PMA-FL在两个典型的异质数据集（即Minist和CIFAR-10）上提高了2.72％和11.6％的精度。此外，提出的联合动态设备调度和资源优化方法的精度比考虑的基准略高，但它们提供了令人满意的能量和时间缩短：MNIST的29％能量或20％的时间缩短； CIFAR-10的能量和25％的能量或12.5％的时间缩短。

Federated learning (FL) allows multiple clients cooperatively train models without disclosing local data. However, the existing works fail to address all these practical concerns in FL: limited communication resources, dynamic network conditions and heterogeneous client properties, which slow down the convergence of FL. To tackle the above challenges, we propose a heterogeneity-aware FL framework, called FedCG, with adaptive client selection and gradient compression. Specifically, the parameter server (PS) selects a representative client subset considering statistical heterogeneity and sends the global model to them. After local training, these selected clients upload compressed model updates matching their capabilities to the PS for aggregation, which significantly alleviates the communication load and mitigates the straggler effect. We theoretically analyze the impact of both client selection and gradient compression on convergence performance. Guided by the derived convergence rate, we develop an iteration-based algorithm to jointly optimize client selection and compression ratio decision using submodular maximization and linear programming. Extensive experiments on both real-world prototypes and simulations show that FedCG can provide up to 5.3$\times$ speedup compared to other methods.

随着数据生成越来越多地在没有连接连接的设备上进行，因此与机器学习（ML）相关的流量将在无线网络中无处不在。许多研究表明，传统的无线协议高效或不可持续以支持ML，这创造了对新的无线通信方法的需求。在这项调查中，我们对最先进的无线方法进行了详尽的审查，这些方法是专门设计用于支持分布式数据集的ML服务的。当前，文献中有两个明确的主题，模拟的无线计算和针对ML优化的数字无线电资源管理。这项调查对这些方法进行了全面的介绍，回顾了最重要的作品，突出了开放问题并讨论了应用程序方案。

Federated Learning (FL) is a collaborative machine learning (ML) framework that combines on-device training and server-based aggregation to train a common ML model among distributed agents. In this work, we propose an asynchronous FL design with periodic aggregation to tackle the straggler issue in FL systems. Considering limited wireless communication resources, we investigate the effect of different scheduling policies and aggregation designs on the convergence performance. Driven by the importance of reducing the bias and variance of the aggregated model updates, we propose a scheduling policy that jointly considers the channel quality and training data representation of user devices. The effectiveness of our channel-aware data-importance-based scheduling policy, compared with state-of-the-art methods proposed for synchronous FL, is validated through simulations. Moreover, we show that an "age-aware" aggregation weighting design can significantly improve the learning performance in an asynchronous FL setting.

在本文中，研究了无线网络的联合学习（FL）。在每个通信回合中，选择一部分设备以有限的时间和能量参与聚合。为了最大程度地减少收敛时间，在基于Stackelberg游戏的框架中共同考虑了全球损失和延迟。具体而言，在Leader级别上，将基于信息的设备选择（AOI）选择为全球损失最小化问题，而子渠道分配，计算资源分配和功率分配在追随者级别被视为延迟最小化问题。通过将追随者级别的问题分为两个子问题，追随者的最佳响应是通过基于单调优化的资源分配算法和基于匹配的子渠道分配算法获得的。通过得出收敛速率的上限，重新制定了领导者级别的问题，然后提出了基于列表的设备选择算法来实现Stackelberg平衡。仿真结果表明，所提出的设备选择方案在全球损失方面优于其他方案，而开发的算法可以显着降低计算和通信的时间消耗。

In recent years, mobile devices are equipped with increasingly advanced sensing and computing capabilities. Coupled with advancements in Deep Learning (DL), this opens up countless possibilities for meaningful applications, e.g., for medical purposes and in vehicular networks. Traditional cloudbased Machine Learning (ML) approaches require the data to be centralized in a cloud server or data center. However, this results in critical issues related to unacceptable latency and communication inefficiency. To this end, Mobile Edge Computing (MEC) has been proposed to bring intelligence closer to the edge, where data is produced. However, conventional enabling technologies for ML at mobile edge networks still require personal data to be shared with external parties, e.g., edge servers. Recently, in light of increasingly stringent data privacy legislations and growing privacy concerns, the concept of Federated Learning (FL) has been introduced. In FL, end devices use their local data to train an ML model required by the server. The end devices then send the model updates rather than raw data to the server for aggregation. FL can serve as an enabling technology in mobile edge networks since it enables the collaborative training of an ML model and also enables DL for mobile edge network optimization. However, in a large-scale and complex mobile edge network, heterogeneous devices with varying constraints are involved. This raises challenges of communication costs, resource allocation, and privacy and security in the implementation of FL at scale. In this survey, we begin with an introduction to the background and fundamentals of FL. Then, we highlight the aforementioned challenges of FL implementation and review existing solutions. Furthermore, we present the applications of FL for mobile edge network optimization. Finally, we discuss the important challenges and future research directions in FL.

Federated learning (FL) is a key enabler for efficient communication and computing, leveraging devices' distributed computing capabilities. However, applying FL in practice is challenging due to the local devices' heterogeneous energy, wireless channel conditions, and non-independently and identically distributed (non-IID) data distributions. To cope with these issues, this paper proposes a novel learning framework by integrating FL and width-adjustable slimmable neural networks (SNN). Integrating FL with SNNs is challenging due to time-varying channel conditions and data distributions. In addition, existing multi-width SNN training algorithms are sensitive to the data distributions across devices, which makes SNN ill-suited for FL. Motivated by this, we propose a communication and energy-efficient SNN-based FL (named SlimFL) that jointly utilizes superposition coding (SC) for global model aggregation and superposition training (ST) for updating local models. By applying SC, SlimFL exchanges the superposition of multiple-width configurations decoded as many times as possible for a given communication throughput. Leveraging ST, SlimFL aligns the forward propagation of different width configurations while avoiding inter-width interference during backpropagation. We formally prove the convergence of SlimFL. The result reveals that SlimFL is not only communication-efficient but also deals with non-IID data distributions and poor channel conditions, which is also corroborated by data-intensive simulations.

本文考虑通过模型量化提高联邦学习（FL）的无线通信和计算效率。在提出的Bitwidth FL方案中，Edge设备将其本地FL模型参数的量化版本训练并传输到协调服务器，从而将它们汇总为量化的全局模型并同步设备。目的是共同确定用于本地FL模型量化的位宽度以及每次迭代中参与FL训练的设备集。该问题被视为一个优化问题，其目标是在每卷工具采样预算和延迟要求下最大程度地减少量化FL的训练损失。为了得出解决方案，进行分析表征，以显示有限的无线资源和诱导的量化误差如何影响所提出的FL方法的性能。分析结果表明，两个连续迭代之间的FL训练损失的改善取决于设备的选择和量化方案以及所学模型固有的几个参数。给定基于线性回归的这些模型属性的估计值，可以证明FL训练过程可以描述为马尔可夫决策过程（MDP），然后提出了基于模型的增强学习（RL）方法来优化动作的方法选择迭代。与无模型RL相比，这种基于模型的RL方法利用FL训练过程的派生数学表征来发现有效的设备选择和量化方案，而无需强加其他设备通信开销。仿真结果表明，与模型无RL方法和标准FL方法相比，提出的FL算法可以减少29％和63％的收敛时间。

联邦元学习（FML）已成为应对当今边缘学习竞技场中的数据限制和异质性挑战的承诺范式。然而，其性能通常受到缓慢的收敛性和相应的低通信效率的限制。此外，由于可用的无线电频谱和物联网设备的能量容量通常不足，因此在在实际无线网络中部署FML时，控制资源分配和能量消耗是至关重要的。为了克服挑战，在本文中，我们严格地分析了每个设备对每轮全球损失减少的贡献，并使用非统一的设备选择方案开发FML算法（称为Nufm）以加速收敛。之后，我们制定了集成NuFM在多通道无线系统中的资源分配问题，共同提高收敛速率并最小化壁钟时间以及能量成本。通过逐步解构原始问题，我们设计了一个联合设备选择和资源分配策略，以解决理论保证问题。此外，我们表明Nufm的计算复杂性可以通过$ O（d ^ 2）$至$ o（d）$（使用模型维度$ d $）通过组合两个一阶近似技术来降低。广泛的仿真结果表明，与现有基线相比，所提出的方法的有效性和优越性。

物联网（IoT）的扩散以及对设备进行感应，计算和通信功能的广泛使用，激发了人工智能增强的智能应用程序。经典人工智能算法需要集中的数据收集和处理，这些数据收集和处理在现实的智能物联网应用程序中，由于日益增长的数据隐私问题和分布式数据集。联合学习（FL）已成为一个分布式隐私的学习框架，该框架使IoT设备能够通过共享模型参数训练全局模型。但是，由于频繁的参数传输引起的效率低下会大大降低FL性能。现有的加速算法由两种主要类型组成，包括本地更新，考虑通信与计算之间的权衡以及参数压缩之间的权衡，考虑到通信和精度之间的权衡。共同考虑这两个权衡并适应平衡其对融合的影响尚未解决。为了解决该问题，本文提出了一种新型有效的自适应联合优化（EAFO）算法，以提高FL的效率，该算法通过共同考虑两个变量（包括本地更新和参数压缩）来最大程度地减少学习误差，并使FL能够自适应地调整两个变量和两个变量和两个变量。计算，沟通和精确度之间的平衡权衡。实验结果表明，与最先进的算法相比，提出的EAFO可以更快地实现更高的精度。

联合学习（FL）能够通过定期聚合培训的本地参数来在多个边缘用户执行大的分布式机器学习任务。为了解决在无线迷雾云系统上实现支持的关键挑战（例如，非IID数据，用户异质性），我们首先基于联合平均（称为FedFog）的高效流行算法来执行梯度参数的本地聚合在云端的FOG服务器和全球培训更新。接下来，我们通过调查新的网络知识的流动系统，在无线雾云系统中雇用FEDFog，这促使了全局损失和完成时间之间的平衡。然后开发了一种迭代算法以获得系统性能的精确测量，这有助于设计有效的停止标准以输出适当数量的全局轮次。为了缓解级体效果，我们提出了一种灵活的用户聚合策略，可以先培训快速用户在允许慢速用户加入全局培训更新之前获得一定程度的准确性。提供了使用若干现实世界流行任务的广泛数值结果来验证FEDFOG的理论融合。我们还表明，拟议的FL和通信的共同设计对于在实现学习模型的可比准确性的同时，基本上提高资源利用是必要的。

Federated learning (FL) is a collaborative machine learning framework that requires different clients (e.g., Internet of Things devices) to participate in the machine learning model training process by training and uploading their local models to an FL server in each global iteration. Upon receiving the local models from all the clients, the FL server generates a global model by aggregating the received local models. This traditional FL process may suffer from the straggler problem in heterogeneous client settings, where the FL server has to wait for slow clients to upload their local models in each global iteration, thus increasing the overall training time. One of the solutions is to set up a deadline and only the clients that can upload their local models before the deadline would be selected in the FL process. This solution may lead to a slow convergence rate and global model overfitting issues due to the limited client selection. In this paper, we propose the Latency awarE Semi-synchronous client Selection and mOdel aggregation for federated learNing (LESSON) method that allows all the clients to participate in the whole FL process but with different frequencies. That is, faster clients would be scheduled to upload their models more frequently than slow clients, thus resolving the straggler problem and accelerating the convergence speed, while avoiding model overfitting. Also, LESSON is capable of adjusting the tradeoff between the model accuracy and convergence rate by varying the deadline. Extensive simulations have been conducted to compare the performance of LESSON with the other two baseline methods, i.e., FedAvg and FedCS. The simulation results demonstrate that LESSON achieves faster convergence speed than FedAvg and FedCS, and higher model accuracy than FedCS.

预计未来的无线网络将支持各种移动服务，包括人工智能（AI）服务和无处不在的数据传输。联合学习（FL）作为一种革命性的学习方法，可以跨分布式移动边缘设备进行协作AI模型培训。通过利用多访问通道的叠加属性，无线计算允许同时通过同一无线电资源从大型设备上传，因此大大降低了FL的通信成本。在本文中，我们研究了移动边缘网络中的无线信息和传统信息传输（IT）的共存。我们提出了一个共存的联合学习和信息传输（CFLIT）通信框架，其中FL和IT设备在OFDM系统中共享无线频谱。在此框架下，我们旨在通过优化长期无线电资源分配来最大化IT数据速率并确保给定的FL收敛性能。限制共存系统频谱效率的主要挑战在于，由于服务器和边缘设备之间的频繁通信以进行FL模型聚合，因此发生的大开销。为了应对挑战，我们严格地分析了计算与通信比对无线褪色通道中无线FL融合的影响。该分析揭示了存在最佳计算与通信比率的存在，该比率最大程度地降低了空中FL所需的无线电资源量，以收敛到给定的错误公差。基于分析，我们提出了一种低复杂性在线算法，以共同优化FL设备和IT设备的无线电资源分配。广泛的数值模拟验证了FL和IT设备在无线蜂窝系统中共存的拟议设计的出色性能。

联合学习（FL）是一种新颖的学习范式，可解决集中学习的隐私泄漏挑战。但是，在FL中，具有非独立和相同分布（非IID）特征的用户可能会恶化全局模型的性能。具体而言，由于非IID数据，全局模型受到权重差异的挑战。为了应对上述挑战，我们提出了机器学习（ML）模型（FIDDIF）的新型扩散策略，以通过非IID数据最大化FL性能。在FedDif中，用户通过D2D通信将本地模型传播给相邻用户。 FedDif使本地模型能够在参数聚合之前体验不同的分布。此外，从理论上讲，我们证明了FedDif可以规避体重差异挑战。在理论的基础上，我们提出了ML模型的沟通效率扩散策略，该策略可以决定基于拍卖理论的学习绩效和沟通成本之间的权衡。绩效评估结果表明，与非IID设置相比，FedDIF将全球模型的测试准确性提高了11％。此外，与最新方法相比

联合学习（FL）可以培训全球模型，而无需共享存储在多个设备上的分散的原始数据以保护数据隐私。由于设备的能力多样化，FL框架难以解决Straggler效应和过时模型的问题。此外，数据异质性在FL训练过程中会导致全球模型的严重准确性降解。为了解决上述问题，我们提出了一个层次同步FL框架，即Fedhisyn。 Fedhisyn首先根据其计算能力将所有可​​用的设备簇分为少数类别。经过一定的本地培训间隔后，将不同类别培训的模型同时上传到中央服务器。在单个类别中，设备根据环形拓扑会相互传达局部更新的模型权重。随着环形拓扑中训练的效率更喜欢具有均匀资源的设备，基于计算能力的分类减轻了Straggler效应的影响。此外，多个类别的同步更新与单个类别中的设备通信的组合有助于解决数据异质性问题，同时达到高精度。我们评估了基于MNIST，EMNIST，CIFAR10和CIFAR100数据集的提议框架以及设备的不同异质设置。实验结果表明，在训练准确性和效率方面，Fedhisyn的表现优于六种基线方法，例如FedAvg，脚手架和Fedat。