有限的通信资源，例如带宽和能源以及设备之间的数据异质性是联合学习的两个主要瓶颈（FL）。为了应对这些挑战，我们首先使用部分模型聚合（PMA）设计了一个新颖的FL框架，该框架仅汇总负责特征提取的神经网络的下层，而与复杂模式识别相对应的上层仍保留在个性化设备上。提出的PMA-FL能够解决数据异质性并减少无线通道中的传输信息。然后，我们在非convex损耗函数设置下获得了框架的收敛结合。借助此界限，我们定义了一个新的目标函数，名为“计划数据样本量”，以将原始的不明智优化问题转移到可用于设备调度，带宽分配，计算和通信时间分配的可拖动问题中。我们的分析表明，当PMA-FL的沟通和计算部分具有相同的功率时，可以实现最佳时段。我们还开发了一种二级方法来解决最佳带宽分配策略，并使用SET扩展算法来解决最佳设备调度。与最先进的基准测试相比，提议的PMA-FL在两个典型的异质数据集（即Minist和CIFAR-10）上提高了2.72％和11.6％的精度。此外，提出的联合动态设备调度和资源优化方法的精度比考虑的基准略高，但它们提供了令人满意的能量和时间缩短：MNIST的29％能量或20％的时间缩短； CIFAR-10的能量和25％的能量或12.5％的时间缩短。

联邦元学习（FML）已成为应对当今边缘学习竞技场中的数据限制和异质性挑战的承诺范式。然而，其性能通常受到缓慢的收敛性和相应的低通信效率的限制。此外，由于可用的无线电频谱和物联网设备的能量容量通常不足，因此在在实际无线网络中部署FML时，控制资源分配和能量消耗是至关重要的。为了克服挑战，在本文中，我们严格地分析了每个设备对每轮全球损失减少的贡献，并使用非统一的设备选择方案开发FML算法（称为Nufm）以加速收敛。之后，我们制定了集成NuFM在多通道无线系统中的资源分配问题，共同提高收敛速率并最小化壁钟时间以及能量成本。通过逐步解构原始问题，我们设计了一个联合设备选择和资源分配策略，以解决理论保证问题。此外，我们表明Nufm的计算复杂性可以通过$ O（d ^ 2）$至$ o（d）$（使用模型维度$ d $）通过组合两个一阶近似技术来降低。广泛的仿真结果表明，与现有基线相比，所提出的方法的有效性和优越性。

个性化联合学习（PFL）是一种新的联邦学习（FL）方法，可解决分布式用户设备（UES）生成的数据集的异质性问题。但是，大多数现有的PFL实现都依赖于同步培训来确保良好的收敛性能，这可能会导致严重的散乱问题，在这种情况下，训练时间大量延长了最慢的UE。为了解决这个问题，我们提出了一种半同步PFL算法，被称为半同步个性化的FederatedAveraging（Perfeds $^2 $），而不是移动边缘网络。通过共同优化无线带宽分配和UE调度策略，它不仅减轻了Straggler问题，而且还提供了收敛的培训损失保证。我们根据每回合的参与者数量和回合数量来得出Perfeds2收敛速率的上限。在此基础上，可以使用分析解决方案解决带宽分配问题，并且可以通过贪婪算法获得UE调度策略。实验结果与同步和异步PFL算法相比，验证了Perfeds2在节省训练时间和保证训练损失的收敛方面的有效性。

联合学习（FL）能够通过定期聚合培训的本地参数来在多个边缘用户执行大的分布式机器学习任务。为了解决在无线迷雾云系统上实现支持的关键挑战（例如，非IID数据，用户异质性），我们首先基于联合平均（称为FedFog）的高效流行算法来执行梯度参数的本地聚合在云端的FOG服务器和全球培训更新。接下来，我们通过调查新的网络知识的流动系统，在无线雾云系统中雇用FEDFog，这促使了全局损失和完成时间之间的平衡。然后开发了一种迭代算法以获得系统性能的精确测量，这有助于设计有效的停止标准以输出适当数量的全局轮次。为了缓解级体效果，我们提出了一种灵活的用户聚合策略，可以先培训快速用户在允许慢速用户加入全局培训更新之前获得一定程度的准确性。提供了使用若干现实世界流行任务的广泛数值结果来验证FEDFOG的理论融合。我们还表明，拟议的FL和通信的共同设计对于在实现学习模型的可比准确性的同时，基本上提高资源利用是必要的。

Federated learning (FL) allows multiple clients cooperatively train models without disclosing local data. However, the existing works fail to address all these practical concerns in FL: limited communication resources, dynamic network conditions and heterogeneous client properties, which slow down the convergence of FL. To tackle the above challenges, we propose a heterogeneity-aware FL framework, called FedCG, with adaptive client selection and gradient compression. Specifically, the parameter server (PS) selects a representative client subset considering statistical heterogeneity and sends the global model to them. After local training, these selected clients upload compressed model updates matching their capabilities to the PS for aggregation, which significantly alleviates the communication load and mitigates the straggler effect. We theoretically analyze the impact of both client selection and gradient compression on convergence performance. Guided by the derived convergence rate, we develop an iteration-based algorithm to jointly optimize client selection and compression ratio decision using submodular maximization and linear programming. Extensive experiments on both real-world prototypes and simulations show that FedCG can provide up to 5.3$\times$ speedup compared to other methods.

在本文中，研究了无线网络的联合学习（FL）。在每个通信回合中，选择一部分设备以有限的时间和能量参与聚合。为了最大程度地减少收敛时间，在基于Stackelberg游戏的框架中共同考虑了全球损失和延迟。具体而言，在Leader级别上，将基于信息的设备选择（AOI）选择为全球损失最小化问题，而子渠道分配，计算资源分配和功率分配在追随者级别被视为延迟最小化问题。通过将追随者级别的问题分为两个子问题，追随者的最佳响应是通过基于单调优化的资源分配算法和基于匹配的子渠道分配算法获得的。通过得出收敛速率的上限，重新制定了领导者级别的问题，然后提出了基于列表的设备选择算法来实现Stackelberg平衡。仿真结果表明，所提出的设备选择方案在全球损失方面优于其他方案，而开发的算法可以显着降低计算和通信的时间消耗。

随着数据生成越来越多地在没有连接连接的设备上进行，因此与机器学习（ML）相关的流量将在无线网络中无处不在。许多研究表明，传统的无线协议高效或不可持续以支持ML，这创造了对新的无线通信方法的需求。在这项调查中，我们对最先进的无线方法进行了详尽的审查，这些方法是专门设计用于支持分布式数据集的ML服务的。当前，文献中有两个明确的主题，模拟的无线计算和针对ML优化的数字无线电资源管理。这项调查对这些方法进行了全面的介绍，回顾了最重要的作品，突出了开放问题并讨论了应用程序方案。

联合学习（FL）使移动设备能够在保留本地数据的同时协作学习共享的预测模型。但是，实际上在移动设备上部署FL存在两个主要的研究挑战：（i）频繁的无线梯度更新v.s.频谱资源有限，以及（ii）培训期间渴望的FL通信和本地计算V.S.电池约束的移动设备。为了应对这些挑战，在本文中，我们提出了一种新型的多位空天空计算（MAIRCOMP）方法，用于FL中本地模型更新的频谱有效聚合，并进一步介绍用于移动的能源有效的FL设计设备。具体而言，高精度数字调制方案是在MAIRCOMP中设计和合并的，允许移动设备同时在多访问通道中同时在所选位置上传模型更新。此外，我们理论上分析了FL算法的收敛性。在FL收敛分析的指导下，我们制定了联合传输概率和局部计算控制优化，旨在最大程度地减少FL移动设备的总体能源消耗（即迭代局部计算 +多轮通信）。广泛的仿真结果表明，我们提出的方案在频谱利用率，能源效率和学习准确性方面优于现有计划。

在本章中，我们将主要关注跨无线设备的协作培训。培训ML模型相当于解决优化问题，并且在过去几十年中已经开发了许多分布式优化算法。这些分布式ML算法提供数据局部性;也就是说，可以协同地培训联合模型，而每个参与设备的数据仍然是本地的数据。这个地址，一些延伸，隐私问题。它们还提供计算可扩展性，因为它们允许利用分布在许多边缘设备的计算资源。然而，在实践中，这不会直接导致整体学习速度的线性增益与设备的数量。这部分是由于通信瓶颈限制了整体计算速度。另外，无线设备在其计算能力中具有高度异构，并且它们的计算速度和通信速率都可能由于物理因素而高度变化。因此，考虑到时变通信网络的影响以及器件的异构和随机计算能力，必须仔细设计分布式学习算法，特别是在无线网络边缘实现的算法。

在本文中，我们研究了多服务器边缘计算中基于区块链的联合学习（BFL）的新延迟优化问题。在此系统模型中，分布式移动设备（MDS）与一组Edge服务器（ESS）通信，以同时处理机器学习（ML）模型培训和阻止开采。为了协助ML模型培训用于资源受限的MD，我们制定了一种卸载策略，使MD可以将其数据传输到相关的ESS之一。然后，我们基于共识机制在边缘层上提出了一个新的分散的ML模型聚合解决方案，以通过基于对等（P2P）基于基于的区块链通信构建全局ML模型。区块链在MDS和ESS之间建立信任，以促进可靠的ML模型共享和合作共识形成，并能够快速消除由中毒攻击引起的操纵模型。我们将延迟感知的BFL作为优化，旨在通过联合考虑数据卸载决策，MDS的传输功率，MDS数据卸载，MDS的计算分配和哈希功率分配来最大程度地减少系统延迟。鉴于离散卸载和连续分配变量的混合作用空间，我们提出了一种具有参数化优势演员评论家算法的新型深度强化学习方案。从理论上讲，我们根据聚合延迟，迷你批量大小和P2P通信回合的数量来表征BFL的收敛属性。我们的数值评估证明了我们所提出的方案优于基线，从模型训练效率，收敛速度，系统潜伏期和对模型中毒攻击的鲁棒性方面。

Federated Learning (FL) is a collaborative machine learning (ML) framework that combines on-device training and server-based aggregation to train a common ML model among distributed agents. In this work, we propose an asynchronous FL design with periodic aggregation to tackle the straggler issue in FL systems. Considering limited wireless communication resources, we investigate the effect of different scheduling policies and aggregation designs on the convergence performance. Driven by the importance of reducing the bias and variance of the aggregated model updates, we propose a scheduling policy that jointly considers the channel quality and training data representation of user devices. The effectiveness of our channel-aware data-importance-based scheduling policy, compared with state-of-the-art methods proposed for synchronous FL, is validated through simulations. Moreover, we show that an "age-aware" aggregation weighting design can significantly improve the learning performance in an asynchronous FL setting.

联合学习（FL）是一种新颖的学习范式，可解决集中学习的隐私泄漏挑战。但是，在FL中，具有非独立和相同分布（非IID）特征的用户可能会恶化全局模型的性能。具体而言，由于非IID数据，全局模型受到权重差异的挑战。为了应对上述挑战，我们提出了机器学习（ML）模型（FIDDIF）的新型扩散策略，以通过非IID数据最大化FL性能。在FedDif中，用户通过D2D通信将本地模型传播给相邻用户。 FedDif使本地模型能够在参数聚合之前体验不同的分布。此外，从理论上讲，我们证明了FedDif可以规避体重差异挑战。在理论的基础上，我们提出了ML模型的沟通效率扩散策略，该策略可以决定基于拍卖理论的学习绩效和沟通成本之间的权衡。绩效评估结果表明，与非IID设置相比，FedDIF将全球模型的测试准确性提高了11％。此外，与最新方法相比

最近，基于区块链的联合学习（BFL）引起了密集的研究关注，因为培训过程是可审核的，并且该体系结构无助于避免了Vanilla Federated学习（VFL）中参数服务器的单点故障。然而，BFL大大升级了通信流量量，因为BFL客户端获得的所有本地模型更新（即，模型参数的更改）都将转移给所有矿工进行验证以及所有客户端以进行聚合。相比之下，参数服务器和VFL中的客户端仅保留汇总模型更新。因此，BFL的巨大沟通流量将不可避免地损害培训效率，并阻碍BFL现实的部署。为了提高BFL的实用性，我们是第一个通过压缩BFL中的通信（称为BCFL）来提出基于快速区块链的联合学习框架的人之一。同时，我们得出了BCFL的收敛速率，而非凸损失损失。为了最大化最终模型的准确性，我们进一步提出问题，以最大程度地减少收敛率的训练损失，而相对于压缩率和块生成速率的训练时间有限，这是BI-CONVEX优化问题，可以是有效解决。最后，为了证明BCFL的效率，我们对标准CIFAR-10和女权主义数据集进行了广泛的实验。我们的实验结果不仅验证了我们的分析的正确性，而且还表明BCFL可以显着将通信流量降低95-98％，或者与BFL相比，训练时间缩短了90-95％。

预计未来的无线网络将支持各种移动服务，包括人工智能（AI）服务和无处不在的数据传输。联合学习（FL）作为一种革命性的学习方法，可以跨分布式移动边缘设备进行协作AI模型培训。通过利用多访问通道的叠加属性，无线计算允许同时通过同一无线电资源从大型设备上传，因此大大降低了FL的通信成本。在本文中，我们研究了移动边缘网络中的无线信息和传统信息传输（IT）的共存。我们提出了一个共存的联合学习和信息传输（CFLIT）通信框架，其中FL和IT设备在OFDM系统中共享无线频谱。在此框架下，我们旨在通过优化长期无线电资源分配来最大化IT数据速率并确保给定的FL收敛性能。限制共存系统频谱效率的主要挑战在于，由于服务器和边缘设备之间的频繁通信以进行FL模型聚合，因此发生的大开销。为了应对挑战，我们严格地分析了计算与通信比对无线褪色通道中无线FL融合的影响。该分析揭示了存在最佳计算与通信比率的存在，该比率最大程度地降低了空中FL所需的无线电资源量，以收敛到给定的错误公差。基于分析，我们提出了一种低复杂性在线算法，以共同优化FL设备和IT设备的无线电资源分配。广泛的数值模拟验证了FL和IT设备在无线蜂窝系统中共存的拟议设计的出色性能。

本文建议使用通信管道来提高移动边缘计算应用程序中联合学习的无线频谱利用效率和收敛速度。由于无线子渠道有限，在联合学习算法的每次迭代中，总计客户端的一部分。另一方面，计划的客户等待最慢的客户端完成计算。我们建议首先根据客户在计算联合学习模型的本地梯度所需的时间将客户聚集。然后，我们安排了来自所有群集的客户的混合，以管道的方式发送其本地更新。这样，更多的客户可以参与每次迭代，而不仅仅是等待较慢的客户完成计算的速度。虽然单个迭代的持续时间没有改变，但提出的方法可以显着减少达到目标准确性所需的迭代次数。我们为在不同的设置下提供了最佳客户群聚类的通用公式，并在分析上得出了一种有效的算法来获得最佳解决方案。我们还提供了数值结果，以证明针对不同数据集和深度学习体系结构所提出的方法的收益。

随着数据和无线设备的爆炸性增长，联合学习（FL）已成为大型智能系统的有希望的技术。利用电磁波的模拟叠加，空中计算是一种吸引力的方法，以减少流量聚集中的通信负担。然而，随着对智能系统的迫切需求，具有超空气计算的多个任务的培训进一步加剧了通信资源的稀缺性。可以在一定程度上通过同时培训共享通信资源的多个任务来减轻此问题，但后者不可避免地带来任务间干扰的问题。在本文中，我们在多输入多输出（MIMO）干扰通道上使用空中多任务FL（OA-MTFL）。我们提出了一种新颖的模型聚集方法，用于对不同器件的局部梯度对准，这减轻了由于信道异质性而在空中计算中广泛存在的脱柱问题。通过考虑设备之间的空间相关性，为所提出的OA-MTFL方案建立统一的通信 - 计算分析框架，并制定设计收发器波束形成和设备选择的优化问题。我们通过使用交替优化（AO）和分数编程（FP）来开发算法来解决这个问题，这有效地缓解了任务间干扰对流程的影响。我们表明，由于使用新的模型聚合方法，设备选择对我们的方案不再是必不可少的，从而避免了通过实现设备选择引起的重大计算负担。数值结果证明了分析的正确性和所提出的计划的出色性能。

In recent years, mobile devices are equipped with increasingly advanced sensing and computing capabilities. Coupled with advancements in Deep Learning (DL), this opens up countless possibilities for meaningful applications, e.g., for medical purposes and in vehicular networks. Traditional cloudbased Machine Learning (ML) approaches require the data to be centralized in a cloud server or data center. However, this results in critical issues related to unacceptable latency and communication inefficiency. To this end, Mobile Edge Computing (MEC) has been proposed to bring intelligence closer to the edge, where data is produced. However, conventional enabling technologies for ML at mobile edge networks still require personal data to be shared with external parties, e.g., edge servers. Recently, in light of increasingly stringent data privacy legislations and growing privacy concerns, the concept of Federated Learning (FL) has been introduced. In FL, end devices use their local data to train an ML model required by the server. The end devices then send the model updates rather than raw data to the server for aggregation. FL can serve as an enabling technology in mobile edge networks since it enables the collaborative training of an ML model and also enables DL for mobile edge network optimization. However, in a large-scale and complex mobile edge network, heterogeneous devices with varying constraints are involved. This raises challenges of communication costs, resource allocation, and privacy and security in the implementation of FL at scale. In this survey, we begin with an introduction to the background and fundamentals of FL. Then, we highlight the aforementioned challenges of FL implementation and review existing solutions. Furthermore, we present the applications of FL for mobile edge network optimization. Finally, we discuss the important challenges and future research directions in FL.

联合学习（FL）算法通常在每个圆数（部分参与）大并且服务器的通信带宽有限时对每个轮子（部分参与）进行分数。近期对FL的收敛分析的作品专注于无偏见的客户采样，例如，随机均匀地采样，由于高度的系统异质性和统计异质性而均匀地采样。本文旨在设计一种自适应客户采样算法，可以解决系统和统计异质性，以最小化壁时钟收敛时间。我们获得了具有任意客户端采样概率的流动算法的新的遗传融合。基于界限，我们分析了建立了总学习时间和采样概率之间的关系，这导致了用于训练时间最小化的非凸优化问题。我们设计一种高效的算法来学习收敛绑定中未知参数，并开发低复杂性算法以大致解决非凸面问题。硬件原型和仿真的实验结果表明，与几个基线采样方案相比，我们所提出的采样方案显着降低了收敛时间。值得注意的是，我们的硬件原型的方案比均匀的采样基线花费73％，以达到相同的目标损失。

Federated learning (FL) has achieved great success as a privacy-preserving distributed training paradigm, where many edge devices collaboratively train a machine learning model by sharing the model updates instead of the raw data with a server. However, the heterogeneous computational and communication resources of edge devices give rise to stragglers that significantly decelerate the training process. To mitigate this issue, we propose a novel FL framework named stochastic coded federated learning (SCFL) that leverages coded computing techniques. In SCFL, before the training process starts, each edge device uploads a privacy-preserving coded dataset to the server, which is generated by adding Gaussian noise to the projected local dataset. During training, the server computes gradients on the global coded dataset to compensate for the missing model updates of the straggling devices. We design a gradient aggregation scheme to ensure that the aggregated model update is an unbiased estimate of the desired global update. Moreover, this aggregation scheme enables periodical model averaging to improve the training efficiency. We characterize the tradeoff between the convergence performance and privacy guarantee of SCFL. In particular, a more noisy coded dataset provides stronger privacy protection for edge devices but results in learning performance degradation. We further develop a contract-based incentive mechanism to coordinate such a conflict. The simulation results show that SCFL learns a better model within the given time and achieves a better privacy-performance tradeoff than the baseline methods. In addition, the proposed incentive mechanism grants better training performance than the conventional Stackelberg game approach.

与传统机器学习（ML）相比，联邦学习（FL）被认为是解决移动设备的数据隐私问题的吸引力框架。使用Edge Server（ESS）作为中间人在接近度执行模型聚合可以减少传输开销，并且它能够在低延迟FL中实现很大的潜力，其中FL（HFL）的分层体系结构被吸引更多地关注。设计适当的客户选择策略可以显着提高培训性能，并且已广泛用于FL研究。然而，据我们所知，没有专注于HFL的研究。此外，HFL的客户选择面临的挑战比传统的FL更多，例如，客户端 - es对的时变连接和网络运营商的有限预算（否）。在本文中，我们调查了HFL的客户选择问题，其中no no学习成功参与客户的数量以改善培训性能（即，在每轮中选择多个客户端）以及每个ES的有限预算。基于上下文组合多武装强盗（CC-MAB）开发了一个称为上下文知识的在线客户选择（COCS）的在线策略。 COCs观察局部计算和客户端对传输的侧信息（上下文），并使客户选择决策最大化没有给出有限预算的实用程序。理论上，与强凸和非凸HFL上的Oracle策略相比，COCS遗憾地实现了载体遗憾。仿真结果还支持拟议的COCS政策对现实世界数据集的效率。