本文提出了一种完全分散的联邦学习（FL）方案，用于通过多跳网络连接的所有内容（IOE）设备。由于FL算法几乎没有收敛机器学习（ML）模型的参数，因此本文侧重于功能空间中ML模型的收敛性。考虑到ML任务的代表性损失函数例如，均方误差（MSE）和Kullback-Leibler（KL）发散，是凸起的功能，直接更新功能空间中的功能的算法可以收敛到最佳解决方案。本文的关键概念是定制基于共识的优化算法，可以在功能空间中工作，以分布式方式实现全局最佳。本文首先分析了函数空间中所提出的算法的收敛，其被称为元算法，并且示出了频谱图理论可以以类似于数值矢量的方式应用于函数空间。然后，为神经网络（NN）开发了基于共识的多跳联盟蒸馏（CMFD）以实现元算法。 CMFD利用知识蒸馏来实现相邻器件之间的功能聚集而没有参数平均。 CMFD的一个优点是它即使在分布式学习者中使用不同的NN模型也是如此。虽然CMFD不完全反映元算法的行为，但元算法的融合属性的讨论促进了对CMFD的直观理解，并且模拟评估表明，NN模型会聚使用CMFD进行多种任务。仿真结果还表明，CMFD比弱连接网络的参数聚合实现更高的准确性，CMFD比参数聚合方法更稳定。

分散和联合学习的关键挑战之一是设计算法，这些算法有效地处理跨代理商的高度异构数据分布。在本文中，我们在数据异质性下重新审视分散的随机梯度下降算法（D-SGD）的分析。我们在D-SGD的收敛速率上展示了新数量的关键作用，称为\ emph {邻居异质性}。通过结合通信拓扑结构和异质性，我们的分析阐明了这两个分散学习中这两个概念之间的相互作用较低。然后，我们认为邻里的异质性提供了一种自然标准，可以学习数据依赖性拓扑结构，以减少（甚至可以消除）数据异质性对D-SGD收敛时间的有害影响。对于与标签偏度分类的重要情况，我们制定了学习这样一个良好拓扑的问题，例如我们使用Frank-Wolfe算法解决的可拖动优化问题。如一组模拟和现实世界实验所示，我们的方法提供了一种设计稀疏拓扑的方法，可以在数据异质性下平衡D-SGD的收敛速度和D-SGD的触电沟通成本。

在本文中，我们建议在分散的设置中解决一个正规化的分布鲁棒性学习问题，并考虑到数据分配的变化。通过将Kullback-Liebler正则化功能添加到可靠的Min-Max优化问题中，可以将学习问题降低到修改的可靠最小化问题并有效地解决。利用新配制的优化问题，我们提出了一个强大的版本的分散的随机梯度下降（DSGD），分布在分布方面具有强大的分散性随机梯度下降（DR-DSGD）。在一些温和的假设下，前提是正则化参数大于一个，我们从理论上证明DR-DSGD达到了$ \ MATHCAL {O} \ left的收敛速率$，其中$ k $是设备的数量，而$ t $是迭代次数。仿真结果表明，我们提出的算法可以提高最差的分配测试精度，最高$ 10 \％$。此外，DR-DSGD比DSGD更有效，因为它需要更少的沟通回合（最高$ 20 $ $倍）才能达到相同的最差分配测试准确性目标。此外，进行的实验表明，在测试准确性方面，DR-DSGD会导致整个设备的性能更公平。

联邦边缘学习（诱导）吸引了许多隐私范例的关注，以有效地纳入网络边缘的分布式数据来训练深度学习模型。然而，单个边缘服务器的有限覆盖范围导致参与者的客户节点数量不足，这可能会损害学习性能。在本文中，我们调查了一种新颖的感觉框架，即半分散的联邦边缘学习（SD-INES），其中采用多个边缘服务器集体协调大量客户端节点。通过利用边缘服务器之间的低延迟通信进行高效的模型共享，SD-Feels可以包含更多的培训数据，同时与传统联合学习相比享受更低的延迟。我们详细介绍了三个主要步骤的SD感觉的培训算法，包括本地模型更新，群集内部和群集间模型聚合。在非独立和相同分布的（非IID）数据上证明了该算法的收敛性，这也有助于揭示关键参数对培训效率的影响，并提供实用的设计指南。同时，边缘装置的异质性可能导致级体效应并降低SD感应的收敛速度。为了解决这个问题，我们提出了一种具有SD-Iave的稳定性舒长方案的异步训练算法，其中，还分析了收敛性能。模拟结果展示了所提出的SD感觉和证实我们分析的算法的有效性和效率。

联合学习（FL）是一个蓬勃发展的分布式机器学习框架，其中中心参数服务器（PS）协调许多本地用户以训练全局一致的模型。传统的联合学习不可避免地依赖于具有PS的集中拓扑。因此，一旦PS失败，它将瘫痪。为了缓解如此单点故障，特别是在PS上，一些现有的工作已经提供了CDSGD和D-PSGD等分散的FL（DFL）实现，以便于分散拓扑中的流体。然而，这些方法仍存在一些问题，例如，在CDSGD中的用户最终模型和D-PSGD中的网络范围的模型平均必需品之间存在一些问题。为了解决这些缺陷，本文设计了一种作为DACFL的新DFL实现，其中每个用户使用自己的训练数据列举其模型，并通过对称和双随机矩阵将中间模型与其邻居交换。 DACFL将每个用户本地培训的进度视为离散时间过程，并采用第一个订单动态平均共识（FODAC）方法来跟踪\ Texit {平均模型}在没有PS的情况下。在本文中，我们还提供了DACFL的理论收敛性分析，即在I.I.D数据的前提下，以加强其合理性。 Mnist，Fashion-Mnist和CiFar-10的实验结果验证了我们在几间不变性和时变网络拓扑中的解决方案的可行性，并在大多数情况下声明DACFL优于D-PSGD和CDSGD。

联合学习产生了重大兴趣，几乎所有作品都集中在一个“星形”拓扑上，其中节点/设备每个都连接到中央服务器。我们远离此架构，并将其通过网络维度扩展到最终设备和服务器之间存在多个节点的情况。具体而言，我们开发多级混合联合学习（MH-FL），是层内模型学习的混合，将网络视为基于多层群集的结构。 MH-FL认为集群中的节点中的拓扑结构，包括通过设备到设备（D2D）通信形成的本地网络，并假设用于联合学习的半分散式架构。它以协作/协作方式（即，使用D2D交互）在不同网络层处的设备进行编程，以在模型参数上形成本地共识，并将其与树形层次层的层之间的多级参数中继相结合。我们相对于网络拓扑（例如，光谱半径）和学习算法的参数来得出MH-F1的收敛的大界限（例如，不同簇中的D2D圆数的数量）。我们在不同的集群中获得了一系列D2D轮的政策，以保证有限的最佳差距或收敛到全局最佳。然后，我们开发一个分布式控制算法，用于MH-FL在每个集群中调整每个集群的D2D轮，以满足特定的收敛标准。我们在现实世界数据集上的实验验证了我们的分析结果，并展示了MH-FL在资源利用率指标方面的优势。

联合学习（FL）是一种新颖的学习范式，可解决集中学习的隐私泄漏挑战。但是，在FL中，具有非独立和相同分布（非IID）特征的用户可能会恶化全局模型的性能。具体而言，由于非IID数据，全局模型受到权重差异的挑战。为了应对上述挑战，我们提出了机器学习（ML）模型（FIDDIF）的新型扩散策略，以通过非IID数据最大化FL性能。在FedDif中，用户通过D2D通信将本地模型传播给相邻用户。 FedDif使本地模型能够在参数聚合之前体验不同的分布。此外，从理论上讲，我们证明了FedDif可以规避体重差异挑战。在理论的基础上，我们提出了ML模型的沟通效率扩散策略，该策略可以决定基于拍卖理论的学习绩效和沟通成本之间的权衡。绩效评估结果表明，与非IID设置相比，FedDIF将全球模型的测试准确性提高了11％。此外，与最新方法相比

随着数据生成越来越多地在没有连接连接的设备上进行，因此与机器学习（ML）相关的流量将在无线网络中无处不在。许多研究表明，传统的无线协议高效或不可持续以支持ML，这创造了对新的无线通信方法的需求。在这项调查中，我们对最先进的无线方法进行了详尽的审查，这些方法是专门设计用于支持分布式数据集的ML服务的。当前，文献中有两个明确的主题，模拟的无线计算和针对ML优化的数字无线电资源管理。这项调查对这些方法进行了全面的介绍，回顾了最重要的作品，突出了开放问题并讨论了应用程序方案。

联合学习（FL）能够通过定期聚合培训的本地参数来在多个边缘用户执行大的分布式机器学习任务。为了解决在无线迷雾云系统上实现支持的关键挑战（例如，非IID数据，用户异质性），我们首先基于联合平均（称为FedFog）的高效流行算法来执行梯度参数的本地聚合在云端的FOG服务器和全球培训更新。接下来，我们通过调查新的网络知识的流动系统，在无线雾云系统中雇用FEDFog，这促使了全局损失和完成时间之间的平衡。然后开发了一种迭代算法以获得系统性能的精确测量，这有助于设计有效的停止标准以输出适当数量的全局轮次。为了缓解级体效果，我们提出了一种灵活的用户聚合策略，可以先培训快速用户在允许慢速用户加入全局培训更新之前获得一定程度的准确性。提供了使用若干现实世界流行任务的广泛数值结果来验证FEDFOG的理论融合。我们还表明，拟议的FL和通信的共同设计对于在实现学习模型的可比准确性的同时，基本上提高资源利用是必要的。

通过增加无线设备的计算能力，以及用户和设备生成的数据的前所未有的级别，已经出现了新的分布式机器学习（ML）方法。在无线社区中，由于其通信效率及其处理非IID数据问题的能力，联邦学习（FL）特别有趣。可以通过称为空中计算（AIRCOMP）的无线通信方法加速FL训练，其利用同时上行链路传输的干扰以有效地聚合模型更新。但是，由于Aircomp利用模拟通信，因此它引入了不可避免的估计错误。在本文中，我们研究了这种估计误差对FL的收敛性的影响，并提出了一种改进资源受限无线网络的方法的转移。首先，我们通过静态通道重新传输获得最佳Aircomp电源控制方案。然后，我们调查了传递的空中流体的性能，并在流失函数上找到两个上限。最后，我们提出了一种选择最佳重传的启发式，可以在训练ML模型之前计算。数值结果表明，引入重传可能导致ML性能提高，而不会在通信或计算方面产生额外的成本。此外，我们为我们的启发式提供了模拟结果，表明它可以正确地确定不同无线网络设置和机器学习问题的最佳重传次数。

联合学习（FL）是一个分布式的机器学习框架，可以减轻数据孤岛，在该筒仓中，分散的客户在不共享其私人数据的情况下协作学习全球模型。但是，客户的非独立且相同分布的（非IID）数据对训练有素的模型产生了负面影响，并且具有不同本地更新的客户可能会在每个通信回合中对本地梯度造成巨大差距。在本文中，我们提出了一种联合矢量平均（FedVeca）方法来解决上述非IID数据问题。具体而言，我们为与本地梯度相关的全球模型设定了一个新的目标。局部梯度定义为具有步长和方向的双向向量，其中步长为局部更新的数量，并且根据我们的定义将方向分为正和负。在FedVeca中，方向受步尺的影响，因此我们平均双向向量，以降低不同步骤尺寸的效果。然后，我们理论上分析了步骤大小与全球目标之间的关系，并在每个通信循环的步骤大小上获得上限。基于上限，我们为服务器和客户端设计了一种算法，以自适应调整使目标接近最佳的步骤大小。最后，我们通过构建原型系统对不同数据集，模型和场景进行实验，实验结果证明了FedVeca方法的有效性和效率。

联邦边缘学习（诱导）已成为一种有效的方法来减少基于云的机器学习解决方案的大型通信延迟，同时保留数据隐私。不幸的是，由于单边簇中的训练数据有限，感觉的学习性能可能会受到损害。在本文中，我们调查了一种新颖的感觉框架，即半分散的联邦边缘学习（SD-Inve）。通过允许不同边缘集群的模型聚合，SD-vee致力于减少培训延迟的感觉，同时通过访问来自多个边缘集群的更丰富的训练数据来提高学习性能。介绍了每轮三个主要过程的SD-ide的训练算法，包括本地模型更新，集群内部和群集间模型聚合，这被证明是在非独立和相同分布的（非IID）数据上收敛。我们还表征了边缘服务器的网络拓扑之间的相互作用以及在训练性能上群集间模型聚合的通信开销。实验结果证实了我们的分析，并展示了SD-FFEL在实现比传统联邦学习架构更快的收敛方面的有效性。此外，还提供了选择训练算法关键超参数的指导方针。

有限的通信资源，例如带宽和能源以及设备之间的数据异质性是联合学习的两个主要瓶颈（FL）。为了应对这些挑战，我们首先使用部分模型聚合（PMA）设计了一个新颖的FL框架，该框架仅汇总负责特征提取的神经网络的下层，而与复杂模式识别相对应的上层仍保留在个性化设备上。提出的PMA-FL能够解决数据异质性并减少无线通道中的传输信息。然后，我们在非convex损耗函数设置下获得了框架的收敛结合。借助此界限，我们定义了一个新的目标函数，名为“计划数据样本量”，以将原始的不明智优化问题转移到可用于设备调度，带宽分配，计算和通信时间分配的可拖动问题中。我们的分析表明，当PMA-FL的沟通和计算部分具有相同的功率时，可以实现最佳时段。我们还开发了一种二级方法来解决最佳带宽分配策略，并使用SET扩展算法来解决最佳设备调度。与最先进的基准测试相比，提议的PMA-FL在两个典型的异质数据集（即Minist和CIFAR-10）上提高了2.72％和11.6％的精度。此外，提出的联合动态设备调度和资源优化方法的精度比考虑的基准略高，但它们提供了令人满意的能量和时间缩短：MNIST的29％能量或20％的时间缩短； CIFAR-10的能量和25％的能量或12.5％的时间缩短。

Emerging technologies and applications including Internet of Things (IoT), social networking, and crowd-sourcing generate large amounts of data at the network edge. Machine learning models are often built from the collected data, to enable the detection, classification, and prediction of future events. Due to bandwidth, storage, and privacy concerns, it is often impractical to send all the data to a centralized location. In this paper, we consider the problem of learning model parameters from data distributed across multiple edge nodes, without sending raw data to a centralized place. Our focus is on a generic class of machine learning models that are trained using gradientdescent based approaches. We analyze the convergence bound of distributed gradient descent from a theoretical point of view, based on which we propose a control algorithm that determines the best trade-off between local update and global parameter aggregation to minimize the loss function under a given resource budget. The performance of the proposed algorithm is evaluated via extensive experiments with real datasets, both on a networked prototype system and in a larger-scale simulated environment. The experimentation results show that our proposed approach performs near to the optimum with various machine learning models and different data distributions.

联合学习（FL）可以培训全球模型，而无需共享存储在多个设备上的分散的原始数据以保护数据隐私。由于设备的能力多样化，FL框架难以解决Straggler效应和过时模型的问题。此外，数据异质性在FL训练过程中会导致全球模型的严重准确性降解。为了解决上述问题，我们提出了一个层次同步FL框架，即Fedhisyn。 Fedhisyn首先根据其计算能力将所有可​​用的设备簇分为少数类别。经过一定的本地培训间隔后，将不同类别培训的模型同时上传到中央服务器。在单个类别中，设备根据环形拓扑会相互传达局部更新的模型权重。随着环形拓扑中训练的效率更喜欢具有均匀资源的设备，基于计算能力的分类减轻了Straggler效应的影响。此外，多个类别的同步更新与单个类别中的设备通信的组合有助于解决数据异质性问题，同时达到高精度。我们评估了基于MNIST，EMNIST，CIFAR10和CIFAR100数据集的提议框架以及设备的不同异质设置。实验结果表明，在训练准确性和效率方面，Fedhisyn的表现优于六种基线方法，例如FedAvg，脚手架和Fedat。

In recent years, mobile devices are equipped with increasingly advanced sensing and computing capabilities. Coupled with advancements in Deep Learning (DL), this opens up countless possibilities for meaningful applications, e.g., for medical purposes and in vehicular networks. Traditional cloudbased Machine Learning (ML) approaches require the data to be centralized in a cloud server or data center. However, this results in critical issues related to unacceptable latency and communication inefficiency. To this end, Mobile Edge Computing (MEC) has been proposed to bring intelligence closer to the edge, where data is produced. However, conventional enabling technologies for ML at mobile edge networks still require personal data to be shared with external parties, e.g., edge servers. Recently, in light of increasingly stringent data privacy legislations and growing privacy concerns, the concept of Federated Learning (FL) has been introduced. In FL, end devices use their local data to train an ML model required by the server. The end devices then send the model updates rather than raw data to the server for aggregation. FL can serve as an enabling technology in mobile edge networks since it enables the collaborative training of an ML model and also enables DL for mobile edge network optimization. However, in a large-scale and complex mobile edge network, heterogeneous devices with varying constraints are involved. This raises challenges of communication costs, resource allocation, and privacy and security in the implementation of FL at scale. In this survey, we begin with an introduction to the background and fundamentals of FL. Then, we highlight the aforementioned challenges of FL implementation and review existing solutions. Furthermore, we present the applications of FL for mobile edge network optimization. Finally, we discuss the important challenges and future research directions in FL.

Federated Learning (FL) has become a key choice for distributed machine learning. Initially focused on centralized aggregation, recent works in FL have emphasized greater decentralization to adapt to the highly heterogeneous network edge. Among these, Hierarchical, Device-to-Device and Gossip Federated Learning (HFL, D2DFL \& GFL respectively) can be considered as foundational FL algorithms employing fundamental aggregation strategies. A number of FL algorithms were subsequently proposed employing multiple fundamental aggregation schemes jointly. Existing research, however, subjects the FL algorithms to varied conditions and gauges the performance of these algorithms mainly against Federated Averaging (FedAvg) only. This work consolidates the FL landscape and offers an objective analysis of the major FL algorithms through a comprehensive cross-evaluation for a wide range of operating conditions. In addition to the three foundational FL algorithms, this work also analyzes six derived algorithms. To enable a uniform assessment, a multi-FL framework named FLAGS: Federated Learning AlGorithms Simulation has been developed for rapid configuration of multiple FL algorithms. Our experiments indicate that fully decentralized FL algorithms achieve comparable accuracy under multiple operating conditions, including asynchronous aggregation and the presence of stragglers. Furthermore, decentralized FL can also operate in noisy environments and with a comparably higher local update rate. However, the impact of extremely skewed data distributions on decentralized FL is much more adverse than on centralized variants. The results indicate that it may not be necessary to restrict the devices to a single FL algorithm; rather, multi-FL nodes may operate with greater efficiency.

在这项工作中，我们提出了FedSSO，这是一种用于联合学习的服务器端二阶优化方法（FL）。与以前朝这个方向的工作相反，我们在准牛顿方法中采用了服务器端近似，而无需客户的任何培训数据。通过这种方式，我们不仅将计算负担从客户端转移到服务器，而且还消除了客户和服务器之间二阶更新的附加通信。我们为我们的新方法的收敛提供了理论保证，并从经验上证明了我们在凸面和非凸面设置中的快速收敛和沟通节省。

FEDPROX算法是一种简单但功能强大的分布式近端优化方法，广泛用于联合学习（FL）而不是异质数据。尽管在实践中看到了它的知名度和杰出的成功，但对FEDPROX的理论理解在很大程度上是不足的：FedProx的吸引人的融合行为迄今在某些非标准和不切实际的地方功能的差异假设下的特征是，结果的优化仅限于优化的限制。问题。为了解决这些缺陷，我们通过算法稳定性的镜头开发了FedProx及其Minibatch随机扩展的新型局部差异不变理论。结果，我们有助于得出对FedProx的几个新的和更深入的见解，以实现联合优化的非凸面，包括：1）收敛确保独立于局部差异类型条件； 2）融合保证非平滑FL问题； 3）关于Minibatch的尺寸和采样设备的数量，线性加速。我们的理论首次揭示了局部差异和平稳性对于FedProx获得有利的复杂性界限并不是必备的。据报道，一系列基准FL数据集的初步实验结果证明了小型匹配以提高FEDPROX的样品效率的好处。

在本文中，我们研究了多服务器边缘计算中基于区块链的联合学习（BFL）的新延迟优化问题。在此系统模型中，分布式移动设备（MDS）与一组Edge服务器（ESS）通信，以同时处理机器学习（ML）模型培训和阻止开采。为了协助ML模型培训用于资源受限的MD，我们制定了一种卸载策略，使MD可以将其数据传输到相关的ESS之一。然后，我们基于共识机制在边缘层上提出了一个新的分散的ML模型聚合解决方案，以通过基于对等（P2P）基于基于的区块链通信构建全局ML模型。区块链在MDS和ESS之间建立信任，以促进可靠的ML模型共享和合作共识形成，并能够快速消除由中毒攻击引起的操纵模型。我们将延迟感知的BFL作为优化，旨在通过联合考虑数据卸载决策，MDS的传输功率，MDS数据卸载，MDS的计算分配和哈希功率分配来最大程度地减少系统延迟。鉴于离散卸载和连续分配变量的混合作用空间，我们提出了一种具有参数化优势演员评论家算法的新型深度强化学习方案。从理论上讲，我们根据聚合延迟，迷你批量大小和P2P通信回合的数量来表征BFL的收敛属性。我们的数值评估证明了我们所提出的方案优于基线，从模型训练效率，收敛速度，系统潜伏期和对模型中毒攻击的鲁棒性方面。