机器学习模型已在移动网络中部署，以处理来自不同层的数据，以实现自动化网络管理和设备的智能。为了克服集中式机器学习的高度沟通成本和严重的隐私问题，已提出联合学习（FL）来实现网络设备之间的分布式机器学习。虽然在FL中广泛研究了计算和通信限制，但仍未探索设备存储对FL性能的影响。如果没有有效有效的数据选择政策来过滤设备上的大量流媒体数据，经典FL可能会遭受更长的模型训练时间（超过$ 4 \ times $）和显着的推理准确性（超过$ 7 \％\％$），则遭受了损失，观察到了。在我们的实验中。在这项工作中，我们迈出了第一步，考虑使用有限的在设备存储的FL的在线数据选择。我们首先定义了一个新的数据评估度量，以在FL中进行数据选择：在设备数据样本上，局部梯度在所有设备的数据上投影到全球梯度上。我们进一步设计\ textbf {ode}，一个\ textbf {o} nline \ textbf {d} ata s \ textbf {e textbf {e} fl for f for fl f textbf {o}的框架，用于协作网络设备，以协作存储有价值的数据示例，并保证用于快速的理论保证同时提高模型收敛并增强最终模型精度。一项工业任务（移动网络流量分类）和三个公共任务（综合任务，图像分类，人类活动识别）的实验结果显示了ODE的显着优势，而不是最先进的方法。特别是，在工业数据集上，ODE的成就高达$ 2.5 \ times $ $加速的培训时间和6美元的最终推理准确性增加，并且在实践环境中对各种因素都有强大的态度。

随着数据生成越来越多地在没有连接连接的设备上进行，因此与机器学习（ML）相关的流量将在无线网络中无处不在。许多研究表明，传统的无线协议高效或不可持续以支持ML，这创造了对新的无线通信方法的需求。在这项调查中，我们对最先进的无线方法进行了详尽的审查，这些方法是专门设计用于支持分布式数据集的ML服务的。当前，文献中有两个明确的主题，模拟的无线计算和针对ML优化的数字无线电资源管理。这项调查对这些方法进行了全面的介绍，回顾了最重要的作品，突出了开放问题并讨论了应用程序方案。

In recent years, mobile devices are equipped with increasingly advanced sensing and computing capabilities. Coupled with advancements in Deep Learning (DL), this opens up countless possibilities for meaningful applications, e.g., for medical purposes and in vehicular networks. Traditional cloudbased Machine Learning (ML) approaches require the data to be centralized in a cloud server or data center. However, this results in critical issues related to unacceptable latency and communication inefficiency. To this end, Mobile Edge Computing (MEC) has been proposed to bring intelligence closer to the edge, where data is produced. However, conventional enabling technologies for ML at mobile edge networks still require personal data to be shared with external parties, e.g., edge servers. Recently, in light of increasingly stringent data privacy legislations and growing privacy concerns, the concept of Federated Learning (FL) has been introduced. In FL, end devices use their local data to train an ML model required by the server. The end devices then send the model updates rather than raw data to the server for aggregation. FL can serve as an enabling technology in mobile edge networks since it enables the collaborative training of an ML model and also enables DL for mobile edge network optimization. However, in a large-scale and complex mobile edge network, heterogeneous devices with varying constraints are involved. This raises challenges of communication costs, resource allocation, and privacy and security in the implementation of FL at scale. In this survey, we begin with an introduction to the background and fundamentals of FL. Then, we highlight the aforementioned challenges of FL implementation and review existing solutions. Furthermore, we present the applications of FL for mobile edge network optimization. Finally, we discuss the important challenges and future research directions in FL.

联合学习（FL）和分裂学习（SL）是两种新兴的协作学习方法，可能会极大地促进物联网（IoT）中无处不在的智能。联合学习使机器学习（ML）模型在本地培训的模型使用私人数据汇总为全球模型。分裂学习使ML模型的不同部分可以在学习框架中对不同工人进行协作培训。联合学习和分裂学习，每个学习都有独特的优势和各自的局限性，可能会相互补充，在物联网中无处不在的智能。因此，联合学习和分裂学习的结合最近成为一个活跃的研究领域，引起了广泛的兴趣。在本文中，我们回顾了联合学习和拆分学习方面的最新发展，并介绍了有关最先进技术的调查，该技术用于将这两种学习方法组合在基于边缘计算的物联网环境中。我们还确定了一些开放问题，并讨论了该领域未来研究的可能方向，希望进一步引起研究界对这个新兴领域的兴趣。

联合学习（FL）根据多个本地客户端协同聚合共享全球模型，同时保持培训数据分散以保护数据隐私。但是，标准的FL方法忽略了嘈杂的客户问题，这可能会损害聚合模型的整体性能。在本文中，我们首先分析了嘈杂的客户声明，然后用不同的噪声分布模型噪声客户端（例如，Bernoulli和截断的高斯分布）。要使用嘈杂的客户，我们提出了一个简单但有效的FL框架，名为联邦嘈杂的客户学习（FED-NCL），它是一个即插即用算法，并包含两个主要组件：动态的数据质量测量（DQM）量化每个参与客户端的数据质量，以及噪声鲁棒聚合（NRA），通过共同考虑本地训练数据和每个客户端的数据质量来自适应地聚合每个客户端的本地模型。我们的FED-NCL可以轻松应用于任何标准的流行流以处理嘈杂的客户端问题。各种数据集的实验结果表明，我们的算法提高了具有嘈杂客户端的不同现实系统的性能。

联合学习（FL）可以对机器学习模型进行分布式培训，同时将个人数据保存在用户设备上。尽管我们目睹了FL在移动传感领域的越来越多的应用，例如人类活动识别（HAR），但在多设备环境（MDE）的背景下，尚未对FL进行研究，其中每个用户都拥有多个数据生产设备。随着移动设备和可穿戴设备的扩散，MDE在Ubicomp设置中越来越受欢迎，因此需要对其中的FL进行研究。 MDE中的FL的特征是在客户和设备异质性的存在中并不复杂，并不是独立的，并且在客户端之间并非独立分布（非IID）。此外，确保在MDE中有效利用佛罗里达州客户的系统资源仍然是一个重要的挑战。在本文中，我们提出了以用户为中心的FL培训方法来应对MDE中的统计和系统异质性，并在设备之间引起推理性能的一致性。火焰功能（i）以用户为中心的FL培训，利用同一用户的设备之间的时间对齐； （ii）准确性和效率感知设备的选择； （iii）对设备的个性化模型。我们还提出了具有现实的能量流量和网络带宽配置文件的FL评估测试，以及一种基于类的新型数据分配方案，以将现有HAR数据集扩展到联合设置。我们在三个多设备HAR数据集上的实验结果表明，火焰的表现优于各种基准，F1得分高4.3-25.8％，能源效率提高1.02-2.86倍，并高达2.06倍的收敛速度，以通过FL的公平分布来获得目标准确性工作量。

Federated learning (FL) allows multiple clients cooperatively train models without disclosing local data. However, the existing works fail to address all these practical concerns in FL: limited communication resources, dynamic network conditions and heterogeneous client properties, which slow down the convergence of FL. To tackle the above challenges, we propose a heterogeneity-aware FL framework, called FedCG, with adaptive client selection and gradient compression. Specifically, the parameter server (PS) selects a representative client subset considering statistical heterogeneity and sends the global model to them. After local training, these selected clients upload compressed model updates matching their capabilities to the PS for aggregation, which significantly alleviates the communication load and mitigates the straggler effect. We theoretically analyze the impact of both client selection and gradient compression on convergence performance. Guided by the derived convergence rate, we develop an iteration-based algorithm to jointly optimize client selection and compression ratio decision using submodular maximization and linear programming. Extensive experiments on both real-world prototypes and simulations show that FedCG can provide up to 5.3$\times$ speedup compared to other methods.

联合学习（FL）可以培训全球模型，而无需共享存储在多个设备上的分散的原始数据以保护数据隐私。由于设备的能力多样化，FL框架难以解决Straggler效应和过时模型的问题。此外，数据异质性在FL训练过程中会导致全球模型的严重准确性降解。为了解决上述问题，我们提出了一个层次同步FL框架，即Fedhisyn。 Fedhisyn首先根据其计算能力将所有可​​用的设备簇分为少数类别。经过一定的本地培训间隔后，将不同类别培训的模型同时上传到中央服务器。在单个类别中，设备根据环形拓扑会相互传达局部更新的模型权重。随着环形拓扑中训练的效率更喜欢具有均匀资源的设备，基于计算能力的分类减轻了Straggler效应的影响。此外，多个类别的同步更新与单个类别中的设备通信的组合有助于解决数据异质性问题，同时达到高精度。我们评估了基于MNIST，EMNIST，CIFAR10和CIFAR100数据集的提议框架以及设备的不同异质设置。实验结果表明，在训练准确性和效率方面，Fedhisyn的表现优于六种基线方法，例如FedAvg，脚手架和Fedat。

跨不同边缘设备（客户）局部数据的分布不均匀，导致模型训练缓慢，并降低了联合学习的准确性。幼稚的联合学习（FL）策略和大多数替代解决方案试图通过加权跨客户的深度学习模型来实现更多公平。这项工作介绍了在现实世界数据集中遇到的一种新颖的非IID类型，即集群键，其中客户组具有具有相似分布的本地数据，从而导致全局模型收敛到过度拟合的解决方案。为了处理非IID数据，尤其是群集串数据的数据，我们提出了FedDrl，这是一种新型的FL模型，它采用了深厚的强化学习来适应每个客户的影响因素（将用作聚合过程中的权重）。在一组联合数据集上进行了广泛的实验证实，拟议的FEDDR可以根据CIFAR-100数据集的平均平均为FedAvg和FedProx方法提高了有利的改进，例如，高达4.05％和2.17％。

联合学习（FL）是一种有效的分布式机器学习范式，以隐私的方式采用私人数据集。 FL的主要挑战是，END设备通常具有各种计算和通信功能，其培训数据并非独立且分布相同（非IID）。由于在移动网络中此类设备的通信带宽和不稳定的可用性，因此只能在每个回合中选择最终设备（也称为参与者或客户端的参与者或客户端）。因此，使用有效的参与者选择方案来最大程度地提高FL的性能，包括最终模型的准确性和训练时间，这一点至关重要。在本文中，我们对FL的参与者选择技术进行了评论。首先，我们介绍FL并突出参与者选择期间的主要挑战。然后，我们根据其解决方案来审查现有研究并将其分类。最后，根据我们对该主题领域最新的分析的分析，我们为FL的参与者选择提供了一些未来的指示。

Federated learning (FL) is a method to train model with distributed data from numerous participants such as IoT devices. It inherently assumes a uniform capacity among participants. However, participants have diverse computational resources in practice due to different conditions such as different energy budgets or executing parallel unrelated tasks. It is necessary to reduce the computation overhead for participants with inefficient computational resources, otherwise they would be unable to finish the full training process. To address the computation heterogeneity, in this paper we propose a strategy for estimating local models without computationally intensive iterations. Based on it, we propose Computationally Customized Federated Learning (CCFL), which allows each participant to determine whether to perform conventional local training or model estimation in each round based on its current computational resources. Both theoretical analysis and exhaustive experiments indicate that CCFL has the same convergence rate as FedAvg without resource constraints. Furthermore, CCFL can be viewed of a computation-efficient extension of FedAvg that retains model performance while considerably reducing computation overhead.

联合学习（FL）在分布式客户端上培训机器学习模型，而不会暴露单个数据。与通常基于仔细组织的数据的集中培训不同，FL处理通常不混阻和不平衡的设备数据。因此，处理所有数据的传统流行训练协议同样地导致浪费本地计算资源，并减慢全局学习过程。为此，我们提出了一个系统性的FLBalancer，它积极选择客户的培训样本。我们的示例选择策略在尊重客户端的隐私和计算能力的同时优先确定更多“信息性”数据。为了更好地利用样本选择来加速全球培训，我们进一步推出了一种自适应截止日期控制方案，该方案预测每个轮的最佳截止日期，具有不同的客户端列车数据。与具有截止日期配置方法的现有流算法相比，我们对三个不同域的五个数据集的评估表明，FedBalancer将时间至准确性的性能提高1.22〜4.62倍，同时提高模型精度1.0〜3.3％。我们还表明，通过展示在与三种不同的FL算法共同运行时，FedBalancer提高了收敛速度和准确性，可以随时适用于其他流动方法。

联邦学习（FL）的最新进展为大规模的分布式客户带来了大规模的机器学习机会，具有绩效和数据隐私保障。然而，大多数当前的工作只关注FL中央控制器的兴趣，忽略了客户的利益。这可能导致不公平，阻碍客户积极参与学习过程并损害整个流动系统的可持续性。因此，在佛罗里达州确保公平的主题吸引了大量的研究兴趣。近年来，已经提出了各种公平知识的FL（FAFL）方法，以努力实现不同观点的流体公平。但是，没有全面的调查，帮助读者能够深入了解这种跨学科领域。本文旨在提供这样的调查。通过审查本领域现有文献所采用的基本和简化的假设，提出了涵盖FL的主要步骤的FAFL方法的分类，包括客户选择，优化，贡献评估和激励分配。此外，我们讨论了实验评估FAFL方法表现的主要指标，并建议了一些未来的未来研究方向。

使用人工智能（AI）赋予无线网络中数据量的前所未有的数据量激增，为提供无处不在的数据驱动智能服务而开辟了新的视野。通过集中收集数据集和培训模型来实现传统的云彩中心学习（ML）基础的服务。然而，这种传统的训练技术包括两个挑战：（i）由于数据通信增加而导致的高通信和能源成本，（ii）通过允许不受信任的各方利用这些信息来威胁数据隐私。最近，鉴于这些限制，一种新兴的新兴技术，包括联合学习（FL），以使ML带到无线网络的边缘。通过以分布式方式培训全局模型，可以通过FL Server策划的全局模型来提取数据孤岛的好处。 FL利用分散的数据集和参与客户的计算资源，在不影响数据隐私的情况下开发广义ML模型。在本文中，我们介绍了对FL的基本面和能够实现技术的全面调查。此外，提出了一个广泛的研究，详细说明了无线网络中的流体的各种应用，并突出了他们的挑战和局限性。进一步探索了FL的疗效，其新兴的前瞻性超出了第五代（B5G）和第六代（6G）通信系统。本调查的目的是在关键的无线技术中概述了流动的技术，这些技术将作为建立对该主题的坚定了解的基础。最后，我们向未来的研究方向提供前进的道路。

由于机器学习（ML）模型变得越来越复杂，其中一个中央挑战是它们在规模的部署，使得公司和组织可以通过人工智能（AI）创造价值。 ML中的新兴范式是一种联合方法，其中学习模型部分地将其交付给一组异构剂，允许代理与自己的数据一起培训模型。然而，模型的估值问题，以及数据/模型的协作培训和交易的激励问题，在文献中获得了有限的待遇。本文提出了一种在基于信任区块基网络上交易的ML模型交易的新生态系统。买方可以获得ML市场的兴趣模型，兴趣的卖家将本地计算花在他们的数据上，以增强该模型的质量。在这样做时，考虑了本地数据与训练型型号的质量之间的比例关系，并且通过分布式数据福价（DSV）估计了销售课程中的训练中的数据的估值。同时，通过分布式分区技术（DLT）提供整个交易过程的可信度。对拟议方法的广泛实验评估显示出具有竞争力的运行时间绩效，在参与者的激励方面下降了15 \％。

最近，基于区块链的联合学习（BFL）引起了密集的研究关注，因为培训过程是可审核的，并且该体系结构无助于避免了Vanilla Federated学习（VFL）中参数服务器的单点故障。然而，BFL大大升级了通信流量量，因为BFL客户端获得的所有本地模型更新（即，模型参数的更改）都将转移给所有矿工进行验证以及所有客户端以进行聚合。相比之下，参数服务器和VFL中的客户端仅保留汇总模型更新。因此，BFL的巨大沟通流量将不可避免地损害培训效率，并阻碍BFL现实的部署。为了提高BFL的实用性，我们是第一个通过压缩BFL中的通信（称为BCFL）来提出基于快速区块链的联合学习框架的人之一。同时，我们得出了BCFL的收敛速率，而非凸损失损失。为了最大化最终模型的准确性，我们进一步提出问题，以最大程度地减少收敛率的训练损失，而相对于压缩率和块生成速率的训练时间有限，这是BI-CONVEX优化问题，可以是有效解决。最后，为了证明BCFL的效率，我们对标准CIFAR-10和女权主义数据集进行了广泛的实验。我们的实验结果不仅验证了我们的分析的正确性，而且还表明BCFL可以显着将通信流量降低95-98％，或者与BFL相比，训练时间缩短了90-95％。

为了满足下一代无线通信网络的极其异构要求，研究界越来越依赖于使用机器学习解决方案进行实时决策和无线电资源管理。传统的机器学习采用完全集中的架构，其中整个培训数据在一个节点上收集，即云服务器，显着提高了通信开销，并提高了严重的隐私问题。迄今为止，最近提出了作为联合学习（FL）称为联合学习的分布式机器学习范式。在FL中，每个参与边缘设备通过使用自己的培训数据列举其本地模型。然后，通过无线信道，本地训练模型的权重或参数被发送到中央ps，聚合它们并更新全局模型。一方面，FL对优化无线通信网络的资源起着重要作用，另一方面，无线通信对于FL至关重要。因此，FL和无线通信之间存在“双向”关系。虽然FL是一个新兴的概念，但许多出版物已经在FL的领域发表了发布及其对下一代无线网络的应用。尽管如此，我们注意到没有任何作品突出了FL和无线通信之间的双向关系。因此，本调查纸的目的是通过提供关于FL和无线通信之间的相互依存性的及时和全面的讨论来弥合文学中的这种差距。

联合学习（FL）可以使用学习者使用本地数据进行分布式培训，从而增强隐私和减少沟通。但是，它呈现出与数据分布，设备功能和参与者可用性的异质性有关的众多挑战，作为部署量表，这可能会影响模型融合和偏置。现有的FL方案使用随机参与者选择来提高公平性;然而，这可能导致资源低效和更低的质量培训。在这项工作中，我们系统地解决了FL中的资源效率问题，展示了智能参与者选择的好处，并将更新从争吵的参与者纳入。我们展示了这些因素如何实现资源效率，同时还提高了训练有素的模型质量。

本文介绍了FLSYS的设计，实施和评估，一种支持移动应用的深度学习模型的移动云联合学习（FL）系统。 Flsys是创建使用这些模型的FL模型和应用程序开放生态系统的关键组件。 FLSYS旨在使用在智能手机上收集的移动感应数据，平衡模型性能，在手机上使用资源消耗，容忍手机通信故障，并在云中实现可扩展性。在FLSYS中，可以通过不同的应用程序培训云中具有不同流量的不同DL模型，并通过不同的应用程序同时访问和访问。此外，Flsys为第三方应用程序开发人员提供了培训FL模型的共同API。 flsys是在Android和AWS云中实现的。我们在野生FL模型中与人类活动识别（HAR）共同设计了FLSYS。在五个月的时间内，在100+大学生手机的两个地区收集了掌握数据。我们实施了Har-Wild，一种针对移动设备定制的CNN模型，具有数据增强机制，以减轻非独立和相同分布的（非IID）数据的问题，这些数据影响野外的流动模型训练。情绪分析（SA）模型用于演示FLSYS如何有效地支持并发模型，并且它使用446个用户的DataSet具有46,000多个推文。我们对Android手机和仿真器进行了广泛的实验，表明Flsys实现了良好的模型实用性和实际系统性能。

联合学习允许多个参与者在不公开数据隐私的情况下协作培训高效模型。但是，这种分布式的机器学习培训方法容易受到拜占庭客户的攻击，拜占庭客户通过修改模型或上传假梯度来干扰全球模型的训练。在本文中，我们提出了一种基于联邦学习（CMFL）的新型无服务器联合学习框架委员会机制，该机制可以确保算法具有融合保证的鲁棒性。在CMFL中，设立了一个委员会系统，以筛选上载已上传的本地梯度。 The committee system selects the local gradients rated by the elected members for the aggregation procedure through the selection strategy, and replaces the committee member through the election strategy.基于模型性能和防御的不同考虑，设计了两种相反的选择策略是为了精确和鲁棒性。广泛的实验表明，与典型的联邦学习相比，与传统的稳健性相比，CMFL的融合和更高的准确性比传统的稳健性，以分散的方法的方式获得了传统的耐受性算法。此外，我们理论上分析并证明了在不同的选举和选择策略下CMFL的收敛性，这与实验结果一致。