在互联网上应用联合学习（FL）是由他们产生的大量数据卷产生和越来越多的数据隐私问题所必需的。但是，有三种挑战需要解决，以使FL高效：（i）在具有有限的计算能力的设备上执行（ii）由于设备的计算异质性而对陷阱器进行丢包，并且（iii）适应变化的网络带宽。本文提出了一个自适应卸载FL框架，以减轻前述挑战。 FEDADATT通过利用深神经网络（DNN）的层卸载到服务器来加速在计算受限设备中的本地培训。此外，FEDADATT采用基于基于学习的优化和聚类，以便自适应地识别用于服务器上的每个单独设备的DNN的哪个层，以解决计算异质性和改变网络带宽的挑战。实验研究在包括五个物理设备的基于实验室的试验台上进行。通过将DNN从设备卸载到服务器FEDADATT与经典FL相比将典型的物联网设备的训练时间减少一半。极端陷阱和整体训练时间的培训时间可以减少高达57％。此外，随着网络带宽的变化，与经典FL相比，FEDADATT将在不牺牲精度的情况下将培训时间降低至多40％。 FEDADATT可以从https://github.com/qub-blesson/fedadapt下载。

联合学习（FL）是一种隐私保留的分布式机器学习技术，该技术培训模型而不直接访问设备上生成的原始数据。由于设备可以是资源约束，因此可以通过将计算工作负载从设备传送到边缘服务器来改善流动来改善流动。然而，由于移动性，参与FL的设备可以在训练期间离开网络，并且需要连接到不同的边缘服务器。这是具有挑战性的，因为需要迁移边缘服务器的卸载计算。符合此断言，我们提出了Fedfly，即据我们所知，当设备在FL训练期间在边缘服务器之间移动时，将深度神经网络（DNN）迁移的第一项工作。我们对CiFar-10数据集的实证结果，具有平衡和不平衡的数据分布，支持我们的索赔，即当设备在50％的培训完成后，Fedfly可以将培训时间降低到33％，达到55％当与FL中的最先进的卸载方法相比，90％的培训时。 Fedfly在2秒的开销中可以忽略不计，并且不会妥协准确。最后，我们突出了一些开放的研究问题进行进一步调查。 fedfly可以从https://github.com/qub-blesson/fedfly下载

联合学习（FL）和分裂学习（SL）是两种新兴的协作学习方法，可能会极大地促进物联网（IoT）中无处不在的智能。联合学习使机器学习（ML）模型在本地培训的模型使用私人数据汇总为全球模型。分裂学习使ML模型的不同部分可以在学习框架中对不同工人进行协作培训。联合学习和分裂学习，每个学习都有独特的优势和各自的局限性，可能会相互补充，在物联网中无处不在的智能。因此，联合学习和分裂学习的结合最近成为一个活跃的研究领域，引起了广泛的兴趣。在本文中，我们回顾了联合学习和拆分学习方面的最新发展，并介绍了有关最先进技术的调查，该技术用于将这两种学习方法组合在基于边缘计算的物联网环境中。我们还确定了一些开放问题，并讨论了该领域未来研究的可能方向，希望进一步引起研究界对这个新兴领域的兴趣。

高效联合学习是在边缘设备上培训和部署AI模型的关键挑战之一。然而，在联合学习中维护数据隐私提出了几种挑战，包括数据异质性，昂贵的通信成本和有限的资源。在本文中，我们通过（a）通过基于本地客户端的深度增强学习引入突出参数选择代理的上述问题，并在中央服务器上聚合所选择的突出参数，（b）分割正常的深度学习模型〜 （例如，CNNS）作为共享编码器和本地预测器，并通过联合学习训练共享编码器，同时通过本地自定义预测器将其知识传送到非IID客户端。所提出的方法（a）显着降低了联合学习的通信开销，并加速了模型推断，而方法（b）则在联合学习中解决数据异质性问题。此外，我们利用梯度控制机制来校正客户之间的梯度异质性。这使得训练过程更稳定并更快地收敛。实验表明，我们的方法产生了稳定的训练过程，并与最先进的方法相比实现了显着的结果。在培训VGG-11时，我们的方法明显降低了通信成本最高108 GB，并在培训Reset-20时需要7.6美元的通信开销，同时通过减少高达39.7 \％$ 39.7 \％$ vgg- 11.

In recent years, mobile devices are equipped with increasingly advanced sensing and computing capabilities. Coupled with advancements in Deep Learning (DL), this opens up countless possibilities for meaningful applications, e.g., for medical purposes and in vehicular networks. Traditional cloudbased Machine Learning (ML) approaches require the data to be centralized in a cloud server or data center. However, this results in critical issues related to unacceptable latency and communication inefficiency. To this end, Mobile Edge Computing (MEC) has been proposed to bring intelligence closer to the edge, where data is produced. However, conventional enabling technologies for ML at mobile edge networks still require personal data to be shared with external parties, e.g., edge servers. Recently, in light of increasingly stringent data privacy legislations and growing privacy concerns, the concept of Federated Learning (FL) has been introduced. In FL, end devices use their local data to train an ML model required by the server. The end devices then send the model updates rather than raw data to the server for aggregation. FL can serve as an enabling technology in mobile edge networks since it enables the collaborative training of an ML model and also enables DL for mobile edge network optimization. However, in a large-scale and complex mobile edge network, heterogeneous devices with varying constraints are involved. This raises challenges of communication costs, resource allocation, and privacy and security in the implementation of FL at scale. In this survey, we begin with an introduction to the background and fundamentals of FL. Then, we highlight the aforementioned challenges of FL implementation and review existing solutions. Furthermore, we present the applications of FL for mobile edge network optimization. Finally, we discuss the important challenges and future research directions in FL.

Unmanned aerial vehicle (UAV) swarms are considered as a promising technique for next-generation communication networks due to their flexibility, mobility, low cost, and the ability to collaboratively and autonomously provide services. Distributed learning (DL) enables UAV swarms to intelligently provide communication services, multi-directional remote surveillance, and target tracking. In this survey, we first introduce several popular DL algorithms such as federated learning (FL), multi-agent Reinforcement Learning (MARL), distributed inference, and split learning, and present a comprehensive overview of their applications for UAV swarms, such as trajectory design, power control, wireless resource allocation, user assignment, perception, and satellite communications. Then, we present several state-of-the-art applications of UAV swarms in wireless communication systems, such us reconfigurable intelligent surface (RIS), virtual reality (VR), semantic communications, and discuss the problems and challenges that DL-enabled UAV swarms can solve in these applications. Finally, we describe open problems of using DL in UAV swarms and future research directions of DL enabled UAV swarms. In summary, this survey provides a comprehensive survey of various DL applications for UAV swarms in extensive scenarios.

跨不同边缘设备（客户）局部数据的分布不均匀，导致模型训练缓慢，并降低了联合学习的准确性。幼稚的联合学习（FL）策略和大多数替代解决方案试图通过加权跨客户的深度学习模型来实现更多公平。这项工作介绍了在现实世界数据集中遇到的一种新颖的非IID类型，即集群键，其中客户组具有具有相似分布的本地数据，从而导致全局模型收敛到过度拟合的解决方案。为了处理非IID数据，尤其是群集串数据的数据，我们提出了FedDrl，这是一种新型的FL模型，它采用了深厚的强化学习来适应每个客户的影响因素（将用作聚合过程中的权重）。在一组联合数据集上进行了广泛的实验证实，拟议的FEDDR可以根据CIFAR-100数据集的平均平均为FedAvg和FedProx方法提高了有利的改进，例如，高达4.05％和2.17％。

Federated learning (FL) has emerged as a solution to deal with the risk of privacy leaks in machine learning training. This approach allows a variety of mobile devices to collaboratively train a machine learning model without sharing the raw on-device training data with the cloud. However, efficient edge deployment of FL is challenging because of the system/data heterogeneity and runtime variance. This paper optimizes the energy-efficiency of FL use cases while guaranteeing model convergence, by accounting for the aforementioned challenges. We propose FedGPO based on a reinforcement learning, which learns how to identify optimal global parameters (B, E, K) for each FL aggregation round adapting to the system/data heterogeneity and stochastic runtime variance. In our experiments, FedGPO improves the model convergence time by 2.4 times, and achieves 3.6 times higher energy efficiency over the baseline settings, respectively.

为了满足下一代无线通信网络的极其异构要求，研究界越来越依赖于使用机器学习解决方案进行实时决策和无线电资源管理。传统的机器学习采用完全集中的架构，其中整个培训数据在一个节点上收集，即云服务器，显着提高了通信开销，并提高了严重的隐私问题。迄今为止，最近提出了作为联合学习（FL）称为联合学习的分布式机器学习范式。在FL中，每个参与边缘设备通过使用自己的培训数据列举其本地模型。然后，通过无线信道，本地训练模型的权重或参数被发送到中央ps，聚合它们并更新全局模型。一方面，FL对优化无线通信网络的资源起着重要作用，另一方面，无线通信对于FL至关重要。因此，FL和无线通信之间存在“双向”关系。虽然FL是一个新兴的概念，但许多出版物已经在FL的领域发表了发布及其对下一代无线网络的应用。尽管如此，我们注意到没有任何作品突出了FL和无线通信之间的双向关系。因此，本调查纸的目的是通过提供关于FL和无线通信之间的相互依存性的及时和全面的讨论来弥合文学中的这种差距。

近年来，最终用户的多个（边缘）设备中有大量分散数据，而由于法律或法规，分散数据的聚合对机器学习工作仍然困难。联合学习（FL）作为处理分散数据而不分享敏感原始数据的有效方法，同时协作培训全球机器学习模型。 FL中的服务器需要在培训过程中选择（和计划）设备。但是，具有FL的多个作业的设备的调度仍然是一个关键和打开的问题。在本文中，我们提出了一种新的多工作FL框架，以实现多个作业的并行培训过程。该框架包括系统模型和两个调度方法。在系统模型中，我们提出了多个作业的并行培训过程，并根据各种工作培训过程基于培训时间和各种设备的数据公平构建成本模型。我们提出了一种基于钢筋的基于学习的方法和基于贝叶斯优化的方法，以便为多个作业调度设备，同时最小化成本。我们通过多个工作和数据集进行广泛的实验。实验结果表明，我们提出的方法在培训时间（速度越快8.67倍）和准确性（高度高达44.6％）方面显着优于基线。

我们研究了具有异构，有限的和时变的计算资源可用性的设备上神经网络（NNS）的分布式训练问题。我们提出了一种自适应，资源感知的设备上学习机制，诈骗性，其能够以分布式方式完全和高效地利用设备上的可用资源，增加收敛速度。这是通过辍学机制实现的，该机制通过随机丢弃模型的卷积层的滤波器来动态调整训练NN的计算复杂性。我们的主要贡献是引入设计空间探索（DSE）技术，其在训练的资源需求和收敛速度上找到了Paripo-Optimal的每层丢弃向量。应用此技术，每个设备都能够动态地选择丢弃载体，符合其可用资源而不需要服务器的任何帮助。我们在联合学习（FL）系统中实施我们的解决方案，计算资源的可用性在设备和随着时间的推移之间变化，并且通过广泛的评估显示我们能够在不损害的情况下显着增加艺术状态的收敛速度最终准确性。

在本文中，我们研究了多服务器边缘计算中基于区块链的联合学习（BFL）的新延迟优化问题。在此系统模型中，分布式移动设备（MDS）与一组Edge服务器（ESS）通信，以同时处理机器学习（ML）模型培训和阻止开采。为了协助ML模型培训用于资源受限的MD，我们制定了一种卸载策略，使MD可以将其数据传输到相关的ESS之一。然后，我们基于共识机制在边缘层上提出了一个新的分散的ML模型聚合解决方案，以通过基于对等（P2P）基于基于的区块链通信构建全局ML模型。区块链在MDS和ESS之间建立信任，以促进可靠的ML模型共享和合作共识形成，并能够快速消除由中毒攻击引起的操纵模型。我们将延迟感知的BFL作为优化，旨在通过联合考虑数据卸载决策，MDS的传输功率，MDS数据卸载，MDS的计算分配和哈希功率分配来最大程度地减少系统延迟。鉴于离散卸载和连续分配变量的混合作用空间，我们提出了一种具有参数化优势演员评论家算法的新型深度强化学习方案。从理论上讲，我们根据聚合延迟，迷你批量大小和P2P通信回合的数量来表征BFL的收敛属性。我们的数值评估证明了我们所提出的方案优于基线，从模型训练效率，收敛速度，系统潜伏期和对模型中毒攻击的鲁棒性方面。

Federated Learning (FL) is a machine learning paradigm that enables the training of a shared global model across distributed clients while keeping the training data local. While most prior work on designing systems for FL has focused on using stateful always running components, recent work has shown that components in an FL system can greatly benefit from the usage of serverless computing and Function-as-a-Service technologies. To this end, distributed training of models with severless FL systems can be more resource-efficient and cheaper than conventional FL systems. However, serverless FL systems still suffer from the presence of stragglers, i.e., slow clients due to their resource and statistical heterogeneity. While several strategies have been proposed for mitigating stragglers in FL, most methodologies do not account for the particular characteristics of serverless environments, i.e., cold-starts, performance variations, and the ephemeral stateless nature of the function instances. Towards this, we propose FedLesScan, a novel clustering-based semi-asynchronous training strategy, specifically tailored for serverless FL. FedLesScan dynamically adapts to the behaviour of clients and minimizes the effect of stragglers on the overall system. We implement our strategy by extending an open-source serverless FL system called FedLess. Moreover, we comprehensively evaluate our strategy using the 2nd generation Google Cloud Functions with four datasets and varying percentages of stragglers. Results from our experiments show that compared to other approaches FedLesScan reduces training time and cost by an average of 8% and 20% respectively while utilizing clients better with an average increase in the effective update ratio of 17.75%.

随着数据生成越来越多地在没有连接连接的设备上进行，因此与机器学习（ML）相关的流量将在无线网络中无处不在。许多研究表明，传统的无线协议高效或不可持续以支持ML，这创造了对新的无线通信方法的需求。在这项调查中，我们对最先进的无线方法进行了详尽的审查，这些方法是专门设计用于支持分布式数据集的ML服务的。当前，文献中有两个明确的主题，模拟的无线计算和针对ML优化的数字无线电资源管理。这项调查对这些方法进行了全面的介绍，回顾了最重要的作品，突出了开放问题并讨论了应用程序方案。

联合学习（FL）是一种培训技术，使客户端设备能够通过聚合本地计算的模型来共同学习共享模型，而无需暴露其原始数据。虽然大多数现有工作侧重于提高流动模型准确性，但在本文中，我们专注于提高培训效率，这往往是采用现实世界应用的流域的障碍。具体而言，我们设计了一个有效的FL框架，该框架共同优化了模型精度，处理延迟和通信效率，所有这些都是FL实际实施的主要设计考虑因素。灵感来自近期多智能经纪增强学习（MARL）在解决复杂控制问题方面的成功，我们呈现\ TEXTIT {FEDMARL}，基于MARL为基础的FL框架，它执行有效的运行时客户端选择。实验表明，Fedmarl可以显着提高模型准确性，处理延迟和通信成本要低得多。

分布式深度学习框架，如联合学习（FL）及其变体都是在广泛的Web客户端和移动/ IOT设备上实现个性化体验。然而，由于模型参数的爆炸增长（例如，十亿参数模型），基于FL的框架受到客户的计算资源的限制。拆分学习（SL），最近的框架，通过拆分客户端和服务器之间的模型培训来减少客户端计算负载。这种灵活性对于低计算设置非常有用，但通常以带宽消耗的增加成本而实现，并且可能导致次优化会聚，尤其是当客户数据异构时。在这项工作中，我们介绍了adasplit，通过降低带宽消耗并提高异构客户端的性能，使得能够将SL有效地缩放到低资源场景。为了捕获和基准的分布式深度学习的多维性质，我们还介绍了C3分数，是评估资源预算下的性能。我们通过与强大联邦和分裂学习基线的大量实验比较进行了大量实验比较，验证了adasplit在有限的资源下的有效性。我们还展示了adasplit中关键设计选择的敏感性分析，该选择验证了adasplit在可变资源预算中提供适应性权衡的能力。

联合学习（FL）能够通过定期聚合培训的本地参数来在多个边缘用户执行大的分布式机器学习任务。为了解决在无线迷雾云系统上实现支持的关键挑战（例如，非IID数据，用户异质性），我们首先基于联合平均（称为FedFog）的高效流行算法来执行梯度参数的本地聚合在云端的FOG服务器和全球培训更新。接下来，我们通过调查新的网络知识的流动系统，在无线雾云系统中雇用FEDFog，这促使了全局损失和完成时间之间的平衡。然后开发了一种迭代算法以获得系统性能的精确测量，这有助于设计有效的停止标准以输出适当数量的全局轮次。为了缓解级体效果，我们提出了一种灵活的用户聚合策略，可以先培训快速用户在允许慢速用户加入全局培训更新之前获得一定程度的准确性。提供了使用若干现实世界流行任务的广泛数值结果来验证FEDFOG的理论融合。我们还表明，拟议的FL和通信的共同设计对于在实现学习模型的可比准确性的同时，基本上提高资源利用是必要的。

联合学习（FL）可以对机器学习模型进行分布式培训，同时将个人数据保存在用户设备上。尽管我们目睹了FL在移动传感领域的越来越多的应用，例如人类活动识别（HAR），但在多设备环境（MDE）的背景下，尚未对FL进行研究，其中每个用户都拥有多个数据生产设备。随着移动设备和可穿戴设备的扩散，MDE在Ubicomp设置中越来越受欢迎，因此需要对其中的FL进行研究。 MDE中的FL的特征是在客户和设备异质性的存在中并不复杂，并不是独立的，并且在客户端之间并非独立分布（非IID）。此外，确保在MDE中有效利用佛罗里达州客户的系统资源仍然是一个重要的挑战。在本文中，我们提出了以用户为中心的FL培训方法来应对MDE中的统计和系统异质性，并在设备之间引起推理性能的一致性。火焰功能（i）以用户为中心的FL培训，利用同一用户的设备之间的时间对齐； （ii）准确性和效率感知设备的选择； （iii）对设备的个性化模型。我们还提出了具有现实的能量流量和网络带宽配置文件的FL评估测试，以及一种基于类的新型数据分配方案，以将现有HAR数据集扩展到联合设置。我们在三个多设备HAR数据集上的实验结果表明，火焰的表现优于各种基准，F1得分高4.3-25.8％，能源效率提高1.02-2.86倍，并高达2.06倍的收敛速度，以通过FL的公平分布来获得目标准确性工作量。

尽管深度神经网络（DNN）已成为多个无处不在的应用程序的骨干技术，但它们在资源受限的机器中的部署，例如物联网（IoT）设备，仍然具有挑战性。为了满足这种范式的资源要求，引入了与IoT协同作用的深入推断。但是，DNN网络的分布遭受严重的数据泄漏。已经提出了各种威胁，包括黑盒攻击，恶意参与者可以恢复送入其设备的任意输入。尽管许多对策旨在实现隐私的DNN，但其中大多数会导致额外的计算和较低的准确性。在本文中，我们提出了一种方法，该方法通过重新考虑分配策略而无需牺牲模型性能来针对协作深度推断的安全性。特别是，我们检查了使该模型容易受到黑盒威胁的不同DNN分区，并得出了应分配每个设备的数据量以隐藏原始输入的所有权。我们将这种方法制定为一种优化，在该方法中，我们在共同推导的延迟与数据级别的数据级别之间建立了权衡。接下来，为了放大最佳解决方案，我们将方法塑造为支持异质设备以及多个DNN/数据集的增强学习（RL）设计。

联合学习（FL）可以培训全球模型，而无需共享存储在多个设备上的分散的原始数据以保护数据隐私。由于设备的能力多样化，FL框架难以解决Straggler效应和过时模型的问题。此外，数据异质性在FL训练过程中会导致全球模型的严重准确性降解。为了解决上述问题，我们提出了一个层次同步FL框架，即Fedhisyn。 Fedhisyn首先根据其计算能力将所有可​​用的设备簇分为少数类别。经过一定的本地培训间隔后，将不同类别培训的模型同时上传到中央服务器。在单个类别中，设备根据环形拓扑会相互传达局部更新的模型权重。随着环形拓扑中训练的效率更喜欢具有均匀资源的设备，基于计算能力的分类减轻了Straggler效应的影响。此外，多个类别的同步更新与单个类别中的设备通信的组合有助于解决数据异质性问题，同时达到高精度。我们评估了基于MNIST，EMNIST，CIFAR10和CIFAR100数据集的提议框架以及设备的不同异质设置。实验结果表明，在训练准确性和效率方面，Fedhisyn的表现优于六种基线方法，例如FedAvg，脚手架和Fedat。