Low Earth Orbit (LEO) constellations, each comprising a large number of satellites, have become a new source of big data "from the sky". Downloading such data to a ground station (GS) for big data analytics demands very high bandwidth and involves large propagation delays. Federated Learning (FL) offers a promising solution because it allows data to stay in-situ (never leaving satellites) and it only needs to transmit machine learning model parameters (trained on the satellites' data). However, the conventional, synchronous FL process can take several days to train a single FL model in the context of satellite communication (Satcom), due to a bottleneck caused by straggler satellites. In this paper, we propose an asynchronous FL framework for LEO constellations called AsyncFLEO to improve FL efficiency in Satcom. Not only does AsynFLEO address the bottleneck (idle waiting) in synchronous FL, but it also solves the issue of model staleness caused by straggler satellites. AsyncFLEO utilizes high-altitude platforms (HAPs) positioned "in the sky" as parameter servers, and consists of three technical components: (1) a ring-of-stars communication topology, (2) a model propagation algorithm, and (3) a model aggregation algorithm with satellite grouping and staleness discounting. Our extensive evaluation with both IID and non-IID data shows that AsyncFLEO outperforms the state of the art by a large margin, cutting down convergence delay by 22 times and increasing accuracy by 40%.

在过去的几年中，低地球轨道（LEO）卫星星座在过去几年中的部署激增，因为它们能够提供宽带互联网访问以及收集大量的地球观测数据，这些数据可用于在全球上开发AI规模。由于传统的机器学习（ML）方法通过将卫星数据下载到地面站（GS）不实用，因此联合学习（FL）提供了潜在的解决方案。但是，由于训练时间过长和不可靠的卫星GS通信渠道，现有的FL方法无法轻易使用。在本文中，我们通过将高空平台（HAP）作为分布式参数服务器（PSS）引入FL，以进行SATCOM（或更具体的Leo星座），以实现快速有效的模型培训，将FEDHAP作为分布式参数服务器（PSS）提出。 FEDHAP由三个组成部分组成：1）分层通信拓扑，2）模型传播算法和3）模型聚合算法。我们的广泛模拟表明，与最先进的基线相比，FEDHAP显着加速了FL模型的收敛，从而将训练时间从几天减少到几个小时，但可以达到更高的准确性。

The space-air-ground integrated network (SAGIN), one of the key technologies for next-generation mobile communication systems, can facilitate data transmission for users all over the world, especially in some remote areas where vast amounts of informative data are collected by Internet of remote things (IoRT) devices to support various data-driven artificial intelligence (AI) services. However, training AI models centrally with the assistance of SAGIN faces the challenges of highly constrained network topology, inefficient data transmission, and privacy issues. To tackle these challenges, we first propose a novel topology-aware federated learning framework for the SAGIN, namely Olive Branch Learning (OBL). Specifically, the IoRT devices in the ground layer leverage their private data to perform model training locally, while the air nodes in the air layer and the ring-structured low earth orbit (LEO) satellite constellation in the space layer are in charge of model aggregation (synchronization) at different scales.To further enhance communication efficiency and inference performance of OBL, an efficient Communication and Non-IID-aware Air node-Satellite Assignment (CNASA) algorithm is designed by taking the data class distribution of the air nodes as well as their geographic locations into account. Furthermore, we extend our OBL framework and CNASA algorithm to adapt to more complex multi-orbit satellite networks. We analyze the convergence of our OBL framework and conclude that the CNASA algorithm contributes to the fast convergence of the global model. Extensive experiments based on realistic datasets corroborate the superior performance of our algorithm over the benchmark policies.

在低地球轨道（LEO）Mega Constellation中，有相关的用例，例如基于卫星成像的推断，其中大量卫星在不共享其本地数据集的情况下协作机器学习模型。为了解决这个问题，我们提出了一种基于联合学习（FL）的新一套算法，包括基于FedAVG的新型异步流程，其对异构情景具有比最先进的异构情景更好的鲁棒性。基于MNIST和CIFAR-10数据集的广泛数值评估突出了所提出的方法的快速收敛速度和优异的渐近试验精度。

联合学习（FL）可以培训全球模型，而无需共享存储在多个设备上的分散的原始数据以保护数据隐私。由于设备的能力多样化，FL框架难以解决Straggler效应和过时模型的问题。此外，数据异质性在FL训练过程中会导致全球模型的严重准确性降解。为了解决上述问题，我们提出了一个层次同步FL框架，即Fedhisyn。 Fedhisyn首先根据其计算能力将所有可​​用的设备簇分为少数类别。经过一定的本地培训间隔后，将不同类别培训的模型同时上传到中央服务器。在单个类别中，设备根据环形拓扑会相互传达局部更新的模型权重。随着环形拓扑中训练的效率更喜欢具有均匀资源的设备，基于计算能力的分类减轻了Straggler效应的影响。此外，多个类别的同步更新与单个类别中的设备通信的组合有助于解决数据异质性问题，同时达到高精度。我们评估了基于MNIST，EMNIST，CIFAR10和CIFAR100数据集的提议框架以及设备的不同异质设置。实验结果表明，在训练准确性和效率方面，Fedhisyn的表现优于六种基线方法，例如FedAvg，脚手架和Fedat。

随着数据生成越来越多地在没有连接连接的设备上进行，因此与机器学习（ML）相关的流量将在无线网络中无处不在。许多研究表明，传统的无线协议高效或不可持续以支持ML，这创造了对新的无线通信方法的需求。在这项调查中，我们对最先进的无线方法进行了详尽的审查，这些方法是专门设计用于支持分布式数据集的ML服务的。当前，文献中有两个明确的主题，模拟的无线计算和针对ML优化的数字无线电资源管理。这项调查对这些方法进行了全面的介绍，回顾了最重要的作品，突出了开放问题并讨论了应用程序方案。

In recent years, mobile devices are equipped with increasingly advanced sensing and computing capabilities. Coupled with advancements in Deep Learning (DL), this opens up countless possibilities for meaningful applications, e.g., for medical purposes and in vehicular networks. Traditional cloudbased Machine Learning (ML) approaches require the data to be centralized in a cloud server or data center. However, this results in critical issues related to unacceptable latency and communication inefficiency. To this end, Mobile Edge Computing (MEC) has been proposed to bring intelligence closer to the edge, where data is produced. However, conventional enabling technologies for ML at mobile edge networks still require personal data to be shared with external parties, e.g., edge servers. Recently, in light of increasingly stringent data privacy legislations and growing privacy concerns, the concept of Federated Learning (FL) has been introduced. In FL, end devices use their local data to train an ML model required by the server. The end devices then send the model updates rather than raw data to the server for aggregation. FL can serve as an enabling technology in mobile edge networks since it enables the collaborative training of an ML model and also enables DL for mobile edge network optimization. However, in a large-scale and complex mobile edge network, heterogeneous devices with varying constraints are involved. This raises challenges of communication costs, resource allocation, and privacy and security in the implementation of FL at scale. In this survey, we begin with an introduction to the background and fundamentals of FL. Then, we highlight the aforementioned challenges of FL implementation and review existing solutions. Furthermore, we present the applications of FL for mobile edge network optimization. Finally, we discuss the important challenges and future research directions in FL.

联合学习（FL）是一个分布式的机器学习框架，可以减轻数据孤岛，在该筒仓中，分散的客户在不共享其私人数据的情况下协作学习全球模型。但是，客户的非独立且相同分布的（非IID）数据对训练有素的模型产生了负面影响，并且具有不同本地更新的客户可能会在每个通信回合中对本地梯度造成巨大差距。在本文中，我们提出了一种联合矢量平均（FedVeca）方法来解决上述非IID数据问题。具体而言，我们为与本地梯度相关的全球模型设定了一个新的目标。局部梯度定义为具有步长和方向的双向向量，其中步长为局部更新的数量，并且根据我们的定义将方向分为正和负。在FedVeca中，方向受步尺的影响，因此我们平均双向向量，以降低不同步骤尺寸的效果。然后，我们理论上分析了步骤大小与全球目标之间的关系，并在每个通信循环的步骤大小上获得上限。基于上限，我们为服务器和客户端设计了一种算法，以自适应调整使目标接近最佳的步骤大小。最后，我们通过构建原型系统对不同数据集，模型和场景进行实验，实验结果证明了FedVeca方法的有效性和效率。

联合学习（FL）和分裂学习（SL）是两种新兴的协作学习方法，可能会极大地促进物联网（IoT）中无处不在的智能。联合学习使机器学习（ML）模型在本地培训的模型使用私人数据汇总为全球模型。分裂学习使ML模型的不同部分可以在学习框架中对不同工人进行协作培训。联合学习和分裂学习，每个学习都有独特的优势和各自的局限性，可能会相互补充，在物联网中无处不在的智能。因此，联合学习和分裂学习的结合最近成为一个活跃的研究领域，引起了广泛的兴趣。在本文中，我们回顾了联合学习和拆分学习方面的最新发展，并介绍了有关最先进技术的调查，该技术用于将这两种学习方法组合在基于边缘计算的物联网环境中。我们还确定了一些开放问题，并讨论了该领域未来研究的可能方向，希望进一步引起研究界对这个新兴领域的兴趣。

使用人工智能（AI）赋予无线网络中数据量的前所未有的数据量激增，为提供无处不在的数据驱动智能服务而开辟了新的视野。通过集中收集数据集和培训模型来实现传统的云彩中心学习（ML）基础的服务。然而，这种传统的训练技术包括两个挑战：（i）由于数据通信增加而导致的高通信和能源成本，（ii）通过允许不受信任的各方利用这些信息来威胁数据隐私。最近，鉴于这些限制，一种新兴的新兴技术，包括联合学习（FL），以使ML带到无线网络的边缘。通过以分布式方式培训全局模型，可以通过FL Server策划的全局模型来提取数据孤岛的好处。 FL利用分散的数据集和参与客户的计算资源，在不影响数据隐私的情况下开发广义ML模型。在本文中，我们介绍了对FL的基本面和能够实现技术的全面调查。此外，提出了一个广泛的研究，详细说明了无线网络中的流体的各种应用，并突出了他们的挑战和局限性。进一步探索了FL的疗效，其新兴的前瞻性超出了第五代（B5G）和第六代（6G）通信系统。本调查的目的是在关键的无线技术中概述了流动的技术，这些技术将作为建立对该主题的坚定了解的基础。最后，我们向未来的研究方向提供前进的道路。

联合学习（FL）能够通过定期聚合培训的本地参数来在多个边缘用户执行大的分布式机器学习任务。为了解决在无线迷雾云系统上实现支持的关键挑战（例如，非IID数据，用户异质性），我们首先基于联合平均（称为FedFog）的高效流行算法来执行梯度参数的本地聚合在云端的FOG服务器和全球培训更新。接下来，我们通过调查新的网络知识的流动系统，在无线雾云系统中雇用FEDFog，这促使了全局损失和完成时间之间的平衡。然后开发了一种迭代算法以获得系统性能的精确测量，这有助于设计有效的停止标准以输出适当数量的全局轮次。为了缓解级体效果，我们提出了一种灵活的用户聚合策略，可以先培训快速用户在允许慢速用户加入全局培训更新之前获得一定程度的准确性。提供了使用若干现实世界流行任务的广泛数值结果来验证FEDFOG的理论融合。我们还表明，拟议的FL和通信的共同设计对于在实现学习模型的可比准确性的同时，基本上提高资源利用是必要的。

最近，联邦学习（FL）获得了深入的研究，因为它具有为分散客户提供协作训练机器学习模型的数据隐私的能力。通常，部署了参数服务器（PS）来汇总不同客户端贡献的模型参数。分散的联合学习（DFL）已从FL升级，该学习允许客户直接与邻居聚集模型参数。 DFL对于车辆网络特别可行，因为车辆以车辆到车辆（V2V）方式相互通信。但是，由于车辆路线和通信距离的限制，单个车辆很难与他人充分交流模型。促成单个车辆模型的数据源可能没有足够多样化，从而导致模型准确性差。为了解决这个问题，我们提出了DFL-DDS（带有多元化数据源）算法的DFL-DDS，以使DFL中的数据源多样化。具体而言，每辆车都保持状态向量以记录每个数据源对其模型的贡献权重。采用Kullback-Leibler（KL）差异来衡量国家向量的多样性。为了提高DFL的收敛性，车辆通过最大程度地减少其状态向量的KL差异来调整每个数据源的聚合权重，并且可以在理论上证明其在多元化数据源中的有效性。最后，通过广泛的实验（使用MNIST和CIFAR-10数据集）评估DFL-DDS的优势，这些实验表明DFL-DD可以加速DFL的收敛性，并显着提高模型的准确性，并显着提高与最先进的盆地相比。

Federated Learning (FL) has become a key choice for distributed machine learning. Initially focused on centralized aggregation, recent works in FL have emphasized greater decentralization to adapt to the highly heterogeneous network edge. Among these, Hierarchical, Device-to-Device and Gossip Federated Learning (HFL, D2DFL \& GFL respectively) can be considered as foundational FL algorithms employing fundamental aggregation strategies. A number of FL algorithms were subsequently proposed employing multiple fundamental aggregation schemes jointly. Existing research, however, subjects the FL algorithms to varied conditions and gauges the performance of these algorithms mainly against Federated Averaging (FedAvg) only. This work consolidates the FL landscape and offers an objective analysis of the major FL algorithms through a comprehensive cross-evaluation for a wide range of operating conditions. In addition to the three foundational FL algorithms, this work also analyzes six derived algorithms. To enable a uniform assessment, a multi-FL framework named FLAGS: Federated Learning AlGorithms Simulation has been developed for rapid configuration of multiple FL algorithms. Our experiments indicate that fully decentralized FL algorithms achieve comparable accuracy under multiple operating conditions, including asynchronous aggregation and the presence of stragglers. Furthermore, decentralized FL can also operate in noisy environments and with a comparably higher local update rate. However, the impact of extremely skewed data distributions on decentralized FL is much more adverse than on centralized variants. The results indicate that it may not be necessary to restrict the devices to a single FL algorithm; rather, multi-FL nodes may operate with greater efficiency.

联合学习（FL）是一个新的人工智能概念，它使得互联网（IoT）设备能够学习协作模型，而无需将原始数据发送到集中的节点进行处理。尽管有许多优势，但在物联网设备上的计算资源较低，交换模型参数的高通信成本使得FL在大型物联网网络中的应用非常有限。在这项工作中，我们为非常大的物联网网络开发了一种新型的FL压缩方案，称为高压联合学习（HCFL）。 HCFL可以减少FL过程的数据负载，而无需更改其结构和超参数。通过这种方式，我们不仅可以显着降低沟通成本，而且使密集学习过程更适应低计算资源的物联网设备。此外，我们研究了IoT设备数量与FL模型的收敛水平之间的关系，从而更好地评估了FL过程的质量。我们在模拟和数学分析中演示了HCFL方案。我们提出的理论研究可以用作最低满意度的水平，证明在满足确定的配置时，FL过程可以实现良好的性能。因此，我们表明HCFL适用于具有许多物联网设备的任何FLENTECTED网络。

提出了联合学习（FL），以促进分布式环境中模型的培训。它支持（本地）数据隐私的保护，并使用本地资源进行模型培训。到目前为止，大多数研究一直致力于“核心问题”，例如机器学习算法对FL，数据隐私保护或处理客户之间不均匀数据分布的影响。此贡献锚定在实际的用例中，在这种情况下，FL将实际部署在生态系统的互联网中。因此，在文献中发现了一些流行的考虑之外，还需要考虑一些不同的问题。此外，引入了一种构建灵活和适应性的FL解决方案的体系结构。

联邦边缘学习（诱导）吸引了许多隐私范例的关注，以有效地纳入网络边缘的分布式数据来训练深度学习模型。然而，单个边缘服务器的有限覆盖范围导致参与者的客户节点数量不足，这可能会损害学习性能。在本文中，我们调查了一种新颖的感觉框架，即半分散的联邦边缘学习（SD-INES），其中采用多个边缘服务器集体协调大量客户端节点。通过利用边缘服务器之间的低延迟通信进行高效的模型共享，SD-Feels可以包含更多的培训数据，同时与传统联合学习相比享受更低的延迟。我们详细介绍了三个主要步骤的SD感觉的培训算法，包括本地模型更新，群集内部和群集间模型聚合。在非独立和相同分布的（非IID）数据上证明了该算法的收敛性，这也有助于揭示关键参数对培训效率的影响，并提供实用的设计指南。同时，边缘装置的异质性可能导致级体效应并降低SD感应的收敛速度。为了解决这个问题，我们提出了一种具有SD-Iave的稳定性舒长方案的异步训练算法，其中，还分析了收敛性能。模拟结果展示了所提出的SD感觉和证实我们分析的算法的有效性和效率。

由于对个人数据隐私的不断增长和当地客户的迅速增长的数据量，Federated Learnated（FL）的动机已成为新的机器学习设置。 FL系统由中央参数服务器和多个本地客户端组成。它将数据保留在本地客户端，并通过共享本地学到的模型参数来学习集中式模型。不需要共享本地数据，并且可以很好地保护隐私。然而，由于它是模型而不是共享的原始数据，因此系统可以暴露于恶意客户端发起的中毒模型攻击。此外，由于服务器上没有本地客户端数据，因此确定恶意客户端是一项挑战。此外，仍然可以使用上载模型估算客户本地数据，从而导致隐私披露。在这项工作中，我们首先提出了一个基于模型更新的联合平均算法，以防御拜占庭式攻击，例如加性噪声攻击和弹药攻击。提出了单个客户模型初始化方法，以通过隐藏各个本地机器学习模型来提供进一步的隐私保护。在结合这两个方案时，隐私和安全性都可以有效地增强。当没有攻击时，提出的方案被证明在非IID数据分布下实验会收敛。在拜占庭式攻击下，提议的方案的表现要比基于经典模型的FedAvg算法要好得多。

联合学习（FL）是一种新颖的学习范式，可解决集中学习的隐私泄漏挑战。但是，在FL中，具有非独立和相同分布（非IID）特征的用户可能会恶化全局模型的性能。具体而言，由于非IID数据，全局模型受到权重差异的挑战。为了应对上述挑战，我们提出了机器学习（ML）模型（FIDDIF）的新型扩散策略，以通过非IID数据最大化FL性能。在FedDif中，用户通过D2D通信将本地模型传播给相邻用户。 FedDif使本地模型能够在参数聚合之前体验不同的分布。此外，从理论上讲，我们证明了FedDif可以规避体重差异挑战。在理论的基础上，我们提出了ML模型的沟通效率扩散策略，该策略可以决定基于拍卖理论的学习绩效和沟通成本之间的权衡。绩效评估结果表明，与非IID设置相比，FedDIF将全球模型的测试准确性提高了11％。此外，与最新方法相比

为了满足下一代无线通信网络的极其异构要求，研究界越来越依赖于使用机器学习解决方案进行实时决策和无线电资源管理。传统的机器学习采用完全集中的架构，其中整个培训数据在一个节点上收集，即云服务器，显着提高了通信开销，并提高了严重的隐私问题。迄今为止，最近提出了作为联合学习（FL）称为联合学习的分布式机器学习范式。在FL中，每个参与边缘设备通过使用自己的培训数据列举其本地模型。然后，通过无线信道，本地训练模型的权重或参数被发送到中央ps，聚合它们并更新全局模型。一方面，FL对优化无线通信网络的资源起着重要作用，另一方面，无线通信对于FL至关重要。因此，FL和无线通信之间存在“双向”关系。虽然FL是一个新兴的概念，但许多出版物已经在FL的领域发表了发布及其对下一代无线网络的应用。尽管如此，我们注意到没有任何作品突出了FL和无线通信之间的双向关系。因此，本调查纸的目的是通过提供关于FL和无线通信之间的相互依存性的及时和全面的讨论来弥合文学中的这种差距。

通过参与大规模联合学习（FL）优化的设备的异构性质的激励，我们专注于由区块链（BC）技术赋予的异步服务器的FL解决方案。与主要采用的FL方法相比，假设同步操作，我们提倡一个异步方法，由此，模型聚合作为客户端提交本地更新。异步设置与具有异构客户端的实际大规模设置中的联合优化思路非常适合。因此，它可能导致通信开销和空闲时段的效率提高。为了评估启用了BC启用的FL的学习完成延迟，我们提供了基于批量服务队列理论的分析模型。此外，我们提供仿真结果以评估同步和异步机制的性能。涉及BC启用的流量的重要方面，例如网络大小，链路容量或用户要求，并分析并分析。随着我们的结果表明，同步设置导致比异步案例更高的预测精度。然而，异步联合优化在许多情况下提供了更低的延迟，从而在处理大数据集时成为一种吸引力的FL解决方案，严重的时序约束（例如，近实时应用）或高度不同的训练数据。