Privacy, security, and bandwidth constraints have led to federated learning (FL) in wireless systems, where training a machine learning (ML) model is accomplished collaboratively without sharing raw data. Often, such collaborative FL strategies necessitate model aggregation at a server. On the other hand, decentralized FL necessitates that participating clients reach a consensus ML model by exchanging parameter updates. In this work, we propose the over-the-air clustered wireless FL (CWFL) strategy, which eliminates the need for a strong central server and yet achieves an accuracy similar to the server-based strategy while using fewer channel uses as compared to decentralized FL. We theoretically show that the convergence rate of CWFL per cluster is O(1/T) while mitigating the impact of noise. Using the MNIST and CIFAR datasets, we demonstrate the accuracy performance of CWFL for the different number of clusters across communication rounds.

当上行链路和下行链路通信都有错误时联合学习（FL）工作吗？通信噪音可以处理多少，其对学习性能的影响是什么？这项工作致力于通过明确地纳入流水线中的上行链路和下行链路嘈杂的信道来回答这些实际重要的问题。我们在同时上行链路和下行链路嘈杂通信通道上提供了多种新的融合分析，其包括完整和部分客户端参与，直接模型和模型差分传输，以及非独立和相同分布的（IID）本地数据集。这些分析表征了嘈杂通道的流动条件，使其具有与无通信错误的理想情况相同的融合行为。更具体地，为了保持FEDAVG的O（1 / T）具有完美通信的O（1 / T）收敛速率，应控制用于直接模型传输的上行链路和下行链路信噪比（SNR），使得它们被缩放为O（t ^ 2）其中T是通信轮的索引，但可以保持常量的模型差分传输。这些理论结果的关键洞察力是“雷达下的飞行”原则 - 随机梯度下降（SGD）是一个固有的噪声过程，并且可以容忍上行链路/下行链路通信噪声，只要它们不占据时变的SGD噪声即可。我们举例说明了具有两种广泛采用的通信技术 - 传输功率控制和多样性组合的这些理论发现 - 并通过使用多个真实世界流动任务的广泛数值实验进一步通过标准方法验证它们的性能优势。

联邦边缘学习（诱导）吸引了许多隐私范例的关注，以有效地纳入网络边缘的分布式数据来训练深度学习模型。然而，单个边缘服务器的有限覆盖范围导致参与者的客户节点数量不足，这可能会损害学习性能。在本文中，我们调查了一种新颖的感觉框架，即半分散的联邦边缘学习（SD-INES），其中采用多个边缘服务器集体协调大量客户端节点。通过利用边缘服务器之间的低延迟通信进行高效的模型共享，SD-Feels可以包含更多的培训数据，同时与传统联合学习相比享受更低的延迟。我们详细介绍了三个主要步骤的SD感觉的培训算法，包括本地模型更新，群集内部和群集间模型聚合。在非独立和相同分布的（非IID）数据上证明了该算法的收敛性，这也有助于揭示关键参数对培训效率的影响，并提供实用的设计指南。同时，边缘装置的异质性可能导致级体效应并降低SD感应的收敛速度。为了解决这个问题，我们提出了一种具有SD-Iave的稳定性舒长方案的异步训练算法，其中，还分析了收敛性能。模拟结果展示了所提出的SD感觉和证实我们分析的算法的有效性和效率。

Federated Learning (FL) has become a key choice for distributed machine learning. Initially focused on centralized aggregation, recent works in FL have emphasized greater decentralization to adapt to the highly heterogeneous network edge. Among these, Hierarchical, Device-to-Device and Gossip Federated Learning (HFL, D2DFL \& GFL respectively) can be considered as foundational FL algorithms employing fundamental aggregation strategies. A number of FL algorithms were subsequently proposed employing multiple fundamental aggregation schemes jointly. Existing research, however, subjects the FL algorithms to varied conditions and gauges the performance of these algorithms mainly against Federated Averaging (FedAvg) only. This work consolidates the FL landscape and offers an objective analysis of the major FL algorithms through a comprehensive cross-evaluation for a wide range of operating conditions. In addition to the three foundational FL algorithms, this work also analyzes six derived algorithms. To enable a uniform assessment, a multi-FL framework named FLAGS: Federated Learning AlGorithms Simulation has been developed for rapid configuration of multiple FL algorithms. Our experiments indicate that fully decentralized FL algorithms achieve comparable accuracy under multiple operating conditions, including asynchronous aggregation and the presence of stragglers. Furthermore, decentralized FL can also operate in noisy environments and with a comparably higher local update rate. However, the impact of extremely skewed data distributions on decentralized FL is much more adverse than on centralized variants. The results indicate that it may not be necessary to restrict the devices to a single FL algorithm; rather, multi-FL nodes may operate with greater efficiency.

Multi-task learning (MTL) is a learning paradigm to learn multiple related tasks simultaneously with a single shared network where each task has a distinct personalized header network for fine-tuning. MTL can be integrated into a federated learning (FL) setting if tasks are distributed across clients and clients have a single shared network, leading to personalized federated learning (PFL). To cope with statistical heterogeneity in the federated setting across clients which can significantly degrade the learning performance, we use a distributed dynamic weighting approach. To perform the communication between the remote parameter server (PS) and the clients efficiently over the noisy channel in a power and bandwidth-limited regime, we utilize over-the-air (OTA) aggregation and hierarchical federated learning (HFL). Thus, we propose hierarchical over-the-air (HOTA) PFL with a dynamic weighting strategy which we call HOTA-FedGradNorm. Our algorithm considers the channel conditions during the dynamic weight selection process. We conduct experiments on a wireless communication system dataset (RadComDynamic). The experimental results demonstrate that the training speed with HOTA-FedGradNorm is faster compared to the algorithms with a naive static equal weighting strategy. In addition, HOTA-FedGradNorm provides robustness against the negative channel effects by compensating for the channel conditions during the dynamic weight selection process.

联合学习（FL）引发了高通信开销，这可以通过压缩模型更新而大大缓解。然而，网络环境中压缩和模型精度之间的权衡仍不清楚，为简单起见，大多数实现仅采用固定压缩率。在本文中，我们首次系统地检查了该权衡，识别压缩误差对最终模型精度的影响，相对于学习率。具体而言，我们将每个全局迭代的压缩误差因其强大凸面和非凸损耗下的收敛速度分析。然后，我们通过策略性地调整每次迭代中的压缩速率来提高最终模型精度来最大化最终模型精度的适应框架。我们讨论了具有代表压缩算法的实用网络中框架的关键实施问题。对流行的MNIST和CIFAR-10数据集的实验证实，我们的解决方案有效地降低了网络流量，但在FL中保持了高模型精度。

我们检查了通过直播（OTA）聚合的联合学习（FL），移动用户（MUS）旨在借助聚合本地梯度的参数服务器（PS）在全球模型上达成共识。在OTA FL中，MUS在每个训练回合中使用本地数据训练他们的模型，并以未编码的方式使用相同的频带同时传输其梯度。根据超级梯度的接收信号，PS执行全局模型更新。尽管OTA FL的通信成本显着降低，但它容易受到不利的通道影响和噪声的影响。在接收器侧采用多个天线可以减少这些效果，但是对于远离PS的用户来说，路径损失仍然是一个限制因素。为了改善此问题，在本文中，我们提出了一种基于无线的层次FL方案，该方案使用中间服务器（ISS）在MUS更密集的区域形成簇。我们的计划利用OTA群集聚合与MUS与其相应的IS进行交流，而OTA全球聚合从ISS到PS。我们提出了针对所提出算法的收敛分析，并通过对使用ISS的衍生分析表达式和实验结果的数值评估显示，与单独使用较少的传输功率相比，利用ISS的结果比单独的OTA FL具有更快的收敛性和更好的性能。我们还使用不同数量的群集迭代以及不同数据集和数据分布来验证性能的结果。我们得出的结论是，群集聚集的最佳选择取决于MUS和集群之间的数据分布。

最近，基于区块链的联合学习（BFL）引起了密集的研究关注，因为培训过程是可审核的，并且该体系结构无助于避免了Vanilla Federated学习（VFL）中参数服务器的单点故障。然而，BFL大大升级了通信流量量，因为BFL客户端获得的所有本地模型更新（即，模型参数的更改）都将转移给所有矿工进行验证以及所有客户端以进行聚合。相比之下，参数服务器和VFL中的客户端仅保留汇总模型更新。因此，BFL的巨大沟通流量将不可避免地损害培训效率，并阻碍BFL现实的部署。为了提高BFL的实用性，我们是第一个通过压缩BFL中的通信（称为BCFL）来提出基于快速区块链的联合学习框架的人之一。同时，我们得出了BCFL的收敛速率，而非凸损失损失。为了最大化最终模型的准确性，我们进一步提出问题，以最大程度地减少收敛率的训练损失，而相对于压缩率和块生成速率的训练时间有限，这是BI-CONVEX优化问题，可以是有效解决。最后，为了证明BCFL的效率，我们对标准CIFAR-10和女权主义数据集进行了广泛的实验。我们的实验结果不仅验证了我们的分析的正确性，而且还表明BCFL可以显着将通信流量降低95-98％，或者与BFL相比，训练时间缩短了90-95％。

本文研究了与参数服务器的个人任意交流模式的异步联合学习（FL）。我们提出了FedMobile，这是一种新的异步FL算法，可利用移动FL系统的移动性属性来提高学习性能。关键想法是利用移动网络中的随机客户对客户通信，通过上传和下载继电器与服务器创建其他间接通信机会。我们证明了FedMobile实现了收敛率$ o（\ frac {1} {\ sqrt {nt}}）$，其中$ n $是客户端的数量，$ t $是通信插槽的数量，并显示该显示的是最佳设计涉及在接力的最佳时机上进行有趣的权衡。我们的分析表明，随着迁移率的增加，异步FL使用FEDMOBILE会更快地收敛。实验结果在合成数据集和两个现实世界数据集上验证了我们的理论发现。

知识共享和模型个性化是应对联邦学习（FL）中非IID挑战的重要组成部分。大多数现有的FL方法侧重于两个极端：1）学习共享模型，以使用非IID数据为所有客户提供服务，以及2）为每个客户（即个性化fl）学习个性化模型。有一个权衡解决方案，即群集或集群个性化的FL，旨在将相似的客户聚集到一个集群中，然后在集群中为所有客户学习共享模型。本文是通过将群集群集制定为可以统一现有方法的双层优化框架来重新审视群集的研究。我们提出了一个新的理论分析框架，以通过考虑客户之间的凝聚力来证明融合。此外，我们以一种称为加权聚类联合学习（WECFL）的算法体现了该框架。经验分析验证了理论结果，并证明了在拟议的集群非IID设置下提出的WECFL的有效性。

联邦边缘学习（诱导）已成为一种有效的方法来减少基于云的机器学习解决方案的大型通信延迟，同时保留数据隐私。不幸的是，由于单边簇中的训练数据有限，感觉的学习性能可能会受到损害。在本文中，我们调查了一种新颖的感觉框架，即半分散的联邦边缘学习（SD-Inve）。通过允许不同边缘集群的模型聚合，SD-vee致力于减少培训延迟的感觉，同时通过访问来自多个边缘集群的更丰富的训练数据来提高学习性能。介绍了每轮三个主要过程的SD-ide的训练算法，包括本地模型更新，集群内部和群集间模型聚合，这被证明是在非独立和相同分布的（非IID）数据上收敛。我们还表征了边缘服务器的网络拓扑之间的相互作用以及在训练性能上群集间模型聚合的通信开销。实验结果证实了我们的分析，并展示了SD-FFEL在实现比传统联邦学习架构更快的收敛方面的有效性。此外，还提供了选择训练算法关键超参数的指导方针。

数据异构联合学习（FL）系统遭受了两个重要的收敛误差来源：1）客户漂移错误是由于在客户端执行多个局部优化步骤而引起的，以及2）部分客户参与错误，这是一个事实，仅一小部分子集边缘客户参加每轮培训。我们发现其中，只有前者在文献中受到了极大的关注。为了解决这个问题，我们提出了FedVarp，这是在服务器上应用的一种新颖的差异算法，它消除了由于部分客户参与而导致的错误。为此，服务器只是将每个客户端的最新更新保持在内存中，并将其用作每回合中非参与客户的替代更新。此外，为了减轻服务器上的内存需求，我们提出了一种新颖的基于聚类的方差降低算法clusterfedvarp。与以前提出的方法不同，FedVarp和ClusterFedVarp均不需要在客户端上进行其他计算或其他优化参数的通信。通过广泛的实验，我们表明FedVarp优于最先进的方法，而ClusterFedVarp实现了与FedVarp相当的性能，并且记忆要求较少。

联合学习（FL）是一个蓬勃发展的分布式机器学习框架，其中中心参数服务器（PS）协调许多本地用户以训练全局一致的模型。传统的联合学习不可避免地依赖于具有PS的集中拓扑。因此，一旦PS失败，它将瘫痪。为了缓解如此单点故障，特别是在PS上，一些现有的工作已经提供了CDSGD和D-PSGD等分散的FL（DFL）实现，以便于分散拓扑中的流体。然而，这些方法仍存在一些问题，例如，在CDSGD中的用户最终模型和D-PSGD中的网络范围的模型平均必需品之间存在一些问题。为了解决这些缺陷，本文设计了一种作为DACFL的新DFL实现，其中每个用户使用自己的训练数据列举其模型，并通过对称和双随机矩阵将中间模型与其邻居交换。 DACFL将每个用户本地培训的进度视为离散时间过程，并采用第一个订单动态平均共识（FODAC）方法来跟踪\ Texit {平均模型}在没有PS的情况下。在本文中，我们还提供了DACFL的理论收敛性分析，即在I.I.D数据的前提下，以加强其合理性。 Mnist，Fashion-Mnist和CiFar-10的实验结果验证了我们在几间不变性和时变网络拓扑中的解决方案的可行性，并在大多数情况下声明DACFL优于D-PSGD和CDSGD。

Federated学习（FL）作为保护分布式机器学习框架引起了很多关注，许多客户通过将模型更新与参数服务器交换而不是共享其原始数据来协作训练机器学习模型。然而，FL培训遭受了缓慢的收敛性和不稳定的性能，这是由于客户的异质计算资源引起的散乱者和沟通率的波动。本文提出了一个编码的FL框架来减轻Straggler问题，即随机编码的联合学习（SCFL）。在此框架中，每个客户端通过将附加噪声添加到其本地数据的随机线性组合中，从而生成一个隐私的编码数据集。服务器从所有客户端收集编码的数据集来构建复合数据集，这有助于补偿散布效果。在培训过程中，服务器和客户端执行迷你批次随机梯度下降（SGD），并且服务器在模型聚合中添加了一个化妆术语，以获得无偏的梯度估计。我们通过共同信息差异隐私（MI-DP）来表征隐私保证，并分析联合学习中的收敛性能。此外，我们通过分析隐私约束对收敛率的影响，证明了拟议的SCFL方法的隐私性绩效权衡。最后，数值实验证实了我们的分析，并显示了SCFL在保持数据隐私的同时实现快速收敛的好处。

联合学习（FL）能够通过定期聚合培训的本地参数来在多个边缘用户执行大的分布式机器学习任务。为了解决在无线迷雾云系统上实现支持的关键挑战（例如，非IID数据，用户异质性），我们首先基于联合平均（称为FedFog）的高效流行算法来执行梯度参数的本地聚合在云端的FOG服务器和全球培训更新。接下来，我们通过调查新的网络知识的流动系统，在无线雾云系统中雇用FEDFog，这促使了全局损失和完成时间之间的平衡。然后开发了一种迭代算法以获得系统性能的精确测量，这有助于设计有效的停止标准以输出适当数量的全局轮次。为了缓解级体效果，我们提出了一种灵活的用户聚合策略，可以先培训快速用户在允许慢速用户加入全局培训更新之前获得一定程度的准确性。提供了使用若干现实世界流行任务的广泛数值结果来验证FEDFOG的理论融合。我们还表明，拟议的FL和通信的共同设计对于在实现学习模型的可比准确性的同时，基本上提高资源利用是必要的。

联邦边缘学习（诱导）被认为是一个隐私保留的移动边缘网络的分布式学习框架。在这项工作中，我们调查了一种新的半分散式感觉（SD-enve）架构，其中多个边缘服务器协作以将更多数据从边缘设备纳入训练中。尽管通过快速聚合使能低训练延迟，但计算资源中的设备异质性劣化了效率。本文提出了一种异步训练算法来克服这个问题，其中边缘服务器可以独立设置相关的客户端节点的截止日期并触发模型聚合。要处理不同层次的僵化，我们设计了一个僵化意识的聚合方案并分析其收敛性能。仿真结果展示了我们所提出的算法在实现更快的收敛性和更好的学习性能方面的有效性。

Federated Learning（FL）是一个出色的分布式机器学习框架，因为它在数据隐私和沟通效率方面的好处。由于由于资源的限制，在许多情况下的全面客户参与是不可行的，因此已经研究了部分参与算法，该算法主动选择/采样了一部分客户的子集，旨在实现接近全面参与案例的学习绩效。本文研究了一种被动的部分客户参与方案，该场景知之甚少，其中部分参与是外部事件的结果，即客户辍学，而不是FL算法的决定。我们将fl与客户辍学者一起作为特殊情况，即较大的FL问题，客户可以在其中提交替代（可能不准确）本地模型更新。基于我们的收敛分析，我们开发了一种新的算法FL-FDM，该算法会发现客户的朋友（即数据分布相似的客户），并使用朋友的本地更新作为辍学客户的替代品，从而减少替换错误并改善收敛性能。复杂性降低机制也被纳入FL-FDMS，使其在理论上是合理的，而且实际上有用。关于MNIST和CIFAR-10的实验证实了FL-FDM在处理FL中辍学时的出色性能。

在最新的联合学习研究（FL）的研究中，广泛采用了客户选择方案来处理沟通效率的问题。但是，从随机选择的非代表性子集汇总的模型更新的较大差异直接减慢了FL收敛性。我们提出了一种新型的基于聚类的客户选择方案，以通过降低方差加速FL收敛。简单而有效的方案旨在改善聚类效果并控制效果波动，因此，以采样的一定代表性生成客户子集。从理论上讲，我们证明了降低方差方案的改进。由于差异的差异，我们还提供了提出方法的更严格的收敛保证。实验结果证实了与替代方案相比，我们计划的效率超出了效率。

随着数据生成越来越多地在没有连接连接的设备上进行，因此与机器学习（ML）相关的流量将在无线网络中无处不在。许多研究表明，传统的无线协议高效或不可持续以支持ML，这创造了对新的无线通信方法的需求。在这项调查中，我们对最先进的无线方法进行了详尽的审查，这些方法是专门设计用于支持分布式数据集的ML服务的。当前，文献中有两个明确的主题，模拟的无线计算和针对ML优化的数字无线电资源管理。这项调查对这些方法进行了全面的介绍，回顾了最重要的作品，突出了开放问题并讨论了应用程序方案。

Cell-free massive MIMO is emerging as a promising technology for future wireless communication systems, which is expected to offer uniform coverage and high spectral efficiency compared to classical cellular systems. We study in this paper how cell-free massive MIMO can support federated edge learning. Taking advantage of the additive nature of the wireless multiple access channel, over-the-air computation is exploited, where the clients send their local updates simultaneously over the same communication resource. This approach, known as over-the-air federated learning (OTA-FL), is proven to alleviate the communication overhead of federated learning over wireless networks. Considering channel correlation and only imperfect channel state information available at the central server, we propose a practical implementation of OTA-FL over cell-free massive MIMO. The convergence of the proposed implementation is studied analytically and experimentally, confirming the benefits of cell-free massive MIMO for OTA-FL.