Federated learning (FL) enables distributed model training from local data collected by users. In distributed systems with constrained resources and potentially high dynamics, e.g., mobile edge networks, the efficiency of FL is an important problem. Existing works have separately considered different configurations to make FL more efficient, such as infrequent transmission of model updates, client subsampling, and compression of update vectors. However, an important open problem is how to jointly apply and tune these control knobs in a single FL algorithm, to achieve the best performance by allowing a high degree of freedom in control decisions. In this paper, we address this problem and propose FlexFL - an FL algorithm with multiple options that can be adjusted flexibly. Our FlexFL algorithm allows both arbitrary rates of local computation at clients and arbitrary amounts of communication between clients and the server, making both the computation and communication resource consumption adjustable. We prove a convergence upper bound of this algorithm. Based on this result, we further propose a stochastic optimization formulation and algorithm to determine the control decisions that (approximately) minimize the convergence bound, while conforming to constraints related to resource consumption. The advantage of our approach is also verified using experiments.

联合学习（FL）算法通常在每个圆数（部分参与）大并且服务器的通信带宽有限时对每个轮子（部分参与）进行分数。近期对FL的收敛分析的作品专注于无偏见的客户采样，例如，随机均匀地采样，由于高度的系统异质性和统计异质性而均匀地采样。本文旨在设计一种自适应客户采样算法，可以解决系统和统计异质性，以最小化壁时钟收敛时间。我们获得了具有任意客户端采样概率的流动算法的新的遗传融合。基于界限，我们分析了建立了总学习时间和采样概率之间的关系，这导致了用于训练时间最小化的非凸优化问题。我们设计一种高效的算法来学习收敛绑定中未知参数，并开发低复杂性算法以大致解决非凸面问题。硬件原型和仿真的实验结果表明，与几个基线采样方案相比，我们所提出的采样方案显着降低了收敛时间。值得注意的是，我们的硬件原型的方案比均匀的采样基线花费73％，以达到相同的目标损失。

Emerging technologies and applications including Internet of Things (IoT), social networking, and crowd-sourcing generate large amounts of data at the network edge. Machine learning models are often built from the collected data, to enable the detection, classification, and prediction of future events. Due to bandwidth, storage, and privacy concerns, it is often impractical to send all the data to a centralized location. In this paper, we consider the problem of learning model parameters from data distributed across multiple edge nodes, without sending raw data to a centralized place. Our focus is on a generic class of machine learning models that are trained using gradientdescent based approaches. We analyze the convergence bound of distributed gradient descent from a theoretical point of view, based on which we propose a control algorithm that determines the best trade-off between local update and global parameter aggregation to minimize the loss function under a given resource budget. The performance of the proposed algorithm is evaluated via extensive experiments with real datasets, both on a networked prototype system and in a larger-scale simulated environment. The experimentation results show that our proposed approach performs near to the optimum with various machine learning models and different data distributions.

Federated learning (FL) allows multiple clients cooperatively train models without disclosing local data. However, the existing works fail to address all these practical concerns in FL: limited communication resources, dynamic network conditions and heterogeneous client properties, which slow down the convergence of FL. To tackle the above challenges, we propose a heterogeneity-aware FL framework, called FedCG, with adaptive client selection and gradient compression. Specifically, the parameter server (PS) selects a representative client subset considering statistical heterogeneity and sends the global model to them. After local training, these selected clients upload compressed model updates matching their capabilities to the PS for aggregation, which significantly alleviates the communication load and mitigates the straggler effect. We theoretically analyze the impact of both client selection and gradient compression on convergence performance. Guided by the derived convergence rate, we develop an iteration-based algorithm to jointly optimize client selection and compression ratio decision using submodular maximization and linear programming. Extensive experiments on both real-world prototypes and simulations show that FedCG can provide up to 5.3$\times$ speedup compared to other methods.

联合学习（FL）使多个设备能够在不共享其个人数据的情况下协作学习全局模型。在现实世界应用中，不同的各方可能具有异质数据分布和有限的通信带宽。在本文中，我们有兴趣提高FL系统的通信效率。我们根据梯度规范的重要性调查和设计设备选择策略。特别是，我们的方法包括在每个通信轮中选择具有最高梯度值的最高规范的设备。我们研究了这种选择技术的收敛性和性能，并将其与现有技术进行比较。我们用非IID设置执行几个实验。结果显示了我们的方法的收敛性，与随机选择比较的测试精度相当大。

In federated optimization, heterogeneity in the clients' local datasets and computation speeds results in large variations in the number of local updates performed by each client in each communication round. Naive weighted aggregation of such models causes objective inconsistency, that is, the global model converges to a stationary point of a mismatched objective function which can be arbitrarily different from the true objective. This paper provides a general framework to analyze the convergence of federated heterogeneous optimization algorithms. It subsumes previously proposed methods such as FedAvg and FedProx and provides the first principled understanding of the solution bias and the convergence slowdown due to objective inconsistency. Using insights from this analysis, we propose Fed-Nova, a normalized averaging method that eliminates objective inconsistency while preserving fast error convergence.

预计未来的无线网络将支持各种移动服务，包括人工智能（AI）服务和无处不在的数据传输。联合学习（FL）作为一种革命性的学习方法，可以跨分布式移动边缘设备进行协作AI模型培训。通过利用多访问通道的叠加属性，无线计算允许同时通过同一无线电资源从大型设备上传，因此大大降低了FL的通信成本。在本文中，我们研究了移动边缘网络中的无线信息和传统信息传输（IT）的共存。我们提出了一个共存的联合学习和信息传输（CFLIT）通信框架，其中FL和IT设备在OFDM系统中共享无线频谱。在此框架下，我们旨在通过优化长期无线电资源分配来最大化IT数据速率并确保给定的FL收敛性能。限制共存系统频谱效率的主要挑战在于，由于服务器和边缘设备之间的频繁通信以进行FL模型聚合，因此发生的大开销。为了应对挑战，我们严格地分析了计算与通信比对无线褪色通道中无线FL融合的影响。该分析揭示了存在最佳计算与通信比率的存在，该比率最大程度地降低了空中FL所需的无线电资源量，以收敛到给定的错误公差。基于分析，我们提出了一种低复杂性在线算法，以共同优化FL设备和IT设备的无线电资源分配。广泛的数值模拟验证了FL和IT设备在无线蜂窝系统中共存的拟议设计的出色性能。

最近，基于区块链的联合学习（BFL）引起了密集的研究关注，因为培训过程是可审核的，并且该体系结构无助于避免了Vanilla Federated学习（VFL）中参数服务器的单点故障。然而，BFL大大升级了通信流量量，因为BFL客户端获得的所有本地模型更新（即，模型参数的更改）都将转移给所有矿工进行验证以及所有客户端以进行聚合。相比之下，参数服务器和VFL中的客户端仅保留汇总模型更新。因此，BFL的巨大沟通流量将不可避免地损害培训效率，并阻碍BFL现实的部署。为了提高BFL的实用性，我们是第一个通过压缩BFL中的通信（称为BCFL）来提出基于快速区块链的联合学习框架的人之一。同时，我们得出了BCFL的收敛速率，而非凸损失损失。为了最大化最终模型的准确性，我们进一步提出问题，以最大程度地减少收敛率的训练损失，而相对于压缩率和块生成速率的训练时间有限，这是BI-CONVEX优化问题，可以是有效解决。最后，为了证明BCFL的效率，我们对标准CIFAR-10和女权主义数据集进行了广泛的实验。我们的实验结果不仅验证了我们的分析的正确性，而且还表明BCFL可以显着将通信流量降低95-98％，或者与BFL相比，训练时间缩短了90-95％。

与传统机器学习（ML）相比，联邦学习（FL）被认为是解决移动设备的数据隐私问题的吸引力框架。使用Edge Server（ESS）作为中间人在接近度执行模型聚合可以减少传输开销，并且它能够在低延迟FL中实现很大的潜力，其中FL（HFL）的分层体系结构被吸引更多地关注。设计适当的客户选择策略可以显着提高培训性能，并且已广泛用于FL研究。然而，据我们所知，没有专注于HFL的研究。此外，HFL的客户选择面临的挑战比传统的FL更多，例如，客户端 - es对的时变连接和网络运营商的有限预算（否）。在本文中，我们调查了HFL的客户选择问题，其中no no学习成功参与客户的数量以改善培训性能（即，在每轮中选择多个客户端）以及每个ES的有限预算。基于上下文组合多武装强盗（CC-MAB）开发了一个称为上下文知识的在线客户选择（COCS）的在线策略。 COCs观察局部计算和客户端对传输的侧信息（上下文），并使客户选择决策最大化没有给出有限预算的实用程序。理论上，与强凸和非凸HFL上的Oracle策略相比，COCS遗憾地实现了载体遗憾。仿真结果还支持拟议的COCS政策对现实世界数据集的效率。

我们展示了一个联合学习框架，旨在强大地提供具有异构数据的各个客户端的良好预测性能。所提出的方法对基于SuperQualile的学习目标铰接，捕获异构客户端的误差分布的尾统计。我们提出了一种随机训练算法，其与联合平均步骤交织差异私人客户重新重量步骤。该提出的算法支持有限时间收敛保证，保证覆盖凸和非凸面设置。关于联邦学习的基准数据集的实验结果表明，我们的方法在平均误差方面与古典误差竞争，并且在误差的尾统计方面优于它们。

当上行链路和下行链路通信都有错误时联合学习（FL）工作吗？通信噪音可以处理多少，其对学习性能的影响是什么？这项工作致力于通过明确地纳入流水线中的上行链路和下行链路嘈杂的信道来回答这些实际重要的问题。我们在同时上行链路和下行链路嘈杂通信通道上提供了多种新的融合分析，其包括完整和部分客户端参与，直接模型和模型差分传输，以及非独立和相同分布的（IID）本地数据集。这些分析表征了嘈杂通道的流动条件，使其具有与无通信错误的理想情况相同的融合行为。更具体地，为了保持FEDAVG的O（1 / T）具有完美通信的O（1 / T）收敛速率，应控制用于直接模型传输的上行链路和下行链路信噪比（SNR），使得它们被缩放为O（t ^ 2）其中T是通信轮的索引，但可以保持常量的模型差分传输。这些理论结果的关键洞察力是“雷达下的飞行”原则 - 随机梯度下降（SGD）是一个固有的噪声过程，并且可以容忍上行链路/下行链路通信噪声，只要它们不占据时变的SGD噪声即可。我们举例说明了具有两种广泛采用的通信技术 - 传输功率控制和多样性组合的这些理论发现 - 并通过使用多个真实世界流动任务的广泛数值实验进一步通过标准方法验证它们的性能优势。

个性化联合学习（PFL）是一种新的联邦学习（FL）方法，可解决分布式用户设备（UES）生成的数据集的异质性问题。但是，大多数现有的PFL实现都依赖于同步培训来确保良好的收敛性能，这可能会导致严重的散乱问题，在这种情况下，训练时间大量延长了最慢的UE。为了解决这个问题，我们提出了一种半同步PFL算法，被称为半同步个性化的FederatedAveraging（Perfeds $^2 $），而不是移动边缘网络。通过共同优化无线带宽分配和UE调度策略，它不仅减轻了Straggler问题，而且还提供了收敛的培训损失保证。我们根据每回合的参与者数量和回合数量来得出Perfeds2收敛速率的上限。在此基础上，可以使用分析解决方案解决带宽分配问题，并且可以通过贪婪算法获得UE调度策略。实验结果与同步和异步PFL算法相比，验证了Perfeds2在节省训练时间和保证训练损失的收敛方面的有效性。

随着数据生成越来越多地在没有连接连接的设备上进行，因此与机器学习（ML）相关的流量将在无线网络中无处不在。许多研究表明，传统的无线协议高效或不可持续以支持ML，这创造了对新的无线通信方法的需求。在这项调查中，我们对最先进的无线方法进行了详尽的审查，这些方法是专门设计用于支持分布式数据集的ML服务的。当前，文献中有两个明确的主题，模拟的无线计算和针对ML优化的数字无线电资源管理。这项调查对这些方法进行了全面的介绍，回顾了最重要的作品，突出了开放问题并讨论了应用程序方案。

可扩展性和隐私是交叉设备联合学习（FL）系统的两个关键问题。在这项工作中，我们确定了FL中的客户端更新的同步流动聚合不能高效地缩放到几百个并行培训之外。它导致ModelPerforce和训练速度的回报递减，Ampanysto大批量培训。另一方面，FL（即异步FL）中的客户端更新的异步聚合减轻了可扩展性问题。但是，聚合个性链子更新与安全聚合不兼容，这可能导致系统的不良隐私水平。为了解决这些问题，我们提出了一种新颖的缓冲异步聚合方法FedBuff，这是不可知的优化器的选择，并结合了同步和异步FL的最佳特性。我们经验证明FEDBuff比同步FL更有效，比异步FL效率更高3.3倍，同时兼容保留保护技术，如安全聚合和差异隐私。我们在平滑的非凸设置中提供理论融合保证。最后，我们显示在差异私有培训下，FedBuff可以在低隐私设置下占FEDAVGM并实现更高隐私设置的相同实用程序。

我们考虑开放的联合学习（FL）系统，客户可以在FL过程中加入和/或离开系统。鉴于当前客户端数量的差异，在开放系统中不能保证与固定模型的收敛性。取而代之的是，我们求助于一个新的性能指标，该指标称我们的开放式FL系统的稳定性为量，该指标量化了开放系统中学习模型的幅度。在假设本地客户端的功能强烈凸出和平滑的假设下，我们从理论上量化了两种FL算法的稳定性半径，即本地SGD和本地ADAM。我们观察到此半径依赖于几个关键参数，包括功能条件号以及随机梯度的方差。通过对合成和现实世界基准数据集的数值模拟，我们的理论结果得到了进一步验证。

联合学习（FL）是一个分布式的机器学习框架，可以减轻数据孤岛，在该筒仓中，分散的客户在不共享其私人数据的情况下协作学习全球模型。但是，客户的非独立且相同分布的（非IID）数据对训练有素的模型产生了负面影响，并且具有不同本地更新的客户可能会在每个通信回合中对本地梯度造成巨大差距。在本文中，我们提出了一种联合矢量平均（FedVeca）方法来解决上述非IID数据问题。具体而言，我们为与本地梯度相关的全球模型设定了一个新的目标。局部梯度定义为具有步长和方向的双向向量，其中步长为局部更新的数量，并且根据我们的定义将方向分为正和负。在FedVeca中，方向受步尺的影响，因此我们平均双向向量，以降低不同步骤尺寸的效果。然后，我们理论上分析了步骤大小与全球目标之间的关系，并在每个通信循环的步骤大小上获得上限。基于上限，我们为服务器和客户端设计了一种算法，以自适应调整使目标接近最佳的步骤大小。最后，我们通过构建原型系统对不同数据集，模型和场景进行实验，实验结果证明了FedVeca方法的有效性和效率。

在联合学习（FL）问题中，客户采样在训练算法的收敛速度中起着关键作用。然而，虽然是FL中的一个重要问题，但客户采样缺乏研究。在本文中，我们提出了在线学习，使用强盗反馈框架来了解FL中的客户采样问题。通过调整在线随机镜血清序列算法，以最小化梯度估计的方差，我们提出了一种新的自适应客户端采样算法。此外，我们使用在线集合方法和加倍技巧来自动选择算法中的调整参数。从理论上讲，我们将动态遗憾与比较器相结合，作为理论上最佳采样序列;我们还包括在我们的上限中的该序列的总变化，这是对问题的内在难度的自然度量。据我们所知，这些理论贡献对现有文献进行了新颖。此外，通过实施合成和真实数据实验，我们展示了我们所提出的算法在广泛使用的统一采样中的优势以及以前研究的其他在线学习的采样策略的实证证据。我们还检查其对调谐参数的选择的鲁棒性。最后，我们讨论其可能的延伸，而无需更换和个性化的流动。虽然原始目标是解决客户的采样问题，但这项工作在随机梯度下降和随机坐标序列方法上具有更大的应用。

在最近的联邦学习研究中，使用大批量提高了收敛率，但是与使用小批量相比，它需要额外的计算开销。为了克服这一限制，我们提出了一个统一的框架，该框架基于时间变化的概率将参与者分为锚和矿工组。锚点组中的每个客户都使用大批量计算梯度，该梯度被视为其靶心。矿工组中的客户使用串行迷你批次执行多个本地更新，并且每个本地更新也受到客户平均值Bullseyes的平均值的全局目标的间接调节。结果，矿工组遵循了对全球最小化器的近乎最佳更新，该更新适合更新全局模型。通过$ \ epsilon $ - Approximation衡量，FedAmd通过以恒定概率对锚点进行采样锚点，在非convex目标下达到了$ o（1/\ epsilon）$的收敛速率。理论上的结果大大超过了最先进的算法BVR-l-SGD $ O（1/\ Epsilon^{3/2}）$，而FedAmd至少减少了$ O（1/\ Epsilon）$沟通开销。关于现实世界数据集的实证研究验证了FedAmd的有效性，并证明了我们提出的算法的优势。

众所周知，客户师沟通可能是联邦学习中的主要瓶颈。在这项工作中，我们通过一种新颖的客户端采样方案解决了这个问题，我们将允许的客户数量限制为将其更新传达给主节点的数量。在每个通信回合中，所有参与的客户都会计算他们的更新，但只有具有“重要”更新的客户可以与主人通信。我们表明，可以仅使用更新的规范来衡量重要性，并提供一个公式以最佳客户参与。此公式将所有客户参与的完整更新与我们有限的更新（参与客户数量受到限制）之间的距离最小化。此外，我们提供了一种简单的算法，该算法近似于客户参与的最佳公式，该公式仅需要安全的聚合，因此不会损害客户的隐私。我们在理论上和经验上都表明，对于分布式SGD（DSGD）和联合平均（FedAvg），我们的方法的性能可以接近完全参与，并且优于基线，在参与客户均匀地采样的基线。此外，我们的方法与现有的减少通信开销（例如本地方法和通信压缩方法）的现有方法兼容。

联合学习（FL）引发了高通信开销，这可以通过压缩模型更新而大大缓解。然而，网络环境中压缩和模型精度之间的权衡仍不清楚，为简单起见，大多数实现仅采用固定压缩率。在本文中，我们首次系统地检查了该权衡，识别压缩误差对最终模型精度的影响，相对于学习率。具体而言，我们将每个全局迭代的压缩误差因其强大凸面和非凸损耗下的收敛速度分析。然后，我们通过策略性地调整每次迭代中的压缩速率来提高最终模型精度来最大化最终模型精度的适应框架。我们讨论了具有代表压缩算法的实用网络中框架的关键实施问题。对流行的MNIST和CIFAR-10数据集的实验证实，我们的解决方案有效地降低了网络流量，但在FL中保持了高模型精度。