现有理论预测，数据异质性将降低联邦平均（FedAvg）算法在联合学习中的性能。但是，实际上，简单的FedAvg算法的收敛良好。本文解释了与以前的理论预测相矛盾的FedAvg的看似不合理的有效性。我们发现，在以前的理论分析中，有界梯度差异的关键假设太悲观了，无法表征实际应用中的数据异质性。对于一个简单的二次问题，我们证明存在很大的梯度差异对FedAvg的收敛性没有任何负面影响。在这一观察结果的推动下，我们提出了一个新的数量，最佳的平均漂移，以衡量数据异质性的效果，并明确使用它来提出对FedAvg的新理论分析。我们表明，在许多实际联合训练任务中，最佳的平均漂移几乎为零，而梯度差异可能很大。我们的新分析表明，FedAvg可以在均质和异质数据设置中具有相同的收敛速率，因此可以更好地理解其经验成功。

In federated optimization, heterogeneity in the clients' local datasets and computation speeds results in large variations in the number of local updates performed by each client in each communication round. Naive weighted aggregation of such models causes objective inconsistency, that is, the global model converges to a stationary point of a mismatched objective function which can be arbitrarily different from the true objective. This paper provides a general framework to analyze the convergence of federated heterogeneous optimization algorithms. It subsumes previously proposed methods such as FedAvg and FedProx and provides the first principled understanding of the solution bias and the convergence slowdown due to objective inconsistency. Using insights from this analysis, we propose Fed-Nova, a normalized averaging method that eliminates objective inconsistency while preserving fast error convergence.

联邦平均（FedAVG），也称为本地SGD，是联邦学习中最受欢迎的算法之一（FL）。尽管其简单和普及，但到目前为止，FADVG的收敛速率尚未确定。即使在最简单的假设（凸，平滑，均匀和有界协方差）下，最着名的上限和下限也不匹配，目前尚不清楚现有分析是否捕获算法的容量。在这项工作中，我们首先通过为FedAVG提供与现有的上限相匹配的下限来解决这个问题，这表明现有的FADVG上限分析不可易于解决。另外，我们在异构环境中建立一个下限，几乎与现有的上限相匹配。虽然我们的下限显示了FEDAVG的局限性，但在额外的三阶平滑度下，我们证明了更乐观的最先进的收敛导致凸和非凸面设置。我们的分析源于我们呼叫迭代偏置的概念，这由SGD轨迹的期望从具有相同初始化的无噪声梯度下降轨迹的偏差来定义。我们在此数量上证明了新颖的尖锐边界，并直观地显示了如何从随机微分方程（SDE）的角度来分析该数量。

Federated Averaging (FEDAVG) has emerged as the algorithm of choice for federated learning due to its simplicity and low communication cost. However, in spite of recent research efforts, its performance is not fully understood. We obtain tight convergence rates for FEDAVG and prove that it suffers from 'client-drift' when the data is heterogeneous (non-iid), resulting in unstable and slow convergence.As a solution, we propose a new algorithm (SCAFFOLD) which uses control variates (variance reduction) to correct for the 'client-drift' in its local updates. We prove that SCAFFOLD requires significantly fewer communication rounds and is not affected by data heterogeneity or client sampling. Further, we show that (for quadratics) SCAFFOLD can take advantage of similarity in the client's data yielding even faster convergence. The latter is the first result to quantify the usefulness of local-steps in distributed optimization.

从经验上证明，在跨客户聚集之前应用多个本地更新的实践是克服联合学习（FL）中的通信瓶颈的成功方法。在这项工作中，我们提出了一种通用食谱，即FedShuffle，可以更好地利用FL中的本地更新，尤其是在异质性方面。与许多先前的作品不同，FedShuffle在每个设备的更新数量上没有任何统一性。我们的FedShuffle食谱包括四种简单的功能成分：1）数据的本地改组，2）调整本地学习率，3）更新加权，4）减少动量方差（Cutkosky and Orabona，2019年）。我们对FedShuffle进行了全面的理论分析，并表明从理论和经验上讲，我们的方法都不遭受FL方法中存在的目标功能不匹配的障碍，这些方法假设在异质FL设置中，例如FedAvg（McMahan等人，McMahan等， 2017）。此外，通过将上面的成分结合起来，FedShuffle在Fednova上改善（Wang等，2020），以前提议解决此不匹配。我们还表明，在Hessian相似性假设下，通过降低动量方差的FedShuffle可以改善非本地方法。最后，通过对合成和现实世界数据集的实验，我们说明了FedShuffle中使用的四种成分中的每种如何有助于改善FL中局部更新的使用。

数据异构联合学习（FL）系统遭受了两个重要的收敛误差来源：1）客户漂移错误是由于在客户端执行多个局部优化步骤而引起的，以及2）部分客户参与错误，这是一个事实，仅一小部分子集边缘客户参加每轮培训。我们发现其中，只有前者在文献中受到了极大的关注。为了解决这个问题，我们提出了FedVarp，这是在服务器上应用的一种新颖的差异算法，它消除了由于部分客户参与而导致的错误。为此，服务器只是将每个客户端的最新更新保持在内存中，并将其用作每回合中非参与客户的替代更新。此外，为了减轻服务器上的内存需求，我们提出了一种新颖的基于聚类的方差降低算法clusterfedvarp。与以前提出的方法不同，FedVarp和ClusterFedVarp均不需要在客户端上进行其他计算或其他优化参数的通信。通过广泛的实验，我们表明FedVarp优于最先进的方法，而ClusterFedVarp实现了与FedVarp相当的性能，并且记忆要求较少。

联合学习（FL）旨在最大程度地减少培训模型的沟通复杂性，而不是在许多客户中分发的异质数据。一种常见的方法是本地方法，在与服务器通信之前，客户端在本地数据（例如FedAvg）之前对本地数据进行了多个优化步骤。本地方法可以利用客户数据之间的相似性。但是，在现有的分析中，这是以依赖对通信的数量的依赖为代价的。另一方面，全球方法，客户只是在每个回合中返回梯度向量（例如，SGD） ，以R的速度更快，但即使客户均匀，也无法利用客户之间的相似性。我们提出了FedChain，这是一种算法框架，结合了本地方法和全球方法的优势，以实现R的快速收敛，同时利用客户之间的相似性。使用Fedchain，我们实例化了在一般凸和PL设置中先前已知的速率改进的算法，并且在满足强凸度的问题方面几乎是最佳的（通过我们显示的算法独立的下限）。经验结果支持现有方法的理论增益。

我们提出了一个新颖的框架，以研究异步联合学习优化，并在梯度更新中延迟。我们的理论框架通过引入随机聚合权重来表示客户更新时间的可变性，从而扩展了标准的FedAvg聚合方案，例如异质硬件功能。我们的形式主义适用于客户具有异质数据集并至少执行随机梯度下降（SGD）的一步。我们证明了这种方案的收敛性，并为相关最小值提供了足够的条件，使其成为联邦问题的最佳选择。我们表明，我们的一般框架适用于现有的优化方案，包括集中学习，FedAvg，异步FedAvg和FedBuff。这里提供的理论允许绘制有意义的指南，以设计在异质条件下的联合学习实验。特别是，我们在这项工作中开发了FedFix，这是FedAvg的新型扩展，从而实现了有效的异步联合训练，同时保留了同步聚合的收敛稳定性。我们在一系列实验上凭经验证明了我们的理论，表明异步FedAvg以稳定性为代价导致快速收敛，我们最终证明了FedFix比同步和异步FedAvg的改善。

联合学习（FL）是一种新兴学习范例，可以通过确保边缘设备上的客户端数据局部性来保护隐私。由于学习系统的多样性和异质性，FL的优化在实践中具有挑战性。尽管最近的研究努力改善异构数据的优化，但时间不断变化的异构数据在现实世界方案中的影响，例如改变客户数据或在训练期间留下或离开的间歇性客户，并未得到很好地研究。在这项工作中，我们提出了持续的联邦学习（CFL），灵活的框架，以捕获FL的时间不正常性。 CFL涵盖复杂和现实的情景 - 在之前的流派中评估了挑战 - 通过提取过去的本地数据集的信息并近似当地目标函数。从理论上讲，我们证明CFL方法在时间不断发展的场景中实现了比\ FEDAVG更快的会聚率，其中益处依赖于近似质量。在一系列实验中，我们表明数值调查结果与收敛分析相匹配，CFL方法显着优于其他SOTA FL基线。

Federated learning (FL) is a decentralized and privacy-preserving machine learning technique in which a group of clients collaborate with a server to learn a global model without sharing clients' data. One challenge associated with FL is statistical diversity among clients, which restricts the global model from delivering good performance on each client's task. To address this, we propose an algorithm for personalized FL (pFedMe) using Moreau envelopes as clients' regularized loss functions, which help decouple personalized model optimization from the global model learning in a bi-level problem stylized for personalized FL. Theoretically, we show that pFedMe's convergence rate is state-of-the-art: achieving quadratic speedup for strongly convex and sublinear speedup of order 2/3 for smooth nonconvex objectives. Experimentally, we verify that pFedMe excels at empirical performance compared with the vanilla FedAvg and Per-FedAvg, a meta-learning based personalized FL algorithm.

Data heterogeneity across clients is a key challenge in federated learning. Prior works address this by either aligning client and server models or using control variates to correct client model drift. Although these methods achieve fast convergence in convex or simple non-convex problems, the performance in over-parameterized models such as deep neural networks is lacking. In this paper, we first revisit the widely used FedAvg algorithm in a deep neural network to understand how data heterogeneity influences the gradient updates across the neural network layers. We observe that while the feature extraction layers are learned efficiently by FedAvg, the substantial diversity of the final classification layers across clients impedes the performance. Motivated by this, we propose to correct model drift by variance reduction only on the final layers. We demonstrate that this significantly outperforms existing benchmarks at a similar or lower communication cost. We furthermore provide proof for the convergence rate of our algorithm.

标准联合优化方法成功地适用于单层结构的随机问题。然而，许多当代的ML问题 - 包括对抗性鲁棒性，超参数调整和参与者 - 批判性 - 属于嵌套的双层编程，这些编程包含微型型和组成优化。在这项工作中，我们提出了\ fedblo：一种联合交替的随机梯度方法来解决一般的嵌套问题。我们在存在异质数据的情况下为\ fedblo建立了可证明的收敛速率，并引入了二聚体，最小值和组成优化的变化。\ fedblo引入了多种创新，包括联邦高级计算和降低方差，以解决内部级别的异质性。我们通过有关超参数\＆超代理学习和最小值优化的实验来补充我们的理论，以证明我们方法在实践中的好处。代码可在https://github.com/ucr-optml/fednest上找到。

众所周知，客户师沟通可能是联邦学习中的主要瓶颈。在这项工作中，我们通过一种新颖的客户端采样方案解决了这个问题，我们将允许的客户数量限制为将其更新传达给主节点的数量。在每个通信回合中，所有参与的客户都会计算他们的更新，但只有具有“重要”更新的客户可以与主人通信。我们表明，可以仅使用更新的规范来衡量重要性，并提供一个公式以最佳客户参与。此公式将所有客户参与的完整更新与我们有限的更新（参与客户数量受到限制）之间的距离最小化。此外，我们提供了一种简单的算法，该算法近似于客户参与的最佳公式，该公式仅需要安全的聚合，因此不会损害客户的隐私。我们在理论上和经验上都表明，对于分布式SGD（DSGD）和联合平均（FedAvg），我们的方法的性能可以接近完全参与，并且优于基线，在参与客户均匀地采样的基线。此外，我们的方法与现有的减少通信开销（例如本地方法和通信压缩方法）的现有方法兼容。

虽然客户的采样是当前最先进的联邦学习（FL）方法的核心运营，但该程序对迄今为止的迄今为止迄今为止的收敛和速度的影响。在这项工作中，我们为FL的收敛介绍了一种新颖的分解定理，允许清楚地量化客户对全局模型更新的影响。与之前的收敛分析相反，我们的定理提供了给定的收敛步骤的精确分解，从而能够准确考虑客户端采样和异质性的作用。首先，我们为先前报告的结果提供了一种理论基础，从收敛性与聚集权重之间的关系之间的关系。其次，我们首次证明了FL收敛的质量也受到聚集重量之间产生的协方差的影响。第三，我们建立了聚集权重的总和是另一个减速的来源，应该等于1来提高流动速度。我们的理论是一般性的，这里申请了多项分布（MD）和统一采样，在FL中的两个默认客户端采样，并通过一系列非IID和不平衡情景进行了演示。我们的结果表明，MD采样应用作默认采样方案，因为在学习过程中的数据比变化的恢复，而统一的采样仅在客户端具有相同数量的数据时才是优越的。

我们考虑开放的联合学习（FL）系统，客户可以在FL过程中加入和/或离开系统。鉴于当前客户端数量的差异，在开放系统中不能保证与固定模型的收敛性。取而代之的是，我们求助于一个新的性能指标，该指标称我们的开放式FL系统的稳定性为量，该指标量化了开放系统中学习模型的幅度。在假设本地客户端的功能强烈凸出和平滑的假设下，我们从理论上量化了两种FL算法的稳定性半径，即本地SGD和本地ADAM。我们观察到此半径依赖于几个关键参数，包括功能条件号以及随机梯度的方差。通过对合成和现实世界基准数据集的数值模拟，我们的理论结果得到了进一步验证。

联合学习（FL）是分布式学习的一种变体，其中Edge设备可以协作学习模型，而无需与中央服务器或彼此共享数据。我们将使用公共客户库作为多模型FL的联合设置中同时培训多个独立模型的过程。在这项工作中，我们提出了用于多模型FL的流行FedAvg算法的两个变体，并具有可证明的收敛保证。我们进一步表明，对于相同数量的计算，多模型FL可以比单独训练每个模型具有更好的性能。我们通过在强凸，凸和非凸面设置中进行实验来补充理论结果。

我们研究基于{\ em本地培训（LT）}范式的分布式优化方法：通过在参数平均之前对客户进行基于本地梯度的培训来实现沟通效率。回顾田地的进度，我们{\ em识别5代LT方法}：1）启发式，2）均匀，3）sublinear，4）线性和5）加速。由Mishchenko，Malinovsky，Stich和Richt \'{A} Rik（2022）发起的5 $ {}^{\ rm th} $生成，由Proxskip方法发起通信加速机制。受到最近进度的启发，我们通过证明可以使用{\ em差异}进一步增强它们，为5 $ {}^{\ rm th} $生成LT方法的生成。尽管LT方法的所有以前的所有理论结果都完全忽略了本地工作的成本，并且仅根据交流回合的数量而被构成，但我们证明我们的方法在{\ em总培训成本方面都比{\ em em总培训成本}大得多当本地计算足够昂贵时，在制度中的理论和实践中，最先进的方法是proxskip。我们从理论上表征了这个阈值，并通过经验结果证实了我们的理论预测。

联合优化（FedOpt），在大量分布式客户端协作培训学习模型的目标是对联邦学习的重要性。 Fedopt的主要问题可归因于模型分歧和通信效率，这显着影响了性能。在本文中，我们提出了一种新方法，即Losac，更有效地从异构分布式数据中学习。它的关键算法洞察力是在{每个}常规本地模型更新之后本地更新全局全梯度的估计。因此，Losac可以使客户的信息以更紧凑的方式刷新。特别是，我们研究了Losac的收敛结果。此外，Losac的奖金是能够从最近的技术泄漏梯度（DLG）中捍卫信息泄漏。最后，实验已经验证了与最先进的FedOpt算法比较Losac的优越性。具体而言，Losac平均超过100美元的价格提高了通信效率，减轻了模型分歧问题，并配备了对抗DLG的防御能力。

Federated learning is a distributed machine learning paradigm in which a large number of clients coordinate with a central server to learn a model without sharing their own training data. Standard federated optimization methods such as Federated Averaging (FEDAVG) are often difficult to tune and exhibit unfavorable convergence behavior. In non-federated settings, adaptive optimization methods have had notable success in combating such issues. In this work, we propose federated versions of adaptive optimizers, including ADAGRAD, ADAM, and YOGI, and analyze their convergence in the presence of heterogeneous data for general nonconvex settings. Our results highlight the interplay between client heterogeneity and communication efficiency. We also perform extensive experiments on these methods and show that the use of adaptive optimizers can significantly improve the performance of federated learning.

我们展示了一个联合学习框架，旨在强大地提供具有异构数据的各个客户端的良好预测性能。所提出的方法对基于SuperQualile的学习目标铰接，捕获异构客户端的误差分布的尾统计。我们提出了一种随机训练算法，其与联合平均步骤交织差异私人客户重新重量步骤。该提出的算法支持有限时间收敛保证，保证覆盖凸和非凸面设置。关于联邦学习的基准数据集的实验结果表明，我们的方法在平均误差方面与古典误差竞争，并且在误差的尾统计方面优于它们。