虽然减少方差方法在解决大规模优化问题方面取得了巨大成功，但其中许多人遭受了累积错误，因此应定期需要进行完整的梯度计算。在本文中，我们提出了一种用于有限的和非convex优化的单环算法（梯度估计器的单环方法），该算法不需要定期刷新梯度估计器，但实现了几乎最佳的梯度复杂性。与现有方法不同，雪橇具有多功能性的优势。 （i）二阶最优性，（ii）PL区域中的指数收敛性，以及（iii）在较小的数据异质性下较小的复杂性。我们通过利用这些有利的特性来构建有效的联合学习算法。我们展示了输出的一阶和二阶最优性，并在PL条件下提供分析。当本地预算足够大，并且客户少（Hessian-）〜异质时，该算法需要较少的通信回合，而不是现有方法，例如FedAvg，脚手架和Mime。我们方法的优势在数值实验中得到了验证。

我们提出和分析了几种随机梯度算法，以查找固定点或非convex中的局部最小值，可能是使用非平​​滑规则器，有限-AM和在线优化问题。首先，我们提出了一种基于降低的差异降低的简单近端随机梯度算法，称为XSVRG+。我们提供了对Proxsvrg+的干净分析，这表明它的表现优于确定性的近端下降（ProxGD），用于各种Minibatch尺寸，因此解决了Reddi等人中提出的一个开放问题。 （2016b）。此外，Proxsvrg+的使用近近端甲骨文调用比Proxsvrg（Reddi等，2016b）使用的距离要少得多，并通过避免进行完整的梯度计算来扩展到在线设置。然后，我们进一步提出了一种基于Sarah（Nguyen等，2017）的最佳算法，称为SSRGD，并表明SSRGD进一步提高了Proxsvrg+的梯度复杂性，并实现了最佳的上限，与已知的下限相匹配（Fang et et et and offang等人（Fang等人）（Fang等人）（Fang等人Al。，2018; Li等，2021）。此外，我们表明，Proxsvrg+和SSRGD都可以自动适应目标函数的局部结构，例如Polyak- \ l {} ojasiewicz（pl）有限的case中非convex函数的条件他们可以自动切换到更快的全局线性收敛，而无需在先前的工作proxsvrg中执行任何重新启动（Reddi等，2016b）。最后，我们专注于找到$（\ epsilon，\ delta）$的更具挑战性的问题 - 当地的最低限度，而不仅仅是找到$ \ epsilon $ -Approximate（一阶）固定点（这可能是一些不稳定的不稳定的鞍座点）。我们证明SSRGD可以找到$（\ epsilon，\ delta）$ - 局部最小值，只需添加一些随机的扰动即可。我们的算法几乎与查找固定点的对应物一样简单，并达到相似的最佳速率。

Federated Averaging (FEDAVG) has emerged as the algorithm of choice for federated learning due to its simplicity and low communication cost. However, in spite of recent research efforts, its performance is not fully understood. We obtain tight convergence rates for FEDAVG and prove that it suffers from 'client-drift' when the data is heterogeneous (non-iid), resulting in unstable and slow convergence.As a solution, we propose a new algorithm (SCAFFOLD) which uses control variates (variance reduction) to correct for the 'client-drift' in its local updates. We prove that SCAFFOLD requires significantly fewer communication rounds and is not affected by data heterogeneity or client sampling. Further, we show that (for quadratics) SCAFFOLD can take advantage of similarity in the client's data yielding even faster convergence. The latter is the first result to quantify the usefulness of local-steps in distributed optimization.

联合学习（FL）使大量优化的优势计算设备（例如，移动电话）联合学习全局模型而无需数据共享。在FL中，数据以分散的方式产生，具有高异质性。本文研究如何在联邦设置中对统计估算和推断进行统计估算和推理。我们分析所谓的本地SGD，这是一种使用间歇通信来提高通信效率的多轮估计过程。我们首先建立一个{\ IT功能的中央极限定理}，显示了本地SGD的平均迭代弱融合到重新定位的布朗运动。我们接下来提供两个迭代推断方法：{\ IT插件}和{\ IT随机缩放}。随机缩放通过沿整个本地SGD路径的信息构造推断的渐近枢转统计。这两种方法都是通信高效且适用于在线数据。我们的理论和经验结果表明，本地SGD同时实现了统计效率和通信效率。

联合学习（FL）旨在最大程度地减少培训模型的沟通复杂性，而不是在许多客户中分发的异质数据。一种常见的方法是本地方法，在与服务器通信之前，客户端在本地数据（例如FedAvg）之前对本地数据进行了多个优化步骤。本地方法可以利用客户数据之间的相似性。但是，在现有的分析中，这是以依赖对通信的数量的依赖为代价的。另一方面，全球方法，客户只是在每个回合中返回梯度向量（例如，SGD） ，以R的速度更快，但即使客户均匀，也无法利用客户之间的相似性。我们提出了FedChain，这是一种算法框架，结合了本地方法和全球方法的优势，以实现R的快速收敛，同时利用客户之间的相似性。使用Fedchain，我们实例化了在一般凸和PL设置中先前已知的速率改进的算法，并且在满足强凸度的问题方面几乎是最佳的（通过我们显示的算法独立的下限）。经验结果支持现有方法的理论增益。

联合学习（FL）是机器学习的一个子领域，在该子机学习中，多个客户试图在通信约束下通过网络进行协作学习模型。我们考虑在二阶功能相似性条件和强凸度下联合优化的有限和联合优化，并提出了两种新算法：SVRP和催化的SVRP。这种二阶相似性条件最近越来越流行，并且在包括分布式统计学习和差异性经验风险最小化在内的许多应用中得到满足。第一种算法SVRP结合了近似随机点评估，客户采样和降低方差。我们表明，当功能相似性足够高时，SVRP是沟通有效的，并且在许多现有算法上取得了卓越的性能。我们的第二个算法，催化的SVRP，是SVRP的催化剂加速变体，在二阶相似性和强凸度下，现有的联合优化算法可实现更好的性能，并均匀地改善了现有的算法。在分析这些算法的过程中，我们提供了可能具有独立关注的随机近端方法（SPPM）的新分析。我们对SPPM的分析很简单，允许进行近似近端评估，不需要任何平滑度假设，并且在通信复杂性上比普通分布式随机梯度下降显示出明显的好处。

In federated optimization, heterogeneity in the clients' local datasets and computation speeds results in large variations in the number of local updates performed by each client in each communication round. Naive weighted aggregation of such models causes objective inconsistency, that is, the global model converges to a stationary point of a mismatched objective function which can be arbitrarily different from the true objective. This paper provides a general framework to analyze the convergence of federated heterogeneous optimization algorithms. It subsumes previously proposed methods such as FedAvg and FedProx and provides the first principled understanding of the solution bias and the convergence slowdown due to objective inconsistency. Using insights from this analysis, we propose Fed-Nova, a normalized averaging method that eliminates objective inconsistency while preserving fast error convergence.

标准联合优化方法成功地适用于单层结构的随机问题。然而，许多当代的ML问题 - 包括对抗性鲁棒性，超参数调整和参与者 - 批判性 - 属于嵌套的双层编程，这些编程包含微型型和组成优化。在这项工作中，我们提出了\ fedblo：一种联合交替的随机梯度方法来解决一般的嵌套问题。我们在存在异质数据的情况下为\ fedblo建立了可证明的收敛速率，并引入了二聚体，最小值和组成优化的变化。\ fedblo引入了多种创新，包括联邦高级计算和降低方差，以解决内部级别的异质性。我们通过有关超参数\＆超代理学习和最小值优化的实验来补充我们的理论，以证明我们方法在实践中的好处。代码可在https://github.com/ucr-optml/fednest上找到。

Federated learning is a distributed framework according to which a model is trained over a set of devices, while keeping data localized. This framework faces several systemsoriented challenges which include (i) communication bottleneck since a large number of devices upload their local updates to a parameter server, and (ii) scalability as the federated network consists of millions of devices. Due to these systems challenges as well as issues related to statistical heterogeneity of data and privacy concerns, designing a provably efficient federated learning method is of significant importance yet it remains challenging. In this paper, we present FedPAQ, a communication-efficient Federated Learning method with Periodic Averaging and Quantization. FedPAQ relies on three key features: (1) periodic averaging where models are updated locally at devices and only periodically averaged at the server; (2) partial device participation where only a fraction of devices participate in each round of the training; and (3) quantized messagepassing where the edge nodes quantize their updates before uploading to the parameter server. These features address the communications and scalability challenges in federated learning. We also show that FedPAQ achieves near-optimal theoretical guarantees for strongly convex and non-convex loss functions and empirically demonstrate the communication-computation tradeoff provided by our method.

数据异构联合学习（FL）系统遭受了两个重要的收敛误差来源：1）客户漂移错误是由于在客户端执行多个局部优化步骤而引起的，以及2）部分客户参与错误，这是一个事实，仅一小部分子集边缘客户参加每轮培训。我们发现其中，只有前者在文献中受到了极大的关注。为了解决这个问题，我们提出了FedVarp，这是在服务器上应用的一种新颖的差异算法，它消除了由于部分客户参与而导致的错误。为此，服务器只是将每个客户端的最新更新保持在内存中，并将其用作每回合中非参与客户的替代更新。此外，为了减轻服务器上的内存需求，我们提出了一种新颖的基于聚类的方差降低算法clusterfedvarp。与以前提出的方法不同，FedVarp和ClusterFedVarp均不需要在客户端上进行其他计算或其他优化参数的通信。通过广泛的实验，我们表明FedVarp优于最先进的方法，而ClusterFedVarp实现了与FedVarp相当的性能，并且记忆要求较少。

在这项工作中，我们提出了FedSSO，这是一种用于联合学习的服务器端二阶优化方法（FL）。与以前朝这个方向的工作相反，我们在准牛顿方法中采用了服务器端近似，而无需客户的任何培训数据。通过这种方式，我们不仅将计算负担从客户端转移到服务器，而且还消除了客户和服务器之间二阶更新的附加通信。我们为我们的新方法的收敛提供了理论保证，并从经验上证明了我们在凸面和非凸面设置中的快速收敛和沟通节省。

我们展示了一个联合学习框架，旨在强大地提供具有异构数据的各个客户端的良好预测性能。所提出的方法对基于SuperQualile的学习目标铰接，捕获异构客户端的误差分布的尾统计。我们提出了一种随机训练算法，其与联合平均步骤交织差异私人客户重新重量步骤。该提出的算法支持有限时间收敛保证，保证覆盖凸和非凸面设置。关于联邦学习的基准数据集的实验结果表明，我们的方法在平均误差方面与古典误差竞争，并且在误差的尾统计方面优于它们。

联邦平均（FedAVG），也称为本地SGD，是联邦学习中最受欢迎的算法之一（FL）。尽管其简单和普及，但到目前为止，FADVG的收敛速率尚未确定。即使在最简单的假设（凸，平滑，均匀和有界协方差）下，最着名的上限和下限也不匹配，目前尚不清楚现有分析是否捕获算法的容量。在这项工作中，我们首先通过为FedAVG提供与现有的上限相匹配的下限来解决这个问题，这表明现有的FADVG上限分析不可易于解决。另外，我们在异构环境中建立一个下限，几乎与现有的上限相匹配。虽然我们的下限显示了FEDAVG的局限性，但在额外的三阶平滑度下，我们证明了更乐观的最先进的收敛导致凸和非凸面设置。我们的分析源于我们呼叫迭代偏置的概念，这由SGD轨迹的期望从具有相同初始化的无噪声梯度下降轨迹的偏差来定义。我们在此数量上证明了新颖的尖锐边界，并直观地显示了如何从随机微分方程（SDE）的角度来分析该数量。

从经验上证明，在跨客户聚集之前应用多个本地更新的实践是克服联合学习（FL）中的通信瓶颈的成功方法。在这项工作中，我们提出了一种通用食谱，即FedShuffle，可以更好地利用FL中的本地更新，尤其是在异质性方面。与许多先前的作品不同，FedShuffle在每个设备的更新数量上没有任何统一性。我们的FedShuffle食谱包括四种简单的功能成分：1）数据的本地改组，2）调整本地学习率，3）更新加权，4）减少动量方差（Cutkosky and Orabona，2019年）。我们对FedShuffle进行了全面的理论分析，并表明从理论和经验上讲，我们的方法都不遭受FL方法中存在的目标功能不匹配的障碍，这些方法假设在异质FL设置中，例如FedAvg（McMahan等人，McMahan等， 2017）。此外，通过将上面的成分结合起来，FedShuffle在Fednova上改善（Wang等，2020），以前提议解决此不匹配。我们还表明，在Hessian相似性假设下，通过降低动量方差的FedShuffle可以改善非本地方法。最后，通过对合成和现实世界数据集的实验，我们说明了FedShuffle中使用的四种成分中的每种如何有助于改善FL中局部更新的使用。

我们考虑分散的优化问题，其中许多代理通过在基础通信图上交换来最大程度地减少其本地功能的平均值。具体而言，我们将自己置于异步模型中，其中只有一个随机部分在每次迭代时执行计算，而信息交换可以在所有节点之间进行，并以不对称的方式进行。对于此设置，我们提出了一种算法，该算法结合了整个网络上梯度跟踪和差异的差异。这使每个节点能够跟踪目标函数梯度的平均值。我们的理论分析表明，在预期混合矩阵的轻度连通性条件下，当局部目标函数强烈凸面时，算法会汇聚。特别是，我们的结果不需要混合矩阵是双随机的。在实验中，我们研究了一种广播机制，该机制将信息从计算节点传输到其邻居，并确认我们方法在合成和现实世界数据集上的线性收敛性。

在许多机器学习应用中，在许多移动或物联网设备上生成大规模和隐私敏感数据，在集中位置收集数据可能是禁止的。因此，在保持数据本地化的同时估计移动或物联网设备上的参数越来越吸引人。这种学习设置被称为交叉设备联合学习。在本文中，我们提出了第一理论上保证的跨装置联合学习设置中的一般Minimax问题的算法。我们的算法仅在每轮训练中只需要一小部分设备，这克服了设备的低可用性引入​​的困难。通过在与服务器通信之前对客户端执行多个本地更新步骤，并利用全局梯度估计来进一步减少通信开销，并利用全局梯度估计来校正由数据异质性引入的本地更新方向上的偏置。通过基于新型潜在功能的开发分析，我们为我们的算法建立了理论融合保障。 AUC最大化，强大的对抗网络培训和GAN培训任务的实验结果展示了我们算法的效率。

在最近的联邦学习研究中，使用大批量提高了收敛率，但是与使用小批量相比，它需要额外的计算开销。为了克服这一限制，我们提出了一个统一的框架，该框架基于时间变化的概率将参与者分为锚和矿工组。锚点组中的每个客户都使用大批量计算梯度，该梯度被视为其靶心。矿工组中的客户使用串行迷你批次执行多个本地更新，并且每个本地更新也受到客户平均值Bullseyes的平均值的全局目标的间接调节。结果，矿工组遵循了对全球最小化器的近乎最佳更新，该更新适合更新全局模型。通过$ \ epsilon $ - Approximation衡量，FedAmd通过以恒定概率对锚点进行采样锚点，在非convex目标下达到了$ o（1/\ epsilon）$的收敛速率。理论上的结果大大超过了最先进的算法BVR-l-SGD $ O（1/\ Epsilon^{3/2}）$，而FedAmd至少减少了$ O（1/\ Epsilon）$沟通开销。关于现实世界数据集的实证研究验证了FedAmd的有效性，并证明了我们提出的算法的优势。

This paper shows that a perturbed form of gradient descent converges to a second-order stationary point in a number iterations which depends only poly-logarithmically on dimension (i.e., it is almost "dimension-free"). The convergence rate of this procedure matches the wellknown convergence rate of gradient descent to first-order stationary points, up to log factors. When all saddle points are non-degenerate, all second-order stationary points are local minima, and our result thus shows that perturbed gradient descent can escape saddle points almost for free.Our results can be directly applied to many machine learning applications, including deep learning. As a particular concrete example of such an application, we show that our results can be used directly to establish sharp global convergence rates for matrix factorization. Our results rely on a novel characterization of the geometry around saddle points, which may be of independent interest to the non-convex optimization community.

最近，模型 - 不可知的元学习（MAML）已经获得了巨大的关注。然而，MAML的随机优化仍然不成熟。 MAML的现有算法利用“剧集”思想，通过对每个迭代的每个采样任务进行采样和一些数据点来更新元模型。但是，它们不一定能够以恒定的小批量大小保证收敛，或者需要在每次迭代时处理大量任务，这对于持续学习或跨设备联合学习不可行，其中仅提供少量任务每次迭代或每轮。本文通过（i）提出了与消失收敛误差的有效的基于内存的随机算法提出了基于存储的基于存储器的随机算法，这只需要采样恒定数量的任务和恒定数量的每次迭代数据样本; （ii）提出基于通信的分布式内存基于存储器的MAML算法，用于跨设备（带客户端采样）和跨筒仓（无客户采样）设置中的个性化联合学习。理论结果显着改善了MAML的优化理论，实证结果也证实了理论。

Federated Learning是一种机器学习培训范式，它使客户能够共同培训模型而无需共享自己的本地化数据。但是，实践中联合学习的实施仍然面临许多挑战，例如由于重复的服务器 - 客户同步以及基于SGD的模型更新缺乏适应性，大型通信开销。尽管已经提出了各种方法来通过梯度压缩或量化来降低通信成本，并且提出了联合版本的自适应优化器（例如FedAdam）来增加适应性，目前的联合学习框架仍然无法立即解决上述挑战。在本文中，我们提出了一种具有理论融合保证的新型沟通自适应联合学习方法（FedCAMS）。我们表明，在非convex随机优化设置中，我们提出的fedcams的收敛率与$ o（\ frac {1} {\ sqrt {tkm}}）$与其非压缩的对应物相同。各种基准的广泛实验验证了我们的理论分析。