由于分布式和联邦学习应用中的通信瓶颈，使用通信压缩的算法引起了显着的关注，并且广泛用于实践中。此外，由于异构客户端的总数通常非常大，并且服务器无法与每个通信中的所有客户端通信，存在联合学习的客户端 - 方差。在本文中，我们通过提出压缩和客户端 - 方差减少方法来解决这两个问题。具体地，我们介绍了COFIG和FRECON，成功享受了客户方差减少的通信压缩。 COFIG的总通信轮是$ O（\ FRAC {（1+ \ OMEGA）^ {3/2} \ sqrt {n}} {s \ epsilon ^ 2} + \ frac {（1+ \ omega）n ^ {2/3}} {s \ epsilon ^ 2}）$中的非核心设置，其中$ n $是客户的总数，$ s $是每轮的传达客户端的数量，$ \ epsilon $收敛误差和$ \ omega $是压缩运算符的参数。此外，我们的FRECON可以比非核心设置中的COFIG汇聚，它与$ O（\ FRAC {（1+ \ OMEGA）\ SQRT {n}）汇聚在一起。在凸设置中，COFIG在通信中收敛于通信循环$ O（\ FRAC {（1+ \ OMEGA）\ SQRT {n}} $，这也是不存在压缩方案的第一个收敛结果与每轮的所有客户通信。总之，COFIG和FRECON都不需要与所有客户端通信，并提供凸面和非谐波联合学习的第一/更快的融合结果，而以前的作用需要完整的客户端通信（因此不实用）或获得更糟糕的收敛结果。

为了在带宽洪泛环境（例如无线网络）中启用大规模的机器学习，最近在设计借助通信压缩的帮助下，最近在设计沟通效率的联合学习算法方面取得了重大进展。另一方面，隐私保护，尤其是在客户层面上，是另一个重要的避税，在存在高级通信压缩技术的情况下尚未同时解决。在本文中，我们提出了一个统一的框架，以通过沟通压缩提高私人联邦学习的沟通效率。利用通用压缩操作员和局部差异隐私，我们首先检查了一种简单的算法，该算法将压缩直接应用于差异私密的随机梯度下降，并确定其局限性。然后，我们为私人联合学习提出了一个统一的框架Soteriafl，该框架适应了一般的局部梯度估计剂家庭，包括流行的随机方差减少梯度方法和最先进的变化压缩方案。我们在隐私，公用事业和沟通复杂性方面提供了其性能权衡的全面表征，在这种情况下，Soterafl被证明可以在不牺牲隐私或实用性的情况下实现更好的沟通复杂性，而不是其他私人联合联盟学习算法而没有沟通压缩。

由于分布式和联合学习的高通信成本，依赖压缩通信的方法变得越来越受欢迎。此外，最好的理论上和实际上表演梯度类型方法总是依赖某种形式的加速/动量来减少通信数量（更快的收敛）（更快的收敛），例如，Nesterov的加速梯度下降（Nesterov，1983,2004）和Adam（Kingma和Kingma） BA，2014）。为了结合通信压缩和收敛加速的好处，我们提出了基于Anita（Li，2021）的Anita {压缩和加速}梯度方法进行分布式优化，我们称之为CANITA。我们的Canita实现了\ emph {First加速率} $ o \ bigg（\ sqrt {\ big（1+ \ sqrt {\ frac {\ oomega ^ 3} {n}} \ big）\ frac {l} {\ epsilon }} + \ oomega \ big（\ frac {1} {\ epsilon} \ big）^ {\ frac {1} {3}} {3}} \ bigg）$，从而提高了最先进的非加速RAY $ o \ left（（1+ \ frac {\ oomega} {n}）\ frac {l} {\ epsilon} + \ frac {\ oomega ^ 2 + \ oomega} {\ omega + n} \ frac {1 } {\ epsilon} \右）美元（khaled等，2020）用于分布式一般凸面问题，其中$ \ epsilon $是目标错误，$ l $是目标的平滑参数，$ n $机器/设备的数量和$ \ omega $是压缩参数（较大的$ \ omega $意味着可以应用更多压缩，并且没有压缩意味着$ \ omega = 0 $）。我们的结果表明，只要设备数量为$ n $很大（在分布式/联合学习中经常是真实的），或者压缩$ \ omega $不是很高，Canita达到了更快的收敛速度$ o \ big（\ sqrt {\ frac {l} {\ epsilon}} \ big）$，即通信轮的数量是$ o \ big（\ sqrt {\ frac {l} {\ epsilon}} \ big）$（与$ o \ big（\ frac {l} {\ epsilon} \ big）通过以前的作品实现）。因此，天堂岛享有压缩（每轮压缩通信）和加速度（较少的通信轮）的优点。

Federated Learning是一种机器学习培训范式，它使客户能够共同培训模型而无需共享自己的本地化数据。但是，实践中联合学习的实施仍然面临许多挑战，例如由于重复的服务器 - 客户同步以及基于SGD的模型更新缺乏适应性，大型通信开销。尽管已经提出了各种方法来通过梯度压缩或量化来降低通信成本，并且提出了联合版本的自适应优化器（例如FedAdam）来增加适应性，目前的联合学习框架仍然无法立即解决上述挑战。在本文中，我们提出了一种具有理论融合保证的新型沟通自适应联合学习方法（FedCAMS）。我们表明，在非convex随机优化设置中，我们提出的fedcams的收敛率与$ o（\ frac {1} {\ sqrt {tkm}}）$与其非压缩的对应物相同。各种基准的广泛实验验证了我们的理论分析。

数据异构联合学习（FL）系统遭受了两个重要的收敛误差来源：1）客户漂移错误是由于在客户端执行多个局部优化步骤而引起的，以及2）部分客户参与错误，这是一个事实，仅一小部分子集边缘客户参加每轮培训。我们发现其中，只有前者在文献中受到了极大的关注。为了解决这个问题，我们提出了FedVarp，这是在服务器上应用的一种新颖的差异算法，它消除了由于部分客户参与而导致的错误。为此，服务器只是将每个客户端的最新更新保持在内存中，并将其用作每回合中非参与客户的替代更新。此外，为了减轻服务器上的内存需求，我们提出了一种新颖的基于聚类的方差降低算法clusterfedvarp。与以前提出的方法不同，FedVarp和ClusterFedVarp均不需要在客户端上进行其他计算或其他优化参数的通信。通过广泛的实验，我们表明FedVarp优于最先进的方法，而ClusterFedVarp实现了与FedVarp相当的性能，并且记忆要求较少。

由于客户端的通信资源有限和大量的模型参数，大规模分布式学习任务遭受通信瓶颈。梯度压缩是通过传输压缩梯度来减少通信负载的有效方法。由于在随机梯度下降的情况下，相邻轮的梯度可能具有高相关，因为他们希望学习相同的模型，提出了一种用于联合学习的实用梯度压缩方案，它使用历史梯度来压缩梯度并且基于Wyner-Ziv编码但没有任何概率的假设。我们还在实时数据集上实现了我们的渐变量化方法，我们的方法的性能优于前一个方案。

梯度压缩是一种流行的技术，可改善机器学习模型分布式培训中随机一阶方法的沟通复杂性。但是，现有作品仅考虑随机梯度的替换采样。相比之下，在实践中众所周知，最近从理论上证实，基于没有替代抽样的随机方法，例如随机改组方法（RR）方法，其性能要比用更换梯度进行梯度的方法更好。在这项工作中，我们在文献中缩小了这一差距，并通过梯度压缩和没有替代抽样的方法提供了第一次分析方法。我们首先使用梯度压缩（Q-RR）开发一个随机重新填充的分布式变体，并展示如何通过使用控制迭代来减少梯度量化的方差。接下来，为了更好地适合联合学习应用程序，我们结合了本地计算，并提出了一种称为Q-Nastya的Q-RR的变体。 Q-Nastya使用本地梯度步骤以及不同的本地和全球步骤。接下来，我们还展示了如何在此设置中减少压缩差异。最后，我们证明了所提出的方法的收敛结果，并概述了它们在现有算法上改进的几种设置。

我们开发和分析码头：在异构数据集中的非凸分布式学习的新通信高效方法。 Marina采用了一种基于渐变差异的新颖沟通压缩策略，这些差异让人想起，但与Mishchenko等人的Diana方法中所采用的策略不同。 （2019）。与几乎所有竞争对手的分布式一阶方法不同，包括Diana，我们的基于精心设计的偏置渐变估计，这是其卓越理论和实践性能的关键。我们向码头证明的通信复杂性界限明显比以前所有的一阶方法的方式更好。此外，我们开发和分析码头的两种变体：VR-Marina和PP-Marina。当客户所拥有的本地丢失功能是有限和期望形式的局部丢失功能时，第一种方法设计了第一种方法，并且第二种方法允许客户端的部分参与 - 在联合学习中重要的功能。我们所有的方法都优于前面的oracle /通信复杂性的最先进的方法。最后，我们提供了满足Polyak-Lojasiewicz条件的所有方法的收敛分析。

沟通是大规模机器学习模型的分布式培训中的关键瓶颈之一，而交换信息（例如随机梯度或模型）的有损压缩是减轻此问题的最有效工具之一。研究最多的压缩技术之一是无偏压缩操作员的类别，其方差为我们希望压缩的向量的平方规范的倍数界定。根据设计，该方差可能保持较高，并且只有在输入向量接近零时才会减少。但是，除非被训练的模型过度参数化，否则我们希望在经典方法的迭代（例如分布式压缩{\ sf sgd}的迭代术中，我们希望压缩的矢量有A的理由，对收敛产生不利影响速度。由于这个问题，最近提出了一些更详尽且看似截然不同的算法，目的是规避了这个问题。这些方法基于在我们通常希望压缩的向量和一些辅助向量之间压缩{\ em差异}的想法，这些辅助向量会在整个迭代过程中变化。在这项工作中，我们退后一步，并在概念上和理论上开发了研究此类方法的统一框架。我们的框架结合了使用无偏和有偏的压缩机压缩梯度和模型的方法，并阐明了辅助向量的构造。此外，我们的一般框架可以改善几种现有算法，并可以产生新的算法。最后，我们进行了几个数字实验，以说明和支持我们的理论发现。

我们研究基于{\ em本地培训（LT）}范式的分布式优化方法：通过在参数平均之前对客户进行基于本地梯度的培训来实现沟通效率。回顾田地的进度，我们{\ em识别5代LT方法}：1）启发式，2）均匀，3）sublinear，4）线性和5）加速。由Mishchenko，Malinovsky，Stich和Richt \'{A} Rik（2022）发起的5 $ {}^{\ rm th} $生成，由Proxskip方法发起通信加速机制。受到最近进度的启发，我们通过证明可以使用{\ em差异}进一步增强它们，为5 $ {}^{\ rm th} $生成LT方法的生成。尽管LT方法的所有以前的所有理论结果都完全忽略了本地工作的成本，并且仅根据交流回合的数量而被构成，但我们证明我们的方法在{\ em总培训成本方面都比{\ em em总培训成本}大得多当本地计算足够昂贵时，在制度中的理论和实践中，最先进的方法是proxskip。我们从理论上表征了这个阈值，并通过经验结果证实了我们的理论预测。

Federated learning is a distributed framework according to which a model is trained over a set of devices, while keeping data localized. This framework faces several systemsoriented challenges which include (i) communication bottleneck since a large number of devices upload their local updates to a parameter server, and (ii) scalability as the federated network consists of millions of devices. Due to these systems challenges as well as issues related to statistical heterogeneity of data and privacy concerns, designing a provably efficient federated learning method is of significant importance yet it remains challenging. In this paper, we present FedPAQ, a communication-efficient Federated Learning method with Periodic Averaging and Quantization. FedPAQ relies on three key features: (1) periodic averaging where models are updated locally at devices and only periodically averaged at the server; (2) partial device participation where only a fraction of devices participate in each round of the training; and (3) quantized messagepassing where the edge nodes quantize their updates before uploading to the parameter server. These features address the communications and scalability challenges in federated learning. We also show that FedPAQ achieves near-optimal theoretical guarantees for strongly convex and non-convex loss functions and empirically demonstrate the communication-computation tradeoff provided by our method.

联合学习（FL）是机器学习的一个子领域，在该子机学习中，多个客户试图在通信约束下通过网络进行协作学习模型。我们考虑在二阶功能相似性条件和强凸度下联合优化的有限和联合优化，并提出了两种新算法：SVRP和催化的SVRP。这种二阶相似性条件最近越来越流行，并且在包括分布式统计学习和差异性经验风险最小化在内的许多应用中得到满足。第一种算法SVRP结合了近似随机点评估，客户采样和降低方差。我们表明，当功能相似性足够高时，SVRP是沟通有效的，并且在许多现有算法上取得了卓越的性能。我们的第二个算法，催化的SVRP，是SVRP的催化剂加速变体，在二阶相似性和强凸度下，现有的联合优化算法可实现更好的性能，并均匀地改善了现有的算法。在分析这些算法的过程中，我们提供了可能具有独立关注的随机近端方法（SPPM）的新分析。我们对SPPM的分析很简单，允许进行近似近端评估，不需要任何平滑度假设，并且在通信复杂性上比普通分布式随机梯度下降显示出明显的好处。

Federated Averaging (FEDAVG) has emerged as the algorithm of choice for federated learning due to its simplicity and low communication cost. However, in spite of recent research efforts, its performance is not fully understood. We obtain tight convergence rates for FEDAVG and prove that it suffers from 'client-drift' when the data is heterogeneous (non-iid), resulting in unstable and slow convergence.As a solution, we propose a new algorithm (SCAFFOLD) which uses control variates (variance reduction) to correct for the 'client-drift' in its local updates. We prove that SCAFFOLD requires significantly fewer communication rounds and is not affected by data heterogeneity or client sampling. Further, we show that (for quadratics) SCAFFOLD can take advantage of similarity in the client's data yielding even faster convergence. The latter is the first result to quantify the usefulness of local-steps in distributed optimization.

我们开发了一种新方法来解决中央服务器中分布式学习问题中的通信约束。我们提出和分析了一种执行双向压缩的新算法，并仅使用uplink（从本地工人到中央服务器）压缩达到与算法相同的收敛速率。为了获得此改进，我们设计了MCM，一种算法，使下行链路压缩仅影响本地模型，而整体模型则保留。结果，与以前的工作相反，本地服务器上的梯度是在干扰模型上计算的。因此，融合证明更具挑战性，需要精确控制这种扰动。为了确保它，MCM还将模型压缩与存储机制相结合。该分析打开了新的门，例如纳入依赖工人的随机模型和部分参与。

在这项工作中，我们提出了FedSSO，这是一种用于联合学习的服务器端二阶优化方法（FL）。与以前朝这个方向的工作相反，我们在准牛顿方法中采用了服务器端近似，而无需客户的任何培训数据。通过这种方式，我们不仅将计算负担从客户端转移到服务器，而且还消除了客户和服务器之间二阶更新的附加通信。我们为我们的新方法的收敛提供了理论保证，并从经验上证明了我们在凸面和非凸面设置中的快速收敛和沟通节省。

在许多机器学习应用中，在许多移动或物联网设备上生成大规模和隐私敏感数据，在集中位置收集数据可能是禁止的。因此，在保持数据本地化的同时估计移动或物联网设备上的参数越来越吸引人。这种学习设置被称为交叉设备联合学习。在本文中，我们提出了第一理论上保证的跨装置联合学习设置中的一般Minimax问题的算法。我们的算法仅在每轮训练中只需要一小部分设备，这克服了设备的低可用性引入​​的困难。通过在与服务器通信之前对客户端执行多个本地更新步骤，并利用全局梯度估计来进一步减少通信开销，并利用全局梯度估计来校正由数据异质性引入的本地更新方向上的偏置。通过基于新型潜在功能的开发分析，我们为我们的算法建立了理论融合保障。 AUC最大化，强大的对抗网络培训和GAN培训任务的实验结果展示了我们算法的效率。

我们介绍了一个框架 - Artemis-，以解决分布式或联合设置中的学习问题，并具有通信约束和设备部分参与。几位工人（随机抽样）使用中央服务器执行优化过程来汇总其计算。为了减轻通信成本，Artemis允许在两个方向上（从工人到服务器，相反）将发送的信息与内存机制相结合。它改进了仅考虑单向压缩（对服务器）的现有算法，或在压缩操作员上使用非常强大的假设，并且通常不考虑设备的部分参与。我们在非I.I.D中的随机梯度（仅在最佳点界定的噪声方差）提供了快速的收敛速率（线性最高到阈值）。设置，突出显示内存对单向和双向压缩的影响，分析Polyak-Ruppert平均。我们在分布中使用收敛性，以获得渐近方差的下限，该方差突出了实际的压缩极限。我们提出了两种方法，以解决设备部分参与的具有挑战性的案例，并提供实验结果以证明我们的分析有效性。

联合学习（FL）是一种新兴的范式，可实现对机器学习模型的大规模分布培训，同时仍提供隐私保证。在这项工作中，我们在将联合优化扩展到大节点计数时共同解决了两个主要的实际挑战：中央权威和单个计算节点之间紧密同步的需求以及中央服务器和客户端之间的传输成本较大。具体而言，我们提出了经典联合平均（FedAvg）算法的新变体，该算法支持异步通信和通信压缩。我们提供了一种新的分析技术，该技术表明，尽管有这些系统放松，但在合理的参数设置下，我们的算法基本上与FedAvg的最著名界限相匹配。在实验方面，我们表明我们的算法确保标准联合任务的快速实用收敛。

最近，模型 - 不可知的元学习（MAML）已经获得了巨大的关注。然而，MAML的随机优化仍然不成熟。 MAML的现有算法利用“剧集”思想，通过对每个迭代的每个采样任务进行采样和一些数据点来更新元模型。但是，它们不一定能够以恒定的小批量大小保证收敛，或者需要在每次迭代时处理大量任务，这对于持续学习或跨设备联合学习不可行，其中仅提供少量任务每次迭代或每轮。本文通过（i）提出了与消失收敛误差的有效的基于内存的随机算法提出了基于存储的基于存储器的随机算法，这只需要采样恒定数量的任务和恒定数量的每次迭代数据样本; （ii）提出基于通信的分布式内存基于存储器的MAML算法，用于跨设备（带客户端采样）和跨筒仓（无客户采样）设置中的个性化联合学习。理论结果显着改善了MAML的优化理论，实证结果也证实了理论。

To lower the communication complexity of federated min-max learning, a natural approach is to utilize the idea of infrequent communications (through multiple local updates) same as in conventional federated learning. However, due to the more complicated inter-outer problem structure in federated min-max learning, theoretical understandings of communication complexity for federated min-max learning with infrequent communications remain very limited in the literature. This is particularly true for settings with non-i.i.d. datasets and partial client participation. To address this challenge, in this paper, we propose a new algorithmic framework called stochastic sampling averaging gradient descent ascent (SAGDA), which i) assembles stochastic gradient estimators from randomly sampled clients as control variates and ii) leverages two learning rates on both server and client sides. We show that SAGDA achieves a linear speedup in terms of both the number of clients and local update steps, which yields an $\mathcal{O}(\epsilon^{-2})$ communication complexity that is orders of magnitude lower than the state of the art. Interestingly, by noting that the standard federated stochastic gradient descent ascent (FSGDA) is in fact a control-variate-free special version of SAGDA, we immediately arrive at an $\mathcal{O}(\epsilon^{-2})$ communication complexity result for FSGDA. Therefore, through the lens of SAGDA, we also advance the current understanding on communication complexity of the standard FSGDA method for federated min-max learning.