最近，已提出了联合学习，以在边缘进行分布式模型培训。这种方法的原理是汇总在分布式客户端学习的模型，以获得新的更一般的“平均”模型（FedAvg）。然后将最终的模型重新分配给客户以进行进一步培训。迄今为止，最受欢迎的联合学习算法使用模型参数的坐标平均进行聚合。在本文中，我们进行了完整的一般数学融合分析，以评估联合学习框架中的聚合策略。由此，我们得出了新颖的聚合算法，这些算法能够通过根据损失的价值区分客户贡献来修改其模型架构。此外，我们超越了理论中介绍的假设，通过评估这些策略的性能，并通过将它们与IID和非IID框架中的分类任务中的一项进行比较，而没有其他假设。

我们提出了一个新颖的框架，以研究异步联合学习优化，并在梯度更新中延迟。我们的理论框架通过引入随机聚合权重来表示客户更新时间的可变性，从而扩展了标准的FedAvg聚合方案，例如异质硬件功能。我们的形式主义适用于客户具有异质数据集并至少执行随机梯度下降（SGD）的一步。我们证明了这种方案的收敛性，并为相关最小值提供了足够的条件，使其成为联邦问题的最佳选择。我们表明，我们的一般框架适用于现有的优化方案，包括集中学习，FedAvg，异步FedAvg和FedBuff。这里提供的理论允许绘制有意义的指南，以设计在异质条件下的联合学习实验。特别是，我们在这项工作中开发了FedFix，这是FedAvg的新型扩展，从而实现了有效的异步联合训练，同时保留了同步聚合的收敛稳定性。我们在一系列实验上凭经验证明了我们的理论，表明异步FedAvg以稳定性为代价导致快速收敛，我们最终证明了FedFix比同步和异步FedAvg的改善。

联合学习（FL）是一个分布式的机器学习框架，可以减轻数据孤岛，在该筒仓中，分散的客户在不共享其私人数据的情况下协作学习全球模型。但是，客户的非独立且相同分布的（非IID）数据对训练有素的模型产生了负面影响，并且具有不同本地更新的客户可能会在每个通信回合中对本地梯度造成巨大差距。在本文中，我们提出了一种联合矢量平均（FedVeca）方法来解决上述非IID数据问题。具体而言，我们为与本地梯度相关的全球模型设定了一个新的目标。局部梯度定义为具有步长和方向的双向向量，其中步长为局部更新的数量，并且根据我们的定义将方向分为正和负。在FedVeca中，方向受步尺的影响，因此我们平均双向向量，以降低不同步骤尺寸的效果。然后，我们理论上分析了步骤大小与全球目标之间的关系，并在每个通信循环的步骤大小上获得上限。基于上限，我们为服务器和客户端设计了一种算法，以自适应调整使目标接近最佳的步骤大小。最后，我们通过构建原型系统对不同数据集，模型和场景进行实验，实验结果证明了FedVeca方法的有效性和效率。

数据异构联合学习（FL）系统遭受了两个重要的收敛误差来源：1）客户漂移错误是由于在客户端执行多个局部优化步骤而引起的，以及2）部分客户参与错误，这是一个事实，仅一小部分子集边缘客户参加每轮培训。我们发现其中，只有前者在文献中受到了极大的关注。为了解决这个问题，我们提出了FedVarp，这是在服务器上应用的一种新颖的差异算法，它消除了由于部分客户参与而导致的错误。为此，服务器只是将每个客户端的最新更新保持在内存中，并将其用作每回合中非参与客户的替代更新。此外，为了减轻服务器上的内存需求，我们提出了一种新颖的基于聚类的方差降低算法clusterfedvarp。与以前提出的方法不同，FedVarp和ClusterFedVarp均不需要在客户端上进行其他计算或其他优化参数的通信。通过广泛的实验，我们表明FedVarp优于最先进的方法，而ClusterFedVarp实现了与FedVarp相当的性能，并且记忆要求较少。

在这项工作中，我们提出了FedSSO，这是一种用于联合学习的服务器端二阶优化方法（FL）。与以前朝这个方向的工作相反，我们在准牛顿方法中采用了服务器端近似，而无需客户的任何培训数据。通过这种方式，我们不仅将计算负担从客户端转移到服务器，而且还消除了客户和服务器之间二阶更新的附加通信。我们为我们的新方法的收敛提供了理论保证，并从经验上证明了我们在凸面和非凸面设置中的快速收敛和沟通节省。

众所周知，客户师沟通可能是联邦学习中的主要瓶颈。在这项工作中，我们通过一种新颖的客户端采样方案解决了这个问题，我们将允许的客户数量限制为将其更新传达给主节点的数量。在每个通信回合中，所有参与的客户都会计算他们的更新，但只有具有“重要”更新的客户可以与主人通信。我们表明，可以仅使用更新的规范来衡量重要性，并提供一个公式以最佳客户参与。此公式将所有客户参与的完整更新与我们有限的更新（参与客户数量受到限制）之间的距离最小化。此外，我们提供了一种简单的算法，该算法近似于客户参与的最佳公式，该公式仅需要安全的聚合，因此不会损害客户的隐私。我们在理论上和经验上都表明，对于分布式SGD（DSGD）和联合平均（FedAvg），我们的方法的性能可以接近完全参与，并且优于基线，在参与客户均匀地采样的基线。此外，我们的方法与现有的减少通信开销（例如本地方法和通信压缩方法）的现有方法兼容。

In federated optimization, heterogeneity in the clients' local datasets and computation speeds results in large variations in the number of local updates performed by each client in each communication round. Naive weighted aggregation of such models causes objective inconsistency, that is, the global model converges to a stationary point of a mismatched objective function which can be arbitrarily different from the true objective. This paper provides a general framework to analyze the convergence of federated heterogeneous optimization algorithms. It subsumes previously proposed methods such as FedAvg and FedProx and provides the first principled understanding of the solution bias and the convergence slowdown due to objective inconsistency. Using insights from this analysis, we propose Fed-Nova, a normalized averaging method that eliminates objective inconsistency while preserving fast error convergence.

联合学习（FL）是分布式学习的一种变体，其中Edge设备可以协作学习模型，而无需与中央服务器或彼此共享数据。我们将使用公共客户库作为多模型FL的联合设置中同时培训多个独立模型的过程。在这项工作中，我们提出了用于多模型FL的流行FedAvg算法的两个变体，并具有可证明的收敛保证。我们进一步表明，对于相同数量的计算，多模型FL可以比单独训练每个模型具有更好的性能。我们通过在强凸，凸和非凸面设置中进行实验来补充理论结果。

Federated Learning（FL）是一个出色的分布式机器学习框架，因为它在数据隐私和沟通效率方面的好处。由于由于资源的限制，在许多情况下的全面客户参与是不可行的，因此已经研究了部分参与算法，该算法主动选择/采样了一部分客户的子集，旨在实现接近全面参与案例的学习绩效。本文研究了一种被动的部分客户参与方案，该场景知之甚少，其中部分参与是外部事件的结果，即客户辍学，而不是FL算法的决定。我们将fl与客户辍学者一起作为特殊情况，即较大的FL问题，客户可以在其中提交替代（可能不准确）本地模型更新。基于我们的收敛分析，我们开发了一种新的算法FL-FDM，该算法会发现客户的朋友（即数据分布相似的客户），并使用朋友的本地更新作为辍学客户的替代品，从而减少替换错误并改善收敛性能。复杂性降低机制也被纳入FL-FDMS，使其在理论上是合理的，而且实际上有用。关于MNIST和CIFAR-10的实验证实了FL-FDM在处理FL中辍学时的出色性能。

在联合学习（FL）的新兴范式中，大量客户端（例如移动设备）用于在各自的数据上训练可能的高维模型。由于移动设备的带宽低，分散的优化方法需要将计算负担从那些客户端转移到计算服务器，同时保留隐私和合理的通信成本。在本文中，我们专注于深度，如多层神经网络的培训，在FL设置下。我们提供了一种基于本地模型的层状和维度更新的新型联合学习方法，减轻了非凸起和手头优化任务的多层性质的新型联合学习方法。我们为Fed-Lamb提供了一种彻底的有限时间收敛性分析，表征其渐变减少的速度有多速度。我们在IID和非IID设置下提供实验结果，不仅可以证实我们的理论，而且与最先进的方法相比，我们的方法的速度更快。

从经验上证明，在跨客户聚集之前应用多个本地更新的实践是克服联合学习（FL）中的通信瓶颈的成功方法。在这项工作中，我们提出了一种通用食谱，即FedShuffle，可以更好地利用FL中的本地更新，尤其是在异质性方面。与许多先前的作品不同，FedShuffle在每个设备的更新数量上没有任何统一性。我们的FedShuffle食谱包括四种简单的功能成分：1）数据的本地改组，2）调整本地学习率，3）更新加权，4）减少动量方差（Cutkosky and Orabona，2019年）。我们对FedShuffle进行了全面的理论分析，并表明从理论和经验上讲，我们的方法都不遭受FL方法中存在的目标功能不匹配的障碍，这些方法假设在异质FL设置中，例如FedAvg（McMahan等人，McMahan等， 2017）。此外，通过将上面的成分结合起来，FedShuffle在Fednova上改善（Wang等，2020），以前提议解决此不匹配。我们还表明，在Hessian相似性假设下，通过降低动量方差的FedShuffle可以改善非本地方法。最后，通过对合成和现实世界数据集的实验，我们说明了FedShuffle中使用的四种成分中的每种如何有助于改善FL中局部更新的使用。

当上行链路和下行链路通信都有错误时联合学习（FL）工作吗？通信噪音可以处理多少，其对学习性能的影响是什么？这项工作致力于通过明确地纳入流水线中的上行链路和下行链路嘈杂的信道来回答这些实际重要的问题。我们在同时上行链路和下行链路嘈杂通信通道上提供了多种新的融合分析，其包括完整和部分客户端参与，直接模型和模型差分传输，以及非独立和相同分布的（IID）本地数据集。这些分析表征了嘈杂通道的流动条件，使其具有与无通信错误的理想情况相同的融合行为。更具体地，为了保持FEDAVG的O（1 / T）具有完美通信的O（1 / T）收敛速率，应控制用于直接模型传输的上行链路和下行链路信噪比（SNR），使得它们被缩放为O（t ^ 2）其中T是通信轮的索引，但可以保持常量的模型差分传输。这些理论结果的关键洞察力是“雷达下的飞行”原则 - 随机梯度下降（SGD）是一个固有的噪声过程，并且可以容忍上行链路/下行链路通信噪声，只要它们不占据时变的SGD噪声即可。我们举例说明了具有两种广泛采用的通信技术 - 传输功率控制和多样性组合的这些理论发现 - 并通过使用多个真实世界流动任务的广泛数值实验进一步通过标准方法验证它们的性能优势。

The statistical heterogeneity of the non-independent and identically distributed (non-IID) data in local clients significantly limits the performance of federated learning. Previous attempts like FedProx, SCAFFOLD, MOON, FedNova and FedDyn resort to an optimization perspective, which requires an auxiliary term or re-weights local updates to calibrate the learning bias or the objective inconsistency. However, in addition to previous explorations for improvement in federated averaging, our analysis shows that another critical bottleneck is the poorer optima of client models in more heterogeneous conditions. We thus introduce a data-driven approach called FedSkip to improve the client optima by periodically skipping federated averaging and scattering local models to the cross devices. We provide theoretical analysis of the possible benefit from FedSkip and conduct extensive experiments on a range of datasets to demonstrate that FedSkip achieves much higher accuracy, better aggregation efficiency and competing communication efficiency. Source code is available at: https://github.com/MediaBrain-SJTU/FedSkip.

As a novel distributed learning paradigm, federated learning (FL) faces serious challenges in dealing with massive clients with heterogeneous data distribution and computation and communication resources. Various client-variance-reduction schemes and client sampling strategies have been respectively introduced to improve the robustness of FL. Among others, primal-dual algorithms such as the alternating direction of method multipliers (ADMM) have been found being resilient to data distribution and outperform most of the primal-only FL algorithms. However, the reason behind remains a mystery still. In this paper, we firstly reveal the fact that the federated ADMM is essentially a client-variance-reduced algorithm. While this explains the inherent robustness of federated ADMM, the vanilla version of it lacks the ability to be adaptive to the degree of client heterogeneity. Besides, the global model at the server under client sampling is biased which slows down the practical convergence. To go beyond ADMM, we propose a novel primal-dual FL algorithm, termed FedVRA, that allows one to adaptively control the variance-reduction level and biasness of the global model. In addition, FedVRA unifies several representative FL algorithms in the sense that they are either special instances of FedVRA or are close to it. Extensions of FedVRA to semi/un-supervised learning are also presented. Experiments based on (semi-)supervised image classification tasks demonstrate superiority of FedVRA over the existing schemes in learning scenarios with massive heterogeneous clients and client sampling.

Federated learning (FL) is a decentralized and privacy-preserving machine learning technique in which a group of clients collaborate with a server to learn a global model without sharing clients' data. One challenge associated with FL is statistical diversity among clients, which restricts the global model from delivering good performance on each client's task. To address this, we propose an algorithm for personalized FL (pFedMe) using Moreau envelopes as clients' regularized loss functions, which help decouple personalized model optimization from the global model learning in a bi-level problem stylized for personalized FL. Theoretically, we show that pFedMe's convergence rate is state-of-the-art: achieving quadratic speedup for strongly convex and sublinear speedup of order 2/3 for smooth nonconvex objectives. Experimentally, we verify that pFedMe excels at empirical performance compared with the vanilla FedAvg and Per-FedAvg, a meta-learning based personalized FL algorithm.

我们展示了一个联合学习框架，旨在强大地提供具有异构数据的各个客户端的良好预测性能。所提出的方法对基于SuperQualile的学习目标铰接，捕获异构客户端的误差分布的尾统计。我们提出了一种随机训练算法，其与联合平均步骤交织差异私人客户重新重量步骤。该提出的算法支持有限时间收敛保证，保证覆盖凸和非凸面设置。关于联邦学习的基准数据集的实验结果表明，我们的方法在平均误差方面与古典误差竞争，并且在误差的尾统计方面优于它们。

联合学习（FL）是一种新兴学习范例，可以通过确保边缘设备上的客户端数据局部性来保护隐私。由于学习系统的多样性和异质性，FL的优化在实践中具有挑战性。尽管最近的研究努力改善异构数据的优化，但时间不断变化的异构数据在现实世界方案中的影响，例如改变客户数据或在训练期间留下或离开的间歇性客户，并未得到很好地研究。在这项工作中，我们提出了持续的联邦学习（CFL），灵活的框架，以捕获FL的时间不正常性。 CFL涵盖复杂和现实的情景 - 在之前的流派中评估了挑战 - 通过提取过去的本地数据集的信息并近似当地目标函数。从理论上讲，我们证明CFL方法在时间不断发展的场景中实现了比\ FEDAVG更快的会聚率，其中益处依赖于近似质量。在一系列实验中，我们表明数值调查结果与收敛分析相匹配，CFL方法显着优于其他SOTA FL基线。

Data heterogeneity across clients is a key challenge in federated learning. Prior works address this by either aligning client and server models or using control variates to correct client model drift. Although these methods achieve fast convergence in convex or simple non-convex problems, the performance in over-parameterized models such as deep neural networks is lacking. In this paper, we first revisit the widely used FedAvg algorithm in a deep neural network to understand how data heterogeneity influences the gradient updates across the neural network layers. We observe that while the feature extraction layers are learned efficiently by FedAvg, the substantial diversity of the final classification layers across clients impedes the performance. Motivated by this, we propose to correct model drift by variance reduction only on the final layers. We demonstrate that this significantly outperforms existing benchmarks at a similar or lower communication cost. We furthermore provide proof for the convergence rate of our algorithm.

联合学习允许多个参与者在不公开数据隐私的情况下协作培训高效模型。但是，这种分布式的机器学习培训方法容易受到拜占庭客户的攻击，拜占庭客户通过修改模型或上传假梯度来干扰全球模型的训练。在本文中，我们提出了一种基于联邦学习（CMFL）的新型无服务器联合学习框架委员会机制，该机制可以确保算法具有融合保证的鲁棒性。在CMFL中，设立了一个委员会系统，以筛选上载已上传的本地梯度。 The committee system selects the local gradients rated by the elected members for the aggregation procedure through the selection strategy, and replaces the committee member through the election strategy.基于模型性能和防御的不同考虑，设计了两种相反的选择策略是为了精确和鲁棒性。广泛的实验表明，与典型的联邦学习相比，与传统的稳健性相比，CMFL的融合和更高的准确性比传统的稳健性，以分散的方法的方式获得了传统的耐受性算法。此外，我们理论上分析并证明了在不同的选举和选择策略下CMFL的收敛性，这与实验结果一致。

可扩展性和隐私是交叉设备联合学习（FL）系统的两个关键问题。在这项工作中，我们确定了FL中的客户端更新的同步流动聚合不能高效地缩放到几百个并行培训之外。它导致ModelPerforce和训练速度的回报递减，Ampanysto大批量培训。另一方面，FL（即异步FL）中的客户端更新的异步聚合减轻了可扩展性问题。但是，聚合个性链子更新与安全聚合不兼容，这可能导致系统的不良隐私水平。为了解决这些问题，我们提出了一种新颖的缓冲异步聚合方法FedBuff，这是不可知的优化器的选择，并结合了同步和异步FL的最佳特性。我们经验证明FEDBuff比同步FL更有效，比异步FL效率更高3.3倍，同时兼容保留保护技术，如安全聚合和差异隐私。我们在平滑的非凸设置中提供理论融合保证。最后，我们显示在差异私有培训下，FedBuff可以在低隐私设置下占FEDAVGM并实现更高隐私设置的相同实用程序。