联合学习（FL）是一种保护隐私的范式，其中多个参与者共同解决机器学习问题而无需共享原始数据。与传统的分布式学习不同，FL的独特特征是统计异质性，即，跨参与者的数据分布彼此不同。同时，神经网络解释的最新进展已广泛使用神经切线核（NTK）进行收敛分析。在本文中，我们提出了一个新颖的FL范式，该范式由NTK框架赋予了能力。该范式通过传输比常规FL范式更具表现力的更新数据来解决统计异质性的挑战。具体而言，通过样本的雅各布矩阵，而不是模型的权重/梯度，由参与者上传。然后，服务器构建了经验内核矩阵，以更新全局模型，而无需明确执行梯度下降。我们进一步开发了一种具有提高沟通效率和增强隐私性的变体。数值结果表明，与联邦平均相比，所提出的范式可以达到相同的精度，同时将通信弹的数量减少数量级。

Federated learning allows collaborative workers to solve a machine learning problem while preserving data privacy. Recent studies have tackled various challenges in federated learning, but the joint optimization of communication overhead, learning reliability, and deployment efficiency is still an open problem. To this end, we propose a new scheme named federated learning via plurality vote (FedVote). In each communication round of FedVote, workers transmit binary or ternary weights to the server with low communication overhead. The model parameters are aggregated via weighted voting to enhance the resilience against Byzantine attacks. When deployed for inference, the model with binary or ternary weights is resource-friendly to edge devices. We show that our proposed method can reduce quantization error and converges faster compared with the methods directly quantizing the model updates.

在这项工作中，我们提出了FedSSO，这是一种用于联合学习的服务器端二阶优化方法（FL）。与以前朝这个方向的工作相反，我们在准牛顿方法中采用了服务器端近似，而无需客户的任何培训数据。通过这种方式，我们不仅将计算负担从客户端转移到服务器，而且还消除了客户和服务器之间二阶更新的附加通信。我们为我们的新方法的收敛提供了理论保证，并从经验上证明了我们在凸面和非凸面设置中的快速收敛和沟通节省。

联合学习（FL）是一个新的分布式机器学习框架，可以在不收集用户的私人数据的情况下获得可靠的协作培训。但是，由于FL的频繁沟通和平均聚合策略，他们会遇到挑战统计多样性数据和大规模模型。在本文中，我们提出了一个个性化的FL框架，称为基于Tensor分解的个性化联合学习（TDPFED），在该框架中，我们设计了一种具有张力的线性层和卷积层的新颖的张力局部模型，以降低交流成本。 TDPFED使用双级损失函数来通过控制个性化模型和张力的本地模型之间的差距来使全球模型学习的个性化模型优化。此外，有效的分布式学习策略和两种不同的模型聚合策略是为拟议的TDPFED框架设计的。理论融合分析和彻底的实验表明，我们提出的TDPFED框架在降低交流成本的同时实现了最新的性能。

恶意攻击者和诚实但有趣的服务器可以从联合学习中上传的梯度中窃取私人客户数据。尽管当前的保护方法（例如，添加剂同构密码系统）可以保证联合学习系统的安全性，但它们带来了额外的计算和通信成本。为了减轻成本，我们提出了\ texttt {fedage}框架，该框架使服务器能够在编码域中汇总梯度，而无需访问任何单个客户端的原始梯度。因此，\ texttt {fedage}可以防止好奇的服务器逐渐窃取，同时保持相同的预测性能而没有额外的通信成本。此外，从理论上讲，我们证明所提出的编码编码框架是具有差异隐私的高斯机制。最后，我们在几个联合设置下评估\ texttt {fedage}，结果证明了提出的框架的功效。

在联合学习（FL）的新兴范式中，大量客户端（例如移动设备）用于在各自的数据上训练可能的高维模型。由于移动设备的带宽低，分散的优化方法需要将计算负担从那些客户端转移到计算服务器，同时保留隐私和合理的通信成本。在本文中，我们专注于深度，如多层神经网络的培训，在FL设置下。我们提供了一种基于本地模型的层状和维度更新的新型联合学习方法，减轻了非凸起和手头优化任务的多层性质的新型联合学习方法。我们为Fed-Lamb提供了一种彻底的有限时间收敛性分析，表征其渐变减少的速度有多速度。我们在IID和非IID设置下提供实验结果，不仅可以证实我们的理论，而且与最先进的方法相比，我们的方法的速度更快。

可扩展性和隐私是交叉设备联合学习（FL）系统的两个关键问题。在这项工作中，我们确定了FL中的客户端更新的同步流动聚合不能高效地缩放到几百个并行培训之外。它导致ModelPerforce和训练速度的回报递减，Ampanysto大批量培训。另一方面，FL（即异步FL）中的客户端更新的异步聚合减轻了可扩展性问题。但是，聚合个性链子更新与安全聚合不兼容，这可能导致系统的不良隐私水平。为了解决这些问题，我们提出了一种新颖的缓冲异步聚合方法FedBuff，这是不可知的优化器的选择，并结合了同步和异步FL的最佳特性。我们经验证明FEDBuff比同步FL更有效，比异步FL效率更高3.3倍，同时兼容保留保护技术，如安全聚合和差异隐私。我们在平滑的非凸设置中提供理论融合保证。最后，我们显示在差异私有培训下，FedBuff可以在低隐私设置下占FEDAVGM并实现更高隐私设置的相同实用程序。

联合学习（FL）是一种趋势培训范式，用于利用分散培训数据。 FL允许客户端在本地更新几个时期的模型参数，然后将它们共享到全局模型以进行聚合。在聚集之前，该训练范式具有多本地步骤更新，使对抗性攻击暴露了独特的漏洞。对手训练是一种流行而有效的方法，可以提高网络对抗者的鲁棒性。在这项工作中，我们制定了一种一般形式的联邦对抗学习（FAL），该形式是从集中式环境中的对抗性学习改编而成的。在FL培训的客户端，FAL具有一个内部循环，可以生成对抗性样本进行对抗训练和外循环以更新本地模型参数。在服务器端，FAL汇总了本地模型更新并广播聚合的模型。我们设计了全球强大的训练损失，并将FAL培训作为最小最大优化问题。与依赖梯度方向的经典集中式培训中的收敛分析不同，由于三个原因，很难在FAL中分析FAL的收敛性：1）Min-Max优化的复杂性，2）模型未在梯度方向上更新聚合之前的客户端和3）客户间异质性的多局部更新。我们通过使用适当的梯度近似和耦合技术来应对这些挑战，并在过度参数化的制度中介绍收敛分析。从理论上讲，我们的主要结果表明，我们的算法下的最小损失可以收敛到$ \ epsilon $ Small，并具有所选的学习率和交流回合。值得注意的是，我们的分析对于非IID客户是可行的。

联合学习已被提议作为隐私的机器学习框架，该框架使多个客户能够在不共享原始数据的情况下进行协作。但是，在此框架中，设计并不能保证客户隐私保护。先前的工作表明，联邦学习中的梯度共享策略可能容易受到数据重建攻击的影响。但是，实际上，考虑到高沟通成本或由于增强隐私要求，客户可能不会传输原始梯度。实证研究表明，梯度混淆，包括通过梯度噪声注入和通过梯度压缩的无意化混淆的意图混淆，可以提供更多的隐私保护，以防止重建攻击。在这项工作中，我们提出了一个针对联合学习中图像分类任务的新数据重建攻击框架。我们表明，通常采用的梯度后处理程序，例如梯度量化，梯度稀疏和梯度扰动，可能会在联合学习中具有错误的安全感。与先前的研究相反，我们认为不应将隐私增强视为梯度压缩的副产品。此外，我们在提出的框架下设计了一种新方法，以在语义层面重建图像。我们量化语义隐私泄漏，并根据图像相似性分数进行比较。我们的比较挑战了文献中图像数据泄漏评估方案。结果强调了在现有联合学习算法中重新审视和重新设计对客户数据的隐私保护机制的重要性。

我们提出了一个新颖的框架，以研究异步联合学习优化，并在梯度更新中延迟。我们的理论框架通过引入随机聚合权重来表示客户更新时间的可变性，从而扩展了标准的FedAvg聚合方案，例如异质硬件功能。我们的形式主义适用于客户具有异质数据集并至少执行随机梯度下降（SGD）的一步。我们证明了这种方案的收敛性，并为相关最小值提供了足够的条件，使其成为联邦问题的最佳选择。我们表明，我们的一般框架适用于现有的优化方案，包括集中学习，FedAvg，异步FedAvg和FedBuff。这里提供的理论允许绘制有意义的指南，以设计在异质条件下的联合学习实验。特别是，我们在这项工作中开发了FedFix，这是FedAvg的新型扩展，从而实现了有效的异步联合训练，同时保留了同步聚合的收敛稳定性。我们在一系列实验上凭经验证明了我们的理论，表明异步FedAvg以稳定性为代价导致快速收敛，我们最终证明了FedFix比同步和异步FedAvg的改善。

联合学习可以使远程工作人员能够协作培训共享机器学习模型，同时允许在本地保持训练数据。在无线移动设备的用例中，由于功率和带宽有限，通信开销是关键瓶颈。前工作已经利用了各种数据压缩工具，例如量化和稀疏，以减少开销。在本文中，我们提出了一种用于联合学习的预测编码的压缩方案。该方案在所有设备中具有共享预测功能，并且允许每个工作人员发送来自参考的压缩残余矢量。在每个通信中，我们基于速率失真成本选择预测器和量化器，并进一步降低熵编码的冗余。广泛的模拟表明，与其他基线方法相比，甚至更好的学习性能，通信成本可以减少高达99％。

数据异构联合学习（FL）系统遭受了两个重要的收敛误差来源：1）客户漂移错误是由于在客户端执行多个局部优化步骤而引起的，以及2）部分客户参与错误，这是一个事实，仅一小部分子集边缘客户参加每轮培训。我们发现其中，只有前者在文献中受到了极大的关注。为了解决这个问题，我们提出了FedVarp，这是在服务器上应用的一种新颖的差异算法，它消除了由于部分客户参与而导致的错误。为此，服务器只是将每个客户端的最新更新保持在内存中，并将其用作每回合中非参与客户的替代更新。此外，为了减轻服务器上的内存需求，我们提出了一种新颖的基于聚类的方差降低算法clusterfedvarp。与以前提出的方法不同，FedVarp和ClusterFedVarp均不需要在客户端上进行其他计算或其他优化参数的通信。通过广泛的实验，我们表明FedVarp优于最先进的方法，而ClusterFedVarp实现了与FedVarp相当的性能，并且记忆要求较少。

As a novel distributed learning paradigm, federated learning (FL) faces serious challenges in dealing with massive clients with heterogeneous data distribution and computation and communication resources. Various client-variance-reduction schemes and client sampling strategies have been respectively introduced to improve the robustness of FL. Among others, primal-dual algorithms such as the alternating direction of method multipliers (ADMM) have been found being resilient to data distribution and outperform most of the primal-only FL algorithms. However, the reason behind remains a mystery still. In this paper, we firstly reveal the fact that the federated ADMM is essentially a client-variance-reduced algorithm. While this explains the inherent robustness of federated ADMM, the vanilla version of it lacks the ability to be adaptive to the degree of client heterogeneity. Besides, the global model at the server under client sampling is biased which slows down the practical convergence. To go beyond ADMM, we propose a novel primal-dual FL algorithm, termed FedVRA, that allows one to adaptively control the variance-reduction level and biasness of the global model. In addition, FedVRA unifies several representative FL algorithms in the sense that they are either special instances of FedVRA or are close to it. Extensions of FedVRA to semi/un-supervised learning are also presented. Experiments based on (semi-)supervised image classification tasks demonstrate superiority of FedVRA over the existing schemes in learning scenarios with massive heterogeneous clients and client sampling.

Non-IID data distribution across clients and poisoning attacks are two main challenges in real-world federated learning systems. While both of them have attracted great research interest with specific strategies developed, no known solution manages to address them in a unified framework. To jointly overcome both challenges, we propose SmartFL, a generic approach that optimizes the server-side aggregation process with a small clean server-collected proxy dataset (e.g., around one hundred samples, 0.2% of the dataset) via a subspace training technique. Specifically, the aggregation weight of each participating client at each round is optimized using the server-collected proxy data, which is essentially the optimization of the global model in the convex hull spanned by client models. Since at each round, the number of tunable parameters optimized on the server side equals the number of participating clients (thus independent of the model size), we are able to train a global model with massive parameters using only a small amount of proxy data. We provide theoretical analyses of the convergence and generalization capacity for SmartFL. Empirically, SmartFL achieves state-of-the-art performance on both federated learning with non-IID data distribution and federated learning with malicious clients. The source code will be released.

标准联合优化方法成功地适用于单层结构的随机问题。然而，许多当代的ML问题 - 包括对抗性鲁棒性，超参数调整和参与者 - 批判性 - 属于嵌套的双层编程，这些编程包含微型型和组成优化。在这项工作中，我们提出了\ fedblo：一种联合交替的随机梯度方法来解决一般的嵌套问题。我们在存在异质数据的情况下为\ fedblo建立了可证明的收敛速率，并引入了二聚体，最小值和组成优化的变化。\ fedblo引入了多种创新，包括联邦高级计算和降低方差，以解决内部级别的异质性。我们通过有关超参数\＆超代理学习和最小值优化的实验来补充我们的理论，以证明我们方法在实践中的好处。代码可在https://github.com/ucr-optml/fednest上找到。

联合学习允许客户在保持数据本地时协同学习统计模型。联合学习最初用于培训一个独特的全局模型来为所有客户提供服务，但是当客户的本地数据分布是异构时，这种方法可能是次优。为了解决此限制，最近的个性化联合学习方法为每个客户提供单独的模型，同时仍然利用其他客户端提供的知识。在这项工作中，我们利用深神经网络从非表格数据中提取高质量矢量表示（嵌入），例如图像和文本的能力，提出基于本地记忆的个性化机制。根据全局模型提供的共享表示，将个性化与All-Nealest邻居（KNN）模型插入预先训练的全局模型。我们为所提出的方法提供泛化界限，我们展示了一套联合数据集，这种方法比最先进的方法实现了更高的准确性和公平性。

联邦学习（FL）引起了人们对在存储在多个用户中的数据中启用隐私的机器学习的兴趣，同时避免将数据移动到偏离设备上。但是，尽管数据永远不会留下用户的设备，但仍然无法保证隐私，因为用户培训数据的重大计算以训练有素的本地模型的形式共享。最近，这些本地模型通过不同的隐私攻击（例如模型反演攻击）构成了实质性的隐私威胁。作为一种补救措施，通过保证服务器只能学习全局聚合模型更新，而不是单个模型更新，从而开发了安全汇总（SA）作为保护佛罗里达隐私的框架。尽管SA确保没有泄漏有关单个模型更新超出汇总模型更新的其他信息，但对于SA实际上可以提供多少私密性fl，没有正式的保证；由于有关单个数据集的信息仍然可以通过在服务器上计算的汇总模型泄漏。在这项工作中，我们对使用SA的FL的正式隐私保证进行了首次分析。具体而言，我们使用共同信息（MI）作为定量度量，并在每个用户数据集的信息上可以通过汇总的模型更新泄漏有关多少信息。当使用FEDSGD聚合算法时，我们的理论界限表明，隐私泄漏量随着SA参与FL的用户数量而线性减少。为了验证我们的理论界限，我们使用MI神经估计量来凭经验评估MNIST和CIFAR10数据集的不同FL设置下的隐私泄漏。我们的实验验证了FEDSGD的理论界限，随着用户数量和本地批量的增长，隐私泄漏的减少，并且随着培训回合的数量，隐私泄漏的增加。

联合学习（FL）是一种新兴学习范例，可以通过确保边缘设备上的客户端数据局部性来保护隐私。由于学习系统的多样性和异质性，FL的优化在实践中具有挑战性。尽管最近的研究努力改善异构数据的优化，但时间不断变化的异构数据在现实世界方案中的影响，例如改变客户数据或在训练期间留下或离开的间歇性客户，并未得到很好地研究。在这项工作中，我们提出了持续的联邦学习（CFL），灵活的框架，以捕获FL的时间不正常性。 CFL涵盖复杂和现实的情景 - 在之前的流派中评估了挑战 - 通过提取过去的本地数据集的信息并近似当地目标函数。从理论上讲，我们证明CFL方法在时间不断发展的场景中实现了比\ FEDAVG更快的会聚率，其中益处依赖于近似质量。在一系列实验中，我们表明数值调查结果与收敛分析相匹配，CFL方法显着优于其他SOTA FL基线。

聚集的联合学习（FL）已显示通过将客户分组为群集，从而产生有希望的结果。这在单独的客户群在其本地数据的分布方面有显着差异的情况下特别有效。现有的集群FL算法实质上是在试图将客户群体组合在一起，以便同一集群中的客户可以利用彼此的数据来更好地执行联合学习。但是，先前的群集FL算法试图在培训期间间接学习这些分布相似性，这可能会很耗时，因为可能需要许多回合的联合学习，直到群集的形成稳定为止。在本文中，我们提出了一种新的联合学习方法，该方法直接旨在通过分析客户数据子空间之间的主要角度来有效地识别客户之间的分布相似性。每个客户端都以单一的方式在其本地数据上应用截断的奇异值分解（SVD）步骤，以得出一小部分主向量，该量提供了一个签名，可简洁地捕获基础分布的主要特征。提供了一组主要的主向量，以便服务器可以直接识别客户端之间的分布相似性以形成簇。这是通过比较这些主要向量跨越的客户数据子空间之间主要角度的相似性来实现的。该方法提供了一个简单而有效的集群FL框架，该框架解决了广泛的数据异质性问题，而不是标签偏斜的更简单的非iids形式。我们的聚类FL方法还可以为非凸目标目标提供融合保证。我们的代码可在https://github.com/mmorafah/pacfl上找到。

In federated optimization, heterogeneity in the clients' local datasets and computation speeds results in large variations in the number of local updates performed by each client in each communication round. Naive weighted aggregation of such models causes objective inconsistency, that is, the global model converges to a stationary point of a mismatched objective function which can be arbitrarily different from the true objective. This paper provides a general framework to analyze the convergence of federated heterogeneous optimization algorithms. It subsumes previously proposed methods such as FedAvg and FedProx and provides the first principled understanding of the solution bias and the convergence slowdown due to objective inconsistency. Using insights from this analysis, we propose Fed-Nova, a normalized averaging method that eliminates objective inconsistency while preserving fast error convergence.