传统上，群集联合学习组客户端具有与群集相同的数据分发，以便每个客户端都与一个数据分发唯一关联，并帮助为此分发训练模型。我们将此艰难的关联假设放宽到软群集联合学习，允许每个本地数据集遵循多个源分布的混合。我们提出FEDSoft，在此设置中列出了本地个性化模型和高质量的集群模型。FEDSoft通过使用近端更新限制客户端工作负载，以便在每个通信中只需要从客户端的子集完成一个优化任务。我们在分析和经验上显示，FedSoft有效利用源分布之间的相似性，以了解表现良好的个性化和群集模型。

知识共享和模型个性化是应对联邦学习（FL）中非IID挑战的重要组成部分。大多数现有的FL方法侧重于两个极端：1）学习共享模型，以使用非IID数据为所有客户提供服务，以及2）为每个客户（即个性化fl）学习个性化模型。有一个权衡解决方案，即群集或集群个性化的FL，旨在将相似的客户聚集到一个集群中，然后在集群中为所有客户学习共享模型。本文是通过将群集群集制定为可以统一现有方法的双层优化框架来重新审视群集的研究。我们提出了一个新的理论分析框架，以通过考虑客户之间的凝聚力来证明融合。此外，我们以一种称为加权聚类联合学习（WECFL）的算法体现了该框架。经验分析验证了理论结果，并证明了在拟议的集群非IID设置下提出的WECFL的有效性。

聚集的联合学习（FL）已显示通过将客户分组为群集，从而产生有希望的结果。这在单独的客户群在其本地数据的分布方面有显着差异的情况下特别有效。现有的集群FL算法实质上是在试图将客户群体组合在一起，以便同一集群中的客户可以利用彼此的数据来更好地执行联合学习。但是，先前的群集FL算法试图在培训期间间接学习这些分布相似性，这可能会很耗时，因为可能需要许多回合的联合学习，直到群集的形成稳定为止。在本文中，我们提出了一种新的联合学习方法，该方法直接旨在通过分析客户数据子空间之间的主要角度来有效地识别客户之间的分布相似性。每个客户端都以单一的方式在其本地数据上应用截断的奇异值分解（SVD）步骤，以得出一小部分主向量，该量提供了一个签名，可简洁地捕获基础分布的主要特征。提供了一组主要的主向量，以便服务器可以直接识别客户端之间的分布相似性以形成簇。这是通过比较这些主要向量跨越的客户数据子空间之间主要角度的相似性来实现的。该方法提供了一个简单而有效的集群FL框架，该框架解决了广泛的数据异质性问题，而不是标签偏斜的更简单的非iids形式。我们的聚类FL方法还可以为非凸目标目标提供融合保证。我们的代码可在https://github.com/mmorafah/pacfl上找到。

This study investigates clustered federated learning (FL), one of the formulations of FL with non-i.i.d. data, where the devices are partitioned into clusters and each cluster optimally fits its data with a localized model. We propose a novel clustered FL framework, which applies a nonconvex penalty to pairwise differences of parameters. This framework can automatically identify clusters without a priori knowledge of the number of clusters and the set of devices in each cluster. To implement the proposed framework, we develop a novel clustered FL method called FPFC. Advancing from the standard ADMM, our method is implemented in parallel, updates only a subset of devices at each communication round, and allows each participating device to perform a variable amount of work. This greatly reduces the communication cost while simultaneously preserving privacy, making it practical for FL. We also propose a new warmup strategy for hyperparameter tuning under FL settings and consider the asynchronous variant of FPFC (asyncFPFC). Theoretically, we provide convergence guarantees of FPFC for general nonconvex losses and establish the statistical convergence rate under a linear model with squared loss. Our extensive experiments demonstrate the advantages of FPFC over existing methods.

The increasing size of data generated by smartphones and IoT devices motivated the development of Federated Learning (FL), a framework for on-device collaborative training of machine learning models. First efforts in FL focused on learning a single global model with good average performance across clients, but the global model may be arbitrarily bad for a given client, due to the inherent heterogeneity of local data distributions. Federated multi-task learning (MTL) approaches can learn personalized models by formulating an opportune penalized optimization problem. The penalization term can capture complex relations among personalized models, but eschews clear statistical assumptions about local data distributions. In this work, we propose to study federated MTL under the flexible assumption that each local data distribution is a mixture of unknown underlying distributions. This assumption encompasses most of the existing personalized FL approaches and leads to federated EM-like algorithms for both client-server and fully decentralized settings. Moreover, it provides a principled way to serve personalized models to clients not seen at training time. The algorithms' convergence is analyzed through a novel federated surrogate optimization framework, which can be of general interest. Experimental results on FL benchmarks show that our approach provides models with higher accuracy and fairness than state-of-the-art methods.

联合学习使不同的各方能够在服务器的编排下协作建立全球模型，同时将培训数据保留在客户的设备上。但是，当客户具有异质数据时，性能会受到影响。为了解决这个问题，我们假设尽管数据异质性，但有些客户的数据分布可以集群。在以前的方法中，为了群集客户端，服务器要求客户端同时发送参数。但是，在有大量参与者可能有限的参与者的情况下，这可能是有问题的。为了防止这种瓶颈，我们提出了FLIC（使用增量聚类的联合学习），其中服务器利用客户在联合培训期间发送的客户发送的更新，而不是要求他们同时发送参数。因此，除了经典的联合学习所需的内容外，服务器与客户之间没有任何其他沟通。我们从经验上证明了各种非IID案例，我们的方法成功地按照相同的数据分布将客户分组分组。我们还通过研究其能力在联邦学习过程的早期阶段对客户进行分配的能力来确定FLIC的局限性。我们进一步将对模型的攻击作为数据异质性的一种形式，并从经验上表明，即使恶意客户的比例高于50 \％，FLIC也是针对中毒攻击的强大防御。

个性化联合学习（FL）促进了多个客户之间的合作，以学习个性化模型而无需共享私人数据。该机制减轻了系统中通常遇到的统计异质性，即不同客户端的非IID数据。现有的个性化算法通常假设所有客户自愿进行个性化。但是，潜在的参与者可能仍然不愿个性化模型，因为他们可能无法正常工作。在这种情况下，客户选择使用全局模型。为了避免做出不切实际的假设，我们介绍了个性化率，该率是愿意培训个性化模型，将其介绍给联合设置并提出DYPFL的客户的比例。这种动态个性化的FL技术激励客户参与个性化本地模型，同时允许在整体模型表现更好时采用全球模型。我们表明，DYPFL中的算法管道可以保证良好的收敛性能，从而使其在广泛的条件下优于替代性个性化方法，包括异质性，客户端数量，本地时期和批量尺寸的变化。

In federated optimization, heterogeneity in the clients' local datasets and computation speeds results in large variations in the number of local updates performed by each client in each communication round. Naive weighted aggregation of such models causes objective inconsistency, that is, the global model converges to a stationary point of a mismatched objective function which can be arbitrarily different from the true objective. This paper provides a general framework to analyze the convergence of federated heterogeneous optimization algorithms. It subsumes previously proposed methods such as FedAvg and FedProx and provides the first principled understanding of the solution bias and the convergence slowdown due to objective inconsistency. Using insights from this analysis, we propose Fed-Nova, a normalized averaging method that eliminates objective inconsistency while preserving fast error convergence.

Federated Learning (FL) is currently the most widely adopted framework for collaborative training of (deep) machine learning models under privacy constraints. Albeit it's popularity, it has been observed that Federated Learning yields suboptimal results if the local clients' data distributions diverge. To address this issue, we present Clustered Federated Learning (CFL), a novel Federated Multi-Task Learning (FMTL) framework, which exploits geometric properties of the FL loss surface, to group the client population into clusters with jointly trainable data distributions. In contrast to existing FMTL approaches, CFL does not require any modifications to the FL communication protocol to be made, is applicable to general non-convex objectives (in particular deep neural networks) and comes with strong mathematical guarantees on the clustering quality. CFL is flexible enough to handle client populations that vary over time and can be implemented in a privacy preserving way. As clustering is only performed after Federated Learning has converged to a stationary point, CFL can be viewed as a post-processing method that will always achieve greater or equal performance than conventional FL by allowing clients to arrive at more specialized models. We verify our theoretical analysis in experiments with deep convolutional and recurrent neural networks on commonly used Federated Learning datasets.

Federated learning (FL) is a decentralized and privacy-preserving machine learning technique in which a group of clients collaborate with a server to learn a global model without sharing clients' data. One challenge associated with FL is statistical diversity among clients, which restricts the global model from delivering good performance on each client's task. To address this, we propose an algorithm for personalized FL (pFedMe) using Moreau envelopes as clients' regularized loss functions, which help decouple personalized model optimization from the global model learning in a bi-level problem stylized for personalized FL. Theoretically, we show that pFedMe's convergence rate is state-of-the-art: achieving quadratic speedup for strongly convex and sublinear speedup of order 2/3 for smooth nonconvex objectives. Experimentally, we verify that pFedMe excels at empirical performance compared with the vanilla FedAvg and Per-FedAvg, a meta-learning based personalized FL algorithm.

数据异构联合学习（FL）系统遭受了两个重要的收敛误差来源：1）客户漂移错误是由于在客户端执行多个局部优化步骤而引起的，以及2）部分客户参与错误，这是一个事实，仅一小部分子集边缘客户参加每轮培训。我们发现其中，只有前者在文献中受到了极大的关注。为了解决这个问题，我们提出了FedVarp，这是在服务器上应用的一种新颖的差异算法，它消除了由于部分客户参与而导致的错误。为此，服务器只是将每个客户端的最新更新保持在内存中，并将其用作每回合中非参与客户的替代更新。此外，为了减轻服务器上的内存需求，我们提出了一种新颖的基于聚类的方差降低算法clusterfedvarp。与以前提出的方法不同，FedVarp和ClusterFedVarp均不需要在客户端上进行其他计算或其他优化参数的通信。通过广泛的实验，我们表明FedVarp优于最先进的方法，而ClusterFedVarp实现了与FedVarp相当的性能，并且记忆要求较少。

本文研究了客户表现出集群结构时联合学习下模型培训的问题。我们将这个问题与混合回归中的情况相关化，在混合回归中，每个客户端的本地数据限制了从$ k $未知回归模型之一生成的本地数据。我们设计了一种从任何初始化中实现全局收敛的算法，即使本地数据量高度不平衡，也可能存在包含$ o（1）$数据点的客户端。我们的算法首先在一些锚点客户端（每个都有$ \ tilde {\ omega}（k）$数据点）上运行MONM下降，以获取粗制的模型估计。然后，每个客户端交替估计其群集标签，并根据FedAvg或FedProx来完善模型估计。我们分析中的一个关键创新是对聚类误差的统一估计，我们通过基于代数几何理论来界定一般多项式概念类别的VC维度。

客户端之间的非独立和相同分布（非IID）数据分布被视为降低联合学习（FL）性能的关键因素。处理非IID数据（如个性化FL和联邦多任务学习（FMTL）的几种方法对研究社区有很大兴趣。在这项工作中，首先，我们使用Laplacian正规化制定FMTL问题，明确地利用客户模型之间的关系进行多任务学习。然后，我们介绍了FMTL问题的新视图，首次表明配制的FMTL问题可用于传统的FL和个性化FL。我们还提出了两种算法FEDU和DFEDU，分别解决了通信集中和分散方案中的配制FMTL问题。从理论上讲，我们证明了两种算法的收敛速率实现了用于非凸起目标的强大凸起和载位加速的线性加速。实验，我们表明我们的算法优于FL设置的传统算法FedVG，在FMTL设置中的Mocha，以及个性化流程中的PFEDME和PER-FEDAVG。

联合学习（FL）是分布式学习的一种变体，其中Edge设备可以协作学习模型，而无需与中央服务器或彼此共享数据。我们将使用公共客户库作为多模型FL的联合设置中同时培训多个独立模型的过程。在这项工作中，我们提出了用于多模型FL的流行FedAvg算法的两个变体，并具有可证明的收敛保证。我们进一步表明，对于相同数量的计算，多模型FL可以比单独训练每个模型具有更好的性能。我们通过在强凸，凸和非凸面设置中进行实验来补充理论结果。

联邦学习（FL）是一种分布式学习方法，它为医学机构提供了在全球模型中合作的前景，同时保留患者的隐私。尽管大多数医疗中心执行类似的医学成像任务，但它们的差异（例如专业，患者数量和设备）导致了独特的数据分布。数据异质性对FL和本地模型的个性化构成了挑战。在这项工作中，我们研究了FL生产中间半全球模型的一种自适应分层聚类方法，因此具有相似数据分布的客户有机会形成更专业的模型。我们的方法形成了几个群集，这些集群由具有最相似数据分布的客户端组成；然后，每个集群继续分开训练。在集群中，我们使用元学习来改善参与者模型的个性化。我们通过评估我们在HAM10K数据集上的建议方法和极端异质数据分布的HAM10K数据集上的我们提出的方法，将聚类方法与经典的FedAvg和集中式培训进行比较。我们的实验表明，与标准的FL方法相比，分类精度相比，异质分布的性能显着提高。此外，我们表明，如果在群集中应用，则模型会更快地收敛，并且仅使用一小部分数据，却优于集中式培训。

随着对数据隐私和数据量迅速增加的越来越关注，联邦学习（FL）已成为重要的学习范式。但是，在FL环境中共同学习深层神经网络模型被证明是一项非平凡的任务，因为与神经网络相关的复杂性，例如跨客户的各种体系结构，神经元的置换不变性以及非线性的存在每一层的转换。这项工作介绍了一个新颖的联合异质神经网络（FEDHENN）框架，该框架允许每个客户构建个性化模型，而无需在跨客户范围内实施共同的架构。这使每个客户都可以优化本地数据并计算约束，同时仍能从其他（可能更强大）客户端的学习中受益。 Fedhenn的关键思想是使用从同行客户端获得的实例级表示，以指导每个客户的同时培训。广泛的实验结果表明，Fedhenn框架能够在跨客户的同质和异质体系结构的设置中学习更好地表现客户的模型。

我们展示了一个联合学习框架，旨在强大地提供具有异构数据的各个客户端的良好预测性能。所提出的方法对基于SuperQualile的学习目标铰接，捕获异构客户端的误差分布的尾统计。我们提出了一种随机训练算法，其与联合平均步骤交织差异私人客户重新重量步骤。该提出的算法支持有限时间收敛保证，保证覆盖凸和非凸面设置。关于联邦学习的基准数据集的实验结果表明，我们的方法在平均误差方面与古典误差竞争，并且在误差的尾统计方面优于它们。

联合学习的一个区别特征是（本地）客户数据可能具有统计异质性。这种异质性激发了个性化学习的设计，该学习是通过协作培训个人（个性化）模型的。文献中提出了各种个性化方法，似乎截然不同的形式和方法，从将单个全球模型用于本地正规化和模型插值，再到将多个全球模型用于个性化聚类等。在这项工作中，我们开始使用生成框架，可以统一几种不同的算法并暗示新算法。我们将生成框架应用于个性化的估计，并将其连接到经典的经验贝叶斯方法。我们在此框架下制定私人个性化估计。然后，我们将生成框架用于学习，该框架统一了几种已知的个性化FL算法，并提出了新算法。我们建议并研究一种基于知识蒸馏的新算法，该算法的数值优于几种已知算法。我们还为个性化学习方法开发隐私，并保证用户级的隐私和组成。我们通过数值评估估计和学习问题的性能以及隐私，证明了我们提出的方法的优势。

我们提供了一类用于强大的个性化联合学习的方法，称为FED+，该方法统一了许多联合学习算法。这类方法的主要优势是更好地适应联邦培训中发现的现实世界特征，例如各方缺乏IID数据，对异常值或散乱者的鲁棒性的需求以及在党派上表现良好的要求 - 特定数据集。我们通过问题公式实现这一目标，该问题使中央服务器能够采用可靠的方式来汇总本地模型，同时保持本地计算的结构完整。在各方跨各方的局部数据的异质性程度的情况下，我们为FED+提供了在不同（鲁棒）聚合方法下的convex和非凸损失函数的收敛保证。美联储+理论还可以处理包括散乱者在内的异质计算环境，没有其他假设；具体而言，融合结果涵盖了一般设置，在该设置中，各方跨各方的本地更新步骤的数量可能会有所不同。我们通过在标准基准数据集的广泛实验中证明了FED+的好处。

联邦学习（FL）是一种越来越受欢迎的机器学习范式，其中多个节点在隐私，通信和多个异质性约束下尝试协同学习。联邦学习中的持续存在问题是，不清楚优化目标应该：监督学习的标准平均风险最小化在处理联合学习的几个主要限制方面是不充分的，例如沟通适应性和个性化控制。我们在联合学习的框架中识别几个关键的Desiderata，并介绍了一个新的框架，Flix，考虑到联合学习所带来的独特挑战。 Flix具有标准的有限和形式，使从业者能够利用分布式优化的现有（潜在非本地）方法的巨大财富。通过不需要任何通信的智能初始化，Flix不需要使用本地步骤，但仍然可以通过本地方法执行不一致的正则化。我们提供了几种用于在通信约束下有效解决FLIX制剂的算法。最后，我们通过广泛的实验证实了我们的理论结果。