联合学习允许客户在保持数据本地时协同学习统计模型。联合学习最初用于培训一个独特的全局模型来为所有客户提供服务，但是当客户的本地数据分布是异构时，这种方法可能是次优。为了解决此限制，最近的个性化联合学习方法为每个客户提供单独的模型，同时仍然利用其他客户端提供的知识。在这项工作中，我们利用深神经网络从非表格数据中提取高质量矢量表示（嵌入），例如图像和文本的能力，提出基于本地记忆的个性化机制。根据全局模型提供的共享表示，将个性化与All-Nealest邻居（KNN）模型插入预先训练的全局模型。我们为所提出的方法提供泛化界限，我们展示了一套联合数据集，这种方法比最先进的方法实现了更高的准确性和公平性。

The increasing size of data generated by smartphones and IoT devices motivated the development of Federated Learning (FL), a framework for on-device collaborative training of machine learning models. First efforts in FL focused on learning a single global model with good average performance across clients, but the global model may be arbitrarily bad for a given client, due to the inherent heterogeneity of local data distributions. Federated multi-task learning (MTL) approaches can learn personalized models by formulating an opportune penalized optimization problem. The penalization term can capture complex relations among personalized models, but eschews clear statistical assumptions about local data distributions. In this work, we propose to study federated MTL under the flexible assumption that each local data distribution is a mixture of unknown underlying distributions. This assumption encompasses most of the existing personalized FL approaches and leads to federated EM-like algorithms for both client-server and fully decentralized settings. Moreover, it provides a principled way to serve personalized models to clients not seen at training time. The algorithms' convergence is analyzed through a novel federated surrogate optimization framework, which can be of general interest. Experimental results on FL benchmarks show that our approach provides models with higher accuracy and fairness than state-of-the-art methods.

随着对数据隐私和数据量迅速增加的越来越关注，联邦学习（FL）已成为重要的学习范式。但是，在FL环境中共同学习深层神经网络模型被证明是一项非平凡的任务，因为与神经网络相关的复杂性，例如跨客户的各种体系结构，神经元的置换不变性以及非线性的存在每一层的转换。这项工作介绍了一个新颖的联合异质神经网络（FEDHENN）框架，该框架允许每个客户构建个性化模型，而无需在跨客户范围内实施共同的架构。这使每个客户都可以优化本地数据并计算约束，同时仍能从其他（可能更强大）客户端的学习中受益。 Fedhenn的关键思想是使用从同行客户端获得的实例级表示，以指导每个客户的同时培训。广泛的实验结果表明，Fedhenn框架能够在跨客户的同质和异质体系结构的设置中学习更好地表现客户的模型。

Federated Learning有望在不访问数据的情况下与多个客户进行协作培训模型的能力，但是当客户的数据分布彼此差异时脆弱。这种差异进一步导致了困境：“我们是否应该优先考虑学习模型的通用性能（用于服务器的将来使用）或其个性化绩效（对于每个客户端）？”这两个看似竞争的目标使社区分裂了专注于一个或另一个，但在本文中，我们表明可以同时实现这两者。具体而言，我们提出了一个新颖的联邦学习框架，该框架将模型的双重职责与两个预测任务相结合。一方面，我们介绍了一个损失家族，这些损失家庭对非相同的班级分布，使客户能够培训一个通用的预测指标，并以一致的目标培训。另一方面，我们将个性化预测变量作为一种轻巧的自适应模块，以最大程度地减少每个客户在通用预测指标上的经验风险。借助我们将联合强大的脱钩（FED-ROD）命名的两个损失的两次挑战框架，学识渊博的模型可以同时实现最先进的通用和个性化的性能，从而实质上弥补了这两个任务。

聚集的联合学习（FL）已显示通过将客户分组为群集，从而产生有希望的结果。这在单独的客户群在其本地数据的分布方面有显着差异的情况下特别有效。现有的集群FL算法实质上是在试图将客户群体组合在一起，以便同一集群中的客户可以利用彼此的数据来更好地执行联合学习。但是，先前的群集FL算法试图在培训期间间接学习这些分布相似性，这可能会很耗时，因为可能需要许多回合的联合学习，直到群集的形成稳定为止。在本文中，我们提出了一种新的联合学习方法，该方法直接旨在通过分析客户数据子空间之间的主要角度来有效地识别客户之间的分布相似性。每个客户端都以单一的方式在其本地数据上应用截断的奇异值分解（SVD）步骤，以得出一小部分主向量，该量提供了一个签名，可简洁地捕获基础分布的主要特征。提供了一组主要的主向量，以便服务器可以直接识别客户端之间的分布相似性以形成簇。这是通过比较这些主要向量跨越的客户数据子空间之间主要角度的相似性来实现的。该方法提供了一个简单而有效的集群FL框架，该框架解决了广泛的数据异质性问题，而不是标签偏斜的更简单的非iids形式。我们的聚类FL方法还可以为非凸目标目标提供融合保证。我们的代码可在https://github.com/mmorafah/pacfl上找到。

个性化联合学习认为在异质网络中每个客户独有的学习模型。据称，最终的客户特定模型是为了改善联合网络中的准确性，公平性和鲁棒性等指标。但是，尽管该领域有很多工作，但仍不清楚：（1）哪些个性化技术在各种环境中最有效，以及（2）个性化对现实的联合应用程序的真正重要性。为了更好地回答这些问题，我们提出了Motley，这是个性化联合学习的基准。 Motley由一套来自各种问题域的跨设备和跨核管联合数据集组成，以及彻底的评估指标，以更好地理解个性化的可能影响。我们通过比较许多代表性的个性化联合学习方法来建立基准基准。这些最初的结果突出了现有方法的优势和劣势，并为社区提出了几个开放问题。 Motley旨在提供一种可再现的手段，以推进个性化和异质性的联合学习以及转移学习，元学习和多任务学习的相关领域。

在联合学习（FL）中，多个客户端协作通过中央服务器学习模型，但保持数据分散。个性化联合学习（PFL）进一步扩展了通过学习个性化模型来处理客户之间的数据异质性。在FL和PFL中，所有客户都参与培训过程，其标记数据用于培训。但是，实际上，新颖的客户端可能希望在部署后加入预测服务，从而获得自己的未标记数据的预测。在这里，我们定义了一个新的学习设置，推理时间PFL（IT-PFL），其中在一组客户端上培训的模型需要稍后在推理时间的新颖解压缩客户端上进行评估。我们提出了一种新颖的方法，它基于Hypernetwork模块和编码器模块来提出这个问题的方法IT-PFL-HN。具体来说，我们训练一个编码器网络，了解给定客户的客户端的表示。客户端表示将被馈送到一个HyperNetwork，为该客户端生成个性化模型。在四个基准数据集中进行评估，我们发现IT-PFL-HN优于当前FL和PFL方法，特别是当新颖客户端具有大域移位时。我们还分析了新颖客户端的泛化误差，展示了如何使用多任务学习和域适应的结果来界限。最后，由于小说客户没有贡献他们的数据来培训，他们可能会更好地控制他们的数据隐私;事实上，我们在分析上展示了新的客户如何为其数据应用差别隐私。

联合学习（FL）是一种保护隐私的范式，其中多个参与者共同解决机器学习问题而无需共享原始数据。与传统的分布式学习不同，FL的独特特征是统计异质性，即，跨参与者的数据分布彼此不同。同时，神经网络解释的最新进展已广泛使用神经切线核（NTK）进行收敛分析。在本文中，我们提出了一个新颖的FL范式，该范式由NTK框架赋予了能力。该范式通过传输比常规FL范式更具表现力的更新数据来解决统计异质性的挑战。具体而言，通过样本的雅各布矩阵，而不是模型的权重/梯度，由参与者上传。然后，服务器构建了经验内核矩阵，以更新全局模型，而无需明确执行梯度下降。我们进一步开发了一种具有提高沟通效率和增强隐私性的变体。数值结果表明，与联邦平均相比，所提出的范式可以达到相同的精度，同时将通信弹的数量减少数量级。

Federated learning is a distributed machine learning paradigm in which a large number of clients coordinate with a central server to learn a model without sharing their own training data. Standard federated optimization methods such as Federated Averaging (FEDAVG) are often difficult to tune and exhibit unfavorable convergence behavior. In non-federated settings, adaptive optimization methods have had notable success in combating such issues. In this work, we propose federated versions of adaptive optimizers, including ADAGRAD, ADAM, and YOGI, and analyze their convergence in the presence of heterogeneous data for general nonconvex settings. Our results highlight the interplay between client heterogeneity and communication efficiency. We also perform extensive experiments on these methods and show that the use of adaptive optimizers can significantly improve the performance of federated learning.

联合学习通过与大量参与者启用学习统计模型的同时将其数据保留在本地客户中，从而提供了沟通效率和隐私的培训过程。但是，将平均损失函数天真地最小化的标准联合学习技术容易受到来自异常值，系统错误标签甚至对手的数据损坏。此外，由于对用户数据隐私的关注，服务提供商通常会禁止使用数据样本的质量。在本文中，我们通过提出自动加权的强大联合学习（ARFL）来应对这一挑战，这是一种新颖的方法，可以共同学习全球模型和本地更新的权重，以提供针对损坏的数据源的鲁棒性。我们证明了关于预测因素和客户权重的预期风险的学习，这指导着强大的联合学习目标的定义。通过将客户的经验损失与最佳P客户的平均损失进行比较，可以分配权重，因此我们可以减少损失较高的客户，从而降低对全球模型的贡献。我们表明，当损坏的客户的数据与良性不同时，这种方法可以实现鲁棒性。为了优化目标函数，我们根据基于块最小化范式提出了一种通信效率算法。我们考虑了不同的深层神经网络模型，在包括CIFAR-10，女权主义者和莎士比亚在内的多个基准数据集上进行实验。结果表明，我们的解决方案在不同的情况下具有鲁棒性，包括标签改组，标签翻转和嘈杂的功能，并且在大多数情况下都优于最先进的方法。

在联合学习（FL）中的客户端的异质性通常会在梯度空间中发生客户的知识聚合时阻碍优化融合和泛化性能。例如，客户端可以在数据分发，网络延迟，输入/输出空间和/或模型架构方面不同，这可以很容易地导致其本地梯度的未对准。为了提高异质性的容忍度，我们提出了一种新的联合原型学习（FedProto）框架，其中客户端和服务器传达了抽象类原型而不是梯度。 FEDPROTO聚合从不同客户端收集的本地原型，然后将全局原型发送回所有客户端，以规范本地模型的培训。每个客户端的训练旨在最大限度地减少本地数据上的分类错误，同时保持所产生的本地原型靠近相应的全球范围。此外，我们在非凸起目标下对FedProto的收敛速度提供了理论分析。在实验中，我们提出了一种针对异构FL定制的基准设置，FEDPROTO优于多个数据集上的几种方法。

在存在数据掠夺性保存问题的情况下，有效地在许多设备和资源限制上（尤其是在边缘设备上）的有效部署深度神经网络是最具挑战性的问题之一。传统方法已经演变为改善单个全球模型，同时保持每个本地培训数据分散（即数据杂质性），或者培训一个曾经是一个曾经是一个曾经是的网络，该网络支持多样化的建筑设置，以解决配备不同计算功能的异质系统（即模型杂种）。但是，很少的研究同时考虑了这两个方向。在这项工作中，我们提出了一个新颖的框架来考虑两种情况，即超级网训练联合会（FEDSUP），客户在该场景中发送和接收一条超级网，其中包含从本身中采样的所有可能的体系结构。它的灵感来自联邦学习模型聚合阶段（FL）中平均参数的启发，类似于超级网训练中的体重分享。具体而言，在FedSup框架中，训练单射击模型中广泛使用的重量分享方法与联邦学习的平均（FedAvg）结合在一起。在我们的框架下，我们通过将子模型发送给广播阶段的客户来降低沟通成本和培训间接费用，提出有效的算法（电子馈SUP）。我们展示了几种增强FL环境中超网训练的策略，并进行广泛的经验评估。结果框架被证明为在几个标准基准上的数据和模型杂质性的鲁棒性铺平了道路。

数据异构联合学习（FL）系统遭受了两个重要的收敛误差来源：1）客户漂移错误是由于在客户端执行多个局部优化步骤而引起的，以及2）部分客户参与错误，这是一个事实，仅一小部分子集边缘客户参加每轮培训。我们发现其中，只有前者在文献中受到了极大的关注。为了解决这个问题，我们提出了FedVarp，这是在服务器上应用的一种新颖的差异算法，它消除了由于部分客户参与而导致的错误。为此，服务器只是将每个客户端的最新更新保持在内存中，并将其用作每回合中非参与客户的替代更新。此外，为了减轻服务器上的内存需求，我们提出了一种新颖的基于聚类的方差降低算法clusterfedvarp。与以前提出的方法不同，FedVarp和ClusterFedVarp均不需要在客户端上进行其他计算或其他优化参数的通信。通过广泛的实验，我们表明FedVarp优于最先进的方法，而ClusterFedVarp实现了与FedVarp相当的性能，并且记忆要求较少。

我们展示了一个联合学习框架，旨在强大地提供具有异构数据的各个客户端的良好预测性能。所提出的方法对基于SuperQualile的学习目标铰接，捕获异构客户端的误差分布的尾统计。我们提出了一种随机训练算法，其与联合平均步骤交织差异私人客户重新重量步骤。该提出的算法支持有限时间收敛保证，保证覆盖凸和非凸面设置。关于联邦学习的基准数据集的实验结果表明，我们的方法在平均误差方面与古典误差竞争，并且在误差的尾统计方面优于它们。

自从联合学习（FL）被引入具有隐私保护的分散学习技术以来，分布式数据的统计异质性是实现FL应用中实现稳健性能和稳定收敛性的主要障碍。已经研究了模型个性化方法来克服这个问题。但是，现有的方法主要是在完全标记的数据的先决条件下，这在实践中是不现实的，由于需要专业知识。由部分标记的条件引起的主要问题是，标记数据不足的客户可能会遭受不公平的性能增益，因为他们缺乏足够的本地分销见解来自定义全球模型。为了解决这个问题，1）我们提出了一个新型的个性化的半监督学习范式，该范式允许部分标记或未标记的客户寻求与数据相关的客户（助手代理）的标签辅助，从而增强他们对本地数据的认识； 2）基于此范式，我们设计了一个基于不确定性的数据关系度量，以确保选定的帮助者可以提供值得信赖的伪标签，而不是误导当地培训； 3）为了减轻助手搜索引入的网络过载，我们进一步开发了助手选择协议，以实现有效的绩效牺牲的有效沟通。实验表明，与其他具有部分标记数据的相关作品相比，我们提出的方法可以获得卓越的性能和更稳定的收敛性，尤其是在高度异质的环境中。

可扩展性和隐私是交叉设备联合学习（FL）系统的两个关键问题。在这项工作中，我们确定了FL中的客户端更新的同步流动聚合不能高效地缩放到几百个并行培训之外。它导致ModelPerforce和训练速度的回报递减，Ampanysto大批量培训。另一方面，FL（即异步FL）中的客户端更新的异步聚合减轻了可扩展性问题。但是，聚合个性链子更新与安全聚合不兼容，这可能导致系统的不良隐私水平。为了解决这些问题，我们提出了一种新颖的缓冲异步聚合方法FedBuff，这是不可知的优化器的选择，并结合了同步和异步FL的最佳特性。我们经验证明FEDBuff比同步FL更有效，比异步FL效率更高3.3倍，同时兼容保留保护技术，如安全聚合和差异隐私。我们在平滑的非凸设置中提供理论融合保证。最后，我们显示在差异私有培训下，FedBuff可以在低隐私设置下占FEDAVGM并实现更高隐私设置的相同实用程序。

The heterogeneity of hardware and data is a well-known and studied problem in the community of Federated Learning (FL) as running under heterogeneous settings. Recently, custom-size client models trained with Knowledge Distillation (KD) has emerged as a viable strategy for tackling the heterogeneity challenge. However, previous efforts in this direction are aimed at client model tuning rather than their impact onto the knowledge aggregation of the global model. Despite performance of global models being the primary objective of FL systems, under heterogeneous settings client models have received more attention. Here, we provide more insights into how the chosen approach for training custom client models has an impact on the global model, which is essential for any FL application. We show the global model can fully leverage the strength of KD with heterogeneous data. Driven by empirical observations, we further propose a new approach that combines KD and Learning without Forgetting (LwoF) to produce improved personalised models. We bring heterogeneous FL on pair with the mighty FedAvg of homogeneous FL, in realistic deployment scenarios with dropping clients.

An oft-cited open problem of federated learning is the existence of data heterogeneity at the clients. One pathway to understanding the drastic accuracy drop in federated learning is by scrutinizing the behavior of the clients' deep models on data with different levels of "difficulty", which has been left unaddressed. In this paper, we investigate a different and rarely studied dimension of FL: ordered learning. Specifically, we aim to investigate how ordered learning principles can contribute to alleviating the heterogeneity effects in FL. We present theoretical analysis and conduct extensive empirical studies on the efficacy of orderings spanning three kinds of learning: curriculum, anti-curriculum, and random curriculum. We find that curriculum learning largely alleviates non-IIDness. Interestingly, the more disparate the data distributions across clients the more they benefit from ordered learning. We provide analysis explaining this phenomenon, specifically indicating how curriculum training appears to make the objective landscape progressively less convex, suggesting fast converging iterations at the beginning of the training procedure. We derive quantitative results of convergence for both convex and nonconvex objectives by modeling the curriculum training on federated devices as local SGD with locally biased stochastic gradients. Also, inspired by ordered learning, we propose a novel client selection technique that benefits from the real-world disparity in the clients. Our proposed approach to client selection has a synergic effect when applied together with ordered learning in FL.

近年来，个性化联邦学习（PFL）引起了越来越关注其在客户之间处理统计异质性的潜力。然而，最先进的PFL方法依赖于服务器端的模型参数聚合，这需要所有模型具有相同的结构和大小，因此限制了应用程序以实现更多异构场景。要处理此类模型限制，我们利用异构模型设置的潜力，并提出了一种新颖的培训框架，为不同客户使用个性化模型。具体而言，我们将原始PFL中的聚合过程分为个性化组知识转移训练算法，即KT-PFL，这使得每个客户端能够在服务器端维护个性化软预测以指导其他人的本地培训。 KT-PFL通过使用知识系数矩阵的所有本地软预测的线性组合更新每个客户端的个性化软预测，这可以自适应地加强拥有类似数据分布的客户端之间的协作。此外，为了量化每个客户对他人的个性化培训的贡献，知识系数矩阵是参数化的，以便可以与模型同时培训。知识系数矩阵和模型参数在每轮梯度下降方式之后的每一轮中可替代地更新。在不同的设置（异构模型和数据分布）下进行各种数据集（EMNIST，Fashion \ _Mnist，CIFAR-10）的广泛实验。据证明，所提出的框架是第一个通过参数化群体知识转移实现个性化模型培训的联邦学习范例，同时实现与最先进的算法比较的显着性能增益。

联合学习是一种在不违反隐私限制的情况下对分布式数据集进行统计模型培训统计模型的最新方法。通过共享模型而不是客户和服务器之间的数据来保留数据位置原则。这带来了许多优势，但也带来了新的挑战。在本报告中，我们探讨了这个新的研究领域，并执行了几项实验，以加深我们对这些挑战的理解以及不同的问题设置如何影响最终模型的性能。最后，我们为这些挑战之一提供了一种新颖的方法，并将其与文献中的其他方法进行了比较。