联合学习（FL）有助于多个客户共同培训机器学习模型，而无需共享其私人数据。但是，客户的非IID数据给FL带来了艰巨的挑战。现有的个性化方法在很大程度上依赖于将一个完整模型作为基本单元的默认处理方法，而忽略了不同层对客户非IID数据的重要性。在这项工作中，我们提出了一个新的框架，联合模型组成部分自我注意力（FEDMCSA），以处理FL中的非IID数据，该数据采用模型组件自我注意机制来颗粒片促进不同客户之间的合作。这种机制促进了相似模型组件之间的合作，同时减少了差异很大的模型组件之间的干扰。我们进行了广泛的实验，以证明FEDMCSA在四个基准数据集上的表现优于先前的方法。此外，我们从经验上展示了模型组成部分自我发项机制的有效性，该机制与现有的个性化FL互补，可以显着提高FL的性能。

非IID数据对联邦学习产生了艰难的挑战。在本文中，我们探讨了促进具有类似数据的客户端之间的成对合作的新颖思想。我们提出了Fedamp，一种采用联合细心信息的新方法，以促进类似客户协作更多。我们为凸和非凸模型建立了FedAMP的收敛，并提出了一种启发式方法，以进一步提高FEDAMP作为个性化模型时的联邦神经网络的性能。我们对基准数据集的广泛实验证明了所提出的方法的卓越性能。

Federated learning (FL) is a decentralized and privacy-preserving machine learning technique in which a group of clients collaborate with a server to learn a global model without sharing clients' data. One challenge associated with FL is statistical diversity among clients, which restricts the global model from delivering good performance on each client's task. To address this, we propose an algorithm for personalized FL (pFedMe) using Moreau envelopes as clients' regularized loss functions, which help decouple personalized model optimization from the global model learning in a bi-level problem stylized for personalized FL. Theoretically, we show that pFedMe's convergence rate is state-of-the-art: achieving quadratic speedup for strongly convex and sublinear speedup of order 2/3 for smooth nonconvex objectives. Experimentally, we verify that pFedMe excels at empirical performance compared with the vanilla FedAvg and Per-FedAvg, a meta-learning based personalized FL algorithm.

近年来，个性化联邦学习（PFL）引起了越来越关注其在客户之间处理统计异质性的潜力。然而，最先进的PFL方法依赖于服务器端的模型参数聚合，这需要所有模型具有相同的结构和大小，因此限制了应用程序以实现更多异构场景。要处理此类模型限制，我们利用异构模型设置的潜力，并提出了一种新颖的培训框架，为不同客户使用个性化模型。具体而言，我们将原始PFL中的聚合过程分为个性化组知识转移训练算法，即KT-PFL，这使得每个客户端能够在服务器端维护个性化软预测以指导其他人的本地培训。 KT-PFL通过使用知识系数矩阵的所有本地软预测的线性组合更新每个客户端的个性化软预测，这可以自适应地加强拥有类似数据分布的客户端之间的协作。此外，为了量化每个客户对他人的个性化培训的贡献，知识系数矩阵是参数化的，以便可以与模型同时培训。知识系数矩阵和模型参数在每轮梯度下降方式之后的每一轮中可替代地更新。在不同的设置（异构模型和数据分布）下进行各种数据集（EMNIST，Fashion \ _Mnist，CIFAR-10）的广泛实验。据证明，所提出的框架是第一个通过参数化群体知识转移实现个性化模型培训的联邦学习范例，同时实现与最先进的算法比较的显着性能增益。

个性化联合学习（FL）促进了多个客户之间的合作，以学习个性化模型而无需共享私人数据。该机制减轻了系统中通常遇到的统计异质性，即不同客户端的非IID数据。现有的个性化算法通常假设所有客户自愿进行个性化。但是，潜在的参与者可能仍然不愿个性化模型，因为他们可能无法正常工作。在这种情况下，客户选择使用全局模型。为了避免做出不切实际的假设，我们介绍了个性化率，该率是愿意培训个性化模型，将其介绍给联合设置并提出DYPFL的客户的比例。这种动态个性化的FL技术激励客户参与个性化本地模型，同时允许在整体模型表现更好时采用全球模型。我们表明，DYPFL中的算法管道可以保证良好的收敛性能，从而使其在广泛的条件下优于替代性个性化方法，包括异质性，客户端数量，本地时期和批量尺寸的变化。

Federated learning is a popular paradigm for machine learning. Ideally, federated learning works best when all clients share a similar data distribution. However, it is not always the case in the real world. Therefore, the topic of federated learning on heterogeneous data has gained more and more effort from both academia and industry. In this project, we first do extensive experiments to show how data skew and quantity skew will affect the performance of state-of-art federated learning algorithms. Then we propose a new algorithm FedMix which adjusts existing federated learning algorithms and we show its performance. We find that existing state-of-art algorithms such as FedProx and FedNova do not have a significant improvement in all testing cases. But by testing the existing and new algorithms, it seems that tweaking the client side is more effective than tweaking the server side.

The mediocre performance of conventional federated learning (FL) over heterogeneous data has been facilitating personalized FL solutions, where, unlike conventional FL which trains a single global consensus model, different models are allowed for different clients. However, in most existing personalized FL algorithms, the collaborative knowledge across the federation was only implicitly passed to the clients in ways such as model aggregation or regularization. We observed that this implicit knowledge transfer fails to maximize the potential value of each client's empirical risk toward other clients. Based on our observation, in this work, we propose Personalized Global Federated Learning (PGFed), a novel personalized FL framework that enables each client to personalize its own global objective by explicitly and adaptively aggregating the empirical risks of itself and other clients. To avoid massive ($O(N^2)$) communication overhead and potential privacy leakage, each client's risk is estimated through a first-order approximation for other clients' adaptive risk aggregation. On top of PGFed, we develop a momentum upgrade, dubbed PGFedMo, to more efficiently utilize clients' empirical risks. Our extensive experiments under different federated settings with benchmark datasets show consistent improvements of PGFed over the compared state-of-the-art alternatives.

知识共享和模型个性化是应对联邦学习（FL）中非IID挑战的重要组成部分。大多数现有的FL方法侧重于两个极端：1）学习共享模型，以使用非IID数据为所有客户提供服务，以及2）为每个客户（即个性化fl）学习个性化模型。有一个权衡解决方案，即群集或集群个性化的FL，旨在将相似的客户聚集到一个集群中，然后在集群中为所有客户学习共享模型。本文是通过将群集群集制定为可以统一现有方法的双层优化框架来重新审视群集的研究。我们提出了一个新的理论分析框架，以通过考虑客户之间的凝聚力来证明融合。此外，我们以一种称为加权聚类联合学习（WECFL）的算法体现了该框架。经验分析验证了理论结果，并证明了在拟议的集群非IID设置下提出的WECFL的有效性。

由于客户之间统计异质性的诅咒，采用个性化联合学习方法已成为成功部署基于联合学习的服务的基本选择。在个性化技术的各种分支中，基于模型混合物的个性化方法是优选的，因为每个客户都有自己的个性化模型，因为联合学习。它通常需要本地模型和联合模型，但是这种方法要么仅限于部分参数交换，要么需要其他本地更新，每种都对新颖客户端无助，并且对客户的计算能力负担重。由于已经发现了两个或更多独立深度网络之间包含多种低损失解决方案的连接子空间的存在，因此我们将这种有趣的属性与基于模型混合物的个性化联合学习方法相结合，以改善个性化的性能。我们提出了一种个性化的联合学习方法，该方法诱导了体重空间中本地和联合模型的优势之间的明确联系，以相互促进。通过在几个基准数据集上进行的广泛实验，我们证明了我们的方法在个性化绩效和鲁棒性方面都可以在现实服务中实现有问题的情况。

A key challenge in federated learning (FL) is the statistical heterogeneity that impairs the generalization of the global model on each client. To address this, we propose a method Federated learning with Adaptive Local Aggregation (FedALA) by capturing the desired information in the global model for client models in personalized FL. The key component of FedALA is an Adaptive Local Aggregation (ALA) module, which can adaptively aggregate the downloaded global model and local model towards the local objective on each client to initialize the local model before training in each iteration. To evaluate the effectiveness of FedALA, we conduct extensive experiments with five benchmark datasets in computer vision and natural language processing domains. FedALA outperforms eleven state-of-the-art baselines by up to 3.27% in test accuracy. Furthermore, we also apply ALA module to other federated learning methods and achieve up to 24.19% improvement in test accuracy.

联合学习（FL）是一种在不获取客户私有数据的情况下培训全球模型的协同机器学习技术。 FL的主要挑战是客户之间的统计多样性，客户设备之间的计算能力有限，以及服务器和客户之间的过度沟通开销。为解决这些挑战，我们提出了一种通过最大化FEDMAC的相关性稀疏个性化联合学习计划。通过将近似的L1-norm和客户端模型与全局模型之间的相关性结合到标准流失函数中，提高了统计分集数据的性能，并且与非稀疏FL相比，网络所需的通信和计算负载减少。收敛分析表明，FEDMAC中的稀疏约束不会影响全球模型的收敛速度，理论结果表明，FEDMAC可以实现良好的稀疏个性化，这比基于L2-NOM的个性化方法更好。实验，我们展示了与最先进的个性化方法相比的这种稀疏个性化建筑的益处（例如，FEDMAC分别达到98.95％，99.37％，99.37％，99.37％，99.37％，99.37％，99.37％，99.37％，99.37％，99.37％，99.37％，99.37％，高精度，FMNIST，CIFAR-100和非IID变体下的合成数据集）。

作为一种有希望的隐私机器学习方法，联合学习（FL）可以使客户跨客户培训，而不会损害其机密的本地数据。但是，现有的FL方法遇到了不均分布数据的推理性能低的问题，因为它们中的大多数依赖于联合平均（FIDAVG）基于联合的聚合。通过以粗略的方式平均模型参数，FedAvg将局部模型的个体特征黯然失色，这极大地限制了FL的推理能力。更糟糕的是，在每一轮FL培训中，FedAvg向客户端向客户派遣了相同的初始本地模型，这很容易导致对最佳全局模型的局限性搜索。为了解决上述问题，本文提出了一种新颖有效的FL范式，名为FEDMR（联合模型重组）。与传统的基于FedAvg的方法不同，FEDMR的云服务器将收集到的本地型号的每一层层混合，并重组它们以实现新的模型，以供客户端培训。由于在每场FL比赛中进行了细粒度的模型重组和本地培训，FEDMR可以迅速为所有客户找出一个全球最佳模型。全面的实验结果表明，与最先进的FL方法相比，FEDMR可以显着提高推理准确性而不会引起额外的通信开销。

Federated Learning有望在不访问数据的情况下与多个客户进行协作培训模型的能力，但是当客户的数据分布彼此差异时脆弱。这种差异进一步导致了困境：“我们是否应该优先考虑学习模型的通用性能（用于服务器的将来使用）或其个性化绩效（对于每个客户端）？”这两个看似竞争的目标使社区分裂了专注于一个或另一个，但在本文中，我们表明可以同时实现这两者。具体而言，我们提出了一个新颖的联邦学习框架，该框架将模型的双重职责与两个预测任务相结合。一方面，我们介绍了一个损失家族，这些损失家庭对非相同的班级分布，使客户能够培训一个通用的预测指标，并以一致的目标培训。另一方面，我们将个性化预测变量作为一种轻巧的自适应模块，以最大程度地减少每个客户在通用预测指标上的经验风险。借助我们将联合强大的脱钩（FED-ROD）命名的两个损失的两次挑战框架，学识渊博的模型可以同时实现最先进的通用和个性化的性能，从而实质上弥补了这两个任务。

联合学习（FL）是一个新的分布式机器学习框架，可以在不收集用户的私人数据的情况下获得可靠的协作培训。但是，由于FL的频繁沟通和平均聚合策略，他们会遇到挑战统计多样性数据和大规模模型。在本文中，我们提出了一个个性化的FL框架，称为基于Tensor分解的个性化联合学习（TDPFED），在该框架中，我们设计了一种具有张力的线性层和卷积层的新颖的张力局部模型，以降低交流成本。 TDPFED使用双级损失函数来通过控制个性化模型和张力的本地模型之间的差距来使全球模型学习的个性化模型优化。此外，有效的分布式学习策略和两种不同的模型聚合策略是为拟议的TDPFED框架设计的。理论融合分析和彻底的实验表明，我们提出的TDPFED框架在降低交流成本的同时实现了最新的性能。

联合学习（FL）是一种新兴技术，用于协作训练全球机器学习模型，同时将数据局限于用户设备。FL实施实施的主要障碍是用户之间的非独立且相同的（非IID）数据分布，这会减慢收敛性和降低性能。为了解决这个基本问题，我们提出了一种方法（comfed），以增强客户端和服务器侧的整个培训过程。舒适的关键思想是同时利用客户端变量减少技术来促进服务器聚合和全局自适应更新技术以加速学习。我们在CIFAR-10分类任务上的实验表明，Comfed可以改善专用于非IID数据的最新算法。

由于客户之间缺乏数据和统计多样性，联合学习从模型过度适应的巨大挑战面临巨大的挑战。为了应对这些挑战，本文提出了一种新型的个性化联合学习方法，该方法通过贝叶斯变异推断为pfedbayes。为了减轻过度拟合，将重量不确定性引入了客户和服务器的神经网络。为了实现个性化，每个客户端通过平衡私有数据的构建错误以及其KL Divergence与服务器的全局分布来更新其本地分布参数。理论分析给出了平均泛化误差的上限，并说明了概括误差的收敛速率是最小到对数因子的最佳选择。实验表明，所提出的方法在个性化模型上的表现优于其他高级个性化方法，例如Pfedbayes在MNIST，FMNIST和NON-I.I.I.D下，Pfedbayes的表现分别超过其他SOTA算法的其他SOTA算法的表现为1.25％，0.42％和11.71％。有限的数据。

联合学习（FL）是一个分布式的机器学习框架，可以减轻数据孤岛，在该筒仓中，分散的客户在不共享其私人数据的情况下协作学习全球模型。但是，客户的非独立且相同分布的（非IID）数据对训练有素的模型产生了负面影响，并且具有不同本地更新的客户可能会在每个通信回合中对本地梯度造成巨大差距。在本文中，我们提出了一种联合矢量平均（FedVeca）方法来解决上述非IID数据问题。具体而言，我们为与本地梯度相关的全球模型设定了一个新的目标。局部梯度定义为具有步长和方向的双向向量，其中步长为局部更新的数量，并且根据我们的定义将方向分为正和负。在FedVeca中，方向受步尺的影响，因此我们平均双向向量，以降低不同步骤尺寸的效果。然后，我们理论上分析了步骤大小与全球目标之间的关系，并在每个通信循环的步骤大小上获得上限。基于上限，我们为服务器和客户端设计了一种算法，以自适应调整使目标接近最佳的步骤大小。最后，我们通过构建原型系统对不同数据集，模型和场景进行实验，实验结果证明了FedVeca方法的有效性和效率。

个性化联合学习（FL）是佛罗里达州的一个新兴研究领域，在客户之间存在数据异质性的情况下，可以学习一个易于适应的全球模型。但是，个性化FL的主要挑战之一是，由于客户数据与服务器隔离以确保隐私，因此非常依赖客户的计算资源来计算高阶梯度。为了解决这个问题，我们专注于服务器可以独立于客户数据独立于客户数据的问题设置，这是各种应用程序中普遍的问题设置，但在现有文献中相对尚未探索。具体而言，我们提出了FedSim，这是一种针对个性化FL的新方法，该方法积极利用此类服务​​器数据来改善服务器中的元梯度计算以提高个性化性能。在实验上，我们通过各种基准和消融证明了FEDSIM在准确性方面优于现有方法，通过计算服务器中的完整元梯度，在计算上更有效，并且收敛速度高达34.2％。

The growing interest in intelligent services and privacy protection for mobile devices has given rise to the widespread application of federated learning in Multi-access Edge Computing (MEC). Diverse user behaviors call for personalized services with heterogeneous Machine Learning (ML) models on different devices. Federated Multi-task Learning (FMTL) is proposed to train related but personalized ML models for different devices, whereas previous works suffer from excessive communication overhead during training and neglect the model heterogeneity among devices in MEC. Introducing knowledge distillation into FMTL can simultaneously enable efficient communication and model heterogeneity among clients, whereas existing methods rely on a public dataset, which is impractical in reality. To tackle this dilemma, Federated MultI-task Distillation for Multi-access Edge CompuTing (FedICT) is proposed. FedICT direct local-global knowledge aloof during bi-directional distillation processes between clients and the server, aiming to enable multi-task clients while alleviating client drift derived from divergent optimization directions of client-side local models. Specifically, FedICT includes Federated Prior Knowledge Distillation (FPKD) and Local Knowledge Adjustment (LKA). FPKD is proposed to reinforce the clients' fitting of local data by introducing prior knowledge of local data distributions. Moreover, LKA is proposed to correct the distillation loss of the server, making the transferred local knowledge better match the generalized representation. Experiments on three datasets show that FedICT significantly outperforms all compared benchmarks in various data heterogeneous and model architecture settings, achieving improved accuracy with less than 1.2% training communication overhead compared with FedAvg and no more than 75% training communication round compared with FedGKT.

一方（服务器）培训的检测模型可能会在分发给其他用户（客户）时面临严重的性能降解。例如，在自主驾驶场景中，不同的驾驶环境可能会带来明显的域移动，从而导致模型预测的偏见。近年来出现的联合学习可以使多方合作培训无需泄漏客户数据。在本文中，我们专注于特殊的跨域场景，其中服务器包含大规模数据，并且多个客户端仅包含少量数据。同时，客户之间的数据分布存在差异。在这种情况下，传统的联合学习技术不能考虑到所有参与者的全球知识和特定客户的个性化知识的学习。为了弥补这一限制，我们提出了一个跨域联合对象检测框架，名为FedOD。为了同时学习不同领域的全球知识和个性化知识，拟议的框架首先执行联合培训，以通过多教老师蒸馏获得公共全球汇总模型，并将汇总模型发送给每个客户端以供应其个性化的个性化模型本地模型。经过几轮沟通后，在每个客户端，我们可以对公共全球模型和个性化本地模型进行加权合奏推理。通过合奏，客户端模型的概括性能可以胜过具有相同参数量表的单个模型。我们建立了一个联合对象检测数据集，该数据集具有基于多个公共自主驾驶数据集的显着背景差异和实例差异，然后在数据集上进行大量实验。实验结果验证了所提出的方法的有效性。