联合学习（FL）是一种有效的学习框架，可帮助由于隐私和监管限制无法与集中式服务器共享数据时，帮助分布式机器学习。 FL使用基于预定义体系结构的学习的最新进展。然而，考虑到客户端的数据对服务器和数据分布是不可相同的客户端，在集中设置中发现的预定义体系结构可能不是FL中所有客户端的最佳解决方案。在这项工作中受到这项挑战的动机，我们介绍了蜘蛛，这是一种旨在搜索用于联合学习的个性化神经结构的算法框架。蜘蛛是根据两个独特特征设计的：（1）交替地以通用的方式优化一个架构 - 均匀的全球模型（Supernet），一个架构 - 异构本地模型，由基于重量共享的正则化连接到全球模型（2通过新颖的神经结构搜索（NAS）方法实现架构异构本地模型，其可以使用对准确值的操作级别扰动来逐渐选择最佳子网。实验结果表明，蜘蛛优于其他最先进的个性化方法，搜索的个性化架构更加推理效率。

在存在数据掠夺性保存问题的情况下，有效地在许多设备和资源限制上（尤其是在边缘设备上）的有效部署深度神经网络是最具挑战性的问题之一。传统方法已经演变为改善单个全球模型，同时保持每个本地培训数据分散（即数据杂质性），或者培训一个曾经是一个曾经是一个曾经是的网络，该网络支持多样化的建筑设置，以解决配备不同计算功能的异质系统（即模型杂种）。但是，很少的研究同时考虑了这两个方向。在这项工作中，我们提出了一个新颖的框架来考虑两种情况，即超级网训练联合会（FEDSUP），客户在该场景中发送和接收一条超级网，其中包含从本身中采样的所有可能的体系结构。它的灵感来自联邦学习模型聚合阶段（FL）中平均参数的启发，类似于超级网训练中的体重分享。具体而言，在FedSup框架中，训练单射击模型中广泛使用的重量分享方法与联邦学习的平均（FedAvg）结合在一起。在我们的框架下，我们通过将子模型发送给广播阶段的客户来降低沟通成本和培训间接费用，提出有效的算法（电子馈SUP）。我们展示了几种增强FL环境中超网训练的策略，并进行广泛的经验评估。结果框架被证明为在几个标准基准上的数据和模型杂质性的鲁棒性铺平了道路。

Federated Learning (FL) is extensively used to train AI/ML models in distributed and privacy-preserving settings. Participant edge devices in FL systems typically contain non-independent and identically distributed~(Non-IID) private data and unevenly distributed computational resources. Preserving user data privacy while optimizing AI/ML models in a heterogeneous federated network requires us to address data heterogeneity and system/resource heterogeneity. Hence, we propose \underline{R}esource-\underline{a}ware \underline{F}ederated \underline{L}earning~(RaFL) to address these challenges. RaFL allocates resource-aware models to edge devices using Neural Architecture Search~(NAS) and allows heterogeneous model architecture deployment by knowledge extraction and fusion. Integrating NAS into FL enables on-demand customized model deployment for resource-diverse edge devices. Furthermore, we propose a multi-model architecture fusion scheme allowing the aggregation of the distributed learning results. Results demonstrate RaFL's superior resource efficiency compared to SoTA.

The mediocre performance of conventional federated learning (FL) over heterogeneous data has been facilitating personalized FL solutions, where, unlike conventional FL which trains a single global consensus model, different models are allowed for different clients. However, in most existing personalized FL algorithms, the collaborative knowledge across the federation was only implicitly passed to the clients in ways such as model aggregation or regularization. We observed that this implicit knowledge transfer fails to maximize the potential value of each client's empirical risk toward other clients. Based on our observation, in this work, we propose Personalized Global Federated Learning (PGFed), a novel personalized FL framework that enables each client to personalize its own global objective by explicitly and adaptively aggregating the empirical risks of itself and other clients. To avoid massive ($O(N^2)$) communication overhead and potential privacy leakage, each client's risk is estimated through a first-order approximation for other clients' adaptive risk aggregation. On top of PGFed, we develop a momentum upgrade, dubbed PGFedMo, to more efficiently utilize clients' empirical risks. Our extensive experiments under different federated settings with benchmark datasets show consistent improvements of PGFed over the compared state-of-the-art alternatives.

近年来，个性化联邦学习（PFL）引起了越来越关注其在客户之间处理统计异质性的潜力。然而，最先进的PFL方法依赖于服务器端的模型参数聚合，这需要所有模型具有相同的结构和大小，因此限制了应用程序以实现更多异构场景。要处理此类模型限制，我们利用异构模型设置的潜力，并提出了一种新颖的培训框架，为不同客户使用个性化模型。具体而言，我们将原始PFL中的聚合过程分为个性化组知识转移训练算法，即KT-PFL，这使得每个客户端能够在服务器端维护个性化软预测以指导其他人的本地培训。 KT-PFL通过使用知识系数矩阵的所有本地软预测的线性组合更新每个客户端的个性化软预测，这可以自适应地加强拥有类似数据分布的客户端之间的协作。此外，为了量化每个客户对他人的个性化培训的贡献，知识系数矩阵是参数化的，以便可以与模型同时培训。知识系数矩阵和模型参数在每轮梯度下降方式之后的每一轮中可替代地更新。在不同的设置（异构模型和数据分布）下进行各种数据集（EMNIST，Fashion \ _Mnist，CIFAR-10）的广泛实验。据证明，所提出的框架是第一个通过参数化群体知识转移实现个性化模型培训的联邦学习范例，同时实现与最先进的算法比较的显着性能增益。

联邦学习（FL）最近由于其在保留隐私而使用分散数据的能力，最近引起了人们的关注。但是，这也提出了与参与设备的异质性有关的其他挑战，无论是在其计算能力和贡献数据方面。同时，神经体系结构搜索（NAS）已成功用于集中式数据集，从而产生了最新的结果，从而获得了受限（硬件意识）和不受约束的设置。但是，即使是在NAS和FL的交集的最新工作，也假定了与数据中心硬件的均匀计算环境，并且无法解决使用受约束，异质设备的问题。结果，在联合环境中对NAS的实际用法仍然是我们在工作中解决的一个空旷的问题。我们设计我们的系统Fedoras，在处理具有非IID分布数据的不同功能的设备时发现和培训有希望的体系结构，并提供了其在不同环境中有效性的经验证据。具体而言，我们在跨越三种不同模式（视觉，语音，文本）的数据集中评估了Fedoras，并且与最先进的联合解决方案相比，其性能更好，同时保持资源效率。

The growing interest in intelligent services and privacy protection for mobile devices has given rise to the widespread application of federated learning in Multi-access Edge Computing (MEC). Diverse user behaviors call for personalized services with heterogeneous Machine Learning (ML) models on different devices. Federated Multi-task Learning (FMTL) is proposed to train related but personalized ML models for different devices, whereas previous works suffer from excessive communication overhead during training and neglect the model heterogeneity among devices in MEC. Introducing knowledge distillation into FMTL can simultaneously enable efficient communication and model heterogeneity among clients, whereas existing methods rely on a public dataset, which is impractical in reality. To tackle this dilemma, Federated MultI-task Distillation for Multi-access Edge CompuTing (FedICT) is proposed. FedICT direct local-global knowledge aloof during bi-directional distillation processes between clients and the server, aiming to enable multi-task clients while alleviating client drift derived from divergent optimization directions of client-side local models. Specifically, FedICT includes Federated Prior Knowledge Distillation (FPKD) and Local Knowledge Adjustment (LKA). FPKD is proposed to reinforce the clients' fitting of local data by introducing prior knowledge of local data distributions. Moreover, LKA is proposed to correct the distillation loss of the server, making the transferred local knowledge better match the generalized representation. Experiments on three datasets show that FedICT significantly outperforms all compared benchmarks in various data heterogeneous and model architecture settings, achieving improved accuracy with less than 1.2% training communication overhead compared with FedAvg and no more than 75% training communication round compared with FedGKT.

使用和部署不同本地模型的个性化联合学习（PFL），由于其在处理佛罗里达州客户的统计异质性方面的成功，近年来引起了人们的关注。但是，对不同PFL方法的标准化评估和系统分析仍然是一个挑战。首先，高度多样化的数据集，FL仿真设置和PFL实现可以防止对PFL方法的快速和公平比较。其次，在各种实践场景中，PFL方法的有效性和鲁棒性不足，例如新客户的概括和资源有限的客户参与。最后，当前的PFL文献在采用的评估和消融方案中有所不同。为了应对这些挑战，我们提出了第一个全面的PFL基准PFL基准，以促进快速，可重现，标准化和彻底的PFL评估。所提出的基准测试包含具有统一数据分区和现实异质设置的不同应用程序域中的10多个数据集；一个模块化且易于扩展的PFL代码库，具有20多个竞争性PFL基线实现；以及在集装环境下进行的系统评估，以概括，公平，系统开销和收敛性。我们强调了最先进的PFL方法的好处和潜力，并希望PFL板台实现了进一步的PFL研究和广泛的应用，否则由于缺乏专用的基准，这将是困难的。该代码在https://github.com/alibaba/federatedscope/tree/master/master/benchmark/pfl-bench上发布。

高效联合学习是在边缘设备上培训和部署AI模型的关键挑战之一。然而，在联合学习中维护数据隐私提出了几种挑战，包括数据异质性，昂贵的通信成本和有限的资源。在本文中，我们通过（a）通过基于本地客户端的深度增强学习引入突出参数选择代理的上述问题，并在中央服务器上聚合所选择的突出参数，（b）分割正常的深度学习模型〜 （例如，CNNS）作为共享编码器和本地预测器，并通过联合学习训练共享编码器，同时通过本地自定义预测器将其知识传送到非IID客户端。所提出的方法（a）显着降低了联合学习的通信开销，并加速了模型推断，而方法（b）则在联合学习中解决数据异质性问题。此外，我们利用梯度控制机制来校正客户之间的梯度异质性。这使得训练过程更稳定并更快地收敛。实验表明，我们的方法产生了稳定的训练过程，并与最先进的方法相比实现了显着的结果。在培训VGG-11时，我们的方法明显降低了通信成本最高108 GB，并在培训Reset-20时需要7.6美元的通信开销，同时通过减少高达39.7 \％$ 39.7 \％$ vgg- 11.

自动化机器学习（AUTOML）是使机器学习模型被广泛应用于解决现实世界问题的重要步骤。尽管有许多研究的进步，但机器学习方法主要由于其数据隐私和安全法规而尚未完全被行业利用，因此在中心位置存储和计算增加数据量的高成本以及最重要的是缺乏专业知识。因此，我们介绍了一个新颖的框架，hanf -$ \ textbf {h} $ yperparameter $ \ textbf {a} $ nd $ \ textbf {n} $ earural架构搜索$ \ textbf {f}为在几个数据所有者服务器上分布的数据建立一个自动框架，而无需将数据带到中心位置。 HANF使用基于梯度的神经体系结构搜索和数据分布式设置中分别使用基于梯度的神经体系结构搜索和$ n $ armed Bandit方法来共同优化学习算法的神经体系结构和非构造超参数。我们表明，HANF有效地找到了优化的神经体系结构，并在数据所有者服务器上调整了超参数。此外，HANF可以在联合和非填充设置中应用。从经验上讲，我们表明HANF使用图像分类任务收敛于合适的体系结构和非架构高参数集。

个性化联合学习（FL）促进了多个客户之间的合作，以学习个性化模型而无需共享私人数据。该机制减轻了系统中通常遇到的统计异质性，即不同客户端的非IID数据。现有的个性化算法通常假设所有客户自愿进行个性化。但是，潜在的参与者可能仍然不愿个性化模型，因为他们可能无法正常工作。在这种情况下，客户选择使用全局模型。为了避免做出不切实际的假设，我们介绍了个性化率，该率是愿意培训个性化模型，将其介绍给联合设置并提出DYPFL的客户的比例。这种动态个性化的FL技术激励客户参与个性化本地模型，同时允许在整体模型表现更好时采用全球模型。我们表明，DYPFL中的算法管道可以保证良好的收敛性能，从而使其在广泛的条件下优于替代性个性化方法，包括异质性，客户端数量，本地时期和批量尺寸的变化。

联邦学习（FL）是一种分布式学习方法，它为医学机构提供了在全球模型中合作的前景，同时保留患者的隐私。尽管大多数医疗中心执行类似的医学成像任务，但它们的差异（例如专业，患者数量和设备）导致了独特的数据分布。数据异质性对FL和本地模型的个性化构成了挑战。在这项工作中，我们研究了FL生产中间半全球模型的一种自适应分层聚类方法，因此具有相似数据分布的客户有机会形成更专业的模型。我们的方法形成了几个群集，这些集群由具有最相似数据分布的客户端组成；然后，每个集群继续分开训练。在集群中，我们使用元学习来改善参与者模型的个性化。我们通过评估我们在HAM10K数据集上的建议方法和极端异质数据分布的HAM10K数据集上的我们提出的方法，将聚类方法与经典的FedAvg和集中式培训进行比较。我们的实验表明，与标准的FL方法相比，分类精度相比，异质分布的性能显着提高。此外，我们表明，如果在群集中应用，则模型会更快地收敛，并且仅使用一小部分数据，却优于集中式培训。

The heterogeneity of hardware and data is a well-known and studied problem in the community of Federated Learning (FL) as running under heterogeneous settings. Recently, custom-size client models trained with Knowledge Distillation (KD) has emerged as a viable strategy for tackling the heterogeneity challenge. However, previous efforts in this direction are aimed at client model tuning rather than their impact onto the knowledge aggregation of the global model. Despite performance of global models being the primary objective of FL systems, under heterogeneous settings client models have received more attention. Here, we provide more insights into how the chosen approach for training custom client models has an impact on the global model, which is essential for any FL application. We show the global model can fully leverage the strength of KD with heterogeneous data. Driven by empirical observations, we further propose a new approach that combines KD and Learning without Forgetting (LwoF) to produce improved personalised models. We bring heterogeneous FL on pair with the mighty FedAvg of homogeneous FL, in realistic deployment scenarios with dropping clients.

联邦学习（FL）一直在不同的ML任务中获得显着的牵引力，从视野到键盘预测。在大规模的部署中，客户异质性是一个事实，并构成公平，培训性能和准确性的主要问题。虽然已经进行了统计数据异质性的重大努力，但是作为系统异质性称为客户端的处理能力和网络带宽的多样性仍然很大程度上是未开发的。当前解决方案无论是忽略大部分可用的设备，也无限制地设定均匀限制，由最低能力的参与者限制。在这项工作中，我们介绍了有序的辍学，这是一种机制，实现了深度神经网络（DNN）中的有序，嵌套的知识表示，并且能够在不需要再培训的情况下提取较低的脚印子模型。我们进一步表明，对于线性地图，我们的订购辍学等同于SVD。我们采用这种技术，以及一种自蒸馏方法，在一个叫做峡湾的框架中。 Fjord通过将模型宽度定制到客户端的功能来减轻客户体系异质性的问题。在各种方式上对CNN和RNN的广泛评估表明，峡湾始终如一地导致最先进的基线的显着性能，同时保持其嵌套结构。

由于客户之间统计异质性的诅咒，采用个性化联合学习方法已成为成功部署基于联合学习的服务的基本选择。在个性化技术的各种分支中，基于模型混合物的个性化方法是优选的，因为每个客户都有自己的个性化模型，因为联合学习。它通常需要本地模型和联合模型，但是这种方法要么仅限于部分参数交换，要么需要其他本地更新，每种都对新颖客户端无助，并且对客户的计算能力负担重。由于已经发现了两个或更多独立深度网络之间包含多种低损失解决方案的连接子空间的存在，因此我们将这种有趣的属性与基于模型混合物的个性化联合学习方法相结合，以改善个性化的性能。我们提出了一种个性化的联合学习方法，该方法诱导了体重空间中本地和联合模型的优势之间的明确联系，以相互促进。通过在几个基准数据集上进行的广泛实验，我们证明了我们的方法在个性化绩效和鲁棒性方面都可以在现实服务中实现有问题的情况。

联邦学习（FL）是一种在分布在大量可能异构客户端的私人数据上培训机器学习模型的方法，例如移动电话和物联网设备。在这项工作中，我们提出了一个名为Heterofl的新联合学习框架来解决具有较差的计算和通信能力的异构客户端。我们的解决方案可以实现具有不同计算复杂性的异构本地模型，并仍然产生单一的全局推理模型。我们的方法是挑战本地模型必须与全球模型共享相同的架构的现有工作的潜在工作。我们展示了提高流行培训的几种策略，并进行广泛的经验评估，包括三个数据集三个模型架构的五个计算复杂性水平。我们表明，根据客户端的功能，自适应分配子网是计算和通信有效的。

联合学习（FL）有助于多个客户共同培训机器学习模型，而无需共享其私人数据。但是，客户的非IID数据给FL带来了艰巨的挑战。现有的个性化方法在很大程度上依赖于将一个完整模型作为基本单元的默认处理方法，而忽略了不同层对客户非IID数据的重要性。在这项工作中，我们提出了一个新的框架，联合模型组成部分自我注意力（FEDMCSA），以处理FL中的非IID数据，该数据采用模型组件自我注意机制来颗粒片促进不同客户之间的合作。这种机制促进了相似模型组件之间的合作，同时减少了差异很大的模型组件之间的干扰。我们进行了广泛的实验，以证明FEDMCSA在四个基准数据集上的表现优于先前的方法。此外，我们从经验上展示了模型组成部分自我发项机制的有效性，该机制与现有的个性化FL互补，可以显着提高FL的性能。

联合学习（FL）是一种机器学习范式，允许分散的客户在不共享其私人数据的情况下进行协作学习。但是，过度的计算和沟通要求对当前的FL框架构成挑战，尤其是在训练大型模型时。为了防止这些问题阻碍FL系统的部署，我们提出了一个轻巧的框架，客户共同学习融合由多个固定预训练的模型生成的表示形式，而不是从SCRATCH培训大型模型。这通过考虑如何从预先训练的模型中捕获更多特定于客户的信息，并共同提高每个客户利用这些现成模型的能力，从而导致我们解决了一个更实用的FL问题。在这项工作中，我们设计了一种联合原型对比度学习（FEDPCL）方法，该方法通过其类原型共享客户的知识，并以原型对比度方式构建特定于客户的表示。共享原型而不是可学习的模型参数可以使每个客户以个性化的方式融合表示表示，同时以紧凑的形式保持共享知识以进行有效的通信。我们在轻量级框架中对拟议的FEDPCL进行了彻底的评估，以测量和可视化其在流行的FL数据集上融合各种预训练模型的能力。

最近联合学习（FL）范式的潜在假设是本地模型通常与全局模型共享与全局模型相同的网络架构，这对于具有不同的硬件和基础架构的移动和IOT设备变得不切实际。可扩展的联合学习框架应该解决配备不同计算和通信功能的异构客户端。为此，本文提出了一种新的联合模型压缩框架，它将异构低级模型分配给客户端，然后将它们聚合到全局全级模型中。我们的解决方案使得能够培训具有不同计算复杂性的异构本地模型，并汇总单个全局模型。此外，FEDHM不仅降低了设备的计算复杂性，而且还通过使用低秩模型来降低通信成本。广泛的实验结果表明，我们提出的\ System在测试顶-1精度（平均精度4.6％的精度增益）方面优于现行修剪的液体方法，在各种异构流域下较小的型号尺寸（平均较小为1.5倍） 。

作为一种有希望的隐私机器学习方法，联合学习（FL）可以使客户跨客户培训，而不会损害其机密的本地数据。但是，现有的FL方法遇到了不均分布数据的推理性能低的问题，因为它们中的大多数依赖于联合平均（FIDAVG）基于联合的聚合。通过以粗略的方式平均模型参数，FedAvg将局部模型的个体特征黯然失色，这极大地限制了FL的推理能力。更糟糕的是，在每一轮FL培训中，FedAvg向客户端向客户派遣了相同的初始本地模型，这很容易导致对最佳全局模型的局限性搜索。为了解决上述问题，本文提出了一种新颖有效的FL范式，名为FEDMR（联合模型重组）。与传统的基于FedAvg的方法不同，FEDMR的云服务器将收集到的本地型号的每一层层混合，并重组它们以实现新的模型，以供客户端培训。由于在每场FL比赛中进行了细粒度的模型重组和本地培训，FEDMR可以迅速为所有客户找出一个全球最佳模型。全面的实验结果表明，与最先进的FL方法相比，FEDMR可以显着提高推理准确性而不会引起额外的通信开销。