Federated learning has been predominantly concerned with collaborative training of deep networks from scratch, and especially the many challenges that arise, such as communication cost, robustness to heterogeneous data, and support for diverse device capabilities. However, there is no unified framework that addresses all these problems together. This paper studies the challenges and opportunities of exploiting pre-trained Transformer models in FL. In particular, we propose to efficiently adapt such pre-trained models by injecting a novel attention-based adapter module at each transformer block that both modulates the forward pass and makes an early prediction. Training only the lightweight adapter by FL leads to fast and communication-efficient learning even in the presence of heterogeneous data and devices. Extensive experiments on standard FL benchmarks, including CIFAR-100, FEMNIST and SpeechCommandsv2 demonstrate that this simple framework provides fast and accurate FL while supporting heterogenous device capabilities, efficient personalization, and scalable-cost anytime inference.

With increasing privacy concerns on data, recent studies have made significant progress using federated learning (FL) on privacy-sensitive natural language processing (NLP) tasks. Much literature suggests fully fine-tuning pre-trained language models (PLMs) in the FL paradigm can mitigate the data heterogeneity problem and close the performance gap with centralized training. However, large PLMs bring the curse of prohibitive communication overhead and local model adaptation costs for the FL system. To this end, we introduce various parameter-efficient tuning (PETuning) methods into federated learning. Specifically, we provide a holistic empirical study of representative PLMs tuning methods in FL. The experimental results cover the analysis of data heterogeneity levels, data scales, and different FL scenarios. Overall communication overhead can be significantly reduced by locally tuning and globally aggregating lightweight model parameters while maintaining acceptable performance in various FL settings. To facilitate the research of PETuning in FL, we also develop a federated tuning framework FedPETuning, which allows practitioners to exploit different PETuning methods under the FL training paradigm conveniently. The source code is available at \url{https://github.com/iezhuozhuo/FedETuning/tree/deltaTuning}.

有效分布式参数的快速全局聚合对于联邦学习（FL）至关重要，这需要足够的带宽来进行参数通信和足够的用户数据以进行本地培训。否则，FL可能会花费过多的训练时间来收敛并产生不准确的模型。在本文中，我们提出了一个全新的FL框架，即Pressfl，该框架将联合模型培训取代联合的及时培训，即让联邦参与者培训提示而不是共享模型，以同时实现有效的全球聚合和本地培训通过以分布式方式利用基础模型（FM）的功率来利用数据不足。 ProSTERFL将现成的FM（即剪辑）运送到分布式客户端，这些客户将根据很少的本地数据进行合作培训共享的软提示。由于提示fl只需要更新提示而不是整个模型，因此本地培训和全局聚合都可以大大加速。经过大规模数据训练的FM可以通过训练有素的软提示为分布式用户任务提供强大的适应能力。我们通过广泛的实验对提示进行了经验分析，并在系统的可行性，用户隐私和性能方面表现出了优势。

经常引用联合学习的挑战是数据异质性的存在 - 不同客户的数据可能遵循非常不同的分布。已经提出了几种联合优化方法来应对这些挑战。在文献中，经验评估通常从随机初始化开始联合培训。但是，在联合学习的许多实际应用中，服务器可以访问培训任务的代理数据，该数据可用于在开始联合培训之前用于预训练模型。我们从经验上研究了使用四个常见联合学习基准数据集从联邦学习中的预训练模型开始的影响。毫不奇怪，从预先训练的模型开始，比从随机初始化开始时，缩短了达到目标错误率所需的训练时间，并使训练更准确的模型（最高40 \％）。令人惊讶的是，我们还发现，从预先训练的初始化开始联合培训时，数据异质性的效果不那么重要。相反，从预先训练的模型开始时，使用服务器上的自适应优化器（例如\ textsc {fedadam}）始终导致最佳准确性。我们建议未来提出和评估联合优化方法的工作在开始随机和预训练的初始化时考虑性能。我们还认为，这项研究提出了几个问题，以进一步了解异质性在联合优化中的作用。

随着对数据隐私和数据量迅速增加的越来越关注，联邦学习（FL）已成为重要的学习范式。但是，在FL环境中共同学习深层神经网络模型被证明是一项非平凡的任务，因为与神经网络相关的复杂性，例如跨客户的各种体系结构，神经元的置换不变性以及非线性的存在每一层的转换。这项工作介绍了一个新颖的联合异质神经网络（FEDHENN）框架，该框架允许每个客户构建个性化模型，而无需在跨客户范围内实施共同的架构。这使每个客户都可以优化本地数据并计算约束，同时仍能从其他（可能更强大）客户端的学习中受益。 Fedhenn的关键思想是使用从同行客户端获得的实例级表示，以指导每个客户的同时培训。广泛的实验结果表明，Fedhenn框架能够在跨客户的同质和异质体系结构的设置中学习更好地表现客户的模型。

联合学习（FL）是分布式学习范例，可以从边缘设备上的分散数据集中学习全局或个性化模型。然而，在计算机视觉域中，由于统一的流行框架缺乏探索，FL的模型性能远远落后于集中培训。在诸如物体检测和图像分割之类的高级计算机视觉任务中，FL很少有效地说明。为了弥合差距并促进电脑视觉任务的流动，在这项工作中，我们提出了一个联邦学习库和基准框架，命名为FEDCV，评估了三个最具代表性的计算机视觉任务：图像分类，图像分割，和物体检测。我们提供非I.I.D。基准测试数据集，模型和各种参考FL算法。我们的基准研究表明，存在多种挑战值得未来的探索：集中式培训技巧可能不会直接申请fl;非i.i.d。 DataSet实际上将模型精度降级到不同的任务中的某种程度;给出了联合培训的系统效率，具有挑战性，鉴于大量参数和每个客户端记忆成本。我们认为，这种图书馆和基准以及可比的评估设置是必要的，以便在计算机视觉任务中进行有意义的进展。 Fedcv公开可用：https://github.com/fedml-ai/fedcv。

联合学习（FL）通过汇总模型更新，以隐私的方式对分散数据进行了全球模型培训。但是，对于使用具有大量参数的预训练的语言模型（PLM）的许多自然语言处理（NLP）任务，与FL相关的沟通成本相当大。最近，迅速调整了一些不修改PLM的软提示的调音，它作为新的学习范式取得了出色的表现。因此，我们要组合两种方法，并探索在FL下迅速调整的效果。在本文中，我们提出“ FedPrompt”作为第一个工作研究促使使用FL以模型分开学习方式进行调整，并证明该研究大大降低了沟通成本，只有PLMS参数的0.01％，而准确性几乎没有降低。在IID和非IID数据分布上。这提高了FL方法的效率，同时还可以在及时调整中保护数据隐私。此外，PLMS，提示在公共平台和个人用户之间被上传和下载，因此我们试图弄清楚是否仍然只有使用后门威胁在FL场景中软提示。我们通过对FedPrompt的数据中毒进一步进行后门攻击。我们的实验表明，正常的后门攻击无法实现高攻击成功率，证明了FedPrompt的稳健性。我们希望这项工作能够促进FL的应用，并提高对可能的安全威胁的认识。

联合学习（FL）是一种机器学习范式，允许分散的客户在不共享其私人数据的情况下进行协作学习。但是，过度的计算和沟通要求对当前的FL框架构成挑战，尤其是在训练大型模型时。为了防止这些问题阻碍FL系统的部署，我们提出了一个轻巧的框架，客户共同学习融合由多个固定预训练的模型生成的表示形式，而不是从SCRATCH培训大型模型。这通过考虑如何从预先训练的模型中捕获更多特定于客户的信息，并共同提高每个客户利用这些现成模型的能力，从而导致我们解决了一个更实用的FL问题。在这项工作中，我们设计了一种联合原型对比度学习（FEDPCL）方法，该方法通过其类原型共享客户的知识，并以原型对比度方式构建特定于客户的表示。共享原型而不是可学习的模型参数可以使每个客户以个性化的方式融合表示表示，同时以紧凑的形式保持共享知识以进行有效的通信。我们在轻量级框架中对拟议的FEDPCL进行了彻底的评估，以测量和可视化其在流行的FL数据集上融合各种预训练模型的能力。

Federated Learning有望在不访问数据的情况下与多个客户进行协作培训模型的能力，但是当客户的数据分布彼此差异时脆弱。这种差异进一步导致了困境：“我们是否应该优先考虑学习模型的通用性能（用于服务器的将来使用）或其个性化绩效（对于每个客户端）？”这两个看似竞争的目标使社区分裂了专注于一个或另一个，但在本文中，我们表明可以同时实现这两者。具体而言，我们提出了一个新颖的联邦学习框架，该框架将模型的双重职责与两个预测任务相结合。一方面，我们介绍了一个损失家族，这些损失家庭对非相同的班级分布，使客户能够培训一个通用的预测指标，并以一致的目标培训。另一方面，我们将个性化预测变量作为一种轻巧的自适应模块，以最大程度地减少每个客户在通用预测指标上的经验风险。借助我们将联合强大的脱钩（FED-ROD）命名的两个损失的两次挑战框架，学识渊博的模型可以同时实现最先进的通用和个性化的性能，从而实质上弥补了这两个任务。

大规模的神经网络具有相当大的表现力。它们非常适合工业应用中的复杂学习任务。但是，在当前联邦学习（FL）范式下，大型模型对训练构成了重大挑战。现有的有效FL训练的方法通常利用模型参数辍学。但是，操纵单个模型参数不仅在训练大规模FL模型时有意义地减少通信开销效率低下，而且还可能不利于缩放工作和模型性能，如最近的研究所示。为了解决这些问题，我们提出了联合的机会障碍辍学方法（FEDOBD）方法。关键的新颖性是，它将大规模模型分解为语义块，以便FL参与者可以机会上传量化的块，这些块被认为对训练该模型非常重要，以供FL服务器进行聚合。基于多个现实世界数据集的五种最先进方法评估FEDOBD的广泛实验表明，与最佳性能基线方法相比，它将整体通信开销降低了70％以上，同时达到了最高的测试准确性。据我们所知，FEDOBD是在块级别而不是在单个参数级别上执行FL模型上辍学的第一种方法。

高效联合学习是在边缘设备上培训和部署AI模型的关键挑战之一。然而，在联合学习中维护数据隐私提出了几种挑战，包括数据异质性，昂贵的通信成本和有限的资源。在本文中，我们通过（a）通过基于本地客户端的深度增强学习引入突出参数选择代理的上述问题，并在中央服务器上聚合所选择的突出参数，（b）分割正常的深度学习模型〜 （例如，CNNS）作为共享编码器和本地预测器，并通过联合学习训练共享编码器，同时通过本地自定义预测器将其知识传送到非IID客户端。所提出的方法（a）显着降低了联合学习的通信开销，并加速了模型推断，而方法（b）则在联合学习中解决数据异质性问题。此外，我们利用梯度控制机制来校正客户之间的梯度异质性。这使得训练过程更稳定并更快地收敛。实验表明，我们的方法产生了稳定的训练过程，并与最先进的方法相比实现了显着的结果。在培训VGG-11时，我们的方法明显降低了通信成本最高108 GB，并在培训Reset-20时需要7.6美元的通信开销，同时通过减少高达39.7 \％$ 39.7 \％$ vgg- 11.

联邦学习（FL）最近由于其在保留隐私而使用分散数据的能力，最近引起了人们的关注。但是，这也提出了与参与设备的异质性有关的其他挑战，无论是在其计算能力和贡献数据方面。同时，神经体系结构搜索（NAS）已成功用于集中式数据集，从而产生了最新的结果，从而获得了受限（硬件意识）和不受约束的设置。但是，即使是在NAS和FL的交集的最新工作，也假定了与数据中心硬件的均匀计算环境，并且无法解决使用受约束，异质设备的问题。结果，在联合环境中对NAS的实际用法仍然是我们在工作中解决的一个空旷的问题。我们设计我们的系统Fedoras，在处理具有非IID分布数据的不同功能的设备时发现和培训有希望的体系结构，并提供了其在不同环境中有效性的经验证据。具体而言，我们在跨越三种不同模式（视觉，语音，文本）的数据集中评估了Fedoras，并且与最先进的联合解决方案相比，其性能更好，同时保持资源效率。

在存在数据掠夺性保存问题的情况下，有效地在许多设备和资源限制上（尤其是在边缘设备上）的有效部署深度神经网络是最具挑战性的问题之一。传统方法已经演变为改善单个全球模型，同时保持每个本地培训数据分散（即数据杂质性），或者培训一个曾经是一个曾经是一个曾经是的网络，该网络支持多样化的建筑设置，以解决配备不同计算功能的异质系统（即模型杂种）。但是，很少的研究同时考虑了这两个方向。在这项工作中，我们提出了一个新颖的框架来考虑两种情况，即超级网训练联合会（FEDSUP），客户在该场景中发送和接收一条超级网，其中包含从本身中采样的所有可能的体系结构。它的灵感来自联邦学习模型聚合阶段（FL）中平均参数的启发，类似于超级网训练中的体重分享。具体而言，在FedSup框架中，训练单射击模型中广泛使用的重量分享方法与联邦学习的平均（FedAvg）结合在一起。在我们的框架下，我们通过将子模型发送给广播阶段的客户来降低沟通成本和培训间接费用，提出有效的算法（电子馈SUP）。我们展示了几种增强FL环境中超网训练的策略，并进行广泛的经验评估。结果框架被证明为在几个标准基准上的数据和模型杂质性的鲁棒性铺平了道路。

联邦学习（FL）是一种在分布在大量可能异构客户端的私人数据上培训机器学习模型的方法，例如移动电话和物联网设备。在这项工作中，我们提出了一个名为Heterofl的新联合学习框架来解决具有较差的计算和通信能力的异构客户端。我们的解决方案可以实现具有不同计算复杂性的异构本地模型，并仍然产生单一的全局推理模型。我们的方法是挑战本地模型必须与全球模型共享相同的架构的现有工作的潜在工作。我们展示了提高流行培训的几种策略，并进行广泛的经验评估，包括三个数据集三个模型架构的五个计算复杂性水平。我们表明，根据客户端的功能，自适应分配子网是计算和通信有效的。

联合学习（FL）是以隐私性的方式从分散数据培训全球模型的重要范例。现有的FL方法通常假定可以对任何参与客户端进行培训。但是，在实际应用中，客户的设备通常是异质的，并且具有不同的计算能力。尽管像伯特这样的大型模型在AI中取得了巨大的成功，但很难将它们应用于弱客户的异质FL。直接的解决方案（例如删除弱客户端或使用小型模型适合所有客户端）将带来一些问题，例如由于数据丢失或有限的模型表示能力而导致的掉落客户端的代表性不足和劣等精度。在这项工作中，我们提出了一种包含客户的联合学习方法，以解决此问题。包容性FL的核心思想是将不同尺寸的模型分配给具有不同计算功能的客户，为功能强大的客户提供的较大模型以及针对弱客户的较小客户。我们还提出了一种有效的方法，可以在多个具有不同大小的本地模型之间共享知识。这样，所有客户都可以参与FL中的模型学习，最终模型可以足够大。此外，我们提出了一种动量知识蒸馏方法，以更好地转移强大客户的大型模型中的知识，向弱客户的小型模型。在许多实际基准数据集上进行的广泛实验证明了该方法在FL框架下使用异质设备的客户学习准确模型的有效性。

联合学习用于大量（数百万）边缘移动设备的机器学习模型的分散培训。它充满挑战，因为移动设备通常具有有限的通信带宽和本地计算资源。因此，提高联合学习的效率对于可扩展性和可用性至关重要。在本文中，我们建议利用部分训练的神经网络，该网络在整个训练过程中冻结了一部分模型参数，以降低对模型性能的影响几乎没有影响的通信成本。通过广泛的实验，我们经验证明，部分培训的神经网络（FEDPT）的联合学习可能导致卓越的通信准确性权衡，通信成本高达46美元，以小的准确度成本。我们的方法还实现了更快的培训，具有较小的内存占用空间，更好的效用，以便强​​大的差异隐私保证。对于推动设备上学习中的过度参数化的局限性，所提出的FEDPT方法可以特别有趣。

联合学习（FL）可以从云到资源限制的边缘设备分发机器学习工作负载。遗憾的是，当前的深网络不仅对边缘设备的推理和培训造成了太重，而且对于在带宽约束网络上传送更新，也太大了。在本文中，我们开发，实施和实验验证了所谓的联合动态稀疏训练（FEDDST）的新型FL框架，通过该训练可以通过该培训和培训复杂的神经网络，在设备上计算和网络内通信中具有基本上提高的效率。在FEDDST的核心是一个动态过程，可以从目标完整网络中提取和列出稀疏子网。通过这个方案，“两只鸟类用一块石头杀死：”而不是完整的模型，每个客户端都会对自己的稀疏网络进行有效的培训，并且在设备和云之间仅传输稀疏网络。此外，我们的结果表明，在流动训练期间的动态稀疏性更灵活地容纳比固定的共用稀疏面具的局部异质性。此外，动态稀疏性自然地引入了培训动态的“时间自化效应”，即使通过密集训练也会提高流程。在一个现实和挑战的非I.I.D。 FL Setting，FEDDST始终如一地优于我们的实验中的竞争算法：例如，在非IID CIFAR-10上的任何固定上传数据帽时，在给定相同的上传数据帽时，它会在FedVGM上获得令人印象深刻的精度优势;即使在上传数据帽2倍，也可以进一步展示FEDDST的疗效，即使FEDAVGM为2X，即使将FEDAVGM提供精度差距也会保持3％。代码可用：https://github.com/bibikar/feddst。

现代的深度学习系统越来越多地部署在个性化和联合学习等情况下，需要支持i）学习少量数据，ii）沟通有效的分布式培训协议。在这项工作中，我们开发了胶片转移（FIT），该胶片在图像分类设置中满足了这些要求。 FIT使用自动配置的幼稚贝叶斯分类器在固定的主链上，该主链在大型图像数据集上仔细考虑。参数有效膜层用于调节主链，从而为下游任务塑造表示形式。该网络通过情节微调协议进行培训。该方法是参数效率的，这对于能够实现几次学习，廉价的个性化模型更新以及沟通有效的联合学习的关键。我们尝试适合各种下游数据集，并表明它可以比最先进的大型转移（位）算法在低射击和挑战性的VTAB-1K基准上获得更好的分类准确性，该算法的精度少于1％可更新参数。最后，我们证明了在分布式低弹药应用中拟合的参数效率，包括模型个性化和联合学习，其中模型更新大小是重要的性能指标。

当可用的硬件无法满足内存和计算要求以有效地训练高性能的机器学习模型时，需要妥协训练质量或模型复杂性。在联合学习（FL）中，节点是比传统服务器级硬件更具限制的数量级，并且通常是电池供电的，严重限制了可以在此范式下训练的模型的复杂性。尽管大多数研究都集中在设计更好的聚合策略上以提高收敛速度并减轻FL的沟通成本，但更少的努力致力于加快设备培训。这样的阶段重复数百次（即每回合）并可能涉及数千个设备，这是培训联合模型所需的大部分时间，以及客户端的全部能源消耗。在这项工作中，我们介绍了第一个研究在FL工作负载中培训时间引入稀疏性时出现的独特方面的研究。然后，我们提出了Zerofl，该框架依赖于高度稀疏的操作来加快设备训练。与通过将最先进的稀疏训练框架适应FL设置相比，接受Zerofl和95％稀疏性训练的模型高达2.3％的精度。

A key challenge in federated learning (FL) is the statistical heterogeneity that impairs the generalization of the global model on each client. To address this, we propose a method Federated learning with Adaptive Local Aggregation (FedALA) by capturing the desired information in the global model for client models in personalized FL. The key component of FedALA is an Adaptive Local Aggregation (ALA) module, which can adaptively aggregate the downloaded global model and local model towards the local objective on each client to initialize the local model before training in each iteration. To evaluate the effectiveness of FedALA, we conduct extensive experiments with five benchmark datasets in computer vision and natural language processing domains. FedALA outperforms eleven state-of-the-art baselines by up to 3.27% in test accuracy. Furthermore, we also apply ALA module to other federated learning methods and achieve up to 24.19% improvement in test accuracy.