联合学习（FL）是分布式学习范例，可以从边缘设备上的分散数据集中学习全局或个性化模型。然而，在计算机视觉域中，由于统一的流行框架缺乏探索，FL的模型性能远远落后于集中培训。在诸如物体检测和图像分割之类的高级计算机视觉任务中，FL很少有效地说明。为了弥合差距并促进电脑视觉任务的流动，在这项工作中，我们提出了一个联邦学习库和基准框架，命名为FEDCV，评估了三个最具代表性的计算机视觉任务：图像分类，图像分割，和物体检测。我们提供非I.I.D。基准测试数据集，模型和各种参考FL算法。我们的基准研究表明，存在多种挑战值得未来的探索：集中式培训技巧可能不会直接申请fl;非i.i.d。 DataSet实际上将模型精度降级到不同的任务中的某种程度;给出了联合培训的系统效率，具有挑战性，鉴于大量参数和每个客户端记忆成本。我们认为，这种图书馆和基准以及可比的评估设置是必要的，以便在计算机视觉任务中进行有意义的进展。 Fedcv公开可用：https://github.com/fedml-ai/fedcv。

使用和部署不同本地模型的个性化联合学习（PFL），由于其在处理佛罗里达州客户的统计异质性方面的成功，近年来引起了人们的关注。但是，对不同PFL方法的标准化评估和系统分析仍然是一个挑战。首先，高度多样化的数据集，FL仿真设置和PFL实现可以防止对PFL方法的快速和公平比较。其次，在各种实践场景中，PFL方法的有效性和鲁棒性不足，例如新客户的概括和资源有限的客户参与。最后，当前的PFL文献在采用的评估和消融方案中有所不同。为了应对这些挑战，我们提出了第一个全面的PFL基准PFL基准，以促进快速，可重现，标准化和彻底的PFL评估。所提出的基准测试包含具有统一数据分区和现实异质设置的不同应用程序域中的10多个数据集；一个模块化且易于扩展的PFL代码库，具有20多个竞争性PFL基线实现；以及在集装环境下进行的系统评估，以概括，公平，系统开销和收敛性。我们强调了最先进的PFL方法的好处和潜力，并希望PFL板台实现了进一步的PFL研究和广泛的应用，否则由于缺乏专用的基准，这将是困难的。该代码在https://github.com/alibaba/federatedscope/tree/master/master/benchmark/pfl-bench上发布。

经常引用联合学习的挑战是数据异质性的存在 - 不同客户的数据可能遵循非常不同的分布。已经提出了几种联合优化方法来应对这些挑战。在文献中，经验评估通常从随机初始化开始联合培训。但是，在联合学习的许多实际应用中，服务器可以访问培训任务的代理数据，该数据可用于在开始联合培训之前用于预训练模型。我们从经验上研究了使用四个常见联合学习基准数据集从联邦学习中的预训练模型开始的影响。毫不奇怪，从预先训练的模型开始，比从随机初始化开始时，缩短了达到目标错误率所需的训练时间，并使训练更准确的模型（最高40 \％）。令人惊讶的是，我们还发现，从预先训练的初始化开始联合培训时，数据异质性的效果不那么重要。相反，从预先训练的模型开始时，使用服务器上的自适应优化器（例如\ textsc {fedadam}）始终导致最佳准确性。我们建议未来提出和评估联合优化方法的工作在开始随机和预训练的初始化时考虑性能。我们还认为，这项研究提出了几个问题，以进一步了解异质性在联合优化中的作用。

联合学习是一种分布式的机器学习方法，其中单个服务器和多个客户端在不共享客户端数据集的情况下协作构建机器学习模型。联合学习的一个具有挑战性的问题是数据异质性（即，数据分布在客户端可能有所不同）。为了应对这个问题，众多联合学习方法旨在为客户提供个性化的联合学习，并为客户建立优化的模型。尽管现有研究通过经验评估了自己的方法，但这些研究中的实验环境（例如比较方法，数据集和客户设置）彼此不同，目前尚不清楚哪种个性化的联邦学习方法可以实现最佳性能，以及取得多少进展，可以进行多大进展。通过使用这些方法而不是标准（即非个人化）联合学习来制作。在本文中，我们通过全面的实验基准了现有的个性化联合学习的性能，以评估每种方法的特征。我们的实验研究表明，（1）没有冠军方法，（2）大数据异质性通常会导致高准确的预测，并且（3）具有微调的标准联合学习方法（例如FedAvg）通常超过了个性化的联邦学习方法。我们为研究人员开放基准工具FedBench，以通过各种实验环境进行实验研究。

高效联合学习是在边缘设备上培训和部署AI模型的关键挑战之一。然而，在联合学习中维护数据隐私提出了几种挑战，包括数据异质性，昂贵的通信成本和有限的资源。在本文中，我们通过（a）通过基于本地客户端的深度增强学习引入突出参数选择代理的上述问题，并在中央服务器上聚合所选择的突出参数，（b）分割正常的深度学习模型〜 （例如，CNNS）作为共享编码器和本地预测器，并通过联合学习训练共享编码器，同时通过本地自定义预测器将其知识传送到非IID客户端。所提出的方法（a）显着降低了联合学习的通信开销，并加速了模型推断，而方法（b）则在联合学习中解决数据异质性问题。此外，我们利用梯度控制机制来校正客户之间的梯度异质性。这使得训练过程更稳定并更快地收敛。实验表明，我们的方法产生了稳定的训练过程，并与最先进的方法相比实现了显着的结果。在培训VGG-11时，我们的方法明显降低了通信成本最高108 GB，并在培训Reset-20时需要7.6美元的通信开销，同时通过减少高达39.7 \％$ 39.7 \％$ vgg- 11.

尽管结果令人印象深刻，但深度学习的技术还引起了经常在数据中心进行的培训程序引起的严重隐私和环境问题。作为回应，已经出现了集中培训的替代方案，例如联邦学习（FL）。也许出乎意料的是，FL开始在全球范围内部署，这些公司必须遵守源自倡导隐私保护的政府和社会团体的新法律要求和政策。 \ textit {但是，与FL有关的潜在环境影响仍然不清楚和未开发。本文提供了有关佛罗里达碳足迹的首次系统研究。然后，我们将FL的碳足迹与传统的集中学习进行了比较。我们的发现表明，根据配置，FL可以比集中的机器学习高达两个数量级。但是，在某些情况下，由于嵌入式设备的能源消耗减少，它可以与集中学习相提并论。我们使用FL进行了不同类型的数据集，设置和各种深度学习模型的广泛实验。最后，我们强调并将报告的结果与FL的未来挑战和趋势联系起来，以减少其环境影响，包括算法效率，硬件能力和更强的行业透明度。

在大多数有关联合学习（FL）的文献中，神经网络都是随机重量初始化的。在本文中，我们介绍了一项关于预训练对FL的影响的实证研究。具体而言，我们旨在调查当客户的分散数据是非IID时，预训练是否可以减轻急剧精度下降。我们专注于FedAvg，这是基本和最广泛使用的FL算法。我们发现，在非IID数据下，预培训确实在很大程度上缩小了FedAvg和集中学习之间的差距，但这并不是由于减轻了FedAvg的本地培训中众所周知的模型漂移问题。相反，预培训如何通过使FedAvg的全球聚合更加稳定来帮助FedAvg。当使用真实数据的预训练对于FL不可行时，我们提出了一种新型的方法，可以预先培训合成数据。在各种图像数据集（包括用于分割的一个）上，我们使用合成预训练的方法导致了显着的增益，这实质上是为扩大现实世界应用程序的联合学习而迈出的关键步骤。

启用摄像头的移动设备的无处不在导致在边缘生产大量未标记的视频数据。尽管已经提出了各种自我监督学习（SSL）方法来收集其潜在的时空表征，以进行特定于任务的培训，但实际挑战包括隐私问题和沟通成本，可以阻止SSL在大规模上部署。为了减轻这些问题，我们建议将联合学习（FL）用于视频SSL的任务。在这项工作中，我们评估了当前最新ART（SOTA）视频-SSL技术的性能，并确定其在与Kinetics-400数据集模拟的大规模FL设置中集成到大规模的FL设置时的缺陷。我们遵循，为视频（称为FedVSSL）提出了一个新颖的Federated SSL框架，该框架集成了不同的聚合策略和部分重量更新。广泛的实验证明了FEDVSSL的有效性和意义，因为它在UCF-101上优于下游检索任务的集中式SOTA，而HMDB-51的效率为6.66％。

我们介绍了一个新颖的联合学习框架FedD3，该框架减少了整体沟通量，并开放了联合学习的概念，从而在网络受限的环境中进行了更多的应用程序场景。它通过利用本地数据集蒸馏而不是传统的学习方法（i）大大减少沟通量，并（ii）将转移限制为一击通信，而不是迭代的多路交流来实现这一目标。 FedD3允许连接的客户独立提炼本地数据集，然后汇总那些去中心化的蒸馏数据集（通常以几个无法识别的图像，通常小于模型小于模型），而不是像其他联合学习方法共享模型更新，而是允许连接的客户独立提炼本地数据集。在整个网络上仅一次形成最终模型。我们的实验结果表明，FedD3在所需的沟通量方面显着优于其他联合学习框架，同时，根据使用情况或目标数据集，它为能够在准确性和沟通成本之间的权衡平衡。例如，要在具有10个客户的非IID CIFAR-10数据集上训练Alexnet模型，FedD3可以通过相似的通信量增加准确性超过71％，或者节省98％的通信量，同时达到相同的准确性与其他联合学习方法相比。

联合学习（FL）是一种机器学习范式，允许分散的客户在不共享其私人数据的情况下进行协作学习。但是，过度的计算和沟通要求对当前的FL框架构成挑战，尤其是在训练大型模型时。为了防止这些问题阻碍FL系统的部署，我们提出了一个轻巧的框架，客户共同学习融合由多个固定预训练的模型生成的表示形式，而不是从SCRATCH培训大型模型。这通过考虑如何从预先训练的模型中捕获更多特定于客户的信息，并共同提高每个客户利用这些现成模型的能力，从而导致我们解决了一个更实用的FL问题。在这项工作中，我们设计了一种联合原型对比度学习（FEDPCL）方法，该方法通过其类原型共享客户的知识，并以原型对比度方式构建特定于客户的表示。共享原型而不是可学习的模型参数可以使每个客户以个性化的方式融合表示表示，同时以紧凑的形式保持共享知识以进行有效的通信。我们在轻量级框架中对拟议的FEDPCL进行了彻底的评估，以测量和可视化其在流行的FL数据集上融合各种预训练模型的能力。

联合学习（FL）作为边缘设备的有希望的技术，以协作学习共享预测模型，同时保持其训练数据，从而解耦了从需要存储云中的数据的机器学习的能力。然而，在规模和系统异质性方面，FL难以现实地实现。虽然有许多用于模拟FL算法的研究框架，但它们不支持在异构边缘设备上进行可扩展的流程。在本文中，我们呈现花 - 一种全面的FL框架，通过提供新的设施来执行大规模的FL实验并考虑丰富的异构流程来区分现有平台。我们的实验表明花卉可以仅使用一对高端GPU在客户尺寸下进行FL实验。然后，研究人员可以将实验无缝地迁移到真实设备中以检查设计空间的其他部分。我们认为花卉为社区提供了一个批判性的新工具，用于研究和发展。

联邦学习一直是一个热门的研究主题，使不同组织的机器学习模型的协作培训在隐私限制下。随着研究人员试图支持更多具有不同隐私方法的机器学习模型，需要开发系统和基础设施，以便于开发各种联合学习算法。类似于Pytorch和Tensorflow等深度学习系统，可以增强深度学习的发展，联邦学习系统（FLSS）是等效的，并且面临各个方面的面临挑战，如有效性，效率和隐私。在本调查中，我们对联合学习系统进行了全面的审查。为实现流畅的流动和引导未来的研究，我们介绍了联合学习系统的定义并分析了系统组件。此外，我们根据六种不同方面提供联合学习系统的全面分类，包括数据分布，机器学习模型，隐私机制，通信架构，联合集市和联合的动机。分类可以帮助设计联合学习系统，如我们的案例研究所示。通过系统地总结现有联合学习系统，我们展示了设计因素，案例研究和未来的研究机会。

当客户具有不同的数据分布时，最新的联合学习方法的性能比其集中式同行差得多。对于神经网络，即使集中式SGD可以轻松找到同时执行所有客户端的解决方案，当前联合优化方法也无法收敛到可比的解决方案。我们表明，这种性能差异很大程度上可以归因于非概念性提出的优化挑战。具体来说，我们发现网络的早期层确实学习了有用的功能，但是最后一层无法使用它们。也就是说，适用于此非凸问题的联合优化扭曲了最终层的学习。利用这一观察结果，我们提出了一个火车征征训练（TCT）程序来避开此问题：首先，使用现成方法（例如FedAvg）学习功能；然后，优化从网络的经验神经切线核近似获得的共透性问题。当客户具有不同的数据时，我们的技术可在FMNIST上的准确性提高高达36％，而CIFAR10的准确性提高了 +37％。

Federated Learning (FL) has been widely accepted as the solution for privacy-preserving machine learning without collecting raw data. While new technologies proposed in the past few years do evolve the FL area, unfortunately, the evaluation results presented in these works fall short in integrity and are hardly comparable because of the inconsistent evaluation metrics and experimental settings. In this paper, we propose a holistic evaluation framework for FL called FedEval, and present a benchmarking study on seven state-of-the-art FL algorithms. Specifically, we first introduce the core evaluation taxonomy model, called FedEval-Core, which covers four essential evaluation aspects for FL: Privacy, Robustness, Effectiveness, and Efficiency, with various well-defined metrics and experimental settings. Based on the FedEval-Core, we further develop an FL evaluation platform with standardized evaluation settings and easy-to-use interfaces. We then provide an in-depth benchmarking study between the seven well-known FL algorithms, including FedSGD, FedAvg, FedProx, FedOpt, FedSTC, SecAgg, and HEAgg. We comprehensively analyze the advantages and disadvantages of these algorithms and further identify the suitable practical scenarios for different algorithms, which is rarely done by prior work. Lastly, we excavate a set of take-away insights and future research directions, which are very helpful for researchers in the FL area.

在存在数据掠夺性保存问题的情况下，有效地在许多设备和资源限制上（尤其是在边缘设备上）的有效部署深度神经网络是最具挑战性的问题之一。传统方法已经演变为改善单个全球模型，同时保持每个本地培训数据分散（即数据杂质性），或者培训一个曾经是一个曾经是一个曾经是的网络，该网络支持多样化的建筑设置，以解决配备不同计算功能的异质系统（即模型杂种）。但是，很少的研究同时考虑了这两个方向。在这项工作中，我们提出了一个新颖的框架来考虑两种情况，即超级网训练联合会（FEDSUP），客户在该场景中发送和接收一条超级网，其中包含从本身中采样的所有可能的体系结构。它的灵感来自联邦学习模型聚合阶段（FL）中平均参数的启发，类似于超级网训练中的体重分享。具体而言，在FedSup框架中，训练单射击模型中广泛使用的重量分享方法与联邦学习的平均（FedAvg）结合在一起。在我们的框架下，我们通过将子模型发送给广播阶段的客户来降低沟通成本和培训间接费用，提出有效的算法（电子馈SUP）。我们展示了几种增强FL环境中超网训练的策略，并进行广泛的经验评估。结果框架被证明为在几个标准基准上的数据和模型杂质性的鲁棒性铺平了道路。

联合学习（FL）是一种新兴技术，用于协作训练全球机器学习模型，同时将数据局限于用户设备。FL实施实施的主要障碍是用户之间的非独立且相同的（非IID）数据分布，这会减慢收敛性和降低性能。为了解决这个基本问题，我们提出了一种方法（comfed），以增强客户端和服务器侧的整个培训过程。舒适的关键思想是同时利用客户端变量减少技术来促进服务器聚合和全局自适应更新技术以加速学习。我们在CIFAR-10分类任务上的实验表明，Comfed可以改善专用于非IID数据的最新算法。

联合学习（FL）框架使Edge客户能够协作学习共享的推理模型，同时保留对客户的培训数据的隐私。最近，已经采取了许多启发式方法来概括集中化的自适应优化方法，例如SGDM，Adam，Adagrad等，以提高收敛性和准确性的联合设置。但是，关于在联合设置中的位置以及如何设计和利用自适应优化方法的理论原理仍然很少。这项工作旨在从普通微分方程（ODE）的动力学的角度开发新的自适应优化方法，以开发FL的新型自适应优化方法。首先，建立了一个分析框架，以在联合优化方法和相应集中优化器的ODES分解之间建立连接。其次，基于这个分析框架，开发了一种动量解耦自适应优化方法FedDA，以充分利用每种本地迭代的全球动量并加速训练收敛。最后但并非最不重要的一点是，在训练过程结束时，全部批处理梯度用于模仿集中式优化，以确保收敛并克服由自适应优化方法引起的可能的不一致。

本文提出并表征了联合学习（OARF）的开放应用程序存储库，是联合机器学习系统的基准套件。以前可用的联合学习基准主要集中在合成数据集上，并使用有限数量的应用程序。 OARF模仿更现实的应用方案，具有公开的数据集，如图像，文本和结构数据中的不同数据孤岛。我们的表征表明，基准套件在数据大小，分布，特征分布和学习任务复杂性中多样化。与参考实施的广泛评估显示了联合学习系统的重要方面的未来研究机会。我们开发了参考实现，并评估了联合学习的重要方面，包括模型准确性，通信成本，吞吐量和收敛时间。通过这些评估，我们发现了一些有趣的发现，例如联合学习可以有效地提高端到端吞吐量。

With increasing privacy concerns on data, recent studies have made significant progress using federated learning (FL) on privacy-sensitive natural language processing (NLP) tasks. Much literature suggests fully fine-tuning pre-trained language models (PLMs) in the FL paradigm can mitigate the data heterogeneity problem and close the performance gap with centralized training. However, large PLMs bring the curse of prohibitive communication overhead and local model adaptation costs for the FL system. To this end, we introduce various parameter-efficient tuning (PETuning) methods into federated learning. Specifically, we provide a holistic empirical study of representative PLMs tuning methods in FL. The experimental results cover the analysis of data heterogeneity levels, data scales, and different FL scenarios. Overall communication overhead can be significantly reduced by locally tuning and globally aggregating lightweight model parameters while maintaining acceptable performance in various FL settings. To facilitate the research of PETuning in FL, we also develop a federated tuning framework FedPETuning, which allows practitioners to exploit different PETuning methods under the FL training paradigm conveniently. The source code is available at \url{https://github.com/iezhuozhuo/FedETuning/tree/deltaTuning}.

作为一种有希望的隐私机器学习方法，联合学习（FL）可以使客户跨客户培训，而不会损害其机密的本地数据。但是，现有的FL方法遇到了不均分布数据的推理性能低的问题，因为它们中的大多数依赖于联合平均（FIDAVG）基于联合的聚合。通过以粗略的方式平均模型参数，FedAvg将局部模型的个体特征黯然失色，这极大地限制了FL的推理能力。更糟糕的是，在每一轮FL培训中，FedAvg向客户端向客户派遣了相同的初始本地模型，这很容易导致对最佳全局模型的局限性搜索。为了解决上述问题，本文提出了一种新颖有效的FL范式，名为FEDMR（联合模型重组）。与传统的基于FedAvg的方法不同，FEDMR的云服务器将收集到的本地型号的每一层层混合，并重组它们以实现新的模型，以供客户端培训。由于在每场FL比赛中进行了细粒度的模型重组和本地培训，FEDMR可以迅速为所有客户找出一个全球最佳模型。全面的实验结果表明，与最先进的FL方法相比，FEDMR可以显着提高推理准确性而不会引起额外的通信开销。