我们展示了FedScale,这是一种多样化的挑战和现实的基准数据集,以便于可扩展,全面,可重复的联邦学习(FL)研究。 FedScale数据集是大规模的,包括不同的重要性范围,例如图像分类,对象检测,字预测和语音识别。对于每个数据集,我们使用逼真的数据拆分和评估度量提供统一的评估协议。为了满足在规模中繁殖现实流体的压力需求,我们还建立了一个有效的评估平台,以简化和标准化流程实验设置和模型评估的过程。我们的评估平台提供灵活的API来实现新的FL算法,并包括具有最小开发人员的新执行后端。最后,我们在这些数据集上执行深入的基准实验。我们的实验表明,在现实流动特征下,在系统的异质性感知协同优化和统计效率下提供了富有成效的机遇。 FedScale是具有允许许可的开放源,积极维护,我们欢迎来自社区的反馈和贡献。
translated by 谷歌翻译
联合学习(FL)作为边缘设备的有希望的技术,以协作学习共享预测模型,同时保持其训练数据,从而解耦了从需要存储云中的数据的机器学习的能力。然而,在规模和系统异质性方面,FL难以现实地实现。虽然有许多用于模拟FL算法的研究框架,但它们不支持在异构边缘设备上进行可扩展的流程。在本文中,我们呈现花 - 一种全面的FL框架,通过提供新的设施来执行大规模的FL实验并考虑丰富的异构流程来区分现有平台。我们的实验表明花卉可以仅使用一对高端GPU在客户尺寸下进行FL实验。然后,研究人员可以将实验无缝地迁移到真实设备中以检查设计空间的其他部分。我们认为花卉为社区提供了一个批判性的新工具,用于研究和发展。
translated by 谷歌翻译
联合学习(FL)可以使用学习者使用本地数据进行分布式培训,从而增强隐私和减少沟通。但是,它呈现出与数据分布,设备功能和参与者可用性的异质性有关的众多挑战,作为部署量表,这可能会影响模型融合和偏置。现有的FL方案使用随机参与者选择来提高公平性;然而,这可能导致资源低效和更低的质量培训。在这项工作中,我们系统地解决了FL中的资源效率问题,展示了智能参与者选择的好处,并将更新从争吵的参与者纳入。我们展示了这些因素如何实现资源效率,同时还提高了训练有素的模型质量。
translated by 谷歌翻译
传统的深度学习方法(DL)需要在中央服务器上收集和处理的培训数据,这些中央服务器通常在保健等隐私敏感域中挑战。为此,提出了一种新的学习范式,称为联合学习(FL),在解决隐私和数据所有权问题的同时将DL的潜力带到了这些域。 FL使远程客户端能够在保持数据本地时学习共享ML模型。然而,传统的FL系统面临多种挑战,例如可扩展性,复杂的基础设施管理,并且由于空闲客户端而被浪费的计算和产生的成本。 FL系统的这些挑战与无服务器计算和功能 - AS-Service(FAAS)平台旨在解决的核心问题密切对齐。这些包括快速可扩展性,无基础设施管理,自动缩放为空闲客户端,以及每次使用付费计费模型。为此,我们为无服务器FL展示了一个新颖的系统和框架,称为不发烟。我们的系统支持多个商业和自主主机的FAAS提供商,可以在机构数据中心和边缘设备上部署在云端,内部部署。据我们所知,我们是第一个能够在一大面料的异构FAAS提供商中启用FL,同时提供安全性和差异隐私等重要功能。我们展示了全面的实验,即使用我们的系统可以成功地培训多达200个客户功能的不同任务,更容易实现。此外,我们通过将其与传统的FL系统进行比较来证明我们的方法的实际可行性,并表明它可以更便宜,更资源效率更便宜。
translated by 谷歌翻译
需要在最终用户设备(例如智能手机)上训练DNN模型的需求,而随着需要改善数据隐私并减少通信开销的需求。与具有功能强大CPU和GPU的数据中心服务器不同,现代智能手机由多种专门内核组成,遵循系统启动(SOC)架构,共同执行各种任务。我们观察到,在智能手机SOC上的培训DNN不仔细考虑其资源限制不仅会导致次优培训表现,而且还会显着影响用户体验。在本文中,我们展示了天鹅,这是一种神经引擎,可在不损害用户体验的情况下优化智能手机SOC的DNN培训。广泛的大规模评估表明,天鹅可以在最先进的情况下提高1.2-23.3倍的表现。
translated by 谷歌翻译
Federated Learning (FL) is a machine learning paradigm that enables the training of a shared global model across distributed clients while keeping the training data local. While most prior work on designing systems for FL has focused on using stateful always running components, recent work has shown that components in an FL system can greatly benefit from the usage of serverless computing and Function-as-a-Service technologies. To this end, distributed training of models with severless FL systems can be more resource-efficient and cheaper than conventional FL systems. However, serverless FL systems still suffer from the presence of stragglers, i.e., slow clients due to their resource and statistical heterogeneity. While several strategies have been proposed for mitigating stragglers in FL, most methodologies do not account for the particular characteristics of serverless environments, i.e., cold-starts, performance variations, and the ephemeral stateless nature of the function instances. Towards this, we propose FedLesScan, a novel clustering-based semi-asynchronous training strategy, specifically tailored for serverless FL. FedLesScan dynamically adapts to the behaviour of clients and minimizes the effect of stragglers on the overall system. We implement our strategy by extending an open-source serverless FL system called FedLess. Moreover, we comprehensively evaluate our strategy using the 2nd generation Google Cloud Functions with four datasets and varying percentages of stragglers. Results from our experiments show that compared to other approaches FedLesScan reduces training time and cost by an average of 8% and 20% respectively while utilizing clients better with an average increase in the effective update ratio of 17.75%.
translated by 谷歌翻译
联合学习(FL)通常以同步平行方式进行,其中慢速客户的参与延迟了训练迭代。当前的FL系统采用参与者选择策略,在每次迭代中选择具有优质数据的快速客户。但是,这在实践中并不总是可以的,而且选择策略通常必须在客户的速度和数据质量之间进行不愉快的权衡。在本文中,我们提出了双鱼座,这是一种具有智能参与者选择和用于加速培训的模型聚合的异步FL系统。为了避免产生过多的资源成本和陈旧的培训计算,双鱼座使用新颖的评分机制来识别合适的客户参加培训迭代。它还可以调整模型聚合的步伐,以动态限制所选客户端和服务器之间的进度差距,并在平滑的非convex设置中具有可证明的融合保证。我们已经在一个名为Plato的开源FL平台中实现了双鱼座,并评估了其在流行视觉和语言模型的大规模实验中的性能。双鱼座的表现优于最先进的同步和异步方案,分别高达2.0倍和1.9倍的时间加速。
translated by 谷歌翻译
联合学习(FL)是AI的新出现的分支,它有助于边缘设备进行协作训练全球机器学习模型,而无需集中数据并默认使用隐私。但是,尽管进步显着,但这种范式面临着各种挑战。具体而言,在大规模部署中,客户异质性是影响培训质量(例如准确性,公平性和时间)的规范。此外,这些电池约束设备的能源消耗在很大程度上尚未探索,这是FL的广泛采用的限制。为了解决这个问题,我们开发了EAFL,这是一种能源感知的FL选择方法,该方法考虑了能源消耗以最大程度地提高异质目标设备的参与。 \ Scheme是一种功能感知的培训算法,该算法与电池电量更高的挑选客户结合使用,并具有最大化系统效率的能力。我们的设计共同最大程度地减少了临界时间,并最大程度地提高了其余的电池电池水平。 \方案将测试模型的精度提高了高达85 \%,并将客户的辍学率降低了2.45 $ \ times $。
translated by 谷歌翻译
联合学习(FL)在分布式客户端上培训机器学习模型,而不会暴露单个数据。与通常基于仔细组织的数据的集中培训不同,FL处理通常不混阻和不平衡的设备数据。因此,处理所有数据的传统流行训练协议同样地导致浪费本地计算资源,并减慢全局学习过程。为此,我们提出了一个系统性的FLBalancer,它积极选择客户的培训样本。我们的示例选择策略在尊重客户端的隐私和计算能力的同时优先确定更多“信息性”数据。为了更好地利用样本选择来加速全球培训,我们进一步推出了一种自适应截止日期控制方案,该方案预测每个轮的最佳截止日期,具有不同的客户端列车数据。与具有截止日期配置方法的现有流算法相比,我们对三个不同域的五个数据集的评估表明,FedBalancer将时间至准确性的性能提高1.22〜4.62倍,同时提高模型精度1.0〜3.3%。我们还表明,通过展示在与三种不同的FL算法共同运行时,FedBalancer提高了收敛速度和准确性,可以随时适用于其他流动方法。
translated by 谷歌翻译
联邦学习(FL)已成为一种前瞻性解决方案,可促进对高性能的集中模型的培训,而不会损害用户的隐私。尽管成功,但目前的研究受到了在实验初期建立现实的大规模FL系统的可能性的限制。仿真可以帮助加速这一过程。为了促进异构客户的有效可扩展的FL模拟,我们设计和实施ProteA,这是使用FL框架花朵在联合系统中灵活且轻巧的客户型分析组件。它允许自动收集系统级统计信息并估算每个客户所需的资源,从而以资源感知方式运行模拟。结果表明,我们的设计成功地增加了1.66 $ \ times $ $更快的壁挂时间和2.6 $ \ times $更好的GPU利用率的平行性,这可以对异构客户进行大规模实验。
translated by 谷歌翻译
Federated Learning is a distributed machine learning approach which enables model training on a large corpus of decentralized data. We have built a scalable production system for Federated Learning in the domain of mobile devices, based on TensorFlow. In this paper, we describe the resulting high-level design, sketch some of the challenges and their solutions, and touch upon the open problems and future directions.
translated by 谷歌翻译
本文介绍了FLSYS的设计,实施和评估,一种支持移动应用的深度学习模型的移动云联合学习(FL)系统。 Flsys是创建使用这些模型的FL模型和应用程序开放生态系统的关键组件。 FLSYS旨在使用在智能手机上收集的移动感应数据,平衡模型性能,在手机上使用资源消耗,容忍手机通信故障,并在云中实现可扩展性。在FLSYS中,可以通过不同的应用程序培训云中具有不同流量的不同DL模型,并通过不同的应用程序同时访问和访问。此外,Flsys为第三方应用程序开发人员提供了培训FL模型的共同API。 flsys是在Android和AWS云中实现的。我们在野生FL模型中与人类活动识别(HAR)共同设计了FLSYS。在五个月的时间内,在100+大学生手机的两个地区收集了掌握数据。我们实施了Har-Wild,一种针对移动设备定制的CNN模型,具有数据增强机制,以减轻非独立和相同分布的(非IID)数据的问题,这些数据影响野外的流动模型训练。情绪分析(SA)模型用于演示FLSYS如何有效地支持并发模型,并且它使用446个用户的DataSet具有46,000多个推文。我们对Android手机和仿真器进行了广泛的实验,表明Flsys实现了良好的模型实用性和实际系统性能。
translated by 谷歌翻译
Federated Learning (FL) has been widely accepted as the solution for privacy-preserving machine learning without collecting raw data. While new technologies proposed in the past few years do evolve the FL area, unfortunately, the evaluation results presented in these works fall short in integrity and are hardly comparable because of the inconsistent evaluation metrics and experimental settings. In this paper, we propose a holistic evaluation framework for FL called FedEval, and present a benchmarking study on seven state-of-the-art FL algorithms. Specifically, we first introduce the core evaluation taxonomy model, called FedEval-Core, which covers four essential evaluation aspects for FL: Privacy, Robustness, Effectiveness, and Efficiency, with various well-defined metrics and experimental settings. Based on the FedEval-Core, we further develop an FL evaluation platform with standardized evaluation settings and easy-to-use interfaces. We then provide an in-depth benchmarking study between the seven well-known FL algorithms, including FedSGD, FedAvg, FedProx, FedOpt, FedSTC, SecAgg, and HEAgg. We comprehensively analyze the advantages and disadvantages of these algorithms and further identify the suitable practical scenarios for different algorithms, which is rarely done by prior work. Lastly, we excavate a set of take-away insights and future research directions, which are very helpful for researchers in the FL area.
translated by 谷歌翻译
联邦学习一直是一个热门的研究主题,使不同组织的机器学习模型的协作培训在隐私限制下。随着研究人员试图支持更多具有不同隐私方法的机器学习模型,需要开发系统和基础设施,以便于开发各种联合学习算法。类似于Pytorch和Tensorflow等深度学习系统,可以增强深度学习的发展,联邦学习系统(FLSS)是等效的,并且面临各个方面的面临挑战,如有效性,效率和隐私。在本调查中,我们对联合学习系统进行了全面的审查。为实现流畅的流动和引导未来的研究,我们介绍了联合学习系统的定义并分析了系统组件。此外,我们根据六种不同方面提供联合学习系统的全面分类,包括数据分布,机器学习模型,隐私机制,通信架构,联合集市和联合的动机。分类可以帮助设计联合学习系统,如我们的案例研究所示。通过系统地总结现有联合学习系统,我们展示了设计因素,案例研究和未来的研究机会。
translated by 谷歌翻译
本文提出并表征了联合学习(OARF)的开放应用程序存储库,是联合机器学习系统的基准套件。以前可用的联合学习基准主要集中在合成数据集上,并使用有限数量的应用程序。 OARF模仿更现实的应用方案,具有公开的数据集,如图像,文本和结构数据中的不同数据孤岛。我们的表征表明,基准套件在数据大小,分布,特征分布和学习任务复杂性中多样化。与参考实施的广泛评估显示了联合学习系统的重要方面的未来研究机会。我们开发了参考实现,并评估了联合学习的重要方面,包括模型准确性,通信成本,吞吐量和收敛时间。通过这些评估,我们发现了一些有趣的发现,例如联合学习可以有效地提高端到端吞吐量。
translated by 谷歌翻译
联合学习(FL)可以对机器学习模型进行分布式培训,同时将个人数据保存在用户设备上。尽管我们目睹了FL在移动传感领域的越来越多的应用,例如人类活动识别(HAR),但在多设备环境(MDE)的背景下,尚未对FL进行研究,其中每个用户都拥有多个数据生产设备。随着移动设备和可穿戴设备的扩散,MDE在Ubicomp设置中越来越受欢迎,因此需要对其中的FL进行研究。 MDE中的FL的特征是在客户和设备异质性的存在中并不复杂,并不是独立的,并且在客户端之间并非独立分布(非IID)。此外,确保在MDE中有效利用佛罗里达州客户的系统资源仍然是一个重要的挑战。在本文中,我们提出了以用户为中心的FL培训方法来应对MDE中的统计和系统异质性,并在设备之间引起推理性能的一致性。火焰功能(i)以用户为中心的FL培训,利用同一用户的设备之间的时间对齐; (ii)准确性和效率感知设备的选择; (iii)对设备的个性化模型。我们还提出了具有现实的能量流量和网络带宽配置文件的FL评估测试,以及一种基于类的新型数据分配方案,以将现有HAR数据集扩展到联合设置。我们在三个多设备HAR数据集上的实验结果表明,火焰的表现优于各种基准,F1得分高4.3-25.8%,能源效率提高1.02-2.86倍,并高达2.06倍的收敛速度,以通过FL的公平分布来获得目标准确性工作量。
translated by 谷歌翻译
随着物联网,AI和ML/DL算法的出现,数据驱动的医疗应用已成为一种有前途的工具,用于从医学数据设计可靠且可扩展的诊断和预后模型。近年来,这引起了从学术界到工业的广泛关注。这无疑改善了医疗保健提供的质量。但是,由于这些基于AI的医疗应用程序在满足严格的安全性,隐私和服务标准(例如低延迟)方面的困难,因此仍然采用较差。此外,医疗数据通常是分散的和私人的,这使得在人群之间产生强大的结果具有挑战性。联邦学习(FL)的最新发展使得以分布式方式训练复杂的机器学习模型成为可能。因此,FL已成为一个积极的研究领域,尤其是以分散的方式处理网络边缘的医疗数据,以保护隐私和安全问题。为此,本次调查论文重点介绍了数据共享是重大负担的医疗应用中FL技术的当前和未来。它还审查并讨论了当前的研究趋势及其设计可靠和可扩展模型的结果。我们概述了FL将军的统计问题,设备挑战,安全性,隐私问题及其在医疗领域的潜力。此外,我们的研究还集中在医疗应用上,我们重点介绍了全球癌症的负担以及有效利用FL来开发计算机辅助诊断工具来解决这些诊断工具。我们希望这篇评论是一个检查站,以彻底的方式阐明现有的最新最新作品,并为该领域提供开放的问题和未来的研究指示。
translated by 谷歌翻译
可扩展性和隐私是交叉设备联合学习(FL)系统的两个关键问题。在这项工作中,我们确定了FL中的客户端更新的同步流动聚合不能高效地缩放到几百个并行培训之外。它导致ModelPerforce和训练速度的回报递减,Ampanysto大批量培训。另一方面,FL(即异步FL)中的客户端更新的异步聚合减轻了可扩展性问题。但是,聚合个性链子更新与安全聚合不兼容,这可能导致系统的不良隐私水平。为了解决这些问题,我们提出了一种新颖的缓冲异步聚合方法FedBuff,这是不可知的优化器的选择,并结合了同步和异步FL的最佳特性。我们经验证明FEDBuff比同步FL更有效,比异步FL效率更高3.3倍,同时兼容保留保护技术,如安全聚合和差异隐私。我们在平滑的非凸设置中提供理论融合保证。最后,我们显示在差异私有培训下,FedBuff可以在低隐私设置下占FEDAVGM并实现更高隐私设置的相同实用程序。
translated by 谷歌翻译
Federated learning (FL) enables the building of robust and generalizable AI models by leveraging diverse datasets from multiple collaborators without centralizing the data. We created NVIDIA FLARE as an open-source software development kit (SDK) to make it easier for data scientists to use FL in their research and real-world applications. The SDK includes solutions for state-of-the-art FL algorithms and federated machine learning approaches, which facilitate building workflows for distributed learning across enterprises and enable platform developers to create a secure, privacy-preserving offering for multiparty collaboration utilizing homomorphic encryption or differential privacy. The SDK is a lightweight, flexible, and scalable Python package, and allows researchers to bring their data science workflows implemented in any training libraries (PyTorch, TensorFlow, XGBoost, or even NumPy) and apply them in real-world FL settings. This paper introduces the key design principles of FLARE and illustrates some use cases (e.g., COVID analysis) with customizable FL workflows that implement different privacy-preserving algorithms. Code is available at https://github.com/NVIDIA/NVFlare.
translated by 谷歌翻译
尽管结果令人印象深刻,但深度学习的技术还引起了经常在数据中心进行的培训程序引起的严重隐私和环境问题。作为回应,已经出现了集中培训的替代方案,例如联邦学习(FL)。也许出乎意料的是,FL开始在全球范围内部署,这些公司必须遵守源自倡导隐私保护的政府和社会团体的新法律要求和政策。 \ textit {但是,与FL有关的潜在环境影响仍然不清楚和未开发。本文提供了有关佛罗里达碳足迹的首次系统研究。然后,我们将FL的碳足迹与传统的集中学习进行了比较。我们的发现表明,根据配置,FL可以比集中的机器学习高达两个数量级。但是,在某些情况下,由于嵌入式设备的能源消耗减少,它可以与集中学习相提并论。我们使用FL进行了不同类型的数据集,设置和各种深度学习模型的广泛实验。最后,我们强调并将报告的结果与FL的未来挑战和趋势联系起来,以减少其环境影响,包括算法效率,硬件能力和更强的行业透明度。
translated by 谷歌翻译