传统的深度学习方法（DL）需要在中央服务器上收集和处理的培训数据，这些中央服务器通常在保健等隐私敏感域中挑战。为此，提出了一种新的学习范式，称为联合学习（FL），在解决隐私和数据所有权问题的同时将DL的潜力带到了这些域。 FL使远程客户端能够在保持数据本地时学习共享ML模型。然而，传统的FL系统面临多种挑战，例如可扩展性，复杂的基础设施管理，并且由于空闲客户端而被浪费的计算和产生的成本。 FL系统的这些挑战与无服务器计算和功能 - AS-Service（FAAS）平台旨在解决的核心问题密切对齐。这些包括快速可扩展性，无基础设施管理，自动缩放为空闲客户端，以及每次使用付费计费模型。为此，我们为无服务器FL展示了一个新颖的系统和框架，称为不发烟。我们的系统支持多个商业和自主主机的FAAS提供商，可以在机构数据中心和边缘设备上部署在云端，内部部署。据我们所知，我们是第一个能够在一大面料的异构FAAS提供商中启用FL，同时提供安全性和差异隐私等重要功能。我们展示了全面的实验，即使用我们的系统可以成功地培训多达200个客户功能的不同任务，更容易实现。此外，我们通过将其与传统的FL系统进行比较来证明我们的方法的实际可行性，并表明它可以更便宜，更资源效率更便宜。

Federated Learning (FL) is a machine learning paradigm that enables the training of a shared global model across distributed clients while keeping the training data local. While most prior work on designing systems for FL has focused on using stateful always running components, recent work has shown that components in an FL system can greatly benefit from the usage of serverless computing and Function-as-a-Service technologies. To this end, distributed training of models with severless FL systems can be more resource-efficient and cheaper than conventional FL systems. However, serverless FL systems still suffer from the presence of stragglers, i.e., slow clients due to their resource and statistical heterogeneity. While several strategies have been proposed for mitigating stragglers in FL, most methodologies do not account for the particular characteristics of serverless environments, i.e., cold-starts, performance variations, and the ephemeral stateless nature of the function instances. Towards this, we propose FedLesScan, a novel clustering-based semi-asynchronous training strategy, specifically tailored for serverless FL. FedLesScan dynamically adapts to the behaviour of clients and minimizes the effect of stragglers on the overall system. We implement our strategy by extending an open-source serverless FL system called FedLess. Moreover, we comprehensively evaluate our strategy using the 2nd generation Google Cloud Functions with four datasets and varying percentages of stragglers. Results from our experiments show that compared to other approaches FedLesScan reduces training time and cost by an average of 8% and 20% respectively while utilizing clients better with an average increase in the effective update ratio of 17.75%.

联合学习（FL）作为边缘设备的有希望的技术，以协作学习共享预测模型，同时保持其训练数据，从而解耦了从需要存储云中的数据的机器学习的能力。然而，在规模和系统异质性方面，FL难以现实地实现。虽然有许多用于模拟FL算法的研究框架，但它们不支持在异构边缘设备上进行可扩展的流程。在本文中，我们呈现花 - 一种全面的FL框架，通过提供新的设施来执行大规模的FL实验并考虑丰富的异构流程来区分现有平台。我们的实验表明花卉可以仅使用一对高端GPU在客户尺寸下进行FL实验。然后，研究人员可以将实验无缝地迁移到真实设备中以检查设计空间的其他部分。我们认为花卉为社区提供了一个批判性的新工具，用于研究和发展。

本文介绍了FLSYS的设计，实施和评估，一种支持移动应用的深度学习模型的移动云联合学习（FL）系统。 Flsys是创建使用这些模型的FL模型和应用程序开放生态系统的关键组件。 FLSYS旨在使用在智能手机上收集的移动感应数据，平衡模型性能，在手机上使用资源消耗，容忍手机通信故障，并在云中实现可扩展性。在FLSYS中，可以通过不同的应用程序培训云中具有不同流量的不同DL模型，并通过不同的应用程序同时访问和访问。此外，Flsys为第三方应用程序开发人员提供了培训FL模型的共同API。 flsys是在Android和AWS云中实现的。我们在野生FL模型中与人类活动识别（HAR）共同设计了FLSYS。在五个月的时间内，在100+大学生手机的两个地区收集了掌握数据。我们实施了Har-Wild，一种针对移动设备定制的CNN模型，具有数据增强机制，以减轻非独立和相同分布的（非IID）数据的问题，这些数据影响野外的流动模型训练。情绪分析（SA）模型用于演示FLSYS如何有效地支持并发模型，并且它使用446个用户的DataSet具有46,000多个推文。我们对Android手机和仿真器进行了广泛的实验，表明Flsys实现了良好的模型实用性和实际系统性能。

Federated Learning is a distributed machine learning approach which enables model training on a large corpus of decentralized data. We have built a scalable production system for Federated Learning in the domain of mobile devices, based on TensorFlow. In this paper, we describe the resulting high-level design, sketch some of the challenges and their solutions, and touch upon the open problems and future directions.

Federated learning (FL) enables the building of robust and generalizable AI models by leveraging diverse datasets from multiple collaborators without centralizing the data. We created NVIDIA FLARE as an open-source software development kit (SDK) to make it easier for data scientists to use FL in their research and real-world applications. The SDK includes solutions for state-of-the-art FL algorithms and federated machine learning approaches, which facilitate building workflows for distributed learning across enterprises and enable platform developers to create a secure, privacy-preserving offering for multiparty collaboration utilizing homomorphic encryption or differential privacy. The SDK is a lightweight, flexible, and scalable Python package, and allows researchers to bring their data science workflows implemented in any training libraries (PyTorch, TensorFlow, XGBoost, or even NumPy) and apply them in real-world FL settings. This paper introduces the key design principles of FLARE and illustrates some use cases (e.g., COVID analysis) with customizable FL workflows that implement different privacy-preserving algorithms. Code is available at https://github.com/NVIDIA/NVFlare.

随着机器学习（ml）的进步及其日益增长的意识，许多拥有数据但不是ML专业知识（数据所有者）的组织希望汇集他们的数据并与那些具有专业知识的人合作，但需要来自不同来源的数据，以便训练真正普遍的资料模型（模型所有者）。在这种协作ML中，数据所有者希望保护其培训数据的隐私，而模型所有者希望模型的机密性和可能包含知识产权的培训方法。但是，现有的私人ML解决方案，如联合学习和分裂学习，不能同时满足数据和模型所有者的隐私要求。本文介绍了城可扩展的协作ML系统，可根据英特尔SGX在不受信任的基础架构中保护两个数据所有者和模型所有者的隐私。 CITADEL在代表数据所有者和代表模型所有者运行的多个训练环路中执行分布式训练。 CITADEL通过零和屏蔽和分层聚合进一步在这些外地之间建立了强大的信息屏障，以防止在协同培训期间防止数据/模型泄漏。与现有的SGX保护培训系统相比，Citadel实现了合作ML的更好的可扩展性和更强大的隐私保障。具有各种ML模型的云部署显示，Citadel缩放到大量的环路，由SGX引起的小于1.73x放缓。

我们展示了FedScale，这是一种多样化的挑战和现实的基准数据集，以便于可扩展，全面，可重复的联邦学习（FL）研究。 FedScale数据集是大规模的，包括不同的重要性范围，例如图像分类，对象检测，字预测和语音识别。对于每个数据集，我们使用逼真的数据拆分和评估度量提供统一的评估协议。为了满足在规模中繁殖现实流体的压力需求，我们还建立了一个有效的评估平台，以简化和标准化流程实验设置和模型评估的过程。我们的评估平台提供灵活的API来实现新的FL算法，并包括具有最小开发人员的新执行后端。最后，我们在这些数据集上执行深入的基准实验。我们的实验表明，在现实流动特征下，在系统的异质性感知协同优化和统计效率下提供了富有成效的机遇。 FedScale是具有允许许可的开放源，积极维护，我们欢迎来自社区的反馈和贡献。

随着物联网，AI和ML/DL算法的出现，数据驱动的医疗应用已成为一种有前途的工具，用于从医学数据设计可靠且可扩展的诊断和预后模型。近年来，这引起了从学术界到工业的广泛关注。这无疑改善了医疗保健提供的质量。但是，由于这些基于AI的医疗应用程序在满足严格的安全性，隐私和服务标准（例如低延迟）方面的困难，因此仍然采用较差。此外，医疗数据通常是分散的和私人的，这使得在人群之间产生强大的结果具有挑战性。联邦学习（FL）的最新发展使得以分布式方式训练复杂的机器学习模型成为可能。因此，FL已成为一个积极的研究领域，尤其是以分散的方式处理网络边缘的医疗数据，以保护隐私和安全问题。为此，本次调查论文重点介绍了数据共享是重大负担的医疗应用中FL技术的当前和未来。它还审查并讨论了当前的研究趋势及其设计可靠和可扩展模型的结果。我们概述了FL将军的统计问题，设备挑战，安全性，隐私问题及其在医疗领域的潜力。此外，我们的研究还集中在医疗应用上，我们重点介绍了全球癌症的负担以及有效利用FL来开发计算机辅助诊断工具来解决这些诊断工具。我们希望这篇评论是一个检查站，以彻底的方式阐明现有的最新最新作品，并为该领域提供开放的问题和未来的研究指示。

In recent years, mobile devices are equipped with increasingly advanced sensing and computing capabilities. Coupled with advancements in Deep Learning (DL), this opens up countless possibilities for meaningful applications, e.g., for medical purposes and in vehicular networks. Traditional cloudbased Machine Learning (ML) approaches require the data to be centralized in a cloud server or data center. However, this results in critical issues related to unacceptable latency and communication inefficiency. To this end, Mobile Edge Computing (MEC) has been proposed to bring intelligence closer to the edge, where data is produced. However, conventional enabling technologies for ML at mobile edge networks still require personal data to be shared with external parties, e.g., edge servers. Recently, in light of increasingly stringent data privacy legislations and growing privacy concerns, the concept of Federated Learning (FL) has been introduced. In FL, end devices use their local data to train an ML model required by the server. The end devices then send the model updates rather than raw data to the server for aggregation. FL can serve as an enabling technology in mobile edge networks since it enables the collaborative training of an ML model and also enables DL for mobile edge network optimization. However, in a large-scale and complex mobile edge network, heterogeneous devices with varying constraints are involved. This raises challenges of communication costs, resource allocation, and privacy and security in the implementation of FL at scale. In this survey, we begin with an introduction to the background and fundamentals of FL. Then, we highlight the aforementioned challenges of FL implementation and review existing solutions. Furthermore, we present the applications of FL for mobile edge network optimization. Finally, we discuss the important challenges and future research directions in FL.

Federated Learning (FL) has been widely accepted as the solution for privacy-preserving machine learning without collecting raw data. While new technologies proposed in the past few years do evolve the FL area, unfortunately, the evaluation results presented in these works fall short in integrity and are hardly comparable because of the inconsistent evaluation metrics and experimental settings. In this paper, we propose a holistic evaluation framework for FL called FedEval, and present a benchmarking study on seven state-of-the-art FL algorithms. Specifically, we first introduce the core evaluation taxonomy model, called FedEval-Core, which covers four essential evaluation aspects for FL: Privacy, Robustness, Effectiveness, and Efficiency, with various well-defined metrics and experimental settings. Based on the FedEval-Core, we further develop an FL evaluation platform with standardized evaluation settings and easy-to-use interfaces. We then provide an in-depth benchmarking study between the seven well-known FL algorithms, including FedSGD, FedAvg, FedProx, FedOpt, FedSTC, SecAgg, and HEAgg. We comprehensively analyze the advantages and disadvantages of these algorithms and further identify the suitable practical scenarios for different algorithms, which is rarely done by prior work. Lastly, we excavate a set of take-away insights and future research directions, which are very helpful for researchers in the FL area.

联邦学习一直是一个热门的研究主题，使不同组织的机器学习模型的协作培训在隐私限制下。随着研究人员试图支持更多具有不同隐私方法的机器学习模型，需要开发系统和基础设施，以便于开发各种联合学习算法。类似于Pytorch和Tensorflow等深度学习系统，可以增强深度学习的发展，联邦学习系统（FLSS）是等效的，并且面临各个方面的面临挑战，如有效性，效率和隐私。在本调查中，我们对联合学习系统进行了全面的审查。为实现流畅的流动和引导未来的研究，我们介绍了联合学习系统的定义并分析了系统组件。此外，我们根据六种不同方面提供联合学习系统的全面分类，包括数据分布，机器学习模型，隐私机制，通信架构，联合集市和联合的动机。分类可以帮助设计联合学习系统，如我们的案例研究所示。通过系统地总结现有联合学习系统，我们展示了设计因素，案例研究和未来的研究机会。

联合学习（FL）和分裂学习（SL）是两种新兴的协作学习方法，可能会极大地促进物联网（IoT）中无处不在的智能。联合学习使机器学习（ML）模型在本地培训的模型使用私人数据汇总为全球模型。分裂学习使ML模型的不同部分可以在学习框架中对不同工人进行协作培训。联合学习和分裂学习，每个学习都有独特的优势和各自的局限性，可能会相互补充，在物联网中无处不在的智能。因此，联合学习和分裂学习的结合最近成为一个活跃的研究领域，引起了广泛的兴趣。在本文中，我们回顾了联合学习和拆分学习方面的最新发展，并介绍了有关最先进技术的调查，该技术用于将这两种学习方法组合在基于边缘计算的物联网环境中。我们还确定了一些开放问题，并讨论了该领域未来研究的可能方向，希望进一步引起研究界对这个新兴领域的兴趣。

联邦学习（FL）和分裂学习（SL）是两个流行的分布式机器学习方法。遵循模型到数据方案;客户培训和测试机器学习模型而不共享原始数据。由于客户端和服务器之间的机器学习模型架构，SL提供比FL更好的模型隐私。此外，分割模型使SL成为资源受限环境的更好选择。然而，由于基于中继的训练，SL表现在多个客户端的继电器训练引起的速度。在这方面，本文提出了一种名为Splitfed Learning（SFL）的新方法，该方法可分摊两种方法消除其固有缺点，以及包含差异隐私和PIXELD的精制架构配置，以增强数据隐私和模型鲁棒性。我们的分析和经验结果表明，（纯）SFL提供了类似的测试精度和通信效率，作为SL，同时每个全球时代显着降低其用于多个客户端的SL中的计算时间。此外，如SL在SL中，它的通信效率随着客户的数量而改善。此外，在扩展实验环境下进一步评估了具有隐私和鲁棒性度量的SFL的性能。

由于机器学习（ML）模型变得越来越复杂，其中一个中央挑战是它们在规模的部署，使得公司和组织可以通过人工智能（AI）创造价值。 ML中的新兴范式是一种联合方法，其中学习模型部分地将其交付给一组异构剂，允许代理与自己的数据一起培训模型。然而，模型的估值问题，以及数据/模型的协作培训和交易的激励问题，在文献中获得了有限的待遇。本文提出了一种在基于信任区块基网络上交易的ML模型交易的新生态系统。买方可以获得ML市场的兴趣模型，兴趣的卖家将本地计算花在他们的数据上，以增强该模型的质量。在这样做时，考虑了本地数据与训练型型号的质量之间的比例关系，并且通过分布式数据福价（DSV）估计了销售课程中的训练中的数据的估值。同时，通过分布式分区技术（DLT）提供整个交易过程的可信度。对拟议方法的广泛实验评估显示出具有竞争力的运行时间绩效，在参与者的激励方面下降了15 \％。

尽管现有联合学习平台（FL）平台已取得了显着的进展，以提供开发基础架构，但这些平台可能无法很好地应对各种异质性带来的挑战，包括参与者本地数据，资源，行为和学习目标中的异质性。为了填补这一空白，在本文中，我们提出了一个名为FederatedScope的新型FL平台，该平台采用事件驱动的架构为用户提供极大的灵活性，以独立描述不同参与者的行为。这样的设计使用户可以轻松地描述参与者具有各种本地培训过程，学习目标和后端，并通过同步或异步培训策略将其协调为FL课程。 FederatedScope为易于使用和灵活的平台提供了丰富类型的插入操作和组件，以有效地进行进一步开发，并且我们实施了几个重要组件，以更好地帮助用户进行隐私保护，攻击模拟和自动调整。我们已经在https://github.com/alibaba/federatedscope上发布了FederatedScope，以在各种情况下促进联邦学习的学术研究和工业部署。

使用人工智能（AI）赋予无线网络中数据量的前所未有的数据量激增，为提供无处不在的数据驱动智能服务而开辟了新的视野。通过集中收集数据集和培训模型来实现传统的云彩中心学习（ML）基础的服务。然而，这种传统的训练技术包括两个挑战：（i）由于数据通信增加而导致的高通信和能源成本，（ii）通过允许不受信任的各方利用这些信息来威胁数据隐私。最近，鉴于这些限制，一种新兴的新兴技术，包括联合学习（FL），以使ML带到无线网络的边缘。通过以分布式方式培训全局模型，可以通过FL Server策划的全局模型来提取数据孤岛的好处。 FL利用分散的数据集和参与客户的计算资源，在不影响数据隐私的情况下开发广义ML模型。在本文中，我们介绍了对FL的基本面和能够实现技术的全面调查。此外，提出了一个广泛的研究，详细说明了无线网络中的流体的各种应用，并突出了他们的挑战和局限性。进一步探索了FL的疗效，其新兴的前瞻性超出了第五代（B5G）和第六代（6G）通信系统。本调查的目的是在关键的无线技术中概述了流动的技术，这些技术将作为建立对该主题的坚定了解的基础。最后，我们向未来的研究方向提供前进的道路。

尽管结果令人印象深刻，但深度学习的技术还引起了经常在数据中心进行的培训程序引起的严重隐私和环境问题。作为回应，已经出现了集中培训的替代方案，例如联邦学习（FL）。也许出乎意料的是，FL开始在全球范围内部署，这些公司必须遵守源自倡导隐私保护的政府和社会团体的新法律要求和政策。 \ textit {但是，与FL有关的潜在环境影响仍然不清楚和未开发。本文提供了有关佛罗里达碳足迹的首次系统研究。然后，我们将FL的碳足迹与传统的集中学习进行了比较。我们的发现表明，根据配置，FL可以比集中的机器学习高达两个数量级。但是，在某些情况下，由于嵌入式设备的能源消耗减少，它可以与集中学习相提并论。我们使用FL进行了不同类型的数据集，设置和各种深度学习模型的广泛实验。最后，我们强调并将报告的结果与FL的未来挑战和趋势联系起来，以减少其环境影响，包括算法效率，硬件能力和更强的行业透明度。

机器学习中的隐私和安全挑战（ML）已成为ML普遍的开发以及最近对大型攻击表面的展示，已成为一个关键的话题。作为一种成熟的以系统为导向的方法，在学术界和行业中越来越多地使用机密计算来改善各种ML场景的隐私和安全性。在本文中，我们将基于机密计算辅助的ML安全性和隐私技术的发现系统化，以提供i）保密保证和ii）完整性保证。我们进一步确定了关键挑战，并提供有关ML用例现有可信赖的执行环境（TEE）系统中限制的专门分析。我们讨论了潜在的工作，包括基础隐私定义，分区的ML执行，针对ML的专用发球台设计，TEE Awawe Aware ML和ML Full Pipeline保证。这些潜在的解决方案可以帮助实现强大的TEE ML，以保证无需引入计算和系统成本。

提出了联合学习（FL），以促进分布式环境中模型的培训。它支持（本地）数据隐私的保护，并使用本地资源进行模型培训。到目前为止，大多数研究一直致力于“核心问题”，例如机器学习算法对FL，数据隐私保护或处理客户之间不均匀数据分布的影响。此贡献锚定在实际的用例中，在这种情况下，FL将实际部署在生态系统的互联网中。因此，在文献中发现了一些流行的考虑之外，还需要考虑一些不同的问题。此外，引入了一种构建灵活和适应性的FL解决方案的体系结构。