联邦学习（FL）是一个有前途的机器学习范式，可以以隐私保留和法律规范的方式实现现实世界AI应用的交联数据合作。如何估值缔约方的数据是一个关键而挑战的流逝。在文献中，数据估值要么依赖于给定任务运行特定模型，或者只是任务无关;但是，在尚未确定的FL模型时，常常为派对选择的必要条件。因此，这项工作填补了差距并提出了\ {FedValue}，以我们的最佳知识，第一个隐私保留，任务特定的任务，但无模型的无模式数据估值方法，用于垂直流动任务。具体而言，FedValue包含一种新的信息 - 理论度量，称为福普利-CMI，以评估来自游戏理论观点的多方的数据值。此外，一种新颖的服务器辅助联合计算机制被设计为计算Shapley-CMI，并且同时保护每个方免受数据泄漏。我们还提出了几种技术来加速福利-CMI计算在实践中。六个开放数据集的广泛实验验证了FedValue对垂直流动任务数据估值的效力和效率。特别是，福芙-CMI作为无模型度量，与依赖于运行良好的良好模型的集合的措施相当执行。

Today's AI still faces two major challenges. One is that in most industries, data exists in the form of isolated islands. The other is the strengthening of data privacy and security. We propose a possible solution to these challenges: secure federated learning. Beyond the federated learning framework first proposed by Google in 2016, we introduce a comprehensive secure federated learning framework, which includes horizontal federated learning, vertical federated learning and federated transfer learning. We provide definitions, architectures and applications for the federated learning framework, and provide a comprehensive survey of existing works on this subject. In addition, we propose building data networks among organizations based on federated mechanisms as an effective solution to allow knowledge to be shared without compromising user privacy.

Federated Learning (FL) has emerged as a promising distributed learning paradigm with an added advantage of data privacy. With the growing interest in having collaboration among data owners, FL has gained significant attention of organizations. The idea of FL is to enable collaborating participants train machine learning (ML) models on decentralized data without breaching privacy. In simpler words, federated learning is the approach of ``bringing the model to the data, instead of bringing the data to the mode''. Federated learning, when applied to data which is partitioned vertically across participants, is able to build a complete ML model by combining local models trained only using the data with distinct features at the local sites. This architecture of FL is referred to as vertical federated learning (VFL), which differs from the conventional FL on horizontally partitioned data. As VFL is different from conventional FL, it comes with its own issues and challenges. In this paper, we present a structured literature review discussing the state-of-the-art approaches in VFL. Additionally, the literature review highlights the existing solutions to challenges in VFL and provides potential research directions in this domain.

联邦学习一直是一个热门的研究主题，使不同组织的机器学习模型的协作培训在隐私限制下。随着研究人员试图支持更多具有不同隐私方法的机器学习模型，需要开发系统和基础设施，以便于开发各种联合学习算法。类似于Pytorch和Tensorflow等深度学习系统，可以增强深度学习的发展，联邦学习系统（FLSS）是等效的，并且面临各个方面的面临挑战，如有效性，效率和隐私。在本调查中，我们对联合学习系统进行了全面的审查。为实现流畅的流动和引导未来的研究，我们介绍了联合学习系统的定义并分析了系统组件。此外，我们根据六种不同方面提供联合学习系统的全面分类，包括数据分布，机器学习模型，隐私机制，通信架构，联合集市和联合的动机。分类可以帮助设计联合学习系统，如我们的案例研究所示。通过系统地总结现有联合学习系统，我们展示了设计因素，案例研究和未来的研究机会。

联合学习（FL）是一个系统，中央聚合器协调多个客户解决机器学习问题的努力。此设置允许分散培训数据以保护隐私。本文的目的是提供针对医疗保健的FL系统的概述。 FL在此根据其框架，架构和应用程序进行评估。这里显示的是，FL通过中央聚合器服务器通过共享的全球深度学习（DL）模型解决了前面的问题。本文研究了最新的发展，并提供了来自FL研究的快速增长的启发，列出了未解决的问题。在FL的背景下，描述了几种隐私方法，包括安全的多方计算，同态加密，差异隐私和随机梯度下降。此外，还提供了对各种FL类的综述，例如水平和垂直FL以及联合转移学习。 FL在无线通信，服务建议，智能医学诊断系统和医疗保健方面有应用，本文将在本文中进行讨论。我们还对现有的FL挑战进行了彻底的审查，例如隐私保护，沟通成本，系统异质性和不可靠的模型上传，然后是未来的研究指示。

本文提出并表征了联合学习（OARF）的开放应用程序存储库，是联合机器学习系统的基准套件。以前可用的联合学习基准主要集中在合成数据集上，并使用有限数量的应用程序。 OARF模仿更现实的应用方案，具有公开的数据集，如图像，文本和结构数据中的不同数据孤岛。我们的表征表明，基准套件在数据大小，分布，特征分布和学习任务复杂性中多样化。与参考实施的广泛评估显示了联合学习系统的重要方面的未来研究机会。我们开发了参考实现，并评估了联合学习的重要方面，包括模型准确性，通信成本，吞吐量和收敛时间。通过这些评估，我们发现了一些有趣的发现，例如联合学习可以有效地提高端到端吞吐量。

由于对隐私保护的关注不断增加，因此如何在不同数据源上建立机器学习（ML）模型具有安全保证，这越来越受欢迎。垂直联合学习（VFL）描述了这种情况，其中ML模型建立在不同参与方的私人数据上，该数据与同一集合相同的实例中拥有不相交的功能，这适合许多现实世界中的协作任务。但是，我们发现VFL现有的解决方案要么支持有限的输入功能，要么在联合执行过程中遭受潜在数据泄漏的损失。为此，本文旨在研究VFL方案中ML模式的功能和安全性。具体来说，我们介绍了BlindFL，这是VFL训练和推理的新型框架。首先，为了解决VFL模型的功能，我们建议联合源层团结不同各方的数据。联合源层可以有效地支持各种特征，包括密集，稀疏，数值和分类特征。其次，我们在联合执行期间仔细分析了安全性，并正式化了隐私要求。基于分析，我们设计了安全，准确的算法协议，并进一步证明了在理想真实的仿真范式下的安全保证。广泛的实验表明，BlindFL支持各种数据集和模型，同时获得强大的隐私保证。

The advent of Federated Learning (FL) has ignited a new paradigm for parallel and confidential decentralized Machine Learning (ML) with the potential of utilizing the computational power of a vast number of IoT, mobile and edge devices without data leaving the respective device, ensuring privacy by design. Yet, in order to scale this new paradigm beyond small groups of already entrusted entities towards mass adoption, the Federated Learning Framework (FLF) has to become (i) truly decentralized and (ii) participants have to be incentivized. This is the first systematic literature review analyzing holistic FLFs in the domain of both, decentralized and incentivized federated learning. 422 publications were retrieved, by querying 12 major scientific databases. Finally, 40 articles remained after a systematic review and filtering process for in-depth examination. Although having massive potential to direct the future of a more distributed and secure AI, none of the analyzed FLF is production-ready. The approaches vary heavily in terms of use-cases, system design, solved issues and thoroughness. We are the first to provide a systematic approach to classify and quantify differences between FLF, exposing limitations of current works and derive future directions for research in this novel domain.

通信技术和互联网的最新进展与人工智能（AI）启用了智能医疗保健。传统上，由于现代医疗保健网络的高性性和日益增长的数据隐私问题，AI技术需要集中式数据收集和处理，这可能在现实的医疗环境中可能是不可行的。作为一个新兴的分布式协作AI范例，通过协调多个客户（例如，医院）来执行AI培训而不共享原始数据，对智能医疗保健特别有吸引力。因此，我们对智能医疗保健的使用提供了全面的调查。首先，我们在智能医疗保健中展示了近期进程，动机和使用FL的要求。然后讨论了近期智能医疗保健的FL设计，从资源感知FL，安全和隐私感知到激励FL和个性化FL。随后，我们对关键医疗领域的FL新兴应用提供了最先进的综述，包括健康数据管理，远程健康监测，医学成像和Covid-19检测。分析了几个最近基于智能医疗保健项目，并突出了从调查中学到的关键经验教训。最后，我们讨论了智能医疗保健未来研究的有趣研究挑战和可能的指示。

关于数据隐私和安全性的越来越多的担忧驱动了从孤立的数据源，即联合学习的隐私保留机学习的新兴领域。一类联合学习，\ Texit {垂直联合学习}，不同的各方对共同用户的不同特征，具有促进许多领域企业之间各种业务合作的潜力。在机器学习中，诸如梯度提升决策树（GBDT）和随机森林等决策树集合被广泛应用强大的型号，具有高的可解释性和建模效率。然而，最先进的垂直联合学习框架适应匿名功能以避免可能的数据泄露，使模型受到损害的可解释性。为了解决推理过程中的这个问题，在本文中，我们首先在垂直联合学习中对客场党的特征披露含义的必要性进行了问题分析。然后，我们发现树的预测结果可以表示为所有各方持有的树的子模型结果的交叉点。利用这种关键观察，我们通过隐藏决策路径来保护数据隐私并允许公开特征含义，并适应推理输出的通信有效的安全计算方法。通过理论分析和广泛的数值结果，将证明FED-EINI的优点。我们通过披露特征的含义来提高模型的可解释性，同时确保效率和准确性。

联合学习（FL）和分裂学习（SL）是两种新兴的协作学习方法，可能会极大地促进物联网（IoT）中无处不在的智能。联合学习使机器学习（ML）模型在本地培训的模型使用私人数据汇总为全球模型。分裂学习使ML模型的不同部分可以在学习框架中对不同工人进行协作培训。联合学习和分裂学习，每个学习都有独特的优势和各自的局限性，可能会相互补充，在物联网中无处不在的智能。因此，联合学习和分裂学习的结合最近成为一个活跃的研究领域，引起了广泛的兴趣。在本文中，我们回顾了联合学习和拆分学习方面的最新发展，并介绍了有关最先进技术的调查，该技术用于将这两种学习方法组合在基于边缘计算的物联网环境中。我们还确定了一些开放问题，并讨论了该领域未来研究的可能方向，希望进一步引起研究界对这个新兴领域的兴趣。

联邦学习（FL）的最新进展为大规模的分布式客户带来了大规模的机器学习机会，具有绩效和数据隐私保障。然而，大多数当前的工作只关注FL中央控制器的兴趣，忽略了客户的利益。这可能导致不公平，阻碍客户积极参与学习过程并损害整个流动系统的可持续性。因此，在佛罗里达州确保公平的主题吸引了大量的研究兴趣。近年来，已经提出了各种公平知识的FL（FAFL）方法，以努力实现不同观点的流体公平。但是，没有全面的调查，帮助读者能够深入了解这种跨学科领域。本文旨在提供这样的调查。通过审查本领域现有文献所采用的基本和简化的假设，提出了涵盖FL的主要步骤的FAFL方法的分类，包括客户选择，优化，贡献评估和激励分配。此外，我们讨论了实验评估FAFL方法表现的主要指标，并建议了一些未来的未来研究方向。

In recent years, mobile devices are equipped with increasingly advanced sensing and computing capabilities. Coupled with advancements in Deep Learning (DL), this opens up countless possibilities for meaningful applications, e.g., for medical purposes and in vehicular networks. Traditional cloudbased Machine Learning (ML) approaches require the data to be centralized in a cloud server or data center. However, this results in critical issues related to unacceptable latency and communication inefficiency. To this end, Mobile Edge Computing (MEC) has been proposed to bring intelligence closer to the edge, where data is produced. However, conventional enabling technologies for ML at mobile edge networks still require personal data to be shared with external parties, e.g., edge servers. Recently, in light of increasingly stringent data privacy legislations and growing privacy concerns, the concept of Federated Learning (FL) has been introduced. In FL, end devices use their local data to train an ML model required by the server. The end devices then send the model updates rather than raw data to the server for aggregation. FL can serve as an enabling technology in mobile edge networks since it enables the collaborative training of an ML model and also enables DL for mobile edge network optimization. However, in a large-scale and complex mobile edge network, heterogeneous devices with varying constraints are involved. This raises challenges of communication costs, resource allocation, and privacy and security in the implementation of FL at scale. In this survey, we begin with an introduction to the background and fundamentals of FL. Then, we highlight the aforementioned challenges of FL implementation and review existing solutions. Furthermore, we present the applications of FL for mobile edge network optimization. Finally, we discuss the important challenges and future research directions in FL.

网络威胁情报（CTI）共享是减少攻击者和捍卫者之间信息不对称的重要活动。但是，由于数据共享和机密性之间的紧张关系，这项活动带来了挑战，这导致信息保留通常会导致自由骑士问题。因此，共享的信息仅代表冰山一角。当前的文献假设访问包含所有信息的集中数据库，但是由于上述张力，这并不总是可行的。这会导致不平衡或不完整的数据集，需要使用技术扩展它们。我们展示了这些技术如何导致结果和误导性能期望。我们提出了一个新颖的框架，用于从分布式数据中提取有关事件，漏洞和妥协指标的分布式数据，并与恶意软件信息共享平台（MISP）一起证明其在几种实际情况下的使用。提出和讨论了CTI共享的政策影响。拟议的系统依赖于隐私增强技术和联合处理的有效组合。这使组织能够控制其CTI，并最大程度地减少暴露或泄漏的风险，同时为共享的好处，更准确和代表性的结果以及更有效的预测性和预防性防御能力。

已经提出了安全的多方计算（MPC），以允许多个相互不信任的数据所有者在其合并数据上共同训练机器学习（ML）模型。但是，通过设计，MPC协议忠实地计算了训练功能，对抗性ML社区已证明该功能泄漏了私人信息，并且可以在中毒攻击中篡改。在这项工作中，我们认为在我们的框架中实现的模型合奏是一种称为Safenet的框架，是MPC的高度无限方法，可以避免许多对抗性ML攻击。 MPC培训中所有者之间数据的自然分区允许这种方法在训练时间高度可扩展，可证明可保护免受中毒攻击的保护，并证明可以防御许多隐私攻击。我们展示了Safenet对在端到端和转移学习方案训练的几个机器学习数据集和模型上中毒的效率，准确性和韧性。例如，Safenet可显着降低后门攻击的成功，同时获得$ 39 \ times $ $的培训，$ 36 \ times $ $ $少于达尔斯科夫（Dalskov）等人的四方MPC框架。我们的实验表明，即使在许多非IID设置中，结合也能保留这些好处。结合的简单性，廉价的设置和鲁棒性属性使其成为MPC私下培训ML模型的强大首选。

联邦机器学习利用边缘计算来开发网络用户数据的模型，但联合学习的隐私仍然是一个重大挑战。已经提出了使用差异隐私的技术来解决这一点，但是带来了自己的挑战 - 许多人需要一个值得信赖的第三方，或者增加了太多的噪音来生产有用的模型。使用多方计算的\ EMPH {SERVE聚合}的最新进步消除了对第三方的需求，但是在计算上尤其在规模上昂贵。我们提出了一种新的联合学习协议，利用了一种基于与错误学习的技术的新颖差异私有的恶意安全聚合协议。我们的协议优于当前最先进的技术，并且经验结果表明它缩放到大量方面，具有任何差别私有联合学习方案的最佳精度。

由于机器学习（ML）模型变得越来越复杂，其中一个中央挑战是它们在规模的部署，使得公司和组织可以通过人工智能（AI）创造价值。 ML中的新兴范式是一种联合方法，其中学习模型部分地将其交付给一组异构剂，允许代理与自己的数据一起培训模型。然而，模型的估值问题，以及数据/模型的协作培训和交易的激励问题，在文献中获得了有限的待遇。本文提出了一种在基于信任区块基网络上交易的ML模型交易的新生态系统。买方可以获得ML市场的兴趣模型，兴趣的卖家将本地计算花在他们的数据上，以增强该模型的质量。在这样做时，考虑了本地数据与训练型型号的质量之间的比例关系，并且通过分布式数据福价（DSV）估计了销售课程中的训练中的数据的估值。同时，通过分布式分区技术（DLT）提供整个交易过程的可信度。对拟议方法的广泛实验评估显示出具有竞争力的运行时间绩效，在参与者的激励方面下降了15 \％。

联合学习允许一组用户在私人训练数据集中培训深度神经网络。在协议期间，数据集永远不会留下各个用户的设备。这是通过要求每个用户向中央服务器发送“仅”模型更新来实现，从而汇总它们以更新深神经网络的参数。然而，已经表明，每个模型更新都具有关于用户数据集的敏感信息（例如，梯度反转攻击）。联合学习的最先进的实现通过利用安全聚合来保护这些模型更新：安全监控协议，用于安全地计算用户的模型更新的聚合。安全聚合是关键，以保护用户的隐私，因为它会阻碍服务器学习用户提供的个人模型更新的源，防止推断和数据归因攻击。在这项工作中，我们表明恶意服务器可以轻松地阐明安全聚合，就像后者未到位一样。我们设计了两种不同的攻击，能够在参与安全聚合的用户数量上，独立于参与安全聚合的用户数。这使得它们在大规模现实世界联邦学习应用中的具体威胁。攻击是通用的，不瞄准任何特定的安全聚合协议。即使安全聚合协议被其理想功能替换为提供完美的安全性的理想功能，它们也同样有效。我们的工作表明，安全聚合与联合学习相结合，当前实施只提供了“虚假的安全感”。

In terms of artificial intelligence, there are several security and privacy deficiencies in the traditional centralized training methods of machine learning models by a server. To address this limitation, federated learning (FL) has been proposed and is known for breaking down ``data silos" and protecting the privacy of users. However, FL has not yet gained popularity in the industry, mainly due to its security, privacy, and high cost of communication. For the purpose of advancing the research in this field, building a robust FL system, and realizing the wide application of FL, this paper sorts out the possible attacks and corresponding defenses of the current FL system systematically. Firstly, this paper briefly introduces the basic workflow of FL and related knowledge of attacks and defenses. It reviews a great deal of research about privacy theft and malicious attacks that have been studied in recent years. Most importantly, in view of the current three classification criteria, namely the three stages of machine learning, the three different roles in federated learning, and the CIA (Confidentiality, Integrity, and Availability) guidelines on privacy protection, we divide attack approaches into two categories according to the training stage and the prediction stage in machine learning. Furthermore, we also identify the CIA property violated for each attack method and potential attack role. Various defense mechanisms are then analyzed separately from the level of privacy and security. Finally, we summarize the possible challenges in the application of FL from the aspect of attacks and defenses and discuss the future development direction of FL systems. In this way, the designed FL system has the ability to resist different attacks and is more secure and stable.

联邦学习的出现在维持隐私的同时，促进了机器学习模型之间的大规模数据交换。尽管历史悠久，但联邦学习正在迅速发展，以使更广泛的使用更加实用。该领域中最重要的进步之一是将转移学习纳入联邦学习，这克服了主要联合学习的基本限制，尤其是在安全方面。本章从安全的角度进行了有关联合和转移学习的交集的全面调查。这项研究的主要目标是发现可能损害使用联合和转移学习的系统的隐私和性能的潜在脆弱性和防御机制。