垂直联合学习（VFL）是一种隐私的机器学习范式，可以从以隐私性的方式从不同平台上分布的功能学习模型。由于在实际应用程序中，数据可能包含对公平敏感特征（例如性别）的偏见，因此VFL模型可能会从培训数据中继承偏见，并对某些用户组变得不公平。但是，现有的公平ML方法通常依赖于对公平敏感特征的集中存储来实现模型公平，通常在联合场景中不适用。在本文中，我们提出了一个公平的垂直联合学习框架（FAIRVFL），可以改善VFL模型的公平性。 FAIRVFL的核心思想是根据分散的特征字段以隐私的方式学习样本的统一和公平表示。具体而言，每个具有不敏感功能的平台首先从本地功能中学习本地数据表示。然后，将这些本地表示形式上传到服务器，并将其汇总到目标任务的统一表示形式中。为了学习公平的统一表示形式，我们将它们发送到每个平台存储公平性敏感的功能，并应用对抗性学习，以从偏见的数据继承的统一表示形式中消除偏见。此外，为了保护用户隐私，我们进一步提出了一种对抗性对手学习方法，以从服务器中的统一表示形式中删除隐私信息，然后再将其发送到保持对公平敏感功能的平台。在两个现实世界数据集上进行的实验验证了我们的方法可以通过用户隐私受到良好保护有效地改善模型公平性。

Federated Learning (FL) has emerged as a promising distributed learning paradigm with an added advantage of data privacy. With the growing interest in having collaboration among data owners, FL has gained significant attention of organizations. The idea of FL is to enable collaborating participants train machine learning (ML) models on decentralized data without breaching privacy. In simpler words, federated learning is the approach of ``bringing the model to the data, instead of bringing the data to the mode''. Federated learning, when applied to data which is partitioned vertically across participants, is able to build a complete ML model by combining local models trained only using the data with distinct features at the local sites. This architecture of FL is referred to as vertical federated learning (VFL), which differs from the conventional FL on horizontally partitioned data. As VFL is different from conventional FL, it comes with its own issues and challenges. In this paper, we present a structured literature review discussing the state-of-the-art approaches in VFL. Additionally, the literature review highlights the existing solutions to challenges in VFL and provides potential research directions in this domain.

Federated learning has recently been applied to recommendation systems to protect user privacy. In federated learning settings, recommendation systems can train recommendation models only collecting the intermediate parameters instead of the real user data, which greatly enhances the user privacy. Beside, federated recommendation systems enable to collaborate with other data platforms to improve recommended model performance while meeting the regulation and privacy constraints. However, federated recommendation systems faces many new challenges such as privacy, security, heterogeneity and communication costs. While significant research has been conducted in these areas, gaps in the surveying literature still exist. In this survey, we-(1) summarize some common privacy mechanisms used in federated recommendation systems and discuss the advantages and limitations of each mechanism; (2) review some robust aggregation strategies and several novel attacks against security; (3) summarize some approaches to address heterogeneity and communication costs problems; (4)introduce some open source platforms that can be used to build federated recommendation systems; (5) present some prospective research directions in the future. This survey can guide researchers and practitioners understand the research progress in these areas.

本文提出了一个传感器数据匿名模型，该模型接受了分散数据的培训，并在数据实用程序和隐私之间进行了理想的权衡，即使在收集到的传感器数据具有不同的基础分布的异质环境中也是如此。我们称为Blinder的匿名模型基于以对抗性方式训练的变异自动编码器和歧视网络。我们使用模型 - 不合稳定元学习框架来调整通过联合学习训练的匿名模型，以适应每个用户的数据分布。我们在不同的设置下评估了盲人，并表明它提供了端到端的隐私保护，以增加隐私损失高达4.00％，并将数据实用程序降低高达4.24％，而最新的数据实用程序则将其降低了4.24％。对集中数据培训的匿名模型。我们的实验证实，Blinder可以一次掩盖多个私人属性，并且具有足够低的功耗和计算开销，以便将其部署在边缘设备和智能手机上，以执行传感器数据的实时匿名化。

现在，推荐系统已经变得繁荣，旨在通过学习嵌入来预测用户对项目的潜在兴趣。图形神经网络的最新进展〜（GNNS）还提供带有强大备份的推荐系统，从用户项图中学习嵌入。但是，由于数据收集困难，仅利用用户项交互遭受冷启动问题。因此，目前的努力建议将社交信息与用户项目相互作用融合以缓解它，这是社会推荐问题。现有工作使用GNNS同时聚合两个社交链接和用户项交互。但是，它们都需要集中存储的社交链接和用户的互动，从而导致隐私问题。此外，根据严格的隐私保护，在一般数据保护规则下，将来可能不可行的数据存储可能是不可行的，敦促分散的社会建议框架。为此，我们设计了一个小说框架\ textbf {fe} delated \ textbf {so} cial推荐与\ textbf {g} raph神经网络（fesog）。首先，FeSog采用关系的关注和聚集来处理异质性。其次，Fesog Infers使用本地数据来保留个性化的用户嵌入。最后但并非最不重要的是，所提出的模型采用伪标签技术，其中包含项目采样，以保护隐私和增强培训。三个现实世界数据集的广泛实验可以证明FeSog在完成社会建议和隐私保护方面的有效性。我们是为我们所知，为社会建议提供联邦学习框架的第一项工作。

Today's AI still faces two major challenges. One is that in most industries, data exists in the form of isolated islands. The other is the strengthening of data privacy and security. We propose a possible solution to these challenges: secure federated learning. Beyond the federated learning framework first proposed by Google in 2016, we introduce a comprehensive secure federated learning framework, which includes horizontal federated learning, vertical federated learning and federated transfer learning. We provide definitions, architectures and applications for the federated learning framework, and provide a comprehensive survey of existing works on this subject. In addition, we propose building data networks among organizations based on federated mechanisms as an effective solution to allow knowledge to be shared without compromising user privacy.

在推荐系统中，一个普遍的挑战是冷门问题，在系统中，相互作用非常有限。为了应对这一挑战，最近，许多作品将元优化的想法介绍到建议方案中，即学习仅通过过去的几个交互项目来学习用户偏好。核心想法是为所有用户学习全局共享的元启动参数，并分别为每个用户迅速调整其本地参数。他们的目的是在各种用户的偏好学习中得出一般知识，以便通过博学的先验和少量培训数据迅速适应未来的新用户。但是，以前的作品表明，推荐系统通常容易受到偏见和不公平的影响。尽管元学习成功地通过冷启动提高了推荐性能，但公平性问题在很大程度上被忽略了。在本文中，我们提出了一个名为Clover的全面的公平元学习框架，以确保元学习的推荐模型的公平性。我们系统地研究了三种公平性 - 个人公平，反事实公平和推荐系统中的群体公平，并建议通过多任务对抗学习方案满足所有三种类型。我们的框架提供了一种通用的培训范式，适用于不同的元学习推荐系统。我们证明了三叶草对三个现实世界数据集的代表性元学习用户偏好估计器的有效性。经验结果表明，三叶草可以实现全面的公平性，而不会恶化整体的冷淡建议性能。

联合学习（FL）是一个系统，中央聚合器协调多个客户解决机器学习问题的努力。此设置允许分散培训数据以保护隐私。本文的目的是提供针对医疗保健的FL系统的概述。 FL在此根据其框架，架构和应用程序进行评估。这里显示的是，FL通过中央聚合器服务器通过共享的全球深度学习（DL）模型解决了前面的问题。本文研究了最新的发展，并提供了来自FL研究的快速增长的启发，列出了未解决的问题。在FL的背景下，描述了几种隐私方法，包括安全的多方计算，同态加密，差异隐私和随机梯度下降。此外，还提供了对各种FL类的综述，例如水平和垂直FL以及联合转移学习。 FL在无线通信，服务建议，智能医学诊断系统和医疗保健方面有应用，本文将在本文中进行讨论。我们还对现有的FL挑战进行了彻底的审查，例如隐私保护，沟通成本，系统异质性和不可靠的模型上传，然后是未来的研究指示。

联合学习（FL）是以分散的方式共同训练机器学习算法的范式。 FL中的大多数研究都集中在基于神经网络的方法上，但是，由于克服算法的迭代和添加性特征的挑战，在联合学习中基于XGBoost的方法（例如XGBOOST）在联合学习中没有得到反应。基于决策树的模型，尤其是XGBoost，可以处理非IID数据，这对于联合学习框架中使用的算法很重要，因为数据的基本特征是分散的，并且具有本质上非IID的风险。在本文中，我们专注于研究通过对各种基于样本量的数据偏斜方案进行实验以及这些模型在各种非IID方案下的性能，通过非IID分布的影响如何受到非IID分布的影响。我们在多个不同的数据集中进行了一组广泛的实验，并进行了不同的数据偏斜分区。我们的实验结果表明，尽管有各种分区比率，但模型的性能保持一致，并且与以集中式方式训练的模型接近或同样良好。

联邦学习一直是一个热门的研究主题，使不同组织的机器学习模型的协作培训在隐私限制下。随着研究人员试图支持更多具有不同隐私方法的机器学习模型，需要开发系统和基础设施，以便于开发各种联合学习算法。类似于Pytorch和Tensorflow等深度学习系统，可以增强深度学习的发展，联邦学习系统（FLSS）是等效的，并且面临各个方面的面临挑战，如有效性，效率和隐私。在本调查中，我们对联合学习系统进行了全面的审查。为实现流畅的流动和引导未来的研究，我们介绍了联合学习系统的定义并分析了系统组件。此外，我们根据六种不同方面提供联合学习系统的全面分类，包括数据分布，机器学习模型，隐私机制，通信架构，联合集市和联合的动机。分类可以帮助设计联合学习系统，如我们的案例研究所示。通过系统地总结现有联合学习系统，我们展示了设计因素，案例研究和未来的研究机会。

联合学习（FL）已成为一个重要的机器学习范例，其中全局模型根据分布式客户端的私有数据培训。然而，由于分布转移，现有的大多数流体算法不能保证对不同客户或不同的样本组的性能公平。最近的研究侧重于在客户之间实现公平性，但它们忽视了敏感属性（例如，性别和/或种族）形成的不同群体的公平，这在实际应用中是重要和实用的。为了弥合这一差距，我们制定统一小组公平的目标，该目标是在不同群体中学习具有类似表现的公平全球模式。为了实现任意敏感属性的统一组公平，我们提出了一种新颖的FL算法，命名为集团分布强制性联邦平均（G-DRFA），其跨组减轻了与收敛速度的理论分析的分布转移。具体而言，我们将联邦全球模型的性能视为目标，并采用分布稳健的技术，以最大化最坏性地组的性能在组重新传递集团的不确定性上。我们在实验中验证了G-DRFA算法的优点，结果表明，G-DRFA算法优于统一组公平现有的公平联合学习算法。

联合学习（FL）和分裂学习（SL）是两种新兴的协作学习方法，可能会极大地促进物联网（IoT）中无处不在的智能。联合学习使机器学习（ML）模型在本地培训的模型使用私人数据汇总为全球模型。分裂学习使ML模型的不同部分可以在学习框架中对不同工人进行协作培训。联合学习和分裂学习，每个学习都有独特的优势和各自的局限性，可能会相互补充，在物联网中无处不在的智能。因此，联合学习和分裂学习的结合最近成为一个活跃的研究领域，引起了广泛的兴趣。在本文中，我们回顾了联合学习和拆分学习方面的最新发展，并介绍了有关最先进技术的调查，该技术用于将这两种学习方法组合在基于边缘计算的物联网环境中。我们还确定了一些开放问题，并讨论了该领域未来研究的可能方向，希望进一步引起研究界对这个新兴领域的兴趣。

由于越来越多的用户使用它们来寻求和决策，推荐制度对人类和社会的影响增加了对人类和社会的影响。因此，在建议中解决潜在的不公平问题至关重要。就像用户在物品上具有个性化的偏好，用户对公平性的要求也是个性化的许多情况。因此，为用户提供个性化的公平建议，以满足其个性化的公平需求。此外，以前的公平建议作品主要关注基于关联的公平性。但是，重要的是从联合公平概念前进，以便在推荐系统中更适当地评估公平性的因果公平概念。本文根据上述考虑，侧重于为推荐系统中的用户实现个性化的反事实公平。为此，我们介绍了一个框架，通过对建议产生特征 - 独立的用户嵌入来实现通过对抗学习来实现反转公平的建议。该框架允许推荐系统为用户实现个性化的公平，同时也涵盖非个性化情况。在浅层和深刻的推荐算法上的两个现实数据集的实验表明，我们的方法可以为具有理想的推荐性能的用户生成更公平的建议。

Graph Machine Learning最近在学术界和行业中都引起了人们的关注。大多数图形机器学习模型，例如图形神经网络（GNN），都经过大量的图形数据训练。但是，在许多实际情况下，例如医疗保健系统中的住院预测，图形数据通常存储在多个数据所有者中，并且由于隐私问题和法规限制，任何其他方都无法直接访问。联合图机器学习（FGML）是一种有前途的解决方案，可以通过以联合方式训练图机学习模型来应对这一挑战。在这项调查中，我们对FGML文献进行了全面的综述。具体而言，我们首先提供了一种新的分类法，将FGML中的现有问题分为两个设置，即，\ emph {fl带有结构化数据}和\ emph {结构化的fl}。然后，我们回顾每种环境中的主流技术，并详细介绍它们如何应对FGML下的挑战。此外，我们总结了来自不同域中FGML的现实应用程序，并介绍FGML中采用的开放图数据集和平台。最后，我们在现有研究中提出了一些局限性，并在该领域的研究方向有前途的方向。

物联网中的智能汽车，智能手机和其他设备（物联网）通常具有多个传感器，会产生多模式数据。联合学习支持从不同设备收集大量多模式数据，而无需共享原始数据。转移学习方法有助于将知识从某些设备传输到其他设备。联合转移学习方法受益于联合学习和转移学习。这个新提出的联合转移学习框架旨在将数据岛与隐私保护联系起来。我们的构建基于联合学习和转移学习。与以前的联合转移学习相比，每个用户应具有相同模式的数据（所有单峰或全模式），我们的新框架更为通用，它允许使用用户数据的混合分布。核心策略是为我们的两种用户使用两种不同但固有连接的培训方法。仅对单峰数据（类型1）的用户采用监督学习，而自我监督的学习则用于使用多模式数据（类型2）的用户，以适用于每种模式的功能及其之间的连接。类型2的这种联系知识将在培训的后期阶段有助于1键入1。新框架中的培训可以分为三个步骤。在第一步中，将具有相同模式的数据的用户分组在一起。例如，仅具有声音信号的用户在第一组中，只有图像的用户在第二组中，并且具有多模式数据的用户在第三组中，依此类推。在第二步中，在小组内执行联合学习，在该小组中，根据小组的性质，使用监督的学习和自学学习。大多数转移学习发生在第三步中，从前步骤获得的网络中的相关部分是汇总的（联合）。

尽管公平感知的机器学习算法一直在受到越来越多的关注，但重点一直放在集中式的机器学习上，而分散的方法却没有被解散。联合学习是机器学习的一种分散形式，客户使用服务器训练本地模型，以汇总它们以获得共享的全局模型。客户之间的数据异质性是联邦学习的共同特征，这可能会诱导或加剧对由种族或性别等敏感属性定义的无私人群体的歧视。在这项工作中，我们提出了公平命运：一种新颖的公平联合学习算法，旨在实现群体公平，同时通过公平意识的聚合方法维持高效用，该方法通过考虑客户的公平性来计算全球模型。为此，通过使用动量术语来估算公平模型更新来计算全局模型更新，该术语有助于克服嘈杂的非直接梯度的振荡。据我们所知，这是机器学习中的第一种方法，旨在使用公平的动力估算来实现公平性。四个现实世界数据集的实验结果表明，在不同级别的数据异质性下，公平命运显着优于最先进的联邦学习算法。

联邦学习（FL）是一个有前途的机器学习范式，可以以隐私保留和法律规范的方式实现现实世界AI应用的交联数据合作。如何估值缔约方的数据是一个关键而挑战的流逝。在文献中，数据估值要么依赖于给定任务运行特定模型，或者只是任务无关;但是，在尚未确定的FL模型时，常常为派对选择的必要条件。因此，这项工作填补了差距并提出了\ {FedValue}，以我们的最佳知识，第一个隐私保留，任务特定的任务，但无模型的无模式数据估值方法，用于垂直流动任务。具体而言，FedValue包含一种新的信息 - 理论度量，称为福普利-CMI，以评估来自游戏理论观点的多方的数据值。此外，一种新颖的服务器辅助联合计算机制被设计为计算Shapley-CMI，并且同时保护每个方免受数据泄漏。我们还提出了几种技术来加速福利-CMI计算在实践中。六个开放数据集的广泛实验验证了FedValue对垂直流动任务数据估值的效力和效率。特别是，福芙-CMI作为无模型度量，与依赖于运行良好的良好模型的集合的措施相当执行。

垂直联合学习（VFL）引起了越来越多的兴趣，因为它使多个政党具有非重叠功能来增强其机器学习模型，而无需透露其私人数据和模型参数。与其他机器学习算法相似，VFL面对公平性的需求和挑战，即，对某些具有敏感属性的群体，学习的模型可能具有不公平的歧视性。为了解决这个问题，我们在这项工作中提出了一个公平的VFL框架。首先，我们系统地制定了VFL中培训公平模型的问题，其中学习任务被建模为受约束的优化问题。要以联合和保护隐私的方式解决它，我们考虑了问题的等效双重形式，并开发出异步的梯度坐标坐标升级算法，其中一些活动的数据派对在每个通信中执行多个并行的本地化更新，以有效地减少数量的数量沟通回合。服务器发送给被动方的消息是故意设计的，以使本地更新所需的信息不会侵犯数据和敏感属性的隐私。当将算法应用于一般的非Convex-Concove Min-Max问题时，我们严格研究该算法的收敛性。我们证明该算法在$ \ Mathcal {o}中找到了双目标的$ \ delta $ stationary点（\ delta^{ - 4}）$在温和条件下循环。最后，在三个基准数据集上进行的广泛实验证明了我们在培训公平模型中方法的出色性能。

With its capability to deal with graph data, which is widely found in practical applications, graph neural networks (GNNs) have attracted significant research attention in recent years. As societies become increasingly concerned with the need for data privacy protection, GNNs face the need to adapt to this new normal. Besides, as clients in Federated Learning (FL) may have relationships, more powerful tools are required to utilize such implicit information to boost performance. This has led to the rapid development of the emerging research field of federated graph neural networks (FedGNNs). This promising interdisciplinary field is highly challenging for interested researchers to grasp. The lack of an insightful survey on this topic further exacerbates the entry difficulty. In this paper, we bridge this gap by offering a comprehensive survey of this emerging field. We propose a 2-dimensional taxonomy of the FedGNNs literature: 1) the main taxonomy provides a clear perspective on the integration of GNNs and FL by analyzing how GNNs enhance FL training as well as how FL assists GNNs training, and 2) the auxiliary taxonomy provides a view on how FedGNNs deal with heterogeneity across FL clients. Through discussions of key ideas, challenges, and limitations of existing works, we envision future research directions that can help build more robust, explainable, efficient, fair, inductive, and comprehensive FedGNNs.

联合学习（FL）使独立方能够在保护数据隐私的同时协作建立机器学习（ML）模型。 FL的变体垂直联合学习（VFL）最近引起了人们的注意，因为VFL与企业对利用更有价值的功能的需求相匹配，以实现更好的模型性能而不会损害数据隐私。但是，传统的VFL可能会陷入数据缺陷，因为它只能用标签来利用标签的对准​​样品（属于不同的各方），而通常将大多数未对齐和未标记的样品均未使用。数据缺乏阻碍了联邦的努力。在这项工作中，我们提出了一个联合的混合自我监督的学习框架，即Fedhssl，以利用参与者的所有可用数据（包括未对准和未标记的样本）来培训联合VFL模型。 FEDHSSL的核心思想是利用各方之间对齐的样本的跨党派观点（即分散特征）和各方的本地观点（即增强）来提高通过SSL（SSL）的表示能力（例如，simsiam）。 FEDHSSL进一步利用各方共享的通用特征，以通过部分模型聚合来提高联合模型的性能。我们从经验上证明，与基线方法相比，我们的FEDHSSL实现了显着的性能增长，尤其是当标记样品数量较小时。我们对FedHSSL提供有关隐私泄漏的深入分析，这在现有的自我监督的VFL作品中很少讨论。我们研究了FEDHSSL的保护机制。结果表明，我们的保护可以阻止最先进的标签推理攻击。