现在，推荐系统已经变得繁荣，旨在通过学习嵌入来预测用户对项目的潜在兴趣。图形神经网络的最新进展〜（GNNS）还提供带有强大备份的推荐系统，从用户项图中学习嵌入。但是，由于数据收集困难，仅利用用户项交互遭受冷启动问题。因此，目前的努力建议将社交信息与用户项目相互作用融合以缓解它，这是社会推荐问题。现有工作使用GNNS同时聚合两个社交链接和用户项交互。但是，它们都需要集中存储的社交链接和用户的互动，从而导致隐私问题。此外，根据严格的隐私保护，在一般数据保护规则下，将来可能不可行的数据存储可能是不可行的，敦促分散的社会建议框架。为此，我们设计了一个小说框架\ textbf {fe} delated \ textbf {so} cial推荐与\ textbf {g} raph神经网络（fesog）。首先，FeSog采用关系的关注和聚集来处理异质性。其次，Fesog Infers使用本地数据来保留个性化的用户嵌入。最后但并非最不重要的是，所提出的模型采用伪标签技术，其中包含项目采样，以保护隐私和增强培训。三个现实世界数据集的广泛实验可以证明FeSog在完成社会建议和隐私保护方面的有效性。我们是为我们所知，为社会建议提供联邦学习框架的第一项工作。

目前，联邦图神经网络（GNN）由于其在现实中的广泛应用而没有违反隐私法规而引起了很多关注。在所有隐私保护技术中，差异隐私（DP）是最有希望的，因为它的有效性和轻度计算开销。但是，基于DP的联合GNN尚未得到很好的研究，尤其是在子图级环境中，例如推荐系统的情况。最大的挑战是如何保证隐私并在联邦GNN中解决非独立和相同分布的（非IID）数据。在本文中，我们提出了基于DP的联合GNN DP-FEDREC来填补空白。利用私有集合交叉点（PSI）来扩展每个客户端的本地图，从而解决了非IID问题。最重要的是，DP不仅应用于权重，而且应用于PSI相交图的边缘，以完全保护客户的隐私。该评估表明，DP-FEDREC通过图形扩展实现了更好的性能，而DP仅引入了很少的计算开销。

Federated learning has recently been applied to recommendation systems to protect user privacy. In federated learning settings, recommendation systems can train recommendation models only collecting the intermediate parameters instead of the real user data, which greatly enhances the user privacy. Beside, federated recommendation systems enable to collaborate with other data platforms to improve recommended model performance while meeting the regulation and privacy constraints. However, federated recommendation systems faces many new challenges such as privacy, security, heterogeneity and communication costs. While significant research has been conducted in these areas, gaps in the surveying literature still exist. In this survey, we-(1) summarize some common privacy mechanisms used in federated recommendation systems and discuss the advantages and limitations of each mechanism; (2) review some robust aggregation strategies and several novel attacks against security; (3) summarize some approaches to address heterogeneity and communication costs problems; (4)introduce some open source platforms that can be used to build federated recommendation systems; (5) present some prospective research directions in the future. This survey can guide researchers and practitioners understand the research progress in these areas.

In recent years, Graph Neural Networks (GNNs), which can naturally integrate node information and topological structure, have been demonstrated to be powerful in learning on graph data. These advantages of GNNs provide great potential to advance social recommendation since data in social recommender systems can be represented as user-user social graph and user-item graph; and learning latent factors of users and items is the key. However, building social recommender systems based on GNNs faces challenges. For example, the user-item graph encodes both interactions and their associated opinions; social relations have heterogeneous strengths; users involve in two graphs (e.g., the useruser social graph and the user-item graph). To address the three aforementioned challenges simultaneously, in this paper, we present a novel graph neural network framework (GraphRec) for social recommendations. In particular, we provide a principled approach to jointly capture interactions and opinions in the user-item graph and propose the framework GraphRec, which coherently models two graphs and heterogeneous strengths. Extensive experiments on two real-world datasets demonstrate the effectiveness of the proposed framework GraphRec.

Graph Machine Learning最近在学术界和行业中都引起了人们的关注。大多数图形机器学习模型，例如图形神经网络（GNN），都经过大量的图形数据训练。但是，在许多实际情况下，例如医疗保健系统中的住院预测，图形数据通常存储在多个数据所有者中，并且由于隐私问题和法规限制，任何其他方都无法直接访问。联合图机器学习（FGML）是一种有前途的解决方案，可以通过以联合方式训练图机学习模型来应对这一挑战。在这项调查中，我们对FGML文献进行了全面的综述。具体而言，我们首先提供了一种新的分类法，将FGML中的现有问题分为两个设置，即，\ emph {fl带有结构化数据}和\ emph {结构化的fl}。然后，我们回顾每种环境中的主流技术，并详细介绍它们如何应对FGML下的挑战。此外，我们总结了来自不同域中FGML的现实应用程序，并介绍FGML中采用的开放图数据集和平台。最后，我们在现有研究中提出了一些局限性，并在该领域的研究方向有前途的方向。

Conventional matrix factorization relies on centralized collection of users' data for recommendation, which might introduce an increased risk of privacy leakage especially when the recommender is untrusted. Existing differentially private matrix factorization methods either assume the recommender is trusted, or can only provide a uniform level of privacy protection for all users and items with untrusted recommender. In this paper, we propose a novel Heterogeneous Differentially Private Matrix Factorization algorithm (denoted as HDPMF) for untrusted recommender. To the best of our knowledge, we are the first to achieve heterogeneous differential privacy for decentralized matrix factorization in untrusted recommender scenario. Specifically, our framework uses modified stretching mechanism with an innovative rescaling scheme to achieve better trade off between privacy and accuracy. Meanwhile, by allocating privacy budget properly, we can capture homogeneous privacy preference within a user/item but heterogeneous privacy preference across different users/items. Theoretical analysis confirms that HDPMF renders rigorous privacy guarantee, and exhaustive experiments demonstrate its superiority especially in strong privacy guarantee, high dimension model and sparse dataset scenario.

With its capability to deal with graph data, which is widely found in practical applications, graph neural networks (GNNs) have attracted significant research attention in recent years. As societies become increasingly concerned with the need for data privacy protection, GNNs face the need to adapt to this new normal. Besides, as clients in Federated Learning (FL) may have relationships, more powerful tools are required to utilize such implicit information to boost performance. This has led to the rapid development of the emerging research field of federated graph neural networks (FedGNNs). This promising interdisciplinary field is highly challenging for interested researchers to grasp. The lack of an insightful survey on this topic further exacerbates the entry difficulty. In this paper, we bridge this gap by offering a comprehensive survey of this emerging field. We propose a 2-dimensional taxonomy of the FedGNNs literature: 1) the main taxonomy provides a clear perspective on the integration of GNNs and FL by analyzing how GNNs enhance FL training as well as how FL assists GNNs training, and 2) the auxiliary taxonomy provides a view on how FedGNNs deal with heterogeneity across FL clients. Through discussions of key ideas, challenges, and limitations of existing works, we envision future research directions that can help build more robust, explainable, efficient, fair, inductive, and comprehensive FedGNNs.

下一个利益点（POI）的建议已成为基于位置的社交网络（LBSN）中必不可少的功能，因为它在帮助人们决定下一个POI访问方面有效。但是，准确的建议需要大量的历史检查数据，因此威胁用户隐私，因为云服务器需要处理位置敏感的数据。尽管有几个用于保护隐私的POI建议的设备框架，但在存储和计算方面，它们仍然是资源密集的，并且对用户POI交互的高稀疏性表现出有限的鲁棒性。在此基础上，我们为POI推荐（DCLR）提出了一个新颖的分散协作学习框架，该框架允许用户以协作方式在本地培训其个性化模型。 DCLR大大降低了本地模型对云的依赖性训练，并可用于扩展任意的集中建议模型。为了抵消在学习每个本地模型时在设备用户数据的稀疏性，我们设计了两个自学信号，以通过POI的地理和分类相关性在服务器上预处理POI表示。为了促进协作学习，我们创新建议将来自地理或语义上类似用户的知识纳入每个本地模型，并以细心的聚合和相互信息最大化。协作学习过程可利用设备之间的通信，同时仅需要中央服务器的少量参与来识别用户组，并且与诸如差异隐私之类的常见隐私保护机制兼容。我们使用两个现实世界数据集评估了DCLR，结果表明，与集中式同行相比，DCLR的表现优于最先进的设备框架，并产生竞争结果。

随着基于位置的越来越多的社交网络，隐私保存位置预测已成为帮助用户发现新的兴趣点（POI）的主要任务。传统系统考虑一种需要传输和收集用户私有数据的集中方法。在这项工作中，我们展示了FedPoirec，隐私保留了联合学习方法的隐私，增强了用户社交界的功能，以获得最高$ N $ POI建议。首先，FedPoirec框架建立在本地数据永远不会离开所有者设备的原则上，而本地更新盲目地由参数服务器汇总。其次，本地推荐人通过允许用户交换学习参数来获得个性化，从而实现朋友之间的知识传输。为此，我们提出了一种隐私保留协议，用于通过利用CKKS完全同态加密方案的特性来集成用户朋友在联合计算之后的偏好。为了评估FEDPOIREC，我们使用两个推荐模型将我们的方法应用于五个现实世界数据集。广泛的实验表明，FEDPOIREC以集中方法实现了相当的推荐质量，而社会集成协议会突出用户侧的低计算和通信开销。

Social recommender systems (SocialRS) simultaneously leverage user-to-item interactions as well as user-to-user social relations for the task of generating item recommendations to users. Additionally exploiting social relations is clearly effective in understanding users' tastes due to the effects of homophily and social influence. For this reason, SocialRS has increasingly attracted attention. In particular, with the advance of Graph Neural Networks (GNN), many GNN-based SocialRS methods have been developed recently. Therefore, we conduct a comprehensive and systematic review of the literature on GNN-based SocialRS. In this survey, we first identify 80 papers on GNN-based SocialRS after annotating 2151 papers by following the PRISMA framework (Preferred Reporting Items for Systematic Reviews and Meta-Analysis). Then, we comprehensively review them in terms of their inputs and architectures to propose a novel taxonomy: (1) input taxonomy includes 5 groups of input type notations and 7 groups of input representation notations; (2) architecture taxonomy includes 8 groups of GNN encoder, 2 groups of decoder, and 12 groups of loss function notations. We classify the GNN-based SocialRS methods into several categories as per the taxonomy and describe their details. Furthermore, we summarize the benchmark datasets and metrics widely used to evaluate the GNN-based SocialRS methods. Finally, we conclude this survey by presenting some future research directions.

图形神经网络（GNN）已显示为与用户项目交互图建模的协作过滤（CF）的有前途的解决方案。现有基于GNN的推荐系统的关键思想是递归执行沿用户项目交互边缘传递的消息，以完善编码的嵌入。然而，尽管它们有效，但当前的大多数推荐模型都依赖于足够和高质量的培训数据，因此学习的表示形式可以很好地捕获准确的用户偏好。用户行为数据在许多实际建议方案中通常很嘈杂，并且表现出偏斜的分布，这可能会导致基于GNN的模型中的次优表示性能。在本文中，我们提出了SHT，这是一种新颖的自我监视的超盖变压器框架（SHT），该框架（SHT）通过以明确的方式探索全球协作关系来增强用户表示。具体而言，我们首先赋予图形神经CF范式，以通过HyperGraph Transformer网络维护用户和项目之间的全局协作效果。在蒸馏的全球环境中，提出了一个跨视图生成的自我监督学习组件，用于对用户项目交互图的数据增强，以增强推荐系统的鲁棒性。广泛的实验表明，SHT可以显着改善各种最新基线的性能。进一步的消融研究表明，我们的SHT推荐框架在减轻数据稀疏性和噪声问题方面具有出色的表示能力。源代码和评估数据集可在以下网址获得：https：//github.com/akaxlh/sht。

估计路径的旅行时间是智能运输系统的重要主题。它是现实世界应用的基础，例如交通监控，路线计划和出租车派遣。但是，为这样的数据驱动任务构建模型需要大量用户的旅行信息，这与其隐私直接相关，因此不太可能共享。数据所有者之间的非独立和相同分布的（非IID）轨迹数据也使一个预测模型变得极具挑战性，如果我们直接应用联合学习。最后，以前关于旅行时间估算的工作并未考虑道路的实时交通状态，我们认为这可以极大地影响预测。为了应对上述挑战，我们为移动用户组引入GOF-TTE，生成的在线联合学习框架以进行旅行时间估计，这是我）使用联合学习方法，允许在培训时将私人数据保存在客户端设备上，并设计设计和设计。所有客户共享的全球模型作为在线生成模型推断实时道路交通状态。 ii）除了在服务器上共享基本模型外，还针对每个客户调整了一个微调的个性化模型来研究其个人驾驶习惯，从而弥补了本地化全球模型预测的残余错误。 ％iii）将全球模型设计为所有客户共享的在线生成模型，以推断实时道路交通状态。我们还对我们的框架采用了简单的隐私攻击，并实施了差异隐私机制，以进一步保证隐私安全。最后，我们对Didi Chengdu和Xi'an的两个现实世界公共出租车数据集进行了实验。实验结果证明了我们提出的框架的有效性。

推荐系统被证明是提取与用户相关的内容帮助用户进行日常活动的宝贵工具（例如，找到相关的访问地点，要消费的内容，要购买的商品）。但是，为了有效，这些系统需要收集和分析大量个人数据（例如，位置检查，电影评分，点击率等），这使用户面临许多隐私威胁。在这种情况下，基于联合学习（FL）的推荐系统似乎是一个有前途的解决方案，可以在计算准确的建议的同时将个人数据保存在用户设备上时，是一个有前途的解决方案。但是，FL，因此基于FL的推荐系统，依靠中央服务器，除了容易受到攻击外，还可以遇到可伸缩性问题。为了解决这个问题，我们提出了基于八卦学习原理的分散推荐系统Pepper。在胡椒中，用户八卦模型更新并不同步。 Pepper的核心位于两个关键组成部分：一个个性化的同行采样协议，该协议保存在每个节点附近，这是与前者具有相似兴趣的节点的一部分，以及一个简单而有效的模型汇总功能，该功能构建了一个模型更适合每个用户。通过在三个实施两个用例的实验实验中进行实验：位置入住建议和电影推荐，我们证明我们的解决方案比其他分散的解决方案快42％收敛于42％与分散的竞争对手相比，长时间性能的命中率和高达21％的速度提高了21％。

随着深度学习技术扩展到现实世界推荐任务，已经开发出许多深度神经网络的协作滤波（CF）模型基于各种神经结构，例如多层的神经架构将用户项目交互项目投影到潜伏特征空间中Perceptron，自动编码器和图形神经网络。然而，大多数现有的协作过滤系统不充分设计用于处理缺失的数据。特别是，为了在训练阶段注入负信号，这些解决方案很大程度上依赖于未观察到的用户项交互，并且简单地将它们视为负实例，这带来了推荐性能下降。为了解决问题，我们开发了一个协作反射增强的AutoEncoder网络（Cranet），它能够探索从观察到和未观察的用户项交互的可转移知识。 Cranet的网络架构由具有反射接收器网络的集成结构和信息融合自动统计器模块形成，其推荐框架具有在互动和非互动项目上编码隐式用户的成对偏好的能力。另外，基于参数正规化的捆绑重量方案旨在对两级颅骨模型进行鲁棒联合训练。我们终于在对应于两个推荐任务的四个不同基准数据集上进行了实验验证了Cranet，以表明，与各种最先进的推荐技术相比，脱叠用户项交互的负信号提高了性能。我们的源代码可在https://github.com/akaxlh/cranet上获得。

在实际情况下，较大的全局图的子图可以分布在多个设备或机构之间，并且仅由于隐私限制而在本地访问，尽管它们之间可能存在链接。最近，拟议的子图联合学习（FL）方法涉及跨私人本地子图的那些缺失的链接，而分布式培训图形神经网络（GNN）。但是，他们忽略了子图中的不可避免的异质性，这是由包含全球图的不同部分的子图引起的。例如，一个子图可能属于较大的全局图中的一个社区之一。在这种情况下，天真的子图FL将从训练有异质图分布的本地GNN模型中崩溃不相容的知识。为了克服这样的局限性，我们引入了一个新的子图FL问题，即个性化的子图FL，该子图专注于相互关联的本地GNN模型的联合改进，而不是学习一个单一的全球GNN模型，并提出了一个新颖的框架，并提出了一个新型的框架，并提出了一个联合的个性化次级学习（ Fed-pub），以解决它。个性化子图FL中的一个至关重要的挑战是服务器不知道每个客户端具有哪个子图。 Fed-pub因此使用随机图作为输入来计算它们之间的相似性，并使用它们执行对服务器端聚合的加权平均。此外，它在每个客户端学习一个个性化的稀疏掩码，以选择和更新聚合参数的子图相关子集。我们考虑了非重叠和重叠子图的六个数据集中的Fed-Pub在六个数据集上的子图FL性能，我们的基本上要优于相关的基线。

顺序推荐旨在为特定时间戳在特定时间戳提供历史行为中为用户选择最合适的项目。现有方法通常根据像马尔可夫链等转换的方法模拟用户行为序列。然而，这些方法也隐含地假设用户在不考虑用户之间的影响而彼此独立。实际上，这种影响在序列推荐中发挥着重要作用，因为用户的行为容易受其他人的影响。因此，期望聚合用户行为和用户之间的影响，这些用户在时间上演化并涉及用户和项目的异构图。在本文中，我们纳入了动态用户项异构图，提出了一种新的顺序推荐框架。结果，可以考虑历史行为以及用户之间的影响。为此，我们首先将顺序建议形式正式确定估计时间动态异构图和用户行为序列的条件概率的问题。之后，我们利用条件随机字段来聚合异构图形和用户行为以进行概率估计，并采用伪似然方法来得出易行目标函数。最后，我们提供所提出的框架的可扩展和灵活的实现。三个现实世界数据集的实验结果不仅展示了我们所提出的方法的有效性，而且还提供了一些关于顺序推荐的有洞察力的发现。

由于其在分布式机器学习中的隐私保护，联邦学习引起了很多研究。然而，联合学习的现有工作主要侧重于卷积神经网络（CNN），其无法有效处理在许多应用中流行的图形数据。图表卷积网络（GCN）已被提出为图表学习最有前途的技术之一，但其联邦设置很少探索。在本文中，我们提出了在多个计算客户端之间的联合图学习的FedRogk，每个Chouble Graph学习，其中每个计算包括子图。 Fed FredGraph通过解决两个独特的挑战来提供强大的图形学习能力。首先，传统的GCN培训需要客户之间的数据共享，导致隐私泄漏的风险。 Fed FedGraph使用新的跨客户端卷积操作来解决此问题。第二个挑战是高GCN训练开销，由大图尺寸发生。我们提出了一种基于深度加强学习的智能图形采样算法，可以自动收敛到平衡训练速度和准确性的最佳采样策略。我们基于Pytorch实现FedFraph，并在测试平台上部署绩效评估。四个流行数据集的实验结果表明，Fed FedGraph通过使更高的准确性更快地融合来显着优于现有的工作。

联合学习（FL）的令人难以置信的发展使计算机视觉和自然语言处理领域的各种任务受益，而现有的TFF和FATE等现有框架使在现实应用程序中的部署变得容易。但是，即使图形数据很普遍，联合图形学习（FGL）由于其独特的特征和要求而没有得到很好的支持。缺乏与FGL相关的框架增加了完成可再现研究和在现实世界应用中部署的努力。在本文中，我们首先讨论了创建易于使用的FGL软件包的挑战，因此提出了我们实施的FederatedScope-GNN（FS-G）的包裹，该软件包提供了（1）统一的模块化视图并表达FGL算法； （2）用于开箱即用的FGL功能的综合数据和模型； （3）有效的模型自动调整组件； （4）现成的隐私攻击和防御能力。我们通过进行广泛的实验来验证FS-G的有效性，该实验同时获得了许多有关FGL的宝贵见解。此外，我们采用FS-G在现实世界中的电子商务方案中为FGL应用程序提供服务，在该场景中获得的改进表明了巨大的潜在业务利益。我们在https://github.com/alibaba/federatedscope上公开发布FS-G，作为FederatedScope的子模型，以促进FGL的研究，并启用由于缺乏专用包装而无法无视的广泛应用。

如今，信息技术的发展正在迅速增长。在大数据时代，个人信息的隐私更加明显。主要的挑战是找到一种方法来确保在发布和分析数据时不会披露敏感的个人信息。在信任的第三方数据策展人的假设上建立了集中式差异隐私。但是，这个假设在现实中并不总是正确的。作为一种新的隐私保护模型，当地的差异隐私具有相对强大的隐私保证。尽管联邦学习相对是一种用于分布式学习的隐私方法，但它仍然引入了各种隐私问题。为了避免隐私威胁并降低沟通成本，我们建议将联合学习和当地差异隐私与动量梯度下降整合在一起，以提高机器学习模型的性能。

许多以前的研究旨在增加具有深度神经网络技术的协同过滤，以实现更好的推荐性能。但是，大多数现有的基于深度学习的推荐系统专为建模单数类型的用户项目交互行为而设计，这几乎无法蒸馏用户和项目之间的异构关系。在实际推荐方案中，存在多重的用户行为，例如浏览和购买。由于用户的多行为模式在不同的项目上俯视，现有推荐方法不足以捕获来自用户多行为数据的异构协作信号。灵感灵感来自图形神经网络的结构化数据建模，这项工作提出了一个图形神经多行为增强建议（GNMR）框架，其明确地模拟了基于图形的消息传递体系结构下不同类型的用户项目交互之间的依赖性。 GNMR向关系聚合网络设计为模拟交互异质性，并且通过用户项交互图递归地执行相邻节点之间的嵌入传播。实体世界推荐数据集的实验表明，我们的GNMR始终如一地优于最先进的方法。源代码可在https://github.com/akaxlh/gnmr中获得。