由于其独特的现实世界对象及其互动，图表已广泛用于数据挖掘和机器学习。如图所说，如图所说，通常会看到它们的子图分别收集并存储在多个本地系统中。因此，考虑子图联合学习设置是自然的，其中每个本地系统保持一个可以从整个图的分布偏置的小子图。因此，子图联合的学习旨在协同培训强大且更广泛的图形挖掘模型，而无需直接共享其图形数据。在这项工作中，朝着小型但是逼真的子图联合学习设置，我们提出了两种主要技术：（1）联邦品，其基于FedAVG的基于FaItaVG列出的GraphSage模型，以在多个本地子图上集成节点特征，链接结构和任务标签; （2）FEDSAGE +，它沿edsage举办丢失的邻居生成器，以处理跨本地子图的缺失链接。具有合成子图联合学习设置的四个真实图形数据集的经验结果证明了我们所提出的技术的有效性和效率。同时，一致的理论意义是以全局图对的泛化能力。

在实际情况下，较大的全局图的子图可以分布在多个设备或机构之间，并且仅由于隐私限制而在本地访问，尽管它们之间可能存在链接。最近，拟议的子图联合学习（FL）方法涉及跨私人本地子图的那些缺失的链接，而分布式培训图形神经网络（GNN）。但是，他们忽略了子图中的不可避免的异质性，这是由包含全球图的不同部分的子图引起的。例如，一个子图可能属于较大的全局图中的一个社区之一。在这种情况下，天真的子图FL将从训练有异质图分布的本地GNN模型中崩溃不相容的知识。为了克服这样的局限性，我们引入了一个新的子图FL问题，即个性化的子图FL，该子图专注于相互关联的本地GNN模型的联合改进，而不是学习一个单一的全球GNN模型，并提出了一个新颖的框架，并提出了一个新型的框架，并提出了一个联合的个性化次级学习（ Fed-pub），以解决它。个性化子图FL中的一个至关重要的挑战是服务器不知道每个客户端具有哪个子图。 Fed-pub因此使用随机图作为输入来计算它们之间的相似性，并使用它们执行对服务器端聚合的加权平均。此外，它在每个客户端学习一个个性化的稀疏掩码，以选择和更新聚合参数的子图相关子集。我们考虑了非重叠和重叠子图的六个数据集中的Fed-Pub在六个数据集上的子图FL性能，我们的基本上要优于相关的基线。

作为包含结构和特征信息的特殊信息载体，图被广泛用于图挖掘中，例如图形神经网络（GNNS）。但是，在某些实际情况下，图形数据分别存储在多个分布式各方中，由于利益冲突，可能不会直接共享。因此，提出了联合图神经网络来解决此类数据孤岛问题，同时保留各方（或客户）的隐私。然而，各方之间的不同图形数据分布（称为统计异质性）可能会降低诸如fedAvg之类的幼稚联合学习算法的性能。在本文中，我们提出了一个基于自我图形的联合图形学习框架Fedego，以应对上述挑战，每个客户将在此培训其本地模型，同时也为全球模型的培训做出贡献。 Fedego应用图形上的自我图形来充分利用结构信息，并利用混音来实现隐私问题。为了处理统计异质性，我们将个性化整合到学习中，并提出一种自适应混合系数策略，使客户能够实现最佳个性化。广泛的实验结果和深入分析证明了联邦的有效性。

图表卷积神经网络（GCNS）广泛用于图形分析。具体地，在医学应用中，GCNS可用于群体图中的疾病预测，其中曲线图节点代表个体，边缘代表个体相似度。然而，GCNS依赖于大量数据，这是对单一医学机构收集的具有挑战性。此外，大多数医疗机构继续面临的危急挑战是用不完全的数据信息分离地解决疾病预测。为了解决这些问题，联合学习（FL）允许隔离本地机构协作，没有数据共享的全局模型。在这项工作中，我们提出了一个框架FEDNI，通过FL释放网络染色和机构间数据。具体地，我们首先使用图形生成的对冲网络（GaN）联接捕获缺少节点和边缘预测器来完成本地网络的缺失信息。然后我们使用联合图形学习平台跨过机构训练全局GCN节点分类器。新颖的设计使我们能够通过利用联合学习和图表学习方法来构建更准确的机器学习模型。我们证明，我们的联邦模式优于本地和基线流动方法，在两个公共神经影像数据集中具有显着的边缘。

联邦学习已成为不同领域培训机器学习模型的重要范式。对于诸如图形分类的图形级任务，图也可以被视为一种特殊类型的数据样本，可以收集并存储在单独的本地系统中。类似于其他域，多个本地系统，每个域每个保持一小集图，可以受益于协同训练强大的图形挖掘模型，例如流行的图形神经网络（GNN）。为了为这种努力提供更多的动机，我们分析了不同域的实际图形，以确认它们确实共享了与随机图纸相比统计上显着的某些图形属性。但是，我们还发现，即使来自同一个域或相同的数据集，也发现不同的图表是非IID，这对于图形结构和节点特征。为了处理这一点，我们提出了一种基于GNN的梯度的群集联合学习（GCFL）框架的图表集群联合学习（GCFL）框架，并且理论上可以证明这种群集可以减少本地系统所拥有的图形之间的结构和特征异质性。此外，我们观察到GNN的梯度在GCFL中强制波动，从而阻碍了高质量的聚类，并基于动态时间翘曲（GCFL +）设计了一种基于梯度序列的聚类机制。广泛的实验结果和深入分析证明了我们提出的框架的有效性。

Graph Machine Learning最近在学术界和行业中都引起了人们的关注。大多数图形机器学习模型，例如图形神经网络（GNN），都经过大量的图形数据训练。但是，在许多实际情况下，例如医疗保健系统中的住院预测，图形数据通常存储在多个数据所有者中，并且由于隐私问题和法规限制，任何其他方都无法直接访问。联合图机器学习（FGML）是一种有前途的解决方案，可以通过以联合方式训练图机学习模型来应对这一挑战。在这项调查中，我们对FGML文献进行了全面的综述。具体而言，我们首先提供了一种新的分类法，将FGML中的现有问题分为两个设置，即，\ emph {fl带有结构化数据}和\ emph {结构化的fl}。然后，我们回顾每种环境中的主流技术，并详细介绍它们如何应对FGML下的挑战。此外，我们总结了来自不同域中FGML的现实应用程序，并介绍FGML中采用的开放图数据集和平台。最后，我们在现有研究中提出了一些局限性，并在该领域的研究方向有前途的方向。

With its capability to deal with graph data, which is widely found in practical applications, graph neural networks (GNNs) have attracted significant research attention in recent years. As societies become increasingly concerned with the need for data privacy protection, GNNs face the need to adapt to this new normal. Besides, as clients in Federated Learning (FL) may have relationships, more powerful tools are required to utilize such implicit information to boost performance. This has led to the rapid development of the emerging research field of federated graph neural networks (FedGNNs). This promising interdisciplinary field is highly challenging for interested researchers to grasp. The lack of an insightful survey on this topic further exacerbates the entry difficulty. In this paper, we bridge this gap by offering a comprehensive survey of this emerging field. We propose a 2-dimensional taxonomy of the FedGNNs literature: 1) the main taxonomy provides a clear perspective on the integration of GNNs and FL by analyzing how GNNs enhance FL training as well as how FL assists GNNs training, and 2) the auxiliary taxonomy provides a view on how FedGNNs deal with heterogeneity across FL clients. Through discussions of key ideas, challenges, and limitations of existing works, we envision future research directions that can help build more robust, explainable, efficient, fair, inductive, and comprehensive FedGNNs.

Learning on Graphs (LoG) is widely used in multi-client systems when each client has insufficient local data, and multiple clients have to share their raw data to learn a model of good quality. One scenario is to recommend items to clients with limited historical data and sharing similar preferences with other clients in a social network. On the other hand, due to the increasing demands for the protection of clients' data privacy, Federated Learning (FL) has been widely adopted: FL requires models to be trained in a multi-client system and restricts sharing of raw data among clients. The underlying potential data-sharing conflict between LoG and FL is under-explored and how to benefit from both sides is a promising problem. In this work, we first formulate the Graph Federated Learning (GFL) problem that unifies LoG and FL in multi-client systems and then propose sharing hidden representation instead of the raw data of neighbors to protect data privacy as a solution. To overcome the biased gradient problem in GFL, we provide a gradient estimation method and its convergence analysis under the non-convex objective. In experiments, we evaluate our method in classification tasks on graphs. Our experiment shows a good match between our theory and the practice.

图形神经网络（GNN）在学习强大的节点表示中显示了令人信服的性能，这些表现在保留节点属性和图形结构信息的强大节点表示中。然而，许多GNNS在设计有更深的网络结构或手柄大小的图形时遇到有效性和效率的问题。已经提出了几种采样算法来改善和加速GNN的培训，但他们忽略了解GNN性能增益的来源。图表数据中的信息的测量可以帮助采样算法来保持高价值信息，同时消除冗余信息甚至噪声。在本文中，我们提出了一种用于GNN的公制引导（MEGUIDE）子图学习框架。 MEGUIDE采用两种新颖的度量：功能平滑和连接失效距离，以指导子图采样和迷你批次的培训。功能平滑度专为分析节点的特征而才能保留最有价值的信息，而连接失败距离可以测量结构信息以控制子图的大小。我们展示了MEGUIDE在多个数据集上培训各种GNN的有效性和效率。

节点分类在各种图形挖掘任务中至关重要。在实践中，实际图通常遵循长尾分布，其中大量类仅由有限的标记节点组成。尽管图神经网络（GNN）在节点分类方面取得了显着改善，但在这种情况下，它们的性能大大降低。主要原因可以归因于由于元任务中不同节点/类分布引起的任务差异（即节点级别和类级别的方差）引起的任务差异，因此元素训练和元检验之间存在巨大的概括差距。因此，为了有效地减轻任务差异的影响，我们在少数弹出的学习设置下提出了一个任务自适应的节点分类框架。具体而言，我们首先在具有丰富标记节点的类中积累了元知识。然后，我们通过提出的任务自适应模块将这些知识转移到具有有限标记的节点的类别中。特别是，为了适应元任务之间的不同节点/类分布，我们建议三个基本模块以执行\ emph {node-level}，\ emph {class-level}和\ emph {task-emph {task-level}适应元任务分别。这样，我们的框架可以对不同的元任务进行适应，从而提高元测试任务上的模型概括性能。在四个普遍的节点分类数据集上进行了广泛的实验，证明了我们的框架优于最先进的基线。我们的代码可在https://github.com/songw-sw/tent上提供。

联合学习（FL）的令人难以置信的发展使计算机视觉和自然语言处理领域的各种任务受益，而现有的TFF和FATE等现有框架使在现实应用程序中的部署变得容易。但是，即使图形数据很普遍，联合图形学习（FGL）由于其独特的特征和要求而没有得到很好的支持。缺乏与FGL相关的框架增加了完成可再现研究和在现实世界应用中部署的努力。在本文中，我们首先讨论了创建易于使用的FGL软件包的挑战，因此提出了我们实施的FederatedScope-GNN（FS-G）的包裹，该软件包提供了（1）统一的模块化视图并表达FGL算法； （2）用于开箱即用的FGL功能的综合数据和模型； （3）有效的模型自动调整组件； （4）现成的隐私攻击和防御能力。我们通过进行广泛的实验来验证FS-G的有效性，该实验同时获得了许多有关FGL的宝贵见解。此外，我们采用FS-G在现实世界中的电子商务方案中为FGL应用程序提供服务，在该场景中获得的改进表明了巨大的潜在业务利益。我们在https://github.com/alibaba/federatedscope上公开发布FS-G，作为FederatedScope的子模型，以促进FGL的研究，并启用由于缺乏专用包装而无法无视的广泛应用。

尽管图表神经网络（GNNS）的最近成功，但大图上的培训GNN仍然具有挑战性。现有服务器的有限资源容量，图中节点之间的依赖关系以及由于集中存储和模型学习导致的隐私问题刺激了用于GNN训练的有效分布式算法的需要。然而，现有的分布式GNN训练方法强加过度的通信成本或妨碍其可扩展性的大存储器开销。为了克服这些问题，我们提出了一种名为$ \ text {{locally，正确的全球}} $（llcg）的通信有效的分布式GNN培训技术。为了减少通信和内存开销，LLCG中的每个本地计算机首先通过忽略不同机器之间的节点之间的依赖性在其本地数据上列出GNN，然后将本地训练的模型发送到服务器以获取周期性模型平均。但是，忽略节点依赖性可能导致显着的性能下降。要解决性能下降，我们建议在服务器上应用$ \ text {{{global server校正}} $以优化本地学习的模型。我们严格地分析了具有用于训练GNN的周期性模型的分布式方法的收敛性，并且显示了天真地应用周期模型平均但忽略节点之间的依赖性将受到不可缩小的残余错误。然而，通过利用所提出的全局校正来避免收敛速度，可以消除这种剩余误差。对现实世界数据集的广泛实验表明，LLCG可以显着提高效率而不会伤害性能。

最近提出了基于子图的图表学习（SGRL）来应对规范图神经网络（GNNS）遇到的一些基本挑战，并在许多重要的数据科学应用（例如链接，关系和主题预测）中证明了优势。但是，当前的SGRL方法遇到了可伸缩性问题，因为它们需要为每个培训或测试查询提取子图。扩大规范GNN的最新解决方案可能不适用于SGRL。在这里，我们通过共同设计学习算法及其系统支持，为可扩展的SGRL提出了一种新颖的框架Surel。 Surel采用基于步行的子图表分解，并将步行重新形成子图，从而大大降低了子图提取的冗余并支持并行计算。具有数百万个节点和边缘的六个同质，异质和高阶图的实验证明了Surel的有效性和可扩展性。特别是，与SGRL基线相比，Surel可以实现10 $ \ times $ Quad-Up，具有可比甚至更好的预测性能；与规范GNN相比，Surel可实现50％的预测准确性。

Graph machine learning has been extensively studied in both academia and industry. Although booming with a vast number of emerging methods and techniques, most of the literature is built on the in-distribution hypothesis, i.e., testing and training graph data are identically distributed. However, this in-distribution hypothesis can hardly be satisfied in many real-world graph scenarios where the model performance substantially degrades when there exist distribution shifts between testing and training graph data. To solve this critical problem, out-of-distribution (OOD) generalization on graphs, which goes beyond the in-distribution hypothesis, has made great progress and attracted ever-increasing attention from the research community. In this paper, we comprehensively survey OOD generalization on graphs and present a detailed review of recent advances in this area. First, we provide a formal problem definition of OOD generalization on graphs. Second, we categorize existing methods into three classes from conceptually different perspectives, i.e., data, model, and learning strategy, based on their positions in the graph machine learning pipeline, followed by detailed discussions for each category. We also review the theories related to OOD generalization on graphs and introduce the commonly used graph datasets for thorough evaluations. Finally, we share our insights on future research directions. This paper is the first systematic and comprehensive review of OOD generalization on graphs, to the best of our knowledge.

现在，推荐系统已经变得繁荣，旨在通过学习嵌入来预测用户对项目的潜在兴趣。图形神经网络的最新进展〜（GNNS）还提供带有强大备份的推荐系统，从用户项图中学习嵌入。但是，由于数据收集困难，仅利用用户项交互遭受冷启动问题。因此，目前的努力建议将社交信息与用户项目相互作用融合以缓解它，这是社会推荐问题。现有工作使用GNNS同时聚合两个社交链接和用户项交互。但是，它们都需要集中存储的社交链接和用户的互动，从而导致隐私问题。此外，根据严格的隐私保护，在一般数据保护规则下，将来可能不可行的数据存储可能是不可行的，敦促分散的社会建议框架。为此，我们设计了一个小说框架\ textbf {fe} delated \ textbf {so} cial推荐与\ textbf {g} raph神经网络（fesog）。首先，FeSog采用关系的关注和聚集来处理异质性。其次，Fesog Infers使用本地数据来保留个性化的用户嵌入。最后但并非最不重要的是，所提出的模型采用伪标签技术，其中包含项目采样，以保护隐私和增强培训。三个现实世界数据集的广泛实验可以证明FeSog在完成社会建议和隐私保护方面的有效性。我们是为我们所知，为社会建议提供联邦学习框架的第一项工作。

图形神经网络是一种强大的深度学习工具，用于建模图形结构化数据，在众多图形学习任务上表现出了出色的性能。为了解决深图学习中的数据噪声和数据稀缺性问题，最近有关图形数据的研究已加剧。但是，常规数据增强方法几乎无法处理具有多模式性的非欧几里得空间中定义的图形结构化数据。在这项调查中，我们正式提出了图数据扩展的问题，并进一步审查了代表性技术及其在不同深度学习问题中的应用。具体而言，我们首先提出了图形数据扩展技术的分类法，然后通过根据增强信息方式对相关工作进行分类，从而提供结构化的审查。此外，我们总结了以数据为中心的深图学习中两个代表性问题中图数据扩展的应用：（1）可靠的图形学习，重点是增强输入图的实用性以及通过图数据增强的模型容量； （2）低资源图学习，其针对通过图数据扩大标记的训练数据量表的目标。对于每个问题，我们还提供层次结构问题分类法，并审查与图数据增强相关的现有文献。最后，我们指出了有希望的研究方向和未来研究的挑战。

Graph neural networks (GNNs) have received remarkable success in link prediction (GNNLP) tasks. Existing efforts first predefine the subgraph for the whole dataset and then apply GNNs to encode edge representations by leveraging the neighborhood structure induced by the fixed subgraph. The prominence of GNNLP methods significantly relies on the adhoc subgraph. Since node connectivity in real-world graphs is complex, one shared subgraph is limited for all edges. Thus, the choices of subgraphs should be personalized to different edges. However, performing personalized subgraph selection is nontrivial since the potential selection space grows exponentially to the scale of edges. Besides, the inference edges are not available during training in link prediction scenarios, so the selection process needs to be inductive. To bridge the gap, we introduce a Personalized Subgraph Selector (PS2) as a plug-and-play framework to automatically, personally, and inductively identify optimal subgraphs for different edges when performing GNNLP. PS2 is instantiated as a bi-level optimization problem that can be efficiently solved differently. Coupling GNNLP models with PS2, we suggest a brand-new angle towards GNNLP training: by first identifying the optimal subgraphs for edges; and then focusing on training the inference model by using the sampled subgraphs. Comprehensive experiments endorse the effectiveness of our proposed method across various GNNLP backbones (GCN, GraphSage, NGCF, LightGCN, and SEAL) and diverse benchmarks (Planetoid, OGB, and Recommendation datasets). Our code is publicly available at \url{https://github.com/qiaoyu-tan/PS2}

图表学习目的旨在将节点内容与图形结构集成以学习节点/图表示。然而，发现许多现有的图形学习方法在具有高异性级别的数据上不能很好地工作，这是不同类标签之间很大比例的边缘。解决这个问题的最新努力集中在改善消息传递机制上。但是，尚不清楚异质性是否确实会损害图神经网络（GNNS）的性能。关键是要展现一个节点与其直接邻居之间的关系，例如它们是异性还是同质性？从这个角度来看，我们在这里研究了杂质表示在披露连接节点之间的关系之前/之后的杂音表示的作用。特别是，我们提出了一个端到端框架，该框架既学习边缘的类型（即异性/同质性），并利用边缘类型的信息来提高图形神经网络的表现力。我们以两种不同的方式实施此框架。具体而言，为了避免通过异质边缘传递的消息，我们可以通过删除边缘分类器鉴定的异性边缘来优化图形结构。另外，可以利用有关异性邻居的存在的信息进行特征学习，因此，设计了一种混合消息传递方法来汇总同质性邻居，并根据边缘分类使异性邻居多样化。广泛的实验表明，在整个同质级别的多个数据集上，通过在多个数据集上提出的框架对GNN的绩效提高了显着提高。

社交机器人被称为社交网络上的自动帐户，这些帐户试图像人类一样行事。尽管图形神经网络（GNNS）已大量应用于社会机器人检测领域，但大量的领域专业知识和先验知识大量参与了最先进的方法，以设计专门的神经网络体系结构，以设计特定的神经网络体系结构。分类任务。但是，在模型设计中涉及超大的节点和网络层，通常会导致过度平滑的问题和缺乏嵌入歧视。在本文中，我们提出了罗斯加斯（Rosgas），这是一种新颖的加强和自我监督的GNN Architecture搜索框架，以适应性地指出了最合适的多跳跃社区和GNN体系结构中的层数。更具体地说，我们将社交机器人检测问题视为以用户为中心的子图嵌入和分类任务。我们利用异构信息网络来通过利用帐户元数据，关系，行为特征和内容功能来展示用户连接。 Rosgas使用多代理的深钢筋学习（RL）机制来导航最佳邻域和网络层的搜索，以分别学习每个目标用户的子图嵌入。开发了一种用于加速RL训练过程的最接近的邻居机制，Rosgas可以借助自我监督的学习来学习更多的判别子图。 5个Twitter数据集的实验表明，Rosgas在准确性，训练效率和稳定性方面优于最先进的方法，并且在处理看不见的样本时具有更好的概括。

在本文中，我们研究了在非全粒图上进行节点表示学习的自我监督学习的问题。现有的自我监督学习方法通​​常假定该图是同质的，其中链接的节点通常属于同一类或具有相似的特征。但是，这种同质性的假设在现实图表中并不总是正确的。我们通过为图神经网络开发脱钩的自我监督学习（DSSL）框架来解决这个问题。 DSSL模仿了节点的生成过程和语义结构的潜在变量建模的链接，该过程将不同邻域之间的不同基础语义解散到自我监督的节点学习过程中。我们的DSSL框架对编码器不可知，不需要预制的增强，因此对不同的图表灵活。为了通过潜在变量有效地优化框架，我们得出了自我监督目标的较低范围的证据，并开发了具有变异推理的可扩展培训算法。我们提供理论分析，以证明DSSL享有更好的下游性能。与竞争性的自我监督学习基线相比，对各种类图基准的广泛实验表明，我们提出的框架可以显着取得更好的性能。