我们可以将异源图结构与文本结合在一起以学习高质量的语义和行为表示吗？图形神经网络（GNN）S编码数值节点属性和图形结构，以在各种监督的学习任务中实现令人印象深刻的性能。当前的GNN方法受到文本特征的挑战，文本特征通常需要编码为数值向量，然后再提供给GNN，这可能会导致一些信息损失。在本文中，我们提出了一个有效有效的框架，称为语言模型GNN（LM-GNN），以共同训练大型语言模型和图形神经网络。我们的框架中的有效性是通过首先使用异质图信息，然后使用GNN模型应用BERT模型的阶段微调来实现的。提出了几种系统和设计优化，以实现可扩展有效的培训。 LM-GNN可容纳节点和边缘分类以及链接预测任务。我们在不同数据集的性能中评估了LM-GNN框架，并展示了所提出方法的有效性。 LM-GNN在亚马逊查询购买应用程序中提供竞争结果。

事实证明，信息提取方法可有效从结构化或非结构化数据中提取三重。以（头部实体，关系，尾部实体）形式组织这样的三元组的组织称为知识图（kgs）。当前的大多数知识图都是不完整的。为了在下游任务中使用kgs，希望预测kgs中缺少链接。最近，通过将实体和关系嵌入到低维的矢量空间中，旨在根据先前访问的三元组来预测三元组，从而对KGS表示不同的方法。根据如何独立或依赖对三元组进行处理，我们将知识图完成的任务分为传统和图形神经网络表示学习，并更详细地讨论它们。在传统的方法中，每个三重三倍将独立处理，并在基于GNN的方法中进行处理，三倍也考虑了他们的当地社区。查看全文

Knowledge graphs (KG) have served as the key component of various natural language processing applications. Commonsense knowledge graphs (CKG) are a special type of KG, where entities and relations are composed of free-form text. However, previous works in KG completion and CKG completion suffer from long-tail relations and newly-added relations which do not have many know triples for training. In light of this, few-shot KG completion (FKGC), which requires the strengths of graph representation learning and few-shot learning, has been proposed to challenge the problem of limited annotated data. In this paper, we comprehensively survey previous attempts on such tasks in the form of a series of methods and applications. Specifically, we first introduce FKGC challenges, commonly used KGs, and CKGs. Then we systematically categorize and summarize existing works in terms of the type of KGs and the methods. Finally, we present applications of FKGC models on prediction tasks in different areas and share our thoughts on future research directions of FKGC.

利用基于文本的节点属性的节点分类具有许多真实的应用程序，从学术引用图中的纸张主题到社交媒体网络中用户特征的分类范围。最新的节点分类框架（例如Giant）使用两阶段管道：首先嵌入图节点的文本属性，然后将所得嵌入的嵌入到节点分类模型中。在本文中，我们消除了这两个阶段，而是开发了建立在巨人基于端到端巨型（E2EG）的端到端节点分类模型。在我们的方法中，主体和辅助分类目标的串联利用导致了更强大的模型，从而使BERT主链可以切换为蒸馏编码器，其参数数量减少了25％-40％。此外，模型的端到端性质提高了易用性，因为它避免了链接多个模型进行节点分类的需求。与OGBN-ARXIV和OGBN产品数据集的巨型+MLP基线相比，我们的模型能够在换电环境（+0.5％）中获得稍好的精度，同时将模型培训时间最多减少40％。我们的模型也适用于电感设置，优于巨型 +MLP高达 +2.23％。

将包含文本和不同边缘类型的文本的信息节点连接的异质网络通常用于在各种现实世界应用程序中存储和处理信息。图形神经网络（GNNS）及其双曲线变体提供了一种有希望的方法，可以通过邻域聚集和分层特征提取在低维的潜在空间中编码此类网络。但是，这些方法通常忽略Metapath结构和可用的语义信息。此外，这些方法对训练数据中存在的噪声很敏感。为了解决这些局限性，在本文中，我们提出了富含文本的稀疏双曲图卷积网络（TESH-GCN），以使用语义信号捕获图形的Metapath结构，并进一步改善大型异质图中的预测。在TESH-GCN中，我们提取语义节点信息，该信息连接信号是从稀疏的双曲线图卷积层中从稀疏邻接张量中提取相关节点的局部邻域和图形级Metapath特征。这些提取的功能与语言模型的语义特征（用于鲁棒性）结合使用，用于最终下游任务。各种异质图数据集的实验表明，我们的模型在链接预测任务上的大幅度优于当前最新方法。我们还报告说，与现有的双曲线方法相比，训练时间和模型参数均减少了，通过重新的双曲线图卷积。此外，我们通过在图形结构和文本中使用不同级别的模拟噪声来说明模型的鲁棒性，并通过分析提取的Metapaths来解释Tesh-GCN的预测机制。

Graph structure learning (GSL), which aims to learn the adjacency matrix for graph neural networks (GNNs), has shown great potential in boosting the performance of GNNs. Most existing GSL works apply a joint learning framework where the estimated adjacency matrix and GNN parameters are optimized for downstream tasks. However, as GSL is essentially a link prediction task, whose goal may largely differ from the goal of the downstream task. The inconsistency of these two goals limits the GSL methods to learn the potential optimal graph structure. Moreover, the joint learning framework suffers from scalability issues in terms of time and space during the process of estimation and optimization of the adjacency matrix. To mitigate these issues, we propose a graph structure refinement (GSR) framework with a pretrain-finetune pipeline. Specifically, The pre-training phase aims to comprehensively estimate the underlying graph structure by a multi-view contrastive learning framework with both intra- and inter-view link prediction tasks. Then, the graph structure is refined by adding and removing edges according to the edge probabilities estimated by the pre-trained model. Finally, the fine-tuning GNN is initialized by the pre-trained model and optimized toward downstream tasks. With the refined graph structure remaining static in the fine-tuning space, GSR avoids estimating and optimizing graph structure in the fine-tuning phase which enjoys great scalability and efficiency. Moreover, the fine-tuning GNN is boosted by both migrating knowledge and refining graphs. Extensive experiments are conducted to evaluate the effectiveness (best performance on six benchmark datasets), efficiency, and scalability (13.8x faster using 32.8% GPU memory compared to the best GSL baseline on Cora) of the proposed model.

已经提出了图形神经网络（GNN）预训练方法来增强GNN的能力。具体而言，首先在大规模的未标记图上预先训练GNN，然后在单独的小标记图上进行微调，以用于下游应用程序，例如节点分类。一种流行的预训练方法是掩盖一部分边缘，并接受了GNN的培训以恢复它们。但是，这种生成方法遭受了图不匹配。也就是说，输入到GNN偏离原始图的蒙版图。为了减轻此问题，我们提出了DIP-GNN（图神经网络的歧视性预训练）。具体来说，我们训练一个发电机以恢复蒙版边缘的身份，同时，我们训练一个判别器，以区分生成的边缘与原始图的边缘。在我们的框架中，鉴别器看到的图形更好地匹配原始图，因为生成器可以恢复蒙版边缘的一部分。大规模同质和异质图的广泛实验证明了该框架的有效性。

异质图卷积网络在解决异质网络数据的各种网络分析任务方面已广受欢迎，从链接预测到节点分类。但是，大多数现有作品都忽略了多型节点之间的多重网络的关系异质性，而在元路径中，元素嵌入中关系的重要性不同，这几乎无法捕获不同关系跨不同关系的异质结构信号。为了应对这一挑战，这项工作提出了用于异质网络嵌入的多重异质图卷积网络（MHGCN）。我们的MHGCN可以通过多层卷积聚合自动学习多重异质网络中不同长度的有用的异质元路径相互作用。此外，我们有效地将多相关结构信号和属性语义集成到学习的节点嵌入中，并具有无监督和精选的学习范式。在具有各种网络分析任务的五个现实世界数据集上进行的广泛实验表明，根据所有评估指标，MHGCN与最先进的嵌入基线的优势。

最近提出了基于子图的图表学习（SGRL）来应对规范图神经网络（GNNS）遇到的一些基本挑战，并在许多重要的数据科学应用（例如链接，关系和主题预测）中证明了优势。但是，当前的SGRL方法遇到了可伸缩性问题，因为它们需要为每个培训或测试查询提取子图。扩大规范GNN的最新解决方案可能不适用于SGRL。在这里，我们通过共同设计学习算法及其系统支持，为可扩展的SGRL提出了一种新颖的框架Surel。 Surel采用基于步行的子图表分解，并将步行重新形成子图，从而大大降低了子图提取的冗余并支持并行计算。具有数百万个节点和边缘的六个同质，异质和高阶图的实验证明了Surel的有效性和可扩展性。特别是，与SGRL基线相比，Surel可以实现10 $ \ times $ Quad-Up，具有可比甚至更好的预测性能；与规范GNN相比，Surel可实现50％的预测准确性。

近年来，异构图形神经网络（HGNNS）一直在开花，但每个工作所使用的独特数据处理和评估设置会让他们的进步完全了解。在这项工作中，我们通过使用其官方代码，数据集，设置和超参数来展示12个最近的HGNN的系统再现，揭示了关于HGNN的进展的令人惊讶的结果。我们发现，由于设置不当，简单的均匀GNN，例如GCN和GAT在很大程度上低估了。具有适当输入的GAT通常可以匹配或优于各种场景的所有现有HGNN。为了促进稳健和可重复的HGNN研究，我们构建异构图形基准（HGB），由具有三个任务的11个不同数据集组成。 HGB标准化异构图数据分割，特征处理和性能评估的过程。最后，我们介绍了一个简单但非常强大的基线简单 - HGN - 这显着优于HGB上以前的所有模型 - 以加速未来HGNN的进步。

We present the OPEN GRAPH BENCHMARK (OGB), a diverse set of challenging and realistic benchmark datasets to facilitate scalable, robust, and reproducible graph machine learning (ML) research. OGB datasets are large-scale, encompass multiple important graph ML tasks, and cover a diverse range of domains, ranging from social and information networks to biological networks, molecular graphs, source code ASTs, and knowledge graphs. For each dataset, we provide a unified evaluation protocol using meaningful application-specific data splits and evaluation metrics. In addition to building the datasets, we also perform extensive benchmark experiments for each dataset. Our experiments suggest that OGB datasets present significant challenges of scalability to large-scale graphs and out-of-distribution generalization under realistic data splits, indicating fruitful opportunities for future research. Finally, OGB provides an automated end-to-end graph ML pipeline that simplifies and standardizes the process of graph data loading, experimental setup, and model evaluation. OGB will be regularly updated and welcomes inputs from the community. OGB datasets as well as data loaders, evaluation scripts, baseline code, and leaderboards are publicly available at https://ogb.stanford.edu.

开发用于训练图形的可扩展解决方案，用于链路预测任务的Neural网络（GNNS）由于具有高计算成本和巨大内存占用的高数据依赖性，因此由于高数据依赖性而具有挑战性。我们提出了一种新的方法，用于缩放知识图形嵌入模型的培训，以满足这些挑战。为此，我们提出了以下算法策略：自给自足的分区，基于约束的负采样和边缘迷你批量培训。两者都是分区策略和基于约束的负面采样，避免在训练期间交叉分区数据传输。在我们的实验评估中，我们表明，我们基于GNN的知识图形嵌入模型的缩放解决方案在基准数据集中实现了16倍的加速，同时将可比的模型性能作为标准度量的非分布式方法。

Knowledge graph (KG) link prediction aims to infer new facts based on existing facts in the KG. Recent studies have shown that using the graph neighborhood of a node via graph neural networks (GNNs) provides more useful information compared to just using the query information. Conventional GNNs for KG link prediction follow the standard message-passing paradigm on the entire KG, which leads to over-smoothing of representations and also limits their scalability. On a large scale, it becomes computationally expensive to aggregate useful information from the entire KG for inference. To address the limitations of existing KG link prediction frameworks, we propose a novel retrieve-and-read framework, which first retrieves a relevant subgraph context for the query and then jointly reasons over the context and the query with a high-capacity reader. As part of our exemplar instantiation for the new framework, we propose a novel Transformer-based GNN as the reader, which incorporates graph-based attention structure and cross-attention between query and context for deep fusion. This design enables the model to focus on salient context information relevant to the query. Empirical results on two standard KG link prediction datasets demonstrate the competitive performance of the proposed method.

链接预测是一项重要的任务，在各个域中具有广泛的应用程序。但是，大多数现有的链接预测方法都假定给定的图遵循同质的假设，并设计基于相似性的启发式方法或表示学习方法来预测链接。但是，许多现实世界图是异性图，同义假设不存在，这挑战了现有的链接预测方法。通常，在异性图中，有许多引起链接形成的潜在因素，并且两个链接的节点在一个或两个因素中往往相似，但在其他因素中可能是不同的，导致总体相似性较低。因此，一种方法是学习每个节点的分离表示形式，每个矢量捕获一个因子上的节点的潜在表示，这铺平了一种方法来模拟异性图中的链接形成，从而导致更好的节点表示学习和链接预测性能。但是，对此的工作非常有限。因此，在本文中，我们研究了一个新的问题，该问题是在异性图上进行链接预测的分离表示学习。我们提出了一种新颖的框架分解，可以通过建模链接形成并执行感知因素的消息来学习以促进链接预测来学习解开的表示形式。在13个现实世界数据集上进行的广泛实验证明了Disenlink对异性恋和血友病图的链接预测的有效性。我们的代码可从https://github.com/sjz5202/disenlink获得

用于异质图嵌入的图形神经网络是通过探索异质图的异质性和语义来将节点投射到低维空间中。但是，一方面，大多数现有的异质图嵌入方法要么不足以对特定语义下的局部结构进行建模，要么在汇总信息时忽略异质性。另一方面，来自多种语义的表示形式未全面整合以获得多功能节点嵌入。为了解决该问题，我们通过引入多视图表示学习的概念，提出了一个具有多视图表示学习（名为MV-HETGNN）的异质图神经网络（称为MV-HETGNN）。所提出的模型由节点特征转换，特定于视图的自我图编码和自动多视图融合，以彻底学习复杂的结构和语义信息，以生成全面的节点表示。在三个现实世界的异质图数据集上进行的广泛实验表明，所提出的MV-HETGNN模型始终优于各种下游任务中所有最新的GNN基准，例如节点分类，节点群集和链接预测。

时间图代表实体之间的动态关系，并发生在许多现实生活中的应用中，例如社交网络，电子商务，通信，道路网络，生物系统等。他们需要根据其生成建模和表示学习的研究超出与静态图有关的研究。在这项调查中，我们全面回顾了近期针对处理时间图提出的神经时间依赖图表的学习和生成建模方法。最后，我们确定了现有方法的弱点，并讨论了我们最近发表的论文提格的研究建议[24]。

学术知识图（KGS）提供了代表科学出版物编码的知识的丰富的结构化信息来源。随着出版的科学文学的庞大，包括描述科学概念的过多的非均匀实体和关系，这些公斤本质上是不完整的。我们呈现Exbert，一种利用预先训练的变压器语言模型来执行学术知识图形完成的方法。我们将知识图形的三元组模型为文本并执行三重分类（即，属于KG或不属于KG）。评估表明，在三重分类，链路预测和关系预测的任务中，Exbert在三个学术kg完成数据集中表现出其他基线。此外，我们将两个学术数据集作为研究界的资源，从公共公共公报和在线资源中收集。

我们从第一批原则提供了一个理论分析，该原则在预训练和微调性能的关系归纳偏差之间建立了新的联系，同时提供了一般预训练模型的延长视图。我们进一步探讨了现有的预训练方法如何强加相关的归纳偏差，发现绝大多数现有方法几乎专注于以帧内方式建模的关系，而不是每种样本方式。我们建立了这些调查结果，这些发现与跨越3个数据模式和10个下游任务的标准基准测试。这些调查验证了我们的理论分析，并提供了一种方法，以产生新的预训练方法，该方法与现有的方法符合用户指定的关系图。

基于分解的模型（FMS），例如Distmult，在知识图完成（KGC）任务中享有持久的成功，通常优于图形神经网络（GNNS）。但是，与GNN不同，FMS难以合并节点特征并概括在归纳环境中看不见的节点。我们的工作通过提出重构GNN来弥合FMS和GNN之间的差距。这种新的体系结构借鉴了两种建模范式，以前在很大程度上被认为是不结合的。具体地说，使用消息通讯的形式主义，我们通过将梯度下降程序重新定义为消息传播操作来展示如何将FMS施加为GNN，这构成了我们重构GNN的基础。在众多成熟的KGC基准测试中，我们的重构GNN可以实现与FMS相当的转导性能以及最先进的归纳性能，同时使用较少的参数阶数。

动态图形表示学习是具有广泛应用程序的重要任务。以前关于动态图形学习的方法通常对嘈杂的图形信息（如缺失或虚假连接）敏感，可以产生退化的性能和泛化。为了克服这一挑战，我们提出了一种基于变换器的动态图表学习方法，命名为动态图形变换器（DGT），带有空间 - 时间编码，以有效地学习图形拓扑并捕获隐式链接。为了提高泛化能力，我们介绍了两个补充自我监督的预训练任务，并表明共同优化了两种预训练任务，通过信息理论分析导致较小的贝叶斯错误率。我们还提出了一个时间联盟图形结构和目标 - 上下文节点采样策略，用于高效和可扩展的培训。与现实世界数据集的广泛实验说明了与几个最先进的基线相比，DGT呈现出优异的性能。