知识图（kgs）由于能够存储适用于许多领域的关系知识的能力，因此有助于多种应用。尽管在创造和维护方面进行了巨大的努力，但即使是最大的公斤也远非完整。因此，KG完成（KGC）已成为KG研究最关键的任务之一。最近，该领域的大量文献围绕着使用图神经网络（GNN）学习强大的嵌入，从而利用KGS中的拓扑结构。具体而言，已经做出了专门的努力，以扩展GNN，通常是为简单的同质和单一相关图设计的，以通过设计更复杂的聚合方案而不是相邻节点（关键的节点）（通过设计更复杂的聚合方案）（为GNN绩效）适当利用多关系信息。这些方法的成功自然归因于GNN在简单的多层感知器（MLP）模型上使用，这是由于它们的附加聚合功能。在这项工作中，我们发现简单的MLP模型能够达到与GNN的可比性能，这表明聚集可能并不像以前那样重要。通过进一步的探索，我们显示出仔细的评分功能和损失功能设计对KGC模型性能的影响要大得多，并且实际上不需要聚集。这表明了评分功能设计，损失功能设计和先前工作中的聚集结合，并有很有希望的见解当今最先进的KGC方法的可伸缩性，以及对KGC任务更合适的聚合设计的仔细注意明天。该实现可在线获得：https：//github.com/juanhui28/are_mpnns_helpful。

知识图（kgs）在许多应用程序中越来越重要的基础架构，同时患有不完整问题。 KG完成任务（KGC）自动根据不完整的KG预测缺失的事实。但是，现有方法在现实情况下表现不佳。一方面，他们的性能将巨大的降解，而kg的稀疏性越来越大。另一方面，预测的推理过程是一个不可信的黑匣子。本文提出了一个稀疏kgc的新型可解释模型，将高阶推理组合到图形卷积网络中，即HOGRN。它不仅可以提高减轻信息不足问题的概括能力，而且还可以在保持模型的有效性和效率的同时提供可解释性。有两个主要组件无缝集成以进行关节优化。首先，高阶推理成分通过捕获关系之间的内源性相关性来学习高质量的关系表示。这可以反映逻辑规则，以证明更广泛的事实是合理的。其次，更新组件的实体利用无重量的图形卷积网络（GCN）有效地模拟具有可解释性的KG结构。与常规方法不同，我们在没有其他参数的情况下在关系空间中进行实体聚合和基于设计组成的注意。轻巧的设计使HOGRN更适合稀疏设置。为了进行评估，我们进行了广泛的实验 - HOGRN对几个稀疏KG的结果表现出了令人印象深刻的改善（平均为9％的MRR增益）。进一步的消融和案例研究证明了主要成分的有效性。我们的代码将在接受后发布。

图表可以表示实体之间的关系信息，图形结构广泛用于许多智能任务，例如搜索，推荐和问题应答。然而，实际上大多数图形结构数据都遭受了不完整性，因此链路预测成为一个重要的研究问题。虽然提出了许多模型来用于链路预测，但以下两个问题仍然仍然较少：（1）大多数方法在不利用相关链路中使用丰富的信息，大多数方法都独立模型，并且（2）现有型号主要基于关联设计学习并没有考虑推理。通过这些问题，在本文中，我们提出了图表协作推理（GCR），它可以使用邻居与逻辑推理视角的关系中的关系推理。我们提供了一种简单的方法来将图形结构转换为逻辑表达式，以便链路预测任务可以转换为神经逻辑推理问题。我们应用逻辑受限的神经模块根据逻辑表达式构建网络架构，并使用反向传播以有效地学习模型参数，这在统一架构中桥接可分辨率的学习和象征性推理。为了展示我们工作的有效性，我们对图形相关任务进行实验，例如基于常用的基准数据集的链路预测和推荐，我们的图表合作推理方法实现了最先进的性能。

事实证明，信息提取方法可有效从结构化或非结构化数据中提取三重。以（头部实体，关系，尾部实体）形式组织这样的三元组的组织称为知识图（kgs）。当前的大多数知识图都是不完整的。为了在下游任务中使用kgs，希望预测kgs中缺少链接。最近，通过将实体和关系嵌入到低维的矢量空间中，旨在根据先前访问的三元组来预测三元组，从而对KGS表示不同的方法。根据如何独立或依赖对三元组进行处理，我们将知识图完成的任务分为传统和图形神经网络表示学习，并更详细地讨论它们。在传统的方法中，每个三重三倍将独立处理，并在基于GNN的方法中进行处理，三倍也考虑了他们的当地社区。查看全文

基于分解的模型（FMS），例如Distmult，在知识图完成（KGC）任务中享有持久的成功，通常优于图形神经网络（GNNS）。但是，与GNN不同，FMS难以合并节点特征并概括在归纳环境中看不见的节点。我们的工作通过提出重构GNN来弥合FMS和GNN之间的差距。这种新的体系结构借鉴了两种建模范式，以前在很大程度上被认为是不结合的。具体地说，使用消息通讯的形式主义，我们通过将梯度下降程序重新定义为消息传播操作来展示如何将FMS施加为GNN，这构成了我们重构GNN的基础。在众多成熟的KGC基准测试中，我们的重构GNN可以实现与FMS相当的转导性能以及最先进的归纳性能，同时使用较少的参数阶数。

知识图嵌入（KGE）旨在将实体和关系映射到低维空间，并成为知识图完成的\ textit {de-facto}标准。大多数现有的KGE方法都受到稀疏挑战的困扰，在这种挑战中，很难预测在知识图中频繁的实体。在这项工作中，我们提出了一个新颖的框架KRACL，以减轻具有图表和对比度学习的KG中广泛的稀疏性。首先，我们建议知识关系网络（KRAT）通过同时将相邻的三元组投射到不同的潜在空间，并通过注意机制共同汇总信息来利用图形上下文。 KRAT能够捕获不同上下文三联的微妙的语义信息和重要性，并利用知识图中的多跳信息。其次，我们通过将对比度损失与跨熵损失相结合，提出知识对比损失，这引入了更多的负样本，从而丰富了对稀疏实体的反馈。我们的实验表明，KRACL在各种标准知识基准中取得了卓越的结果，尤其是在WN18RR和NELL-995上，具有大量低级内实体。广泛的实验还具有KRACL在处理稀疏知识图和鲁棒性三元组的鲁棒性方面的有效性。

We present the OPEN GRAPH BENCHMARK (OGB), a diverse set of challenging and realistic benchmark datasets to facilitate scalable, robust, and reproducible graph machine learning (ML) research. OGB datasets are large-scale, encompass multiple important graph ML tasks, and cover a diverse range of domains, ranging from social and information networks to biological networks, molecular graphs, source code ASTs, and knowledge graphs. For each dataset, we provide a unified evaluation protocol using meaningful application-specific data splits and evaluation metrics. In addition to building the datasets, we also perform extensive benchmark experiments for each dataset. Our experiments suggest that OGB datasets present significant challenges of scalability to large-scale graphs and out-of-distribution generalization under realistic data splits, indicating fruitful opportunities for future research. Finally, OGB provides an automated end-to-end graph ML pipeline that simplifies and standardizes the process of graph data loading, experimental setup, and model evaluation. OGB will be regularly updated and welcomes inputs from the community. OGB datasets as well as data loaders, evaluation scripts, baseline code, and leaderboards are publicly available at https://ogb.stanford.edu.

最近，图形神经网络（GNNS）在各种现实情景中获得了普及。尽管取得了巨大成功，但GNN的建筑设计严重依赖于体力劳动。因此，自动化图形神经网络（Autopmn）引起了研究界的兴趣和关注，近年来显着改善。然而，现有的autopnn工作主要采用隐式方式来模拟并利用图中的链接信息，这对图中的链路预测任务不充分规范化，并限制了自动启动的其他图表任务。在本文中，我们介绍了一个新的Autognn工作，该工作明确地模拟了缩写为autogel的链接信息。以这种方式，AutoGel可以处理链路预测任务并提高Autognns对节点分类和图形分类任务的性能。具体地，AutoGel提出了一种新的搜索空间，包括层内和层间设计中的各种设计尺寸，并采用更强大的可分辨率搜索算法，以进一步提高效率和有效性。基准数据集的实验结果展示了自动池上的优势在几个任务中。

Knowledge graph (KG) link prediction aims to infer new facts based on existing facts in the KG. Recent studies have shown that using the graph neighborhood of a node via graph neural networks (GNNs) provides more useful information compared to just using the query information. Conventional GNNs for KG link prediction follow the standard message-passing paradigm on the entire KG, which leads to over-smoothing of representations and also limits their scalability. On a large scale, it becomes computationally expensive to aggregate useful information from the entire KG for inference. To address the limitations of existing KG link prediction frameworks, we propose a novel retrieve-and-read framework, which first retrieves a relevant subgraph context for the query and then jointly reasons over the context and the query with a high-capacity reader. As part of our exemplar instantiation for the new framework, we propose a novel Transformer-based GNN as the reader, which incorporates graph-based attention structure and cross-attention between query and context for deep fusion. This design enables the model to focus on salient context information relevant to the query. Empirical results on two standard KG link prediction datasets demonstrate the competitive performance of the proposed method.

链接预测的任务旨在解决由于难以从现实世界中收集事实而引起的不完整知识的问题。基于GCN的模型由于其复杂性而广泛应用于解决链接预测问题，但基于GCN的模型在结构和培训过程中遇到了两个问题。 1）GCN层的转化方法在基于GCN的知识表示模型中变得越来越复杂； 2）由于知识图收集过程的不完整，标记为负样本中有许多未收集的真实事实。因此，本文研究了相邻节点的信息聚合系数（自我注意）的特征，并重新设计了GAT结构的自我注意力。同时，受到人类思维习惯的启发，我们在预训练的模型上设计了一种半监督的自训练方法。基准数据集FB15K-237和WN18RR上的实验结果表明，我们提出的自我发项机制和半监督的自我训练方法可以有效地提高链接预测任务的性能。例如，如果您查看FB15K-237，则建议的方法将@1的命中率提高了约30％。

In knowledge graph completion (KGC), predicting triples involving emerging entities and/or relations, which are unseen when the KG embeddings are learned, has become a critical challenge. Subgraph reasoning with message passing is a promising and popular solution. Some recent methods have achieved good performance, but they (i) usually can only predict triples involving unseen entities alone, failing to address more realistic fully inductive situations with both unseen entities and unseen relations, and (ii) often conduct message passing over the entities with the relation patterns not fully utilized. In this study, we propose a new method named RMPI which uses a novel Relational Message Passing network for fully Inductive KGC. It passes messages directly between relations to make full use of the relation patterns for subgraph reasoning with new techniques on graph transformation, graph pruning, relation-aware neighborhood attention, addressing empty subgraphs, etc., and can utilize the relation semantics defined in the ontological schema of KG. Extensive evaluation on multiple benchmarks has shown the effectiveness of techniques involved in RMPI and its better performance compared with the existing methods that support fully inductive KGC. RMPI is also comparable to the state-of-the-art partially inductive KGC methods with very promising results achieved. Our codes and data are available at https://github.com/zjukg/RMPI.

开发用于训练图形的可扩展解决方案，用于链路预测任务的Neural网络（GNNS）由于具有高计算成本和巨大内存占用的高数据依赖性，因此由于高数据依赖性而具有挑战性。我们提出了一种新的方法，用于缩放知识图形嵌入模型的培训，以满足这些挑战。为此，我们提出了以下算法策略：自给自足的分区，基于约束的负采样和边缘迷你批量培训。两者都是分区策略和基于约束的负面采样，避免在训练期间交叉分区数据传输。在我们的实验评估中，我们表明，我们基于GNN的知识图形嵌入模型的缩放解决方案在基准数据集中实现了16倍的加速，同时将可比的模型性能作为标准度量的非分布式方法。

链接预测是图形上非常基本的任务。在本文中受到传统路径的方法的启发，我们提出了一种基于链路预测路径的一般和灵活的表示学习框架。具体地，我们将一对节点的表示定义为所有路径表示的广义和，每个路径表示为路径中的边缘表示的广义乘积。通过贝尔曼-Ford算法来解决最短路径问题，我们表明，所提出的路径配方可以通过广义的Bellman-Ford算法有效地解决。为了进一步提高路径制构的能力，我们提出了神经贝尔曼 - 福特网络（NBFNET），这是一种全图神经网络框架，其解决了通过广义Bellman-Ford算法中的学习运算符的路径制定。 NBFNET使用3个神经元件，即指示器，消息和聚合函数参数，即分别对应于边界条件，乘法运算符和求和运算符。 NBFNET非常一般，涵盖许多传统的基于路径的方法，并且可以应用于转导和归纳设置的同质图和多关系图（例如，知识图表）。两个均匀图表和知识图表的实验表明，所提出的NBFNET在转换和归纳设置中的大幅度优于现有方法，实现了新的最先进的结果。

归纳链路预测（ILP）是考虑到新兴知识图（kgs）中未见实体的联系，考虑到KGS的发展性质。一个更具挑战性的场景是，新兴的kg仅由看不见的实体组成，被称为已断开新兴kgs（DEKGS）。 DEKGS的现有研究仅专注于预测封闭链接，即预测新兴KG内部的联系。到目前为止，先前的工作尚未对将进化信息从原始KG到DEKG进行进化信息。为了填补空白，我们提出了一个名为DEKG-ILP的新型模型（由以下两个组成部分组成的dekg-ilp（断开新兴知识图形的归纳链路预测）。 （1）模块CLRM（基于对比的关系特定特征特征建模）是为了提取基于全球关系的语义特征而开发的，它们在原始KGS和DEKGS之间以新颖的采样策略共享。 （2）提出了模块GSM（基于GNN的子图建模），以提取围绕KGS中每个链接的局部子图拓扑信息。在几个基准数据集上进行的广泛实验表明，与最新方法相比，DEKG-ILP具有明显的性能改进，用于封闭和桥接链路预测。源代码可在线获得。

最近公布的知识图形嵌入模型的实施，培训和评估的异质性已经公平和彻底的比较困难。为了评估先前公布的结果的再现性，我们在Pykeen软件包中重新实施和评估了21个交互模型。在这里，我们概述了哪些结果可以通过其报告的超参数再现，这只能以备用的超参数再现，并且无法再现，并且可以提供洞察力，以及为什么会有这种情况。然后，我们在四个数据集上进行了大规模的基准测试，其中数千个实验和24,804 GPU的计算时间。我们展示了最佳实践，每个模型的最佳配置以及可以通过先前发布的最佳配置进行改进的洞察。我们的结果强调了模型架构，训练方法，丢失功能和逆关系显式建模的组合对于模型的性能来说至关重要，而不仅由模型架构决定。我们提供了证据表明，在仔细配置时，若干架构可以获得对最先进的结果。我们制定了所有代码，实验配置，结果和分析，导致我们在https://github.com/pykeen/pykeen和https://github.com/pykeen/benchmarking中获得的解释

知识图（kg）以其大规模和知识推断能力而闻名，但也因与之相关的不完整而臭名昭著。由于关系长尾分布在公斤中的长尾分布，因此很少有人提出完成kg的完成，以减轻不完整和扩大kg的覆盖范围。它旨在对涉及新关系的三胞胎进行预测，当时仅提供少量培训三胞胎作为参考。以前的方法主要集中在设计本地邻居聚合器以学习实体级信息和/或在三胞胎级别实现顺序依赖性假设以学习元关系信息。但是，对于学习几乎没有射击关系的元表示，很大程度上忽略了宝贵的成对三重级交互和上下文级别的关系信息。在本文中，我们提出了一种分层的关系学习方法（雇用），以完成几次kg完成。通过共同捕获三个级别的关系信息（实体级别，三胞胎级别和上下文级别），雇用可以有效地学习和完善几乎没有射击关系的元表示，因此可以很好地推广到新的看不见的关系。在两个基准数据集上进行的广泛实验验证了雇用与其他最先进方法的优势。

虽然知识图表包含各种实体的丰富语义知识和它们之间的关系信息，但时间知识图（TKG）进一步表明实体随时间的相互作用。为了研究如何更好地模范TKG，自动时间知识图完成（TKGC）已经获得了很大的兴趣。最近的TKGC方法旨在整合先进的深度学习技术，例如注意机制和变压器，提高模型性能。然而，我们发现与采用各种复杂模块相比，更有利的是更好地利用沿时间轴的全部时间信息。在本文中，我们为TKGC提出了一个简单但强大的图形编码器Targcn。 targcn是参数效率，它广泛利用了整个时间上下文的信息。我们在三个基准数据集执行实验。与最先进的模型相比，我们的模型可以在GDELT数据集中实现42％以上的相对改善。同时，它优于ICEWS05-15数据集的最强大的基线，参数减少约为18.5％。

知识图（KG）嵌入寻求学习实体和关系的向量表示。传统的模型理由是图形结构，但它们遭受了图形不完整和长尾实体的问题。最近的研究使用了预训练的语言模型根据实体和关系的文本信息来学习嵌入，但它们无法利用图形结构。在论文中，我们从经验上表明，这两种特征是KG嵌入的互补性。为此，我们提出了Cole，Cole是一种用于嵌入KG的共同介绍方法，可利用图形结构和文本信息的互补性。其图形嵌入模型使用变压器从其邻域子图中重建实体的表示。其文本嵌入模型使用预训练的语言模型来从其名称，描述和关系邻居的软提示中生成实体表示。为了让两个模型相互推广，我们提出了共同依据学习，使他们可以从彼此的预测逻辑中提取选择性知识。在我们的共同阶段学习中，每个模型既是老师又是学生。基准数据集上的实验表明，这两个模型的表现优于其相关基线，而与共同介绍学习的集合方法Cole可以推进KG嵌入的最先进。

知识图（kgs）因其学习单一关系事实的表示能力而获得了突出。最近，研究重点是建模超级关系的事实，这些事实超出了单一关系事实的限制，使我们能够代表更复杂和现实的信息。但是，现有的超级关系中学习表征的方法主要集中于增强从预选赛到基础三元组的沟通，同时忽略了从基本三重限制者到资格赛的信息流。这可能会导致次级预选赛表示，尤其是在提出大量预选赛时。它促使我们设计一个利用多个聚合器来学习超级关系事实的表示框架：从基本三重的角度来看，一个框架从资格符的角度来看。实验证明了我们框架对多个数据集的超相关知识图完成的有效性。此外，我们进行了一项消融研究，以验证各个组件在我们的框架中的重要性。可以在\ url {https://github.com/harryshomer/quad}找到复制我们的结果的代码。

本文介绍了$ \ mu \ text {kg} $，一个开源python库，用于在知识图上进行表示。 $ \ mu \ text {kg} $支持通过多源知识图（以及单个知识图），多个深度学习库（Pytorch和Tensorflow2），多个嵌入任务（链接预​​测，实体对准，实体键入，实体键入），支持联合表示。 ，以及多源链接预测）以及多个并行计算模式（多进程和多GPU计算）。它目前实现26个流行知识图嵌入模型，并支持16个基准数据集。 $ \ mu \ text {kg} $提供了具有不同任务的简化管道的嵌入技术的高级实现。它还带有高质量的文档，以易于使用。 $ \ mu \ text {kg} $比现有的知识图嵌入库更全面。它对于对各种嵌入模型和任务进行彻底比较和分析非常有用。我们表明，共同学习的嵌入可以极大地帮助知识驱动的下游任务，例如多跳知识图形答案。我们将与相关字段中的最新发展保持一致，并将其纳入$ \ mu \ text {kg} $中。