在本文中，我们介绍了一种新的基于GNN的知识图形嵌入模型，命名为WGE，以捕获聚焦的图形结构和关联的图形结构。特别是，鉴于知识图形，WGE构建一个无向实体的聚焦图，该图形将实体视为节点。此外，WGE还从关联的约束构造另一个无向图形，将实体和关系视为节点。然后，WGE提出了一种新的架构，即直接在这两个单个图表上使用两个vanilla GNNS，以更好地更新实体和关系的矢量表示，然后是加权得分函数来返回三重分数。实验结果表明，WGE在三个新的和具有挑战性的基准数据集Codex上获得最先进的表演，用于知识图形完成。

我们介绍了一个名为Nuge的新型嵌入式模型，旨在将实体和关系之间的共同发生整合到图形神经网络中，以改善知识图形完成（即，链接预测）。鉴于知识图形，Nuge将单个图形构建，考虑实体和关系作为单个节点。然后，Nuge基于实体和关系的共同发生来计算节点之间的边缘的权重。接下来，Nuge提出双季型图形神经网络（DualQGNN），并利用DualQGNN更新实体和关系节点的向量表示。然后采用分数函数来产生三重分数。综合实验结果表明，NOGE在三个新的和困难的基准数据集Codex上获得最先进的结果，用于知识图形完成。

近年来，人们对少量知识图（FKGC）的兴趣日益增加，该图表旨在推断出关于该关系的一些参考三元组，从而推断出不见了的查询三倍。现有FKGC方法的主要重点在于学习关系表示，可以反映查询和参考三元组共享的共同信息。为此，这些方法从头部和尾部实体的直接邻居中学习实体对表示，然后汇总参考实体对的表示。但是，只有从直接邻居那里学到的实体对代表可能具有较低的表现力，当参与实体稀疏直接邻居或与其他实体共享一个共同的当地社区。此外，仅仅对头部和尾部实体的语义信息进行建模不足以准确推断其关系信息，尤其是当它们具有多个关系时。为了解决这些问题，我们提出了一个特定于关系的上下文学习（RSCL）框架，该框架利用了三元组的图形上下文，以学习全球和本地关系特定的表示形式，以使其几乎没有相关关系。具体而言，我们首先提取每个三倍的图形上下文，这可以提供长期实体关系依赖性。为了编码提取的图形上下文，我们提出了一个分层注意网络，以捕获三元组的上下文信息并突出显示实体的有价值的本地邻里信息。最后，我们设计了一个混合注意聚合器，以评估全球和本地级别的查询三元组的可能性。两个公共数据集的实验结果表明，RSCL的表现优于最先进的FKGC方法。

知识图（kgs）在许多应用程序中越来越重要的基础架构，同时患有不完整问题。 KG完成任务（KGC）自动根据不完整的KG预测缺失的事实。但是，现有方法在现实情况下表现不佳。一方面，他们的性能将巨大的降解，而kg的稀疏性越来越大。另一方面，预测的推理过程是一个不可信的黑匣子。本文提出了一个稀疏kgc的新型可解释模型，将高阶推理组合到图形卷积网络中，即HOGRN。它不仅可以提高减轻信息不足问题的概括能力，而且还可以在保持模型的有效性和效率的同时提供可解释性。有两个主要组件无缝集成以进行关节优化。首先，高阶推理成分通过捕获关系之间的内源性相关性来学习高质量的关系表示。这可以反映逻辑规则，以证明更广泛的事实是合理的。其次，更新组件的实体利用无重量的图形卷积网络（GCN）有效地模拟具有可解释性的KG结构。与常规方法不同，我们在没有其他参数的情况下在关系空间中进行实体聚合和基于设计组成的注意。轻巧的设计使HOGRN更适合稀疏设置。为了进行评估，我们进行了广泛的实验 - HOGRN对几个稀疏KG的结果表现出了令人印象深刻的改善（平均为9％的MRR增益）。进一步的消融和案例研究证明了主要成分的有效性。我们的代码将在接受后发布。

事实证明，信息提取方法可有效从结构化或非结构化数据中提取三重。以（头部实体，关系，尾部实体）形式组织这样的三元组的组织称为知识图（kgs）。当前的大多数知识图都是不完整的。为了在下游任务中使用kgs，希望预测kgs中缺少链接。最近，通过将实体和关系嵌入到低维的矢量空间中，旨在根据先前访问的三元组来预测三元组，从而对KGS表示不同的方法。根据如何独立或依赖对三元组进行处理，我们将知识图完成的任务分为传统和图形神经网络表示学习，并更详细地讨论它们。在传统的方法中，每个三重三倍将独立处理，并在基于GNN的方法中进行处理，三倍也考虑了他们的当地社区。查看全文

链接预测的任务旨在解决由于难以从现实世界中收集事实而引起的不完整知识的问题。基于GCN的模型由于其复杂性而广泛应用于解决链接预测问题，但基于GCN的模型在结构和培训过程中遇到了两个问题。 1）GCN层的转化方法在基于GCN的知识表示模型中变得越来越复杂； 2）由于知识图收集过程的不完整，标记为负样本中有许多未收集的真实事实。因此，本文研究了相邻节点的信息聚合系数（自我注意）的特征，并重新设计了GAT结构的自我注意力。同时，受到人类思维习惯的启发，我们在预训练的模型上设计了一种半监督的自训练方法。基准数据集FB15K-237和WN18RR上的实验结果表明，我们提出的自我发项机制和半监督的自我训练方法可以有效地提高链接预测任务的性能。例如，如果您查看FB15K-237，则建议的方法将@1的命中率提高了约30％。

知识图嵌入（KGE）旨在将实体和关系映射到低维空间，并成为知识图完成的\ textit {de-facto}标准。大多数现有的KGE方法都受到稀疏挑战的困扰，在这种挑战中，很难预测在知识图中频繁的实体。在这项工作中，我们提出了一个新颖的框架KRACL，以减轻具有图表和对比度学习的KG中广泛的稀疏性。首先，我们建议知识关系网络（KRAT）通过同时将相邻的三元组投射到不同的潜在空间，并通过注意机制共同汇总信息来利用图形上下文。 KRAT能够捕获不同上下文三联的微妙的语义信息和重要性，并利用知识图中的多跳信息。其次，我们通过将对比度损失与跨熵损失相结合，提出知识对比损失，这引入了更多的负样本，从而丰富了对稀疏实体的反馈。我们的实验表明，KRACL在各种标准知识基准中取得了卓越的结果，尤其是在WN18RR和NELL-995上，具有大量低级内实体。广泛的实验还具有KRACL在处理稀疏知识图和鲁棒性三元组的鲁棒性方面的有效性。

In knowledge graph completion (KGC), predicting triples involving emerging entities and/or relations, which are unseen when the KG embeddings are learned, has become a critical challenge. Subgraph reasoning with message passing is a promising and popular solution. Some recent methods have achieved good performance, but they (i) usually can only predict triples involving unseen entities alone, failing to address more realistic fully inductive situations with both unseen entities and unseen relations, and (ii) often conduct message passing over the entities with the relation patterns not fully utilized. In this study, we propose a new method named RMPI which uses a novel Relational Message Passing network for fully Inductive KGC. It passes messages directly between relations to make full use of the relation patterns for subgraph reasoning with new techniques on graph transformation, graph pruning, relation-aware neighborhood attention, addressing empty subgraphs, etc., and can utilize the relation semantics defined in the ontological schema of KG. Extensive evaluation on multiple benchmarks has shown the effectiveness of techniques involved in RMPI and its better performance compared with the existing methods that support fully inductive KGC. RMPI is also comparable to the state-of-the-art partially inductive KGC methods with very promising results achieved. Our codes and data are available at https://github.com/zjukg/RMPI.

知识图（kgs）因其学习单一关系事实的表示能力而获得了突出。最近，研究重点是建模超级关系的事实，这些事实超出了单一关系事实的限制，使我们能够代表更复杂和现实的信息。但是，现有的超级关系中学习表征的方法主要集中于增强从预选赛到基础三元组的沟通，同时忽略了从基本三重限制者到资格赛的信息流。这可能会导致次级预选赛表示，尤其是在提出大量预选赛时。它促使我们设计一个利用多个聚合器来学习超级关系事实的表示框架：从基本三重的角度来看，一个框架从资格符的角度来看。实验证明了我们框架对多个数据集的超相关知识图完成的有效性。此外，我们进行了一项消融研究，以验证各个组件在我们的框架中的重要性。可以在\ url {https://github.com/harryshomer/quad}找到复制我们的结果的代码。

现实世界知识图（kg）主要是不完整的。恢复缺失关系的问题（称为KG完成）最近已成为一个活跃的研究领域。知识图（kg）嵌入是实体和关系的低维表示，是kg完成的关键技术。诸如凸，SACN，Interacte和RGCN等模型中的卷积神经网络取得了最新成功。本文采用了不同的建筑视图，并提出了使用密集的神经网络结合关系感知和共同特征的Comdense。在关系感知的特征提取中，我们尝试通过应用特定于每个关系的编码函数来创建关系归纳偏置。在公共特征提取中，我们将共同的编码函数应用于所有输入嵌入。这些编码功能是使用密集的密集层实现的。与先前的基线方法相比，Comdense在MRR方面实现了链接预测中的最新性能，在FB15K-237上达到@1，并在WN18RR上达到@1。我们进行了一项广泛的消融研究，以检查关系感知层和comdense的共同层的影响。实验结果表明，在Comdense中实现的合并密集体系结构实现了最佳性能。

虽然最先进的传统代表学习（TRL）模型在知识图形完成上显示竞争性能，但实体的嵌入物之间没有参数共享，并且实体之间的连接较弱。因此，提出了基于邻居聚合的表示学习（NARL）模型，其将实体的邻居中的信息编码到其嵌入中。然而，现有的NARL模型只能利用一个跳邻居，忽略多跳邻居中的信息，或者通过分层邻居聚合利用多跳邻居，销毁多跳邻居的完整性。在本文中，我们提出了一个名为RMNA的NARL模型，它通过规则挖掘算法获得和过滤HOWN规则，并使用所选的喇叭规则将有价值的多跳邻居转换为一个跳邻居，因此，有价值的信息中的信息通过聚合这些单跳邻居可以完全利用跳跃邻居。在实验中，我们将RMNA与最先进的TRL模型和NARL型号进行比较。结果表明，RMNA具有竞争性表现。

最近公布的知识图形嵌入模型的实施，培训和评估的异质性已经公平和彻底的比较困难。为了评估先前公布的结果的再现性，我们在Pykeen软件包中重新实施和评估了21个交互模型。在这里，我们概述了哪些结果可以通过其报告的超参数再现，这只能以备用的超参数再现，并且无法再现，并且可以提供洞察力，以及为什么会有这种情况。然后，我们在四个数据集上进行了大规模的基准测试，其中数千个实验和24,804 GPU的计算时间。我们展示了最佳实践，每个模型的最佳配置以及可以通过先前发布的最佳配置进行改进的洞察。我们的结果强调了模型架构，训练方法，丢失功能和逆关系显式建模的组合对于模型的性能来说至关重要，而不仅由模型架构决定。我们提供了证据表明，在仔细配置时，若干架构可以获得对最先进的结果。我们制定了所有代码，实验配置，结果和分析，导致我们在https://github.com/pykeen/pykeen和https://github.com/pykeen/benchmarking中获得的解释

如今，知识图（KGS）一直在AI相关的应用中发挥关键作用。尽管尺寸大，但现有的公斤远非完全和全面。为了不断丰富KG，通常使用自动知识结构和更新机制，这不可避免地带来充足的噪音。然而，大多数现有知识图形嵌入（KGE）方法假设KGS中的所有三重事实都是正确的，并且在不考虑噪声和知识冲突的情况下将实体和关系投入到低维空间。这将导致kgs的低质量和不可靠的表示。为此，本文提出了一般的多任务加固学习框架，这可以大大缓解嘈杂的数据问题。在我们的框架中，我们利用强化学习来选择高质量的知识三分石，同时过滤出嘈杂的。此外，为了充分利用语义类似的关系之间的相关性，在具有多任务学习的集体方式中训练了类似关系的三重选择过程。此外，我们扩展了流行的KGE Models Transe，Distmult，与所提出的框架耦合和旋转。最后，实验验证表明，我们的方法能够增强现有的KGE模型，可以在嘈杂的情景中提供更强大的KGS表示。

Knowledge graphs enable a wide variety of applications, including question answering and information retrieval. Despite the great effort invested in their creation and maintenance, even the largest (e.g., Yago, DBPedia or Wikidata) remain incomplete. We introduce Relational Graph Convolutional Networks (R-GCNs) and apply them to two standard knowledge base completion tasks: Link prediction (recovery of missing facts, i.e. subject-predicate-object triples) and entity classification (recovery of missing entity attributes). R-GCNs are related to a recent class of neural networks operating on graphs, and are developed specifically to deal with the highly multi-relational data characteristic of realistic knowledge bases. We demonstrate the effectiveness of R-GCNs as a stand-alone model for entity classification. We further show that factorization models for link prediction such as DistMult can be significantly improved by enriching them with an encoder model to accumulate evidence over multiple inference steps in the relational graph, demonstrating a large improvement of 29.8% on FB15k-237 over a decoder-only baseline. * Equal contribution.

学习知识图的嵌入对人工智能至关重要，可以使各种下游应用受益，例如推荐和问题回答。近年来，已经提出了许多研究努力，以嵌入知识图形。然而，最先前的知识图形嵌入方法忽略不同三元组中的相关实体和实体关系耦合之间的语义相似性，因为它们与评分函数分别优化每个三倍。为了解决这个问题，我们提出了一个简单但有效的对比学习框架，用于知识图形嵌入，可以缩短不同三元组中相关实体和实体关系耦合的语义距离，从而提高知识图形嵌入的表现力。我们在三个标准知识图形基准上评估我们提出的方法。值得注意的是，我们的方法可以产生一些新的最先进的结果，在WN18RR数据集中实现51.2％的MRR，46.8％HITS @ 1，59.1％的MRR，51.8％在YAGO3-10数据集中击打@ 1 。

知识图（kg）嵌入是一种主流方法，用于推理不完整的kg。但是，受其固有浅层和静态体系结构的限制，它们几乎无法处理对复杂逻辑查询的不断上升，这些查询包括逻辑运算符，估算的边缘，多个源实体和未知的中间实体。在这项工作中，我们通过掩盖的预训练和微调策略介绍了知识图变压器（kgtransformer）。我们设计了一种kg三重变换方法，以使变压器能够处理kg，这是通过稀疏（MOE）稀疏激活的混合物进一步增强的。然后，我们将复杂的逻辑查询作为掩盖预测提出，并引入了两阶段掩盖的预训练策略，以提高可转移性和概括性。在两个基准上进行的广泛实验表明，KGTRANSFORMER可以始终超过基于KG的基准和九个内域和室外推理任务的高级编码。此外，KGTRANSFORMER可以通过提供解释给定答案的完整推理路径来解释性。

知识图形嵌入（KGE）旨在学习实体和关系的陈述。大多数KGE模型取得了巨大的成功，特别是在外推情景中。具体地，考虑到看不见的三倍（H，R，T），培训的模型仍然可以正确地预测（H，R，Δ）或H（Δ，r，t），这种外推能力令人印象深刻。但是，大多数现有的KGE工作侧重于设计精致三重建模功能，主要告诉我们如何衡量观察三元的合理性，但是对为什么可以推断到未看见数据的原因有限的解释，以及什么是重要因素帮助Kge外推。因此，在这项工作中，我们试图研究kge外推两个问题：1。凯格如何推断出看看的数据？ 2.如何设计KGE模型，具有更好的外推能力？对于问题1，我们首先分别讨论外推和关系，实体和三级的影响因素，提出了三种语义证据（SES），可以从列车集中观察，并为推断提供重要的语义信息。然后我们通过对几种典型KGE方法的广泛实验验证SES的有效性。对于问题2，为了更好地利用三个级别的SE，我们提出了一种新的基于GNN的KGE模型，称为语义证据意识图形神经网络（SE-GNN）。在SE-GNN中，每个级别的SE由相应的邻居图案明确地建模，并且通过多层聚合充分合并，这有助于获得更多外推知识表示。最后，通过对FB15K-237和WN18RR数据集的广泛实验，我们认为SE-GNN在知识图表完成任务上实现了最先进的性能，并执行更好的外推能力。

知识图（KG）嵌入旨在学习连续矢量空间中kg的实体和关系的潜在表示。一个经验观察是，与相同关系相关的头部（尾巴）实体通常具有相似的语义属性 - 特别是它们通常属于同一类别 - 无论他们在kg中彼此之间有多远。也就是说，他们具有全球语义相似性。但是，许多现有方法基于本地信息得出了kg嵌入，这些信息无法有效地捕获实体之间的这种全球语义相似性。为了应对这一挑战，我们提出了一种新颖的方法，该方法引入了一组称为\ textit {\ textbf {关系原型实体}}的虚拟节点，以表示由相同关系连接的头和尾部实体的原型。通过强制实体的嵌入靠近其相关的原型的嵌入，我们的方法可以有效地鼓励实体的全球语义相似性（可以在kg中很远 - 通过相同的关系相连。实体一致性和KG完成任务的实验表明，我们的方法显着优于最近的最新方法。

学术知识图（KGS）提供了代表科学出版物编码的知识的丰富的结构化信息来源。随着出版的科学文学的庞大，包括描述科学概念的过多的非均匀实体和关系，这些公斤本质上是不完整的。我们呈现Exbert，一种利用预先训练的变压器语言模型来执行学术知识图形完成的方法。我们将知识图形的三元组模型为文本并执行三重分类（即，属于KG或不属于KG）。评估表明，在三重分类，链路预测和关系预测的任务中，Exbert在三个学术kg完成数据集中表现出其他基线。此外，我们将两个学术数据集作为研究界的资源，从公共公共公报和在线资源中收集。

Knowledge graph embedding (KGE), which maps entities and relations in a knowledge graph into continuous vector spaces, has achieved great success in predicting missing links in knowledge graphs. However, knowledge graphs often contain incomplete triples that are difficult to inductively infer by KGEs. To address this challenge, we resort to analogical inference and propose a novel and general self-supervised framework AnKGE to enhance KGE models with analogical inference capability. We propose an analogical object retriever that retrieves appropriate analogical objects from entity-level, relation-level, and triple-level. And in AnKGE, we train an analogy function for each level of analogical inference with the original element embedding from a well-trained KGE model as input, which outputs the analogical object embedding. In order to combine inductive inference capability from the original KGE model and analogical inference capability enhanced by AnKGE, we interpolate the analogy score with the base model score and introduce the adaptive weights in the score function for prediction. Through extensive experiments on FB15k-237 and WN18RR datasets, we show that AnKGE achieves competitive results on link prediction task and well performs analogical inference.