最近公布的知识图形嵌入模型的实施，培训和评估的异质性已经公平和彻底的比较困难。为了评估先前公布的结果的再现性，我们在Pykeen软件包中重新实施和评估了21个交互模型。在这里，我们概述了哪些结果可以通过其报告的超参数再现，这只能以备用的超参数再现，并且无法再现，并且可以提供洞察力，以及为什么会有这种情况。然后，我们在四个数据集上进行了大规模的基准测试，其中数千个实验和24,804 GPU的计算时间。我们展示了最佳实践，每个模型的最佳配置以及可以通过先前发布的最佳配置进行改进的洞察。我们的结果强调了模型架构，训练方法，丢失功能和逆关系显式建模的组合对于模型的性能来说至关重要，而不仅由模型架构决定。我们提供了证据表明，在仔细配置时，若干架构可以获得对最先进的结果。我们制定了所有代码，实验配置，结果和分析，导致我们在https://github.com/pykeen/pykeen和https://github.com/pykeen/benchmarking中获得的解释

Knowledge graph (KG) embedding is to embed components of a KG including entities and relations into continuous vector spaces, so as to simplify the manipulation while preserving the inherent structure of the KG. It can benefit a variety of downstream tasks such as KG completion and relation extraction, and hence has quickly gained massive attention. In this article, we provide a systematic review of existing techniques, including not only the state-of-the-arts but also those with latest trends. Particularly, we make the review based on the type of information used in the embedding task. Techniques that conduct embedding using only facts observed in the KG are first introduced. We describe the overall framework, specific model design, typical training procedures, as well as pros and cons of such techniques. After that, we discuss techniques that further incorporate additional information besides facts. We focus specifically on the use of entity types, relation paths, textual descriptions, and logical rules. Finally, we briefly introduce how KG embedding can be applied to and benefit a wide variety of downstream tasks such as KG completion, relation extraction, question answering, and so forth.

In statistical relational learning, the link prediction problem is key to automatically understand the structure of large knowledge bases. As in previous studies, we propose to solve this problem through latent factorization. However, here we make use of complex valued embeddings. The composition of complex embeddings can handle a large variety of binary relations, among them symmetric and antisymmetric relations. Compared to state-of-the-art models such as Neural Tensor Network and Holographic Embeddings, our approach based on complex embeddings is arguably simpler, as it only uses the Hermitian dot product, the complex counterpart of the standard dot product between real vectors. Our approach is scalable to large datasets as it remains linear in both space and time, while consistently outperforming alternative approaches on standard link prediction benchmarks. 1

学术知识图（KGS）提供了代表科学出版物编码的知识的丰富的结构化信息来源。随着出版的科学文学的庞大，包括描述科学概念的过多的非均匀实体和关系，这些公斤本质上是不完整的。我们呈现Exbert，一种利用预先训练的变压器语言模型来执行学术知识图形完成的方法。我们将知识图形的三元组模型为文本并执行三重分类（即，属于KG或不属于KG）。评估表明，在三重分类，链路预测和关系预测的任务中，Exbert在三个学术kg完成数据集中表现出其他基线。此外，我们将两个学术数据集作为研究界的资源，从公共公共公报和在线资源中收集。

We study the problem of learning representations of entities and relations in knowledge graphs for predicting missing links. The success of such a task heavily relies on the ability of modeling and inferring the patterns of (or between) the relations. In this paper, we present a new approach for knowledge graph embedding called RotatE, which is able to model and infer various relation patterns including: symmetry/antisymmetry, inversion, and composition. Specifically, the RotatE model defines each relation as a rotation from the source entity to the target entity in the complex vector space. In addition, we propose a novel self-adversarial negative sampling technique for efficiently and effectively training the RotatE model. Experimental results on multiple benchmark knowledge graphs show that the proposed RotatE model is not only scalable, but also able to infer and model various relation patterns and significantly outperform existing state-of-the-art models for link prediction.

Relational machine learning studies methods for the statistical analysis of relational, or graph-structured, data. In this paper, we provide a review of how such statistical models can be "trained" on large knowledge graphs, and then used to predict new facts about the world (which is equivalent to predicting new edges in the graph). In particular, we discuss two fundamentally different kinds of statistical relational models, both of which can scale to massive datasets. The first is based on latent feature models such as tensor factorization and multiway neural networks. The second is based on mining observable patterns in the graph. We also show how to combine these latent and observable models to get improved modeling power at decreased computational cost. Finally, we discuss how such statistical models of graphs can be combined with text-based information extraction methods for automatically constructing knowledge graphs from the Web. To this end, we also discuss Google's Knowledge Vault project as an example of such combination.

事实证明，信息提取方法可有效从结构化或非结构化数据中提取三重。以（头部实体，关系，尾部实体）形式组织这样的三元组的组织称为知识图（kgs）。当前的大多数知识图都是不完整的。为了在下游任务中使用kgs，希望预测kgs中缺少链接。最近，通过将实体和关系嵌入到低维的矢量空间中，旨在根据先前访问的三元组来预测三元组，从而对KGS表示不同的方法。根据如何独立或依赖对三元组进行处理，我们将知识图完成的任务分为传统和图形神经网络表示学习，并更详细地讨论它们。在传统的方法中，每个三重三倍将独立处理，并在基于GNN的方法中进行处理，三倍也考虑了他们的当地社区。查看全文

最近，链接预测问题，也称为知识图完成，已经吸引了大量的研究。即使最近的型号很少试图通过在低维度中嵌入知识图表来实现相对良好的性能，即目前最先进的模型的最佳结果是以大大提高嵌入的维度的成本赚取的。然而，这导致在巨大知识库的情况下导致过度舒服和更重要的可扩展性问题。灵感灵感来自变压器模型的变体提供的深度学习的进步，因为它的自我关注机制，在本文中，我们提出了一种基于IT的模型来解决上述限制。在我们的模型中，自我关注是将查询依赖预测应用于实体和关系的关键，并捕获它们之间的相互信息，以获得来自低维嵌入的高度富有表现力的表现。两种标准链路预测数据集，FB15K-237和WN18RR的经验结果表明，我们的模型比我们三个最近最近期的最新竞争对手实现了相当的性能或更好的性能，其维度的重大减少了76.3％平均嵌入。

Link prediction for knowledge graphs is the task of predicting missing relationships between entities. Previous work on link prediction has focused on shallow, fast models which can scale to large knowledge graphs. However, these models learn less expressive features than deep, multi-layer modelswhich potentially limits performance. In this work we introduce ConvE, a multi-layer convolutional network model for link prediction, and report state-of-the-art results for several established datasets. We also show that the model is highly parameter efficient, yielding the same performance as DistMult and R-GCN with 8x and 17x fewer parameters. Analysis of our model suggests that it is particularly effective at modelling nodes with high indegree -which are common in highlyconnected, complex knowledge graphs such as Freebase and YAGO3. In addition, it has been noted that the WN18 and FB15k datasets suffer from test set leakage, due to inverse relations from the training set being present in the test sethowever, the extent of this issue has so far not been quantified. We find this problem to be severe: a simple rule-based model can achieve state-of-the-art results on both WN18 and FB15k. To ensure that models are evaluated on datasets where simply exploiting inverse relations cannot yield competitive results, we investigate and validate several commonly used datasets -deriving robust variants where necessary. We then perform experiments on these robust datasets for our own and several previously proposed models, and find that ConvE achieves state-of-the-art Mean Reciprocal Rank across most datasets.

如今，知识图（KGS）一直在AI相关的应用中发挥关键作用。尽管尺寸大，但现有的公斤远非完全和全面。为了不断丰富KG，通常使用自动知识结构和更新机制，这不可避免地带来充足的噪音。然而，大多数现有知识图形嵌入（KGE）方法假设KGS中的所有三重事实都是正确的，并且在不考虑噪声和知识冲突的情况下将实体和关系投入到低维空间。这将导致kgs的低质量和不可靠的表示。为此，本文提出了一般的多任务加固学习框架，这可以大大缓解嘈杂的数据问题。在我们的框架中，我们利用强化学习来选择高质量的知识三分石，同时过滤出嘈杂的。此外，为了充分利用语义类似的关系之间的相关性，在具有多任务学习的集体方式中训练了类似关系的三重选择过程。此外，我们扩展了流行的KGE Models Transe，Distmult，与所提出的框架耦合和旋转。最后，实验验证表明，我们的方法能够增强现有的KGE模型，可以在嘈杂的情景中提供更强大的KGS表示。

我们研究了对知识图中链路预测任务的知识图形嵌入（KGE）模型产生数据中毒攻击的问题。为了毒害KGE模型，我们建议利用他们通过知识图中的对称性，反演和构图等关系模式捕获的归纳能力。具体而言，为了降低模型对目标事实的预测信心，建议改善模型对一系列诱饵事实的预测信心。因此，我们通过不同的推理模式来制作对逆势的添加能够改善模型对诱饵事实上的预测信心。我们的实验表明，拟议的中毒攻击在四个KGE模型上倾斜的最先进的基座，用于两个公共数据集。我们还发现基于对称模式的攻击遍历了所有模型 - 数据集合，指示KGE模型对此模式的灵敏度。

Knowledge graph embedding (KGE) is a increasingly popular technique that aims to represent entities and relations of knowledge graphs into low-dimensional semantic spaces for a wide spectrum of applications such as link prediction, knowledge reasoning and knowledge completion. In this paper, we provide a systematic review of existing KGE techniques based on representation spaces. Particularly, we build a fine-grained classification to categorise the models based on three mathematical perspectives of the representation spaces: (1) Algebraic perspective, (2) Geometric perspective, and (3) Analytical perspective. We introduce the rigorous definitions of fundamental mathematical spaces before diving into KGE models and their mathematical properties. We further discuss different KGE methods over the three categories, as well as summarise how spatial advantages work over different embedding needs. By collating the experimental results from downstream tasks, we also explore the advantages of mathematical space in different scenarios and the reasons behind them. We further state some promising research directions from a representation space perspective, with which we hope to inspire researchers to design their KGE models as well as their related applications with more consideration of their mathematical space properties.

知识图形嵌入研究主要集中在两个最小的规范部门代数，$ \ mathbb {r} $和$ \ mathbb {c} $。最近的结果表明，四元增值嵌入的三线性产品可以是解决链路预测的更有效手段。此外，基于真实嵌入的卷曲的模型通常会产生最先进的链路预测结果。在本文中，我们调查了一种卷积操作的组成，具有超量用乘法。我们提出了四个方法qmult，amult，convic和convo来解决链路预测问题。 Qmult和Omult可以被视为先前最先进方法的四元数和octonion扩展，包括Distmult和复杂。 Convic和Convo在Qmult和Omlult上建立在剩余学习框架的方式中包括卷积操作。我们在七个链路预测数据集中评估了我们的方法，包括WN18RR，FB15K-237和YAGO3-10。实验结果表明，随着知识图的规模和复杂性的增长，学习超复分价值的矢量表示的益处变得更加明显。 Convo优于MRR的FB15K-237上的最先进的方法，命中@ 1并点击@ 3，而Qmult，Omlult，Convic和Convo在所有度量标准中的Yago3-10上的最终倾斜的方式。结果还表明，通过预测平均可以进一步改善链路预测性能。为了培养可重复的研究，我们提供了开源的方法，包括培训和评估脚本以及佩戴型模型。

近年来，人们对少量知识图（FKGC）的兴趣日益增加，该图表旨在推断出关于该关系的一些参考三元组，从而推断出不见了的查询三倍。现有FKGC方法的主要重点在于学习关系表示，可以反映查询和参考三元组共享的共同信息。为此，这些方法从头部和尾部实体的直接邻居中学习实体对表示，然后汇总参考实体对的表示。但是，只有从直接邻居那里学到的实体对代表可能具有较低的表现力，当参与实体稀疏直接邻居或与其他实体共享一个共同的当地社区。此外，仅仅对头部和尾部实体的语义信息进行建模不足以准确推断其关系信息，尤其是当它们具有多个关系时。为了解决这些问题，我们提出了一个特定于关系的上下文学习（RSCL）框架，该框架利用了三元组的图形上下文，以学习全球和本地关系特定的表示形式，以使其几乎没有相关关系。具体而言，我们首先提取每个三倍的图形上下文，这可以提供长期实体关系依赖性。为了编码提取的图形上下文，我们提出了一个分层注意网络，以捕获三元组的上下文信息并突出显示实体的有价值的本地邻里信息。最后，我们设计了一个混合注意聚合器，以评估全球和本地级别的查询三元组的可能性。两个公共数据集的实验结果表明，RSCL的表现优于最先进的FKGC方法。

知识图嵌入（KGE）方法已从广泛的AI社区（包括自然语言处理（NLP））中引起了极大的关注，用于文本生成，分类和上下文诱导。用少数维度嵌入大量的相互关系，需要在认知和计算方面进行适当的建模。最近，开发了有关自然语言的认知和计算方面的许多目标功能。其中包括最新的线性方法，双线性，具有歧管的内核，投影 - 空间和类似推断。但是，这种模型的主要挑战在于它们的损失函数，将关系嵌入的维度与相应的实体维度相关联。当错误估计对应物时，这导致对实体之间相应关系的预测不准确。 Bordes等人发表的Proje Kge由于计算复杂性低和模型改进的高潜力，在所有翻译和双线性相互作用的同时，在捕获实体非线性的同时，都改善了这项工作。基准知识图（KGS）（例如FB15K和WN18）的实验结果表明，所提出的方法使用线性和双线性方法以及其他最新功能的方法在实体预测任务中的最新模型优于最先进的模型。另外，为该模型提出了平行处理结构，以提高大型kg的可伸缩性。还解释了不同自适应聚类和新提出的抽样方法的影响，这被证明可以有效提高知识图完成的准确性。

The development of deep neural networks has improved representation learning in various domains, including textual, graph structural, and relational triple representations. This development opened the door to new relation extraction beyond the traditional text-oriented relation extraction. However, research on the effectiveness of considering multiple heterogeneous domain information simultaneously is still under exploration, and if a model can take an advantage of integrating heterogeneous information, it is expected to exhibit a significant contribution to many problems in the world. This thesis works on Drug-Drug Interactions (DDIs) from the literature as a case study and realizes relation extraction utilizing heterogeneous domain information. First, a deep neural relation extraction model is prepared and its attention mechanism is analyzed. Next, a method to combine the drug molecular structure information and drug description information to the input sentence information is proposed, and the effectiveness of utilizing drug molecular structures and drug descriptions for the relation extraction task is shown. Then, in order to further exploit the heterogeneous information, drug-related items, such as protein entries, medical terms and pathways are collected from multiple existing databases and a new data set in the form of a knowledge graph (KG) is constructed. A link prediction task on the constructed data set is conducted to obtain embedding representations of drugs that contain the heterogeneous domain information. Finally, a method that integrates the input sentence information and the heterogeneous KG information is proposed. The proposed model is trained and evaluated on a widely used data set, and as a result, it is shown that utilizing heterogeneous domain information significantly improves the performance of relation extraction from the literature.

知识图（kgs）在许多应用程序中越来越重要的基础架构，同时患有不完整问题。 KG完成任务（KGC）自动根据不完整的KG预测缺失的事实。但是，现有方法在现实情况下表现不佳。一方面，他们的性能将巨大的降解，而kg的稀疏性越来越大。另一方面，预测的推理过程是一个不可信的黑匣子。本文提出了一个稀疏kgc的新型可解释模型，将高阶推理组合到图形卷积网络中，即HOGRN。它不仅可以提高减轻信息不足问题的概括能力，而且还可以在保持模型的有效性和效率的同时提供可解释性。有两个主要组件无缝集成以进行关节优化。首先，高阶推理成分通过捕获关系之间的内源性相关性来学习高质量的关系表示。这可以反映逻辑规则，以证明更广泛的事实是合理的。其次，更新组件的实体利用无重量的图形卷积网络（GCN）有效地模拟具有可解释性的KG结构。与常规方法不同，我们在没有其他参数的情况下在关系空间中进行实体聚合和基于设计组成的注意。轻巧的设计使HOGRN更适合稀疏设置。为了进行评估，我们进行了广泛的实验 - HOGRN对几个稀疏KG的结果表现出了令人印象深刻的改善（平均为9％的MRR增益）。进一步的消融和案例研究证明了主要成分的有效性。我们的代码将在接受后发布。

知识图完成（KGC）旨在发现知识图（KGS）中实体之间的缺失关系。大多数先前的KGC工作都集中在实体和关系的学习表现上。然而，通常需要更高维度的嵌入空间才能获得更好的推理能力，这会导致更大的模型大小，并阻碍对现实世界中的问题的适用性（例如，大规模kgs或移动/边缘计算）。在这项工作中提出了一种称为GreenKGC的轻型模块化的KGC解决方案，以解决此问题。 GreenKGC由三个模块组成：1）表示学习，2）特征修剪和3）决策学习。在模块1中，我们利用现有的KG嵌入模型来学习实体和关系的高维表示。在模块2中，KG分为几个关系组，然后分为一个特征修剪过程，以找到每个关系组的最判别特征。最后，将分类器分配给每个关系组，以应对模块3中KGC任务的低维三功能原始的高维嵌入型号尺寸较小。此外，我们对两个三重分类数据集进行了实验，以证明相同的方法可以推广到更多任务。

我们根据生态毒理学风险评估中使用的主要数据来源创建了知识图表。我们已经将这种知识图表应用于风险评估中的重要任务，即化学效果预测。我们已经评估了在该预测任务的各种几何，分解和卷积模型中嵌入模型的九个知识图形嵌入模型。我们表明，使用知识图形嵌入可以提高与神经网络的效果预测的准确性。此外，我们已经实现了一种微调架构，它将知识图形嵌入到效果预测任务中，并导致更好的性能。最后，我们评估知识图形嵌入模型的某些特征，以阐明各个模型性能。

捕获关系的构图模式是知识图表完成中的重要任务。它还是迈向多跳推理的基本步骤，以了解学到的知识。以前，已经开发了几种基于旋转的翻译方法来使用一系列复值对角线矩阵的产品来模拟复合关系。然而，这些方法倾向于对复合关系进行几种超薄假设，例如，强迫他们独立于实体和缺乏语义等级的交换。为了系统地解决这些问题，我们开发了一种新颖的知识图形嵌入方法，命名为密集，为复杂的关系模式提供改进的建模方案。特别地，我们的方法将每个关系分解成SO（3）基于基于组的旋转操作员和三维（3-D）欧几里德空间中的缩放操作员。这种设计原理导致我们的方法的几个优点：（1）对于复合关系，相应的对角线关系矩阵可以是非换向的，反映了现实世界应用中的主要情景; （2）我们的模型保留了关系运营和实体嵌入之间的自然互动; （3）缩放操作为实体的内在语义层次结构提供建模电力; （4）在参数大小和培训时间方面，以高计算效率实现致密的增强效果; （5）欧几里德空间中的建模实体而不是四元数空间，保持关系模式的直接几何解释。多个基准知识图上的实验结果表明，密集优于当前最先进的模型，以缺少链路预测，尤其是对复合关系。