知识库完成（KBC）最近是一个非常活跃的领域。最近的一些KBCPAPER提出了建筑变化，新的培训方法甚至新的配方。KBC系统通常在标准基准数据集上进行评估：FB15K，FB15K-237，WN18，WN18RR和Yago3-10。大多数现有方法在这些数据集中为每个正实例训练少量的负样本，以节省计算成本。本文讨论了最近的发展如何使我们能够使用所有可用的负样本进行培训。我们表明，使用所有可用的负样本进行培训时，复杂的复合物在所有数据集上都具有近乎最先进的性能。我们称这种方法为复杂V2。我们还强调了最近在文献中提出的各种乘法KBC方法如何受益于这种训练制度，并且在大多数数据集上的性能方面都无法区分。根据这些发现，我们的工作要求重新评估其个人价值。

In statistical relational learning, the link prediction problem is key to automatically understand the structure of large knowledge bases. As in previous studies, we propose to solve this problem through latent factorization. However, here we make use of complex valued embeddings. The composition of complex embeddings can handle a large variety of binary relations, among them symmetric and antisymmetric relations. Compared to state-of-the-art models such as Neural Tensor Network and Holographic Embeddings, our approach based on complex embeddings is arguably simpler, as it only uses the Hermitian dot product, the complex counterpart of the standard dot product between real vectors. Our approach is scalable to large datasets as it remains linear in both space and time, while consistently outperforming alternative approaches on standard link prediction benchmarks. 1

知识图形嵌入研究主要集中在两个最小的规范部门代数，$ \ mathbb {r} $和$ \ mathbb {c} $。最近的结果表明，四元增值嵌入的三线性产品可以是解决链路预测的更有效手段。此外，基于真实嵌入的卷曲的模型通常会产生最先进的链路预测结果。在本文中，我们调查了一种卷积操作的组成，具有超量用乘法。我们提出了四个方法qmult，amult，convic和convo来解决链路预测问题。 Qmult和Omult可以被视为先前最先进方法的四元数和octonion扩展，包括Distmult和复杂。 Convic和Convo在Qmult和Omlult上建立在剩余学习框架的方式中包括卷积操作。我们在七个链路预测数据集中评估了我们的方法，包括WN18RR，FB15K-237和YAGO3-10。实验结果表明，随着知识图的规模和复杂性的增长，学习超复分价值的矢量表示的益处变得更加明显。 Convo优于MRR的FB15K-237上的最先进的方法，命中@ 1并点击@ 3，而Qmult，Omlult，Convic和Convo在所有度量标准中的Yago3-10上的最终倾斜的方式。结果还表明，通过预测平均可以进一步改善链路预测性能。为了培养可重复的研究，我们提供了开源的方法，包括培训和评估脚本以及佩戴型模型。

知识图形嵌入（KGE）由于其在自动知识图（kg）完成和知识驱动的任务中的潜力而引起了很大的关注。然而，最近的KGE模型遭受了高训练成本和大存储空间，因此限制了他们在现实世界应用中的实用性。为了解决这一挑战，根据对比学习领域的最新发现，我们提出了一种名为硬度感知的低维嵌入（HALE）的新型KGE训练框架。除了传统的负面采样而不是传统的负面采样，我们基于查询采样设计一个新的损失功能，可以平衡两个重要的培训目标，对齐和均匀性。此外，我们分析了近期低维双曲模型的硬度感知，并提出了一种轻量级硬度感知激活机制，可以帮助KGE模型关注硬实例并加速收敛。实验结果表明，在有限的训练时间，HALE可以有效地提高KGE模型在五个常用的数据集中的性能和训练速度。在训练后，训练的模型可以在几分钟后获得高预测精度，与低维度和高维条件的最先进模型相比，竞争力。

知识图嵌入（KGE）旨在将实体和关系映射到低维空间，并成为知识图完成的\ textit {de-facto}标准。大多数现有的KGE方法都受到稀疏挑战的困扰，在这种挑战中，很难预测在知识图中频繁的实体。在这项工作中，我们提出了一个新颖的框架KRACL，以减轻具有图表和对比度学习的KG中广泛的稀疏性。首先，我们建议知识关系网络（KRAT）通过同时将相邻的三元组投射到不同的潜在空间，并通过注意机制共同汇总信息来利用图形上下文。 KRAT能够捕获不同上下文三联的微妙的语义信息和重要性，并利用知识图中的多跳信息。其次，我们通过将对比度损失与跨熵损失相结合，提出知识对比损失，这引入了更多的负样本，从而丰富了对稀疏实体的反馈。我们的实验表明，KRACL在各种标准知识基准中取得了卓越的结果，尤其是在WN18RR和NELL-995上，具有大量低级内实体。广泛的实验还具有KRACL在处理稀疏知识图和鲁棒性三元组的鲁棒性方面的有效性。

最近公布的知识图形嵌入模型的实施，培训和评估的异质性已经公平和彻底的比较困难。为了评估先前公布的结果的再现性，我们在Pykeen软件包中重新实施和评估了21个交互模型。在这里，我们概述了哪些结果可以通过其报告的超参数再现，这只能以备用的超参数再现，并且无法再现，并且可以提供洞察力，以及为什么会有这种情况。然后，我们在四个数据集上进行了大规模的基准测试，其中数千个实验和24,804 GPU的计算时间。我们展示了最佳实践，每个模型的最佳配置以及可以通过先前发布的最佳配置进行改进的洞察。我们的结果强调了模型架构，训练方法，丢失功能和逆关系显式建模的组合对于模型的性能来说至关重要，而不仅由模型架构决定。我们提供了证据表明，在仔细配置时，若干架构可以获得对最先进的结果。我们制定了所有代码，实验配置，结果和分析，导致我们在https://github.com/pykeen/pykeen和https://github.com/pykeen/benchmarking中获得的解释

Link prediction for knowledge graphs is the task of predicting missing relationships between entities. Previous work on link prediction has focused on shallow, fast models which can scale to large knowledge graphs. However, these models learn less expressive features than deep, multi-layer modelswhich potentially limits performance. In this work we introduce ConvE, a multi-layer convolutional network model for link prediction, and report state-of-the-art results for several established datasets. We also show that the model is highly parameter efficient, yielding the same performance as DistMult and R-GCN with 8x and 17x fewer parameters. Analysis of our model suggests that it is particularly effective at modelling nodes with high indegree -which are common in highlyconnected, complex knowledge graphs such as Freebase and YAGO3. In addition, it has been noted that the WN18 and FB15k datasets suffer from test set leakage, due to inverse relations from the training set being present in the test sethowever, the extent of this issue has so far not been quantified. We find this problem to be severe: a simple rule-based model can achieve state-of-the-art results on both WN18 and FB15k. To ensure that models are evaluated on datasets where simply exploiting inverse relations cannot yield competitive results, we investigate and validate several commonly used datasets -deriving robust variants where necessary. We then perform experiments on these robust datasets for our own and several previously proposed models, and find that ConvE achieves state-of-the-art Mean Reciprocal Rank across most datasets.

学习知识图的嵌入对人工智能至关重要，可以使各种下游应用受益，例如推荐和问题回答。近年来，已经提出了许多研究努力，以嵌入知识图形。然而，最先前的知识图形嵌入方法忽略不同三元组中的相关实体和实体关系耦合之间的语义相似性，因为它们与评分函数分别优化每个三倍。为了解决这个问题，我们提出了一个简单但有效的对比学习框架，用于知识图形嵌入，可以缩短不同三元组中相关实体和实体关系耦合的语义距离，从而提高知识图形嵌入的表现力。我们在三个标准知识图形基准上评估我们提出的方法。值得注意的是，我们的方法可以产生一些新的最先进的结果，在WN18RR数据集中实现51.2％的MRR，46.8％HITS @ 1，59.1％的MRR，51.8％在YAGO3-10数据集中击打@ 1 。

我们研究了对知识图中链路预测任务的知识图形嵌入（KGE）模型产生数据中毒攻击的问题。为了毒害KGE模型，我们建议利用他们通过知识图中的对称性，反演和构图等关系模式捕获的归纳能力。具体而言，为了降低模型对目标事实的预测信心，建议改善模型对一系列诱饵事实的预测信心。因此，我们通过不同的推理模式来制作对逆势的添加能够改善模型对诱饵事实上的预测信心。我们的实验表明，拟议的中毒攻击在四个KGE模型上倾斜的最先进的基座，用于两个公共数据集。我们还发现基于对称模式的攻击遍历了所有模型 - 数据集合，指示KGE模型对此模式的灵敏度。

知识嵌入（KE）通过将实体和关系嵌入连续的向量空间来表示知识图（kg）。现有方法主要基于结构或基于描述。基于结构的方法学习保留KGS固有结构的表示。它们不能很好地代表具有有限结构信息的现实世界中的丰富长尾实体。基于描述的方法利用文本信息和语言模型。朝这个方向迈出的先前方法几乎不能胜过基于结构的结构，并且遇到了昂贵的负面抽样和限制性描述需求等问题。在本文中，我们提出了LMKE，该LMKE采用语言模型来得出知识嵌入，旨在既富集了长尾实体的表示形式又旨在解决先前的基于描述的方法的问题。我们通过对比度学习框架制定基于描述的KE学习，以提高培训和评估的效率。实验结果表明，LMKE在链接预测和三重分类的KE基准上实现了最先进的性能，尤其是对于长尾实体。

We study the problem of learning representations of entities and relations in knowledge graphs for predicting missing links. The success of such a task heavily relies on the ability of modeling and inferring the patterns of (or between) the relations. In this paper, we present a new approach for knowledge graph embedding called RotatE, which is able to model and infer various relation patterns including: symmetry/antisymmetry, inversion, and composition. Specifically, the RotatE model defines each relation as a rotation from the source entity to the target entity in the complex vector space. In addition, we propose a novel self-adversarial negative sampling technique for efficiently and effectively training the RotatE model. Experimental results on multiple benchmark knowledge graphs show that the proposed RotatE model is not only scalable, but also able to infer and model various relation patterns and significantly outperform existing state-of-the-art models for link prediction.

知识图（KG）通常不完整，我们经常希望推断出现有的新事实。这可以被认为是二进制分类问题;我们的目标是预测新事实是真或假的。不幸的是，我们通常只有积极的例子（已知事实），但我们也需要负面的例子来训练分类器。要解决此问题，通常使用负面采样策略生成否定示例。但是，这可以产生可能降低性能的假否定，是计算昂贵的，并且不会产生校准的分类概率。在本文中，我们提出了一种培训程序，通过向损失函数添加新的正则化术语来消除对负面采样的需要。我们的两个关系嵌入模型（DISTMULT和简单）的结果显示了我们的提案的优点。

尽管使用知识图形嵌入式（KGE），但对于可能会扰乱其预期行为的安全漏洞很少。我们研究了对KGE模型进行链路预测的数据中毒攻击。这些攻击在训练时间进行工艺对抗性添加或删除，以在测试时间造型失败。要选择对抗性删除，我们建议使用来自可解释的机器学习的模型 - 无人实例归因方法，该模型 - 无可争议的机器学习，该模型算法识别对神经模型对测试实例的预测最大的培训实例。我们使用这些有影响力的三元组作为对抗性缺失。我们进一步提出了一种启发式方法，以取代各种有影响力的三倍的两个实体中的一个以产生对抗性添加。我们的实验表明，该拟议的策略优于KGE模型的最先进的数据中毒攻击，并通过基线的攻击达到62％，提高MRR降级。

最近，链接预测问题，也称为知识图完成，已经吸引了大量的研究。即使最近的型号很少试图通过在低维度中嵌入知识图表来实现相对良好的性能，即目前最先进的模型的最佳结果是以大大提高嵌入的维度的成本赚取的。然而，这导致在巨大知识库的情况下导致过度舒服和更重要的可扩展性问题。灵感灵感来自变压器模型的变体提供的深度学习的进步，因为它的自我关注机制，在本文中，我们提出了一种基于IT的模型来解决上述限制。在我们的模型中，自我关注是将查询依赖预测应用于实体和关系的关键，并捕获它们之间的相互信息，以获得来自低维嵌入的高度富有表现力的表现。两种标准链路预测数据集，FB15K-237和WN18RR的经验结果表明，我们的模型比我们三个最近最近期的最新竞争对手实现了相当的性能或更好的性能，其维度的重大减少了76.3％平均嵌入。

负抽样（NS）损失在学习知识图嵌入（KGE）中起着重要的作用，以处理大量实体。但是，适当地选择了KGE降低没有超参数的降解，例如NS损失中的余量和负样本的数量。目前，经验超参数调整以计算时间为代价解决了这个问题。为了解决这个问题，我们理论上分析了NS损失，以帮助高参数调整，并了解NS损失在KGE学习中的更好使用。我们的理论分析表明，具有限制值范围的评分方法，例如transe和旋转，需要适当调整边缘项或与没有限制值范围（例如恢复，复杂和散布）的负相同样本的数量。我们还提出了从理论方面研究的KGE中专门用于NS损失的亚采样方法。我们对FB15K-237，WN18RR和Yago3-10数据集的经验分析表明，实际训练的模型的结果与我们的理论发现一致。

In this paper we show the surprising effectiveness of a simple observed features model in comparison to latent feature models on two benchmark knowledge base completion datasets, FB15K and WN18. We also compare latent and observed feature models on a more challenging dataset derived from FB15K, and additionally coupled with textual mentions from a web-scale corpus. We show that the observed features model is most effective at capturing the information present for entity pairs with textual relations, and a combination of the two combines the strengths of both model types.

知识库完成在这项工作中被制定为二进制分类问题，其中使用知识图中的相关链接（KGS）培训XGBoost二进制分类器。新方法名为KGBoost，采用模块化设计，并尝试找到硬阴性样本，以便培训强大的分类器以进行缺失链路预测。我们在多个基准数据集中进行实验，并证明KGBoost在大多数数据集中优于最先进的方法。此外，与端到端优化训练的模型相比，kgboost在低维设置下运行良好，以便允许更小的型号尺寸。

几乎所有知识库的陈述都有时间范围，在此期间它们有效。因此，在时间知识库（TKB）上的知识库完成（KBC），其中每个陈述\ TEXTIT {MAY}与时间范围相关联，引起了不断的关注。先前作品假设TKB \ Texit {必须}中的每个语句都与时间范围相关联。这忽略了kB中常规缺少的范围信息。因此，在此之前的工作通常不能处理通用用例，其中TKB由具有/没有已知的时间范围的时间语句组成。为了解决这个问题，我们建立了一个名为time2box的新知识库嵌入框架，可以同时处理不同类型的atemporal和时间陈述。我们的主要洞察力是时间查询的答案始终属于时间不可知的对应物的答案子集。换句话说，时间是一个过滤器，有助于在某些时期内挑选答案。我们介绍框以将一组答案实体代表到一个时间不可知的查询。时间过滤功能由这些框的交叉点建模。此外，我们概括了关于时间间隔预测的当前评估协议。我们描述了两个数据集上的实验，并表明所提出的方法优于链路预测和时间预测上的最先进的（SOTA）方法。

本文介绍了$ \ mu \ text {kg} $，一个开源python库，用于在知识图上进行表示。 $ \ mu \ text {kg} $支持通过多源知识图（以及单个知识图），多个深度学习库（Pytorch和Tensorflow2），多个嵌入任务（链接预​​测，实体对准，实体键入，实体键入），支持联合表示。 ，以及多源链接预测）以及多个并行计算模式（多进程和多GPU计算）。它目前实现26个流行知识图嵌入模型，并支持16个基准数据集。 $ \ mu \ text {kg} $提供了具有不同任务的简化管道的嵌入技术的高级实现。它还带有高质量的文档，以易于使用。 $ \ mu \ text {kg} $比现有的知识图嵌入库更全面。它对于对各种嵌入模型和任务进行彻底比较和分析非常有用。我们表明，共同学习的嵌入可以极大地帮助知识驱动的下游任务，例如多跳知识图形答案。我们将与相关字段中的最新发展保持一致，并将其纳入$ \ mu \ text {kg} $中。

捕获关系的构图模式是知识图表完成中的重要任务。它还是迈向多跳推理的基本步骤，以了解学到的知识。以前，已经开发了几种基于旋转的翻译方法来使用一系列复值对角线矩阵的产品来模拟复合关系。然而，这些方法倾向于对复合关系进行几种超薄假设，例如，强迫他们独立于实体和缺乏语义等级的交换。为了系统地解决这些问题，我们开发了一种新颖的知识图形嵌入方法，命名为密集，为复杂的关系模式提供改进的建模方案。特别地，我们的方法将每个关系分解成SO（3）基于基于组的旋转操作员和三维（3-D）欧几里德空间中的缩放操作员。这种设计原理导致我们的方法的几个优点：（1）对于复合关系，相应的对角线关系矩阵可以是非换向的，反映了现实世界应用中的主要情景; （2）我们的模型保留了关系运营和实体嵌入之间的自然互动; （3）缩放操作为实体的内在语义层次结构提供建模电力; （4）在参数大小和培训时间方面，以高计算效率实现致密的增强效果; （5）欧几里德空间中的建模实体而不是四元数空间，保持关系模式的直接几何解释。多个基准知识图上的实验结果表明，密集优于当前最先进的模型，以缺少链路预测，尤其是对复合关系。