翻译,旋转和缩放是图像处理中三个常用的几何操作操作。此外,其中一些成功用于开发有效的知识图嵌入(KGE)模型,例如transe和旋转。受协同作用的启发,我们通过利用这项工作中的所有三项操作提出了一个新的KGE模型。由于翻译,旋转和缩放操作被级联形成一个复合的操作,因此新模型被命名为复合。通过在小组理论的框架中铸造复合物,我们表明,基于得分功能的KGE模型是复合的特殊情况。Compounde将简单的基于距离的关系扩展到与关系有关的化合物操作上的头部和/或尾部实体。为了证明化合物的有效性,我们对三个流行的KG完成数据集进行了实验。实验结果表明,复合者始终达到了现状的性能。
translated by 谷歌翻译
捕获关系的构图模式是知识图表完成中的重要任务。它还是迈向多跳推理的基本步骤,以了解学到的知识。以前,已经开发了几种基于旋转的翻译方法来使用一系列复值对角线矩阵的产品来模拟复合关系。然而,这些方法倾向于对复合关系进行几种超薄假设,例如,强迫他们独立于实体和缺乏语义等级的交换。为了系统地解决这些问题,我们开发了一种新颖的知识图形嵌入方法,命名为密集,为复杂的关系模式提供改进的建模方案。特别地,我们的方法将每个关系分解成SO(3)基于基于组的旋转操作员和三维(3-D)欧几里德空间中的缩放操作员。这种设计原理导致我们的方法的几个优点:(1)对于复合关系,相应的对角线关系矩阵可以是非换向的,反映了现实世界应用中的主要情景; (2)我们的模型保留了关系运营和实体嵌入之间的自然互动; (3)缩放操作为实体的内在语义层次结构提供建模电力; (4)在参数大小和培训时间方面,以高计算效率实现致密的增强效果; (5)欧几里德空间中的建模实体而不是四元数空间,保持关系模式的直接几何解释。多个基准知识图上的实验结果表明,密集优于当前最先进的模型,以缺少链路预测,尤其是对复合关系。
translated by 谷歌翻译
实体类型预测是知识图中的一个重要问题(kg)研究。在这项工作中提出了一种新的KG实体类型预测方法,名为Core(复杂的空间回归和嵌入)。所提出的核心方法利用两个复杂空间嵌入模型的表现力;即,旋转和复杂的模型。它使用旋转或复杂地将实体和类型嵌入两个不同的复杂空间中。然后,我们推导了一个复杂的回归模型来链接这两个空格。最后,介绍了一种优化嵌入和回归参数的机制。实验表明,核心优于代表性KG实体型推理数据集的基准测试方法。分析了各种实体型预测方法的强度和弱点。
translated by 谷歌翻译
知识图(kg)嵌入在实体的学习表示和链接预测任务的关系方面表现出很大的力量。以前的工作通常将KG嵌入到单个几何空间中,例如欧几里得空间(零弯曲),双曲空间(负弯曲)或超透明空间(积极弯曲),以维持其特定的几何结构(例如,链,层次结构和环形结构)。但是,KGS的拓扑结构似乎很复杂,因为它可能同时包含多种类型的几何结构。因此,将kg嵌入单个空间中,无论欧几里得空间,双曲线空间或透明空间,都无法准确捕获KGS的复杂结构。为了克服这一挑战,我们提出了几何相互作用知识图嵌入(GIE),该图形嵌入了,该图形在欧几里得,双曲线和超级空间之间进行了交互学习的空间结构。从理论上讲,我们提出的GIE可以捕获一组更丰富的关系信息,模型键推理模式,并启用跨实体的表达语义匹配。三个完善的知识图完成基准的实验结果表明,我们的GIE以更少的参数实现了最先进的性能。
translated by 谷歌翻译
Knowledge graph embedding (KGE) is a increasingly popular technique that aims to represent entities and relations of knowledge graphs into low-dimensional semantic spaces for a wide spectrum of applications such as link prediction, knowledge reasoning and knowledge completion. In this paper, we provide a systematic review of existing KGE techniques based on representation spaces. Particularly, we build a fine-grained classification to categorise the models based on three mathematical perspectives of the representation spaces: (1) Algebraic perspective, (2) Geometric perspective, and (3) Analytical perspective. We introduce the rigorous definitions of fundamental mathematical spaces before diving into KGE models and their mathematical properties. We further discuss different KGE methods over the three categories, as well as summarise how spatial advantages work over different embedding needs. By collating the experimental results from downstream tasks, we also explore the advantages of mathematical space in different scenarios and the reasons behind them. We further state some promising research directions from a representation space perspective, with which we hope to inspire researchers to design their KGE models as well as their related applications with more consideration of their mathematical space properties.
translated by 谷歌翻译
We study the problem of learning representations of entities and relations in knowledge graphs for predicting missing links. The success of such a task heavily relies on the ability of modeling and inferring the patterns of (or between) the relations. In this paper, we present a new approach for knowledge graph embedding called RotatE, which is able to model and infer various relation patterns including: symmetry/antisymmetry, inversion, and composition. Specifically, the RotatE model defines each relation as a rotation from the source entity to the target entity in the complex vector space. In addition, we propose a novel self-adversarial negative sampling technique for efficiently and effectively training the RotatE model. Experimental results on multiple benchmark knowledge graphs show that the proposed RotatE model is not only scalable, but also able to infer and model various relation patterns and significantly outperform existing state-of-the-art models for link prediction.
translated by 谷歌翻译
现实世界知识图(kg)主要是不完整的。恢复缺失关系的问题(称为KG完成)最近已成为一个活跃的研究领域。知识图(kg)嵌入是实体和关系的低维表示,是kg完成的关键技术。诸如凸,SACN,Interacte和RGCN等模型中的卷积神经网络取得了最新成功。本文采用了不同的建筑视图,并提出了使用密集的神经网络结合关系感知和共同特征的Comdense。在关系感知的特征提取中,我们尝试通过应用特定于每个关系的编码函数来创建关系归纳偏置。在公共特征提取中,我们将共同的编码函数应用于所有输入嵌入。这些编码功能是使用密集的密集层实现的。与先前的基线方法相比,Comdense在MRR方面实现了链接预测中的最新性能,在FB15K-237上达到@1,并在WN18RR上达到@1。我们进行了一项广泛的消融研究,以检查关系感知层和comdense的共同层的影响。实验结果表明,在Comdense中实现的合并密集体系结构实现了最佳性能。
translated by 谷歌翻译
知识图完成(KGC)旨在发现知识图(KGS)中实体之间的缺失关系。大多数先前的KGC工作都集中在实体和关系的学习表现上。然而,通常需要更高维度的嵌入空间才能获得更好的推理能力,这会导致更大的模型大小,并阻碍对现实世界中的问题的适用性(例如,大规模kgs或移动/边缘计算)。在这项工作中提出了一种称为GreenKGC的轻型模块化的KGC解决方案,以解决此问题。 GreenKGC由三个模块组成:1)表示学习,2)特征修剪和3)决策学习。在模块1中,我们利用现有的KG嵌入模型来学习实体和关系的高维表示。在模块2中,KG分为几个关系组,然后分为一个特征修剪过程,以找到每个关系组的最判别特征。最后,将分类器分配给每个关系组,以应对模块3中KGC任务的低维三功能原始的高维嵌入型号尺寸较小。此外,我们对两个三重分类数据集进行了实验,以证明相同的方法可以推广到更多任务。
translated by 谷歌翻译
知识库完成在这项工作中被制定为二进制分类问题,其中使用知识图中的相关链接(KGS)培训XGBoost二进制分类器。新方法名为KGBoost,采用模块化设计,并尝试找到硬阴性样本,以便培训强大的分类器以进行缺失链路预测。我们在多个基准数据集中进行实验,并证明KGBoost在大多数数据集中优于最先进的方法。此外,与端到端优化训练的模型相比,kgboost在低维设置下运行良好,以便允许更小的型号尺寸。
translated by 谷歌翻译
Covid-19上的知识图(KGS)已建立在加速Covid-19的研究过程中。然而,KGs总是不完整,特别是新建造的Covid-19公斤。链路预测任务旨在预测(e,r,t)或(h,r,e)的丢失实体,其中H和t是某些实体,E是需要预测的实体,R是关系。这项任务还有可能解决Covid-19相关的KGS的不完全问题。虽然已经提出了各种知识图形嵌入(KGE)方法的链路预测任务,但这些现有方法遭受了使用单个评分函数的限制,这不能捕获Covid-19 Kgs的丰富特征。在这项工作中,我们提出了利用多个评分函数来提取来自现有三元组的更多特征的MDistmult模型。我们在CCKS2020 Covid-19抗病毒药物知识图(CADKG)上采用实验。实验结果表明,我们的MDistmult在CADKG数据集上的链路预测任务中实现了最先进的性能
translated by 谷歌翻译
最近公布的知识图形嵌入模型的实施,培训和评估的异质性已经公平和彻底的比较困难。为了评估先前公布的结果的再现性,我们在Pykeen软件包中重新实施和评估了21个交互模型。在这里,我们概述了哪些结果可以通过其报告的超参数再现,这只能以备用的超参数再现,并且无法再现,并且可以提供洞察力,以及为什么会有这种情况。然后,我们在四个数据集上进行了大规模的基准测试,其中数千个实验和24,804 GPU的计算时间。我们展示了最佳实践,每个模型的最佳配置以及可以通过先前发布的最佳配置进行改进的洞察。我们的结果强调了模型架构,训练方法,丢失功能和逆关系显式建模的组合对于模型的性能来说至关重要,而不仅由模型架构决定。我们提供了证据表明,在仔细配置时,若干架构可以获得对最先进的结果。我们制定了所有代码,实验配置,结果和分析,导致我们在https://github.com/pykeen/pykeen和https://github.com/pykeen/benchmarking中获得的解释
translated by 谷歌翻译
如今,知识图(KGS)一直在AI相关的应用中发挥关键作用。尽管尺寸大,但现有的公斤远非完全和全面。为了不断丰富KG,通常使用自动知识结构和更新机制,这不可避免地带来充足的噪音。然而,大多数现有知识图形嵌入(KGE)方法假设KGS中的所有三重事实都是正确的,并且在不考虑噪声和知识冲突的情况下将实体和关系投入到低维空间。这将导致kgs的低质量和不可靠的表示。为此,本文提出了一般的多任务加固学习框架,这可以大大缓解嘈杂的数据问题。在我们的框架中,我们利用强化学习来选择高质量的知识三分石,同时过滤出嘈杂的。此外,为了充分利用语义类似的关系之间的相关性,在具有多任务学习的集体方式中训练了类似关系的三重选择过程。此外,我们扩展了流行的KGE Models Transe,Distmult,与所提出的框架耦合和旋转。最后,实验验证表明,我们的方法能够增强现有的KGE模型,可以在嘈杂的情景中提供更强大的KGS表示。
translated by 谷歌翻译
知识图嵌入(KGE)的有效性在很大程度上取决于建模固有关系模式和映射属性的能力。但是,现有方法只能以不足的建模能力捕获其中的一些。在这项工作中,我们提出了一个名为House的更强大的KGE框架,该框架涉及基于两种家庭转换的新型参数化:(1)住户旋转以实现建模关系模式的较高能力;(2)处理复杂关系映射属性的住户预测。从理论上讲,房屋能够同时建模关键的关系模式和映射属性。此外,房屋是对现有基于旋转的模型的概括,同时将旋转扩展到高维空间。从经验上讲,House在五个基准数据集上实现了新的最新性能。我们的代码可在https://github.com/anrep/house上找到。
translated by 谷歌翻译
知识图嵌入(KGE)旨在将实体和关系映射到低维空间,并成为知识图完成的\ textit {de-facto}标准。大多数现有的KGE方法都受到稀疏挑战的困扰,在这种挑战中,很难预测在知识图中频繁的实体。在这项工作中,我们提出了一个新颖的框架KRACL,以减轻具有图表和对比度学习的KG中广泛的稀疏性。首先,我们建议知识关系网络(KRAT)通过同时将相邻的三元组投射到不同的潜在空间,并通过注意机制共同汇总信息来利用图形上下文。 KRAT能够捕获不同上下文三联的微妙的语义信息和重要性,并利用知识图中的多跳信息。其次,我们通过将对比度损失与跨熵损失相结合,提出知识对比损失,这引入了更多的负样本,从而丰富了对稀疏实体的反馈。我们的实验表明,KRACL在各种标准知识基准中取得了卓越的结果,尤其是在WN18RR和NELL-995上,具有大量低级内实体。广泛的实验还具有KRACL在处理稀疏知识图和鲁棒性三元组的鲁棒性方面的有效性。
translated by 谷歌翻译
Knowledge graph embedding (KGE), which maps entities and relations in a knowledge graph into continuous vector spaces, has achieved great success in predicting missing links in knowledge graphs. However, knowledge graphs often contain incomplete triples that are difficult to inductively infer by KGEs. To address this challenge, we resort to analogical inference and propose a novel and general self-supervised framework AnKGE to enhance KGE models with analogical inference capability. We propose an analogical object retriever that retrieves appropriate analogical objects from entity-level, relation-level, and triple-level. And in AnKGE, we train an analogy function for each level of analogical inference with the original element embedding from a well-trained KGE model as input, which outputs the analogical object embedding. In order to combine inductive inference capability from the original KGE model and analogical inference capability enhanced by AnKGE, we interpolate the analogy score with the base model score and introduce the adaptive weights in the score function for prediction. Through extensive experiments on FB15k-237 and WN18RR datasets, we show that AnKGE achieves competitive results on link prediction task and well performs analogical inference.
translated by 谷歌翻译
知识图形嵌入研究主要集中在两个最小的规范部门代数,$ \ mathbb {r} $和$ \ mathbb {c} $。最近的结果表明,四元增值嵌入的三线性产品可以是解决链路预测的更有效手段。此外,基于真实嵌入的卷曲的模型通常会产生最先进的链路预测结果。在本文中,我们调查了一种卷积操作的组成,具有超量用乘法。我们提出了四个方法qmult,amult,convic和convo来解决链路预测问题。 Qmult和Omult可以被视为先前最先进方法的四元数和octonion扩展,包括Distmult和复杂。 Convic和Convo在Qmult和Omlult上建立在剩余学习框架的方式中包括卷积操作。我们在七个链路预测数据集中评估了我们的方法,包括WN18RR,FB15K-237和YAGO3-10。实验结果表明,随着知识图的规模和复杂性的增长,学习超复分价值的矢量表示的益处变得更加明显。 Convo优于MRR的FB15K-237上的最先进的方法,命中@ 1并点击@ 3,而Qmult,Omlult,Convic和Convo在所有度量标准中的Yago3-10上的最终倾斜的方式。结果还表明,通过预测平均可以进一步改善链路预测性能。为了培养可重复的研究,我们提供了开源的方法,包括培训和评估脚本以及佩戴型模型。
translated by 谷歌翻译
Knowledge graph (KG) embedding is to embed components of a KG including entities and relations into continuous vector spaces, so as to simplify the manipulation while preserving the inherent structure of the KG. It can benefit a variety of downstream tasks such as KG completion and relation extraction, and hence has quickly gained massive attention. In this article, we provide a systematic review of existing techniques, including not only the state-of-the-arts but also those with latest trends. Particularly, we make the review based on the type of information used in the embedding task. Techniques that conduct embedding using only facts observed in the KG are first introduced. We describe the overall framework, specific model design, typical training procedures, as well as pros and cons of such techniques. After that, we discuss techniques that further incorporate additional information besides facts. We focus specifically on the use of entity types, relation paths, textual descriptions, and logical rules. Finally, we briefly introduce how KG embedding can be applied to and benefit a wide variety of downstream tasks such as KG completion, relation extraction, question answering, and so forth.
translated by 谷歌翻译
事实证明,信息提取方法可有效从结构化或非结构化数据中提取三重。以(头部实体,关系,尾部实体)形式组织这样的三元组的组织称为知识图(kgs)。当前的大多数知识图都是不完整的。为了在下游任务中使用kgs,希望预测kgs中缺少链接。最近,通过将实体和关系嵌入到低维的矢量空间中,旨在根据先前访问的三元组来预测三元组,从而对KGS表示不同的方法。根据如何独立或依赖对三元组进行处理,我们将知识图完成的任务分为传统和图形神经网络表示学习,并更详细地讨论它们。在传统的方法中,每个三重三倍将独立处理,并在基于GNN的方法中进行处理,三倍也考虑了他们的当地社区。查看全文
translated by 谷歌翻译
学术知识图(KGS)提供了代表科学出版物编码的知识的丰富的结构化信息来源。随着出版的科学文学的庞大,包括描述科学概念的过多的非均匀实体和关系,这些公斤本质上是不完整的。我们呈现Exbert,一种利用预先训练的变压器语言模型来执行学术知识图形完成的方法。我们将知识图形的三元组模型为文本并执行三重分类(即,属于KG或不属于KG)。评估表明,在三重分类,链路预测和关系预测的任务中,Exbert在三个学术kg完成数据集中表现出其他基线。此外,我们将两个学术数据集作为研究界的资源,从公共公共公报和在线资源中收集。
translated by 谷歌翻译
最近,链接预测问题,也称为知识图完成,已经吸引了大量的研究。即使最近的型号很少试图通过在低维度中嵌入知识图表来实现相对良好的性能,即目前最先进的模型的最佳结果是以大大提高嵌入的维度的成本赚取的。然而,这导致在巨大知识库的情况下导致过度舒服和更重要的可扩展性问题。灵感灵感来自变压器模型的变体提供的深度学习的进步,因为它的自我关注机制,在本文中,我们提出了一种基于IT的模型来解决上述限制。在我们的模型中,自我关注是将查询依赖预测应用于实体和关系的关键,并捕获它们之间的相互信息,以获得来自低维嵌入的高度富有表现力的表现。两种标准链路预测数据集,FB15K-237和WN18RR的经验结果表明,我们的模型比我们三个最近最近期的最新竞争对手实现了相当的性能或更好的性能,其维度的重大减少了76.3%平均嵌入。
translated by 谷歌翻译