知识图完成(KGC)旨在发现知识图(KGS)中实体之间的缺失关系。大多数先前的KGC工作都集中在实体和关系的学习表现上。然而,通常需要更高维度的嵌入空间才能获得更好的推理能力,这会导致更大的模型大小,并阻碍对现实世界中的问题的适用性(例如,大规模kgs或移动/边缘计算)。在这项工作中提出了一种称为GreenKGC的轻型模块化的KGC解决方案,以解决此问题。 GreenKGC由三个模块组成:1)表示学习,2)特征修剪和3)决策学习。在模块1中,我们利用现有的KG嵌入模型来学习实体和关系的高维表示。在模块2中,KG分为几个关系组,然后分为一个特征修剪过程,以找到每个关系组的最判别特征。最后,将分类器分配给每个关系组,以应对模块3中KGC任务的低维三功能原始的高维嵌入型号尺寸较小。此外,我们对两个三重分类数据集进行了实验,以证明相同的方法可以推广到更多任务。
translated by 谷歌翻译
知识库完成在这项工作中被制定为二进制分类问题,其中使用知识图中的相关链接(KGS)培训XGBoost二进制分类器。新方法名为KGBoost,采用模块化设计,并尝试找到硬阴性样本,以便培训强大的分类器以进行缺失链路预测。我们在多个基准数据集中进行实验,并证明KGBoost在大多数数据集中优于最先进的方法。此外,与端到端优化训练的模型相比,kgboost在低维设置下运行良好,以便允许更小的型号尺寸。
translated by 谷歌翻译
知识图形嵌入(KGE)由于其在自动知识图(kg)完成和知识驱动的任务中的潜力而引起了很大的关注。然而,最近的KGE模型遭受了高训练成本和大存储空间,因此限制了他们在现实世界应用中的实用性。为了解决这一挑战,根据对比学习领域的最新发现,我们提出了一种名为硬度感知的低维嵌入(HALE)的新型KGE训练框架。除了传统的负面采样而不是传统的负面采样,我们基于查询采样设计一个新的损失功能,可以平衡两个重要的培训目标,对齐和均匀性。此外,我们分析了近期低维双曲模型的硬度感知,并提出了一种轻量级硬度感知激活机制,可以帮助KGE模型关注硬实例并加速收敛。实验结果表明,在有限的训练时间,HALE可以有效地提高KGE模型在五个常用的数据集中的性能和训练速度。在训练后,训练的模型可以在几分钟后获得高预测精度,与低维度和高维条件的最先进模型相比,竞争力。
translated by 谷歌翻译
实体类型预测是知识图中的一个重要问题(kg)研究。在这项工作中提出了一种新的KG实体类型预测方法,名为Core(复杂的空间回归和嵌入)。所提出的核心方法利用两个复杂空间嵌入模型的表现力;即,旋转和复杂的模型。它使用旋转或复杂地将实体和类型嵌入两个不同的复杂空间中。然后,我们推导了一个复杂的回归模型来链接这两个空格。最后,介绍了一种优化嵌入和回归参数的机制。实验表明,核心优于代表性KG实体型推理数据集的基准测试方法。分析了各种实体型预测方法的强度和弱点。
translated by 谷歌翻译
最近公布的知识图形嵌入模型的实施,培训和评估的异质性已经公平和彻底的比较困难。为了评估先前公布的结果的再现性,我们在Pykeen软件包中重新实施和评估了21个交互模型。在这里,我们概述了哪些结果可以通过其报告的超参数再现,这只能以备用的超参数再现,并且无法再现,并且可以提供洞察力,以及为什么会有这种情况。然后,我们在四个数据集上进行了大规模的基准测试,其中数千个实验和24,804 GPU的计算时间。我们展示了最佳实践,每个模型的最佳配置以及可以通过先前发布的最佳配置进行改进的洞察。我们的结果强调了模型架构,训练方法,丢失功能和逆关系显式建模的组合对于模型的性能来说至关重要,而不仅由模型架构决定。我们提供了证据表明,在仔细配置时,若干架构可以获得对最先进的结果。我们制定了所有代码,实验配置,结果和分析,导致我们在https://github.com/pykeen/pykeen和https://github.com/pykeen/benchmarking中获得的解释
translated by 谷歌翻译
翻译,旋转和缩放是图像处理中三个常用的几何操作操作。此外,其中一些成功用于开发有效的知识图嵌入(KGE)模型,例如transe和旋转。受协同作用的启发,我们通过利用这项工作中的所有三项操作提出了一个新的KGE模型。由于翻译,旋转和缩放操作被级联形成一个复合的操作,因此新模型被命名为复合。通过在小组理论的框架中铸造复合物,我们表明,基于得分功能的KGE模型是复合的特殊情况。Compounde将简单的基于距离的关系扩展到与关系有关的化合物操作上的头部和/或尾部实体。为了证明化合物的有效性,我们对三个流行的KG完成数据集进行了实验。实验结果表明,复合者始终达到了现状的性能。
translated by 谷歌翻译
知识图形嵌入(KGE)是一个流行的kg推理和具有更高尺寸的训练桶的方法,通常优先于它们具有更好的推理能力。然而,高维kges对存储和计算资源构成了巨大挑战,并且不适合资源限制或时间约束应用,这更快和更便宜的推理是必要的。为了解决这个问题,我们提出了Dualde,一种知识蒸馏方法,从预先训练的高维老师KGE建立低维学生KGE。 Dualde考虑教师和学生之间的双重影响。在Dualde中,我们提出了一种软标签评估机制,可自适应地将不同的软标签和硬标签重量分配给不同的三元组,以及改善学生接受教师的两级蒸馏方法。我们的双式足够一般,可以应用于各种桶。实验结果表明,我们的方法可以成功将高维kge的嵌入参数减少7次 - 15次,并将推理速度提高2次 - 6次 - 保持高性能。我们还通过消融研究证明我们的软标签评估机制和两级蒸馏方法的有效性。
translated by 谷歌翻译
如今,知识图(KGS)一直在AI相关的应用中发挥关键作用。尽管尺寸大,但现有的公斤远非完全和全面。为了不断丰富KG,通常使用自动知识结构和更新机制,这不可避免地带来充足的噪音。然而,大多数现有知识图形嵌入(KGE)方法假设KGS中的所有三重事实都是正确的,并且在不考虑噪声和知识冲突的情况下将实体和关系投入到低维空间。这将导致kgs的低质量和不可靠的表示。为此,本文提出了一般的多任务加固学习框架,这可以大大缓解嘈杂的数据问题。在我们的框架中,我们利用强化学习来选择高质量的知识三分石,同时过滤出嘈杂的。此外,为了充分利用语义类似的关系之间的相关性,在具有多任务学习的集体方式中训练了类似关系的三重选择过程。此外,我们扩展了流行的KGE Models Transe,Distmult,与所提出的框架耦合和旋转。最后,实验验证表明,我们的方法能够增强现有的KGE模型,可以在嘈杂的情景中提供更强大的KGS表示。
translated by 谷歌翻译
知识嵌入(KE)通过将实体和关系嵌入连续的向量空间来表示知识图(kg)。现有方法主要基于结构或基于描述。基于结构的方法学习保留KGS固有结构的表示。它们不能很好地代表具有有限结构信息的现实世界中的丰富长尾实体。基于描述的方法利用文本信息和语言模型。朝这个方向迈出的先前方法几乎不能胜过基于结构的结构,并且遇到了昂贵的负面抽样和限制性描述需求等问题。在本文中,我们提出了LMKE,该LMKE采用语言模型来得出知识嵌入,旨在既富集了长尾实体的表示形式又旨在解决先前的基于描述的方法的问题。我们通过对比度学习框架制定基于描述的KE学习,以提高培训和评估的效率。实验结果表明,LMKE在链接预测和三重分类的KE基准上实现了最先进的性能,尤其是对于长尾实体。
translated by 谷歌翻译
最近,链接预测问题,也称为知识图完成,已经吸引了大量的研究。即使最近的型号很少试图通过在低维度中嵌入知识图表来实现相对良好的性能,即目前最先进的模型的最佳结果是以大大提高嵌入的维度的成本赚取的。然而,这导致在巨大知识库的情况下导致过度舒服和更重要的可扩展性问题。灵感灵感来自变压器模型的变体提供的深度学习的进步,因为它的自我关注机制,在本文中,我们提出了一种基于IT的模型来解决上述限制。在我们的模型中,自我关注是将查询依赖预测应用于实体和关系的关键,并捕获它们之间的相互信息,以获得来自低维嵌入的高度富有表现力的表现。两种标准链路预测数据集,FB15K-237和WN18RR的经验结果表明,我们的模型比我们三个最近最近期的最新竞争对手实现了相当的性能或更好的性能,其维度的重大减少了76.3%平均嵌入。
translated by 谷歌翻译
学术知识图(KGS)提供了代表科学出版物编码的知识的丰富的结构化信息来源。随着出版的科学文学的庞大,包括描述科学概念的过多的非均匀实体和关系,这些公斤本质上是不完整的。我们呈现Exbert,一种利用预先训练的变压器语言模型来执行学术知识图形完成的方法。我们将知识图形的三元组模型为文本并执行三重分类(即,属于KG或不属于KG)。评估表明,在三重分类,链路预测和关系预测的任务中,Exbert在三个学术kg完成数据集中表现出其他基线。此外,我们将两个学术数据集作为研究界的资源,从公共公共公报和在线资源中收集。
translated by 谷歌翻译
Sparsity of formal knowledge and roughness of non-ontological construction make sparsity problem particularly prominent in Open Knowledge Graphs (OpenKGs). Due to sparse links, learning effective representation for few-shot entities becomes difficult. We hypothesize that by introducing negative samples, a contrastive learning (CL) formulation could be beneficial in such scenarios. However, existing CL methods model KG triplets as binary objects of entities ignoring the relation-guided ternary propagation patterns and they are too generic, i.e., they ignore zero-shot, few-shot and synonymity problems that appear in OpenKGs. To address this, we propose TernaryCL, a CL framework based on ternary propagation patterns among head, relation and tail. TernaryCL designs Contrastive Entity and Contrastive Relation to mine ternary discriminative features with both negative entities and relations, introduces Contrastive Self to help zero- and few-shot entities learn discriminative features, Contrastive Synonym to model synonymous entities, and Contrastive Fusion to aggregate graph features from multiple paths. Extensive experiments on benchmarks demonstrate the superiority of TernaryCL over state-of-the-art models.
translated by 谷歌翻译
知识图(kg)嵌入在实体的学习表示和链接预测任务的关系方面表现出很大的力量。以前的工作通常将KG嵌入到单个几何空间中,例如欧几里得空间(零弯曲),双曲空间(负弯曲)或超透明空间(积极弯曲),以维持其特定的几何结构(例如,链,层次结构和环形结构)。但是,KGS的拓扑结构似乎很复杂,因为它可能同时包含多种类型的几何结构。因此,将kg嵌入单个空间中,无论欧几里得空间,双曲线空间或透明空间,都无法准确捕获KGS的复杂结构。为了克服这一挑战,我们提出了几何相互作用知识图嵌入(GIE),该图形嵌入了,该图形在欧几里得,双曲线和超级空间之间进行了交互学习的空间结构。从理论上讲,我们提出的GIE可以捕获一组更丰富的关系信息,模型键推理模式,并启用跨实体的表达语义匹配。三个完善的知识图完成基准的实验结果表明,我们的GIE以更少的参数实现了最先进的性能。
translated by 谷歌翻译
The choice of geometric space for knowledge graph (KG) embeddings can have significant effects on the performance of KG completion tasks. The hyperbolic geometry has been shown to capture the hierarchical patterns due to its tree-like metrics, which addressed the limitations of the Euclidean embedding models. Recent explorations of the complex hyperbolic geometry further improved the hyperbolic embeddings for capturing a variety of hierarchical structures. However, the performance of the hyperbolic KG embedding models for non-transitive relations is still unpromising, while the complex hyperbolic embeddings do not deal with multi-relations. This paper aims to utilize the representation capacity of the complex hyperbolic geometry in multi-relational KG embeddings. To apply the geometric transformations which account for different relations and the attention mechanism in the complex hyperbolic space, we propose to use the fast Fourier transform (FFT) as the conversion between the real and complex hyperbolic space. Constructing the attention-based transformations in the complex space is very challenging, while the proposed Fourier transform-based complex hyperbolic approaches provide a simple and effective solution. Experimental results show that our methods outperform the baselines, including the Euclidean and the real hyperbolic embedding models.
translated by 谷歌翻译
学习知识图的嵌入对人工智能至关重要,可以使各种下游应用受益,例如推荐和问题回答。近年来,已经提出了许多研究努力,以嵌入知识图形。然而,最先前的知识图形嵌入方法忽略不同三元组中的相关实体和实体关系耦合之间的语义相似性,因为它们与评分函数分别优化每个三倍。为了解决这个问题,我们提出了一个简单但有效的对比学习框架,用于知识图形嵌入,可以缩短不同三元组中相关实体和实体关系耦合的语义距离,从而提高知识图形嵌入的表现力。我们在三个标准知识图形基准上评估我们提出的方法。值得注意的是,我们的方法可以产生一些新的最先进的结果,在WN18RR数据集中实现51.2%的MRR,46.8%HITS @ 1,59.1%的MRR,51.8%在YAGO3-10数据集中击打@ 1 。
translated by 谷歌翻译
Knowledge graph embedding (KGE) is a increasingly popular technique that aims to represent entities and relations of knowledge graphs into low-dimensional semantic spaces for a wide spectrum of applications such as link prediction, knowledge reasoning and knowledge completion. In this paper, we provide a systematic review of existing KGE techniques based on representation spaces. Particularly, we build a fine-grained classification to categorise the models based on three mathematical perspectives of the representation spaces: (1) Algebraic perspective, (2) Geometric perspective, and (3) Analytical perspective. We introduce the rigorous definitions of fundamental mathematical spaces before diving into KGE models and their mathematical properties. We further discuss different KGE methods over the three categories, as well as summarise how spatial advantages work over different embedding needs. By collating the experimental results from downstream tasks, we also explore the advantages of mathematical space in different scenarios and the reasons behind them. We further state some promising research directions from a representation space perspective, with which we hope to inspire researchers to design their KGE models as well as their related applications with more consideration of their mathematical space properties.
translated by 谷歌翻译
知识图嵌入(KGE)旨在将实体和关系映射到低维空间,并成为知识图完成的\ textit {de-facto}标准。大多数现有的KGE方法都受到稀疏挑战的困扰,在这种挑战中,很难预测在知识图中频繁的实体。在这项工作中,我们提出了一个新颖的框架KRACL,以减轻具有图表和对比度学习的KG中广泛的稀疏性。首先,我们建议知识关系网络(KRAT)通过同时将相邻的三元组投射到不同的潜在空间,并通过注意机制共同汇总信息来利用图形上下文。 KRAT能够捕获不同上下文三联的微妙的语义信息和重要性,并利用知识图中的多跳信息。其次,我们通过将对比度损失与跨熵损失相结合,提出知识对比损失,这引入了更多的负样本,从而丰富了对稀疏实体的反馈。我们的实验表明,KRACL在各种标准知识基准中取得了卓越的结果,尤其是在WN18RR和NELL-995上,具有大量低级内实体。广泛的实验还具有KRACL在处理稀疏知识图和鲁棒性三元组的鲁棒性方面的有效性。
translated by 谷歌翻译
知识图嵌入模型已成为机器学习的重要领域。这些模型在知识图中提供了实体和关系的潜在表示,然后可以在下游机器学习任务(例如链接预测)中使用。这些模型的学习过程可以通过对比正面和负三元组来执行。虽然所有千克的三元组都被认为是正的,但负三元三联通常不容易获得。因此,获得的采样方法的选择在知识图嵌入模型的性能和有效性中起着至关重要的作用。当前的大多数方法从基础知识图中实体的随机分布中获取负面样本,这些样本通常还包括毫无意义的三元组。其他已知方法使用对抗技术或生成神经网络,从而降低了过程的效率。在本文中,我们提出了一种方法,以产生有关实体的可用互补知识的信息负面样本。特别是,预训练的语言模型用于通过利用实体之间的距离来形成邻里群集,以通过其文本信息获得符号实体的表示。我们的全面评估证明了拟议方法在基准知识图上具有链接预测任务的文本信息的有效性。
translated by 谷歌翻译
事实证明,信息提取方法可有效从结构化或非结构化数据中提取三重。以(头部实体,关系,尾部实体)形式组织这样的三元组的组织称为知识图(kgs)。当前的大多数知识图都是不完整的。为了在下游任务中使用kgs,希望预测kgs中缺少链接。最近,通过将实体和关系嵌入到低维的矢量空间中,旨在根据先前访问的三元组来预测三元组,从而对KGS表示不同的方法。根据如何独立或依赖对三元组进行处理,我们将知识图完成的任务分为传统和图形神经网络表示学习,并更详细地讨论它们。在传统的方法中,每个三重三倍将独立处理,并在基于GNN的方法中进行处理,三倍也考虑了他们的当地社区。查看全文
translated by 谷歌翻译
We study the problem of learning representations of entities and relations in knowledge graphs for predicting missing links. The success of such a task heavily relies on the ability of modeling and inferring the patterns of (or between) the relations. In this paper, we present a new approach for knowledge graph embedding called RotatE, which is able to model and infer various relation patterns including: symmetry/antisymmetry, inversion, and composition. Specifically, the RotatE model defines each relation as a rotation from the source entity to the target entity in the complex vector space. In addition, we propose a novel self-adversarial negative sampling technique for efficiently and effectively training the RotatE model. Experimental results on multiple benchmark knowledge graphs show that the proposed RotatE model is not only scalable, but also able to infer and model various relation patterns and significantly outperform existing state-of-the-art models for link prediction.
translated by 谷歌翻译