知识图(kg)嵌入技术使用实体之间的结构化关系来学习实体和关系的低维表示。传统的KG嵌入技术(例如Transe和Distmult)通过在观察到的KG三胞胎上开发的简单模型来估算这些嵌入。这些方法的三胞胎得分损失函数有所不同。由于这些模型仅使用观察到的三胞胎来估计嵌入,因此它们很容易受到通常发生在现实世界知识图中的数据稀疏性,即每个实体缺乏足够的三胞胎。为了解决这个问题,我们提出了一种有效的方法来增加三胞胎的数量,以解决数据稀疏问题。我们使用随机步行来创建其他三胞胎,以便这些引入三胞胎的关系需要随机步行引起的Metapath。我们还提供了准确有效地从随机步行所引起的可能的元数据集中从可能的Metapath中滤除信息性元素的方法。所提出的方法是模型不合时宜的,可以将增强培训数据集与开箱即用的任何KG嵌入方法一起使用。在基准数据集上获得的实验结果显示了所提出方法的优势。
translated by 谷歌翻译
对于知识图形完成,存在两种主要类型的预测模型:基于图形嵌入的一个,以及基于关系路径规则诱导。它们具有不同的优缺点。为了利用这两种类型,最近提出了混合模型。其中一个混合模型,uniker,交替通过关系路径规则增强培训数据并列进嵌入模型。尽管其预测准确性很高,但它不充分利用关系路径规则,因为它忽略了低置信度规则,以保持增强数据的质量。为了缓解此限制,我们通过关系路径规则和基于置信性的增强数据提出转换数据增强。结果和分析表明,我们所提出的方法通过增强包括与它们类似的真实答案或实体的数据来有效提高嵌入模型的性能。
translated by 谷歌翻译
大型知识图(KGS)提供人类知识的结构化表示。然而,由于不可能包含所有知识,KGs通常不完整。基于现有事实的推理铺平了一种发现缺失事实的方法。在本文中,我们研究了了解完成缺失事实三胞胎的知识图表的推理的学习逻辑规则问题。学习逻辑规则将具有很强的解释性的模型以及概括到类似任务的能力。我们提出了一种称为MPLR的模型,可以改进现有模型以完全使用培训数据,并且考虑多目标方案。此外,考虑到缺乏评估模型表现和开采规则的质量,我们进一步提出了两名新颖的指标来帮助解决问题。实验结果证明我们的MPLR模型在五个基准数据集中优于最先进的方法。结果还证明了指标的有效性。
translated by 谷歌翻译
知识图表(KGS)是真实世界事实的结构化表示,是融合人类知识的智能数据库,可以帮助机器模仿人类问题的方法。然而,由于快速迭代的性质以及数据的不完整,KGs通常是巨大的,并且在公斤上有不可避免的事实。对于知识图链接的预测是针对基于现有的知识推理来完成缺少事实的任务。广泛研究了两个主要的研究流:一个学习可以捕获潜在模式的实体和关系的低维嵌入,以及通过采矿逻辑规则的良好解释性。不幸的是,以前的研究很少关注异质的KG。在本文中,我们提出了一种将基于嵌入的学习和逻辑规则挖掘结合的模型,以推断在KG上。具体地,我们研究了从节点程度的角度涉及各种类型的实体和关系的异构kg中的缺失链接的问题。在实验中,我们证明了我们的DegreEmbed模型优于对现实世界的数据集的国家的最先进的方法。同时,我们模型开采的规则具有高质量和可解释性。
translated by 谷歌翻译
链接预测是图形上非常基本的任务。在本文中受到传统路径的方法的启发,我们提出了一种基于链路预测路径的一般和灵活的表示学习框架。具体地,我们将一对节点的表示定义为所有路径表示的广义和,每个路径表示为路径中的边缘表示的广义乘积。通过贝尔曼-Ford算法来解决最短路径问题,我们表明,所提出的路径配方可以通过广义的Bellman-Ford算法有效地解决。为了进一步提高路径制构的能力,我们提出了神经贝尔曼 - 福特网络(NBFNET),这是一种全图神经网络框架,其解决了通过广义Bellman-Ford算法中的学习运算符的路径制定。 NBFNET使用3个神经元件,即指示器,消息和聚合函数参数,即分别对应于边界条件,乘法运算符和求和运算符。 NBFNET非常一般,涵盖许多传统的基于路径的方法,并且可以应用于转导和归纳设置的同质图和多关系图(例如,知识图表)。两个均匀图表和知识图表的实验表明,所提出的NBFNET在转换和归纳设置中的大幅度优于现有方法,实现了新的最先进的结果。
translated by 谷歌翻译
基于强化学习(RL)的图表行走在导航代理人通过探索多跳关系路径来导航代理以通过不完整的知识图(kg)来自动完成各种推理任务。然而,现有的多跳推理方法仅在短路推理路径上工作,并且倾向于利用增加的路径长度错过目标实体。这对于实际情况中的许多理由任务是不可取的,其中连接源实体的短路不完整的公斤,因此,除非代理能够寻求更多的线索,否则推理性能急剧下降路径。为了解决上述挑战,在本文中,我们提出了一种双代理强化学习框架,该框架列举了两个代理(巨型和矮人),共同走过了公斤,并协同寻找答案。我们的方法通过将其中一个代理(巨型)进行了快速寻找群集路径并为另一代理(DWARF)提供阶段明智的提示来解决长途路径中的推理挑战。最后,对几千克推理基准测试的实验结果表明,我们的方法可以更准确,高效地搜索答案,并且优于大型余量的长路径查询的基于RL的基于RL的方法。
translated by 谷歌翻译
事实证明,信息提取方法可有效从结构化或非结构化数据中提取三重。以(头部实体,关系,尾部实体)形式组织这样的三元组的组织称为知识图(kgs)。当前的大多数知识图都是不完整的。为了在下游任务中使用kgs,希望预测kgs中缺少链接。最近,通过将实体和关系嵌入到低维的矢量空间中,旨在根据先前访问的三元组来预测三元组,从而对KGS表示不同的方法。根据如何独立或依赖对三元组进行处理,我们将知识图完成的任务分为传统和图形神经网络表示学习,并更详细地讨论它们。在传统的方法中,每个三重三倍将独立处理,并在基于GNN的方法中进行处理,三倍也考虑了他们的当地社区。查看全文
translated by 谷歌翻译
知识图(kgs)在许多应用程序中越来越重要的基础架构,同时患有不完整问题。 KG完成任务(KGC)自动根据不完整的KG预测缺失的事实。但是,现有方法在现实情况下表现不佳。一方面,他们的性能将巨大的降解,而kg的稀疏性越来越大。另一方面,预测的推理过程是一个不可信的黑匣子。本文提出了一个稀疏kgc的新型可解释模型,将高阶推理组合到图形卷积网络中,即HOGRN。它不仅可以提高减轻信息不足问题的概括能力,而且还可以在保持模型的有效性和效率的同时提供可解释性。有两个主要组件无缝集成以进行关节优化。首先,高阶推理成分通过捕获关系之间的内源性相关性来学习高质量的关系表示。这可以反映逻辑规则,以证明更广泛的事实是合理的。其次,更新组件的实体利用无重量的图形卷积网络(GCN)有效地模拟具有可解释性的KG结构。与常规方法不同,我们在没有其他参数的情况下在关系空间中进行实体聚合和基于设计组成的注意。轻巧的设计使HOGRN更适合稀疏设置。为了进行评估,我们进行了广泛的实验 - HOGRN对几个稀疏KG的结果表现出了令人印象深刻的改善(平均为9%的MRR增益)。进一步的消融和案例研究证明了主要成分的有效性。我们的代码将在接受后发布。
translated by 谷歌翻译
多年来,旨在从已知事实中推断出新结论的知识图(KGS)的推理主要集中在静态KG上。现实生活中知识的不断增长提出了使能够扩大KGS的归纳推理能力的必要性。现有的归纳工作假设新实体都在批处理中一次出现,这过度简化了新实体不断出现的实际情况。这项研究探讨了一个更现实,更具挑战性的环境,新实体分为多批次。我们提出了一个基于步行的归纳推理模型来解决新环境。具体而言,具有自适应关系聚合的图形卷积网络旨在使用其邻近关系编码和更新实体。为了捕捉不同的邻居的重要性,我们在聚合过程中采用了一种查询反馈注意机制。此外,为了减轻新实体的稀疏链接问题,我们提出了一种链接增强策略,以将可信赖的事实添加到KGS中。我们构建了三个新数据集,用于模拟此多批次出现方案。实验结果表明,我们所提出的模型优于基于最先进的基于嵌入的,基于步行的基于步行和基于规则的模型。
translated by 谷歌翻译
Knowledge graph reasoning (KGR), aiming to deduce new facts from existing facts based on mined logic rules underlying knowledge graphs (KGs), has become a fast-growing research direction. It has been proven to significantly benefit the usage of KGs in many AI applications, such as question answering and recommendation systems, etc. According to the graph types, the existing KGR models can be roughly divided into three categories, \textit{i.e.,} static models, temporal models, and multi-modal models. The early works in this domain mainly focus on static KGR and tend to directly apply general knowledge graph embedding models to the reasoning task. However, these models are not suitable for more complex but practical tasks, such as inductive static KGR, temporal KGR, and multi-modal KGR. To this end, multiple works have been developed recently, but no survey papers and open-source repositories comprehensively summarize and discuss models in this important direction. To fill the gap, we conduct a survey for knowledge graph reasoning tracing from static to temporal and then to multi-modal KGs. Concretely, the preliminaries, summaries of KGR models, and typical datasets are introduced and discussed consequently. Moreover, we discuss the challenges and potential opportunities. The corresponding open-source repository is shared on GitHub: https://github.com/LIANGKE23/Awesome-Knowledge-Graph-Reasoning.
translated by 谷歌翻译
近年来,代数拓扑及其现代发展,即持续的同源性理论,在图形表示学习中表现出巨大的潜力。在本文中,基于代数拓扑的数学,我们提出了一种新颖的归纳关系预测解决方案,这是知识图完成的重要学习任务。为了预测两个实体之间的关系,一个人可以使用规则的存在,即一系列关系。先前的作品将规则视为路径,主要集中于搜索实体之间的路径。规则的空间很大,必须牺牲效率或准确性。在本文中,我们将规则视为循环,并表明周期的空间具有基于代数拓扑数学的数学结构。通过探索周期空间的线性结构,我们可以提高规则的搜索效率。我们建议收集跨越周期空间的循环基础。我们在收集的周期上建立了一个新颖的GNN框架,以学习周期的表示,并预测关系的存在/不存在。我们的方法在基准上实现了最先进的性能。
translated by 谷歌翻译
Knowledge graphs (KG) have served as the key component of various natural language processing applications. Commonsense knowledge graphs (CKG) are a special type of KG, where entities and relations are composed of free-form text. However, previous works in KG completion and CKG completion suffer from long-tail relations and newly-added relations which do not have many know triples for training. In light of this, few-shot KG completion (FKGC), which requires the strengths of graph representation learning and few-shot learning, has been proposed to challenge the problem of limited annotated data. In this paper, we comprehensively survey previous attempts on such tasks in the form of a series of methods and applications. Specifically, we first introduce FKGC challenges, commonly used KGs, and CKGs. Then we systematically categorize and summarize existing works in terms of the type of KGs and the methods. Finally, we present applications of FKGC models on prediction tasks in different areas and share our thoughts on future research directions of FKGC.
translated by 谷歌翻译
Knowledge graph (KG) embedding is to embed components of a KG including entities and relations into continuous vector spaces, so as to simplify the manipulation while preserving the inherent structure of the KG. It can benefit a variety of downstream tasks such as KG completion and relation extraction, and hence has quickly gained massive attention. In this article, we provide a systematic review of existing techniques, including not only the state-of-the-arts but also those with latest trends. Particularly, we make the review based on the type of information used in the embedding task. Techniques that conduct embedding using only facts observed in the KG are first introduced. We describe the overall framework, specific model design, typical training procedures, as well as pros and cons of such techniques. After that, we discuss techniques that further incorporate additional information besides facts. We focus specifically on the use of entity types, relation paths, textual descriptions, and logical rules. Finally, we briefly introduce how KG embedding can be applied to and benefit a wide variety of downstream tasks such as KG completion, relation extraction, question answering, and so forth.
translated by 谷歌翻译
捕获关系的构图模式是知识图表完成中的重要任务。它还是迈向多跳推理的基本步骤,以了解学到的知识。以前,已经开发了几种基于旋转的翻译方法来使用一系列复值对角线矩阵的产品来模拟复合关系。然而,这些方法倾向于对复合关系进行几种超薄假设,例如,强迫他们独立于实体和缺乏语义等级的交换。为了系统地解决这些问题,我们开发了一种新颖的知识图形嵌入方法,命名为密集,为复杂的关系模式提供改进的建模方案。特别地,我们的方法将每个关系分解成SO(3)基于基于组的旋转操作员和三维(3-D)欧几里德空间中的缩放操作员。这种设计原理导致我们的方法的几个优点:(1)对于复合关系,相应的对角线关系矩阵可以是非换向的,反映了现实世界应用中的主要情景; (2)我们的模型保留了关系运营和实体嵌入之间的自然互动; (3)缩放操作为实体的内在语义层次结构提供建模电力; (4)在参数大小和培训时间方面,以高计算效率实现致密的增强效果; (5)欧几里德空间中的建模实体而不是四元数空间,保持关系模式的直接几何解释。多个基准知识图上的实验结果表明,密集优于当前最先进的模型,以缺少链路预测,尤其是对复合关系。
translated by 谷歌翻译
传统的静态知识图形在关系数据中的模型实体作为节点,由特定关系类型的边缘连接。然而,信息和知识不断发展,并且时间动态出现,预计会影响未来的情况。在时间知识图中,通过用时间戳或时间范围配备每个边缘,将时间信息集成到图表中。已经引入了基于嵌入的方法,以便在时间知识图上引入链接预测,但它们主要缺乏可解释性和可理解的推理链。特别是,它们通常不设计用于处理涉及未来时间戳的链路预测 - 事件预测。我们解决了对时间知识图表链接预测的任务,并介绍了一种基于通过时间随机散步提取的时间逻辑规则的可解释的框架。我们在三个基准数据集中比较Tlogic与最先进的基线,并显示出更好的整体性能,而我们的方法还提供了保留时间一致性的解释。此外,与基于最先进的嵌入的方法相比,TLOGIC在具有普通词汇表的相关数据集转移到相关的数据集中,TLOGIC在归纳规则中运行良好。
translated by 谷歌翻译
归纳链路预测(ILP)是考虑到新兴知识图(kgs)中未见实体的联系,考虑到KGS的发展性质。一个更具挑战性的场景是,新兴的kg仅由看不见的实体组成,被称为已断开新兴kgs(DEKGS)。 DEKGS的现有研究仅专注于预测封闭链接,即预测新兴KG内部的联系。到目前为止,先前的工作尚未对将进化信息从原始KG到DEKG进行进化信息。为了填补空白,我们提出了一个名为DEKG-ILP的新型模型(由以下两个组成部分组成的dekg-ilp(断开新兴知识图形的归纳链路预测)。 (1)模块CLRM(基于对比的关系特定特征特征建模)是为了提取基于全球关系的语义特征而开发的,它们在原始KGS和DEKGS之间以新颖的采样策略共享。 (2)提出了模块GSM(基于GNN的子图建模),以提取围绕KGS中每个链接的局部子图拓扑信息。在几个基准数据集上进行的广泛实验表明,与最新方法相比,DEKG-ILP具有明显的性能改进,用于封闭和桥接链路预测。源代码可在线获得。
translated by 谷歌翻译
本文研究了知识图的推荐系统,可以有效地解决数据稀疏和冷启动的问题。最近,已经为这个问题开发了各种方法,这通常试图根据其表示,学习用户和物品的有效陈述,然后根据其表示将项目匹配。虽然这些方法已经表现得非常有效,但它们缺乏良好的解释,这对推荐系统至关重要。在本文中,我们采取了不同的路线,并提出通过从用户到项目的有意义路径来创造建议。具体地,我们将问题作为顺序决策过程,其中目标用户被定义为初始状态,并且图中的边缘被定义为动作。我们根据现有的最先进方法塑造奖励,然后使用策略梯度方法培训策略函数。三个现实世界数据集的实验结果表明,我们的提出方法不仅提供有效的建议,还提供了良好的解释。
translated by 谷歌翻译
知识图表通常掺入到推荐系统,以提高整体性能。由于知识图的推广和规模,大多数知识的关系是不是目标用户项预测有帮助。要利用知识图在推荐系统捕捉目标具体知识的关系,我们需要提炼知识图,以保留有用的信息和完善的知识来捕捉用户的喜好。为了解决这个问题,我们提出了知识感知条件注意网络(KCAN),这是一个终端到终端的模式纳入知识图形转换为推荐系统。具体来说,我们使用一个知识感知注意传播方式,以获得所述节点表示第一,其捕获用户 - 项目网络和知识图表对全球语义相似度。然后给出一个目标,即用户 - 项对,我们会自动提炼出知识图到基于知识感知关注的具体目标子。随后,通过在应用子有条件的注意力聚集,我们细化知识图,以获得特定目标节点表示。因此,我们可以得到两个表示性和个性化,以实现整体性能。现实世界的数据集实验结果表明,我们对国家的最先进的算法框架的有效性。
translated by 谷歌翻译
图表可以表示实体之间的关系信息,图形结构广泛用于许多智能任务,例如搜索,推荐和问题应答。然而,实际上大多数图形结构数据都遭受了不完整性,因此链路预测成为一个重要的研究问题。虽然提出了许多模型来用于链路预测,但以下两个问题仍然仍然较少:(1)大多数方法在不利用相关链路中使用丰富的信息,大多数方法都独立模型,并且(2)现有型号主要基于关联设计学习并没有考虑推理。通过这些问题,在本文中,我们提出了图表协作推理(GCR),它可以使用邻居与逻辑推理视角的关系中的关系推理。我们提供了一种简单的方法来将图形结构转换为逻辑表达式,以便链路预测任务可以转换为神经逻辑推理问题。我们应用逻辑受限的神经模块根据逻辑表达式构建网络架构,并使用反向传播以有效地学习模型参数,这在统一架构中桥接可分辨率的学习和象征性推理。为了展示我们工作的有效性,我们对图形相关任务进行实验,例如基于常用的基准数据集的链路预测和推荐,我们的图表合作推理方法实现了最先进的性能。
translated by 谷歌翻译
We study the problem of learning representations of entities and relations in knowledge graphs for predicting missing links. The success of such a task heavily relies on the ability of modeling and inferring the patterns of (or between) the relations. In this paper, we present a new approach for knowledge graph embedding called RotatE, which is able to model and infer various relation patterns including: symmetry/antisymmetry, inversion, and composition. Specifically, the RotatE model defines each relation as a rotation from the source entity to the target entity in the complex vector space. In addition, we propose a novel self-adversarial negative sampling technique for efficiently and effectively training the RotatE model. Experimental results on multiple benchmark knowledge graphs show that the proposed RotatE model is not only scalable, but also able to infer and model various relation patterns and significantly outperform existing state-of-the-art models for link prediction.
translated by 谷歌翻译