知识图表(KGS)是真实世界事实的结构化表示,是融合人类知识的智能数据库,可以帮助机器模仿人类问题的方法。然而,由于快速迭代的性质以及数据的不完整,KGs通常是巨大的,并且在公斤上有不可避免的事实。对于知识图链接的预测是针对基于现有的知识推理来完成缺少事实的任务。广泛研究了两个主要的研究流:一个学习可以捕获潜在模式的实体和关系的低维嵌入,以及通过采矿逻辑规则的良好解释性。不幸的是,以前的研究很少关注异质的KG。在本文中,我们提出了一种将基于嵌入的学习和逻辑规则挖掘结合的模型,以推断在KG上。具体地,我们研究了从节点程度的角度涉及各种类型的实体和关系的异构kg中的缺失链接的问题。在实验中,我们证明了我们的DegreEmbed模型优于对现实世界的数据集的国家的最先进的方法。同时,我们模型开采的规则具有高质量和可解释性。
translated by 谷歌翻译
大型知识图(KGS)提供人类知识的结构化表示。然而,由于不可能包含所有知识,KGs通常不完整。基于现有事实的推理铺平了一种发现缺失事实的方法。在本文中,我们研究了了解完成缺失事实三胞胎的知识图表的推理的学习逻辑规则问题。学习逻辑规则将具有很强的解释性的模型以及概括到类似任务的能力。我们提出了一种称为MPLR的模型,可以改进现有模型以完全使用培训数据,并且考虑多目标方案。此外,考虑到缺乏评估模型表现和开采规则的质量,我们进一步提出了两名新颖的指标来帮助解决问题。实验结果证明我们的MPLR模型在五个基准数据集中优于最先进的方法。结果还证明了指标的有效性。
translated by 谷歌翻译
对于知识图形完成,存在两种主要类型的预测模型:基于图形嵌入的一个,以及基于关系路径规则诱导。它们具有不同的优缺点。为了利用这两种类型,最近提出了混合模型。其中一个混合模型,uniker,交替通过关系路径规则增强培训数据并列进嵌入模型。尽管其预测准确性很高,但它不充分利用关系路径规则,因为它忽略了低置信度规则,以保持增强数据的质量。为了缓解此限制,我们通过关系路径规则和基于置信性的增强数据提出转换数据增强。结果和分析表明,我们所提出的方法通过增强包括与它们类似的真实答案或实体的数据来有效提高嵌入模型的性能。
translated by 谷歌翻译
图表可以表示实体之间的关系信息,图形结构广泛用于许多智能任务,例如搜索,推荐和问题应答。然而,实际上大多数图形结构数据都遭受了不完整性,因此链路预测成为一个重要的研究问题。虽然提出了许多模型来用于链路预测,但以下两个问题仍然仍然较少:(1)大多数方法在不利用相关链路中使用丰富的信息,大多数方法都独立模型,并且(2)现有型号主要基于关联设计学习并没有考虑推理。通过这些问题,在本文中,我们提出了图表协作推理(GCR),它可以使用邻居与逻辑推理视角的关系中的关系推理。我们提供了一种简单的方法来将图形结构转换为逻辑表达式,以便链路预测任务可以转换为神经逻辑推理问题。我们应用逻辑受限的神经模块根据逻辑表达式构建网络架构,并使用反向传播以有效地学习模型参数,这在统一架构中桥接可分辨率的学习和象征性推理。为了展示我们工作的有效性,我们对图形相关任务进行实验,例如基于常用的基准数据集的链路预测和推荐,我们的图表合作推理方法实现了最先进的性能。
translated by 谷歌翻译
事实证明,信息提取方法可有效从结构化或非结构化数据中提取三重。以(头部实体,关系,尾部实体)形式组织这样的三元组的组织称为知识图(kgs)。当前的大多数知识图都是不完整的。为了在下游任务中使用kgs,希望预测kgs中缺少链接。最近,通过将实体和关系嵌入到低维的矢量空间中,旨在根据先前访问的三元组来预测三元组,从而对KGS表示不同的方法。根据如何独立或依赖对三元组进行处理,我们将知识图完成的任务分为传统和图形神经网络表示学习,并更详细地讨论它们。在传统的方法中,每个三重三倍将独立处理,并在基于GNN的方法中进行处理,三倍也考虑了他们的当地社区。查看全文
translated by 谷歌翻译
知识图(KGS)代表作为三元组的事实已被广泛采用在许多应用中。 LIGHT预测和规则感应等推理任务对于KG的开发很重要。已经提出了知识图形嵌入式(KGES)将kg的实体和kg与持续向量空间的关系进行了建议,以获得这些推理任务,并被证明是有效和强大的。但在实际应用中申请和部署KGE的合理性和可行性尚未探索。在本文中,我们讨论并报告我们在真实域应用程序中部署KGE的经验:电子商务。我们首先为电子商务KG系统提供三个重要的探索者:1)注意推理,推理几个目标关系更为关注而不是全部; 2)解释,提供预测的解释,帮助用户和业务运营商理解为什么预测; 3)可转让规则,生成可重用的规则,以加速将千克部署到新系统。虽然非现有KGE可以满足所有这些DesiderATA,但我们提出了一种新颖的一种,可说明的知识图表注意网络,通过建模三元组之间的相关性而不是纯粹依赖于其头实体,关系和尾部实体嵌入来预测。它可以自动选择预测的注意力三倍,并同时记录它们的贡献,从该解释可以很容易地提供,可以有效地生产可转移规则。我们经验表明,我们的方法能够在我们的电子商务应用程序中满足所有三个DesiderATA,并从实际域应用程序中倾斜于数据集的典型基线。
translated by 谷歌翻译
Knowledge graph (KG) embedding is to embed components of a KG including entities and relations into continuous vector spaces, so as to simplify the manipulation while preserving the inherent structure of the KG. It can benefit a variety of downstream tasks such as KG completion and relation extraction, and hence has quickly gained massive attention. In this article, we provide a systematic review of existing techniques, including not only the state-of-the-arts but also those with latest trends. Particularly, we make the review based on the type of information used in the embedding task. Techniques that conduct embedding using only facts observed in the KG are first introduced. We describe the overall framework, specific model design, typical training procedures, as well as pros and cons of such techniques. After that, we discuss techniques that further incorporate additional information besides facts. We focus specifically on the use of entity types, relation paths, textual descriptions, and logical rules. Finally, we briefly introduce how KG embedding can be applied to and benefit a wide variety of downstream tasks such as KG completion, relation extraction, question answering, and so forth.
translated by 谷歌翻译
知识图(kgs)在许多应用程序中越来越重要的基础架构,同时患有不完整问题。 KG完成任务(KGC)自动根据不完整的KG预测缺失的事实。但是,现有方法在现实情况下表现不佳。一方面,他们的性能将巨大的降解,而kg的稀疏性越来越大。另一方面,预测的推理过程是一个不可信的黑匣子。本文提出了一个稀疏kgc的新型可解释模型,将高阶推理组合到图形卷积网络中,即HOGRN。它不仅可以提高减轻信息不足问题的概括能力,而且还可以在保持模型的有效性和效率的同时提供可解释性。有两个主要组件无缝集成以进行关节优化。首先,高阶推理成分通过捕获关系之间的内源性相关性来学习高质量的关系表示。这可以反映逻辑规则,以证明更广泛的事实是合理的。其次,更新组件的实体利用无重量的图形卷积网络(GCN)有效地模拟具有可解释性的KG结构。与常规方法不同,我们在没有其他参数的情况下在关系空间中进行实体聚合和基于设计组成的注意。轻巧的设计使HOGRN更适合稀疏设置。为了进行评估,我们进行了广泛的实验 - HOGRN对几个稀疏KG的结果表现出了令人印象深刻的改善(平均为9%的MRR增益)。进一步的消融和案例研究证明了主要成分的有效性。我们的代码将在接受后发布。
translated by 谷歌翻译
知识图(kg)嵌入技术使用实体之间的结构化关系来学习实体和关系的低维表示。传统的KG嵌入技术(例如Transe和Distmult)通过在观察到的KG三胞胎上开发的简单模型来估算这些嵌入。这些方法的三胞胎得分损失函数有所不同。由于这些模型仅使用观察到的三胞胎来估计嵌入,因此它们很容易受到通常发生在现实世界知识图中的数据稀疏性,即每个实体缺乏足够的三胞胎。为了解决这个问题,我们提出了一种有效的方法来增加三胞胎的数量,以解决数据稀疏问题。我们使用随机步行来创建其他三胞胎,以便这些引入三胞胎的关系需要随机步行引起的Metapath。我们还提供了准确有效地从随机步行所引起的可能的元数据集中从可能的Metapath中滤除信息性元素的方法。所提出的方法是模型不合时宜的,可以将增强培训数据集与开箱即用的任何KG嵌入方法一起使用。在基准数据集上获得的实验结果显示了所提出方法的优势。
translated by 谷歌翻译
Knowledge graphs (KG) have served as the key component of various natural language processing applications. Commonsense knowledge graphs (CKG) are a special type of KG, where entities and relations are composed of free-form text. However, previous works in KG completion and CKG completion suffer from long-tail relations and newly-added relations which do not have many know triples for training. In light of this, few-shot KG completion (FKGC), which requires the strengths of graph representation learning and few-shot learning, has been proposed to challenge the problem of limited annotated data. In this paper, we comprehensively survey previous attempts on such tasks in the form of a series of methods and applications. Specifically, we first introduce FKGC challenges, commonly used KGs, and CKGs. Then we systematically categorize and summarize existing works in terms of the type of KGs and the methods. Finally, we present applications of FKGC models on prediction tasks in different areas and share our thoughts on future research directions of FKGC.
translated by 谷歌翻译
归纳链路预测(ILP)是考虑到新兴知识图(kgs)中未见实体的联系,考虑到KGS的发展性质。一个更具挑战性的场景是,新兴的kg仅由看不见的实体组成,被称为已断开新兴kgs(DEKGS)。 DEKGS的现有研究仅专注于预测封闭链接,即预测新兴KG内部的联系。到目前为止,先前的工作尚未对将进化信息从原始KG到DEKG进行进化信息。为了填补空白,我们提出了一个名为DEKG-ILP的新型模型(由以下两个组成部分组成的dekg-ilp(断开新兴知识图形的归纳链路预测)。 (1)模块CLRM(基于对比的关系特定特征特征建模)是为了提取基于全球关系的语义特征而开发的,它们在原始KGS和DEKGS之间以新颖的采样策略共享。 (2)提出了模块GSM(基于GNN的子图建模),以提取围绕KGS中每个链接的局部子图拓扑信息。在几个基准数据集上进行的广泛实验表明,与最新方法相比,DEKG-ILP具有明显的性能改进,用于封闭和桥接链路预测。源代码可在线获得。
translated by 谷歌翻译
全球DataSphere快速增加,预计将达到20251年的175个Zettabytes。但是,大多数内容都是非结构化的,并且无法通过机器可以理解。将此数据构建到知识图中,使得智能应用程序具有诸如深度问题的智能应用,推荐系统,语义搜索等。知识图是一种新兴技术,允许使用内容与上下文一起逻辑推理和揭示新的洞察。因此,它提供了必要的语法和推理语义,使得能够解决复杂的医疗保健,安全,金融机构,经济学和业务问题。作为一项结果,企业正在努力建设和维护知识图表,以支持各种下游应用。手动方法太贵了。自动化方案可以降低建设知识图的成本,高达15-250次。本文批评了最先进的自动化技术,以自主地生成近乎人类的近乎人类的质量。此外,它突出了需要解决的不同研究问题,以提供高质量的知识图表
translated by 谷歌翻译
基于强化学习(RL)的图表行走在导航代理人通过探索多跳关系路径来导航代理以通过不完整的知识图(kg)来自动完成各种推理任务。然而,现有的多跳推理方法仅在短路推理路径上工作,并且倾向于利用增加的路径长度错过目标实体。这对于实际情况中的许多理由任务是不可取的,其中连接源实体的短路不完整的公斤,因此,除非代理能够寻求更多的线索,否则推理性能急剧下降路径。为了解决上述挑战,在本文中,我们提出了一种双代理强化学习框架,该框架列举了两个代理(巨型和矮人),共同走过了公斤,并协同寻找答案。我们的方法通过将其中一个代理(巨型)进行了快速寻找群集路径并为另一代理(DWARF)提供阶段明智的提示来解决长途路径中的推理挑战。最后,对几千克推理基准测试的实验结果表明,我们的方法可以更准确,高效地搜索答案,并且优于大型余量的长路径查询的基于RL的基于RL的方法。
translated by 谷歌翻译
Relational machine learning studies methods for the statistical analysis of relational, or graph-structured, data. In this paper, we provide a review of how such statistical models can be "trained" on large knowledge graphs, and then used to predict new facts about the world (which is equivalent to predicting new edges in the graph). In particular, we discuss two fundamentally different kinds of statistical relational models, both of which can scale to massive datasets. The first is based on latent feature models such as tensor factorization and multiway neural networks. The second is based on mining observable patterns in the graph. We also show how to combine these latent and observable models to get improved modeling power at decreased computational cost. Finally, we discuss how such statistical models of graphs can be combined with text-based information extraction methods for automatically constructing knowledge graphs from the Web. To this end, we also discuss Google's Knowledge Vault project as an example of such combination.
translated by 谷歌翻译
多跳跃逻辑推理是在知识图(KGS)上学习领域的一个已建立问题。它涵盖了单跳连接预测以及其他更复杂的逻辑查询类型。现有的算法仅在经典的三重基图上运行,而现代KG经常采用超相关的建模范式。在此范式中,键入的边缘可能具有几对键值对,称为限定符,可为事实提供细粒度的环境。在查询中,此上下文修改了关系的含义,通常会减少答案集。经常在现实世界中的应用程序中观察到超相关的查询,并且现有的近似查询答案方法无法使用预选赛对。在这项工作中,我们弥合了这一差距,并将多跳的推理问题扩展到了超级关系的KG,允许解决这一新类型的复杂查询。在图形神经网络和查询嵌入技术的最新进展之下,我们研究了如何嵌入和回答超相关的连词查询。除此之外,我们还提出了一种回答此类查询并在我们的实验中证明的方法,即预选赛可以改善对各种查询模式的查询回答。
translated by 谷歌翻译
Knowledge graph reasoning (KGR), aiming to deduce new facts from existing facts based on mined logic rules underlying knowledge graphs (KGs), has become a fast-growing research direction. It has been proven to significantly benefit the usage of KGs in many AI applications, such as question answering and recommendation systems, etc. According to the graph types, the existing KGR models can be roughly divided into three categories, \textit{i.e.,} static models, temporal models, and multi-modal models. The early works in this domain mainly focus on static KGR and tend to directly apply general knowledge graph embedding models to the reasoning task. However, these models are not suitable for more complex but practical tasks, such as inductive static KGR, temporal KGR, and multi-modal KGR. To this end, multiple works have been developed recently, but no survey papers and open-source repositories comprehensively summarize and discuss models in this important direction. To fill the gap, we conduct a survey for knowledge graph reasoning tracing from static to temporal and then to multi-modal KGs. Concretely, the preliminaries, summaries of KGR models, and typical datasets are introduced and discussed consequently. Moreover, we discuss the challenges and potential opportunities. The corresponding open-source repository is shared on GitHub: https://github.com/LIANGKE23/Awesome-Knowledge-Graph-Reasoning.
translated by 谷歌翻译
多年来,旨在从已知事实中推断出新结论的知识图(KGS)的推理主要集中在静态KG上。现实生活中知识的不断增长提出了使能够扩大KGS的归纳推理能力的必要性。现有的归纳工作假设新实体都在批处理中一次出现,这过度简化了新实体不断出现的实际情况。这项研究探讨了一个更现实,更具挑战性的环境,新实体分为多批次。我们提出了一个基于步行的归纳推理模型来解决新环境。具体而言,具有自适应关系聚合的图形卷积网络旨在使用其邻近关系编码和更新实体。为了捕捉不同的邻居的重要性,我们在聚合过程中采用了一种查询反馈注意机制。此外,为了减轻新实体的稀疏链接问题,我们提出了一种链接增强策略,以将可信赖的事实添加到KGS中。我们构建了三个新数据集,用于模拟此多批次出现方案。实验结果表明,我们所提出的模型优于基于最先进的基于嵌入的,基于步行的基于步行和基于规则的模型。
translated by 谷歌翻译
回答有关知识图(KG)的复杂查询是一项重要但具有挑战性的任务,因为在推理过程中存在KG不完整问题和级联错误。最近的查询嵌入(QE)方法将实体和关系嵌入kg中,并将一阶逻辑(fol)查询纳入一个低维空间,从而通过密集的相似性搜索来回答查询。但是,以前的作品主要集中在目标答案上,忽略了中间实体的实用性,这对于缓解逻辑查询答案中的级联错误问题至关重要。此外,这些方法通常是用自己的几何或分配嵌入设计的,以处理逻辑运算符,例如联合,交叉路口和否定,并牺牲了基本操作员的准确性 - 投影,他们无法吸收其他嵌入方法,以使其吸收其他嵌入方法楷模。在这项工作中,我们提出了一个神经和象征性的纠缠框架(ENESY),以进行复杂的查询答案,这使神经和象征性推理可以相互增强以减轻级联错误和kg不完整。 Enesy中的投影操作员可以是具有链接预测能力的任何嵌入方法,并且其他FOL操作员无需参数处理。随着神经和象征性推理的结果,合奏中的Enesy答案查询。 Enesy在几个基准上实现了SOTA性能,尤其是在培训模型的设置中,仅具有链接预测任务。
translated by 谷歌翻译
最近公布的知识图形嵌入模型的实施,培训和评估的异质性已经公平和彻底的比较困难。为了评估先前公布的结果的再现性,我们在Pykeen软件包中重新实施和评估了21个交互模型。在这里,我们概述了哪些结果可以通过其报告的超参数再现,这只能以备用的超参数再现,并且无法再现,并且可以提供洞察力,以及为什么会有这种情况。然后,我们在四个数据集上进行了大规模的基准测试,其中数千个实验和24,804 GPU的计算时间。我们展示了最佳实践,每个模型的最佳配置以及可以通过先前发布的最佳配置进行改进的洞察。我们的结果强调了模型架构,训练方法,丢失功能和逆关系显式建模的组合对于模型的性能来说至关重要,而不仅由模型架构决定。我们提供了证据表明,在仔细配置时,若干架构可以获得对最先进的结果。我们制定了所有代码,实验配置,结果和分析,导致我们在https://github.com/pykeen/pykeen和https://github.com/pykeen/benchmarking中获得的解释
translated by 谷歌翻译
外部知识(A.K.A.侧面信息)在零拍摄学习(ZSL)中起着关键作用,该角色旨在预测从未出现在训练数据中的看不见的类。已被广泛调查了几种外部知识,例如文本和属性,但他们独自受到不完整的语义。因此,一些最近的研究提出了由于其高度富有效力和代表知识的兼容性而使用知识图表(千克)。但是,ZSL社区仍然缺乏用于学习和比较不同外部知识设置和基于不同的KG的ZSL方法的标准基准。在本文中,我们提出了六个资源,涵盖了三个任务,即零拍摄图像分类(ZS-IMGC),零拍摄关系提取(ZS-RE)和零拍KG完成(ZS-KGC)。每个资源都有一个正常的zsl基准标记和包含从文本到属性的kg的kg,从关系知识到逻辑表达式。我们已清楚地介绍了这些资源,包括其建设,统计数据格式和使用情况W.r.t.不同的ZSL方法。更重要的是,我们进行了一项全面的基准研究,具有两个通用和最先进的方法,两种特定方法和一种可解释方法。我们讨论并比较了不同的ZSL范式W.R.T.不同的外部知识设置,并发现我们的资源具有开发更高级ZSL方法的巨大潜力,并为应用KGS进行增强机学习的更多解决方案。所有资源都可以在https://github.com/china-uk-zsl/resources_for_kzsl上获得。
translated by 谷歌翻译