几乎所有知识库的陈述都有时间范围,在此期间它们有效。因此,在时间知识库(TKB)上的知识库完成(KBC),其中每个陈述\ TEXTIT {MAY}与时间范围相关联,引起了不断的关注。先前作品假设TKB \ Texit {必须}中的每个语句都与时间范围相关联。这忽略了kB中常规缺少的范围信息。因此,在此之前的工作通常不能处理通用用例,其中TKB由具有/没有已知的时间范围的时间语句组成。为了解决这个问题,我们建立了一个名为time2box的新知识库嵌入框架,可以同时处理不同类型的atemporal和时间陈述。我们的主要洞察力是时间查询的答案始终属于时间不可知的对应物的答案子集。换句话说,时间是一个过滤器,有助于在某些时期内挑选答案。我们介绍框以将一组答案实体代表到一个时间不可知的查询。时间过滤功能由这些框的交叉点建模。此外,我们概括了关于时间间隔预测的当前评估协议。我们描述了两个数据集上的实验,并表明所提出的方法优于链路预测和时间预测上的最先进的(SOTA)方法。
translated by 谷歌翻译
多跳跃逻辑推理是在知识图(KGS)上学习领域的一个已建立问题。它涵盖了单跳连接预测以及其他更复杂的逻辑查询类型。现有的算法仅在经典的三重基图上运行,而现代KG经常采用超相关的建模范式。在此范式中,键入的边缘可能具有几对键值对,称为限定符,可为事实提供细粒度的环境。在查询中,此上下文修改了关系的含义,通常会减少答案集。经常在现实世界中的应用程序中观察到超相关的查询,并且现有的近似查询答案方法无法使用预选赛对。在这项工作中,我们弥合了这一差距,并将多跳的推理问题扩展到了超级关系的KG,允许解决这一新类型的复杂查询。在图形神经网络和查询嵌入技术的最新进展之下,我们研究了如何嵌入和回答超相关的连词查询。除此之外,我们还提出了一种回答此类查询并在我们的实验中证明的方法,即预选赛可以改善对各种查询模式的查询回答。
translated by 谷歌翻译
在大规模不完整的知识图(kgs)上回答复杂的一阶逻辑(fol)查询是一项重要但挑战性的任务。最近的进步将逻辑查询和KG实体嵌入了相同的空间,并通过密集的相似性搜索进行查询。但是,先前研究中设计的大多数逻辑运算符不满足经典逻辑的公理系统,从而限制了其性能。此外,这些逻辑运算符被参数化,因此需要许多复杂的查询作为训练数据,在大多数现实世界中,这些数据通常很难收集甚至无法访问。因此,我们提出了Fuzzqe,这是一种基于模糊逻辑的逻辑查询嵌入框架,用于回答KGS上的查询。 Fuzzqe遵循模糊逻辑以原则性和无学习的方式定义逻辑运算符,在这种方式中,只有实体和关系嵌入才需要学习。 Fuzzqe可以从标记为训练的复杂逻辑查询中进一步受益。在两个基准数据集上进行的广泛实验表明,与最先进的方法相比,Fuzzqe在回答FOL查询方面提供了明显更好的性能。此外,只有KG链接预测训练的Fuzzqe可以实现与经过额外复杂查询数据训练的人的可比性能。
translated by 谷歌翻译
推理是计算机的基本问题,并且在人工智能中深入研究。在本文中,我们专门针对回答知识图(KGS)的多跳逻辑查询。这是一项复杂的任务,因为在实际情况下,图形往往很大且不完整。以前的大多数作品都无法创建模型,这些模型接受了完整的一阶逻辑(fol)查询,其中包括负查询,并且只能处理有限的查询结构集。此外,大多数方法都呈现只能执行其制作的逻辑操作的逻辑运算符。我们介绍了一组模型,这些模型使用神经网络来创建单点矢量嵌入以回答查询。神经网络的多功能性允许该框架处理连词($ \ wedge $),脱节($ \ vee $)和否定($ \ neg $)运算符的框架查询。我们通过对众所周知的基准数据集进行了广泛的实验,通过实验证明了模型的性能。除了拥有更多多功能运营商外,模型还获得了10 \%的相对增加,而基于单点矢量嵌入的最佳性能状态和比原始方法的相对增加了30 \%。
translated by 谷歌翻译
Knowledge graph (KG) embedding is to embed components of a KG including entities and relations into continuous vector spaces, so as to simplify the manipulation while preserving the inherent structure of the KG. It can benefit a variety of downstream tasks such as KG completion and relation extraction, and hence has quickly gained massive attention. In this article, we provide a systematic review of existing techniques, including not only the state-of-the-arts but also those with latest trends. Particularly, we make the review based on the type of information used in the embedding task. Techniques that conduct embedding using only facts observed in the KG are first introduced. We describe the overall framework, specific model design, typical training procedures, as well as pros and cons of such techniques. After that, we discuss techniques that further incorporate additional information besides facts. We focus specifically on the use of entity types, relation paths, textual descriptions, and logical rules. Finally, we briefly introduce how KG embedding can be applied to and benefit a wide variety of downstream tasks such as KG completion, relation extraction, question answering, and so forth.
translated by 谷歌翻译
当前的最佳性能模型用于知识图推理(KGR)将几何学对象或概率分布引入嵌入实体,并将一阶逻辑(fol)查询引入低维矢量空间。它们可以总结为中心尺寸框架(点/框/锥,β/高斯分布等)。但是,它们具有有限的逻辑推理能力。而且很难概括到各种功能,因为中心和大小是一对一的约束,无法具有多个中心或尺寸。为了应对这些挑战,我们相反提出了一个名为“特征逻辑嵌入框架Flex”的新颖的KGR框架,这是第一个KGR框架,它不仅可以真正处理所有运营,包括连词,析取,否定,否定等等,而且还支持各种操作特征空间。具体而言,特征逻辑框架的逻辑部分是基于向量逻辑的,它自然地对所有FOL操作进行了建模。实验表明,FLEX在基准数据集上明显优于现有的最新方法。
translated by 谷歌翻译
查询嵌入(QE) - 旨在嵌入实体和一阶逻辑(FOL)查询在低维空间中 - 在知识图表中的多跳推理中显示出强大的功率。最近,嵌入实体和具有几何形状的查询成为有希望的方向,因为几何形状可以自然地代表它们之间的答案和逻辑关系。然而,现有的基于几何的模型难以建模否定查询,这显着限制了它们的适用性。为了解决这一挑战,我们提出了一种新型查询嵌入模型,即锥形嵌入式(锥形),即锥形嵌入式(锥形),它是可以处理所有的基于几何的QE模型,包括所有FOL操作,包括结合,分离和否定。具体而言,锥形代表实体和查询作为二维锥体的笛卡尔产品,其中锥体的交叉和联合自然地模拟了结合和分离操作。通过进一步注意到,锥体的补充仍然存在锥体,我们在嵌入空间中设计几何补充运算符进行否定操作。实验表明,锥体在基准数据集上显着优于现有的现有技术。
translated by 谷歌翻译
在时间知识图(TKGS)中,时间维度附加到知识库中的事实,导致(Nintendo,warpore,Super Mario,Super Mario,9月13日至1985年)之间的四倍体,在此谓词在时间间隔内保持在时间戳。我们提出了一名强化学习代理,同时收集有关查询实体社区的时间相关信息。我们将探索图结构的编码称为指纹,用作Q-NETWORK的输入。我们的代理商依次确定需要探索哪种关系类型,以扩展查询实体的本地子图。我们的评估表明,与最先进的嵌入TKG相比,提出的方法会产生竞争性结果,我们还获得有关受试者和对象之间相关结构的信息。
translated by 谷歌翻译
最近公布的知识图形嵌入模型的实施,培训和评估的异质性已经公平和彻底的比较困难。为了评估先前公布的结果的再现性,我们在Pykeen软件包中重新实施和评估了21个交互模型。在这里,我们概述了哪些结果可以通过其报告的超参数再现,这只能以备用的超参数再现,并且无法再现,并且可以提供洞察力,以及为什么会有这种情况。然后,我们在四个数据集上进行了大规模的基准测试,其中数千个实验和24,804 GPU的计算时间。我们展示了最佳实践,每个模型的最佳配置以及可以通过先前发布的最佳配置进行改进的洞察。我们的结果强调了模型架构,训练方法,丢失功能和逆关系显式建模的组合对于模型的性能来说至关重要,而不仅由模型架构决定。我们提供了证据表明,在仔细配置时,若干架构可以获得对最先进的结果。我们制定了所有代码,实验配置,结果和分析,导致我们在https://github.com/pykeen/pykeen和https://github.com/pykeen/benchmarking中获得的解释
translated by 谷歌翻译
回答有关知识图(KG)的复杂查询是一项重要但具有挑战性的任务,因为在推理过程中存在KG不完整问题和级联错误。最近的查询嵌入(QE)方法将实体和关系嵌入kg中,并将一阶逻辑(fol)查询纳入一个低维空间,从而通过密集的相似性搜索来回答查询。但是,以前的作品主要集中在目标答案上,忽略了中间实体的实用性,这对于缓解逻辑查询答案中的级联错误问题至关重要。此外,这些方法通常是用自己的几何或分配嵌入设计的,以处理逻辑运算符,例如联合,交叉路口和否定,并牺牲了基本操作员的准确性 - 投影,他们无法吸收其他嵌入方法,以使其吸收其他嵌入方法楷模。在这项工作中,我们提出了一个神经和象征性的纠缠框架(ENESY),以进行复杂的查询答案,这使神经和象征性推理可以相互增强以减轻级联错误和kg不完整。 Enesy中的投影操作员可以是具有链接预测能力的任何嵌入方法,并且其他FOL操作员无需参数处理。随着神经和象征性推理的结果,合奏中的Enesy答案查询。 Enesy在几个基准上实现了SOTA性能,尤其是在培训模型的设置中,仅具有链接预测任务。
translated by 谷歌翻译
Formulating and answering logical queries is a standard communication interface for knowledge graphs (KGs). Alleviating the notorious incompleteness of real-world KGs, neural methods achieved impressive results in link prediction and complex query answering tasks by learning representations of entities, relations, and queries. Still, most existing query answering methods rely on transductive entity embeddings and cannot generalize to KGs containing new entities without retraining the entity embeddings. In this work, we study the inductive query answering task where inference is performed on a graph containing new entities with queries over both seen and unseen entities. To this end, we devise two mechanisms leveraging inductive node and relational structure representations powered by graph neural networks (GNNs). Experimentally, we show that inductive models are able to perform logical reasoning at inference time over unseen nodes generalizing to graphs up to 500% larger than training ones. Exploring the efficiency--effectiveness trade-off, we find the inductive relational structure representation method generally achieves higher performance, while the inductive node representation method is able to answer complex queries in the inference-only regime without any training on queries and scales to graphs of millions of nodes. Code is available at https://github.com/DeepGraphLearning/InductiveQE.
translated by 谷歌翻译
虽然知识图表包含各种实体的丰富语义知识和它们之间的关系信息,但时间知识图(TKG)进一步表明实体随时间的相互作用。为了研究如何更好地模范TKG,自动时间知识图完成(TKGC)已经获得了很大的兴趣。最近的TKGC方法旨在整合先进的深度学习技术,例如注意机制和变压器,提高模型性能。然而,我们发现与采用各种复杂模块相比,更有利的是更好地利用沿时间轴的全部时间信息。在本文中,我们为TKGC提出了一个简单但强大的图形编码器Targcn。 targcn是参数效率,它广泛利用了整个时间上下文的信息。我们在三个基准数据集执行实验。与最先进的模型相比,我们的模型可以在GDELT数据集中实现42%以上的相对改善。同时,它优于ICEWS05-15数据集的最强大的基线,参数减少约为18.5%。
translated by 谷歌翻译
关于现实生活知识图(KGS)的多跳上推理是一个高度挑战的问题,因为传统的子图匹配方法无法处理噪音和缺失信息。为了解决这个问题,最近已经引入了一种有希望的方法,该方法基于将逻辑查询和kgs共同嵌入到一个低维空间中以识别答案实体。但是,现有的提案忽略了KGS中固有可用的关键语义知识,例如类型信息。为了利用类型信息,我们提出了一种新颖的类型感知消息传递(TEMP)模型,该模型可以增强查询中的实体和关系表示形式,并同时改善概括,演绎和归纳推理。值得注意的是,Temp是一种插件模型,可以轻松地将其纳入现有的基于嵌入的模型中以提高其性能。在三个现实世界数据集上进行了广泛的实验证明了温度的有效性。
translated by 谷歌翻译
Knowledge graph embedding (KGE) is a increasingly popular technique that aims to represent entities and relations of knowledge graphs into low-dimensional semantic spaces for a wide spectrum of applications such as link prediction, knowledge reasoning and knowledge completion. In this paper, we provide a systematic review of existing KGE techniques based on representation spaces. Particularly, we build a fine-grained classification to categorise the models based on three mathematical perspectives of the representation spaces: (1) Algebraic perspective, (2) Geometric perspective, and (3) Analytical perspective. We introduce the rigorous definitions of fundamental mathematical spaces before diving into KGE models and their mathematical properties. We further discuss different KGE methods over the three categories, as well as summarise how spatial advantages work over different embedding needs. By collating the experimental results from downstream tasks, we also explore the advantages of mathematical space in different scenarios and the reasons behind them. We further state some promising research directions from a representation space perspective, with which we hope to inspire researchers to design their KGE models as well as their related applications with more consideration of their mathematical space properties.
translated by 谷歌翻译
Temporal knowledge graph, serving as an effective way to store and model dynamic relations, shows promising prospects in event forecasting. However, most temporal knowledge graph reasoning methods are highly dependent on the recurrence or periodicity of events, which brings challenges to inferring future events related to entities that lack historical interaction. In fact, the current moment is often the combined effect of a small part of historical information and those unobserved underlying factors. To this end, we propose a new event forecasting model called Contrastive Event Network (CENET), based on a novel training framework of historical contrastive learning. CENET learns both the historical and non-historical dependency to distinguish the most potential entities that can best match the given query. Simultaneously, it trains representations of queries to investigate whether the current moment depends more on historical or non-historical events by launching contrastive learning. The representations further help train a binary classifier whose output is a boolean mask to indicate related entities in the search space. During the inference process, CENET employs a mask-based strategy to generate the final results. We evaluate our proposed model on five benchmark graphs. The results demonstrate that CENET significantly outperforms all existing methods in most metrics, achieving at least $8.3\%$ relative improvement of Hits@1 over previous state-of-the-art baselines on event-based datasets.
translated by 谷歌翻译
知识嵌入(KE)通过将实体和关系嵌入连续的向量空间来表示知识图(kg)。现有方法主要基于结构或基于描述。基于结构的方法学习保留KGS固有结构的表示。它们不能很好地代表具有有限结构信息的现实世界中的丰富长尾实体。基于描述的方法利用文本信息和语言模型。朝这个方向迈出的先前方法几乎不能胜过基于结构的结构,并且遇到了昂贵的负面抽样和限制性描述需求等问题。在本文中,我们提出了LMKE,该LMKE采用语言模型来得出知识嵌入,旨在既富集了长尾实体的表示形式又旨在解决先前的基于描述的方法的问题。我们通过对比度学习框架制定基于描述的KE学习,以提高培训和评估的效率。实验结果表明,LMKE在链接预测和三重分类的KE基准上实现了最先进的性能,尤其是对于长尾实体。
translated by 谷歌翻译
知识图形问题应答(kgqa)涉及使用自然语言查询从知识图(kg)中检索事实。 KG是由关系相关的实体组成的策划事实集。某些事实还包括形成时间kg(tkg)的时间信息。虽然许多自然问题涉及显式或隐含的时间限制,但TKGS上的问题应答(QA)是一个相对未开发的地区。现有解决方案主要是为简单的时间问题设计,可以通过单个TKG事实直接回答。本文提出了一种全面的嵌入式框架,用于回答TKGS的复杂问题。我们的方法被称为时间问题推理(TempoQR)利用TKG Embeddings将问题与其指的特定实体和时间范围进行地面。它通过使用三个专用模块增强与上下文,实体和时空信息的问题嵌入问题。第一个计算给定问题的文本表示,第二个将其与所涉及的实体的实体嵌入物组合,第三个生成特定于特定于问题的时间嵌入。最后,基于变换器的编码器学习用问题表示来融合生成的时间信息,该问题表示用于答案预测。广泛的实验表明,TempoQR在最先进的方法上通过25-45个百分点提高了25--45个百分点,并且它将更好地概括到未经说明的问题类型。
translated by 谷歌翻译
最近,知识表示学习(KRL)正在作为对知识图(kgs)处理查询的最新方法的出现,其中kg实体和查询被嵌入到一个潜在空间中,以使回答查询的实体是嵌入在查询附近。然而,尽管对KRL进行了深入的研究,但大多数现有研究要么侧重于同质KG,要么承担kg完成任务(即缺失事实的推断),同时回答对具有多个方面的kgs的复杂逻辑查询(多视图kg)仍然是一个开放的挑战。为了弥合这一差距,在本文中,我们提出了罗马,这是一个新颖的KRL框架,用于回答多视图KGS的逻辑查询。与先前的工作相比,罗姆人在主要方面离开。 (i)它将多视图kg建模为一组覆盖子kg,每个kg对应于一种视图,该视图集成了文献中研究的许多类型的kg(例如,颞kg)。 (ii)它支持具有不同关系和视图约束的复杂逻辑查询(例如,具有复杂的拓扑和/或从多个视图中); (iii)它比例扩大到大小(例如,数百万个事实)和细粒状视图(例如,数十个观点); (iv)它概括地查询训练过程中未观察到的结构和kg观点。对现实世界KGS的广泛经验评估表明,\系统明显优于替代方法。
translated by 谷歌翻译
知识图(kgs)在许多应用程序中越来越重要的基础架构,同时患有不完整问题。 KG完成任务(KGC)自动根据不完整的KG预测缺失的事实。但是,现有方法在现实情况下表现不佳。一方面,他们的性能将巨大的降解,而kg的稀疏性越来越大。另一方面,预测的推理过程是一个不可信的黑匣子。本文提出了一个稀疏kgc的新型可解释模型,将高阶推理组合到图形卷积网络中,即HOGRN。它不仅可以提高减轻信息不足问题的概括能力,而且还可以在保持模型的有效性和效率的同时提供可解释性。有两个主要组件无缝集成以进行关节优化。首先,高阶推理成分通过捕获关系之间的内源性相关性来学习高质量的关系表示。这可以反映逻辑规则,以证明更广泛的事实是合理的。其次,更新组件的实体利用无重量的图形卷积网络(GCN)有效地模拟具有可解释性的KG结构。与常规方法不同,我们在没有其他参数的情况下在关系空间中进行实体聚合和基于设计组成的注意。轻巧的设计使HOGRN更适合稀疏设置。为了进行评估,我们进行了广泛的实验 - HOGRN对几个稀疏KG的结果表现出了令人印象深刻的改善(平均为9%的MRR增益)。进一步的消融和案例研究证明了主要成分的有效性。我们的代码将在接受后发布。
translated by 谷歌翻译
链接预测的任务旨在解决由于难以从现实世界中收集事实而引起的不完整知识的问题。基于GCN的模型由于其复杂性而广泛应用于解决链接预测问题,但基于GCN的模型在结构和培训过程中遇到了两个问题。 1)GCN层的转化方法在基于GCN的知识表示模型中变得越来越复杂; 2)由于知识图收集过程的不完整,标记为负样本中有许多未收集的真实事实。因此,本文研究了相邻节点的信息聚合系数(自我注意)的特征,并重新设计了GAT结构的自我注意力。同时,受到人类思维习惯的启发,我们在预训练的模型上设计了一种半监督的自训练方法。基准数据集FB15K-237和WN18RR上的实验结果表明,我们提出的自我发项机制和半监督的自我训练方法可以有效地提高链接预测任务的性能。例如,如果您查看FB15K-237,则建议的方法将@1的命中率提高了约30%。
translated by 谷歌翻译