A temporal knowledge graph (TKG) stores the events derived from the data involving time. Predicting events is extremely challenging due to the time-sensitive property of events. Besides, the previous TKG completion (TKGC) approaches cannot represent both the timeliness and the causality properties of events, simultaneously. To address these challenges, we propose a Logic and Commonsense-Guided Embedding model (LCGE) to jointly learn the time-sensitive representation involving timeliness and causality of events, together with the time-independent representation of events from the perspective of commonsense. Specifically, we design a temporal rule learning algorithm to construct a rule-guided predicate embedding regularization strategy for learning the causality among events. Furthermore, we could accurately evaluate the plausibility of events via auxiliary commonsense knowledge. The experimental results of TKGC task illustrate the significant performance improvements of our model compared with the existing approaches. More interestingly, our model is able to provide the explainability of the predicted results in the view of causal inference. The source code and datasets of this paper are available at https://github.com/ngl567/LCGE.
translated by 谷歌翻译
知识图(kg)推论是解决KGs自然不完整性的重要技术。现有的kg推断方法可以分为基于规则的基于和基于kg嵌入的模型。然而,这些方法同时不能平衡准确性,泛化,解释性和效率。此外,这些模型总是依赖于纯粹的三元族并忽略额外信息。因此,KG嵌入(KGE)和规则学习kg推理因稀疏实体和有限的语义而接近面临的面临挑战。我们提出了一种新颖且有效的闭环kg推理框架,与基于这些观察结果类似地运行作为发动机。 EngineKgi将KGE和RULE学习在闭环模式中互相补充,同时利用路径和概念中的语义。 KGE模块利用路径来增强实体之间的语义关联,并介绍解释性规则。通过利用路径作为初始候选规则,在规则学习模块中提出了一种新颖的规则修剪机制,并使用KG Embeddings以及提取更高质量规则的概念。四个真实数据集的实验结果表明,我们的模型在链路预测任务上占外的其他基线,展示了我们模型在KG推理中以闭环机制的关节逻辑和数据驱动方式的效力和优越性。
translated by 谷歌翻译
Temporal knowledge graph, serving as an effective way to store and model dynamic relations, shows promising prospects in event forecasting. However, most temporal knowledge graph reasoning methods are highly dependent on the recurrence or periodicity of events, which brings challenges to inferring future events related to entities that lack historical interaction. In fact, the current moment is often the combined effect of a small part of historical information and those unobserved underlying factors. To this end, we propose a new event forecasting model called Contrastive Event Network (CENET), based on a novel training framework of historical contrastive learning. CENET learns both the historical and non-historical dependency to distinguish the most potential entities that can best match the given query. Simultaneously, it trains representations of queries to investigate whether the current moment depends more on historical or non-historical events by launching contrastive learning. The representations further help train a binary classifier whose output is a boolean mask to indicate related entities in the search space. During the inference process, CENET employs a mask-based strategy to generate the final results. We evaluate our proposed model on five benchmark graphs. The results demonstrate that CENET significantly outperforms all existing methods in most metrics, achieving at least $8.3\%$ relative improvement of Hits@1 over previous state-of-the-art baselines on event-based datasets.
translated by 谷歌翻译
传统的静态知识图形在关系数据中的模型实体作为节点,由特定关系类型的边缘连接。然而,信息和知识不断发展,并且时间动态出现,预计会影响未来的情况。在时间知识图中,通过用时间戳或时间范围配备每个边缘,将时间信息集成到图表中。已经引入了基于嵌入的方法,以便在时间知识图上引入链接预测,但它们主要缺乏可解释性和可理解的推理链。特别是,它们通常不设计用于处理涉及未来时间戳的链路预测 - 事件预测。我们解决了对时间知识图表链接预测的任务,并介绍了一种基于通过时间随机散步提取的时间逻辑规则的可解释的框架。我们在三个基准数据集中比较Tlogic与最先进的基线,并显示出更好的整体性能,而我们的方法还提供了保留时间一致性的解释。此外,与基于最先进的嵌入的方法相比,TLOGIC在具有普通词汇表的相关数据集转移到相关的数据集中,TLOGIC在归纳规则中运行良好。
translated by 谷歌翻译
虽然知识图表包含各种实体的丰富语义知识和它们之间的关系信息,但时间知识图(TKG)进一步表明实体随时间的相互作用。为了研究如何更好地模范TKG,自动时间知识图完成(TKGC)已经获得了很大的兴趣。最近的TKGC方法旨在整合先进的深度学习技术,例如注意机制和变压器,提高模型性能。然而,我们发现与采用各种复杂模块相比,更有利的是更好地利用沿时间轴的全部时间信息。在本文中,我们为TKGC提出了一个简单但强大的图形编码器Targcn。 targcn是参数效率,它广泛利用了整个时间上下文的信息。我们在三个基准数据集执行实验。与最先进的模型相比,我们的模型可以在GDELT数据集中实现42%以上的相对改善。同时,它优于ICEWS05-15数据集的最强大的基线,参数减少约为18.5%。
translated by 谷歌翻译
知识图嵌入(KGE)旨在将实体和关系映射到低维空间,并成为知识图完成的\ textit {de-facto}标准。大多数现有的KGE方法都受到稀疏挑战的困扰,在这种挑战中,很难预测在知识图中频繁的实体。在这项工作中,我们提出了一个新颖的框架KRACL,以减轻具有图表和对比度学习的KG中广泛的稀疏性。首先,我们建议知识关系网络(KRAT)通过同时将相邻的三元组投射到不同的潜在空间,并通过注意机制共同汇总信息来利用图形上下文。 KRAT能够捕获不同上下文三联的微妙的语义信息和重要性,并利用知识图中的多跳信息。其次,我们通过将对比度损失与跨熵损失相结合,提出知识对比损失,这引入了更多的负样本,从而丰富了对稀疏实体的反馈。我们的实验表明,KRACL在各种标准知识基准中取得了卓越的结果,尤其是在WN18RR和NELL-995上,具有大量低级内实体。广泛的实验还具有KRACL在处理稀疏知识图和鲁棒性三元组的鲁棒性方面的有效性。
translated by 谷歌翻译
在时间知识图(TKGS)中,时间维度附加到知识库中的事实,导致(Nintendo,warpore,Super Mario,Super Mario,9月13日至1985年)之间的四倍体,在此谓词在时间间隔内保持在时间戳。我们提出了一名强化学习代理,同时收集有关查询实体社区的时间相关信息。我们将探索图结构的编码称为指纹,用作Q-NETWORK的输入。我们的代理商依次确定需要探索哪种关系类型,以扩展查询实体的本地子图。我们的评估表明,与最先进的嵌入TKG相比,提出的方法会产生竞争性结果,我们还获得有关受试者和对象之间相关结构的信息。
translated by 谷歌翻译
归纳逻辑推理是图上的基本任务之一,该任务旨在从数据中概括模式。已经针对传统图形数据集(例如知识图(KG))进行了广泛研究此任务,并具有代表性的技术,例如归纳逻辑编程(ILP)。现有的ILP方法通常假设从具有静态事实和二进制关系的KG学习。除KGS外,图形结构在其他应用程序中广泛存在,例如视频说明,场景图和程序执行。虽然感应性逻辑推理对这些应用也有益,但将ILP应用于相应的图是非平凡的:它们比KGS更复杂,KG通常涉及时间戳和N-元素关系,实际上是一种具有时间事件的超透明的类型。在这项工作中,我们研究了两个这样的应用,并建议用时间间隔代表它们为超图。为了在此图上进行推理,我们提出了遍历此超图的多启动随机B-Walk。将其与路径矛盾算法相结合,我们提出了一种有效的向后链接ILP方法,该方法通过从时间和关系数据中概括来学习逻辑规则。
translated by 谷歌翻译
我们研究了对知识图中链路预测任务的知识图形嵌入(KGE)模型产生数据中毒攻击的问题。为了毒害KGE模型,我们建议利用他们通过知识图中的对称性,反演和构图等关系模式捕获的归纳能力。具体而言,为了降低模型对目标事实的预测信心,建议改善模型对一系列诱饵事实的预测信心。因此,我们通过不同的推理模式来制作对逆势的添加能够改善模型对诱饵事实上的预测信心。我们的实验表明,拟议的中毒攻击在四个KGE模型上倾斜的最先进的基座,用于两个公共数据集。我们还发现基于对称模式的攻击遍历了所有模型 - 数据集合,指示KGE模型对此模式的灵敏度。
translated by 谷歌翻译
大型知识图(KGS)提供人类知识的结构化表示。然而,由于不可能包含所有知识,KGs通常不完整。基于现有事实的推理铺平了一种发现缺失事实的方法。在本文中,我们研究了了解完成缺失事实三胞胎的知识图表的推理的学习逻辑规则问题。学习逻辑规则将具有很强的解释性的模型以及概括到类似任务的能力。我们提出了一种称为MPLR的模型,可以改进现有模型以完全使用培训数据,并且考虑多目标方案。此外,考虑到缺乏评估模型表现和开采规则的质量,我们进一步提出了两名新颖的指标来帮助解决问题。实验结果证明我们的MPLR模型在五个基准数据集中优于最先进的方法。结果还证明了指标的有效性。
translated by 谷歌翻译
捕获关系的构图模式是知识图表完成中的重要任务。它还是迈向多跳推理的基本步骤,以了解学到的知识。以前,已经开发了几种基于旋转的翻译方法来使用一系列复值对角线矩阵的产品来模拟复合关系。然而,这些方法倾向于对复合关系进行几种超薄假设,例如,强迫他们独立于实体和缺乏语义等级的交换。为了系统地解决这些问题,我们开发了一种新颖的知识图形嵌入方法,命名为密集,为复杂的关系模式提供改进的建模方案。特别地,我们的方法将每个关系分解成SO(3)基于基于组的旋转操作员和三维(3-D)欧几里德空间中的缩放操作员。这种设计原理导致我们的方法的几个优点:(1)对于复合关系,相应的对角线关系矩阵可以是非换向的,反映了现实世界应用中的主要情景; (2)我们的模型保留了关系运营和实体嵌入之间的自然互动; (3)缩放操作为实体的内在语义层次结构提供建模电力; (4)在参数大小和培训时间方面,以高计算效率实现致密的增强效果; (5)欧几里德空间中的建模实体而不是四元数空间,保持关系模式的直接几何解释。多个基准知识图上的实验结果表明,密集优于当前最先进的模型,以缺少链路预测,尤其是对复合关系。
translated by 谷歌翻译
我们研究知识图嵌入(KGE)对知识图(KG)完成的有效性,并通过规则挖掘完成。更具体地说,我们在KGE完成之前和之后从KGS中挖掘规则,以比较提取的规则的可能差异。我们将此方法应用于经典的方法,尤其是Transe,Distmult and Complext。我们的实验表明,根据KGE完成的KGE方法,提取的规则之间可能存在巨大差异。特别是,在完成转盘后,提取了几条虚假规则。
translated by 谷歌翻译
知识图表(KGS)是真实世界事实的结构化表示,是融合人类知识的智能数据库,可以帮助机器模仿人类问题的方法。然而,由于快速迭代的性质以及数据的不完整,KGs通常是巨大的,并且在公斤上有不可避免的事实。对于知识图链接的预测是针对基于现有的知识推理来完成缺少事实的任务。广泛研究了两个主要的研究流:一个学习可以捕获潜在模式的实体和关系的低维嵌入,以及通过采矿逻辑规则的良好解释性。不幸的是,以前的研究很少关注异质的KG。在本文中,我们提出了一种将基于嵌入的学习和逻辑规则挖掘结合的模型,以推断在KG上。具体地,我们研究了从节点程度的角度涉及各种类型的实体和关系的异构kg中的缺失链接的问题。在实验中,我们证明了我们的DegreEmbed模型优于对现实世界的数据集的国家的最先进的方法。同时,我们模型开采的规则具有高质量和可解释性。
translated by 谷歌翻译
知识图形嵌入(KGE)旨在学习实体和关系的陈述。大多数KGE模型取得了巨大的成功,特别是在外推情景中。具体地,考虑到看不见的三倍(H,R,T),培训的模型仍然可以正确地预测(H,R,Δ)或H(Δ,r,t),这种外推能力令人印象深刻。但是,大多数现有的KGE工作侧重于设计精致三重建模功能,主要告诉我们如何衡量观察三元的合理性,但是对为什么可以推断到未看见数据的原因有限的解释,以及什么是重要因素帮助Kge外推。因此,在这项工作中,我们试图研究kge外推两个问题:1。凯格如何推断出看看的数据? 2.如何设计KGE模型,具有更好的外推能力?对于问题1,我们首先分别讨论外推和关系,实体和三级的影响因素,提出了三种语义证据(SES),可以从列车集中观察,并为推断提供重要的语义信息。然后我们通过对几种典型KGE方法的广泛实验验证SES的有效性。对于问题2,为了更好地利用三个级别的SE,我们提出了一种新的基于GNN的KGE模型,称为语义证据意识图形神经网络(SE-GNN)。在SE-GNN中,每个级别的SE由相应的邻居图案明确地建模,并且通过多层聚合充分合并,这有助于获得更多外推知识表示。最后,通过对FB15K-237和WN18RR数据集的广泛实验,我们认为SE-GNN在知识图表完成任务上实现了最先进的性能,并执行更好的外推能力。
translated by 谷歌翻译
几乎所有知识库的陈述都有时间范围,在此期间它们有效。因此,在时间知识库(TKB)上的知识库完成(KBC),其中每个陈述\ TEXTIT {MAY}与时间范围相关联,引起了不断的关注。先前作品假设TKB \ Texit {必须}中的每个语句都与时间范围相关联。这忽略了kB中常规缺少的范围信息。因此,在此之前的工作通常不能处理通用用例,其中TKB由具有/没有已知的时间范围的时间语句组成。为了解决这个问题,我们建立了一个名为time2box的新知识库嵌入框架,可以同时处理不同类型的atemporal和时间陈述。我们的主要洞察力是时间查询的答案始终属于时间不可知的对应物的答案子集。换句话说,时间是一个过滤器,有助于在某些时期内挑选答案。我们介绍框以将一组答案实体代表到一个时间不可知的查询。时间过滤功能由这些框的交叉点建模。此外,我们概括了关于时间间隔预测的当前评估协议。我们描述了两个数据集上的实验,并表明所提出的方法优于链路预测和时间预测上的最先进的(SOTA)方法。
translated by 谷歌翻译
最近公布的知识图形嵌入模型的实施,培训和评估的异质性已经公平和彻底的比较困难。为了评估先前公布的结果的再现性,我们在Pykeen软件包中重新实施和评估了21个交互模型。在这里,我们概述了哪些结果可以通过其报告的超参数再现,这只能以备用的超参数再现,并且无法再现,并且可以提供洞察力,以及为什么会有这种情况。然后,我们在四个数据集上进行了大规模的基准测试,其中数千个实验和24,804 GPU的计算时间。我们展示了最佳实践,每个模型的最佳配置以及可以通过先前发布的最佳配置进行改进的洞察。我们的结果强调了模型架构,训练方法,丢失功能和逆关系显式建模的组合对于模型的性能来说至关重要,而不仅由模型架构决定。我们提供了证据表明,在仔细配置时,若干架构可以获得对最先进的结果。我们制定了所有代码,实验配置,结果和分析,导致我们在https://github.com/pykeen/pykeen和https://github.com/pykeen/benchmarking中获得的解释
translated by 谷歌翻译
张量分解和基于距离的模型在知识图完成(KGC)中起重要作用。但是,KGC方法中的关系矩阵通常会引起高模型的复杂性,并具有过度拟合的高风险。作为一种补救措施,研究人员提出了各种不同的正规化器,例如张量核定常正规器。我们的动机是基于以下观察,即先前的工作仅着眼于参数空间的“大小”,同时留下隐含的语义信息广泛不受欢迎。为了解决这个问题,我们提出了一个新的正常化程序,即均衡规则器(ER),可以通过利用隐式语义信息来抑制过度拟合。具体而言,ER可以通过使用头部和尾部实体之间的语义模棱两可来增强模型的概括能力。此外,它是基于距离的模型和基于张量分解的模型的通用解决方案。实验结果表明,对最先进的关系预测方法有了明显的重大改进。
translated by 谷歌翻译
近年来,人们对少量知识图(FKGC)的兴趣日益增加,该图表旨在推断出关于该关系的一些参考三元组,从而推断出不见了的查询三倍。现有FKGC方法的主要重点在于学习关系表示,可以反映查询和参考三元组共享的共同信息。为此,这些方法从头部和尾部实体的直接邻居中学习实体对表示,然后汇总参考实体对的表示。但是,只有从直接邻居那里学到的实体对代表可能具有较低的表现力,当参与实体稀疏直接邻居或与其他实体共享一个共同的当地社区。此外,仅仅对头部和尾部实体的语义信息进行建模不足以准确推断其关系信息,尤其是当它们具有多个关系时。为了解决这些问题,我们提出了一个特定于关系的上下文学习(RSCL)框架,该框架利用了三元组的图形上下文,以学习全球和本地关系特定的表示形式,以使其几乎没有相关关系。具体而言,我们首先提取每个三倍的图形上下文,这可以提供长期实体关系依赖性。为了编码提取的图形上下文,我们提出了一个分层注意网络,以捕获三元组的上下文信息并突出显示实体的有价值的本地邻里信息。最后,我们设计了一个混合注意聚合器,以评估全球和本地级别的查询三元组的可能性。两个公共数据集的实验结果表明,RSCL的表现优于最先进的FKGC方法。
translated by 谷歌翻译
实体对齐(EA)的目的是在不同的知识图(kgs)中找到指代现实世界中同一对象的实体。最近的研究结合了时间信息,以增强KGS的表示。暂时KGS(TKG)之间的EA的现有方法利用时间感知的注意机制将关系和时间信息纳入实体嵌入中。该方法通过使用时间信息优于先前的方法。但是,我们认为,由于大多数TKG具有统一的时间表示,因此不必学习kgs中的时间信息的嵌入。因此,我们提出了一个简单的图形神经网络(GNN)模型,并结合了时间信息匹配机制,该模型以更少的时间和更少的参数实现了更好的性能。此外,由于对齐种子很难在现实世界应用中标记,因此我们还提出了一种通过TKG的时间信息生成无监督比对种子的方法。公共数据集的广泛实验表明,我们的监督方法显着优于先前的方法,而无监督的方法具有竞争性能。
translated by 谷歌翻译
Dialogue systems can leverage large pre-trained language models and knowledge to generate fluent and informative responses. However, these models are still prone to produce hallucinated responses not supported by the input source, which greatly hinders their application. The heterogeneity between external knowledge and dialogue context challenges representation learning and source integration, and further contributes to unfaithfulness. To handle this challenge and generate more faithful responses, this paper presents RHO ($\rho$) utilizing the representations of linked entities and relation predicates from a knowledge graph (KG). We propose (1) local knowledge grounding to combine textual embeddings with the corresponding KG embeddings; and (2) global knowledge grounding to equip RHO with multi-hop reasoning abilities via the attention mechanism. In addition, we devise a response re-ranking technique based on walks over KG sub-graphs for better conversational reasoning. Experimental results on OpenDialKG show that our approach significantly outperforms state-of-the-art methods on both automatic and human evaluation by a large margin, especially in hallucination reduction (17.54% in FeQA).
translated by 谷歌翻译