大多数真实的知识图(kg)远非完整和全面。这个问题激发了预测最合理的缺失事实以完成给定的kg,即知识图完成(KGC)。但是,现有的kgc方法遇到了两个主要问题,1)虚假负面问题,即,采样的负面培训实例可能包括潜在的真实事实; 2)数据稀疏问题,即真实事实仅解释了所有可能事实的一小部分。为此,我们提出了针对KGC的对抗数据增强(PUDA)的积极未标记的学习。特别是,PUDA针对KGC任务量身定制了正标记的风险估计器,以解决虚假的负面问题。此外,为了解决数据稀疏问题,PUDA通过在积极的无标记的Minimax游戏中统一对抗性培训和积极的未标记学习来实现数据增强策略。现实世界基准数据集的广泛实验结果证明了我们提出的方法的有效性和兼容性。
translated by 谷歌翻译
知识库完成在这项工作中被制定为二进制分类问题,其中使用知识图中的相关链接(KGS)培训XGBoost二进制分类器。新方法名为KGBoost,采用模块化设计,并尝试找到硬阴性样本,以便培训强大的分类器以进行缺失链路预测。我们在多个基准数据集中进行实验,并证明KGBoost在大多数数据集中优于最先进的方法。此外,与端到端优化训练的模型相比,kgboost在低维设置下运行良好,以便允许更小的型号尺寸。
translated by 谷歌翻译
最近公布的知识图形嵌入模型的实施,培训和评估的异质性已经公平和彻底的比较困难。为了评估先前公布的结果的再现性,我们在Pykeen软件包中重新实施和评估了21个交互模型。在这里,我们概述了哪些结果可以通过其报告的超参数再现,这只能以备用的超参数再现,并且无法再现,并且可以提供洞察力,以及为什么会有这种情况。然后,我们在四个数据集上进行了大规模的基准测试,其中数千个实验和24,804 GPU的计算时间。我们展示了最佳实践,每个模型的最佳配置以及可以通过先前发布的最佳配置进行改进的洞察。我们的结果强调了模型架构,训练方法,丢失功能和逆关系显式建模的组合对于模型的性能来说至关重要,而不仅由模型架构决定。我们提供了证据表明,在仔细配置时,若干架构可以获得对最先进的结果。我们制定了所有代码,实验配置,结果和分析,导致我们在https://github.com/pykeen/pykeen和https://github.com/pykeen/benchmarking中获得的解释
translated by 谷歌翻译
知识嵌入(KE)通过将实体和关系嵌入连续的向量空间来表示知识图(kg)。现有方法主要基于结构或基于描述。基于结构的方法学习保留KGS固有结构的表示。它们不能很好地代表具有有限结构信息的现实世界中的丰富长尾实体。基于描述的方法利用文本信息和语言模型。朝这个方向迈出的先前方法几乎不能胜过基于结构的结构,并且遇到了昂贵的负面抽样和限制性描述需求等问题。在本文中,我们提出了LMKE,该LMKE采用语言模型来得出知识嵌入,旨在既富集了长尾实体的表示形式又旨在解决先前的基于描述的方法的问题。我们通过对比度学习框架制定基于描述的KE学习,以提高培训和评估的效率。实验结果表明,LMKE在链接预测和三重分类的KE基准上实现了最先进的性能,尤其是对于长尾实体。
translated by 谷歌翻译
如今,知识图(KGS)一直在AI相关的应用中发挥关键作用。尽管尺寸大,但现有的公斤远非完全和全面。为了不断丰富KG,通常使用自动知识结构和更新机制,这不可避免地带来充足的噪音。然而,大多数现有知识图形嵌入(KGE)方法假设KGS中的所有三重事实都是正确的,并且在不考虑噪声和知识冲突的情况下将实体和关系投入到低维空间。这将导致kgs的低质量和不可靠的表示。为此,本文提出了一般的多任务加固学习框架,这可以大大缓解嘈杂的数据问题。在我们的框架中,我们利用强化学习来选择高质量的知识三分石,同时过滤出嘈杂的。此外,为了充分利用语义类似的关系之间的相关性,在具有多任务学习的集体方式中训练了类似关系的三重选择过程。此外,我们扩展了流行的KGE Models Transe,Distmult,与所提出的框架耦合和旋转。最后,实验验证表明,我们的方法能够增强现有的KGE模型,可以在嘈杂的情景中提供更强大的KGS表示。
translated by 谷歌翻译
Knowledge graph embedding (KGE), which maps entities and relations in a knowledge graph into continuous vector spaces, has achieved great success in predicting missing links in knowledge graphs. However, knowledge graphs often contain incomplete triples that are difficult to inductively infer by KGEs. To address this challenge, we resort to analogical inference and propose a novel and general self-supervised framework AnKGE to enhance KGE models with analogical inference capability. We propose an analogical object retriever that retrieves appropriate analogical objects from entity-level, relation-level, and triple-level. And in AnKGE, we train an analogy function for each level of analogical inference with the original element embedding from a well-trained KGE model as input, which outputs the analogical object embedding. In order to combine inductive inference capability from the original KGE model and analogical inference capability enhanced by AnKGE, we interpolate the analogy score with the base model score and introduce the adaptive weights in the score function for prediction. Through extensive experiments on FB15k-237 and WN18RR datasets, we show that AnKGE achieves competitive results on link prediction task and well performs analogical inference.
translated by 谷歌翻译
知识图嵌入模型已成为机器学习的重要领域。这些模型在知识图中提供了实体和关系的潜在表示,然后可以在下游机器学习任务(例如链接预测)中使用。这些模型的学习过程可以通过对比正面和负三元组来执行。虽然所有千克的三元组都被认为是正的,但负三元三联通常不容易获得。因此,获得的采样方法的选择在知识图嵌入模型的性能和有效性中起着至关重要的作用。当前的大多数方法从基础知识图中实体的随机分布中获取负面样本,这些样本通常还包括毫无意义的三元组。其他已知方法使用对抗技术或生成神经网络,从而降低了过程的效率。在本文中,我们提出了一种方法,以产生有关实体的可用互补知识的信息负面样本。特别是,预训练的语言模型用于通过利用实体之间的距离来形成邻里群集,以通过其文本信息获得符号实体的表示。我们的全面评估证明了拟议方法在基准知识图上具有链接预测任务的文本信息的有效性。
translated by 谷歌翻译
学习知识图的嵌入对人工智能至关重要,可以使各种下游应用受益,例如推荐和问题回答。近年来,已经提出了许多研究努力,以嵌入知识图形。然而,最先前的知识图形嵌入方法忽略不同三元组中的相关实体和实体关系耦合之间的语义相似性,因为它们与评分函数分别优化每个三倍。为了解决这个问题,我们提出了一个简单但有效的对比学习框架,用于知识图形嵌入,可以缩短不同三元组中相关实体和实体关系耦合的语义距离,从而提高知识图形嵌入的表现力。我们在三个标准知识图形基准上评估我们提出的方法。值得注意的是,我们的方法可以产生一些新的最先进的结果,在WN18RR数据集中实现51.2%的MRR,46.8%HITS @ 1,59.1%的MRR,51.8%在YAGO3-10数据集中击打@ 1 。
translated by 谷歌翻译
知识图嵌入(KGE)旨在将实体和关系映射到低维空间,并成为知识图完成的\ textit {de-facto}标准。大多数现有的KGE方法都受到稀疏挑战的困扰,在这种挑战中,很难预测在知识图中频繁的实体。在这项工作中,我们提出了一个新颖的框架KRACL,以减轻具有图表和对比度学习的KG中广泛的稀疏性。首先,我们建议知识关系网络(KRAT)通过同时将相邻的三元组投射到不同的潜在空间,并通过注意机制共同汇总信息来利用图形上下文。 KRAT能够捕获不同上下文三联的微妙的语义信息和重要性,并利用知识图中的多跳信息。其次,我们通过将对比度损失与跨熵损失相结合,提出知识对比损失,这引入了更多的负样本,从而丰富了对稀疏实体的反馈。我们的实验表明,KRACL在各种标准知识基准中取得了卓越的结果,尤其是在WN18RR和NELL-995上,具有大量低级内实体。广泛的实验还具有KRACL在处理稀疏知识图和鲁棒性三元组的鲁棒性方面的有效性。
translated by 谷歌翻译
知识图(kgs)因其学习单一关系事实的表示能力而获得了突出。最近,研究重点是建模超级关系的事实,这些事实超出了单一关系事实的限制,使我们能够代表更复杂和现实的信息。但是,现有的超级关系中学习表征的方法主要集中于增强从预选赛到基础三元组的沟通,同时忽略了从基本三重限制者到资格赛的信息流。这可能会导致次级预选赛表示,尤其是在提出大量预选赛时。它促使我们设计一个利用多个聚合器来学习超级关系事实的表示框架:从基本三重的角度来看,一个框架从资格符的角度来看。实验证明了我们框架对多个数据集的超相关知识图完成的有效性。此外,我们进行了一项消融研究,以验证各个组件在我们的框架中的重要性。可以在\ url {https://github.com/harryshomer/quad}找到复制我们的结果的代码。
translated by 谷歌翻译
Knowledge graph (KG) embedding is to embed components of a KG including entities and relations into continuous vector spaces, so as to simplify the manipulation while preserving the inherent structure of the KG. It can benefit a variety of downstream tasks such as KG completion and relation extraction, and hence has quickly gained massive attention. In this article, we provide a systematic review of existing techniques, including not only the state-of-the-arts but also those with latest trends. Particularly, we make the review based on the type of information used in the embedding task. Techniques that conduct embedding using only facts observed in the KG are first introduced. We describe the overall framework, specific model design, typical training procedures, as well as pros and cons of such techniques. After that, we discuss techniques that further incorporate additional information besides facts. We focus specifically on the use of entity types, relation paths, textual descriptions, and logical rules. Finally, we briefly introduce how KG embedding can be applied to and benefit a wide variety of downstream tasks such as KG completion, relation extraction, question answering, and so forth.
translated by 谷歌翻译
知识图形嵌入(KGE)由于其在自动知识图(kg)完成和知识驱动的任务中的潜力而引起了很大的关注。然而,最近的KGE模型遭受了高训练成本和大存储空间,因此限制了他们在现实世界应用中的实用性。为了解决这一挑战,根据对比学习领域的最新发现,我们提出了一种名为硬度感知的低维嵌入(HALE)的新型KGE训练框架。除了传统的负面采样而不是传统的负面采样,我们基于查询采样设计一个新的损失功能,可以平衡两个重要的培训目标,对齐和均匀性。此外,我们分析了近期低维双曲模型的硬度感知,并提出了一种轻量级硬度感知激活机制,可以帮助KGE模型关注硬实例并加速收敛。实验结果表明,在有限的训练时间,HALE可以有效地提高KGE模型在五个常用的数据集中的性能和训练速度。在训练后,训练的模型可以在几分钟后获得高预测精度,与低维度和高维条件的最先进模型相比,竞争力。
translated by 谷歌翻译
实体类型预测是知识图中的一个重要问题(kg)研究。在这项工作中提出了一种新的KG实体类型预测方法,名为Core(复杂的空间回归和嵌入)。所提出的核心方法利用两个复杂空间嵌入模型的表现力;即,旋转和复杂的模型。它使用旋转或复杂地将实体和类型嵌入两个不同的复杂空间中。然后,我们推导了一个复杂的回归模型来链接这两个空格。最后,介绍了一种优化嵌入和回归参数的机制。实验表明,核心优于代表性KG实体型推理数据集的基准测试方法。分析了各种实体型预测方法的强度和弱点。
translated by 谷歌翻译
通过嵌入式表示知识图(KGE)近年来一直是研究热点。现实知识图主要与时间相关,而大多数现有的KGE算法忽略了时间信息。一些现有方法直接或间接编码时间信息,忽略时间戳分布的平衡,这大大限制了时间知识图完成的性能(KGC)。在本文中,基于直接编码时间信息框架提出了一种时间KGC方法,并且给定的时间片被视为用于平衡时间戳分布的最优选的粒度。大量关于从现实世界提取的时间知识图形数据集的实验证明了我们方法的有效性。
translated by 谷歌翻译
知识图(kgs)将世界知识建模为结构三元组是不可避免的。多模式知识图(MMKGS)仍然存在此类问题。因此,知识图完成(KGC)对于预测现有KG中缺失的三元组至关重要。至于现有的KGC方法,基于嵌入的方法依靠手动设计来利用多模式信息,而基于芬太尼的方法在链接预​​测中并不优于基于嵌入的方法。为了解决这些问题,我们提出了一个Visualbert增强知识图完成模型(简称VBKGC)。 VBKGC可以为实体捕获深层融合的多模式信息,并将其集成到KGC模型中。此外,我们通过设计一种称为Twins Twins负抽样的新的负抽样策略来实现KGC模型的共同设计和负抽样。双胞胎阴性采样适用于多模式场景,可以对齐实体的不同嵌入。我们进行了广泛的实验,以显示VBKGC在链接预测任务上的出色表现,并进一步探索VBKGC。
translated by 谷歌翻译
知识图(kgs)在许多应用程序中越来越重要的基础架构,同时患有不完整问题。 KG完成任务(KGC)自动根据不完整的KG预测缺失的事实。但是,现有方法在现实情况下表现不佳。一方面,他们的性能将巨大的降解,而kg的稀疏性越来越大。另一方面,预测的推理过程是一个不可信的黑匣子。本文提出了一个稀疏kgc的新型可解释模型,将高阶推理组合到图形卷积网络中,即HOGRN。它不仅可以提高减轻信息不足问题的概括能力,而且还可以在保持模型的有效性和效率的同时提供可解释性。有两个主要组件无缝集成以进行关节优化。首先,高阶推理成分通过捕获关系之间的内源性相关性来学习高质量的关系表示。这可以反映逻辑规则,以证明更广泛的事实是合理的。其次,更新组件的实体利用无重量的图形卷积网络(GCN)有效地模拟具有可解释性的KG结构。与常规方法不同,我们在没有其他参数的情况下在关系空间中进行实体聚合和基于设计组成的注意。轻巧的设计使HOGRN更适合稀疏设置。为了进行评估,我们进行了广泛的实验 - HOGRN对几个稀疏KG的结果表现出了令人印象深刻的改善(平均为9%的MRR增益)。进一步的消融和案例研究证明了主要成分的有效性。我们的代码将在接受后发布。
translated by 谷歌翻译
学术知识图(KGS)提供了代表科学出版物编码的知识的丰富的结构化信息来源。随着出版的科学文学的庞大,包括描述科学概念的过多的非均匀实体和关系,这些公斤本质上是不完整的。我们呈现Exbert,一种利用预先训练的变压器语言模型来执行学术知识图形完成的方法。我们将知识图形的三元组模型为文本并执行三重分类(即,属于KG或不属于KG)。评估表明,在三重分类,链路预测和关系预测的任务中,Exbert在三个学术kg完成数据集中表现出其他基线。此外,我们将两个学术数据集作为研究界的资源,从公共公共公报和在线资源中收集。
translated by 谷歌翻译
知识图表(kg)的表示学习模型已被证明是有效地编码结构信息并在kgs上进行推理。在本文中,我们提出了一种用于知识图表表示学习的新型预训练 - 然后微调框架,其中kg模型首先用三重分类任务预先培训,然后在特定的下游任务上进行判别微调作为实体类型预测和实体对齐。借鉴典型的预训练语言模型学习深层语境化词表示的一般思想,我们提出了学习预先训练的kg表示与目标三重编码的结构和上下文三元组。实验结果表明,微调SCOP不仅优于下游任务组合的基线的结果,而且还避免了特定于特定的特定模型设计和参数培训。
translated by 谷歌翻译
近年来,人们对少量知识图(FKGC)的兴趣日益增加,该图表旨在推断出关于该关系的一些参考三元组,从而推断出不见了的查询三倍。现有FKGC方法的主要重点在于学习关系表示,可以反映查询和参考三元组共享的共同信息。为此,这些方法从头部和尾部实体的直接邻居中学习实体对表示,然后汇总参考实体对的表示。但是,只有从直接邻居那里学到的实体对代表可能具有较低的表现力,当参与实体稀疏直接邻居或与其他实体共享一个共同的当地社区。此外,仅仅对头部和尾部实体的语义信息进行建模不足以准确推断其关系信息,尤其是当它们具有多个关系时。为了解决这些问题,我们提出了一个特定于关系的上下文学习(RSCL)框架,该框架利用了三元组的图形上下文,以学习全球和本地关系特定的表示形式,以使其几乎没有相关关系。具体而言,我们首先提取每个三倍的图形上下文,这可以提供长期实体关系依赖性。为了编码提取的图形上下文,我们提出了一个分层注意网络,以捕获三元组的上下文信息并突出显示实体的有价值的本地邻里信息。最后,我们设计了一个混合注意聚合器,以评估全球和本地级别的查询三元组的可能性。两个公共数据集的实验结果表明,RSCL的表现优于最先进的FKGC方法。
translated by 谷歌翻译
为了减轻从头开始构建知识图(kg)的挑战,更一般的任务是使用开放式语料库中的三元组丰富一个kg,那里获得的三元组包含嘈杂的实体和关系。在保持知识代表的质量的同时,以新收获的三元组丰富一个公园,这是一项挑战。本文建议使用从附加语料库中收集的信息来完善kg的系统。为此,我们将任务制定为两个耦合子任务,即加入事件提取(JEE)和知识图融合(KGF)。然后,我们提出了一个协作知识图融合框架,以允许我们的子任务以交替的方式相互协助。更具体地说,探险家执行了由地面注释和主管提供的现有KG监督的JEE。然后,主管评估了探险家提取的三元组,并用高度排名的人来丰富KG。为了实施此评估,我们进一步提出了一种翻译的关系一致性评分机制,以对齐并将提取的三元组对齐为先前的kg。实验验证了这种合作既可以提高JEE和KGF的表现。
translated by 谷歌翻译