最近,链接预测问题,也称为知识图完成,已经吸引了大量的研究。即使最近的型号很少试图通过在低维度中嵌入知识图表来实现相对良好的性能,即目前最先进的模型的最佳结果是以大大提高嵌入的维度的成本赚取的。然而,这导致在巨大知识库的情况下导致过度舒服和更重要的可扩展性问题。灵感灵感来自变压器模型的变体提供的深度学习的进步,因为它的自我关注机制,在本文中,我们提出了一种基于IT的模型来解决上述限制。在我们的模型中,自我关注是将查询依赖预测应用于实体和关系的关键,并捕获它们之间的相互信息,以获得来自低维嵌入的高度富有表现力的表现。两种标准链路预测数据集,FB15K-237和WN18RR的经验结果表明,我们的模型比我们三个最近最近期的最新竞争对手实现了相当的性能或更好的性能,其维度的重大减少了76.3%平均嵌入。
translated by 谷歌翻译
最近公布的知识图形嵌入模型的实施,培训和评估的异质性已经公平和彻底的比较困难。为了评估先前公布的结果的再现性,我们在Pykeen软件包中重新实施和评估了21个交互模型。在这里,我们概述了哪些结果可以通过其报告的超参数再现,这只能以备用的超参数再现,并且无法再现,并且可以提供洞察力,以及为什么会有这种情况。然后,我们在四个数据集上进行了大规模的基准测试,其中数千个实验和24,804 GPU的计算时间。我们展示了最佳实践,每个模型的最佳配置以及可以通过先前发布的最佳配置进行改进的洞察。我们的结果强调了模型架构,训练方法,丢失功能和逆关系显式建模的组合对于模型的性能来说至关重要,而不仅由模型架构决定。我们提供了证据表明,在仔细配置时,若干架构可以获得对最先进的结果。我们制定了所有代码,实验配置,结果和分析,导致我们在https://github.com/pykeen/pykeen和https://github.com/pykeen/benchmarking中获得的解释
translated by 谷歌翻译
学术知识图(KGS)提供了代表科学出版物编码的知识的丰富的结构化信息来源。随着出版的科学文学的庞大,包括描述科学概念的过多的非均匀实体和关系,这些公斤本质上是不完整的。我们呈现Exbert,一种利用预先训练的变压器语言模型来执行学术知识图形完成的方法。我们将知识图形的三元组模型为文本并执行三重分类(即,属于KG或不属于KG)。评估表明,在三重分类,链路预测和关系预测的任务中,Exbert在三个学术kg完成数据集中表现出其他基线。此外,我们将两个学术数据集作为研究界的资源,从公共公共公报和在线资源中收集。
translated by 谷歌翻译
捕获关系的构图模式是知识图表完成中的重要任务。它还是迈向多跳推理的基本步骤,以了解学到的知识。以前,已经开发了几种基于旋转的翻译方法来使用一系列复值对角线矩阵的产品来模拟复合关系。然而,这些方法倾向于对复合关系进行几种超薄假设,例如,强迫他们独立于实体和缺乏语义等级的交换。为了系统地解决这些问题,我们开发了一种新颖的知识图形嵌入方法,命名为密集,为复杂的关系模式提供改进的建模方案。特别地,我们的方法将每个关系分解成SO(3)基于基于组的旋转操作员和三维(3-D)欧几里德空间中的缩放操作员。这种设计原理导致我们的方法的几个优点:(1)对于复合关系,相应的对角线关系矩阵可以是非换向的,反映了现实世界应用中的主要情景; (2)我们的模型保留了关系运营和实体嵌入之间的自然互动; (3)缩放操作为实体的内在语义层次结构提供建模电力; (4)在参数大小和培训时间方面,以高计算效率实现致密的增强效果; (5)欧几里德空间中的建模实体而不是四元数空间,保持关系模式的直接几何解释。多个基准知识图上的实验结果表明,密集优于当前最先进的模型,以缺少链路预测,尤其是对复合关系。
translated by 谷歌翻译
链路预测是预测知识图的实体之间缺失关系的任务。最近的链路预测工作已经尝试通过在神经网络架构中使用更多层来提供增加链路预测精度的模型。在本文中,我们提出了一种精炼知识图的新方法,从而可以使用相对快速的翻译模型更准确地执行链路预测操作。翻译链接预测模型,如Transe,Transh,Transd,而不是深度学习方法的复杂性较小。我们的方法使用知识图中的关系和实体的层次结构将实体信息作为辅助节点添加到图形中,并将它们连接到包含在其层级中的该信息的节点。我们的实验表明,我们的方法可以显着提高H @ 10的翻译链路预测方法的性能,MRR,MRR。
translated by 谷歌翻译
学习知识图的嵌入对人工智能至关重要,可以使各种下游应用受益,例如推荐和问题回答。近年来,已经提出了许多研究努力,以嵌入知识图形。然而,最先前的知识图形嵌入方法忽略不同三元组中的相关实体和实体关系耦合之间的语义相似性,因为它们与评分函数分别优化每个三倍。为了解决这个问题,我们提出了一个简单但有效的对比学习框架,用于知识图形嵌入,可以缩短不同三元组中相关实体和实体关系耦合的语义距离,从而提高知识图形嵌入的表现力。我们在三个标准知识图形基准上评估我们提出的方法。值得注意的是,我们的方法可以产生一些新的最先进的结果,在WN18RR数据集中实现51.2%的MRR,46.8%HITS @ 1,59.1%的MRR,51.8%在YAGO3-10数据集中击打@ 1 。
translated by 谷歌翻译
如今,知识图(KGS)一直在AI相关的应用中发挥关键作用。尽管尺寸大,但现有的公斤远非完全和全面。为了不断丰富KG,通常使用自动知识结构和更新机制,这不可避免地带来充足的噪音。然而,大多数现有知识图形嵌入(KGE)方法假设KGS中的所有三重事实都是正确的,并且在不考虑噪声和知识冲突的情况下将实体和关系投入到低维空间。这将导致kgs的低质量和不可靠的表示。为此,本文提出了一般的多任务加固学习框架,这可以大大缓解嘈杂的数据问题。在我们的框架中,我们利用强化学习来选择高质量的知识三分石,同时过滤出嘈杂的。此外,为了充分利用语义类似的关系之间的相关性,在具有多任务学习的集体方式中训练了类似关系的三重选择过程。此外,我们扩展了流行的KGE Models Transe,Distmult,与所提出的框架耦合和旋转。最后,实验验证表明,我们的方法能够增强现有的KGE模型,可以在嘈杂的情景中提供更强大的KGS表示。
translated by 谷歌翻译
知识嵌入(KE)通过将实体和关系嵌入连续的向量空间来表示知识图(kg)。现有方法主要基于结构或基于描述。基于结构的方法学习保留KGS固有结构的表示。它们不能很好地代表具有有限结构信息的现实世界中的丰富长尾实体。基于描述的方法利用文本信息和语言模型。朝这个方向迈出的先前方法几乎不能胜过基于结构的结构,并且遇到了昂贵的负面抽样和限制性描述需求等问题。在本文中,我们提出了LMKE,该LMKE采用语言模型来得出知识嵌入,旨在既富集了长尾实体的表示形式又旨在解决先前的基于描述的方法的问题。我们通过对比度学习框架制定基于描述的KE学习,以提高培训和评估的效率。实验结果表明,LMKE在链接预测和三重分类的KE基准上实现了最先进的性能,尤其是对于长尾实体。
translated by 谷歌翻译
我们研究了对知识图中链路预测任务的知识图形嵌入(KGE)模型产生数据中毒攻击的问题。为了毒害KGE模型,我们建议利用他们通过知识图中的对称性,反演和构图等关系模式捕获的归纳能力。具体而言,为了降低模型对目标事实的预测信心,建议改善模型对一系列诱饵事实的预测信心。因此,我们通过不同的推理模式来制作对逆势的添加能够改善模型对诱饵事实上的预测信心。我们的实验表明,拟议的中毒攻击在四个KGE模型上倾斜的最先进的基座,用于两个公共数据集。我们还发现基于对称模式的攻击遍历了所有模型 - 数据集合,指示KGE模型对此模式的灵敏度。
translated by 谷歌翻译
我们介绍了一个名为Nuge的新型嵌入式模型,旨在将实体和关系之间的共同发生整合到图形神经网络中,以改善知识图形完成(即,链接预测)。鉴于知识图形,Nuge将单个图形构建,考虑实体和关系作为单个节点。然后,Nuge基于实体和关系的共同发生来计算节点之间的边缘的权重。接下来,Nuge提出双季型图形神经网络(DualQGNN),并利用DualQGNN更新实体和关系节点的向量表示。然后采用分数函数来产生三重分数。综合实验结果表明,NOGE在三个新的和困难的基准数据集Codex上获得最先进的结果,用于知识图形完成。
translated by 谷歌翻译
Covid-19上的知识图(KGS)已建立在加速Covid-19的研究过程中。然而,KGs总是不完整,特别是新建造的Covid-19公斤。链路预测任务旨在预测(e,r,t)或(h,r,e)的丢失实体,其中H和t是某些实体,E是需要预测的实体,R是关系。这项任务还有可能解决Covid-19相关的KGS的不完全问题。虽然已经提出了各种知识图形嵌入(KGE)方法的链路预测任务,但这些现有方法遭受了使用单个评分函数的限制,这不能捕获Covid-19 Kgs的丰富特征。在这项工作中,我们提出了利用多个评分函数来提取来自现有三元组的更多特征的MDistmult模型。我们在CCKS2020 Covid-19抗病毒药物知识图(CADKG)上采用实验。实验结果表明,我们的MDistmult在CADKG数据集上的链路预测任务中实现了最先进的性能
translated by 谷歌翻译
知识图(kg)嵌入在实体的学习表示和链接预测任务的关系方面表现出很大的力量。以前的工作通常将KG嵌入到单个几何空间中,例如欧几里得空间(零弯曲),双曲空间(负弯曲)或超透明空间(积极弯曲),以维持其特定的几何结构(例如,链,层次结构和环形结构)。但是,KGS的拓扑结构似乎很复杂,因为它可能同时包含多种类型的几何结构。因此,将kg嵌入单个空间中,无论欧几里得空间,双曲线空间或透明空间,都无法准确捕获KGS的复杂结构。为了克服这一挑战,我们提出了几何相互作用知识图嵌入(GIE),该图形嵌入了,该图形在欧几里得,双曲线和超级空间之间进行了交互学习的空间结构。从理论上讲,我们提出的GIE可以捕获一组更丰富的关系信息,模型键推理模式,并启用跨实体的表达语义匹配。三个完善的知识图完成基准的实验结果表明,我们的GIE以更少的参数实现了最先进的性能。
translated by 谷歌翻译
知识库完成在这项工作中被制定为二进制分类问题,其中使用知识图中的相关链接(KGS)培训XGBoost二进制分类器。新方法名为KGBoost,采用模块化设计,并尝试找到硬阴性样本,以便培训强大的分类器以进行缺失链路预测。我们在多个基准数据集中进行实验,并证明KGBoost在大多数数据集中优于最先进的方法。此外,与端到端优化训练的模型相比,kgboost在低维设置下运行良好,以便允许更小的型号尺寸。
translated by 谷歌翻译
在本文中,我们介绍了一种新的基于GNN的知识图形嵌入模型,命名为WGE,以捕获聚焦的图形结构和关联的图形结构。特别是,鉴于知识图形,WGE构建一个无向实体的聚焦图,该图形将实体视为节点。此外,WGE还从关联的约束构造另一个无向图形,将实体和关系视为节点。然后,WGE提出了一种新的架构,即直接在这两个单个图表上使用两个vanilla GNNS,以更好地更新实体和关系的矢量表示,然后是加权得分函数来返回三重分数。实验结果表明,WGE在三个新的和具有挑战性的基准数据集Codex上获得最先进的表演,用于知识图形完成。
translated by 谷歌翻译
知识图(KG)通常不完整,我们经常希望推断出现有的新事实。这可以被认为是二进制分类问题;我们的目标是预测新事实是真或假的。不幸的是,我们通常只有积极的例子(已知事实),但我们也需要负面的例子来训练分类器。要解决此问题,通常使用负面采样策略生成否定示例。但是,这可以产生可能降低性能的假否定,是计算昂贵的,并且不会产生校准的分类概率。在本文中,我们提出了一种培训程序,通过向损失函数添加新的正则化术语来消除对负面采样的需要。我们的两个关系嵌入模型(DISTMULT和简单)的结果显示了我们的提案的优点。
translated by 谷歌翻译
神经网络的最新进步已经解决了常见的图表问题,例如链路预测,节点分类,节点聚类,通过将实体和关系的嵌入和关系开发到向量空间中来看。绘图嵌入式对图中存在的结构信息进行编码。然后,编码嵌入式可用于预测图中的缺失链接。然而,获得图表的最佳嵌入可以是嵌入式系统中的计算具有挑战性的任务。我们在这项工作中专注的两种技术是1)节点嵌入来自随机步行的方法和2)知识图形嵌入。随机播放的嵌入物是计算地廉价的,但是是次优的,而知识图形嵌入物表现更好,但是计算得昂贵。在这项工作中,我们研究了转换从基于随机步行方法获得的节点嵌入的转换模型,以直接从知识图方法获得的嵌入,而不会增加计算成本。广泛的实验表明,所提出的变换模型可用于实时解决链路预测。
translated by 谷歌翻译
链路预测在知识图中起着重要作用,这是许多人工智能任务的重要资源,但它通常受不完整的限制。在本文中,我们提出了知识图表BERT for Link预测,名为LP-BERT,其中包含两个培训阶段:多任务预训练和知识图微调。预训练策略不仅使用掩码语言模型(MLM)来学习上下文语料库的知识,还引入掩模实体模型(MEM)和掩模关系模型(MRM),其可以通过预测语义来学习三元组的关系信息基于实体和关系元素。结构化三维关系信息可以转换为非结构化语义信息,可以将其与上下文语料库信息一起集成到培训模型中。在微调阶段,灵感来自对比学习,我们在样本批量中进行三样式的负面取样,这大大增加了负采样的比例,同时保持训练时间几乎不变。此外,我们提出了一种基于Triples的逆关系的数据增强方法,以进一步增加样本分集。我们在WN18RR和UMLS数据集上实现最先进的结果,特别是HITS @ 10指示器从WN18RR数据集上的先前最先进的结果提高了5 \%。
translated by 谷歌翻译
知识图(kg)推论是解决KGs自然不完整性的重要技术。现有的kg推断方法可以分为基于规则的基于和基于kg嵌入的模型。然而,这些方法同时不能平衡准确性,泛化,解释性和效率。此外,这些模型总是依赖于纯粹的三元族并忽略额外信息。因此,KG嵌入(KGE)和规则学习kg推理因稀疏实体和有限的语义而接近面临的面临挑战。我们提出了一种新颖且有效的闭环kg推理框架,与基于这些观察结果类似地运行作为发动机。 EngineKgi将KGE和RULE学习在闭环模式中互相补充,同时利用路径和概念中的语义。 KGE模块利用路径来增强实体之间的语义关联,并介绍解释性规则。通过利用路径作为初始候选规则,在规则学习模块中提出了一种新颖的规则修剪机制,并使用KG Embeddings以及提取更高质量规则的概念。四个真实数据集的实验结果表明,我们的模型在链路预测任务上占外的其他基线,展示了我们模型在KG推理中以闭环机制的关节逻辑和数据驱动方式的效力和优越性。
translated by 谷歌翻译
知识图(KGS)代表作为三元组的事实已被广泛采用在许多应用中。 LIGHT预测和规则感应等推理任务对于KG的开发很重要。已经提出了知识图形嵌入式(KGES)将kg的实体和kg与持续向量空间的关系进行了建议,以获得这些推理任务,并被证明是有效和强大的。但在实际应用中申请和部署KGE的合理性和可行性尚未探索。在本文中,我们讨论并报告我们在真实域应用程序中部署KGE的经验:电子商务。我们首先为电子商务KG系统提供三个重要的探索者:1)注意推理,推理几个目标关系更为关注而不是全部; 2)解释,提供预测的解释,帮助用户和业务运营商理解为什么预测; 3)可转让规则,生成可重用的规则,以加速将千克部署到新系统。虽然非现有KGE可以满足所有这些DesiderATA,但我们提出了一种新颖的一种,可说明的知识图表注意网络,通过建模三元组之间的相关性而不是纯粹依赖于其头实体,关系和尾部实体嵌入来预测。它可以自动选择预测的注意力三倍,并同时记录它们的贡献,从该解释可以很容易地提供,可以有效地生产可转移规则。我们经验表明,我们的方法能够在我们的电子商务应用程序中满足所有三个DesiderATA,并从实际域应用程序中倾斜于数据集的典型基线。
translated by 谷歌翻译
知识图嵌入(KGE)的有效性在很大程度上取决于建模固有关系模式和映射属性的能力。但是,现有方法只能以不足的建模能力捕获其中的一些。在这项工作中,我们提出了一个名为House的更强大的KGE框架,该框架涉及基于两种家庭转换的新型参数化:(1)住户旋转以实现建模关系模式的较高能力;(2)处理复杂关系映射属性的住户预测。从理论上讲,房屋能够同时建模关键的关系模式和映射属性。此外,房屋是对现有基于旋转的模型的概括,同时将旋转扩展到高维空间。从经验上讲,House在五个基准数据集上实现了新的最新性能。我们的代码可在https://github.com/anrep/house上找到。
translated by 谷歌翻译