Entity Alignment (EA) aims to find equivalent entities between two Knowledge Graphs (KGs). While numerous neural EA models have been devised, they are mainly learned using labelled data only. In this work, we argue that different entities within one KG should have compatible counterparts in the other KG due to the potential dependencies among the entities. Making compatible predictions thus should be one of the goals of training an EA model along with fitting the labelled data: this aspect however is neglected in current methods. To power neural EA models with compatibility, we devise a training framework by addressing three problems: (1) how to measure the compatibility of an EA model; (2) how to inject the property of being compatible into an EA model; (3) how to optimise parameters of the compatibility model. Extensive experiments on widely-used datasets demonstrate the advantages of integrating compatibility within EA models. In fact, state-of-the-art neural EA models trained within our framework using just 5\% of the labelled data can achieve comparable effectiveness with supervised training using 20\% of the labelled data.
translated by 谷歌翻译
Entity Alignment (EA), which aims to detect entity mappings (i.e. equivalent entity pairs) in different Knowledge Graphs (KGs), is critical for KG fusion. Neural EA methods dominate current EA research but still suffer from their reliance on labelled mappings. To solve this problem, a few works have explored boosting the training of EA models with self-training, which adds confidently predicted mappings into the training data iteratively. Though the effectiveness of self-training can be glimpsed in some specific settings, we still have very limited knowledge about it. One reason is the existing works concentrate on devising EA models and only treat self-training as an auxiliary tool. To fill this knowledge gap, we change the perspective to self-training to shed light on it. In addition, the existing self-training strategies have limited impact because they introduce either much False Positive noise or a low quantity of True Positive pseudo mappings. To improve self-training for EA, we propose exploiting the dependencies between entities, a particularity of EA, to suppress the noise without hurting the recall of True Positive mappings. Through extensive experiments, we show that the introduction of dependency makes the self-training strategy for EA reach a new level. The value of self-training in alleviating the reliance on annotation is actually much higher than what has been realised. Furthermore, we suggest future study on smart data annotation to break the ceiling of EA performance.
translated by 谷歌翻译
实体对齐(EA)的目的是匹配引用相同现实世界对象的等效实体,并且是知识图(kg)融合的关键步骤。大多数神经EA模型由于其过度消耗GPU记忆和时间而无法应用于大型现实生活中。一种有希望的解决方案是将大型EA任务分为几个子任务,以便每个子任务只需要匹配原始kg的两个小子图。但是,在不失去效力的情况下分配EA任务是一个挑战。现有方法显示了潜在映射的覆盖范围较低,上下文图中的证据不足以及子任务的大小不同。在这项工作中,我们设计了具有高质量任务部门的大规模EA的分区框架。为了在EA子任务中包括最初存在于大型EA任务中的潜在映射的很大比例,我们设计了一种对应的发现方法,该方法利用了EA任务的局部原理和训练有素的EA模型的力量。我们的对手发现方法独有的是潜在映射的机会的明确建模。我们还介绍了传递机制的证据,以量化上下文实体的信息性,并找到对子任务大小的灵活控制的最有用的上下文图。广泛的实验表明,与替代性的最先进的解决方案相比,分区的EA性能更高。
translated by 谷歌翻译
知识图完成最近已广泛研究,以通过主要建模图结构特征来完成三元组中的缺失元素,但对图形结构的稀疏性敏感。期望解决这一挑战的相关文本,例如实体名称和描述,充当知识图(kgs)的另一种表达形式(kgs)。已经提出了几种使用两个编码器的结构和文本消息的方法,但由于未能平衡它们之间的权重有限。并在推理期间保留结构和文本编码器,也遭受了沉重的参数。通过知识蒸馏的激励,我们将知识视为从输入到输出概率的映射,并在稀疏的kgs上提出了一个插件框架VEM2L,以将从文本和结构消息提取到统一的知识中融合知识。具体而言,我们将模型获取的知识分配为两个不重叠的部分:一个部分与训练三元组合的合适能力有关,可以通过激励两个编码者互相学习训练集来融合。另一个反映了未观察到的查询的概括能力。相应地,我们提出了一种新的融合策略,该策略由变量EM算法证明,以融合模型的概括能力,在此期间,我们还应用图形致密操作以进一步缓解稀疏的图形问题。通过结合这两种融合方法,我们最终提出了VEM2L框架。详细的理论证据以及定量和定性实验都证明了我们提出的框架的有效性和效率。
translated by 谷歌翻译
知识图(kg)对齐 - 指识别不同kgs中同一件事的实体的任务 - 被认为是KG构造领域中最重要的操作之一。然而,现有的对齐技术通常假设输入kgs是完整的并且同性的,这是由于域,大小和稀疏性的现实世界异质性而不是真实。在这项工作中,我们解决了与代表学习对齐不完整的KG对齐的问题。我们的KG嵌入式框架利用了两个特征频道:基于传输型和基于接近的。前者通过翻译路径捕获实体之间的一致性约束,而后者通过注意引导关系感知图形神经网络捕获KG的邻域结构。两个特征频道共同学习以在输入kgs之间交换重要特征,同时强制在同一嵌入空间中强制输入kg的输出表示。此外,我们开发了缺失的链接检测器,该探测器发现并恢复培训过程中输入kgs中的缺失链接,这有助于减轻不完整性问题,从而提高学习象征的兼容性。然后将嵌入的熔合融合以生成对准结果,并且高置信匹配节点对被更新为预先调整的监控数据以逐渐改善嵌入。经验结果表明,我们的型号比SOTA更准确,而且对不同级别的不完整性较高,高达15.2 \%。我们还证明了KGS之间交换的知识有助于揭示知识图表(A.K.A.知识完成)的看不见的事实,结果比SOTA知识图形完成技术高3.5 \%。
translated by 谷歌翻译
多模式实体对齐旨在确定两个不同的多模式知识图之间的等效实体,这些实体由与实体相关的结构三元组和图像组成。大多数先前的作品都集中在如何利用和编码不同模式中的信息,而由于模态异质性,因此在实体对齐中利用多模式知识并不是微不足道的。在本文中,我们提出了基于多模式对比度学习的实体比对模型McLea,以获得多模式实体对准的有效联合表示。与以前的工作不同,麦克莱尔(McLea)考虑了面向任务的模式,并为每个实体表示形式建模模式间关系。特别是,麦克莱(McLea)首先从多种模式中学习多个单独的表示,然后进行对比学习以共同对模式内和模式间相互作用进行建模。广泛的实验结果表明,在受监督和无监督的设置下,MCLEA在公共数据集上优于公共数据集的最先进的基线。
translated by 谷歌翻译
As an important variant of entity alignment (EA), multi-modal entity alignment (MMEA) aims to discover identical entities across different knowledge graphs (KGs) with multiple modalities like images. However, current MMEA algorithms all adopt KG-level modality fusion strategies but ignore modality differences among individual entities, hurting the robustness to potential noise involved in modalities (e.g., unidentifiable images and relations). In this paper we present MEAformer, a multi-modal entity alignment transformer approach for meta modality hybrid, to dynamically predict the mutual correlation coefficients among modalities for instance-level feature fusion. A modal-aware hard entity replay strategy is also proposed for addressing vague entity details. Extensive experimental results show that our model not only achieves SOTA performance on multiple training scenarios including supervised, unsupervised, iterative, and low resource, but also has limited parameters, optimistic speed, and good interpretability. Our code will be available soon.
translated by 谷歌翻译
实体对齐是将知识图(KGS)与多个源集成的重要步骤。以前的实体对齐尝试已经探索了不同的kg结构,例如基于邻域和基于路径的上下文,以学习实体嵌入物,但它们受到捕获多上下文特征的限制。此外,大多数方法直接利用嵌入相似性以确定实体对齐,而不考虑实体和关系之间的全局互动。在这项工作中,我们提出了一个明智的多上下文实体对齐(IMEA)模型来解决这些问题。特别是,我们引入变压器以灵活地捕获关系,路径和邻域背景,并根据嵌入相似度和关系/实体功能设计整体推理以估计对齐概率。从整体推理获得的对准证据通过所提出的软标签编辑进一步注入变压器,以通知嵌入学习。与现有的最先进的实体对准方法相比,若干基准数据集上的实验结果证明了IMEA模型的优越性。
translated by 谷歌翻译
实体对齐旨在发现在不同知识图(kg)之间具有相同含义的独特等效实体对。对于知识整合或融合,这是一项令人信服但具有挑战性的任务。现有模型主要集中于将KGS投射到潜在的嵌入空间中,以捕获实体对齐实体之间的固有语义。但是,一致性冲突的不利影响在训练过程中被大大忽略了,从而限制了实体对准绩效。为了解决这个问题,我们提出了一种新颖的冲突感知伪标签,该标签通过最佳运输模型(CPL-OT)进行实体对齐。 CPL-OT的关键思想是迭代的伪标签对齐对,并通过冲突意识到的最佳运输建模授权,以提高实体对齐的精度。 CPL-OT由两个关键组成部分 - 实体嵌入学习,其中包括全球本地聚集和迭代冲突感知的伪标签 - 相互互相加强。为了减轻伪标签期间的一致性冲突,我们建议使用最佳运输(OT)作为有效手段,以保证两公斤之间的一对一实体对齐,而总体运输成本最少。运输成本被计算为通过图形卷积获得的实体嵌入之间的整流距离,并用全球级别的语义增强。基准数据集的广泛实验表明,在有或没有先前对齐种子的两个设置下,CPL-OT可以显着超过最先进的基准。
translated by 谷歌翻译
实体对齐(EA)通过识别不同图中的等效实体来合并知识图(kgs),这些实体可以有效地丰富KGS的知识表示。但是,在实践中,不同的公斤通常包括悬挂的实体,在另一个图中找不到对应物的悬挂实体,这限制了EA方法的性能。为了通过悬挂实体改善EA,我们提出了一种无监督的方法,称为“半约束最佳运输实体对齐”(Sotead)。我们的主要思想是将两个公斤之间的实体对准建模为从一个公斤实体到其他实体的最佳运输问题。首先,我们基于验证的单词嵌入在kgs之间设置伪实体对。然后,我们进行对比度度量学习以获得每个实体对之间的运输成本。最后,我们为每个公斤介绍一个虚拟实体,以“对齐”其他kg的悬挂实体,从而放松优化约束,并导致半约束最佳运输。在实验部分中,我们首先显示了Sotead在常用实体对齐数据集上的优越性。此外,为了分析与其他基线的悬挂实体检测能力,我们构建了一个医学跨语言知识图数据集Meded,我们的Sotead也达到了最先进的性能。
translated by 谷歌翻译
实体对齐(EA)在学术界和工业中都引起了广泛的关注,该行业旨在寻求具有不同知识图(KGS)相同含义的实体。 KGS中的实体之间存在实质性的多步关系路径,表明实体的语义关系。但是,现有方法很少考虑路径信息,因为并非所有自然路径都促进EA判断。在本文中,我们提出了一个更有效的实体对齐框架RPR-RHGT,该框架集成了关系和路径结构信息以及KGS中的异质信息。令人印象深刻的是,开发了一种初始可靠的路径推理算法来生成有利于EA任务的路径,从KGS的关系结构中,这是文献中第一个成功使用无限制路径信息的算法。此外,为了有效地捕获实体社区中的异质特征,设计的异质图变压器旨在建模KGS的关系和路径结构。在三个著名数据集上进行的广泛实验表明,RPR-RHGT的表现明显优于11种最佳方法,超过了命中率@1的最佳性能基线最高8.62%。我们还表现出比基线在训练集的不同比率和更难数据集的基线上更好的性能。
translated by 谷歌翻译
实体对齐是知识图(kg)集成中的基本且至关重要的技术。多年来,对实体一致性的研究一直存在于KG是静态的假设,该假设忽略了现实世界KG的生长本质。随着KG的成长,先前的一致性结果面临需要重新审视的,而新实体对齐等待被发现。在本文中,我们建议并深入研究现实但未开发的设置,称为持续实体对齐。为了避免在新实体和三元组来时对整个KGS进行整个模型,我们为此任务提供了一种持续的对齐方法。它基于实体邻接,重建实体的表示,使其能够使用其现有邻居快速而有归纳的新实体生成嵌入。它选择并重播部分预先对准的实体对,仅训练一部分KG,同时提取可信赖的知识对准知识增强。由于不可避免地要包含与以前的作品不同的不可匹配的实体,因此所提出的方法采用双向最近的邻居匹配来找到新的实体对齐并更新旧的对齐。此外,我们还通过模拟多语言dbpedia的增长来构建新数据集。广泛的实验表明,我们的持续比对方法比基于再培训或归纳学习的基准更有效。
translated by 谷歌翻译
网络安全漏洞信息通常由多个渠道记录,包括政府漏洞存储库,个人维护的漏洞收集平台或漏洞披露的电子邮件列表和论坛。从不同渠道整合脆弱性信息可以使全面的威胁评估和快速部署到各种安全机制。但是,当今实体一致性技术的局限性阻碍了自动收集此类信息的努力。在我们的研究中,我们注释了第一个网络安全域实体对齐数据集并揭示安全实体的独特特征。基于这些观察结果,我们提出了第一个网络安全实体对准模型CEAM,该模型CAM,该模型为基于GNN的实体比对配备了两种机制:不对称的掩盖聚集和分区的注意力。网络安全域实体比对数据集的实验结果表明,CEAM明显优于最先进的实体比对方法。
translated by 谷歌翻译
最近公布的知识图形嵌入模型的实施,培训和评估的异质性已经公平和彻底的比较困难。为了评估先前公布的结果的再现性,我们在Pykeen软件包中重新实施和评估了21个交互模型。在这里,我们概述了哪些结果可以通过其报告的超参数再现,这只能以备用的超参数再现,并且无法再现,并且可以提供洞察力,以及为什么会有这种情况。然后,我们在四个数据集上进行了大规模的基准测试,其中数千个实验和24,804 GPU的计算时间。我们展示了最佳实践,每个模型的最佳配置以及可以通过先前发布的最佳配置进行改进的洞察。我们的结果强调了模型架构,训练方法,丢失功能和逆关系显式建模的组合对于模型的性能来说至关重要,而不仅由模型架构决定。我们提供了证据表明,在仔细配置时,若干架构可以获得对最先进的结果。我们制定了所有代码,实验配置,结果和分析,导致我们在https://github.com/pykeen/pykeen和https://github.com/pykeen/benchmarking中获得的解释
translated by 谷歌翻译
知识图完成(KGC)旨在发现知识图(KGS)中实体之间的缺失关系。大多数先前的KGC工作都集中在实体和关系的学习表现上。然而,通常需要更高维度的嵌入空间才能获得更好的推理能力,这会导致更大的模型大小,并阻碍对现实世界中的问题的适用性(例如,大规模kgs或移动/边缘计算)。在这项工作中提出了一种称为GreenKGC的轻型模块化的KGC解决方案,以解决此问题。 GreenKGC由三个模块组成:1)表示学习,2)特征修剪和3)决策学习。在模块1中,我们利用现有的KG嵌入模型来学习实体和关系的高维表示。在模块2中,KG分为几个关系组,然后分为一个特征修剪过程,以找到每个关系组的最判别特征。最后,将分类器分配给每个关系组,以应对模块3中KGC任务的低维三功能原始的高维嵌入型号尺寸较小。此外,我们对两个三重分类数据集进行了实验,以证明相同的方法可以推广到更多任务。
translated by 谷歌翻译
文件级关系提取旨在识别整个文件中实体之间的关系。捕获远程依赖性的努力大量依赖于通过(图)神经网络学习的隐式强大的表示,这使得模型不太透明。为了解决这一挑战,在本文中,我们通过学习逻辑规则提出了一种新的文档级关系提取的概率模型。 Logire将逻辑规则视为潜在变量,包括两个模块:规则生成器和关系提取器。规则生成器是生成可能导致最终预测的逻辑规则,并且关系提取器基于所生成的逻辑规则输出最终预测。可以通过期望最大化(EM)算法有效地优化这两个模块。通过将逻辑规则引入神经网络,Logire可以明确地捕获远程依赖项,并享受更好的解释。经验结果表明,Logire在关系性能(1.8 F1得分)和逻辑一致性(超过3.3逻辑得分)方面显着优于几种强大的基线。我们的代码可以在https://github.com/rudongyu/logire提供。
translated by 谷歌翻译
实体对齐(EA)的目的是在不同的知识图(kgs)中找到指代现实世界中同一对象的实体。最近的研究结合了时间信息,以增强KGS的表示。暂时KGS(TKG)之间的EA的现有方法利用时间感知的注意机制将关系和时间信息纳入实体嵌入中。该方法通过使用时间信息优于先前的方法。但是,我们认为,由于大多数TKG具有统一的时间表示,因此不必学习kgs中的时间信息的嵌入。因此,我们提出了一个简单的图形神经网络(GNN)模型,并结合了时间信息匹配机制,该模型以更少的时间和更少的参数实现了更好的性能。此外,由于对齐种子很难在现实世界应用中标记,因此我们还提出了一种通过TKG的时间信息生成无监督比对种子的方法。公共数据集的广泛实验表明,我们的监督方法显着优于先前的方法,而无监督的方法具有竞争性能。
translated by 谷歌翻译
知识图表(kgs)以头部关系的形式捕获知识 - 尾部三元组,是许多AI系统中的重要组成部分。 KGS上有两个重要的推理任务:(1)单跳知识图完成,涉及预测公斤中的各个环节; (2),多跳推理,目标是预测哪个kg实体满足给定的逻辑查询。基于嵌入的方法通过首先计算每个实体和关系的嵌入来解决两个任务,然后使用它们形成预测。但是,现有可扩展的KG嵌入框架仅支持单跳知识图完成,并且不能应用于更具挑战性的多跳推理任务。在这里,我们呈现可扩展的多跳推理(SMORE),这是KGS中单跳和多跳推理的第一个总框架。使用单机略微闪烁可以在FreeBase KG(86米实体,338M边缘)中执行多跳推理,比以前考虑的KGs大1,500倍。粉刷运行时性能的关键是一种新的双向抑制采样,实现了在线培训数据生成的复杂性的平方根降低。此外,SMORE利用异步调度,基于CPU的数据采样,基于GPU的嵌入计算和频繁CPU - GPU IO。 Smore通过2.2倍提高了82倍的吞吐量(即,训练速度),以最小的GPU存储器要求(2GB用于训练86M节点FreeBase上的400微米嵌入),并达到与GPU的数量接近线性加速。此外,在更简单的单跳知识图形完成任务中,Smore实现了对单个GPU和多GPU设置的最先进框架的可比或更好的运行时间性能。
translated by 谷歌翻译
Entity alignment is to find identical entities in different knowledge graphs (KGs) that refer to the same real-world object. Embedding-based entity alignment techniques have been drawing a lot of attention recently because they can help solve the issue of symbolic heterogeneity in different KGs. However, in this paper, we show that the progress made in the past was due to biased and unchallenging evaluation. We highlight two major flaws in existing datasets that favor embedding-based entity alignment techniques, i.e., the isomorphic graph structures in relation triples and the weak heterogeneity in attribute triples. Towards a critical evaluation of embedding-based entity alignment methods, we construct a new dataset with heterogeneous relations and attributes based on event-centric KGs. We conduct extensive experiments to evaluate existing popular methods, and find that they fail to achieve promising performance. As a new approach to this difficult problem, we propose a time-aware literal encoder for entity alignment. The dataset and source code are publicly available to foster future research. Our work calls for more effective and practical embedding-based solutions to entity alignment.
translated by 谷歌翻译
变异推理(VI)的核心原理是将计算复杂后概率密度计算的统计推断问题转换为可拖动的优化问题。该属性使VI比几种基于采样的技术更快。但是,传统的VI算法无法扩展到大型数据集,并且无法轻易推断出越野数据点,而无需重新运行优化过程。该领域的最新发展,例如随机,黑框和摊销VI,已帮助解决了这些问题。如今,生成的建模任务广泛利用摊销VI来实现其效率和可扩展性,因为它利用参数化函数来学习近似的后验密度参数。在本文中,我们回顾了各种VI技术的数学基础,以构成理解摊销VI的基础。此外,我们还概述了最近解决摊销VI问题的趋势,例如摊销差距,泛化问题,不一致的表示学习和后验崩溃。最后,我们分析了改善VI优化的替代差异度量。
translated by 谷歌翻译