知识图嵌入是一种代表学习技术,可在知识图中投射实体和关系到连续的向量空间。嵌入已经获得了很多吸收,并且已在链接预测和其他下游预测任务中大量使用。对单个任务或一组任务进行评估,以确定其整体绩效。然后,根据嵌入方法在手头的任务上执行的效果来评估评估。尽管如此,几乎没有评估(通常还没有深入了解)嵌入方法实际上要代表哪些信息。为了填补这一空白,我们介绍了DLCC(描述逻辑类构造函数)基准,这是一种用于分析它们可以代表哪些类的嵌入方法的资源。提出了两个黄金标准,一个基于现实世界知识图DBPEDIA和一个合成金标准。此外,还提供了实现实验协议的评估框架,以便研究人员可以直接使用黄金标准。为了证明DLCC的使用,我们比较了使用黄金标准的多种嵌入方法。我们发现,通过识别与黄金标准中定义的不同相关模式,许多DL构造函数实际上是通过识别不同的相关模式来学习的,并且对于大多数嵌入方法,很难学习特定的DL构造函数,例如基数构造函数。
translated by 谷歌翻译
我们根据生态毒理学风险评估中使用的主要数据来源创建了知识图表。我们已经将这种知识图表应用于风险评估中的重要任务,即化学效果预测。我们已经评估了在该预测任务的各种几何,分解和卷积模型中嵌入模型的九个知识图形嵌入模型。我们表明,使用知识图形嵌入可以提高与神经网络的效果预测的准确性。此外,我们已经实现了一种微调架构,它将知识图形嵌入到效果预测任务中,并导致更好的性能。最后,我们评估知识图形嵌入模型的某些特征,以阐明各个模型性能。
translated by 谷歌翻译
最近公布的知识图形嵌入模型的实施,培训和评估的异质性已经公平和彻底的比较困难。为了评估先前公布的结果的再现性,我们在Pykeen软件包中重新实施和评估了21个交互模型。在这里,我们概述了哪些结果可以通过其报告的超参数再现,这只能以备用的超参数再现,并且无法再现,并且可以提供洞察力,以及为什么会有这种情况。然后,我们在四个数据集上进行了大规模的基准测试,其中数千个实验和24,804 GPU的计算时间。我们展示了最佳实践,每个模型的最佳配置以及可以通过先前发布的最佳配置进行改进的洞察。我们的结果强调了模型架构,训练方法,丢失功能和逆关系显式建模的组合对于模型的性能来说至关重要,而不仅由模型架构决定。我们提供了证据表明,在仔细配置时,若干架构可以获得对最先进的结果。我们制定了所有代码,实验配置,结果和分析,导致我们在https://github.com/pykeen/pykeen和https://github.com/pykeen/benchmarking中获得的解释
translated by 谷歌翻译
越来越多的语义资源提供了人类知识的宝贵储存;但是,错误条目的概率随着尺寸的增加而增加。因此,识别给定知识库的潜在虚假部分的方法正在成为越来越重要的感兴趣领域。在这项工作中,我们展示了对仅结构的链接分析方法的系统评估是否可以提供可扩展手段,以检测可能的异常,以及潜在的有趣的新颖关系候选者。在八种不同的语义资源中评估十三方法,包括基因本体,食品本体,海洋本体论和类似,我们证明了仅限结构的链接分析可以为数据集的子集提供可扩展的异常检测。此外,我们证明,通过考虑符号节点嵌入,可以获得预测(链接)的说明,使得该方法的该分支可能比黑盒更有价值。据我们所知,这是目前,来自不同域的语义资源的不同类型链路分析方法的适用性最广泛的系统研究之一。
translated by 谷歌翻译
学术知识图(KGS)提供了代表科学出版物编码的知识的丰富的结构化信息来源。随着出版的科学文学的庞大,包括描述科学概念的过多的非均匀实体和关系,这些公斤本质上是不完整的。我们呈现Exbert,一种利用预先训练的变压器语言模型来执行学术知识图形完成的方法。我们将知识图形的三元组模型为文本并执行三重分类(即,属于KG或不属于KG)。评估表明,在三重分类,链路预测和关系预测的任务中,Exbert在三个学术kg完成数据集中表现出其他基线。此外,我们将两个学术数据集作为研究界的资源,从公共公共公报和在线资源中收集。
translated by 谷歌翻译
Relational machine learning studies methods for the statistical analysis of relational, or graph-structured, data. In this paper, we provide a review of how such statistical models can be "trained" on large knowledge graphs, and then used to predict new facts about the world (which is equivalent to predicting new edges in the graph). In particular, we discuss two fundamentally different kinds of statistical relational models, both of which can scale to massive datasets. The first is based on latent feature models such as tensor factorization and multiway neural networks. The second is based on mining observable patterns in the graph. We also show how to combine these latent and observable models to get improved modeling power at decreased computational cost. Finally, we discuss how such statistical models of graphs can be combined with text-based information extraction methods for automatically constructing knowledge graphs from the Web. To this end, we also discuss Google's Knowledge Vault project as an example of such combination.
translated by 谷歌翻译
多跳跃逻辑推理是在知识图(KGS)上学习领域的一个已建立问题。它涵盖了单跳连接预测以及其他更复杂的逻辑查询类型。现有的算法仅在经典的三重基图上运行,而现代KG经常采用超相关的建模范式。在此范式中,键入的边缘可能具有几对键值对,称为限定符,可为事实提供细粒度的环境。在查询中,此上下文修改了关系的含义,通常会减少答案集。经常在现实世界中的应用程序中观察到超相关的查询,并且现有的近似查询答案方法无法使用预选赛对。在这项工作中,我们弥合了这一差距,并将多跳的推理问题扩展到了超级关系的KG,允许解决这一新类型的复杂查询。在图形神经网络和查询嵌入技术的最新进展之下,我们研究了如何嵌入和回答超相关的连词查询。除此之外,我们还提出了一种回答此类查询并在我们的实验中证明的方法,即预选赛可以改善对各种查询模式的查询回答。
translated by 谷歌翻译
知识图中的节点是一个重要任务,例如,预测缺失类型的实体,预测哪些分子导致癌症,或预测哪种药物是有前途的治疗候选者。虽然黑匣子型号经常实现高预测性能,但它们只是hoc后和本地可解释的,并且不允许学习模型轻松丰富域知识。为此,已经提出了学习描述了来自正和否定示例的逻辑概念。然而,学习这种概念通常需要很长时间,最先进的方法为文字数据值提供有限的支持,尽管它们对于许多应用是至关重要的。在本文中,我们提出了Evolearner - 学习ALCQ(D)的进化方法,它是与合格基数限制(Q)和数据属性配对的补充(ALC)的定语语言和数据属性(D)。我们为初始群体贡献了一种新颖的初始化方法:从正示例开始(知识图中的节点),我们执行偏见随机散步并将它们转换为描述逻辑概念。此外,我们通过在决定分割数据的位置时,通过最大化信息增益来提高数据属性的支持。我们表明,我们的方法在结构化机器学习的基准框架SML - 台阶上显着优于现有技术。我们的消融研究证实,这是由于我们的新颖初始化方法和对数据属性的支持。
translated by 谷歌翻译
CALIGAP是通过利用维基百科的类别系统,列表页面和其他列表结构来源于维基百科生成的大型跨域知识图,其中包含超过1500万个类型的实体和大约1000万关系断言。除了DBPedia和Yago等知识图之外,其在本体的本体形式相对简单,CALAPH也具有丰富的本体论,包括200,000多级限制。这两个物业 - 一个大的A-Box和丰富的本体论 - 使其成为基准推理的有趣挑战。在本文中,我们表明,对于CALIGATH特别相关的推理任务,即猫头鹰的物质化:在个人和文字之间的个人和文字之间处于断言的HASValue限制,可通过可用推理系统支持。我们提供CALIGATH的不同大小的基准子集,可用于推理系统的性能分析。
translated by 谷歌翻译
知识图完成(KGC)旨在发现知识图(KGS)中实体之间的缺失关系。大多数先前的KGC工作都集中在实体和关系的学习表现上。然而,通常需要更高维度的嵌入空间才能获得更好的推理能力,这会导致更大的模型大小,并阻碍对现实世界中的问题的适用性(例如,大规模kgs或移动/边缘计算)。在这项工作中提出了一种称为GreenKGC的轻型模块化的KGC解决方案,以解决此问题。 GreenKGC由三个模块组成:1)表示学习,2)特征修剪和3)决策学习。在模块1中,我们利用现有的KG嵌入模型来学习实体和关系的高维表示。在模块2中,KG分为几个关系组,然后分为一个特征修剪过程,以找到每个关系组的最判别特征。最后,将分类器分配给每个关系组,以应对模块3中KGC任务的低维三功能原始的高维嵌入型号尺寸较小。此外,我们对两个三重分类数据集进行了实验,以证明相同的方法可以推广到更多任务。
translated by 谷歌翻译
We present the OPEN GRAPH BENCHMARK (OGB), a diverse set of challenging and realistic benchmark datasets to facilitate scalable, robust, and reproducible graph machine learning (ML) research. OGB datasets are large-scale, encompass multiple important graph ML tasks, and cover a diverse range of domains, ranging from social and information networks to biological networks, molecular graphs, source code ASTs, and knowledge graphs. For each dataset, we provide a unified evaluation protocol using meaningful application-specific data splits and evaluation metrics. In addition to building the datasets, we also perform extensive benchmark experiments for each dataset. Our experiments suggest that OGB datasets present significant challenges of scalability to large-scale graphs and out-of-distribution generalization under realistic data splits, indicating fruitful opportunities for future research. Finally, OGB provides an automated end-to-end graph ML pipeline that simplifies and standardizes the process of graph data loading, experimental setup, and model evaluation. OGB will be regularly updated and welcomes inputs from the community. OGB datasets as well as data loaders, evaluation scripts, baseline code, and leaderboards are publicly available at https://ogb.stanford.edu.
translated by 谷歌翻译
外部知识(A.K.A.侧面信息)在零拍摄学习(ZSL)中起着关键作用,该角色旨在预测从未出现在训练数据中的看不见的类。已被广泛调查了几种外部知识,例如文本和属性,但他们独自受到不完整的语义。因此,一些最近的研究提出了由于其高度富有效力和代表知识的兼容性而使用知识图表(千克)。但是,ZSL社区仍然缺乏用于学习和比较不同外部知识设置和基于不同的KG的ZSL方法的标准基准。在本文中,我们提出了六个资源,涵盖了三个任务,即零拍摄图像分类(ZS-IMGC),零拍摄关系提取(ZS-RE)和零拍KG完成(ZS-KGC)。每个资源都有一个正常的zsl基准标记和包含从文本到属性的kg的kg,从关系知识到逻辑表达式。我们已清楚地介绍了这些资源,包括其建设,统计数据格式和使用情况W.r.t.不同的ZSL方法。更重要的是,我们进行了一项全面的基准研究,具有两个通用和最先进的方法,两种特定方法和一种可解释方法。我们讨论并比较了不同的ZSL范式W.R.T.不同的外部知识设置,并发现我们的资源具有开发更高级ZSL方法的巨大潜力,并为应用KGS进行增强机学习的更多解决方案。所有资源都可以在https://github.com/china-uk-zsl/resources_for_kzsl上获得。
translated by 谷歌翻译
大多数知识图嵌入技术将实体和谓词视为单独的嵌入矩阵,使用聚合函数来构建输入三重的表示。但是,这些聚集是有损的,即它们没有捕获原始三元组的语义,例如谓词中包含的信息。为了消除这些缺点,当前方法从头开始学习三重嵌入,而无需利用预训练模型的实体和谓词嵌入。在本文中,我们通过从预训练的知识图嵌入中创建弱监督信号来设计一种新型的微调方法来学习三重嵌入。我们开发了一种从知识图中自动采样三联的方法,并从预训练的嵌入模型中估算了它们的成对相似性。然后将这些成对的相似性得分馈送到类似暹罗的神经结构中,以微调三重表示。我们在两个广泛研究的知识图上评估了所提出的方法,并在三重分类和三重聚类任务上显示出对其他最先进的三重嵌入方法的一致改进。
translated by 谷歌翻译
Knowledge graphs enable a wide variety of applications, including question answering and information retrieval. Despite the great effort invested in their creation and maintenance, even the largest (e.g., Yago, DBPedia or Wikidata) remain incomplete. We introduce Relational Graph Convolutional Networks (R-GCNs) and apply them to two standard knowledge base completion tasks: Link prediction (recovery of missing facts, i.e. subject-predicate-object triples) and entity classification (recovery of missing entity attributes). R-GCNs are related to a recent class of neural networks operating on graphs, and are developed specifically to deal with the highly multi-relational data characteristic of realistic knowledge bases. We demonstrate the effectiveness of R-GCNs as a stand-alone model for entity classification. We further show that factorization models for link prediction such as DistMult can be significantly improved by enriching them with an encoder model to accumulate evidence over multiple inference steps in the relational graph, demonstrating a large improvement of 29.8% on FB15k-237 over a decoder-only baseline. * Equal contribution.
translated by 谷歌翻译
我们研究了对知识图中链路预测任务的知识图形嵌入(KGE)模型产生数据中毒攻击的问题。为了毒害KGE模型,我们建议利用他们通过知识图中的对称性,反演和构图等关系模式捕获的归纳能力。具体而言,为了降低模型对目标事实的预测信心,建议改善模型对一系列诱饵事实的预测信心。因此,我们通过不同的推理模式来制作对逆势的添加能够改善模型对诱饵事实上的预测信心。我们的实验表明,拟议的中毒攻击在四个KGE模型上倾斜的最先进的基座,用于两个公共数据集。我们还发现基于对称模式的攻击遍历了所有模型 - 数据集合,指示KGE模型对此模式的灵敏度。
translated by 谷歌翻译
In knowledge graph completion (KGC), predicting triples involving emerging entities and/or relations, which are unseen when the KG embeddings are learned, has become a critical challenge. Subgraph reasoning with message passing is a promising and popular solution. Some recent methods have achieved good performance, but they (i) usually can only predict triples involving unseen entities alone, failing to address more realistic fully inductive situations with both unseen entities and unseen relations, and (ii) often conduct message passing over the entities with the relation patterns not fully utilized. In this study, we propose a new method named RMPI which uses a novel Relational Message Passing network for fully Inductive KGC. It passes messages directly between relations to make full use of the relation patterns for subgraph reasoning with new techniques on graph transformation, graph pruning, relation-aware neighborhood attention, addressing empty subgraphs, etc., and can utilize the relation semantics defined in the ontological schema of KG. Extensive evaluation on multiple benchmarks has shown the effectiveness of techniques involved in RMPI and its better performance compared with the existing methods that support fully inductive KGC. RMPI is also comparable to the state-of-the-art partially inductive KGC methods with very promising results achieved. Our codes and data are available at https://github.com/zjukg/RMPI.
translated by 谷歌翻译
图形嵌入是图形节点到一组向量的转换。良好的嵌入应捕获图形拓扑,节点与节点的关系以及有关图,其子图和节点的其他相关信息。如果实现了这些目标,则嵌入是网络中有意义的,可理解的,可理解的压缩表示形式,可用于其他机器学习工具,例如节点分类,社区检测或链接预测。主要的挑战是,需要确保嵌入很好地描述图形的属性。结果,选择最佳嵌入是一项具有挑战性的任务,并且通常需要领域专家。在本文中,我们在现实世界网络和人为生成的网络上进行了一系列广泛的实验,并使用选定的图嵌入算法进行了一系列的实验。根据这些实验,我们制定了两个一般结论。首先,如果需要在运行实验之前选择一种嵌入算法,则Node2Vec是最佳选择,因为它在我们的测试中表现最好。话虽如此,在所有测试中都没有单一的赢家,此外,大多数嵌入算法都具有应该调整并随机分配的超参数。因此,如果可能的话,我们对从业者的主要建议是生成几个问题的嵌入,然后使用一个通用框架,该框架为无监督的图形嵌入比较提供了工具。该框架(最近在文献中引入并在GitHub存储库中很容易获得)将分歧分数分配给嵌入,以帮助区分好的分数和不良的分数。
translated by 谷歌翻译
知识图完成(又称〜链接预测),即〜从知识图推断缺失信息的任务是许多应用程序中广泛使用的任务,例如产品建议和问题答案。知识图嵌入和/或规则挖掘和推理的最新方法是数据驱动的,因此仅基于输入知识图所包含的信息。这导致了不令人满意的预测结果,这使得这种解决方案不适用于关键领域,例如医疗保健。为了进一步提高知识图完成的准确性,我们建议将知识图嵌入的数据驱动的能力与专家或累积制度(例如OWL2)引起的域特定于域的推理。通过这种方式,我们不仅使用可能不包含在输入知识图中的域知识增强了预测准确性,而且还允许用户插入自己的知识图嵌入和推理方法。我们的最初结果表明,我们通过最多3倍和优于混合解决方案来增强香草知识图嵌入的MRR准确性,这些溶液将知识图嵌入与规则挖掘和推理高达3.5倍MRR相结合。
translated by 谷歌翻译
We address the challenge of building domain-specific knowledge models for industrial use cases, where labelled data and taxonomic information is initially scarce. Our focus is on inductive link prediction models as a basis for practical tools that support knowledge engineers with exploring text collections and discovering and linking new (so-called open-world) entities to the knowledge graph. We argue that - though neural approaches to text mining have yielded impressive results in the past years - current benchmarks do not reflect the typical challenges encountered in the industrial wild properly. Therefore, our first contribution is an open benchmark coined IRT2 (inductive reasoning with text) that (1) covers knowledge graphs of varying sizes (including very small ones), (2) comes with incidental, low-quality text mentions, and (3) includes not only triple completion but also ranking, which is relevant for supporting experts with discovery tasks. We investigate two neural models for inductive link prediction, one based on end-to-end learning and one that learns from the knowledge graph and text data in separate steps. These models compete with a strong bag-of-words baseline. The results show a significant advance in performance for the neural approaches as soon as the available graph data decreases for linking. For ranking, the results are promising, and the neural approaches outperform the sparse retriever by a wide margin.
translated by 谷歌翻译
实体类型预测是知识图中的一个重要问题(kg)研究。在这项工作中提出了一种新的KG实体类型预测方法,名为Core(复杂的空间回归和嵌入)。所提出的核心方法利用两个复杂空间嵌入模型的表现力;即,旋转和复杂的模型。它使用旋转或复杂地将实体和类型嵌入两个不同的复杂空间中。然后,我们推导了一个复杂的回归模型来链接这两个空格。最后,介绍了一种优化嵌入和回归参数的机制。实验表明,核心优于代表性KG实体型推理数据集的基准测试方法。分析了各种实体型预测方法的强度和弱点。
translated by 谷歌翻译