基于细化运算符的概念学习方法探索部分有序的解决方案空间来计算概念,这些空间用作个体的二进制分类模型。然而,这些方法探索的概念的数量可以很容易地增长到数百万的复杂学习问题。这通常会导致不切实际的运行时间。我们建议通过预测解决方案空间探索前的目标概念的长度来缓解这个问题。通过这些手段,我们可以在概念学习期间修剪搜索空间。为了实现这一目标,我们比较四个神经结构,并在四个基准上进行评估。我们的评估结果表明,经常性的神经网络架构在概念长度预测中表现最佳,宏F-MEARY从38%到92%。然后,我们扩展了eloe算法 - 学习ALC概念 - 我们的概念长度预测器。我们的扩展会产生算法剪辑。在我们的实验中,夹子比ALC的其他最先进的概念学习算法速度至少为7.5倍 - 包括Celoe - 并且在4个数据集中学习的3个概念的F-Peasure中实现了重大改进。为了重现性,我们在HTTPS://github.com/conceptlencthLearner/learnlencths中提供我们在公共Github存储库中的实现
translated by 谷歌翻译
课堂表达学习是可解释的监督机器学习的分支,越来越重要。在描述逻辑中的类表达式学习的大多数现有方法是搜索算法或基于硬规则的。特别地,基于细化运营商的方法遭受可扩展性问题,因为它们依赖于启发式功能来探索每个学习问题的大搜索空间。我们提出了一系列新的方法,我们配合了合成方法。此系列的实例是从提供的示例中直接计算类表达式。因此,它们不受基于搜索方法的运行时限制,也不存在于基于硬规则的方法的缺乏灵活性。我们研究了这种新型方法的三个实例,该方法使用轻量级神经网络架构从积极的例子组合中综合类表达式。他们对四个基准数据集的评估结果表明,它们可以在平均水平上有效地合成相对于输入示例的高质量类表达。此外,与最先进的方法的比较Celoe和Eltl表明我们在大型本体中实现了更好的F措施。为了重现性目的,我们提供了我们的实施以及在HTTPS://github.com/conceptLengtlearner/nces的公共Github存储库中的预先训练模型
translated by 谷歌翻译
知识图中的节点是一个重要任务,例如,预测缺失类型的实体,预测哪些分子导致癌症,或预测哪种药物是有前途的治疗候选者。虽然黑匣子型号经常实现高预测性能,但它们只是hoc后和本地可解释的,并且不允许学习模型轻松丰富域知识。为此,已经提出了学习描述了来自正和否定示例的逻辑概念。然而,学习这种概念通常需要很长时间,最先进的方法为文字数据值提供有限的支持,尽管它们对于许多应用是至关重要的。在本文中,我们提出了Evolearner - 学习ALCQ(D)的进化方法,它是与合格基数限制(Q)和数据属性配对的补充(ALC)的定语语言和数据属性(D)。我们为初始群体贡献了一种新颖的初始化方法:从正示例开始(知识图中的节点),我们执行偏见随机散步并将它们转换为描述逻辑概念。此外,我们通过在决定分割数据的位置时,通过最大化信息增益来提高数据属性的支持。我们表明,我们的方法在结构化机器学习的基准框架SML - 台阶上显着优于现有技术。我们的消融研究证实,这是由于我们的新颖初始化方法和对数据属性的支持。
translated by 谷歌翻译
最近,越来越多的努力用于学习符号知识库(KB)的持续表示。但是,这些方法要么仅嵌入数据级知识(ABOX),要么在处理概念级知识(Tbox)时受到固有的局限性,即它们不能忠实地对KBS中存在的逻辑结构进行建模。我们提出了Boxel,这是一种几何KB嵌入方法,可以更好地捕获描述逻辑EL ++中的逻辑结构(即Abox和Tbox Axioms)。 Boxel模型在Kb中作为轴平行框,适用于建模概念交叉点,作为点内部的实体以及概念/实体之间的关系作为仿射转换。我们展示了Boxel的理论保证(声音),以保存逻辑结构。也就是说,有损耗0的框嵌入模型是KB​​的(逻辑)模型。实验结果(合理)补充推理和用于蛋白质 - 蛋白质预测的现实世界应用的结果表明,Boxel的表现优于传统知识图嵌入方法以及最先进的EL ++嵌入方法。
translated by 谷歌翻译
最近公布的知识图形嵌入模型的实施,培训和评估的异质性已经公平和彻底的比较困难。为了评估先前公布的结果的再现性,我们在Pykeen软件包中重新实施和评估了21个交互模型。在这里,我们概述了哪些结果可以通过其报告的超参数再现,这只能以备用的超参数再现,并且无法再现,并且可以提供洞察力,以及为什么会有这种情况。然后,我们在四个数据集上进行了大规模的基准测试,其中数千个实验和24,804 GPU的计算时间。我们展示了最佳实践,每个模型的最佳配置以及可以通过先前发布的最佳配置进行改进的洞察。我们的结果强调了模型架构,训练方法,丢失功能和逆关系显式建模的组合对于模型的性能来说至关重要,而不仅由模型架构决定。我们提供了证据表明,在仔细配置时,若干架构可以获得对最先进的结果。我们制定了所有代码,实验配置,结果和分析,导致我们在https://github.com/pykeen/pykeen和https://github.com/pykeen/benchmarking中获得的解释
translated by 谷歌翻译
Candidate axiom scoring is the task of assessing the acceptability of a candidate axiom against the evidence provided by known facts or data. The ability to score candidate axioms reliably is required for automated schema or ontology induction, but it can also be valuable for ontology and/or knowledge graph validation. Accurate axiom scoring heuristics are often computationally expensive, which is an issue if you wish to use them in iterative search techniques like level-wise generate-and-test or evolutionary algorithms, which require scoring a large number of candidate axioms. We address the problem of developing a predictive model as a substitute for reasoning that predicts the possibility score of candidate class axioms and is quick enough to be employed in such situations. We use a semantic similarity measure taken from an ontology's subsumption structure for this purpose. We show that the approach provided in this work can accurately learn the possibility scores of candidate OWL class axioms and that it can do so for a variety of OWL class axioms.
translated by 谷歌翻译
人工智能代理必须从周围环境中学到学习,并了解所学习的知识,以便做出决定。虽然从数据的最先进的学习通常使用子符号分布式表示,但是使用用于知识表示的一阶逻辑语言,推理通常在更高的抽象级别中有用。结果,将符号AI和神经计算结合成神经符号系统的尝试已经增加。在本文中,我们呈现了逻辑张量网络(LTN),一种神经组织形式和计算模型,通过引入许多值的端到端可分别的一阶逻辑来支持学习和推理,称为真实逻辑作为表示语言深入学习。我们表明LTN为规范提供了统一的语言,以及多个AI任务的计算,如数据聚类,多标签分类,关系学习,查询应答,半监督学习,回归和嵌入学习。我们使用TensorFlow2的许多简单的解释例实施和说明上述每个任务。关键词:神经组音恐怖症,深度学习和推理,许多值逻辑。
translated by 谷歌翻译
The development of deep neural networks has improved representation learning in various domains, including textual, graph structural, and relational triple representations. This development opened the door to new relation extraction beyond the traditional text-oriented relation extraction. However, research on the effectiveness of considering multiple heterogeneous domain information simultaneously is still under exploration, and if a model can take an advantage of integrating heterogeneous information, it is expected to exhibit a significant contribution to many problems in the world. This thesis works on Drug-Drug Interactions (DDIs) from the literature as a case study and realizes relation extraction utilizing heterogeneous domain information. First, a deep neural relation extraction model is prepared and its attention mechanism is analyzed. Next, a method to combine the drug molecular structure information and drug description information to the input sentence information is proposed, and the effectiveness of utilizing drug molecular structures and drug descriptions for the relation extraction task is shown. Then, in order to further exploit the heterogeneous information, drug-related items, such as protein entries, medical terms and pathways are collected from multiple existing databases and a new data set in the form of a knowledge graph (KG) is constructed. A link prediction task on the constructed data set is conducted to obtain embedding representations of drugs that contain the heterogeneous domain information. Finally, a method that integrates the input sentence information and the heterogeneous KG information is proposed. The proposed model is trained and evaluated on a widely used data set, and as a result, it is shown that utilizing heterogeneous domain information significantly improves the performance of relation extraction from the literature.
translated by 谷歌翻译
Knowledge graphs (KG) have served as the key component of various natural language processing applications. Commonsense knowledge graphs (CKG) are a special type of KG, where entities and relations are composed of free-form text. However, previous works in KG completion and CKG completion suffer from long-tail relations and newly-added relations which do not have many know triples for training. In light of this, few-shot KG completion (FKGC), which requires the strengths of graph representation learning and few-shot learning, has been proposed to challenge the problem of limited annotated data. In this paper, we comprehensively survey previous attempts on such tasks in the form of a series of methods and applications. Specifically, we first introduce FKGC challenges, commonly used KGs, and CKGs. Then we systematically categorize and summarize existing works in terms of the type of KGs and the methods. Finally, we present applications of FKGC models on prediction tasks in different areas and share our thoughts on future research directions of FKGC.
translated by 谷歌翻译
人工智能的最终目标之一是从原始数据中学习通用和人类解剖知识。神经符号推理方法通过使用手动设计的符号知识库改善神经网络的训练来部分解决此问题。在从原始数据中学到符号知识的情况下,该知识缺乏解决复杂问题所需的表现力。在本文中,我们介绍了神经符号归纳学习者(NSIL),该方法训练神经网络从原始数据中提取潜在概念,而学习符号知识可以解决复杂问题,该知识是根据这些潜在概念定义的。我们方法的新颖性是一种基于神经和符号成分的训练性能,使符号学习者偏向于学习改进的知识的方法。我们评估了两个问题领域的NSIL,这些问题领域需要具有不同级别的复杂性学习知识,并证明NSIL学习知识,而这些知识是不可能使用其他神经符号系统学习的知识,同时就准确性和数据效率而言优于基线模型。
translated by 谷歌翻译
我们根据生态毒理学风险评估中使用的主要数据来源创建了知识图表。我们已经将这种知识图表应用于风险评估中的重要任务,即化学效果预测。我们已经评估了在该预测任务的各种几何,分解和卷积模型中嵌入模型的九个知识图形嵌入模型。我们表明,使用知识图形嵌入可以提高与神经网络的效果预测的准确性。此外,我们已经实现了一种微调架构,它将知识图形嵌入到效果预测任务中,并导致更好的性能。最后,我们评估知识图形嵌入模型的某些特征,以阐明各个模型性能。
translated by 谷歌翻译
已经开发了许多本体论,即描述逻辑(DL)知识库,以提供有关各个领域的丰富知识,并且其中许多基于ALC,即原型和表达的DL或其扩展。探索ALC本体论的主要任务是计算语义范围。符号方法可以保证声音和完整的语义需要,但对不一致和缺失信息敏感。为此,我们提出了一个模糊的ALC本体神经推理器Falcon。 Falcon使用模糊逻辑运算符为任意ALC本体论生成单个模型结构,并使用多个模型结构来计算语义索引。理论结果表明,保证猎鹰是计算ALC本体学语义索引的声音和完整算法。实验结果表明,Falcon不仅可以近似推理(不完整的本体理由)和chanseansissist的推理(因本体不一致的推理),还可以通过结合ALC本体的背景知识来改善生物医学领域的机器学习。
translated by 谷歌翻译
归纳逻辑编程(ILP)是一种机器学习的形式。ILP的目标是诱导推广培训示例的假设(一组逻辑规则)。随着ILP转30,我们提供了对该领域的新介绍。我们介绍了必要的逻辑符号和主要学习环境;描述ILP系统的构建块;比较几个维度的几个系统;描述四个系统(Aleph,Tilde,Aspal和Metagol);突出关键应用领域;最后,总结了未来研究的当前限制和方向。
translated by 谷歌翻译
在概念学习,数据库查询的反向工程,生成参考表达式以及知识图中的实体比较之类的应用中,找到以标记数据项形式分开的逻辑公式,该公式分开以标记数据项形式给出的正面和负面示例。在本文中,我们研究了存在本体论的数据的分离公式的存在。对于本体语言和分离语言,我们都专注于一阶逻辑及其以下重要片段:描述逻辑$ \ Mathcal {alci} $,受保护的片段,两变量的片段和受保护的否定片段。为了分离,我们还考虑(工会)连接性查询。我们考虑了几种可分离性,这些可分离性在负面示例的治疗中有所不同,以及他们是否承认使用其他辅助符号来实现分离。我们的主要结果是(所有变体)可分离性,不同语言的分离能力的比较以及确定可分离性的计算复杂性的研究。
translated by 谷歌翻译
自动化本体策划是知识工程中的至关重要的任务。通过机器学习技术(例如语义嵌入)的预测是一个有希望的方向,但相关研究仍然是初步的。在本文中,我们提出了一个名为Bertsubs的类集合预测方法,该方法使用预训练的语言模型BERT来计算类标签和自定义输入模板的上下文嵌入,以结合周围类的上下文。对两个大型现实世界的评估表明,其性能比最先进的表现更好。
translated by 谷歌翻译
当前的最佳性能模型用于知识图推理(KGR)将几何学对象或概率分布引入嵌入实体,并将一阶逻辑(fol)查询引入低维矢量空间。它们可以总结为中心尺寸框架(点/框/锥,β/高斯分布等)。但是,它们具有有限的逻辑推理能力。而且很难概括到各种功能,因为中心和大小是一对一的约束,无法具有多个中心或尺寸。为了应对这些挑战,我们相反提出了一个名为“特征逻辑嵌入框架Flex”的新颖的KGR框架,这是第一个KGR框架,它不仅可以真正处理所有运营,包括连词,析取,否定,否定等等,而且还支持各种操作特征空间。具体而言,特征逻辑框架的逻辑部分是基于向量逻辑的,它自然地对所有FOL操作进行了建模。实验表明,FLEX在基准数据集上明显优于现有的最新方法。
translated by 谷歌翻译
已经开发了许多本体论,即描述逻辑(DL)知识库,以提供有关各个领域的丰富知识。本体论由一个ABOX,即两个实体之间或一个概念与实体之间的断言公理组成,以及Tbox,即两个概念之间的术语公理。神经逻辑推理(NLR)是探索此类知识库的基本任务,该任务旨在根据查询和答案的分布式表示,以逻辑操作来回答多跳的查询。尽管以前的NLR方法可以给出特定的实体级答案,即ABOX答案,但它们无法提供描述性概念级答案,即Tbox答案,其中每个概念都是对一组实体的描述。换句话说,以前的NLR方法在忽略Tbox时唯一的原因是本体论的Abox。特别是,提供Tbox答案可以通过描述性概念来推断每个查询的解释,这使用户可以理解答案,并且在应用本体论领域具有极大的有用性。在这项工作中,我们提出了整个Tbox和Abox(TA-NLR)的神经逻辑推理的问题,该问题解决了需要解决在概念上纳入,代表和操作时需要解决的挑战。我们提出了一种原始解决方案,名为Ta-nlr的TAR。首先,我们合并了基于本体论公理的描述以提供概念的来源。然后,我们将概念和查询表示为模糊集,即其元素具有成员程度的集合,以与实体桥接概念和查询。此外,我们设计了涉及概念的概念的概念和查询以进行优化和推理的概念的设计操作员。两个现实世界数据集的广泛实验结果证明了TAR对TA-NLR的有效性。
translated by 谷歌翻译
推理是计算机的基本问题,并且在人工智能中深入研究。在本文中,我们专门针对回答知识图(KGS)的多跳逻辑查询。这是一项复杂的任务,因为在实际情况下,图形往往很大且不完整。以前的大多数作品都无法创建模型,这些模型接受了完整的一阶逻辑(fol)查询,其中包括负查询,并且只能处理有限的查询结构集。此外,大多数方法都呈现只能执行其制作的逻辑操作的逻辑运算符。我们介绍了一组模型,这些模型使用神经网络来创建单点矢量嵌入以回答查询。神经网络的多功能性允许该框架处理连词($ \ wedge $),脱节($ \ vee $)和否定($ \ neg $)运算符的框架查询。我们通过对众所周知的基准数据集进行了广泛的实验,通过实验证明了模型的性能。除了拥有更多多功能运营商外,模型还获得了10 \%的相对增加,而基于单点矢量嵌入的最佳性能状态和比原始方法的相对增加了30 \%。
translated by 谷歌翻译
越来越多的语义资源提供了人类知识的宝贵储存;但是,错误条目的概率随着尺寸的增加而增加。因此,识别给定知识库的潜在虚假部分的方法正在成为越来越重要的感兴趣领域。在这项工作中,我们展示了对仅结构的链接分析方法的系统评估是否可以提供可扩展手段,以检测可能的异常,以及潜在的有趣的新颖关系候选者。在八种不同的语义资源中评估十三方法,包括基因本体,食品本体,海洋本体论和类似,我们证明了仅限结构的链接分析可以为数据集的子集提供可扩展的异常检测。此外,我们证明,通过考虑符号节点嵌入,可以获得预测(链接)的说明,使得该方法的该分支可能比黑盒更有价值。据我们所知,这是目前,来自不同域的语义资源的不同类型链路分析方法的适用性最广泛的系统研究之一。
translated by 谷歌翻译
Link prediction for knowledge graphs is the task of predicting missing relationships between entities. Previous work on link prediction has focused on shallow, fast models which can scale to large knowledge graphs. However, these models learn less expressive features than deep, multi-layer modelswhich potentially limits performance. In this work we introduce ConvE, a multi-layer convolutional network model for link prediction, and report state-of-the-art results for several established datasets. We also show that the model is highly parameter efficient, yielding the same performance as DistMult and R-GCN with 8x and 17x fewer parameters. Analysis of our model suggests that it is particularly effective at modelling nodes with high indegree -which are common in highlyconnected, complex knowledge graphs such as Freebase and YAGO3. In addition, it has been noted that the WN18 and FB15k datasets suffer from test set leakage, due to inverse relations from the training set being present in the test sethowever, the extent of this issue has so far not been quantified. We find this problem to be severe: a simple rule-based model can achieve state-of-the-art results on both WN18 and FB15k. To ensure that models are evaluated on datasets where simply exploiting inverse relations cannot yield competitive results, we investigate and validate several commonly used datasets -deriving robust variants where necessary. We then perform experiments on these robust datasets for our own and several previously proposed models, and find that ConvE achieves state-of-the-art Mean Reciprocal Rank across most datasets.
translated by 谷歌翻译