归纳逻辑编程是基于数学逻辑的机器学习形式,该数学逻辑从给定的示例和背景知识中生成逻辑程序。在此项目中,我们扩展了Popper ILP系统以利用多任务学习。我们实施最新方法和几种新策略来提高搜索性能。此外,我们引入了约束保存,该技术可改善所有方法的整体性能。约束保存使系统可以在背景知识集的更新之间传输知识。因此,我们减少了系统执行的重复工作量。此外,约束保存使我们能够从当前的最新迭代加深搜索方法过渡到更有效的广度首次搜索方法。最后,我们尝试了课程学习技术,并显示了它们对该领域的潜在好处。
translated by 谷歌翻译
归纳逻辑编程(ILP)是一种机器学习的形式。ILP的目标是诱导推广培训示例的假设(一组逻辑规则)。随着ILP转30,我们提供了对该领域的新介绍。我们介绍了必要的逻辑符号和主要学习环境;描述ILP系统的构建块;比较几个维度的几个系统;描述四个系统(Aleph,Tilde,Aspal和Metagol);突出关键应用领域;最后,总结了未来研究的当前限制和方向。
translated by 谷歌翻译
归纳逻辑编程是一种机器学习,其中从示例中了解了哪些逻辑程序。该学习通常相对于作为逻辑程序提供的一些背景知识发生。本文介绍了底部预处理,一种在ILP系统上生成初始约束的方法必须考虑。底部预处理将思想应用于逆征集到现代ILP系统。逆存在是一种有影响力的早期ILP方法,促进了progol。本文还提供$ \ Bot $ -popper,这是现代ILP系统Popper的底部预处理的实施。实验显示,底部预处理可以降低ILP系统的难题的学习时间。当问题中的背景知识量大时,这种减少可能是特别重要的。
translated by 谷歌翻译
程序中的魔术值是一个恒定的符号,对于执行程序至关重要,但对其选择没有明确的解释。对于现有的程序综合方法,很难学习具有魔法价值的学习程序。为了克服这一限制,我们引入了一种归纳逻辑编程方法,以有效地学习具有魔术价值的程序。我们对包括程序合成,药物设计和游戏玩法在内的各种领域的实验表明,我们的方法可以(i)在预测精度和学习时间方面优于现有方法,(ii)从无限领域中学习魔法价值观,例如PI的值和(iii)比例为具有数百万个恒定符号的域。
translated by 谷歌翻译
通过归纳逻辑编程(ILP)学习复杂程序仍然是一个强大的挑战。现有的高阶启用的ILP系统显示出改善的准确性和学习性能,但仍然受到潜在学习机制的局限性的局限性。实验结果表明,我们通过高阶定义从失败范式的多功能学习的延伸显着提高了现有系统所需的繁重人类指导的学习表现。此外,我们提供了一个理论框架,捕获我们的扩展名处理的高阶定义类。
translated by 谷歌翻译
尽管在现代的机器学习算法的最新进展,其内在机制的不透明仍是采用的障碍。在人工智能系统灌输信心和信任,解释的人工智能已成为提高现代机器学习算法explainability的响应。归纳逻辑程序(ILP),符号人工智能的子场中,起着产生,因为它的直观的逻辑驱动框架的可解释的解释有希望的作用。 ILP有效利用绎推理产生从实例和背景知识解释的一阶分句理论。然而,在发展中通过ILP需要启发方法的几个挑战,在实践中他们的成功应用来解决。例如,现有的ILP系统通常拥有广阔的解空间,以及感应解决方案是对噪声和干扰非常敏感。本次调查总结在ILP的最新进展和统计关系学习和神经象征算法的讨论,其中提供给ILP协同意见。继最新进展的严格审查,我们划定观察的挑战,突出对发展不言自明的人工智能系统进一步ILP动机研究的潜在途径。
translated by 谷歌翻译
归纳逻辑编程(ILP)的目标是学习解释一组示例的程序。直到最近,大多数关于ILP的研究有针对性的学习药品计划。 ELASP系统改为了解回答设置程序(ASP)。学习这种表达计划大大扩大了ILP的适用性;例如,启用偏好学习,学习常识知识,包括默认和例外,以及学习非确定性理论。 ILASP的早期版本可以考虑Meta-Level ILP方法,该方法将学习任务作为逻辑程序编码,并将搜索委派给ASP求解器。最近,ILASP已经向一种新的方法转移,这是由冲突驱动的SAT和ASP求解器的启发。该方法的基本思想称为冲突驱动的ILP(CDILP),用于迭代地对假设的搜索进行交互,所述约束的产生,所述约束的产生,其解释了当前假设不包括特定示例的原因。这些覆盖约束允许ilasp不仅仅排除当前假设,而是整整类的假设,不满足覆盖约束。本文正规规范了CDILP方法,并介绍了CDILP的ILASP3和ILASP4系统,该系统被证明比以前的ILASP系统更可扩展,特别是在存在噪声的情况下。逻辑编程理论与实践的考虑(TPLP)。
translated by 谷歌翻译
我们介绍了一种感应逻辑编程方法,将经典的鸿沟和征服搜索结合使用现代约束驱动搜索。我们的任何时间方法都可以学习最佳,递归和大程序并支持谓词发明。我们对三个领域的实验(分类,归纳,普通游戏和计划综合)表明,我们的方法可以提高预测准确性和降低学习时间。
translated by 谷歌翻译
通过归纳逻辑编程(ILP)综合大型逻辑程序通常需要中间定义。但是,用强化谓词混乱假设空间通常会降低性能。相比之下,梯度下降提供了一种有效的方法来在此类高维空间中找到溶液。到目前为止,神经符号ILP方法尚未完全利用这一点。我们提出了一种基于ILP的合成方法,该方法受益于大规模谓词发明,利用了高维梯度下降的功效。我们发现包含十个辅助定义以上的符号解决方案。这超出了现有的神经符号ILP系统的成就,因此构成了该领域的里程碑。
translated by 谷歌翻译
我们提出了一种有效的可解释的神经象征模型来解决感应逻辑编程(ILP)问题。在该模型中,该模型是由在分层结构中组织的一组元规则构建的,通过学习嵌入来匹配元规则的事实和身体谓词来发明一阶规则。为了实例化它,我们专门设计了一种表现型通用元规则集,并证明了它们产生的喇叭条件的片段。在培训期间,我们注入了控制的\ PW {gumbel}噪声以避免本地最佳,并采用可解释性 - 正则化术语来进一步指导融合到可解释规则。我们在针对几种最先进的方法上证明我们对各种任务(ILP,视觉基因组,强化学习)的模型进行了验证。
translated by 谷歌翻译
域特异性启发式方法是有效解决组合问题的必不可少的技术。当前将特定于域的启发式方法与答案集编程(ASP)集成的方法在处理基于部分分配的非单调指定的启发式方法时,这是不令人满意的。例如,在挑选尚未放入垃圾箱中的物品时,这种启发式方法经常发生。因此,我们介绍了ASP中域特异性启发式方法声明性规范的新颖语法和语义。我们的方法支持启发式陈述,依赖于解决过程中所维持的部分任务,这是不可能的。我们在Alpha中提供了一种实现,该实现使Alpha成为第一个支持声明指定的域特定启发式方法的懒惰的ASP系统。使用两个实际的示例域来证明我们的提议的好处。此外,我们使用我们的方法用A*实施知情},该搜索首次在ASP中解决。 A*应用于两个进一步的搜索问题。实验证实,结合懒惰的ASP解决方案和我们的新型启发式方法对于解决工业大小的问题至关重要。
translated by 谷歌翻译
The goal of inductive logic programming (ILP) is to search for a hypothesis that generalises training examples and background knowledge (BK). To improve performance, we introduce an approach that, before searching for a hypothesis, first discovers where not to search. We use given BK to discover constraints on hypotheses, such as that a number cannot be both even and odd. We use the constraints to bootstrap a constraint-driven ILP system. Our experiments on multiple domains (including program synthesis and game playing) show that our approach can (i) substantially reduce learning times by up to 97%, and (ii) scale to domains with millions of facts.
translated by 谷歌翻译
回答集编程(ASP)已成为一种流行的和相当复杂的声明问题解决方法。这是由于其具有吸引力的地址解决方案的工作流程,这是可以轻松解决问题解决的方法,即使对于计算机科学外的守护者而言。与此不同,底层技术的高度复杂性使得ASP专家越来越难以将想法付诸实践。有关解决此问题,本教程旨在使用户能够构建自己的基于ASP的系统。更确切地说,我们展示了ASP系统Clingo如何用于扩展ASP和实现定制的专用系统。为此,我们提出了两个替代方案。我们从传统的AI技术开始,并展示元编程如何用于扩展ASP。这是一种相当轻的方法,依赖于Clingo的reation特征来使用ASP本身表达新功能。与此不同,本教程的主要部分使用传统的编程(在Python中)来通过其应用程序编程接口操纵Clingo。这种方法允许改变和控制ASP的整个模型 - 地面解决工作流程。 COMENT of Clingo的新应用程序课程使我们能够通过自定义类似于Clingo中的进程来绘制Clingo的基础架构。例如,我们可能会互动到程序的抽象语法树,控制各种形式的多射击求解,并为外国推论设置理论传播者。另一种横截面结构,跨越元以及应用程序编程是Clingo的中间格式,即指定底层接地器和求解器之间的界面。我们通过示例和几个非琐碎的案例研究说明了本教程的前述概念和技术。
translated by 谷歌翻译
Monte Carlo Tree Search (MCTS) is a recently proposed search method that combines the precision of tree search with the generality of random sampling. It has received considerable interest due to its spectacular success in the difficult problem of computer Go, but has also proved beneficial in a range of other domains. This paper is a survey of the literature to date, intended to provide a snapshot of the state of the art after the first five years of MCTS research. We outline the core algorithm's derivation, impart some structure on the many variations and enhancements that have been proposed, and summarise the results from the key game and non-game domains to which MCTS methods have been applied. A number of open research questions indicate that the field is ripe for future work.
translated by 谷歌翻译
在解决组合问题时,必须从搜索空间中修剪对称解决方案候选者。大多数现有方法都是特定于实例的,并专注于每个给定的问题实例的对称破坏约束(SBC)的自动计算。但是,由于计算出的SBC是命题,因此将这种方法应用于大规模实例或高级问题编码可能是有问题的,因此既不能被有意义地解释也不转移到其他实例中。结果,必须在求解器的每次调用之前进行耗时的SBC重新计算。为了克服这些限制,我们引入了一种新的面向模型的方法,用于答案集编程,该方法将小问题实例的SBC提升到一组可解释的一阶约束中,使用一种称为归纳逻辑编程的机器学习形式。在针对简单的组合问题之后,我们旨在扩展我们的方法,也可以应用于高级决策和优化问题。
translated by 谷歌翻译
In this paper, we present a modular methodology that combines state-of-the-art methods in (stochastic) machine learning with traditional methods in rule learning to provide efficient and scalable algorithms for the classification of vast data sets, while remaining explainable. Apart from evaluating our approach on the common large scale data sets MNIST, Fashion-MNIST and IMDB, we present novel results on explainable classifications of dental bills. The latter case study stems from an industrial collaboration with Allianz Private Krankenversicherungs-Aktiengesellschaft which is an insurance company offering diverse services in Germany.
translated by 谷歌翻译
在Meta解释学习(MIL)中,使用作为感应偏差的二阶数据乐曲条款,由用户手动定义。在这项工作中,我们展示了Mil的二阶元素可以通过Mil学习。我们通过$ \ theta $ -subsumption定义元素的一般性排序,并显示用户定义的\ quph {sort metarules}是通过语言类中最常见的\ emph {matrix元素}的专业化来实现的;并且,这些矩阵元素又通过三阶\ EMPH {打孔元素}的专用来导出,该变量在该组原子上量化,并且仅需要用户定义的文字数量的上限。我们表明元素语言的基数是语言中的多项式在打孔元素中的文字数量。我们通过分辨率重新框架MIL作为元素专业化。我们修改MIL Mularule专业化运营商以返回新的元标,而不是一阶条文,并证明新操作员的正确性。我们将新的运营商实施为辛劳,是MIL系统Louise的子系统。我们的实验表明,随着通过辛劳学到的分类元素逐渐取代的用户定义的分类元素,Louise的预测精度保持在训练时间小的成本。我们得出结论,自动导出的元素可以取代用户定义的元标。
translated by 谷歌翻译
决策树学习是机器学习中广泛使用的方法,在需要简洁明了的模型的应用中受到青睐。传统上,启发式方法用于快速生产具有相当高准确性的模型。然而,一个普遍的批评是,从精度和大小方面,所产生的树可能不一定是数据的最佳表示。近年来,这激发了最佳分类树算法的发展,这些算法与执行一系列本地最佳决策的启发式方法相比,在全球范围内优化决策树。我们遵循这一工作线,并提供了一种基于动态编程和搜索的最佳分类树的新颖算法。我们的算法支持对树的深度和节点数量的约束。我们方法的成功归因于一系列专门技术,这些技术利用了分类树独有的属性。传统上,最佳分类树的算法受到了高运行时的困扰和有限的可伸缩性,但我们在一项详细的实验研究中表明,我们的方法仅使用最先进的时间所需的时间,并且可以处理数十个数据集的数据集在数千个实例中,提供了几个数量级的改进,并特别有助于实现最佳决策树的实现。
translated by 谷歌翻译
General mathematical reasoning is computationally undecidable, but humans routinely solve new problems. Moreover, discoveries developed over centuries are taught to subsequent generations quickly. What structure enables this, and how might that inform automated mathematical reasoning? We posit that central to both puzzles is the structure of procedural abstractions underlying mathematics. We explore this idea in a case study on 5 sections of beginning algebra on the Khan Academy platform. To define a computational foundation, we introduce Peano, a theorem-proving environment where the set of valid actions at any point is finite. We use Peano to formalize introductory algebra problems and axioms, obtaining well-defined search problems. We observe existing reinforcement learning methods for symbolic reasoning to be insufficient to solve harder problems. Adding the ability to induce reusable abstractions ("tactics") from its own solutions allows an agent to make steady progress, solving all problems. Furthermore, these abstractions induce an order to the problems, seen at random during training. The recovered order has significant agreement with the expert-designed Khan Academy curriculum, and second-generation agents trained on the recovered curriculum learn significantly faster. These results illustrate the synergistic role of abstractions and curricula in the cultural transmission of mathematics.
translated by 谷歌翻译
This paper introduces corpus-guided top-down synthesis as a mechanism for synthesizing library functions that capture common functionality from a corpus of programs in a domain specific language (DSL). The algorithm builds abstractions directly from initial DSL primitives, using syntactic pattern matching of intermediate abstractions to intelligently prune the search space and guide the algorithm towards abstractions that maximally capture shared structures in the corpus. We present an implementation of the approach in a tool called Stitch and evaluate it against the state-of-the-art deductive library learning algorithm from DreamCoder. Our evaluation shows that Stitch is 3-4 orders of magnitude faster and uses 2 orders of magnitude less memory while maintaining comparable or better library quality (as measured by compressivity). We also demonstrate Stitch's scalability on corpora containing hundreds of complex programs that are intractable with prior deductive approaches and show empirically that it is robust to terminating the search procedure early -- further allowing it to scale to challenging datasets by means of early stopping.
translated by 谷歌翻译