一阶逻辑的传统自动定理普通普及依赖于速度优化的搜索和许多手工制的启发式，旨在在各种域中工作。文献中的机器学习方法取决于这些传统的传统普通普通的自我或达到了可比性的比较短暂。在本文中，我们提出了一般的增量学习算法，用于培训域特定竞争员的一阶逻辑，而不是基本的给定 - 子算法，但使用学习的子句评分函数。子句被用作图表，并呈现给具有光谱特征的变压器网络。为了解决稀疏性和初步缺乏培训数据以及缺乏自然课程，我们适应后敏感经验重播到定理证明，即使没有找到证据。我们展示了这种方式培训的普通培训可以在TPTP数据集中匹配和有时会在证明的数量和质量方面超越TPTP数据集。

我们在HOL4互动定理证明书的顶部实施了自动战术证据Tacticeoe。Tactice从人类证据中学习，数学技术适用于每个证明情况。然后在蒙特卡罗树搜索算法中使用这种知识来探索有前途的策略级证明路径。在一个CPU上，时间限制为60秒，Tactictoe在Hol4的标准图书馆中证明了7164定理的66.4％，而自动调度的电子箴言解决了34.5％。通过结合Tactice和电子证明者的结果，成功率上升至69.0％。

归纳逻辑编程（ILP）是一种机器学习的形式。ILP的目标是诱导推广培训示例的假设（一组逻辑规则）。随着ILP转30，我们提供了对该领域的新介绍。我们介绍了必要的逻辑符号和主要学习环境;描述ILP系统的构建块;比较几个维度的几个系统;描述四个系统（Aleph，Tilde，Aspal和Metagol）;突出关键应用领域;最后，总结了未来研究的当前限制和方向。

复杂的推理问题包含确定良好行动计划所需的计算成本各不相同的状态。利用此属性，我们提出了自适应亚go搜索（ADASUBS），这是一种适应性地调整计划范围的搜索方法。为此，ADASUBS在不同距离上产生了不同的子目标。采用验证机制来迅速滤除无法到达的子目标，从而使人专注于可行的进一步子目标。通过这种方式，ADASUBS受益于计划的效率更长的子目标，以及对较短的计划的良好控制。我们表明，ADASUB在三个复杂的推理任务上大大超过了层次规划算法：Sokoban，The Rubik的Cube和不平等现象证明了基准INT，为INT设定了新的最先进。

General mathematical reasoning is computationally undecidable, but humans routinely solve new problems. Moreover, discoveries developed over centuries are taught to subsequent generations quickly. What structure enables this, and how might that inform automated mathematical reasoning? We posit that central to both puzzles is the structure of procedural abstractions underlying mathematics. We explore this idea in a case study on 5 sections of beginning algebra on the Khan Academy platform. To define a computational foundation, we introduce Peano, a theorem-proving environment where the set of valid actions at any point is finite. We use Peano to formalize introductory algebra problems and axioms, obtaining well-defined search problems. We observe existing reinforcement learning methods for symbolic reasoning to be insufficient to solve harder problems. Adding the ability to induce reusable abstractions ("tactics") from its own solutions allows an agent to make steady progress, solving all problems. Furthermore, these abstractions induce an order to the problems, seen at random during training. The recovered order has significant agreement with the expert-designed Khan Academy curriculum, and second-generation agents trained on the recovered curriculum learn significantly faster. These results illustrate the synergistic role of abstractions and curricula in the cultural transmission of mathematics.

我们提出了一种有效的可解释的神经象征模型来解决感应逻辑编程（ILP）问题。在该模型中，该模型是由在分层结构中组织的一组元规则构建的，通过学习嵌入来匹配元规则的事实和身体谓词来发明一阶规则。为了实例化它，我们专门设计了一种表现型通用元规则集，并证明了它们产生的喇叭条件的片段。在培训期间，我们注入了控制的\ PW {gumbel}噪声以避免本地最佳，并采用可解释性 - 正则化术语来进一步指导融合到可解释规则。我们在针对几种最先进的方法上证明我们对各种任务（ILP，视觉基因组，强化学习）的模型进行了验证。

我们提出了一种新的方法来自动化定理证明和演绎计划的综合，其中alphazero式的代理人正在自我培训，以完善以非确定计划表示的高级专家策略。一个类似的教师代理人是自我训练，以产生对学习者的适当相关性和难度的任务。这允许利用最少的域知识来解决训练数据无法获得或难以合成的问题。我们说明了关于命令程序不变合成问题的方法，并使用神经网络来完善教师和求解器策略。

尽管在现代的机器学习算法的最新进展，其内在机制的不透明仍是采用的障碍。在人工智能系统灌输信心和信任，解释的人工智能已成为提高现代机器学习算法explainability的响应。归纳逻辑程序（ILP），符号人工智能的子场中，起着产生，因为它的直观的逻辑驱动框架的可解释的解释有希望的作用。 ILP有效利用绎推理产生从实例和背景知识解释的一阶分句理论。然而，在发展中通过ILP需要启发方法的几个挑战，在实践中他们的成功应用来解决。例如，现有的ILP系统通常拥有广阔的解空间，以及感应解决方案是对噪声和干扰非常敏感。本次调查总结在ILP的最新进展和统计关系学习和神经象征算法的讨论，其中提供给ILP协同意见。继最新进展的严格审查，我们划定观察的挑战，突出对发展不言自明的人工智能系统进一步ILP动机研究的潜在途径。

程序中的魔术值是一个恒定的符号，对于执行程序至关重要，但对其选择没有明确的解释。对于现有的程序综合方法，很难学习具有魔法价值的学习程序。为了克服这一限制，我们引入了一种归纳逻辑编程方法，以有效地学习具有魔术价值的程序。我们对包括程序合成，药物设计和游戏玩法在内的各种领域的实验表明，我们的方法可以（i）在预测精度和学习时间方面优于现有方法，（ii）从无限领域中学习魔法价值观，例如PI的值和（iii）比例为具有数百万个恒定符号的域。

Monte Carlo Tree Search (MCTS) is a recently proposed search method that combines the precision of tree search with the generality of random sampling. It has received considerable interest due to its spectacular success in the difficult problem of computer Go, but has also proved beneficial in a range of other domains. This paper is a survey of the literature to date, intended to provide a snapshot of the state of the art after the first five years of MCTS research. We outline the core algorithm's derivation, impart some structure on the many variations and enhancements that have been proposed, and summarise the results from the key game and non-game domains to which MCTS methods have been applied. A number of open research questions indicate that the field is ripe for future work.

归纳逻辑编程是基于数学逻辑的机器学习形式，该数学逻辑从给定的示例和背景知识中生成逻辑程序。在此项目中，我们扩展了Popper ILP系统以利用多任务学习。我们实施最新方法和几种新策略来提高搜索性能。此外，我们引入了约束保存，该技术可改善所有方法的整体性能。约束保存使系统可以在背景知识集的更新之间传输知识。因此，我们减少了系统执行的重复工作量。此外，约束保存使我们能够从当前的最新迭代加深搜索方法过渡到更有效的广度首次搜索方法。最后，我们尝试了课程学习技术，并显示了它们对该领域的潜在好处。

域特异性启发式方法是有效解决组合问题的必不可少的技术。当前将特定于域的启发式方法与答案集编程（ASP）集成的方法在处理基于部分分配的非单调指定的启发式方法时，这是不令人满意的。例如，在挑选尚未放入垃圾箱中的物品时，这种启发式方法经常发生。因此，我们介绍了ASP中域特异性启发式方法声明性规范的新颖语法和语义。我们的方法支持启发式陈述，依赖于解决过程中所维持的部分任务，这是不可能的。我们在Alpha中提供了一种实现，该实现使Alpha成为第一个支持声明指定的域特定启发式方法的懒惰的ASP系统。使用两个实际的示例域来证明我们的提议的好处。此外，我们使用我们的方法用A*实施知情}，该搜索首次在ASP中解决。 A*应用于两个进一步的搜索问题。实验证实，结合懒惰的ASP解决方案和我们的新型启发式方法对于解决工业大小的问题至关重要。

Alphazero，Leela Chess Zero和Stockfish Nnue革新了计算机国际象棋。本书对此类引擎的技术内部工作进行了完整的介绍。该书分为四个主要章节 - 不包括第1章（简介）和第6章（结论）：第2章引入神经网络，涵盖了所有用于构建深层网络的基本构建块，例如Alphazero使用的网络。内容包括感知器，后传播和梯度下降，分类，回归，多层感知器，矢量化技术，卷积网络，挤压网络，挤压和激发网络，完全连接的网络，批处理归一化和横向归一化和跨性线性单位，残留层，剩余层，过度效果和底漆。第3章介绍了用于国际象棋发动机以及Alphazero使用的经典搜索技术。内容包括minimax，alpha-beta搜索和蒙特卡洛树搜索。第4章展示了现代国际象棋发动机的设计。除了开创性的Alphago，Alphago Zero和Alphazero我们涵盖Leela Chess Zero，Fat Fritz，Fat Fritz 2以及有效更新的神经网络（NNUE）以及MAIA。第5章是关于实施微型α。 Shexapawn是国际象棋的简约版本，被用作为此的示例。 Minimax搜索可以解决六ap峰，并产生了监督学习的培训位置。然后，作为比较，实施了类似Alphazero的训练回路，其中通过自我游戏进行训练与强化学习结合在一起。最后，比较了类似α的培训和监督培训。

在Meta解释学习（MIL）中，使用作为感应偏差的二阶数据乐曲条款，由用户手动定义。在这项工作中，我们展示了Mil的二阶元素可以通过Mil学习。我们通过$ \ theta $ -subsumption定义元素的一般性排序，并显示用户定义的\ quph {sort metarules}是通过语言类中最常见的\ emph {matrix元素}的专业化来实现的;并且，这些矩阵元素又通过三阶\ EMPH {打孔元素}的专用来导出，该变量在该组原子上量化，并且仅需要用户定义的文字数量的上限。我们表明元素语言的基数是语言中的多项式在打孔元素中的文字数量。我们通过分辨率重新框架MIL作为元素专业化。我们修改MIL Mularule专业化运营商以返回新的元标，而不是一阶条文，并证明新操作员的正确性。我们将新的运营商实施为辛劳，是MIL系统Louise的子系统。我们的实验表明，随着通过辛劳学到的分类元素逐渐取代的用户定义的分类元素，Louise的预测精度保持在训练时间小的成本。我们得出结论，自动导出的元素可以取代用户定义的元标。

我们介绍了一种称为编程拼图的新型编程挑战，作为方案合成的客观和全面评估，并释放Python编程拼图的开源数据集（P3）。每个拼图由短Python程序$ F $定义，目标是找到一个使$ F $返回true的输入。谜题是目的，因为每个人都由其验证者$ F $的源代码完全指定，因此评估为测试候选解决方案所需的$ F $。它们不需要答案密钥或输入/输出示例，也不依赖于自然语言理解。该数据集是全面的，因为它跨越一系列困难和域的问题，从琐碎的字符串操纵问题，经典编程谜题（例如，河内塔），用于采访/竞争编程问题（例如，动态编程），在算法和数学中的长期开放问题（例如，因子）。我们开发基准枚举程序合成，GPT-3和能够解决难题的食盒求解器 - 即使没有访问任何参考解决方案 - 通过从他们自己的过去的解决方案中学习。 Codex表现最佳，解决高达18％的397个测试问题的测试问题，每次尝试和80％的问题占1,000个问题。在一个小的用户学习中，我们发现拼图解决性能和编码体验之间的正相关性，以及人类和AI求解器的难题难度之间。因此，P3的进一步改进可能对许多程序合成区域产生重大影响。

我们介绍了概率世界，这是一个新的全象征性的贝叶斯型号的语义解析和推理模型，作为对更具领域和任务通用NLU和AI的研究计划的第一步。人类创造了他们观察的内部心理模型，这极大地帮助理解和理解大量问题。在PWM中，句子的含义，获得世界的事实，以及推理的中间步骤都以人类可读的形式表达，具有可解释性的设计目标。 PWM是贝叶斯，专为能够概括新域和新任务而设计。我们派生并实现了一种推导算法，通过解析和释放捕获这些句子的语义的潜在世界模型来读取句子，并在两个域名问题答案数据集中评估它：（1）校对器和（2 ）我们呼叫虚构的新数据集，旨在更具实际语言的代表，但仍然足够简单，以重新评估推理能力，同时对启发式鲁棒。我们的方法均优于两者的基线，从而将其值证明其作为概念验证。

组合优化是运营研究和计算机科学领域的一个公认领域。直到最近，它的方法一直集中在孤立地解决问题实例，而忽略了它们通常源于实践中的相关数据分布。但是，近年来，人们对使用机器学习，尤其是图形神经网络（GNN）的兴趣激增，作为组合任务的关键构件，直接作为求解器或通过增强确切的求解器。GNN的电感偏差有效地编码了组合和关系输入，因为它们对排列和对输入稀疏性的意识的不变性。本文介绍了对这个新兴领域的最新主要进步的概念回顾，旨在优化和机器学习研究人员。

\ textit {约束路径发现}的经典问题是一个经过充分研究但充满挑战的主题，在各个领域，例如沟通和运输等各个领域的应用。权重限制了最短路径问题（WCSPP），作为仅具有一个侧面约束的约束路径查找的基本形式，旨在计划成本最佳路径，其权重/资源使用受到限制。鉴于问题的双标准性质（即处理路径的成本和权重），解决WCSPP的方法具有一些带有双目标搜索的共同属性。本文在约束路径查找和双目标搜索中利用了最新的基于A*的最新技术，并为WCSPP提供了两种精确的解决方案方法，两者都可以在非常大的图表上解决硬性问题实例。我们从经验上评估了算法在新的大型和现实的问题实例上的性能，并在时空指标中显示出它们比最新算法的优势。本文还调查了优先级队列在被a*的约束搜索中的重要性。我们通过对逼真的和随机图进行了广泛的实验来展示，基于桶的队列没有打破打盘的方式可以有效地改善详尽的双标准搜索的算法性能。

归纳逻辑编程是一种机器学习，其中从示例中了解了哪些逻辑程序。该学习通常相对于作为逻辑程序提供的一些背景知识发生。本文介绍了底部预处理，一种在ILP系统上生成初始约束的方法必须考虑。底部预处理将思想应用于逆征集到现代ILP系统。逆存在是一种有影响力的早期ILP方法，促进了progol。本文还提供$ \ Bot $ -popper，这是现代ILP系统Popper的底部预处理的实施。实验显示，底部预处理可以降低ILP系统的难题的学习时间。当问题中的背景知识量大时，这种减少可能是特别重要的。

CD工具是一个序言库，用于试验一阶ATP中的凝结脱离，这将围绕证明结构的最新正式视图付诸实践。从一阶ATP的角度来看，凝结的支队提供了一个相对简单但具有重要功能和严肃应用的设置，使其成为开发和评估新技术的基础的吸引力。 CD工具包括基于证明结构的列举的专业抛弃。我们在这里专注于其中一种SGCD，该SGCD允许以特别灵活的方式融合目标和Axiom驱动的证明搜索。在纯粹的目标驱动配置中，它的作用类似于Clausal Tableaux或Connection方法家族的鄙视。在混合配置中，其性能要强得多，靠近最新的抛弃，同时发出相对较短的证明。实验显示了该供者实现的结构生成方法的特征和应用可能性。对于经常在ATP中研究的历史性问题，它产生了一个比任何已知的证据要短得多。