AI最近的突破表明了深度学习和深度增强学习的显着力量。然而，这些发展已与特定任务联系在一起，并且分销外概括的进展受到限制。虽然假设可以通过结合合适的感应偏差来克服这些限制，但感应偏差本身的概念往往含糊不清，并且不提供有意义的指导。在论文中，我阐述了不同的学习方法，其中表示没有从神经结构中的偏差产生偏差，而是通过具有已知语义的给定的目标语言来学习。基本思想隐含在主流AI中，其中表示代表以从一阶逻辑的片段到概率结构因果模型的语言编码。挑战是从数据中学习传统上用手制作的表示。泛化是语言语义的结果。本文的目标是使这些想法明确，将它们放在更广泛的背景下，其中目标语言的设计至关重要，并在学习行动和计划的背景下说明它们。为此，在一般讨论之后，我考虑学习行动，一般政策和亚国的陈述（“内在奖励”）。在这些情况下，学习被制定为组合问题，但没有任何东西可以防止使用深度学习技术。实际上，通过具有已知语言的语言的学习表示提供了一个待学习的内容，而使用神经网络的学习表示提供了可以学习陈述的补充说明。挑战和机会是将两者带到一起。

考虑由一个简单，离散的动力学系统产生的有限状态图，其中代理在矩形网格拾取和删除软件包中移动。问题的状态变量（即，代理位置和软件包位置）是否可以单独从状态图的结构中恢复，而无需访问有关对象，状态结构或任何背景知识的信息？我们表明，这是可能的，只要动力学是通过与域无关的一阶因果语言学习的，这为对象和关系提供了空间，而这些因果关系却被认为是所知的。与数据兼容的语言中最紧凑的表示的偏爱提供了强大而有意义的学习偏见，从而使其成为可能。结构化因果模型（SCM）的语言是代表（静态）因果模型的标准语言，但在由对象填充的动态世界中，需要诸如“经典AI计划”中使用的一阶因果语言。尽管“经典AI”需要手工制作的表示，但可以通过相同语言从非结构化数据中学到类似的表示形式。的确，是那些语言中的语言和对紧凑型表示的偏好为世界提供了结构，揭示了对象，关系和原因。

虽然深增强学习已成为连续决策问题的有希望的机器学习方法，但对于自动驾驶或医疗应用等高利害域来说仍然不够成熟。在这种情况下，学习的政策需要例如可解释，因此可以在任何部署之前检查它（例如，出于安全性和验证原因）。本调查概述了各种方法，以实现加固学习（RL）的更高可解释性。为此，我们将解释性（作为模型的财产区分开来和解释性（作为HOC操作后的讲话，通过代理的干预），并在RL的背景下讨论它们，并强调前概念。特别是，我们认为可译文的RL可能会拥抱不同的刻面：可解释的投入，可解释（转型/奖励）模型和可解释的决策。根据该计划，我们总结和分析了与可解释的RL相关的最近工作，重点是过去10年来发表的论文。我们还简要讨论了一些相关的研究领域并指向一些潜在的有前途的研究方向。

一个令人着迷的假设是，人类和动物的智力可以通过一些原则（而不是启发式方法的百科全书清单）来解释。如果这个假设是正确的，我们可以更容易地理解自己的智能并建造智能机器。就像物理学一样，原理本身不足以预测大脑等复杂系统的行为，并且可能需要大量计算来模拟人类式的智力。这一假设将表明，研究人类和动物所剥削的归纳偏见可以帮助阐明这些原则，并为AI研究和神经科学理论提供灵感。深度学习已经利用了几种关键的归纳偏见，这项工作考虑了更大的清单，重点是关注高级和顺序有意识的处理的工作。阐明这些特定原则的目的是，它们有可能帮助我们建立从人类的能力中受益于灵活分布和系统概括的能力的AI系统，目前，这是一个领域艺术机器学习和人类智力。

教深入的强化学习（RL）代理在多任务环境中遵循说明是一个挑战性的问题。我们认为用户通过线性时间逻辑（LTL）公式定义了每个任务。但是，用户可能未知的复杂环境中的某些因果关系依赖性未知。因此，当人类用户指定说明时，机器人无法通过简单地按照给定的说明来解决任务。在这项工作中，我们提出了一个分层增强学习（HRL）框架，其中学习了符号过渡模型，以有效地制定高级计划，以指导代理有效地解决不同的任务。具体而言，符号过渡模型是通过归纳逻辑编程（ILP）学习的，以捕获状态过渡的逻辑规则。通过计划符号过渡模型的乘积和从LTL公式得出的自动机的乘积，代理可以解决因果关系依赖性，并将因果复杂问题分解为一系列简单的低级子任务。我们在离散和连续域中的三个环境上评估了提出的框架，显示了比以前的代表性方法的优势。

Recent progress in artificial intelligence (AI) has renewed interest in building systems that learn and think like people. Many advances have come from using deep neural networks trained end-to-end in tasks such as object recognition, video games, and board games, achieving performance that equals or even beats humans in some respects. Despite their biological inspiration and performance achievements, these systems differ from human intelligence in crucial ways. We review progress in cognitive science suggesting that truly human-like learning and thinking machines will have to reach beyond current engineering trends in both what they learn, and how they learn it. Specifically, we argue that these machines should (a) build causal models of the world that support explanation and understanding, rather than merely solving pattern recognition problems; (b) ground learning in intuitive theories of physics and psychology, to support and enrich the knowledge that is learned; and (c) harness compositionality and learning-to-learn to rapidly acquire and generalize knowledge to new tasks and situations. We suggest concrete challenges and promising routes towards these goals that can combine the strengths of recent neural network advances with more structured cognitive models.

尽管在现代的机器学习算法的最新进展，其内在机制的不透明仍是采用的障碍。在人工智能系统灌输信心和信任，解释的人工智能已成为提高现代机器学习算法explainability的响应。归纳逻辑程序（ILP），符号人工智能的子场中，起着产生，因为它的直观的逻辑驱动框架的可解释的解释有希望的作用。 ILP有效利用绎推理产生从实例和背景知识解释的一阶分句理论。然而，在发展中通过ILP需要启发方法的几个挑战，在实践中他们的成功应用来解决。例如，现有的ILP系统通常拥有广阔的解空间，以及感应解决方案是对噪声和干扰非常敏感。本次调查总结在ILP的最新进展和统计关系学习和神经象征算法的讨论，其中提供给ILP协同意见。继最新进展的严格审查，我们划定观察的挑战，突出对发展不言自明的人工智能系统进一步ILP动机研究的潜在途径。

归纳逻辑编程（ILP）是一种机器学习的形式。ILP的目标是诱导推广培训示例的假设（一组逻辑规则）。随着ILP转30，我们提供了对该领域的新介绍。我们介绍了必要的逻辑符号和主要学习环境;描述ILP系统的构建块;比较几个维度的几个系统;描述四个系统（Aleph，Tilde，Aspal和Metagol）;突出关键应用领域;最后，总结了未来研究的当前限制和方向。

Neural-symbolic computing (NeSy), which pursues the integration of the symbolic and statistical paradigms of cognition, has been an active research area of Artificial Intelligence (AI) for many years. As NeSy shows promise of reconciling the advantages of reasoning and interpretability of symbolic representation and robust learning in neural networks, it may serve as a catalyst for the next generation of AI. In the present paper, we provide a systematic overview of the important and recent developments of research on NeSy AI. Firstly, we introduce study history of this area, covering early work and foundations. We further discuss background concepts and identify key driving factors behind the development of NeSy. Afterward, we categorize recent landmark approaches along several main characteristics that underline this research paradigm, including neural-symbolic integration, knowledge representation, knowledge embedding, and functionality. Then, we briefly discuss the successful application of modern NeSy approaches in several domains. Finally, we identify the open problems together with potential future research directions. This survey is expected to help new researchers enter this rapidly-developing field and accelerate progress towards data-and knowledge-driven AI.

内容的离散和连续表示（例如，语言或图像）具有有趣的属性，以便通过机器的理解或推理此内容来探索或推理。该职位论文提出了我们关于离散和持续陈述的作用及其在深度学习领域的作用的意见。目前的神经网络模型计算连续值数据。信息被压缩成密集，分布式嵌入式。通过Stark对比，人类在他们的语言中使用离散符号。此类符号代表了来自共享上下文信息的含义的世界的压缩版本。此外，人工推理涉及在认知水平处符号操纵，这促进了抽象的推理，知识和理解的构成，泛化和高效学习。通过这些见解的动机，在本文中，我们认为，结合离散和持续的陈述及其处理对于构建展示一般情报形式的系统至关重要。我们建议并讨论了几个途径，可以在包含离散元件来结合两种类型的陈述的优点来改进当前神经网络。

组合优化是运营研究和计算机科学领域的一个公认领域。直到最近，它的方法一直集中在孤立地解决问题实例，而忽略了它们通常源于实践中的相关数据分布。但是，近年来，人们对使用机器学习，尤其是图形神经网络（GNN）的兴趣激增，作为组合任务的关键构件，直接作为求解器或通过增强确切的求解器。GNN的电感偏差有效地编码了组合和关系输入，因为它们对排列和对输入稀疏性的意识的不变性。本文介绍了对这个新兴领域的最新主要进步的概念回顾，旨在优化和机器学习研究人员。

General mathematical reasoning is computationally undecidable, but humans routinely solve new problems. Moreover, discoveries developed over centuries are taught to subsequent generations quickly. What structure enables this, and how might that inform automated mathematical reasoning? We posit that central to both puzzles is the structure of procedural abstractions underlying mathematics. We explore this idea in a case study on 5 sections of beginning algebra on the Khan Academy platform. To define a computational foundation, we introduce Peano, a theorem-proving environment where the set of valid actions at any point is finite. We use Peano to formalize introductory algebra problems and axioms, obtaining well-defined search problems. We observe existing reinforcement learning methods for symbolic reasoning to be insufficient to solve harder problems. Adding the ability to induce reusable abstractions ("tactics") from its own solutions allows an agent to make steady progress, solving all problems. Furthermore, these abstractions induce an order to the problems, seen at random during training. The recovered order has significant agreement with the expert-designed Khan Academy curriculum, and second-generation agents trained on the recovered curriculum learn significantly faster. These results illustrate the synergistic role of abstractions and curricula in the cultural transmission of mathematics.

主张神经符号人工智能（NESY）断言，将深度学习与象征性推理相结合将导致AI更强大，而不是本身。像深度学习一样成功，人们普遍认为，即使我们最好的深度学习系统也不是很擅长抽象推理。而且，由于推理与语言密不可分，因此具有直觉的意义，即自然语言处理（NLP）将成为NESY特别适合的候选人。我们对实施NLP实施NESY的研究进行了结构化审查，目的是回答Nesy是否确实符合其承诺的问题：推理，分布概括，解释性，学习和从小数据的可转让性以及新的推理到新的域。我们研究了知识表示的影响，例如规则和语义网络，语言结构和关系结构，以及隐式或明确的推理是否有助于更高的承诺分数。我们发现，将逻辑编译到神经网络中的系统会导致满足最NESY的目标，而其他因素（例如知识表示或神经体系结构的类型）与实现目标没有明显的相关性。我们发现在推理的定义方式上，特别是与人类级别的推理有关的许多差异，这会影响有关模型架构的决策并推动结论，这些结论在整个研究中并不总是一致的。因此，我们倡导采取更加有条不紊的方法来应用人类推理的理论以及适当的基准的发展，我们希望这可以更好地理解该领域的进步。我们在GitHub上提供数据和代码以进行进一步分析。

当前独立于域的经典计划者需要问题域和实例作为输入的符号模型，从而导致知识采集瓶颈。同时，尽管深度学习在许多领域都取得了重大成功，但知识是在与符号系统（例如计划者）不兼容的亚符号表示中编码的。我们提出了Latplan，这是一种无监督的建筑，结合了深度学习和经典计划。只有一组未标记的图像对，显示了环境中允许的过渡子集（训练输入），Latplan学习了环境的完整命题PDDL动作模型。稍后，当给出代表初始状态和目标状态（计划输入）的一对图像时，Latplan在符号潜在空间中找到了目标状态的计划，并返回可视化的计划执行。我们使用6个计划域的基于图像的版本来评估LATPLAN：8个插头，15个式嘴，Blockworld，Sokoban和两个LightsOut的变体。

用声明知识（RDK）和顺序决策（SDM）推理是人工智能的两个关键研究领域。RDK方法的原因是具有声明领域知识，包括常识性知识，它是先验或随着时间的收购，而SDM方法（概率计划和强化学习）试图计算行动政策，以最大程度地提高时间范围内预期的累积效用；两类方法的原因是存在不确定性。尽管这两个领域拥有丰富的文献，但研究人员尚未完全探索他们的互补优势。在本文中，我们调查了利用RDK方法的算法，同时在不确定性下做出顺序决策。我们讨论重大发展，开放问题和未来工作的方向。

在机器人域中，学习和计划因连续的状态空间，连续的动作空间和较长的任务范围而变得复杂。在这项工作中，我们通过神经符号关系过渡模型（NSRTS）解决了这些挑战，这是一种具有数据效率学习的新型模型，与强大的机器人计划方法兼容，并且可以推广到对象上。NSRT具有符号和神经成分，实现了双重计划方案，其中外循环中的符号AI规划指导内部循环中的神经模型的连续计划。四个机器人计划域中的实验表明，仅在数十或数百个培训情节之后就可以学习NSRT，然后用于快速规划的新任务，这些任务需要高达60个动作，并且涉及比培训期间看到的更多物体。视频：https：//tinyurl.com/chitnis-nsrts

基于领域的模型计划者通常通过通过放松或抽象的符号世界模型来构建搜索启发式方法来得出他们的普遍性。我们说明抽象解释如何作为这些基于抽象的启发式方法的统一框架，将启发式搜索的范围扩展到更丰富的世界模型，这些模型利用更复杂的数据类型和功能（例如集合，几何形状），甚至具有不确定性和不确定性和不确定性和模型概率效应。这些启发式方法也可以与学习相结合，从而使代理可以通过抽象衍生的信息在新颖的世界模型中开始计划，这些信息随后通过经验来完善。这表明抽象的解释可以在构建通用推理系统中起关键作用。

生产公司在快速调整其生产控制到波动需求或不断变化的要求时面临问题。旨在在服务意义上封装生产功能的控制方法已经令人前途，以提高网络物理生产系统的灵活性。但是，这种方法的现有挑战是根据一套要求的提供功能来寻找生产计划，特别是当要求和提供的职能之间没有直接（即句法）匹配时。在这种情况下，它可以变得复杂，以找到可以安排到满足需求的计划中的那些功能。虽然生产规划有各种不同的方法，但灵活的生产造成了现有研究未涵盖的特定要求。在这一贡献中，我们首先捕获了灵活生产环境的这些要求。之后，给出了可以利用的当前人工智能方法来概述，以克服上述挑战。讨论符号AI规划以及基于机器学习的方法的方法，并最终与要求进行比较。根据这种比较，得到了研究议程。

顺序决策的一种流行方法是，以机器学习（ML）方法（如策略学习）进行基于模拟器的搜索。另一方面，如果有完整的声明模型，模型放松启发式方法可以有效地指导搜索。在这项工作中，我们考虑了从业人员如何在无法使用完整符号模型的设置上改善基于ML的黑盒计划。我们表明，指定一个不完整的条带模型，该模型仅描述了问题的一部分，才能使用放松启发式方法。我们对几个计划域的发现表明，这是改善基于ML的黑盒计划的有效方法，而不是收集更多数据或调整ML架构。

This paper surveys the recent attempts, both from the machine learning and operations research communities, at leveraging machine learning to solve combinatorial optimization problems. Given the hard nature of these problems, state-of-the-art algorithms rely on handcrafted heuristics for making decisions that are otherwise too expensive to compute or mathematically not well defined. Thus, machine learning looks like a natural candidate to make such decisions in a more principled and optimized way. We advocate for pushing further the integration of machine learning and combinatorial optimization and detail a methodology to do so. A main point of the paper is seeing generic optimization problems as data points and inquiring what is the relevant distribution of problems to use for learning on a given task.