结合神经网络的鲁棒性的目标和象征方法的表征性地重新称为神经象征性AI的兴趣。神经象征性AI的最近进步通常考虑由不相交的神经和符号组件组成的专门定制架构，因此不能表现出所需的增益，这通过将它们集成到统一框架中可以实现。我们介绍斜杠 - 一种新颖的深层概率编程语言（DPPL）。在其核心，斜杠由神经概率谓词（NPPS）和逻辑节目组成，通过答案集编程团结一致。由NPPS产生的概率估计用作逻辑程序和原始输入数据之间的绑定元素，从而允许斜杠来应答任务依赖的逻辑查询。这允许斜杠在统一的框架中优雅地集成符号和神经组件。我们评估Mnist加法的基准数据的斜杠以及DPPLS的新任务，例如缺少数据预测和与最先进的性能设置预测，从而显示了我们方法的有效性和一般性。

人工智能代理必须从周围环境中学到学习，并了解所学习的知识，以便做出决定。虽然从数据的最先进的学习通常使用子符号分布式表示，但是使用用于知识表示的一阶逻辑语言，推理通常在更高的抽象级别中有用。结果，将符号AI和神经计算结合成神经符号系统的尝试已经增加。在本文中，我们呈现了逻辑张量网络（LTN），一种神经组织形式和计算模型，通过引入许多值的端到端可分别的一阶逻辑来支持学习和推理，称为真实逻辑作为表示语言深入学习。我们表明LTN为规范提供了统一的语言，以及多个AI任务的计算，如数据聚类，多标签分类，关系学习，查询应答，半监督学习，回归和嵌入学习。我们使用TensorFlow2的许多简单的解释例实施和说明上述每个任务。关键词：神经组音恐怖症，深度学习和推理，许多值逻辑。

我们提出了神经概率软逻辑（NEUPSL），这是一种新型的神经符号（NESY）框架，将最新的象征性推理与对深神经网络的低水平感知结合在一起。为了明确建模神经和符号表示之间的边界，我们引入了基于NESY Energy模型，这是一个结合神经和符号推理的基于能量的一般模型。使用此框架，我们展示了如何无缝整合神经和符号参数学习和推理。我们进行广泛的经验评估，并表明NEUPSL优于关节推断的现有方法，并且在几乎所有设置中的差异都显着降低。

尽管在现代的机器学习算法的最新进展，其内在机制的不透明仍是采用的障碍。在人工智能系统灌输信心和信任，解释的人工智能已成为提高现代机器学习算法explainability的响应。归纳逻辑程序（ILP），符号人工智能的子场中，起着产生，因为它的直观的逻辑驱动框架的可解释的解释有希望的作用。 ILP有效利用绎推理产生从实例和背景知识解释的一阶分句理论。然而，在发展中通过ILP需要启发方法的几个挑战，在实践中他们的成功应用来解决。例如，现有的ILP系统通常拥有广阔的解空间，以及感应解决方案是对噪声和干扰非常敏感。本次调查总结在ILP的最新进展和统计关系学习和神经象征算法的讨论，其中提供给ILP协同意见。继最新进展的严格审查，我们划定观察的挑战，突出对发展不言自明的人工智能系统进一步ILP动机研究的潜在途径。

没有强烈监督的原始图像学习视觉概念是一个具有挑战性的任务。在这项工作中，我们展示了理解和修改神经概念学习者的潜在空间的原型表示的优势。为此目的，我们介绍交互式概念交换网络（ICSNS），这是一种通过弱监督和隐式原型表示学习概念接地表示的新框架。ICSNS学习通过交换配对图像的潜在表示来将概念信息与特定的原型插槽绑定。这种语义接地和离散的潜在空间有助于人类的理解和人机相互作用。我们通过对我们的小说数据集“基本概念推理”（ECR）进行实验来支持这一主张，重点关注几何对象共享的视觉概念。

归纳逻辑编程（ILP）是一种机器学习的形式。ILP的目标是诱导推广培训示例的假设（一组逻辑规则）。随着ILP转30，我们提供了对该领域的新介绍。我们介绍了必要的逻辑符号和主要学习环境;描述ILP系统的构建块;比较几个维度的几个系统;描述四个系统（Aleph，Tilde，Aspal和Metagol）;突出关键应用领域;最后，总结了未来研究的当前限制和方向。

神经符号（NESY）集成将符号推理与神经网络（NNS）结合在一起，用于需要感知和推理的任务。大多数NESY系统都依赖于逻辑知识的持续放松，并且在模型管道中没有做出离散决策。此外，这些方法假定给出了符号规则。在本文中，我们提出了深入的符号学习（DSL），这是一个学习NESY函数的NESY系统，即，（集合）感知函数的组成，将连续数据映射到离散符号，以及一组符号功能符号。 DSL同时学习感知和符号功能，同时仅接受其组成（NESY功能）训练。 DSL的关键新颖性是它可以创建内部（可解释的）符号表示形式，并将其映射到可区分的NN学习管道中的感知输入。自动选择创建的符号以生成最能解释数据的符号函数。我们提供实验分析，以证实DSL在同时学习感知和符号功能中的功效。

We study the problem of combining neural networks with symbolic reasoning. Recently introduced frameworks for Probabilistic Neurosymbolic Learning (PNL), such as DeepProbLog, perform exponential-time exact inference, limiting the scalability of PNL solutions. We introduce Approximate Neurosymbolic Inference (A-NeSI): a new framework for PNL that uses neural networks for scalable approximate inference. A-NeSI 1) performs approximate inference in polynomial time without changing the semantics of probabilistic logics; 2) is trained using data generated by the background knowledge; 3) can generate symbolic explanations of predictions; and 4) can guarantee the satisfaction of logical constraints at test time, which is vital in safety-critical applications. Our experiments show that A-NeSI is the first end-to-end method to scale the Multi-digit MNISTAdd benchmark to sums of 15 MNIST digits, up from 4 in competing systems. Finally, our experiments show that A-NeSI achieves explainability and safety without a penalty in performance.

Neural-symbolic computing (NeSy), which pursues the integration of the symbolic and statistical paradigms of cognition, has been an active research area of Artificial Intelligence (AI) for many years. As NeSy shows promise of reconciling the advantages of reasoning and interpretability of symbolic representation and robust learning in neural networks, it may serve as a catalyst for the next generation of AI. In the present paper, we provide a systematic overview of the important and recent developments of research on NeSy AI. Firstly, we introduce study history of this area, covering early work and foundations. We further discuss background concepts and identify key driving factors behind the development of NeSy. Afterward, we categorize recent landmark approaches along several main characteristics that underline this research paradigm, including neural-symbolic integration, knowledge representation, knowledge embedding, and functionality. Then, we briefly discuss the successful application of modern NeSy approaches in several domains. Finally, we identify the open problems together with potential future research directions. This survey is expected to help new researchers enter this rapidly-developing field and accelerate progress towards data-and knowledge-driven AI.

通过归纳逻辑编程（ILP）综合大型逻辑程序通常需要中间定义。但是，用强化谓词混乱假设空间通常会降低性能。相比之下，梯度下降提供了一种有效的方法来在此类高维空间中找到溶液。到目前为止，神经符号ILP方法尚未完全利用这一点。我们提出了一种基于ILP的合成方法，该方法受益于大规模谓词发明，利用了高维梯度下降的功效。我们发现包含十个辅助定义以上的符号解决方案。这超出了现有的神经符号ILP系统的成就，因此构成了该领域的里程碑。

人工智能的最终目标之一是从原始数据中学习通用和人类解剖知识。神经符号推理方法通过使用手动设计的符号知识库改善神经网络的训练来部分解决此问题。在从原始数据中学到符号知识的情况下，该知识缺乏解决复杂问题所需的表现力。在本文中，我们介绍了神经符号归纳学习者（NSIL），该方法训练神经网络从原始数据中提取潜在概念，而学习符号知识可以解决复杂问题，该知识是根据这些潜在概念定义的。我们方法的新颖性是一种基于神经和符号成分的训练性能，使符号学习者偏向于学习改进的知识的方法。我们评估了两个问题领域的NSIL，这些问题领域需要具有不同级别的复杂性学习知识，并证明NSIL学习知识，而这些知识是不可能使用其他神经符号系统学习的知识，同时就准确性和数据效率而言优于基线模型。

当前独立于域的经典计划者需要问题域和实例作为输入的符号模型，从而导致知识采集瓶颈。同时，尽管深度学习在许多领域都取得了重大成功，但知识是在与符号系统（例如计划者）不兼容的亚符号表示中编码的。我们提出了Latplan，这是一种无监督的建筑，结合了深度学习和经典计划。只有一组未标记的图像对，显示了环境中允许的过渡子集（训练输入），Latplan学习了环境的完整命题PDDL动作模型。稍后，当给出代表初始状态和目标状态（计划输入）的一对图像时，Latplan在符号潜在空间中找到了目标状态的计划，并返回可视化的计划执行。我们使用6个计划域的基于图像的版本来评估LATPLAN：8个插头，15个式嘴，Blockworld，Sokoban和两个LightsOut的变体。

内容的离散和连续表示（例如，语言或图像）具有有趣的属性，以便通过机器的理解或推理此内容来探索或推理。该职位论文提出了我们关于离散和持续陈述的作用及其在深度学习领域的作用的意见。目前的神经网络模型计算连续值数据。信息被压缩成密集，分布式嵌入式。通过Stark对比，人类在他们的语言中使用离散符号。此类符号代表了来自共享上下文信息的含义的世界的压缩版本。此外，人工推理涉及在认知水平处符号操纵，这促进了抽象的推理，知识和理解的构成，泛化和高效学习。通过这些见解的动机，在本文中，我们认为，结合离散和持续的陈述及其处理对于构建展示一般情报形式的系统至关重要。我们建议并讨论了几个途径，可以在包含离散元件来结合两种类型的陈述的优点来改进当前神经网络。

Two approaches to AI, neural networks and symbolic systems, have been proven very successful for an array of AI problems. However, neither has been able to achieve the general reasoning ability required for human-like intelligence. It has been argued that this is due to inherent weaknesses in each approach. Luckily, these weaknesses appear to be complementary, with symbolic systems being adept at the kinds of things neural networks have trouble with and vice-versa. The field of neural-symbolic AI attempts to exploit this asymmetry by combining neural networks and symbolic AI into integrated systems. Often this has been done by encoding symbolic knowledge into neural networks. Unfortunately, although many different methods for this have been proposed, there is no common definition of an encoding to compare them. We seek to rectify this problem by introducing a semantic framework for neural-symbolic AI, which is then shown to be general enough to account for a large family of neural-symbolic systems. We provide a number of examples and proofs of the application of the framework to the neural encoding of various forms of knowledge representation and neural network. These, at first sight disparate approaches, are all shown to fall within the framework's formal definition of what we call semantic encoding for neural-symbolic AI.

我们提出了一种有效的可解释的神经象征模型来解决感应逻辑编程（ILP）问题。在该模型中，该模型是由在分层结构中组织的一组元规则构建的，通过学习嵌入来匹配元规则的事实和身体谓词来发明一阶规则。为了实例化它，我们专门设计了一种表现型通用元规则集，并证明了它们产生的喇叭条件的片段。在培训期间，我们注入了控制的\ PW {gumbel}噪声以避免本地最佳，并采用可解释性 - 正则化术语来进一步指导融合到可解释规则。我们在针对几种最先进的方法上证明我们对各种任务（ILP，视觉基因组，强化学习）的模型进行了验证。

主张神经符号人工智能（NESY）断言，将深度学习与象征性推理相结合将导致AI更强大，而不是本身。像深度学习一样成功，人们普遍认为，即使我们最好的深度学习系统也不是很擅长抽象推理。而且，由于推理与语言密不可分，因此具有直觉的意义，即自然语言处理（NLP）将成为NESY特别适合的候选人。我们对实施NLP实施NESY的研究进行了结构化审查，目的是回答Nesy是否确实符合其承诺的问题：推理，分布概括，解释性，学习和从小数据的可转让性以及新的推理到新的域。我们研究了知识表示的影响，例如规则和语义网络，语言结构和关系结构，以及隐式或明确的推理是否有助于更高的承诺分数。我们发现，将逻辑编译到神经网络中的系统会导致满足最NESY的目标，而其他因素（例如知识表示或神经体系结构的类型）与实现目标没有明显的相关性。我们发现在推理的定义方式上，特别是与人类级别的推理有关的许多差异，这会影响有关模型架构的决策并推动结论，这些结论在整个研究中并不总是一致的。因此，我们倡导采取更加有条不紊的方法来应用人类推理的理论以及适当的基准的发展，我们希望这可以更好地理解该领域的进步。我们在GitHub上提供数据和代码以进行进一步分析。

推理，学习和决策的整合是构建更多普通AI系统的关键。作为朝这个方向的一步，我们提出了一种新颖的神经逻辑架构，可以解决电感逻辑编程（ILP）和深增强学习（RL）问题。我们的体系结构通过分配权重来谓词而不是规则来定义一阶逻辑程序的受限但呈现的连续空间。因此，它是完全可分的，可以用梯度下降有效地培训。此外，在与演员批评算法的深度RL设置中，我们提出了一种新颖的高效评论家建筑。与ILP和RL问题的最先进方法相比，我们的命题实现了出色的性能，同时能够提供完全可解释的解决方案和更好地缩放，特别是在测试阶段。

通过将逻辑推理与可区分的操作员近似逻辑推理来整合逻辑推理和机器学习是神经符号系统中广泛使用的技术。但是，一些可区分的操作员可能会在反向传播过程中带来明显的偏见，并降低神经符号学习的表现。在本文中，我们揭示了这种偏见，称为\ textit {含义偏见}在源自模糊逻辑运算符的损失函数中很常见。此外，我们提出了一种简单而有效的方法，将偏见的损失函数转换为\ textit {减少含义偏见逻辑损失（RILL）}以解决上述问题。实证研究表明，与偏见的逻辑损失函数相比，RILL可以取得重大改进，尤其是当知识库不完整时，并且在标记数据不足时比较的方法更强大。

近年来，随着新颖的策略和应用，神经网络一直在迅速扩展。然而，尽管不可避免地会针对关键应用程序来解决这些挑战，例如神经网络技术诸如神经网络技术中仍未解决诸如神经网络技术的挑战。已经尝试通过用符号表示来表示和嵌入域知识来克服神经网络计算中的挑战。因此，出现了神经符号学习（Nesyl）概念，其中结合了符号表示的各个方面，并将常识带入神经网络（Nesyl）。在可解释性，推理和解释性至关重要的领域中，例如视频和图像字幕，提问和推理，健康信息学和基因组学，Nesyl表现出了有希望的结果。这篇综述介绍了一项有关最先进的Nesyl方法的全面调查，其原理，机器和深度学习算法的进步，诸如Opthalmology之类的应用以及最重要的是该新兴领域的未来观点。

我们介绍了概率世界，这是一个新的全象征性的贝叶斯型号的语义解析和推理模型，作为对更具领域和任务通用NLU和AI的研究计划的第一步。人类创造了他们观察的内部心理模型，这极大地帮助理解和理解大量问题。在PWM中，句子的含义，获得世界的事实，以及推理的中间步骤都以人类可读的形式表达，具有可解释性的设计目标。 PWM是贝叶斯，专为能够概括新域和新任务而设计。我们派生并实现了一种推导算法，通过解析和释放捕获这些句子的语义的潜在世界模型来读取句子，并在两个域名问题答案数据集中评估它：（1）校对器和（2 ）我们呼叫虚构的新数据集，旨在更具实际语言的代表，但仍然足够简单，以重新评估推理能力，同时对启发式鲁棒。我们的方法均优于两者的基线，从而将其值证明其作为概念验证。