智力是通过连接主义或典型主义者实现的吗？虽然连接主义方法取得了超人的性能，但已经越来越多的证据表明，这些特定的特定优势在系统泛化中特别脆弱。这种观察表明了连接主义和典型主义者之间的中央辩论，其中后者不断地倡导认知架构中的代数治疗。在这项工作中，我们遵循典型主义者的呼叫，并提出一种混合方法来提高推理系统的泛化。具体而言，我们展示了具有代数表示的原型，用于乌鸦的渐进矩阵（RPM）的抽象空间 - 时间推理任务，并呈现代数感知神经半符号（Alans）学习者。艾拉斯学习者受到抽象代数和代表理论的动机。它由神经视觉感知前端和代数抽象推理后端组成：前端总结了基于对象的表示的可视信息，而后端将其转换为代数结构，并在飞行中引导隐藏的操作员。稍后执行诱导的操作员以预测答案的表示，并且选择与预测最相似的选择作为解决方案。广泛的实验表明，通过纳入代数处理，艾拉斯学习者优于需要系统泛化的域中的各种纯粹连接主义模型。我们进一步表明学习的代数表示可以通过同构以产生答案来解码。

抽象推理是指分析信息，以无形层面发现规则以及以创新方式解决问题的能力。 Raven的渐进式矩阵（RPM）测试通常用于检查抽象推理的能力。要求受试者从答案集中确定正确的选择，以填充RPM右下角（例如，3 $ \ times $ 3矩阵），按照矩阵内的基本规则。最近利用卷积神经网络（CNN）的研究取得了令人鼓舞的进步，以实现RPM测试。但是，它们部分忽略了RPM求解器的必要归纳偏置，例如每个行/列内的订单灵敏度和增量规则诱导。为了解决这个问题，在本文中，我们提出了一个分层的规则感知网络（SRAN），以生成两个输入序列的规则嵌入。我们的SRAN学习了不同级别的多个粒度规则嵌入，并通过封闭的融合模块逐步整合了分层的嵌入流。借助嵌入，应用规则相似性度量标准来确保SRAN不仅可以使用Tuplet损失对SRAN进行训练，还可以有效地推断出最佳答案。我们进一步指出，用于RPM测试的流行Raven数据集中存在的严重缺陷，这阻止了对抽象推理能力的公平评估。为了修复缺陷，我们提出了一种称为属性分配树（ABT）的答案集合生成算法，形成了一个改进的数据集（简称I-Raven）。在PGM和I-Raven数据集上进行了广泛的实验，这表明我们的Sran的表现优于最先进的模型。

乌鸦的进步矩阵（RPMS）经常用于评估人类的视觉推理能力。研究人员在开发一个系统方面取得了相当大的努力，这些系统通常通过黑盒端到端卷积神经网络（CNN）用于视觉识别和逻辑推理任务。为了开发一个高度可解释的解决方案的目标，我们提出了一次性的人为可理解的推理（OS-HURS），这是一个两步框架，包括一种感知模块和推理模块，以解决现实世界的挑战可视识别和随后的逻辑推理任务。对于推理模块，我们提出了一种“2 + 1”制剂，可以通过人类更好地理解，并显着降低模型复杂性。因此，可以仅从一个RPM示例推导出精确推理规则，这对于现有解决方案方法来说是不可行的。所提出的推理模块还能够产生一系列推理规则，精确地建模人类知识来解决RPM问题。为了验证真实应用程序的提出方法，构建了RPM样单射帧预测（ROF）数据集，其中在使用现实世界视频帧而不是合成图像构造的RPM上进行视觉推理。各种RPM样数据集上的实验结果表明，与最先进的模型相比，所提出的OS-HUR达到了显着且一致的性能增益。

Neural-symbolic computing (NeSy), which pursues the integration of the symbolic and statistical paradigms of cognition, has been an active research area of Artificial Intelligence (AI) for many years. As NeSy shows promise of reconciling the advantages of reasoning and interpretability of symbolic representation and robust learning in neural networks, it may serve as a catalyst for the next generation of AI. In the present paper, we provide a systematic overview of the important and recent developments of research on NeSy AI. Firstly, we introduce study history of this area, covering early work and foundations. We further discuss background concepts and identify key driving factors behind the development of NeSy. Afterward, we categorize recent landmark approaches along several main characteristics that underline this research paradigm, including neural-symbolic integration, knowledge representation, knowledge embedding, and functionality. Then, we briefly discuss the successful application of modern NeSy approaches in several domains. Finally, we identify the open problems together with potential future research directions. This survey is expected to help new researchers enter this rapidly-developing field and accelerate progress towards data-and knowledge-driven AI.

内容的离散和连续表示（例如，语言或图像）具有有趣的属性，以便通过机器的理解或推理此内容来探索或推理。该职位论文提出了我们关于离散和持续陈述的作用及其在深度学习领域的作用的意见。目前的神经网络模型计算连续值数据。信息被压缩成密集，分布式嵌入式。通过Stark对比，人类在他们的语言中使用离散符号。此类符号代表了来自共享上下文信息的含义的世界的压缩版本。此外，人工推理涉及在认知水平处符号操纵，这促进了抽象的推理，知识和理解的构成，泛化和高效学习。通过这些见解的动机，在本文中，我们认为，结合离散和持续的陈述及其处理对于构建展示一般情报形式的系统至关重要。我们建议并讨论了几个途径，可以在包含离散元件来结合两种类型的陈述的优点来改进当前神经网络。

近年来，随着新颖的策略和应用，神经网络一直在迅速扩展。然而，尽管不可避免地会针对关键应用程序来解决这些挑战，例如神经网络技术诸如神经网络技术中仍未解决诸如神经网络技术的挑战。已经尝试通过用符号表示来表示和嵌入域知识来克服神经网络计算中的挑战。因此，出现了神经符号学习（Nesyl）概念，其中结合了符号表示的各个方面，并将常识带入神经网络（Nesyl）。在可解释性，推理和解释性至关重要的领域中，例如视频和图像字幕，提问和推理，健康信息学和基因组学，Nesyl表现出了有希望的结果。这篇综述介绍了一项有关最先进的Nesyl方法的全面调查，其原理，机器和深度学习算法的进步，诸如Opthalmology之类的应用以及最重要的是该新兴领域的未来观点。

解决视觉推理测试的计算学习方法，例如Raven的渐进式矩阵（RPM），非常取决于识别测试中使用的视觉概念（即表示）以及基于这些概念（即，推理）。然而，学习表示和推理是一项具有挑战性且不足的任务，经常以舞台的方式（首先表示，然后推理）接近。在这项工作中，我们提出了一个端到端的联合代表性学习框架，该框架利用了弱的归纳偏见形式来共同改善这两项任务。具体而言，我们引入了RPMS，GM-RPM的一般生成图形模型，并将其应用于解决推理测试。我们使用基于GM-RPM原理的基于基于的抽象推理网络（DAREN）的新型学习框架来完成此操作。我们对Daren进行了多个基准数据集的经验评估。 Daren在推理和分离任务上都表现出对最先进的模型（SOTA）模型的一致改进。这证明了分离的潜在表示与解决抽象视觉推理任务的能力之间的密切相关性。

在本文中，我们试图通过引入深度学习模型的句法归纳偏见来建立两所学校之间的联系。我们提出了两个归纳偏见的家族，一个家庭用于选区结构，另一个用于依赖性结构。选区归纳偏见鼓励深度学习模型使用不同的单位（或神经元）分别处理长期和短期信息。这种分离为深度学习模型提供了一种方法，可以从顺序输入中构建潜在的层次表示形式，即更高级别的表示由高级表示形式组成，并且可以分解为一系列低级表示。例如，在不了解地面实际结构的情况下，我们提出的模型学会通过根据其句法结构组成变量和运算符的表示来处理逻辑表达。另一方面，依赖归纳偏置鼓励模型在输入序列中找到实体之间的潜在关系。对于自然语言，潜在关系通常被建模为一个定向依赖图，其中一个单词恰好具有一个父节点和零或几个孩子的节点。将此约束应用于类似变压器的模型之后，我们发现该模型能够诱导接近人类专家注释的有向图，并且在不同任务上也优于标准变压器模型。我们认为，这些实验结果为深度学习模型的未来发展展示了一个有趣的选择。

一个令人着迷的假设是，人类和动物的智力可以通过一些原则（而不是启发式方法的百科全书清单）来解释。如果这个假设是正确的，我们可以更容易地理解自己的智能并建造智能机器。就像物理学一样，原理本身不足以预测大脑等复杂系统的行为，并且可能需要大量计算来模拟人类式的智力。这一假设将表明，研究人类和动物所剥削的归纳偏见可以帮助阐明这些原则，并为AI研究和神经科学理论提供灵感。深度学习已经利用了几种关键的归纳偏见，这项工作考虑了更大的清单，重点是关注高级和顺序有意识的处理的工作。阐明这些特定原则的目的是，它们有可能帮助我们建立从人类的能力中受益于灵活分布和系统概括的能力的AI系统，目前，这是一个领域艺术机器学习和人类智力。

尽管在现代的机器学习算法的最新进展，其内在机制的不透明仍是采用的障碍。在人工智能系统灌输信心和信任，解释的人工智能已成为提高现代机器学习算法explainability的响应。归纳逻辑程序（ILP），符号人工智能的子场中，起着产生，因为它的直观的逻辑驱动框架的可解释的解释有希望的作用。 ILP有效利用绎推理产生从实例和背景知识解释的一阶分句理论。然而，在发展中通过ILP需要启发方法的几个挑战，在实践中他们的成功应用来解决。例如，现有的ILP系统通常拥有广阔的解空间，以及感应解决方案是对噪声和干扰非常敏感。本次调查总结在ILP的最新进展和统计关系学习和神经象征算法的讨论，其中提供给ILP协同意见。继最新进展的严格审查，我们划定观察的挑战，突出对发展不言自明的人工智能系统进一步ILP动机研究的潜在途径。

虽然深增强学习已成为连续决策问题的有希望的机器学习方法，但对于自动驾驶或医疗应用等高利害域来说仍然不够成熟。在这种情况下，学习的政策需要例如可解释，因此可以在任何部署之前检查它（例如，出于安全性和验证原因）。本调查概述了各种方法，以实现加固学习（RL）的更高可解释性。为此，我们将解释性（作为模型的财产区分开来和解释性（作为HOC操作后的讲话，通过代理的干预），并在RL的背景下讨论它们，并强调前概念。特别是，我们认为可译文的RL可能会拥抱不同的刻面：可解释的投入，可解释（转型/奖励）模型和可解释的决策。根据该计划，我们总结和分析了与可解释的RL相关的最近工作，重点是过去10年来发表的论文。我们还简要讨论了一些相关的研究领域并指向一些潜在的有前途的研究方向。

Artificial Intelligence (AI) and its applications have sparked extraordinary interest in recent years. This achievement can be ascribed in part to advances in AI subfields including Machine Learning (ML), Computer Vision (CV), and Natural Language Processing (NLP). Deep learning, a sub-field of machine learning that employs artificial neural network concepts, has enabled the most rapid growth in these domains. The integration of vision and language has sparked a lot of attention as a result of this. The tasks have been created in such a way that they properly exemplify the concepts of deep learning. In this review paper, we provide a thorough and an extensive review of the state of the arts approaches, key models design principles and discuss existing datasets, methods, their problem formulation and evaluation measures for VQA and Visual reasoning tasks to understand vision and language representation learning. We also present some potential future paths in this field of research, with the hope that our study may generate new ideas and novel approaches to handle existing difficulties and develop new applications.

神经网络（NNS）和决策树（DTS）都是机器学习的流行模型，但具有相互排斥的优势和局限性。为了带来两个世界中的最好，提出了各种方法来明确或隐式地集成NN和DTS。在这项调查中，这些方法是在我们称为神经树（NTS）的学校中组织的。这项调查旨在对NTS进行全面审查，并尝试确定它们如何增强模型的解释性。我们首先提出了NTS的彻底分类学，该分类法表达了NNS和DTS的逐步整合和共同进化。之后，我们根据NTS的解释性和绩效分析，并建议解决其余挑战的可能解决方案。最后，这项调查以讨论有条件计算和向该领域的有希望的方向进行讨论结束。该调查中审查的论文列表及其相应的代码可在以下网址获得：https：//github.com/zju-vipa/awesome-neural-trees

理论思想和实证研究向我们展示了一个看似令人惊讶的结果：孩子，甚至很年轻的孩子，都以与正式研究中的科学推理非常相似的方式展示学习和思考。遇到一种新现象，儿童对数据提出假设，从观察进行因果推断，通过实验检验其理论，并纠正是否出现不一致的命题。此类过程的回合一直持续到发现基本机制为止。建立可以像人一样学习和思考的机器，我们要问的一个自然的问题是：我们今天实现的智能是否设法执行这样的科学思维过程，以及在什么水平上进行的。在这项工作中，我们设计了EST环境，以评估人造药物中的科学思维能力。在因果发现的研究流中，我们基于爆炸检测来构建我们的交互式EST环境。具体而言，在EST的每个情节中，都会呈现一个新颖的观察结果，并要求找出所有对象的衰落。在每个时间步骤中，代理都提出了新的实验来验证其假设并更新其当前信念。通过在此任务的象征和视觉版本上评估强化学习（RL）代理，我们注意到当今学习方法的明显失败在达到与人类相当的智力水平方面。科学思维中学习的这种效率低下，需要在建立人类智能方面进行未来的研究。

主张神经符号人工智能（NESY）断言，将深度学习与象征性推理相结合将导致AI更强大，而不是本身。像深度学习一样成功，人们普遍认为，即使我们最好的深度学习系统也不是很擅长抽象推理。而且，由于推理与语言密不可分，因此具有直觉的意义，即自然语言处理（NLP）将成为NESY特别适合的候选人。我们对实施NLP实施NESY的研究进行了结构化审查，目的是回答Nesy是否确实符合其承诺的问题：推理，分布概括，解释性，学习和从小数据的可转让性以及新的推理到新的域。我们研究了知识表示的影响，例如规则和语义网络，语言结构和关系结构，以及隐式或明确的推理是否有助于更高的承诺分数。我们发现，将逻辑编译到神经网络中的系统会导致满足最NESY的目标，而其他因素（例如知识表示或神经体系结构的类型）与实现目标没有明显的相关性。我们发现在推理的定义方式上，特别是与人类级别的推理有关的许多差异，这会影响有关模型架构的决策并推动结论，这些结论在整个研究中并不总是一致的。因此，我们倡导采取更加有条不紊的方法来应用人类推理的理论以及适当的基准的发展，我们希望这可以更好地理解该领域的进步。我们在GitHub上提供数据和代码以进行进一步分析。

归纳逻辑编程（ILP）是一种机器学习的形式。ILP的目标是诱导推广培训示例的假设（一组逻辑规则）。随着ILP转30，我们提供了对该领域的新介绍。我们介绍了必要的逻辑符号和主要学习环境;描述ILP系统的构建块;比较几个维度的几个系统;描述四个系统（Aleph，Tilde，Aspal和Metagol）;突出关键应用领域;最后，总结了未来研究的当前限制和方向。

我们提出了一种新颖的计算模型“ Savir-T”，用于在Raven的渐进式矩阵（RPM）中体现的视觉推理问题。我们的模型考虑了拼图中每个图像中视觉元素的显式空间语义，编码为时空视标，并了解内部图像以及图像的依赖依赖性依赖性，与视觉推理任务高度相关。通过基于变压器的SAVIR-T体系结构建模的令牌关系，提取组（行或列）通过利用组规则相干性并将其用作电感偏置来提取前两行中的基本规则表示形式，从而引起了提取组（行或列）驱动的表示形式（或列）RPM中的每个令牌。我们使用此关系表示形式来找到正确的选择图像，该图像完成了RPM的最后一行或列。在两个合成RPM基准测试中进行了广泛的实验，包括Raven，I-Raven，Raven-Fair和PGM以及基于自然图像的“ V-Prom”，这表明Savir-T为视觉设定了新的最新时间推理，超过了先前模型的性能。

人工智能（AI）的一个重要方面是以逐步的“算法”方式能够以其正确性检查和验证的逐步的“算法”方式。这在问题答案领域（QA）尤其重要。我们认为，可以有效地用QA中的算法推理的挑战用AI的“系统”方法有效地解决，该方法具有包括深神经网络的符号和子象征方法的混合使用。此外，我们认为，虽然具有端到端训练管道的神经网络模型在狭窄的应用中表现出良好的窄应用，但它们不能独立地成功执行算法推理，特别是如果任务跨越多个域。我们讨论了一些显着的例外，并指出，当QA问题扩大到包括其他需要其他智能任务时，它们仍然有限。但是，深度学习和机器学习一般，确实在推理过程中扮演重要角色作为组件。我们提出了一种基于三个理想的特性的QA，深算法问题应答（DAQA）的算法推理方法：这种AI系统应该具有的解释性，概括性和鲁棒性，并得出结论，它们最好地通过混合的组合实现和组成ai。

组合优化是运营研究和计算机科学领域的一个公认领域。直到最近，它的方法一直集中在孤立地解决问题实例，而忽略了它们通常源于实践中的相关数据分布。但是，近年来，人们对使用机器学习，尤其是图形神经网络（GNN）的兴趣激增，作为组合任务的关键构件，直接作为求解器或通过增强确切的求解器。GNN的电感偏差有效地编码了组合和关系输入，因为它们对排列和对输入稀疏性的意识的不变性。本文介绍了对这个新兴领域的最新主要进步的概念回顾，旨在优化和机器学习研究人员。

Recent progress in artificial intelligence (AI) has renewed interest in building systems that learn and think like people. Many advances have come from using deep neural networks trained end-to-end in tasks such as object recognition, video games, and board games, achieving performance that equals or even beats humans in some respects. Despite their biological inspiration and performance achievements, these systems differ from human intelligence in crucial ways. We review progress in cognitive science suggesting that truly human-like learning and thinking machines will have to reach beyond current engineering trends in both what they learn, and how they learn it. Specifically, we argue that these machines should (a) build causal models of the world that support explanation and understanding, rather than merely solving pattern recognition problems; (b) ground learning in intuitive theories of physics and psychology, to support and enrich the knowledge that is learned; and (c) harness compositionality and learning-to-learn to rapidly acquire and generalize knowledge to new tasks and situations. We suggest concrete challenges and promising routes towards these goals that can combine the strengths of recent neural network advances with more structured cognitive models.