We study the problem of combining neural networks with symbolic reasoning. Recently introduced frameworks for Probabilistic Neurosymbolic Learning (PNL), such as DeepProbLog, perform exponential-time exact inference, limiting the scalability of PNL solutions. We introduce Approximate Neurosymbolic Inference (A-NeSI): a new framework for PNL that uses neural networks for scalable approximate inference. A-NeSI 1) performs approximate inference in polynomial time without changing the semantics of probabilistic logics; 2) is trained using data generated by the background knowledge; 3) can generate symbolic explanations of predictions; and 4) can guarantee the satisfaction of logical constraints at test time, which is vital in safety-critical applications. Our experiments show that A-NeSI is the first end-to-end method to scale the Multi-digit MNISTAdd benchmark to sums of 15 MNIST digits, up from 4 in competing systems. Finally, our experiments show that A-NeSI achieves explainability and safety without a penalty in performance.

当前独立于域的经典计划者需要问题域和实例作为输入的符号模型，从而导致知识采集瓶颈。同时，尽管深度学习在许多领域都取得了重大成功，但知识是在与符号系统（例如计划者）不兼容的亚符号表示中编码的。我们提出了Latplan，这是一种无监督的建筑，结合了深度学习和经典计划。只有一组未标记的图像对，显示了环境中允许的过渡子集（训练输入），Latplan学习了环境的完整命题PDDL动作模型。稍后，当给出代表初始状态和目标状态（计划输入）的一对图像时，Latplan在符号潜在空间中找到了目标状态的计划，并返回可视化的计划执行。我们使用6个计划域的基于图像的版本来评估LATPLAN：8个插头，15个式嘴，Blockworld，Sokoban和两个LightsOut的变体。

最近的工作表明，我们可以在学习系统中使用逻辑背景知识来弥补缺乏标记的培训数据。许多这样的方法通过创建编码此知识的损失函数来起作用。但是，即使在测试时间仍然有用，逻辑通常在训练后会被丢弃。相反，我们通过额外的计算步骤来完善预测来确保神经网络预测能够满足知识。我们介绍了可区分的改进功能，该功能找到了接近原始预测的校正预测。我们研究了如何有效有效地计算这些完善功能。使用新算法，我们结合了改进函数，以找到任何复杂性的逻辑公式的完善预测。该算法在复杂的SAT配方中发现了最佳的改进，以较少的迭代率明显更少，并且经常发现梯度下降无法进行的解决方案。

神经符号（NESY）集成将符号推理与神经网络（NNS）结合在一起，用于需要感知和推理的任务。大多数NESY系统都依赖于逻辑知识的持续放松，并且在模型管道中没有做出离散决策。此外，这些方法假定给出了符号规则。在本文中，我们提出了深入的符号学习（DSL），这是一个学习NESY函数的NESY系统，即，（集合）感知函数的组成，将连续数据映射到离散符号，以及一组符号功能符号。 DSL同时学习感知和符号功能，同时仅接受其组成（NESY功能）训练。 DSL的关键新颖性是它可以创建内部（可解释的）符号表示形式，并将其映射到可区分的NN学习管道中的感知输入。自动选择创建的符号以生成最能解释数据的符号函数。我们提供实验分析，以证实DSL在同时学习感知和符号功能中的功效。

组合优化是运营研究和计算机科学领域的一个公认领域。直到最近，它的方法一直集中在孤立地解决问题实例，而忽略了它们通常源于实践中的相关数据分布。但是，近年来，人们对使用机器学习，尤其是图形神经网络（GNN）的兴趣激增，作为组合任务的关键构件，直接作为求解器或通过增强确切的求解器。GNN的电感偏差有效地编码了组合和关系输入，因为它们对排列和对输入稀疏性的意识的不变性。本文介绍了对这个新兴领域的最新主要进步的概念回顾，旨在优化和机器学习研究人员。

我们提出了神经概率软逻辑（NEUPSL），这是一种新型的神经符号（NESY）框架，将最新的象征性推理与对深神经网络的低水平感知结合在一起。为了明确建模神经和符号表示之间的边界，我们引入了基于NESY Energy模型，这是一个结合神经和符号推理的基于能量的一般模型。使用此框架，我们展示了如何无缝整合神经和符号参数学习和推理。我们进行广泛的经验评估，并表明NEUPSL优于关节推断的现有方法，并且在几乎所有设置中的差异都显着降低。

人工智能代理必须从周围环境中学到学习，并了解所学习的知识，以便做出决定。虽然从数据的最先进的学习通常使用子符号分布式表示，但是使用用于知识表示的一阶逻辑语言，推理通常在更高的抽象级别中有用。结果，将符号AI和神经计算结合成神经符号系统的尝试已经增加。在本文中，我们呈现了逻辑张量网络（LTN），一种神经组织形式和计算模型，通过引入许多值的端到端可分别的一阶逻辑来支持学习和推理，称为真实逻辑作为表示语言深入学习。我们表明LTN为规范提供了统一的语言，以及多个AI任务的计算，如数据聚类，多标签分类，关系学习，查询应答，半监督学习，回归和嵌入学习。我们使用TensorFlow2的许多简单的解释例实施和说明上述每个任务。关键词：神经组音恐怖症，深度学习和推理，许多值逻辑。

象征性的AI社区越来越多地试图在神经符号结构中接受机器学习，但由于文化障碍，仍在挣扎。为了打破障碍，这份相当有思想的个人备忘录试图解释和纠正统计，机器学习和深入学习的惯例，从局外人的角度进行深入学习。它提供了一个分步协议，用于设计一个机器学习系统，该系统满足符号AI社区认真对待所必需的最低理论保证，即，它讨论“在哪些条件下，我们可以停止担心和接受统计机器学习。 “一些亮点：大多数教科书都是为计划专门研究STAT/ML/DL的人编写的，应该接受术语。该备忘录适用于经验丰富的象征研究人员，他们听到了很多嗡嗡声，但仍然不确定和持怀疑态度。有关STAT/ML/DL的信息目前太分散或嘈杂而无法投资。此备忘录优先考虑紧凑性，并特别注意与象征性范式相互共鸣的概念。我希望这份备忘录能节省时间。它优先考虑一般数学建模，并且不讨论任何特定的函数近似器，例如神经网络（NNS），SVMS，决策树等。它可以对校正开放。将此备忘录视为与博客文章相似的内容，采用有关Arxiv的论文的形式。

现代深度学习方法构成了令人难以置信的强大工具，以解决无数的挑战问题。然而，由于深度学习方法作为黑匣子运作，因此与其预测相关的不确定性往往是挑战量化。贝叶斯统计数据提供了一种形式主义来理解和量化与深度神经网络预测相关的不确定性。本教程概述了相关文献和完整的工具集，用于设计，实施，列车，使用和评估贝叶斯神经网络，即使用贝叶斯方法培训的随机人工神经网络。

尽管在现代的机器学习算法的最新进展，其内在机制的不透明仍是采用的障碍。在人工智能系统灌输信心和信任，解释的人工智能已成为提高现代机器学习算法explainability的响应。归纳逻辑程序（ILP），符号人工智能的子场中，起着产生，因为它的直观的逻辑驱动框架的可解释的解释有希望的作用。 ILP有效利用绎推理产生从实例和背景知识解释的一阶分句理论。然而，在发展中通过ILP需要启发方法的几个挑战，在实践中他们的成功应用来解决。例如，现有的ILP系统通常拥有广阔的解空间，以及感应解决方案是对噪声和干扰非常敏感。本次调查总结在ILP的最新进展和统计关系学习和神经象征算法的讨论，其中提供给ILP协同意见。继最新进展的严格审查，我们划定观察的挑战，突出对发展不言自明的人工智能系统进一步ILP动机研究的潜在途径。

我们提出了一种在数据样本集合中共同推断标签的方法，其中每个样本都包含一个观察和对标签的先验信念。通过隐式假设存在一种生成模型，可区分预测因子是后部，我们得出了一个训练目标，该目标允许在弱信念下学习。该配方统一了各种机器学习设置；弱信念可以以嘈杂或不完整的标签形式出现，由辅助输入的不同预测机制给出的可能性，或反映出有关手头问题结构的知识的常识性先验。我们证明了有关各种问题的建议算法：通过负面培训示例进行分类，从排名中学习，弱和自我监督的空中成像细分，视频框架的共段以及粗糙的监督文本分类。

项目反应理论（IRT）是一个无处不在的模型，可以根据他们对问题的回答理解人类行为和态度。大型现代数据集为捕捉人类行为的更多细微差别提供了机会，从而有可能改善心理测量模型，从而改善科学理解和公共政策。但是，尽管较大的数据集允许采用更灵活的方法，但许多用于拟合IRT模型的当代算法也可能具有禁止现实世界应用的巨大计算需求。为了解决这种瓶颈，我们引入了IRT的变异贝叶斯推理算法，并表明它在不牺牲准确性的情况下快速可扩展。将此方法应用于认知科学和教育的五个大规模项目响应数据集中，比替代推理算法更高的对数可能性和更高的准确性。然后，使用这种新的推论方法，我们将IRT概括为具有表现力的贝叶斯响应模型，利用深度学习的最新进展来捕获具有神经网络的非线性项目特征曲线（ICC）。使用TIMSS的特定级数学测试，我们显示我们的非线性IRT模型可以捕获有趣的不对称ICC。该算法实现是开源的，易于使用。

结合神经网络的鲁棒性的目标和象征方法的表征性地重新称为神经象征性AI的兴趣。神经象征性AI的最近进步通常考虑由不相交的神经和符号组件组成的专门定制架构，因此不能表现出所需的增益，这通过将它们集成到统一框架中可以实现。我们介绍斜杠 - 一种新颖的深层概率编程语言（DPPL）。在其核心，斜杠由神经概率谓词（NPPS）和逻辑节目组成，通过答案集编程团结一致。由NPPS产生的概率估计用作逻辑程序和原始输入数据之间的绑定元素，从而允许斜杠来应答任务依赖的逻辑查询。这允许斜杠在统一的框架中优雅地集成符号和神经组件。我们评估Mnist加法的基准数据的斜杠以及DPPLS的新任务，例如缺少数据预测和与最先进的性能设置预测，从而显示了我们方法的有效性和一般性。

Two approaches to AI, neural networks and symbolic systems, have been proven very successful for an array of AI problems. However, neither has been able to achieve the general reasoning ability required for human-like intelligence. It has been argued that this is due to inherent weaknesses in each approach. Luckily, these weaknesses appear to be complementary, with symbolic systems being adept at the kinds of things neural networks have trouble with and vice-versa. The field of neural-symbolic AI attempts to exploit this asymmetry by combining neural networks and symbolic AI into integrated systems. Often this has been done by encoding symbolic knowledge into neural networks. Unfortunately, although many different methods for this have been proposed, there is no common definition of an encoding to compare them. We seek to rectify this problem by introducing a semantic framework for neural-symbolic AI, which is then shown to be general enough to account for a large family of neural-symbolic systems. We provide a number of examples and proofs of the application of the framework to the neural encoding of various forms of knowledge representation and neural network. These, at first sight disparate approaches, are all shown to fall within the framework's formal definition of what we call semantic encoding for neural-symbolic AI.

已经引入了生成流量网络（GFlowNETS）作为在主动学习背景下采样多样化候选的方法，具有培训目标，其使它们与给定奖励功能成比例地进行比例。在本文中，我们显示了许多额外的GFLOWN的理论特性。它们可用于估计联合概率分布和一些变量未指定的相应边际分布，并且特别感兴趣地，可以代表像集合和图形的复合对象的分布。 Gflownets摊销了通常通过计算昂贵的MCMC方法在单个但训练有素的生成通行证中进行的工作。它们还可用于估计分区功能和自由能量，给定子集（子图）的超标（超图）的条件概率，以及给定集合（图）的所有超标仪（超图）的边际分布。我们引入了熵和相互信息估计的变体，从帕累托前沿采样，与奖励最大化策略的连接，以及随机环境的扩展，连续动作和模块化能量功能。

人工智能的最终目标之一是从原始数据中学习通用和人类解剖知识。神经符号推理方法通过使用手动设计的符号知识库改善神经网络的训练来部分解决此问题。在从原始数据中学到符号知识的情况下，该知识缺乏解决复杂问题所需的表现力。在本文中，我们介绍了神经符号归纳学习者（NSIL），该方法训练神经网络从原始数据中提取潜在概念，而学习符号知识可以解决复杂问题，该知识是根据这些潜在概念定义的。我们方法的新颖性是一种基于神经和符号成分的训练性能，使符号学习者偏向于学习改进的知识的方法。我们评估了两个问题领域的NSIL，这些问题领域需要具有不同级别的复杂性学习知识，并证明NSIL学习知识，而这些知识是不可能使用其他神经符号系统学习的知识，同时就准确性和数据效率而言优于基线模型。

我们提出了一种新颖的方式，将专家知识纳入深度神经网络的培训。许多方法将域约束直接编码到网络架构中，需要非琐碎或域的工程。相比之下，我们的方法称为MultiplexNet，表示域知识，作为析出正常形式（DNF）中的逻辑公式，这易于编码和引出人力专家。它引入了一个分类的潜变量，了解要选择哪个约束项优化网络的错误功能，并且它将约束直接与现有学习算法的输出组成。我们展示了多种经典深层学习任务的经验上的效果，例如密度估计和监督和无监督设置中的分类，其中关于域的先验知识被表示为逻辑约束。我们的结果表明，多路复用网络方法良好地学习到近似未知的分布，通常需要比替代方法更少的数据采样。在某些情况下，MultiplexNet发现比基线更好的解决方案;或通过替代方法无法实现的解决方案。我们的贡献是以促进推理的方式编码域知识，这被证明是有效和一般的推断;并且批判性地，我们的方法保证了网络输出中100％的约束满足感。

这项正在进行的工作旨在为统计学习提供统一的介绍，从诸如GMM和HMM等经典模型到现代神经网络（如VAE和扩散模型）缓慢地构建。如今，有许多互联网资源可以孤立地解释这一点或新的机器学习算法，但是它们并没有（也不能在如此简短的空间中）将这些算法彼此连接起来，或者与统计模型的经典文献相连现代算法出现了。同样明显缺乏的是一个单一的符号系统，尽管对那些已经熟悉材料的人（如这些帖子的作者）不满意，但对新手的入境造成了重大障碍。同样，我的目的是将各种模型（尽可能）吸收到一个用于推理和学习的框架上，表明（以及为什么）如何以最小的变化将一个模型更改为另一个模型（其中一些是新颖的，另一些是文献中的）。某些背景当然是必要的。我以为读者熟悉基本的多变量计算，概率和统计以及线性代数。这本书的目标当然不是​​完整性，而是从基本知识到过去十年中极强大的新模型的直线路径或多或少。然后，目标是补充而不是替换，诸如Bishop的\ emph {模式识别和机器学习}之类的综合文本，该文本现在已经15岁了。

这本数字本书包含在物理模拟的背景下与深度学习相关的一切实际和全面的一切。尽可能多，所有主题都带有Jupyter笔记本的形式的动手代码示例，以便快速入门。除了标准的受监督学习的数据中，我们将看看物理丢失约束，更紧密耦合的学习算法，具有可微分的模拟，以及加强学习和不确定性建模。我们生活在令人兴奋的时期：这些方法具有从根本上改变计算机模拟可以实现的巨大潜力。

变异推理（VI）的核心原理是将计算复杂后概率密度计算的统计推断问题转换为可拖动的优化问题。该属性使VI比几种基于采样的技术更快。但是，传统的VI算法无法扩展到大型数据集，并且无法轻易推断出越野数据点，而无需重新运行优化过程。该领域的最新发展，例如随机，黑框和摊销VI，已帮助解决了这些问题。如今，生成的建模任务广泛利用摊销VI来实现其效率和可扩展性，因为它利用参数化函数来学习近似的后验密度参数。在本文中，我们回顾了各种VI技术的数学基础，以构成理解摊销VI的基础。此外，我们还概述了最近解决摊销VI问题的趋势，例如摊销差距，泛化问题，不一致的表示学习和后验崩溃。最后，我们分析了改善VI优化的替代差异度量。