代表连接主义系统中象征性知识的想法一直是一项长期努力，最近引起了机器学习和可扩展声音的目标的目标。早期工作表明了命题逻辑和对称神经网络之间的对应关系，这仍然没有与变量的数量不符号，其培训制度效率低下。在本文中，我们引入了逻辑Boltzmann机器（LBM），这是一种神经组织系统，可以代表严格的析出正常形式的任何命题逻辑配方。我们证明了LBM中的能量最小化与逻辑可靠性之间的等价，从而表明LBM能够合理推理。我们凭经验评估了推理，表明LBM能够通过搜索可能（约10亿）分配的0.75％的0.75％来寻找一类逻辑公式的所有令人满意的分配。我们将LBM的学习与符号感应逻辑编程系统，最先进的神经系统和基于神经网络的系统，在七种数据集中的五个中实现了更好的学习性能。

Two approaches to AI, neural networks and symbolic systems, have been proven very successful for an array of AI problems. However, neither has been able to achieve the general reasoning ability required for human-like intelligence. It has been argued that this is due to inherent weaknesses in each approach. Luckily, these weaknesses appear to be complementary, with symbolic systems being adept at the kinds of things neural networks have trouble with and vice-versa. The field of neural-symbolic AI attempts to exploit this asymmetry by combining neural networks and symbolic AI into integrated systems. Often this has been done by encoding symbolic knowledge into neural networks. Unfortunately, although many different methods for this have been proposed, there is no common definition of an encoding to compare them. We seek to rectify this problem by introducing a semantic framework for neural-symbolic AI, which is then shown to be general enough to account for a large family of neural-symbolic systems. We provide a number of examples and proofs of the application of the framework to the neural encoding of various forms of knowledge representation and neural network. These, at first sight disparate approaches, are all shown to fall within the framework's formal definition of what we call semantic encoding for neural-symbolic AI.

人工智能代理必须从周围环境中学到学习，并了解所学习的知识，以便做出决定。虽然从数据的最先进的学习通常使用子符号分布式表示，但是使用用于知识表示的一阶逻辑语言，推理通常在更高的抽象级别中有用。结果，将符号AI和神经计算结合成神经符号系统的尝试已经增加。在本文中，我们呈现了逻辑张量网络（LTN），一种神经组织形式和计算模型，通过引入许多值的端到端可分别的一阶逻辑来支持学习和推理，称为真实逻辑作为表示语言深入学习。我们表明LTN为规范提供了统一的语言，以及多个AI任务的计算，如数据聚类，多标签分类，关系学习，查询应答，半监督学习，回归和嵌入学习。我们使用TensorFlow2的许多简单的解释例实施和说明上述每个任务。关键词：神经组音恐怖症，深度学习和推理，许多值逻辑。

尽管在现代的机器学习算法的最新进展，其内在机制的不透明仍是采用的障碍。在人工智能系统灌输信心和信任，解释的人工智能已成为提高现代机器学习算法explainability的响应。归纳逻辑程序（ILP），符号人工智能的子场中，起着产生，因为它的直观的逻辑驱动框架的可解释的解释有希望的作用。 ILP有效利用绎推理产生从实例和背景知识解释的一阶分句理论。然而，在发展中通过ILP需要启发方法的几个挑战，在实践中他们的成功应用来解决。例如，现有的ILP系统通常拥有广阔的解空间，以及感应解决方案是对噪声和干扰非常敏感。本次调查总结在ILP的最新进展和统计关系学习和神经象征算法的讨论，其中提供给ILP协同意见。继最新进展的严格审查，我们划定观察的挑战，突出对发展不言自明的人工智能系统进一步ILP动机研究的潜在途径。

我们提出了一种调查，其中在构建具有神经网络的模型时包括现有科学知识的方式。纳入领域知识不仅仅是构建科学助理，而且还有许多其他领域，涉及使用人机协作了解数据的其他领域。在许多这样的情况下，基于机器的模型结构可以显着地利用具有以足够精确的形式编码的域的人人类知识。本文审查了通过更改的域名知识：输入，丢失功能和深网络的架构。分类是为了便于阐述：在实践中，我们预计将采用这种变化的组合。在每个类别中，我们描述了所显示的技术，以产生深度神经网络性能的显着变化。

通过归纳逻辑编程（ILP）综合大型逻辑程序通常需要中间定义。但是，用强化谓词混乱假设空间通常会降低性能。相比之下，梯度下降提供了一种有效的方法来在此类高维空间中找到溶液。到目前为止，神经符号ILP方法尚未完全利用这一点。我们提出了一种基于ILP的合成方法，该方法受益于大规模谓词发明，利用了高维梯度下降的功效。我们发现包含十个辅助定义以上的符号解决方案。这超出了现有的神经符号ILP系统的成就，因此构成了该领域的里程碑。

归纳逻辑编程（ILP）是一种机器学习的形式。ILP的目标是诱导推广培训示例的假设（一组逻辑规则）。随着ILP转30，我们提供了对该领域的新介绍。我们介绍了必要的逻辑符号和主要学习环境;描述ILP系统的构建块;比较几个维度的几个系统;描述四个系统（Aleph，Tilde，Aspal和Metagol）;突出关键应用领域;最后，总结了未来研究的当前限制和方向。

Posibilistic Logic是处理不确定和部分不一致信息的最扩展方法。关于正常形式，可能性推理的进步大多专注于字幕形式。然而，现实世界问题的编码通常导致非人（NC）公式和NC-To-Clausal翻译，产生严重的缺点，严重限制了字符串推理的实际表现。因此，通过计算其原始NC形式的公式，我们提出了几种贡献，表明可能在可能的非字词推理中也是可能的显着进展。 {\ em首先，我们定义了{\ em possibilistic over非词素知识库，}或$ \ mathcal {\ overline {h}} _ \ sigma $的类别，其中包括类：可能主义的喇叭和命题角 - NC。 $ \ mathcal {\ overline {h}} _ \ sigma $被显示为标准喇叭类的一种NC类似的。 {\ em hightly}，我们定义{\ em possibilistic非字词单元分辨率，}或$ \ mathcal {u} _ \ sigma $，并证明$ \ mathcal {u} _ \ sigma $正确计算不一致程度$ \ mathcal {\ overline {h}} _ \ sigma $成员。 $ \ Mathcal {Ur} _ \ \ Sigma $之前未提出，并以人为人的方式制定，这会让其理解，正式证明和未来延伸到非人类决议。 {\ em第三}，我们证明计算$ \ mathcal {\ overline {h}} _ \ sigma $成员的不一致程度是多项式时间。虽然可能存在于可能存在的逻辑中的贸易课程，但所有这些都是字符串，因此，$ \ mathcal {\ overline {h}} _ \ sigma $ of to是可能的主要推理中的第一个特征的多项式非锁友类。

实用值的逻辑是越来越多的神经符号方法的基础，尽管通常仅在定性上表征其逻辑推理能力。我们为建立此类系统的正确性和力量提供了基础。我们提供了声音和强烈完整的公理化，可以参数化以涵盖所有实现的逻辑，包括所有常见的模糊逻辑。我们的一类句子非常丰富，每个句子都描述了一组现实价值逻辑公式集合的可能的真实值，包括实际值的组合是可能的。强大的完整性使我们能够准确地得出有关公式集合的真实价值组合的组合，给出了有关其他几个公式集合的真实价值组合的信息。然后，我们扩展公理化以处理加权的子形成。最后，我们根据线性编程为某些实价逻辑和某些自然假设提供了基于线性编程的决策程序，无论我们的一组句子在逻辑上是否意味着我们的另一种句子。

最近的工作表明，我们可以在学习系统中使用逻辑背景知识来弥补缺乏标记的培训数据。许多这样的方法通过创建编码此知识的损失函数来起作用。但是，即使在测试时间仍然有用，逻辑通常在训练后会被丢弃。相反，我们通过额外的计算步骤来完善预测来确保神经网络预测能够满足知识。我们介绍了可区分的改进功能，该功能找到了接近原始预测的校正预测。我们研究了如何有效有效地计算这些完善功能。使用新算法，我们结合了改进函数，以找到任何复杂性的逻辑公式的完善预测。该算法在复杂的SAT配方中发现了最佳的改进，以较少的迭代率明显更少，并且经常发现梯度下降无法进行的解决方案。

我们提出了一种有效的可解释的神经象征模型来解决感应逻辑编程（ILP）问题。在该模型中，该模型是由在分层结构中组织的一组元规则构建的，通过学习嵌入来匹配元规则的事实和身体谓词来发明一阶规则。为了实例化它，我们专门设计了一种表现型通用元规则集，并证明了它们产生的喇叭条件的片段。在培训期间，我们注入了控制的\ PW {gumbel}噪声以避免本地最佳，并采用可解释性 - 正则化术语来进一步指导融合到可解释规则。我们在针对几种最先进的方法上证明我们对各种任务（ILP，视觉基因组，强化学习）的模型进行了验证。

We present the Neural Satisfiability Network (NSNet), a general neural framework that models satisfiability problems as probabilistic inference and meanwhile exhibits proper explainability. Inspired by the Belief Propagation (BP), NSNet uses a novel graph neural network (GNN) to parameterize BP in the latent space, where its hidden representations maintain the same probabilistic interpretation as BP. NSNet can be flexibly configured to solve both SAT and #SAT problems by applying different learning objectives. For SAT, instead of directly predicting a satisfying assignment, NSNet performs marginal inference among all satisfying solutions, which we empirically find is more feasible for neural networks to learn. With the estimated marginals, a satisfying assignment can be efficiently generated by rounding and executing a stochastic local search. For #SAT, NSNet performs approximate model counting by learning the Bethe approximation of the partition function. Our evaluations show that NSNet achieves competitive results in terms of inference accuracy and time efficiency on multiple SAT and #SAT datasets.

Generative models for learning combinatorial structures have transformative impacts in many applications. However, existing approaches fail to offer efficient and accurate learning results. Because of the highly intractable nature of the gradient estimation of the learning objective subject to combinatorial constraints. Existing gradient estimation methods would easily run into exponential time/memory space, or incur huge estimation errors due to improper approximation. We develop NEural Lovasz Sampler (Nelson), a neural network based on Lov\'asz Local Lemma (LLL). We show it guarantees to generate samples satisfying combinatorial constraints from the distribution of the constrained Markov Random Fields model (MRF) under certain conditions. We further present a fully differentiable contrastive-divergence-based learning framework on constrained MRF (Nelson-CD). Meanwhile, Nelson-CD being fully differentiable allows us to take advantage of the parallel computing power of GPUs, resulting in great efficiency. Experimental results on three real-world combinatorial problems reveal that Nelson learns to generate 100% valid structures. In comparison, baselines either time out on large-size data sets or fail to generate valid structures, whereas Nelson scales much better with problem size. In addition, Nelson outperforms baselines in various learning metrics, such as log-likelihood and MAP scores.

我们从逻辑和公式大小方面概念化了解释性，在非常一般的环境中给出了许多相关的解释性定义。我们的主要兴趣是所谓的特殊解释问题，旨在解释输入模型中输入公式的真实价值。解释是一个最小尺寸的公式，（1）与输入模型上的输入公式一致，（2）将所涉及的真实价值传输到全球输入公式，即每个模型上。作为一个重要的例子，我们在这种情况下研究了命题逻辑，并表明在多项式层次结构的第二级中，特殊的解释性问题是完整的。我们还将在答案集编程中提供了此问题的实施，并研究了其与解释N-Queens和主导集合问题的答案有关的能力。

突出非克劳兰（NC）公式的富有表现性比基于氏子型公式的指数更丰富。然而，氏菌效率优于非克劳尿的效率。实际上，后者的一个主要弱点是，虽然喇叭子宫公式以及喇叭算法，对于高效率至关重要，但是已经提出了非符号形式的喇叭状公式。为了克服这种弱点，我们通过将喇叭图案充分提升到NC形式，定义HOLE非字母（HORN-NC）公式的混合类$ \ MATHBB {H_ {NC}}。争论$ \ MATHBB {H_ {NC}} $以及未来的Horn-NC算法，应随着喇叭类的股份效率增加，增加非信用效率。其次，我们：（i）给出$ \ mathbb的紧凑，归纳定义{h_ {nc}} $; （ii）证明了句法$ \ mathbb {h_ {nc}} $ suppups over class，但语义上两个类都是等效的，并且（iii）表征属于$ \ mathbb {h_ {nc}} $的非锁友公式。第三，我们定义了非字词单元分辨率计算，$ ur_ {nc} $，并证明它检查多项式时间$ \ mathbb {h_ {nc}} $的可靠性。这一事实是我们的知识，使$ \ mathbb {h_ {nc}} $中的nc推理中的第一个特征多项式类。最后，我们证明了$ \ mathbb {h_ {nc}} $线性识别，也是严格的是法官和比喇叭类呈指数富裕。我们在NC自动推理中讨论了这一点，例如，可靠性解决，定理证明，逻辑编程等可以直接受益于$ \ mathbb {h_ {nc} $和$ ur_ {nc} $，它作为其被证明属性的副产物，$ \ mathbb { H_ {NC}} $ as作为分析喇叭函数和含义系统的新替代方案。

大多数-AT是确定联合正常形式（CNF）中输入$ N $的最低价公式的问题至少为2 ^ {n-1} $令人满意的作业。在对概率规划和推论复杂性的各种AI社区中，广泛研究了多数饱和问题。虽然大多数饱满为期40多年来，但自然变体的复杂性保持开放：大多数 - $ k $ SAT，其中输入CNF公式仅限于最多$ k $的子句宽度。我们证明，每辆$ k $，大多数 - $ k $ sat是在p的。事实上，对于任何正整数$ k $和ratic $ \ rho \ in（0,1）$ in（0,1）$与有界分比者，我们给出了算法这可以确定给定的$ k $ -cnf是否至少有$ \ rho \ cdot 2 ^ n $令人满意的分配，在确定性线性时间（而先前的最着名的算法在指数时间中运行）。我们的算法对计算复杂性和推理的复杂性具有有趣的积极影响，显着降低了相关问题的已知复杂性，例如E-Maj-$ K $ Sat和Maj-Maj- $ K $ Sat。在我们的方法中，通过提取在$ k $ -cnf的相应设置系统中发现的向日葵，可以通过提取向日葵来解决阈值计数问题的有效方法。我们还表明，大多数 - $ k $ sat的易腐烂性有些脆弱。对于密切相关的gtmajority-sat问题（我们询问给定公式是否超过2 ^ {n-1} $满足分配），这已知是pp-cleanting的，我们表明gtmajority-$ k $ sat在p for $ k \ le 3 $，但为$ k \ geq 4 $完成np-cleante。这些结果是违反直觉的，因为这些问题的“自然”分类将是PP完整性，因为GTMAJority的复杂性存在显着差异 - $ k $ SAT和MOSTION- $ K $ SAT为所有$ k \ ge 4 $。

最近已经提出了几个查询和分数来解释对ML模型的个人预测。鉴于ML型号的灵活，可靠和易于应用的可解释性方法，我们预见了需要开发声明语言以自然地指定不同的解释性查询。我们以原则的方式通过源于逻辑，称为箔，允许表达许多简单但重要的解释性查询，并且可以作为更具表现力解释性语言的核心来实现这一语言。我们研究箔片查询的两类ML模型的计算复杂性经常被视为容易解释：决策树和OBDD。由于ML模型的可能输入的数量是尺寸的指数，因此箔评估问题的易易性是精细的，但是可以通过限制模型的结构或正在评估的箔片段来实现。我们还以高级声明语言包装的箔片的原型实施，并执行实验，表明可以在实践中使用这种语言。

提出了具有依赖常识的公共公告逻辑的浅语义嵌入。此嵌入使得该逻辑的首次自动化为经典高阶逻辑的现成定理传输。据证明（i）可以通过这种方式自动化的荟萃理论研究，（ii）所需的目标逻辑（公共公告逻辑）的非琐碎推理方式是如何实现的。为了获得令人信服的编码和智者自动化，可以实现。呈现的语义嵌入的关键是评估域在嵌入目标逻辑的组成部分的编码中被明确建模并视为附加参数;在以前的相关工程中，例如在嵌入正常模态逻辑中，在元逻辑和目标逻辑之间隐式共享评估域。本文所呈现的工作构成了对多元日志知识工程方法的重要补充，这使得能够通过逻辑及其组合进行实验，以及一般和域知识，以及混凝土用例 - 同时。

有限的线性时间逻辑（$ \ mathsf {ltl} _f $）是一种强大的正式表示，用于建模时间序列。我们解决了学习Compact $ \ Mathsf {ltl} _f $ formul的问题，从标记的系统行为的痕迹。我们提出了一部小说神经网络运营商，并评估结果架构，神经$ \ mathsf {ltl} _f $。我们的方法包括专用复发过滤器，旨在满足$ \ Mathsf {ltl} _f $ temporal运算符，以学习痕迹的高度准确的分类器。然后，它离散地激活并提取由学习权重表示的真相表。此实话表将转换为符号形式并作为学习公式返回。随机生成$ \ Mathsf {LTL} _F $公式显示神经$ \ MATHSF {LTL} _F $尺寸，比现有方法更大，即使在存在噪声时也保持高精度。

本文迈出了从实验中学习的逻辑的第一步。为此，我们调查了建模因果和（定性）认知推理的相互作用的正式框架。对于我们的方法至关重要是一种干预概念的想法，可以用作（真实或假设的）实验的正式表达。在第一步中，我们将众所周知的因果模型与代理人的认知状态的简单HITIKKA样式表示。在生成的设置中，不仅可以对关于变量值的知识以及干预措施如何影响它们，而且可以对其进行交谈，而且还可以谈论知识更新。由此产生的逻辑可以模拟关于思想实验的推理。但是，它无法解释从实验中学习，这显然是由它验证干预措施没有学习原则的事实。因此，在第二步中，我们实现更复杂的知识概念，该知识概念允许代理在进行实验时观察（测量）某些变量。该扩展系统确实允许从实验中学习。对于所有提出的逻辑系统，我们提供了一种声音和完整的公理化。