大多数现有的时间序列分类（TSC）模型缺乏可解释性，难以检查。可解释的机器学习模型可以帮助发现数据中的模式，并为域专家提供易于理解的见解。在这项研究中，我们提出了神经符号时间序列分类（NSTSC），这是一种利用信号时间逻辑（STL）和神经网络（NN）的神经符号模型，使用多视图数据表示并将模型表示为TSC任务人类可读，可解释的公式。在NSTSC中，每个神经元与符号表达相关，即STL（sub）公式。因此，NSTSC的输出可以解释为类似于自然语言的STL公式，描述了隐藏在数据中的时间和逻辑关系。我们提出了一个基于NSTSC的分类器，该分类器采用决策树方法来学习公式结构并完成多类TSC任务。 WSTL提出的平滑激活功能允许以端到端的方式学习模型。我们在来自UCR时间序列存储库中的小鼠和基准数据集的现实伤口愈合数据集上测试NSTSC，这表明NSTSC与最先进的模型实现了可比的性能。此外，NSTSC可以生成与域知识匹配的可解释公式。

从数据中提取空间时间知识在许多应用中都很有用。重要的是，所获得的知识是人类解释的和适用于正式分析。在本文中，我们提出了一种方法，该方法列举神经网络以学习基于加权图的信号时间逻辑（WGSTL）公式的形式的空间时间特性。对于学习WGSTL公式，我们介绍了一种灵活的WGSTL公式结构，其中用户的偏好可以应用于推断的WGSTL公式中。在所提出的框架中，神经网络的每个神经元对应于柔性WGSTL公式结构中的子核。我们初始训练一个神经网络来学习WGSTL运营商，然后训练第二个神经网络以在灵活的WGSTL公式结构中学习参数。我们使用Covid-19数据集和雨量预测数据集来评估所提出的框架和算法的性能。我们将建议框架的性能与三个基线分类方法进行比较，包括K-Collest邻居，决策树，支持向量机和人工神经网络。所提出的框架获得的分类准确性与基线分类方法相当。

人工智能代理必须从周围环境中学到学习，并了解所学习的知识，以便做出决定。虽然从数据的最先进的学习通常使用子符号分布式表示，但是使用用于知识表示的一阶逻辑语言，推理通常在更高的抽象级别中有用。结果，将符号AI和神经计算结合成神经符号系统的尝试已经增加。在本文中，我们呈现了逻辑张量网络（LTN），一种神经组织形式和计算模型，通过引入许多值的端到端可分别的一阶逻辑来支持学习和推理，称为真实逻辑作为表示语言深入学习。我们表明LTN为规范提供了统一的语言，以及多个AI任务的计算，如数据聚类，多标签分类，关系学习，查询应答，半监督学习，回归和嵌入学习。我们使用TensorFlow2的许多简单的解释例实施和说明上述每个任务。关键词：神经组音恐怖症，深度学习和推理，许多值逻辑。

学习数据的动态系统属性提供了重要的见解，帮助我们了解此类系统并减轻不良结果。在这项工作中，我们提出了一种从数据的正式逻辑规范学习时空时间（ST）属性的框架。我们介绍SVM-STL，信号信号时间逻辑（STL）的扩展，能够指定具有呈现时变空间模式的各种动态系统的空间和时间特性。我们的框架利用机器学习技术从空间模式序列给出的系统执行中学习SVM-STL规范。我们提供了处理标记和未标记数据的方法。此外，给定的系统要求以SVM-STL规范的形式，我们提供了一种参数合成方法，以找到最大化此类规格满意度的参数。我们的学习框架和参数合成方法在反应扩散系统的示例中展示。

神经网络（NNS）和决策树（DTS）都是机器学习的流行模型，但具有相互排斥的优势和局限性。为了带来两个世界中的最好，提出了各种方法来明确或隐式地集成NN和DTS。在这项调查中，这些方法是在我们称为神经树（NTS）的学校中组织的。这项调查旨在对NTS进行全面审查，并尝试确定它们如何增强模型的解释性。我们首先提出了NTS的彻底分类学，该分类法表达了NNS和DTS的逐步整合和共同进化。之后，我们根据NTS的解释性和绩效分析，并建议解决其余挑战的可能解决方案。最后，这项调查以讨论有条件计算和向该领域的有希望的方向进行讨论结束。该调查中审查的论文列表及其相应的代码可在以下网址获得：https：//github.com/zju-vipa/awesome-neural-trees

最近已经提出了几个查询和分数来解释对ML模型的个人预测。鉴于ML型号的灵活，可靠和易于应用的可解释性方法，我们预见了需要开发声明语言以自然地指定不同的解释性查询。我们以原则的方式通过源于逻辑，称为箔，允许表达许多简单但重要的解释性查询，并且可以作为更具表现力解释性语言的核心来实现这一语言。我们研究箔片查询的两类ML模型的计算复杂性经常被视为容易解释：决策树和OBDD。由于ML模型的可能输入的数量是尺寸的指数，因此箔评估问题的易易性是精细的，但是可以通过限制模型的结构或正在评估的箔片段来实现。我们还以高级声明语言包装的箔片的原型实施，并执行实验，表明可以在实践中使用这种语言。

本文介绍了一个名为STLCG的技术，使用计算图计算信号时间逻辑（STL）公式的定量语义。 STLCG提供了一个平台，它可以将逻辑规范纳入从基于梯度的解决方案中受益的机器人问题。具体而言，STL是一种强大且表现力的正式语言，可以指定连续和混合系统产生的信号的空间和时间特性。 STL的定量语义提供了鲁棒性度量，即，信号满足或违反STL规范的量。在这项工作中，我们设计了一种系统方法，用于将STL鲁棒性公式转化为计算图形。通过这种表示，通过利用现成的自动差异化工具，我们能够通过STL稳健性公式有效地反向，因此可以实现具有许多基于梯度的方法的STL规范的自然且易于使用的STL规范集成。通过各种机器人应用的许多示例，我们证明STLCG是多功能的，计算效率，并且能够将人域知识纳入问题制定中。

时间序列数据分类对于自治系统（例如机器人和自动驾驶汽车）的分析和控制至关重要。最近已经提出了基于时间逻辑的学习算法作为此类数据的分类器。但是，当前的框架要么不准确，例如自动驾驶等现实应用程序，要么产生缺乏可解释性的漫长而复杂的公式。为了解决这些局限性，我们引入了一种新颖的学习方法，称为“增强简洁决策树（BCDTS）”，以生成表示为信号时间逻辑（STL）公式的二进制分类器。我们的算法利用简洁决策树（CDT）的合奏来改善分类性能，其中每个CDT都是由一组技术赋予的决策树，以生成更简单的公式并提高可解释性。我们的算法的有效性和分类性能在海军监视和城市驾驶案例研究中评估。

推理，学习和决策的整合是构建更多普通AI系统的关键。作为朝这个方向的一步，我们提出了一种新颖的神经逻辑架构，可以解决电感逻辑编程（ILP）和深增强学习（RL）问题。我们的体系结构通过分配权重来谓词而不是规则来定义一阶逻辑程序的受限但呈现的连续空间。因此，它是完全可分的，可以用梯度下降有效地培训。此外，在与演员批评算法的深度RL设置中，我们提出了一种新颖的高效评论家建筑。与ILP和RL问题的最先进方法相比，我们的命题实现了出色的性能，同时能够提供完全可解释的解决方案和更好地缩放，特别是在测试阶段。

即使机器学习算法已经在数据科学中发挥了重要作用，但许多当前方法对输入数据提出了不现实的假设。由于不兼容的数据格式，或数据集中的异质，分层或完全缺少的数据片段，因此很难应用此类方法。作为解决方案，我们提出了一个用于样本表示，模型定义和培训的多功能，统一的框架，称为“ Hmill”。我们深入审查框架构建和扩展的机器学习的多个范围范式。从理论上讲，为HMILL的关键组件的设计合理，我们将通用近似定理的扩展显示到框架中实现的模型所实现的所有功能的集合。本文还包含有关我们实施中技术和绩效改进的详细讨论，该讨论将在MIT许可下发布供下载。该框架的主要资产是其灵活性，它可以通过相同的工具对不同的现实世界数据源进行建模。除了单独观察到每个对象的一组属性的标准设置外，我们解释了如何在框架中实现表示整个对象系统的图表中的消息推断。为了支持我们的主张，我们使用框架解决了网络安全域的三个不同问题。第一种用例涉及来自原始网络观察结果的IoT设备识别。在第二个问题中，我们研究了如何使用以有向图表示的操作系统的快照可以对恶意二进制文件进行分类。最后提供的示例是通过网络中实体之间建模域黑名单扩展的任务。在所有三个问题中，基于建议的框架的解决方案可实现与专业方法相当的性能。

In the last years many accurate decision support systems have been constructed as black boxes, that is as systems that hide their internal logic to the user. This lack of explanation constitutes both a practical and an ethical issue. The literature reports many approaches aimed at overcoming this crucial weakness sometimes at the cost of scarifying accuracy for interpretability. The applications in which black box decision systems can be used are various, and each approach is typically developed to provide a solution for a specific problem and, as a consequence, delineating explicitly or implicitly its own definition of interpretability and explanation. The aim of this paper is to provide a classification of the main problems addressed in the literature with respect to the notion of explanation and the type of black box system. Given a problem definition, a black box type, and a desired explanation this survey should help the researcher to find the proposals more useful for his own work. The proposed classification of approaches to open black box models should also be useful for putting the many research open questions in perspective.

尽管在现代的机器学习算法的最新进展，其内在机制的不透明仍是采用的障碍。在人工智能系统灌输信心和信任，解释的人工智能已成为提高现代机器学习算法explainability的响应。归纳逻辑程序（ILP），符号人工智能的子场中，起着产生，因为它的直观的逻辑驱动框架的可解释的解释有希望的作用。 ILP有效利用绎推理产生从实例和背景知识解释的一阶分句理论。然而，在发展中通过ILP需要启发方法的几个挑战，在实践中他们的成功应用来解决。例如，现有的ILP系统通常拥有广阔的解空间，以及感应解决方案是对噪声和干扰非常敏感。本次调查总结在ILP的最新进展和统计关系学习和神经象征算法的讨论，其中提供给ILP协同意见。继最新进展的严格审查，我们划定观察的挑战，突出对发展不言自明的人工智能系统进一步ILP动机研究的潜在途径。

复杂的事件识别（CER）系统在过去二十年中变得流行，因为它们能够“立即”检测在实时事件流上的模式。然而，缺乏预测模式可能发生在例如由Cer发动机实际检测到这种发生之前的模式。我们提出了一项正式的框架，试图解决复杂事件预测（CEF）的问题。我们的框架结合了两个形式主义：a）用于编码复杂事件模式的符号自动机; b）预测后缀树，可以提供自动机构的行为的简洁概率描述。我们比较我们提出的方法，以防止最先进的方法，并在准确性和效率方面展示其优势。特别地，预测后缀树是可变的马尔可夫模型，可以通过仅记住足够的信息的过去序列来捕获流中的长期依赖性。我们的实验结果表明了能够捕获这种长期依赖性的准确性的益处。这是通过增加我们模型的顺序来实现的，以满足需要执行给定顺序的所有可能的过去序列的所有可能的过去序列的详尽枚举的全阶马尔可夫模型。我们还广泛讨论CEF解决方案如何最佳地评估其预测的质量。

Two approaches to AI, neural networks and symbolic systems, have been proven very successful for an array of AI problems. However, neither has been able to achieve the general reasoning ability required for human-like intelligence. It has been argued that this is due to inherent weaknesses in each approach. Luckily, these weaknesses appear to be complementary, with symbolic systems being adept at the kinds of things neural networks have trouble with and vice-versa. The field of neural-symbolic AI attempts to exploit this asymmetry by combining neural networks and symbolic AI into integrated systems. Often this has been done by encoding symbolic knowledge into neural networks. Unfortunately, although many different methods for this have been proposed, there is no common definition of an encoding to compare them. We seek to rectify this problem by introducing a semantic framework for neural-symbolic AI, which is then shown to be general enough to account for a large family of neural-symbolic systems. We provide a number of examples and proofs of the application of the framework to the neural encoding of various forms of knowledge representation and neural network. These, at first sight disparate approaches, are all shown to fall within the framework's formal definition of what we call semantic encoding for neural-symbolic AI.

归纳逻辑编程（ILP）是一种机器学习的形式。ILP的目标是诱导推广培训示例的假设（一组逻辑规则）。随着ILP转30，我们提供了对该领域的新介绍。我们介绍了必要的逻辑符号和主要学习环境;描述ILP系统的构建块;比较几个维度的几个系统;描述四个系统（Aleph，Tilde，Aspal和Metagol）;突出关键应用领域;最后，总结了未来研究的当前限制和方向。

我们演示了学习信号时间逻辑公式的第一个复发性神经网络体系结构，并介绍了公式推理方法的第一个系统比较。传统系统嵌入了许多未明确形式化的专业知识。有很大的兴趣学习表征此类系统理想行为的形式规格 - 即时逻辑中的公式，这些公式被系统的输出信号所满足。此类规格可用于更好地理解系统的行为并改善其下一次迭代的设计。以前的推断方法假设某些公式模板，或者对所有可能的模板进行了启发式枚举。这项工作提出了一种神经网络体系结构，该结构通过梯度下降来渗透公式结构，从而消除了施加任何特定模板的需求。它将公式结构和参数的学习结合在一个优化中。通过系统的比较，我们证明了该方法与列举和晶格方法相比，该方法达到相似或更好的错误分类率（MCR）。我们还观察到，不同的公式可以实现相似的MCR，从经验上证明了时间逻辑推断问题的不确定性。

Graph-structured data appears frequently in domains including chemistry, natural language semantics, social networks, and knowledge bases. In this work, we study feature learning techniques for graph-structured inputs. Our starting point is previous work on Graph Neural Networks (Scarselli et al., 2009), which we modify to use gated recurrent units and modern optimization techniques and then extend to output sequences. The result is a flexible and broadly useful class of neural network models that has favorable inductive biases relative to purely sequence-based models (e.g., LSTMs) when the problem is graph-structured. We demonstrate the capabilities on some simple AI (bAbI) and graph algorithm learning tasks. We then show it achieves state-of-the-art performance on a problem from program verification, in which subgraphs need to be described as abstract data structures.

网络物理系统中的实时和人为可解释的决策是一个重要但具有挑战性的任务，通常需要预测来自有限数据的未来可能的事件。在本文中，我们介绍了一个时间增量学习框架：给定具有共同时间范围的标记信号迹线的数据集，我们提出了一种方法来预测随时间递增地接收的信号的标签，称为前缀信号。前缀信号是当生成时被观察的信号，并且它们的时间长度短于信号的公共范围。我们介绍了一种基于决策树的决策树方法来生成来自给定数据集的有限数量的信号时间逻辑（STL）规范，并基于它们构造预测器。作为时间序列数据的二进制分类器，每个STL规范都会随着时间的推移捕获数据集的时间特性。通过将时间变量权重分配给STL公式来构建预测器。通过使用神经网络来学习权重，目的是最小化在给定数据集上定义的前缀信号的错误分类率。通过计算前缀信号的鲁棒性相对于每个STL公式的鲁棒性的加权之和来预测前缀信号的标签来预测前缀信号的标签。我们的算法的有效性和分类性能在城市驾驶和海军监测案例研究中进行了评估。

事实证明，关系决策树的合奏模型（行李和梯度提升）被证明是概率逻辑模型（PLM）领域中最有效的学习方法之一。尽管有效，但他们失去了PLM的最重要方面之一 - 可解释性。在本文中，我们考虑将大量博学的树木压缩成单个可解释的模型的问题。为此，我们提出了COTE（树的压缩），该Cote将单个小型决策列表作为压缩表示形式。Cote首先将树木转换为决策清单，然后借助原始训练集执行组合和压缩。实验评估证明了COTE在几个基准关系数据集中的有效性。

虽然深增强学习已成为连续决策问题的有希望的机器学习方法，但对于自动驾驶或医疗应用等高利害域来说仍然不够成熟。在这种情况下，学习的政策需要例如可解释，因此可以在任何部署之前检查它（例如，出于安全性和验证原因）。本调查概述了各种方法，以实现加固学习（RL）的更高可解释性。为此，我们将解释性（作为模型的财产区分开来和解释性（作为HOC操作后的讲话，通过代理的干预），并在RL的背景下讨论它们，并强调前概念。特别是，我们认为可译文的RL可能会拥抱不同的刻面：可解释的投入，可解释（转型/奖励）模型和可解释的决策。根据该计划，我们总结和分析了与可解释的RL相关的最近工作，重点是过去10年来发表的论文。我们还简要讨论了一些相关的研究领域并指向一些潜在的有前途的研究方向。