本文介绍了一个名为STLCG的技术，使用计算图计算信号时间逻辑（STL）公式的定量语义。 STLCG提供了一个平台，它可以将逻辑规范纳入从基于梯度的解决方案中受益的机器人问题。具体而言，STL是一种强大且表现力的正式语言，可以指定连续和混合系统产生的信号的空间和时间特性。 STL的定量语义提供了鲁棒性度量，即，信号满足或违反STL规范的量。在这项工作中，我们设计了一种系统方法，用于将STL鲁棒性公式转化为计算图形。通过这种表示，通过利用现成的自动差异化工具，我们能够通过STL稳健性公式有效地反向，因此可以实现具有许多基于梯度的方法的STL规范的自然且易于使用的STL规范集成。通过各种机器人应用的许多示例，我们证明STLCG是多功能的，计算效率，并且能够将人域知识纳入问题制定中。

In this paper, we propose a control synthesis method for signal temporal logic (STL) specifications with neural networks (NNs). Most of the previous works consider training a controller for only a given STL specification. These approaches, however, require retraining the NN controller if a new specification arises and needs to be satisfied, which results in large consumption of memory and inefficient training. To tackle this problem, we propose to construct NN controllers by introducing encoder-decoder structured NNs with an attention mechanism. The encoder takes an STL formula as input and encodes it into an appropriate vector, and the decoder outputs control signals that will meet the given specification. As the encoder, we consider three NN structures: sequential, tree-structured, and graph-structured NNs. All the model parameters are trained in an end-to-end manner to maximize the expected robustness that is known to be a quantitative semantics of STL formulae. We compare the control performances attained by the above NN structures through a numerical experiment of the path planning problem, showing the efficacy of the proposed approach.

信号时间逻辑的鲁棒性不仅评估信号是否遵守规范，而且还提供了对公式的满足或违反的量度。鲁棒性的计算基于评估潜在谓词的鲁棒性。但是，通常以无模型方式（即不包括系统动力学）定义谓词的鲁棒性。此外，精确定义复杂谓词的鲁棒性通常是不平凡的。为了解决这些问题，我们提出了模型预测鲁棒性的概念，该概念通过考虑基于模型的预测，它与以前的方法相比提供了一种更系统的评估鲁棒性的方法。特别是，我们使用高斯过程回归来基于预定的预测来学习鲁棒性，以便可以在线上有效地计算鲁棒性值。我们评估了对自动驾驶用例的方法，该案例用在记录的数据集上使用形式的交通规则中使用的谓词来评估我们的方法，这与传统方法相比，在表达性方面相比，我们的方法优势。通过将我们的鲁棒性定义纳入轨迹规划师，自动驾驶汽车比数据集中的人类驾驶员更强大地遵守交通规则。

当前独立于域的经典计划者需要问题域和实例作为输入的符号模型，从而导致知识采集瓶颈。同时，尽管深度学习在许多领域都取得了重大成功，但知识是在与符号系统（例如计划者）不兼容的亚符号表示中编码的。我们提出了Latplan，这是一种无监督的建筑，结合了深度学习和经典计划。只有一组未标记的图像对，显示了环境中允许的过渡子集（训练输入），Latplan学习了环境的完整命题PDDL动作模型。稍后，当给出代表初始状态和目标状态（计划输入）的一对图像时，Latplan在符号潜在空间中找到了目标状态的计划，并返回可视化的计划执行。我们使用6个计划域的基于图像的版本来评估LATPLAN：8个插头，15个式嘴，Blockworld，Sokoban和两个LightsOut的变体。

我们演示了学习信号时间逻辑公式的第一个复发性神经网络体系结构，并介绍了公式推理方法的第一个系统比较。传统系统嵌入了许多未明确形式化的专业知识。有很大的兴趣学习表征此类系统理想行为的形式规格 - 即时逻辑中的公式，这些公式被系统的输出信号所满足。此类规格可用于更好地理解系统的行为并改善其下一次迭代的设计。以前的推断方法假设某些公式模板，或者对所有可能的模板进行了启发式枚举。这项工作提出了一种神经网络体系结构，该结构通过梯度下降来渗透公式结构，从而消除了施加任何特定模板的需求。它将公式结构和参数的学习结合在一个优化中。通过系统的比较，我们证明了该方法与列举和晶格方法相比，该方法达到相似或更好的错误分类率（MCR）。我们还观察到，不同的公式可以实现相似的MCR，从经验上证明了时间逻辑推断问题的不确定性。

组合优化是运营研究和计算机科学领域的一个公认领域。直到最近，它的方法一直集中在孤立地解决问题实例，而忽略了它们通常源于实践中的相关数据分布。但是，近年来，人们对使用机器学习，尤其是图形神经网络（GNN）的兴趣激增，作为组合任务的关键构件，直接作为求解器或通过增强确切的求解器。GNN的电感偏差有效地编码了组合和关系输入，因为它们对排列和对输入稀疏性的意识的不变性。本文介绍了对这个新兴领域的最新主要进步的概念回顾，旨在优化和机器学习研究人员。

学习数据的动态系统属性提供了重要的见解，帮助我们了解此类系统并减轻不良结果。在这项工作中，我们提出了一种从数据的正式逻辑规范学习时空时间（ST）属性的框架。我们介绍SVM-STL，信号信号时间逻辑（STL）的扩展，能够指定具有呈现时变空间模式的各种动态系统的空间和时间特性。我们的框架利用机器学习技术从空间模式序列给出的系统执行中学习SVM-STL规范。我们提供了处理标记和未标记数据的方法。此外，给定的系统要求以SVM-STL规范的形式，我们提供了一种参数合成方法，以找到最大化此类规格满意度的参数。我们的学习框架和参数合成方法在反应扩散系统的示例中展示。

我们为训练神经网络的时间逻辑约束提供了一种定理证明方法。我们对有限轨迹（LTL $ _F $）的线性时间逻辑的深层嵌入方式，并在Isabelle Theorem prover的高阶逻辑中表征其语义的相关评估功能。然后，我们继续正式化一个损失函数$ \ MATHCAL {l} $，我们正式证明是合理的，并且与函数$ d \ Mathcal {l} $可区分。随后，我们使用Isabelle的自动代码生成机制来生产LTL $ _F $，$ \ MATHCAL {L} $和$ D \ MATHCAL {l} $的OCAML版本，并通过Python的Ocaml绑定与Pytorch集成在一起。我们表明，当用于动态运动的现有深度学习框架中培训时，我们的方法会为常见运动规范模式（例如避免障碍和巡逻）产生预期的结果。我们方法的独特好处是完全严格的训练方法，消除了直接在诸如Python之类的“不安全”编程语言中的逻辑方面临时实施固有的许多风险。

本文提出了一个算法框架，用于控制符合信号时间逻辑（STL）规范的连续动力系统的合成。我们提出了一种新型算法，以从STL规范中获得时间分配的有限自动机，并引入一个多层框架，该框架利用此自动机以空间和时间上指导基于采样的搜索树。我们的方法能够合成非线性动力学和多项式谓词功能的控制器。我们证明了算法的正确性和概率完整性，并说明了我们在几个案例研究中框架的效率和功效。我们的结果表明，在艺术状态下，速度的速度是一定的。

Deep Reinforcement Learning (DRL) has the potential to be used for synthesizing feedback controllers (agents) for various complex systems with unknown dynamics. These systems are expected to satisfy diverse safety and liveness properties best captured using temporal logic. In RL, the reward function plays a crucial role in specifying the desired behaviour of these agents. However, the problem of designing the reward function for an RL agent to satisfy complex temporal logic specifications has received limited attention in the literature. To address this, we provide a systematic way of generating rewards in real-time by using the quantitative semantics of Signal Temporal Logic (STL), a widely used temporal logic to specify the behaviour of cyber-physical systems. We propose a new quantitative semantics for STL having several desirable properties, making it suitable for reward generation. We evaluate our STL-based reinforcement learning mechanism on several complex continuous control benchmarks and compare our STL semantics with those available in the literature in terms of their efficacy in synthesizing the controller agent. Experimental results establish our new semantics to be the most suitable for synthesizing feedback controllers for complex continuous dynamical systems through reinforcement learning.

人工智能代理必须从周围环境中学到学习，并了解所学习的知识，以便做出决定。虽然从数据的最先进的学习通常使用子符号分布式表示，但是使用用于知识表示的一阶逻辑语言，推理通常在更高的抽象级别中有用。结果，将符号AI和神经计算结合成神经符号系统的尝试已经增加。在本文中，我们呈现了逻辑张量网络（LTN），一种神经组织形式和计算模型，通过引入许多值的端到端可分别的一阶逻辑来支持学习和推理，称为真实逻辑作为表示语言深入学习。我们表明LTN为规范提供了统一的语言，以及多个AI任务的计算，如数据聚类，多标签分类，关系学习，查询应答，半监督学习，回归和嵌入学习。我们使用TensorFlow2的许多简单的解释例实施和说明上述每个任务。关键词：神经组音恐怖症，深度学习和推理，许多值逻辑。

将规则无缝整合到学习中（LFD）策略是启用AI代理的现实部署的关键要求。最近，信号时间逻辑（STL）已被证明是将规则作为时空约束的有效语言。这项工作使用蒙特卡洛树搜索（MCT）作为将STL规范集成到香草LFD策略中以提高约束满意度的一种手段。我们建议以STL鲁棒性值来增强MCT启发式，以使树的搜索偏向具有更高限制满意度的分支。虽然无域的方法可以应用于将STL规则在线整合到任何预训练的LFD算法中，但我们选择目标条件的生成对抗性模仿学习作为离线LFD策略。我们将提出的方法应用于规划轨迹的领域，用于在非较低机场周围的通用航空飞机。使用对现实世界数据进行训练的模拟器的结果显示了60％的性能比不使用STL启发式方法的基线LFD方法提高了性能。

即使机器学习算法已经在数据科学中发挥了重要作用，但许多当前方法对输入数据提出了不现实的假设。由于不兼容的数据格式，或数据集中的异质，分层或完全缺少的数据片段，因此很难应用此类方法。作为解决方案，我们提出了一个用于样本表示，模型定义和培训的多功能，统一的框架，称为“ Hmill”。我们深入审查框架构建和扩展的机器学习的多个范围范式。从理论上讲，为HMILL的关键组件的设计合理，我们将通用近似定理的扩展显示到框架中实现的模型所实现的所有功能的集合。本文还包含有关我们实施中技术和绩效改进的详细讨论，该讨论将在MIT许可下发布供下载。该框架的主要资产是其灵活性，它可以通过相同的工具对不同的现实世界数据源进行建模。除了单独观察到每个对象的一组属性的标准设置外，我们解释了如何在框架中实现表示整个对象系统的图表中的消息推断。为了支持我们的主张，我们使用框架解决了网络安全域的三个不同问题。第一种用例涉及来自原始网络观察结果的IoT设备识别。在第二个问题中，我们研究了如何使用以有向图表示的操作系统的快照可以对恶意二进制文件进行分类。最后提供的示例是通过网络中实体之间建模域黑名单扩展的任务。在所有三个问题中，基于建议的框架的解决方案可实现与专业方法相当的性能。

自动化车辆（AV）在很大程度上取决于强大的感知系统。评估视觉系统的当前方法主要关注逐帧性能。当在AV中使用时，这种评估方法似乎不足以评估感知子系统的性能。在本文中，我们提出了一种逻辑（称为时空感知逻辑（STPL）），该逻辑同时使用了空间和时间方式。STPL可以使用空间和时间关系来实现对感知数据的推理。STPL的一个主要优点是，即使在某些情况下没有地面真相数据，它也可以促进感知系统实时性能的基本理智检查。我们确定了STPL的片段，该片段是在多项式时间内有效地监视离线的。最后，我们提供了一系列针对AV感知系统的规格，以突出显示可以通过STPL通过离线监控来表达和分析的要求类型。

我们概述了在其知识表示和声明问题解决的应用中的视角下的时间逻辑编程。这些程序是将通常规则与时间模态运算符组合的结果，如线性时间时间逻辑（LTL）。我们专注于最近的非单调形式主义的结果​​称为时间平衡逻辑（电话），该逻辑（电话）为LTL的全语法定义，但是基于平衡逻辑执行模型选择标准，答案集编程的众所周知的逻辑表征（ASP ）。我们获得了稳定模型语义的适当延伸，以进行任意时间公式的一般情况。我们记得电话和单调基础的基本定义，这里的时间逻辑 - 和那里（THT），并研究无限和有限迹线之间的差异。我们还提供其他有用的结果，例如将转换成其他形式主义，如量化的平衡逻辑或二阶LTL，以及用于基于自动机计算的时间稳定模型的一些技术。在第二部分中，我们专注于实际方面，定义称为较近ASP的时间逻辑程序的句法片段，并解释如何在求解器Telingo的构建中被利用。

行为树（BT）是一种在自主代理中（例如机器人或计算机游戏中的虚拟实体）之间在不同任务之间进行切换的方法。 BT是创建模块化和反应性的复杂系统的一种非常有效的方法。这些属性在许多应用中至关重要，这导致BT从计算机游戏编程到AI和机器人技术的许多分支。在本书中，我们将首先对BTS进行介绍，然后我们描述BTS与早期切换结构的关系，并且在许多情况下如何概括。然后，这些想法被用作一套高效且易于使用的设计原理的基础。安全性，鲁棒性和效率等属性对于自主系统很重要，我们描述了一套使用BTS的状态空间描述正式分析这些系统的工具。借助新的分析工具，我们可以对BTS如何推广早期方法的形式形式化。我们还显示了BTS在自动化计划和机器学习中的使用。最后，我们描述了一组扩展的工具，以捕获随机BT的行为，其中动作的结果由概率描述。这些工具可以计算成功概率和完成时间。

这是一门专门针对STEM学生开发的介绍性机器学习课程。我们的目标是为有兴趣的读者提供基础知识，以在自己的项目中使用机器学习，并将自己熟悉术语作为进一步阅读相关文献的基础。在这些讲义中，我们讨论受监督，无监督和强化学习。注释从没有神经网络的机器学习方法的说明开始，例如原理分析，T-SNE，聚类以及线性回归和线性分类器。我们继续介绍基本和先进的神经网络结构，例如密集的进料和常规神经网络，经常性的神经网络，受限的玻尔兹曼机器，（变性）自动编码器，生成的对抗性网络。讨论了潜在空间表示的解释性问题，并使用梦和对抗性攻击的例子。最后一部分致力于加强学习，我们在其中介绍了价值功能和政策学习的基本概念。

本文在具有部分未知语义的环境中解决了多机器人规划问题。假设环境具有已知的几何结构（例如，墙壁），并且由具有不确定位置和类的静态标记的地标占用。这种建模方法引发了语义SLAM算法生成的不确定语义地图。我们的目标是为配备有嘈杂感知系统的机器人设计控制策略，以便他们可以完成全局时间逻辑规范捕获的协同任务。为了指定考虑环境和感知不确定性的任务，我们采用了线性时间逻辑（LTL）的片段，称为CO-Safe LTL，定义了基于感知的原子谓性建模概率满意度要求。基于感知的LTL规划问题产生了通过新型采样的算法解决的最佳控制问题，它产生了在线更新的开环控制策略，以适应连续学习的语义地图。我们提供广泛的实验，以证明拟议的规划架构的效率。

这本数字本书包含在物理模拟的背景下与深度学习相关的一切实际和全面的一切。尽可能多，所有主题都带有Jupyter笔记本的形式的动手代码示例，以便快速入门。除了标准的受监督学习的数据中，我们将看看物理丢失约束，更紧密耦合的学习算法，具有可微分的模拟，以及加强学习和不确定性建模。我们生活在令人兴奋的时期：这些方法具有从根本上改变计算机模拟可以实现的巨大潜力。

虽然深增强学习已成为连续决策问题的有希望的机器学习方法，但对于自动驾驶或医疗应用等高利害域来说仍然不够成熟。在这种情况下，学习的政策需要例如可解释，因此可以在任何部署之前检查它（例如，出于安全性和验证原因）。本调查概述了各种方法，以实现加固学习（RL）的更高可解释性。为此，我们将解释性（作为模型的财产区分开来和解释性（作为HOC操作后的讲话，通过代理的干预），并在RL的背景下讨论它们，并强调前概念。特别是，我们认为可译文的RL可能会拥抱不同的刻面：可解释的投入，可解释（转型/奖励）模型和可解释的决策。根据该计划，我们总结和分析了与可解释的RL相关的最近工作，重点是过去10年来发表的论文。我们还简要讨论了一些相关的研究领域并指向一些潜在的有前途的研究方向。