In this paper, we propose a control synthesis method for signal temporal logic (STL) specifications with neural networks (NNs). Most of the previous works consider training a controller for only a given STL specification. These approaches, however, require retraining the NN controller if a new specification arises and needs to be satisfied, which results in large consumption of memory and inefficient training. To tackle this problem, we propose to construct NN controllers by introducing encoder-decoder structured NNs with an attention mechanism. The encoder takes an STL formula as input and encodes it into an appropriate vector, and the decoder outputs control signals that will meet the given specification. As the encoder, we consider three NN structures: sequential, tree-structured, and graph-structured NNs. All the model parameters are trained in an end-to-end manner to maximize the expected robustness that is known to be a quantitative semantics of STL formulae. We compare the control performances attained by the above NN structures through a numerical experiment of the path planning problem, showing the efficacy of the proposed approach.

本文介绍了一个名为STLCG的技术，使用计算图计算信号时间逻辑（STL）公式的定量语义。 STLCG提供了一个平台，它可以将逻辑规范纳入从基于梯度的解决方案中受益的机器人问题。具体而言，STL是一种强大且表现力的正式语言，可以指定连续和混合系统产生的信号的空间和时间特性。 STL的定量语义提供了鲁棒性度量，即，信号满足或违反STL规范的量。在这项工作中，我们设计了一种系统方法，用于将STL鲁棒性公式转化为计算图形。通过这种表示，通过利用现成的自动差异化工具，我们能够通过STL稳健性公式有效地反向，因此可以实现具有许多基于梯度的方法的STL规范的自然且易于使用的STL规范集成。通过各种机器人应用的许多示例，我们证明STLCG是多功能的，计算效率，并且能够将人域知识纳入问题制定中。

本文提出了一种新的方法，用于设计对自主系统的神经网络（NN）控制器的验证组合，并具有线性时间逻辑（LTL）公式捕获的任务。特别是，LTL公式要求系统以时间/逻辑顺序到达并避免某些区域。我们假设该系统配备了有限的训练有素的NN控制器。每个控制器都经过培训，以便它可以将系统推向特定的感兴趣区域，同时避免其他人。我们的目标是检查是否存在训练有素的NN控制器的时间组成（如果是这样，则将其计算）产生复合系统行为，以满足属于给定集合的任何初始系统状态的用户指定的LTL任务。为了解决这个问题，我们提出了一种依赖于自动机理论的新颖集成以及最近提出的NN控制系统的可及性分析工具的新方法。 We note that the proposed method can be applied to other controllers, not necessarily modeled by NNs, by appropriate selection of the reachability analysis tool.由于缺乏健壮性，我们专注于NN控制器。提出的方法在航空车的导航任务上得到了证明。

Deep Reinforcement Learning (DRL) has the potential to be used for synthesizing feedback controllers (agents) for various complex systems with unknown dynamics. These systems are expected to satisfy diverse safety and liveness properties best captured using temporal logic. In RL, the reward function plays a crucial role in specifying the desired behaviour of these agents. However, the problem of designing the reward function for an RL agent to satisfy complex temporal logic specifications has received limited attention in the literature. To address this, we provide a systematic way of generating rewards in real-time by using the quantitative semantics of Signal Temporal Logic (STL), a widely used temporal logic to specify the behaviour of cyber-physical systems. We propose a new quantitative semantics for STL having several desirable properties, making it suitable for reward generation. We evaluate our STL-based reinforcement learning mechanism on several complex continuous control benchmarks and compare our STL semantics with those available in the literature in terms of their efficacy in synthesizing the controller agent. Experimental results establish our new semantics to be the most suitable for synthesizing feedback controllers for complex continuous dynamical systems through reinforcement learning.

在本文中，我们试图通过引入深度学习模型的句法归纳偏见来建立两所学校之间的联系。我们提出了两个归纳偏见的家族，一个家庭用于选区结构，另一个用于依赖性结构。选区归纳偏见鼓励深度学习模型使用不同的单位（或神经元）分别处理长期和短期信息。这种分离为深度学习模型提供了一种方法，可以从顺序输入中构建潜在的层次表示形式，即更高级别的表示由高级表示形式组成，并且可以分解为一系列低级表示。例如，在不了解地面实际结构的情况下，我们提出的模型学会通过根据其句法结构组成变量和运算符的表示来处理逻辑表达。另一方面，依赖归纳偏置鼓励模型在输入序列中找到实体之间的潜在关系。对于自然语言，潜在关系通常被建模为一个定向依赖图，其中一个单词恰好具有一个父节点和零或几个孩子的节点。将此约束应用于类似变压器的模型之后，我们发现该模型能够诱导接近人类专家注释的有向图，并且在不同任务上也优于标准变压器模型。我们认为，这些实验结果为深度学习模型的未来发展展示了一个有趣的选择。

Graph-structured data appears frequently in domains including chemistry, natural language semantics, social networks, and knowledge bases. In this work, we study feature learning techniques for graph-structured inputs. Our starting point is previous work on Graph Neural Networks (Scarselli et al., 2009), which we modify to use gated recurrent units and modern optimization techniques and then extend to output sequences. The result is a flexible and broadly useful class of neural network models that has favorable inductive biases relative to purely sequence-based models (e.g., LSTMs) when the problem is graph-structured. We demonstrate the capabilities on some simple AI (bAbI) and graph algorithm learning tasks. We then show it achieves state-of-the-art performance on a problem from program verification, in which subgraphs need to be described as abstract data structures.

本文提出了一个算法框架，用于控制符合信号时间逻辑（STL）规范的连续动力系统的合成。我们提出了一种新型算法，以从STL规范中获得时间分配的有限自动机，并引入一个多层框架，该框架利用此自动机以空间和时间上指导基于采样的搜索树。我们的方法能够合成非线性动力学和多项式谓词功能的控制器。我们证明了算法的正确性和概率完整性，并说明了我们在几个案例研究中框架的效率和功效。我们的结果表明，在艺术状态下，速度的速度是一定的。

将规则无缝整合到学习中（LFD）策略是启用AI代理的现实部署的关键要求。最近，信号时间逻辑（STL）已被证明是将规则作为时空约束的有效语言。这项工作使用蒙特卡洛树搜索（MCT）作为将STL规范集成到香草LFD策略中以提高约束满意度的一种手段。我们建议以STL鲁棒性值来增强MCT启发式，以使树的搜索偏向具有更高限制满意度的分支。虽然无域的方法可以应用于将STL规则在线整合到任何预训练的LFD算法中，但我们选择目标条件的生成对抗性模仿学习作为离线LFD策略。我们将提出的方法应用于规划轨迹的领域，用于在非较低机场周围的通用航空飞机。使用对现实世界数据进行训练的模拟器的结果显示了60％的性能比不使用STL启发式方法的基线LFD方法提高了性能。

组合优化是运营研究和计算机科学领域的一个公认领域。直到最近，它的方法一直集中在孤立地解决问题实例，而忽略了它们通常源于实践中的相关数据分布。但是，近年来，人们对使用机器学习，尤其是图形神经网络（GNN）的兴趣激增，作为组合任务的关键构件，直接作为求解器或通过增强确切的求解器。GNN的电感偏差有效地编码了组合和关系输入，因为它们对排列和对输入稀疏性的意识的不变性。本文介绍了对这个新兴领域的最新主要进步的概念回顾，旨在优化和机器学习研究人员。

强化学习（RL）是一种有希望的方法，对现实世界的应用程序取得有限，因为确保安全探索或促进充分利用是控制具有未知模型和测量不确定性的机器人系统的挑战。这种学习问题对于连续空间（状态空间和动作空间）的复杂任务变得更加棘手。在本文中，我们提出了一种由几个方面组成的基于学习的控制框架：（1）线性时间逻辑（LTL）被利用，以便于可以通过无限视野的复杂任务转换为新颖的自动化结构; （2）我们为RL-Agent提出了一种创新的奖励计划，正式保证，使全球最佳政策最大化满足LTL规范的概率; （3）基于奖励塑造技术，我们开发了利用自动机构结构的好处进行了模块化的政策梯度架构来分解整体任务，并促进学习控制器的性能; （4）通过纳入高斯过程（GPS）来估计不确定的动态系统，我们使用指数控制屏障功能（ECBF）综合基于模型的保障措施来解决高阶相对度的问题。此外，我们利用LTL自动化和ECBF的性质来构建引导过程，以进一步提高勘探效率。最后，我们通过多个机器人环境展示了框架的有效性。我们展示了这种基于ECBF的模块化深RL算法在训练期间实现了近乎完美的成功率和保护安全性，并且在训练期间具有很高的概率信心。

这篇简短的评论旨在使读者熟悉与计划，调度和学习有关的最新作品。首先，我们研究最先进的计划算法。我们简要介绍神经网络。然后，我们更详细地探索图形神经网络，这是一种适合处理图形结构输入的神经网络的最新变体。我们简要描述了强化学习算法和迄今为止设计的一些方法的概念。接下来，我们研究了一些成功的方法，结合了用于路径规划的神经网络。最后，我们专注于不确定性的时间计划问题。

信号时间逻辑的鲁棒性不仅评估信号是否遵守规范，而且还提供了对公式的满足或违反的量度。鲁棒性的计算基于评估潜在谓词的鲁棒性。但是，通常以无模型方式（即不包括系统动力学）定义谓词的鲁棒性。此外，精确定义复杂谓词的鲁棒性通常是不平凡的。为了解决这些问题，我们提出了模型预测鲁棒性的概念，该概念通过考虑基于模型的预测，它与以前的方法相比提供了一种更系统的评估鲁棒性的方法。特别是，我们使用高斯过程回归来基于预定的预测来学习鲁棒性，以便可以在线上有效地计算鲁棒性值。我们评估了对自动驾驶用例的方法，该案例用在记录的数据集上使用形式的交通规则中使用的谓词来评估我们的方法，这与传统方法相比，在表达性方面相比，我们的方法优势。通过将我们的鲁棒性定义纳入轨迹规划师，自动驾驶汽车比数据集中的人类驾驶员更强大地遵守交通规则。

解释性对于自主车辆和其他机器人系统在操作期间与人类和其他物体相互作用至关重要。人类需要了解和预测机器采取的行动，以获得可信赖和安全的合作。在这项工作中，我们的目标是开发一个可解释的模型，可以与人类领域知识和模型的固有因果关系一致地产生解释。特别是，我们专注于自主驾驶，多代理交互建模的基本构建块。我们提出了接地的关系推理（GRI）。它通过推断代理关系的相互作用图来模拟交互式系统的底层动态。我们通过将关系潜空间接地为具有专家域知识定义的语义互动行为来确保语义有意义的交互图。我们展示它可以在模拟和现实世界中建模交互式交通方案，并生成解释车辆行为的语义图。

安全至关重要的应用中神经网络（NNS）的患病率的增加，要求采用证明安全行为的方法。本文提出了一种向后的可及性方法，以安全验证神经反馈循环（NFLS），即具有NN控制策略的闭环系统。尽管最近的作品集中在远程达到NFL的安全认证策略上，但落后性能比远期策略具有优势，尤其是在避免障碍的情况下。先前的工作已经开发了用于无NNS系统的向后可及性分析的技术，但是由于其激活功能的非线性，反馈回路中的NNS存在唯一的问题，并且由于NN模型通常不可逆转。为了克服这些挑战，我们使用现有的NN分析工具有效地找到了对反射（BP）集的过度评估，即NN控制策略将将系统驱动到给定目标集的状态集。我们介绍了用于计算以馈电NN表示的控制策略的线性和非线性系统的BP过度评估的框架，并提出了计算有效的策略。我们使用各种模型的数值结果来展示所提出的算法，包括6D系统的安全认证。

我们演示了学习信号时间逻辑公式的第一个复发性神经网络体系结构，并介绍了公式推理方法的第一个系统比较。传统系统嵌入了许多未明确形式化的专业知识。有很大的兴趣学习表征此类系统理想行为的形式规格 - 即时逻辑中的公式，这些公式被系统的输出信号所满足。此类规格可用于更好地理解系统的行为并改善其下一次迭代的设计。以前的推断方法假设某些公式模板，或者对所有可能的模板进行了启发式枚举。这项工作提出了一种神经网络体系结构，该结构通过梯度下降来渗透公式结构，从而消除了施加任何特定模板的需求。它将公式结构和参数的学习结合在一个优化中。通过系统的比较，我们证明了该方法与列举和晶格方法相比，该方法达到相似或更好的错误分类率（MCR）。我们还观察到，不同的公式可以实现相似的MCR，从经验上证明了时间逻辑推断问题的不确定性。

基于二次程序（QP）基于状态反馈控制器，其不等式约束以控制障碍（CBFS）和Lyapunov函数的限制使用类-U \ Mathcal {K k} $函数其值的值，对其值的函数，对其值的参数敏感这些类 - $ \ MATHCAL {K} $ functions。但是，有效CBF的构建并不直接，对于QP的任意选择参数，系统轨迹可能会进入QP最终变得不可行的状态，或者可能无法实现所需的性能。在这项工作中，我们将控制合成问题作为差异策略提出，其参数在高级别的时间范围内被优化，从而导致双层优化常规。在不了解一组可行参数的情况下，我们开发了一种递归可行性引导的梯度下降方法来更新QP的参数，以便新解决方案至少和以前的解决方案的性能至少执行。通过将动力学系统视为有向图，随着时间的推移，这项工作提出了一种新颖的方式，可以通过（1）使用其解决方案的梯度来优化QP控制器在一个时间范围内对多个CBF的性能进行敏感性，从而提出了一种新的方式。分析，以及（2）将这些和系统动力学梯度进行反向传播，以更新参数，同时保持QPS的可行性。

背景信息：在过去几年中，机器学习（ML）一直是许多创新的核心。然而，包括在所谓的“安全关键”系统中，例如汽车或航空的系统已经被证明是非常具有挑战性的，因为ML的范式转变为ML带来完全改变传统认证方法。目的：本文旨在阐明与ML为基础的安全关键系统认证有关的挑战，以及文献中提出的解决方案，以解决它们，回答问题的问题如何证明基于机器学习的安全关键系统？'方法：我们开展2015年至2020年至2020年之间发布的研究论文的系统文献综述（SLR），涵盖了与ML系统认证有关的主题。总共确定了217篇论文涵盖了主题，被认为是ML认证的主要支柱：鲁棒性，不确定性，解释性，验证，安全强化学习和直接认证。我们分析了每个子场的主要趋势和问题，并提取了提取的论文的总结。结果：单反结果突出了社区对该主题的热情，以及在数据集和模型类型方面缺乏多样性。它还强调需要进一步发展学术界和行业之间的联系，以加深域名研究。最后，它还说明了必须在上面提到的主要支柱之间建立连接的必要性，这些主要柱主要主要研究。结论：我们强调了目前部署的努力，以实现ML基于ML的软件系统，并讨论了一些未来的研究方向。

我们提出了一种使用神经网络反馈控制器对封闭环控制系统进行状态空间探索的新技术。我们的方法涉及近似闭环动力学轨迹的灵敏度。使用这样的近似器和系统模拟器，我们提出了一种指导状态空间探索方法，该方法可以生成在指定时间访问目标状态附近的轨迹。我们提出了一个理论框架，该框架确定我们的方法将产生一系列轨迹，该轨迹将到达目标状态的合适邻居。我们通过不同配置的神经网络反馈控制器对各种系统进行彻底评估。我们的表现优于早期的状态空间探索技术，并在质量（解释性）和性能（收敛速度）方面取得了显着改善。最后，我们采用算法来伪造一类时间逻辑规范，评估其针对最先进的伪造工具的绩效，并表现出其在补充现有的伪造算法方面的潜力。

虽然深增强学习已成为连续决策问题的有希望的机器学习方法，但对于自动驾驶或医疗应用等高利害域来说仍然不够成熟。在这种情况下，学习的政策需要例如可解释，因此可以在任何部署之前检查它（例如，出于安全性和验证原因）。本调查概述了各种方法，以实现加固学习（RL）的更高可解释性。为此，我们将解释性（作为模型的财产区分开来和解释性（作为HOC操作后的讲话，通过代理的干预），并在RL的背景下讨论它们，并强调前概念。特别是，我们认为可译文的RL可能会拥抱不同的刻面：可解释的投入，可解释（转型/奖励）模型和可解释的决策。根据该计划，我们总结和分析了与可解释的RL相关的最近工作，重点是过去10年来发表的论文。我们还简要讨论了一些相关的研究领域并指向一些潜在的有前途的研究方向。

In the learning from demonstration (LfD) paradigm, understanding and evaluating the demonstrated behaviors plays a critical role in extracting control policies for robots. Without this knowledge, a robot may infer incorrect reward functions that lead to undesirable or unsafe control policies. Recent work has proposed an LfD framework where a user provides a set of formal task specifications to guide LfD, to address the challenge of reward shaping. However, in this framework, specifications are manually ordered in a performance graph (a partial order that specifies relative importance between the specifications). The main contribution of this paper is an algorithm to learn the performance graph directly from the user-provided demonstrations, and show that the reward functions generated using the learned performance graph generate similar policies to those from manually specified performance graphs. We perform a user study that shows that priorities specified by users on behaviors in a simulated highway driving domain match the automatically inferred performance graph. This establishes that we can accurately evaluate user demonstrations with respect to task specifications without expert criteria.