Reinforcement Learning (RL) can solve complex tasks but does not intrinsically provide any guarantees on system behavior. For real-world systems that fulfill safety-critical tasks, such guarantees on safety specifications are necessary. To bridge this gap, we propose a verifiably safe RL procedure with probabilistic guarantees. First, our approach probabilistically verifies a candidate controller with respect to a temporal logic specification, while randomizing the controller's inputs within a bounded set. Then, we use RL to improve the performance of this probabilistically verified, i.e. safe, controller and explore in the same bounded set around the controller's input as was randomized over in the verification step. Finally, we calculate probabilistic safety guarantees with respect to temporal logic specifications for the learned agent. Our approach is efficient for continuous action and state spaces and separates safety verification and performance improvement into two independent steps. We evaluate our approach on a safe evasion task where a robot has to evade a dynamic obstacle in a specific manner while trying to reach a goal. The results show that our verifiably safe RL approach leads to efficient learning and performance improvements while maintaining safety specifications.

许多机器人任务需要高维传感器，如相机和激光雷达，以导航复杂的环境，但是在这些传感器周围开发认可的安全反馈控制器仍然是一个具有挑战性的公开问题，特别是在涉及学习时的开放问题。以前的作品通过分离感知和控制子系统并对感知子系统的能力做出强烈的假设来证明了感知反馈控制器的安全性。在这项工作中，我们介绍了一种新的启用学习的感知反馈混合控制器，在那里我们使用控制屏障函数（CBF）和控制Lyapunov函数（CLF）来显示全堆叠感知反馈控制器的安全性和活力。我们使用神经网络直接在机器人的观察空间中学习全堆栈系统的CBF和CLF，而无需承担基于感知的状态估计器。我们的混合控制器称为基因座（使用切换启用了学习的观察反馈控制），可以安全地导航未知的环境，始终如一地达到其目标，并将安全性安全地概括为培训数据集之外的环境。我们在模拟和硬件中展示了实验中的轨迹，在那里它使用LIDAR传感器的反馈成功地导航变化环境。

Motivated by the fragility of neural network (NN) controllers in safety-critical applications, we present a data-driven framework for verifying the risk of stochastic dynamical systems with NN controllers. Given a stochastic control system, an NN controller, and a specification equipped with a notion of trace robustness (e.g., constraint functions or signal temporal logic), we collect trajectories from the system that may or may not satisfy the specification. In particular, each of the trajectories produces a robustness value that indicates how well (severely) the specification is satisfied (violated). We then compute risk metrics over these robustness values to estimate the risk that the NN controller will not satisfy the specification. We are further interested in quantifying the difference in risk between two systems, and we show how the risk estimated from a nominal system can provide an upper bound the risk of a perturbed version of the system. In particular, the tightness of this bound depends on the closeness of the systems in terms of the closeness of their system trajectories. For Lipschitz continuous and incrementally input-to-state stable systems, we show how to exactly quantify system closeness with varying degrees of conservatism, while we estimate system closeness for more general systems from data in our experiments. We demonstrate our risk verification approach on two case studies, an underwater vehicle and an F1/10 autonomous car.

Learning-enabled control systems have demonstrated impressive empirical performance on challenging control problems in robotics, but this performance comes at the cost of reduced transparency and lack of guarantees on the safety or stability of the learned controllers. In recent years, new techniques have emerged to provide these guarantees by learning certificates alongside control policies -- these certificates provide concise, data-driven proofs that guarantee the safety and stability of the learned control system. These methods not only allow the user to verify the safety of a learned controller but also provide supervision during training, allowing safety and stability requirements to influence the training process itself. In this paper, we provide a comprehensive survey of this rapidly developing field of certificate learning. We hope that this paper will serve as an accessible introduction to the theory and practice of certificate learning, both to those who wish to apply these tools to practical robotics problems and to those who wish to dive more deeply into the theory of learning for control.

神经网络（NNS）已成功地用于代表复杂动力学系统的状态演变。这样的模型，称为NN动态模型（NNDMS），使用NN的迭代噪声预测来估计随时间推移系统轨迹的分布。尽管它们的准确性，但对NNDMS的安全分析仍然是一个具有挑战性的问题，并且在很大程度上尚未探索。为了解决这个问题，在本文中，我们介绍了一种为NNDM提供安全保证的方法。我们的方法基于随机屏障函数，其与安全性的关系类似于Lyapunov功能的稳定性。我们首先展示了通过凸优化问题合成NNDMS随机屏障函数的方法，该问题又为系统的安全概率提供了下限。我们方法中的一个关键步骤是，NNS的最新凸近似结果的利用是找到零件线性边界，这允许将屏障函数合成问题作为一个方形优化程序的制定。如果获得的安全概率高于所需的阈值，则该系统将获得认证。否则，我们引入了一种生成控制系统的方法，该系统以最小的侵入性方式稳健地最大化安全概率。我们利用屏障函数的凸属性来提出最佳控制合成问题作为线性程序。实验结果说明了该方法的功效。即，他们表明该方法可以扩展到具有多层和数百个神经元的多维NNDM，并且控制器可以显着提高安全性概率。

运行时执行是指针对运行时正式规范执行正确行为的理论，技术和工具。在本文中，我们对用于构建AI中执行安全性的混凝土应用程序域的运行时执行器的技术感兴趣。我们讨论了传统上如何在AI领域处理安全性，以及如何通过集成运行时执行器来提供自我学习代理的安全性。我们调查了此类执法者的一系列工作，在该工作中，我们区分了离散和连续动作空间的方法。本文的目的是更好地理解不同执法技术的优势和局限性，重点关注由于AI在AI中的应用而引起的特定挑战。最后，我们为未来的工作提出了一些开放的挑战和途径。

We study the problem of learning controllers for discrete-time non-linear stochastic dynamical systems with formal reach-avoid guarantees. This work presents the first method for providing formal reach-avoid guarantees, which combine and generalize stability and safety guarantees, with a tolerable probability threshold $p\in[0,1]$ over the infinite time horizon. Our method leverages advances in machine learning literature and it represents formal certificates as neural networks. In particular, we learn a certificate in the form of a reach-avoid supermartingale (RASM), a novel notion that we introduce in this work. Our RASMs provide reachability and avoidance guarantees by imposing constraints on what can be viewed as a stochastic extension of level sets of Lyapunov functions for deterministic systems. Our approach solves several important problems -- it can be used to learn a control policy from scratch, to verify a reach-avoid specification for a fixed control policy, or to fine-tune a pre-trained policy if it does not satisfy the reach-avoid specification. We validate our approach on $3$ stochastic non-linear reinforcement learning tasks.

Besides the recent impressive results on reinforcement learning (RL), safety is still one of the major research challenges in RL. RL is a machine-learning approach to determine near-optimal policies in Markov decision processes (MDPs). In this paper, we consider the setting where the safety-relevant fragment of the MDP together with a temporal logic safety specification is given and many safety violations can be avoided by planning ahead a short time into the future. We propose an approach for online safety shielding of RL agents. During runtime, the shield analyses the safety of each available action. For any action, the shield computes the maximal probability to not violate the safety specification within the next $k$ steps when executing this action. Based on this probability and a given threshold, the shield decides whether to block an action from the agent. Existing offline shielding approaches compute exhaustively the safety of all state-action combinations ahead of time, resulting in huge computation times and large memory consumption. The intuition behind online shielding is to compute at runtime the set of all states that could be reached in the near future. For each of these states, the safety of all available actions is analysed and used for shielding as soon as one of the considered states is reached. Our approach is well suited for high-level planning problems where the time between decisions can be used for safety computations and it is sustainable for the agent to wait until these computations are finished. For our evaluation, we selected a 2-player version of the classical computer game SNAKE. The game represents a high-level planning problem that requires fast decisions and the multiplayer setting induces a large state space, which is computationally expensive to analyse exhaustively.

我们研究了逻辑规范给出的复杂任务的学习策略问题。最近的方法从给定的规范自动生成奖励功能，并使用合适的加强学习算法来学习最大化预期奖励的策略。然而，这些方法对需要高级别计划的复杂任务奠定了差。在这项工作中，我们开发了一种称为Dirl的组成学习方法，可交织高级别的规划和强化学习。首先，Dirl将规范编码为抽象图;直观地，图的顶点和边缘分别对应于状态空间的区域和更简单的子任务。我们的方法然后结合了增强学习，以便在Dijkstra风格的规划算法内为每个边缘（子任务）学习神经网络策略，以计算图表中的高级计划。对具有连续状态和行动空间的一套具有挑战性的控制基准测试的提出方法的评估表明它优于最先进的基线。

强化学习（RL）是一种有希望的方法，对现实世界的应用程序取得有限，因为确保安全探索或促进充分利用是控制具有未知模型和测量不确定性的机器人系统的挑战。这种学习问题对于连续空间（状态空间和动作空间）的复杂任务变得更加棘手。在本文中，我们提出了一种由几个方面组成的基于学习的控制框架：（1）线性时间逻辑（LTL）被利用，以便于可以通过无限视野的复杂任务转换为新颖的自动化结构; （2）我们为RL-Agent提出了一种创新的奖励计划，正式保证，使全球最佳政策最大化满足LTL规范的概率; （3）基于奖励塑造技术，我们开发了利用自动机构结构的好处进行了模块化的政策梯度架构来分解整体任务，并促进学习控制器的性能; （4）通过纳入高斯过程（GPS）来估计不确定的动态系统，我们使用指数控制屏障功能（ECBF）综合基于模型的保障措施来解决高阶相对度的问题。此外，我们利用LTL自动化和ECBF的性质来构建引导过程，以进一步提高勘探效率。最后，我们通过多个机器人环境展示了框架的有效性。我们展示了这种基于ECBF的模块化深RL算法在训练期间实现了近乎完美的成功率和保护安全性，并且在训练期间具有很高的概率信心。

过去半年来，从控制和强化学习社区的真实机器人部署的安全学习方法的贡献数量急剧上升。本文提供了一种简洁的但整体审查，对利用机器学习实现的最新进展，以实现在不确定因素下的安全决策，重点是统一控制理论和加固学习研究中使用的语言和框架。我们的评论包括：基于学习的控制方法，通过学习不确定的动态，加强学习方法，鼓励安全或坚固性的加固学习方法，以及可以正式证明学习控制政策安全的方法。随着基于数据和学习的机器人控制方法继续获得牵引力，研究人员必须了解何时以及如何最好地利用它们在安全势在必行的现实情景中，例如在靠近人类的情况下操作时。我们突出了一些开放的挑战，即将在未来几年推动机器人学习领域，并强调需要逼真的物理基准的基准，以便于控制和加固学习方法之间的公平比较。

在自动车辆，健康和航空等安全关键系统领域中越来越多的加强学习引发了确保其安全的必要性。现有的安全机制，如对抗性训练，对抗性检测和强大的学习并不总是适应代理部署的所有干扰。这些干扰包括移动的对手，其行为可能无法预测的代理人，并且作为对其学习有害的事实问题。确保关键系统的安全性也需要提供正式保障对扰动环境中的代理人的行为的正式保障。因此，有必要提出适应代理人面临的学习挑战的新解决方案。在本文中，首先，我们通过提出移动对手，产生对代理人政策中的缺陷的对抗性代理人。其次，我们使用奖励塑造和修改的Q学习算法作为防御机制，在面临对抗扰动时改善代理人的政策。最后，采用概率模型检查来评估两种机制的有效性。我们在离散网格世界进行了实验，其中一个面临非学习和学习对手的单一代理人。我们的结果表明，代理商与对手之间的碰撞次数减少。概率模型检查提供了关于对普遍环境中的代理安全性的较低和上部概率范围。

在对关键安全环境的强化学习中，通常希望代理在所有时间点（包括培训期间）服从安全性限制。我们提出了一种称为Spice的新型神经符号方法，以解决这个安全的探索问题。与现有工具相比，Spice使用基于符号最弱的先决条件的在线屏蔽层获得更精确的安全性分析，而不会不适当地影响培训过程。我们在连续控制基准的套件上评估了该方法，并表明它可以达到与现有的安全学习技术相当的性能，同时遭受较少的安全性违规行为。此外，我们提出的理论结果表明，在合理假设下，香料会收敛到最佳安全政策。

本文介绍了可怜的高阶控制屏障功能（CBF），即结束于最终的可训练以及学习系统。CBFS通常是过于保守的，同时保证安全。在这里，我们通过使用环境依赖性软化它们的定义来解决它们的保守性，而不会损失安全保证，并将其嵌入到可分辨率的二次方案中。这些新颖的安全层称为巴里斯网，可以与任何基于神经网络的控制器结合使用，并且可以通过梯度下降训练。Barriernet允许神经控制器的安全约束适应改变环境。我们在一系列控制问题上进行评估，例如2D和3D空间中的交通合并和机器人导航，并与最先进的方法相比，证明其有效性。

尽管深度强化学习（DRL）为控制机器人和自主系统（RAS）的控制提供了变革能力，但DRL的黑盒性质和不确定的RAS部署环境对其可靠性构成了新的挑战。尽管现有的作品对DRL政策施加了限制，以确保成功完成任务，但考虑到所有可靠性的属性，以整体方式评估DRL驱动的RA远远不足。在本文中，我们正式定义了时间逻辑中的一组可靠性属性，并构建离散时间马尔可夫链（DTMC），以建模DRL驱动的RAS的风险/失败动力学与随机环境相互作用。然后，我们在设计的DTMC上进行概率模型检查（PMC）以验证这些属性。我们的实验结果表明，所提出的方法是作为整体评估框架有效的，同时发现可能需要在培训中需要权衡取舍的物业之间的冲突。此外，我们发现标准DRL培训无法提高可靠性属性，因此需要定制优化目标。最后，我们的方法对环境的干扰水平的可靠性分析提供了敏感性分析，从而提供了保证实际RA的见解。

尽管在为一般网络物理系统指定和学习目标方面取得了显着进展，但将这些方法应用于分布式多代理系统仍带来重大挑战。其中包括（a）允许允许本地目标和全球目标表达和相互作用的工艺规范基础，（b）国家和行动空间的驯服爆炸以实现有效的学习，以及（c）最小化协调频率和集合频率参与全球目标的参与者。为了应对这些挑战，我们提出了一个新颖的规范框架，该框架允许自然组成用于指导多代理系统培训的本地和全球目标。我们的技术使学习表达性策略可以使代理人以无协调的方式为本地目标运作，同时使用分散的通信协议来强制执行全球。实验结果支持我们的主张，即使用规范指导的学习可以有效地实现复杂的多代理分布式计划问题。

在本文中，我们研究了加强学习问题的安全政策的学习。这是，我们的目标是控制我们不知道过渡概率的马尔可夫决策过程（MDP），但我们通过经验访问样品轨迹。我们将安全性定义为在操作时间内具有高概率的期望安全集中的代理。因此，我们考虑受限制的MDP，其中限制是概率。由于没有直接的方式来优化关于加强学习框架中的概率约束的政策，因此我们提出了对问题的遍历松弛。拟议的放松的优点是三倍。 （i）安全保障在集界任务的情况下保持，并且它们保持在一个给定的时间范围内，以继续进行任务。 （ii）如果政策的参数化足够丰富，则约束优化问题尽管其非凸起具有任意小的二元间隙。 （iii）可以使用标准策略梯度结果和随机近似工具容易地计算与安全学习问题相关的拉格朗日的梯度。利用这些优势，我们建立了原始双算法能够找到安全和最佳的政策。我们在连续域中的导航任务中测试所提出的方法。数值结果表明，我们的算法能够将策略动态调整到环境和所需的安全水平。

Deep Reinforcement Learning (DRL) has the potential to be used for synthesizing feedback controllers (agents) for various complex systems with unknown dynamics. These systems are expected to satisfy diverse safety and liveness properties best captured using temporal logic. In RL, the reward function plays a crucial role in specifying the desired behaviour of these agents. However, the problem of designing the reward function for an RL agent to satisfy complex temporal logic specifications has received limited attention in the literature. To address this, we provide a systematic way of generating rewards in real-time by using the quantitative semantics of Signal Temporal Logic (STL), a widely used temporal logic to specify the behaviour of cyber-physical systems. We propose a new quantitative semantics for STL having several desirable properties, making it suitable for reward generation. We evaluate our STL-based reinforcement learning mechanism on several complex continuous control benchmarks and compare our STL semantics with those available in the literature in terms of their efficacy in synthesizing the controller agent. Experimental results establish our new semantics to be the most suitable for synthesizing feedback controllers for complex continuous dynamical systems through reinforcement learning.

控制屏障功能（CBFS）已成为强制执行控制系统安全的流行工具。CBFS通常用于二次程序配方（CBF-QP）作为安全关键限制。CBFS中的$ \ Mathcal {K} $函数通常需要手动调整，以平衡每个环境的性能和安全之间的权衡。然而，这个过程通常是启发式的并且可以对高相对度系统进行棘手。此外，它可以防止CBF-QP概括到现实世界中的不同环境。通过将CBF-QP的优化过程嵌入深度学习架构中的可差异化层，我们提出了一种可分辨率的优化的安全性关键控制框架，使得具有前向不变性的新环境的泛化。最后，我们在各种环境中使用2D双层集成器系统验证了所提出的控制设计。

安全是使用强化学习（RL）控制复杂动态系统的主要考虑，其中安全证书可以提供可提供的安全保证。有效的安全证书是指示安全状态具有低能量的能量功能，存在相应的安全控制策略，允许能量函数始终消散。安全证书和安全控制政策彼此密切相关，并挑战合成。因此，现有的基于学习的研究将它们中的任何一种视为先验知识，以便学习另一个知识，这限制了它们与一般未知动态的适用性。本文提出了一种新的方法，同时综合基于能量函数的安全证书，并使用CRL学习安全控制策略。我们不依赖于有关基于型号的控制器或完美的安全证书的先验知识。特别是，我们通过最小化能量增加，制定损耗功能来优化安全证书参数。通过将此优化过程作为外循环添加到基于拉格朗日的受限增强学习（CRL），我们共同更新策略和安全证书参数，并证明他们将收敛于各自的本地Optima，最佳安全政策和有效的安全性证书。我们在多个安全关键基准环境中评估我们的算法。结果表明，该算法学习无限制违规的可信安全的政策。合成安全证书的有效性或可行性也在数值上进行了验证。