Reinforcement learning is a powerful paradigm for learning optimal policies from experimental data. However, to find optimal policies, most reinforcement learning algorithms explore all possible actions, which may be harmful for real-world systems. As a consequence, learning algorithms are rarely applied on safety-critical systems in the real world. In this paper, we present a learning algorithm that explicitly considers safety, defined in terms of stability guarantees. Specifically, we extend control-theoretic results on Lyapunov stability verification and show how to use statistical models of the dynamics to obtain high-performance control policies with provable stability certificates. Moreover, under additional regularity assumptions in terms of a Gaussian process prior, we prove that one can effectively and safely collect data in order to learn about the dynamics and thus both improve control performance and expand the safe region of the state space. In our experiments, we show how the resulting algorithm can safely optimize a neural network policy on a simulated inverted pendulum, without the pendulum ever falling down.

We consider a sequential decision making task where we are not allowed to evaluate parameters that violate an a priori unknown (safety) constraint. A common approach is to place a Gaussian process prior on the unknown constraint and allow evaluations only in regions that are safe with high probability. Most current methods rely on a discretization of the domain and cannot be directly extended to the continuous case. Moreover, the way in which they exploit regularity assumptions about the constraint introduces an additional critical hyperparameter. In this paper, we propose an information-theoretic safe exploration criterion that directly exploits the GP posterior to identify the most informative safe parameters to evaluate. Our approach is naturally applicable to continuous domains and does not require additional hyperparameters. We theoretically analyze the method and show that we do not violate the safety constraint with high probability and that we explore by learning about the constraint up to arbitrary precision. Empirical evaluations demonstrate improved data-efficiency and scalability.

基于学习的控制方案最近表现出了出色的效力执行复杂的任务。但是，为了将它们部署在实际系统中，保证该系统在在线培训和执行过程中将保持安全至关重要。因此，我们需要安全的在线学习框架，能够自主地理论当前的信息是否足以确保安全或需要新的测量。在本文中，我们提出了一个由两个部分组成的框架：首先，在需要时积极收集测量的隔离外检测机制，以确保至少一个安全备份方向始终可供使用；其次，基于高斯的基于过程的概率安全 - 关键控制器可确保系统始终保持安全的可能性。我们的方法通过使用控制屏障功能来利用模型知识，并以事件触发的方式从在线数据流中收集测量，以确保学习的安全至关重要控制器的递归可行性。反过来，这又使我们能够提供具有很高概率的安全集的正式结果，即使在先验未开发的区域中也是如此。最后，我们在自适应巡航控制系统的数值模拟中验证了所提出的框架。

过去半年来，从控制和强化学习社区的真实机器人部署的安全学习方法的贡献数量急剧上升。本文提供了一种简洁的但整体审查，对利用机器学习实现的最新进展，以实现在不确定因素下的安全决策，重点是统一控制理论和加固学习研究中使用的语言和框架。我们的评论包括：基于学习的控制方法，通过学习不确定的动态，加强学习方法，鼓励安全或坚固性的加固学习方法，以及可以正式证明学习控制政策安全的方法。随着基于数据和学习的机器人控制方法继续获得牵引力，研究人员必须了解何时以及如何最好地利用它们在安全势在必行的现实情景中，例如在靠近人类的情况下操作时。我们突出了一些开放的挑战，即将在未来几年推动机器人学习领域，并强调需要逼真的物理基准的基准，以便于控制和加固学习方法之间的公平比较。

Safety is one of the biggest concerns to applying reinforcement learning (RL) to the physical world. In its core part, it is challenging to ensure RL agents persistently satisfy a hard state constraint without white-box or black-box dynamics models. This paper presents an integrated model learning and safe control framework to safeguard any agent, where its dynamics are learned as Gaussian processes. The proposed theory provides (i) a novel method to construct an offline dataset for model learning that best achieves safety requirements; (ii) a parameterization rule for safety index to ensure the existence of safe control; (iii) a safety guarantee in terms of probabilistic forward invariance when the model is learned using the aforementioned dataset. Simulation results show that our framework guarantees almost zero safety violation on various continuous control tasks.

高斯流程已成为各种安全至关重要环境的有前途的工具，因为后方差可用于直接估计模型误差并量化风险。但是，针对安全 - 关键环境的最新技术取决于核超参数是已知的，这通常不适用。为了减轻这种情况，我们在具有未知的超参数的设置中引入了强大的高斯过程统一误差界。我们的方法计算超参数空间中的一个置信区域，这使我们能够获得具有任意超参数的高斯过程模型误差的概率上限。我们不需要对超参数的任何界限，这是相关工作中常见的假设。相反，我们能够以直观的方式从数据中得出界限。我们还采用了建议的技术来为一类基于学习的控制问题提供绩效保证。实验表明，界限的性能明显优于香草和完全贝叶斯高斯工艺。

我们考虑在离散时间非线性随机控制系统中正式验证几乎核实（A.S.）渐近稳定性的问题。在文献中广泛研究确定性控制系统中的验证稳定性，验证随机控制系统中的验证稳定性是一个开放的问题。本主题的少数现有的作品只考虑专门的瞬间形式，或对系统进行限制性假设，使其无法与神经网络策略的学习算法不适用。在这项工作中，我们提出了一种具有两种新颖方面的一般非线性随机控制问题的方法：（a）Lyapunov函数的经典随机扩展，我们使用排名超大地区（RSMS）来证明〜渐近稳定性，以及（B）我们提出一种学习神经网络RSM的方法。我们证明我们的方法保证了系统的渐近稳定性，并提供了第一种方法来获得稳定时间的界限，其中随机Lyapunov功能不。最后，我们在通过神经网络政策的一套非线性随机强化学习环境上通过实验验证我们的方法。

在最近的文献中，学习方法与模型预测控制（MPC）的结合吸引了大量关注。这种组合的希望是减少MPC方案对准确模型的依赖，并利用快速开发的机器学习和强化学习工具，以利用许多系统可用的数据量。特别是，增强学习和MPC的结合已被认为是一种可行且理论上合理的方法，以引入可解释的，安全和稳定的政策，以实现强化学习。但是，一种正式的理论详细介绍了如何通过学习工具提供的参数更新来维持基于MPC的策略的安全性和稳定性。本文解决了这一差距。该理论是针对通用的强大MPC案例开发的，并在基于强大的管线MPC情况的模拟中应用，在该情况下，该理论在实践中很容易部署。本文着重于增强学习作为学习工具，但它适用于任何在线更新MPC参数的学习方法。

在钢筋学习（RL）中，代理必须探索最初未知的环境，以便学习期望的行为。当RL代理部署在现实世界环境中时，安全性是主要关注的。受约束的马尔可夫决策过程（CMDPS）可以提供长期的安全约束;但是，该代理人可能会违反探索其环境的制约因素。本文提出了一种称为显式探索，漏洞探索或转义（$ e ^ {4} $）的基于模型的RL算法，它将显式探索或利用（$ e ^ {3} $）算法扩展到强大的CMDP设置。 $ e ^ 4 $明确地分离开发，探索和逃脱CMDP，允许针对已知状态的政策改进的有针对性的政策，发现未知状态，以及安全返回到已知状态。 $ e ^ 4 $强制优化了从一组CMDP模型的最坏情况CMDP上的这些策略，该模型符合部署环境的经验观察。理论结果表明，在整个学习过程中满足安全限制的情况下，在多项式时间中找到近最优的约束政策。我们讨论了稳健约束的离线优化算法，以及如何基于经验推理和先验知识来结合未知状态过渡动态的不确定性。

We study the problem of learning controllers for discrete-time non-linear stochastic dynamical systems with formal reach-avoid guarantees. This work presents the first method for providing formal reach-avoid guarantees, which combine and generalize stability and safety guarantees, with a tolerable probability threshold $p\in[0,1]$ over the infinite time horizon. Our method leverages advances in machine learning literature and it represents formal certificates as neural networks. In particular, we learn a certificate in the form of a reach-avoid supermartingale (RASM), a novel notion that we introduce in this work. Our RASMs provide reachability and avoidance guarantees by imposing constraints on what can be viewed as a stochastic extension of level sets of Lyapunov functions for deterministic systems. Our approach solves several important problems -- it can be used to learn a control policy from scratch, to verify a reach-avoid specification for a fixed control policy, or to fine-tune a pre-trained policy if it does not satisfy the reach-avoid specification. We validate our approach on $3$ stochastic non-linear reinforcement learning tasks.

安全勘探是在安全关键系统中应用强化学习（RL）的关键。现有的安全勘探方法在规律的假设下保证安全，并且很难将它们应用于大规模的真正问题。我们提出了一种新颖的算法，SPO-LF，它们优化代理的策略，同时学习通过传感器和环境奖励/安全使用的本地可用功能与使用广义线性函数近似之间的关系。我们提供了对其安全性和最优性的理论保障。我们通过实验表明，我们的算法在样本复杂性和计算成本方面更有效，2）更适用于比以前的安全RL方法具有理论保证的方法，以及3）与现有的相当相当的样本和更安全。具有安全限制的高级深度RL方法。

在安全关键方案中利用自主系统需要在存在影响系统动态的不确定性和黑匣子组件存在下验证其行为。在本文中，我们开发了一个框架，用于验证部分可观察到的离散时间动态系统，从给定的输入输出数据集中具有针对时间逻辑规范的未暗模式可分散的动态系统。验证框架采用高斯进程（GP）回归，以了解数据集中的未知动态，并将连续空间系统抽象为有限状态，不确定的马尔可夫决策过程（MDP）。这种抽象依赖于通过使用可重复的内核Hilbert空间分析以及通过离散化引起的不确定性来捕获由于GP回归中的错误而捕获不确定性的过渡概率间隔。该框架利用现有的模型检查工具来验证对给定时间逻辑规范的不确定MDP抽象。我们建立将验证结果扩展到潜在部分可观察系统的抽象结果的正确性。我们表明框架的计算复杂性在数据集和离散抽象的大小中是多项式。复杂性分析说明了验证结果质量与处理较大数据集和更精细抽象的计算负担之间的权衡。最后，我们展示了我们的学习和验证框架在具有线性，非线性和切换动力系统的几种案例研究中的功效。

政策梯度（PG）算法是备受期待的强化学习对现实世界控制任务（例如机器人技术）的最佳候选人之一。但是，每当必须在物理系统上执行学习过程本身或涉及任何形式的人类计算机相互作用时，这些方法的反复试验性质就会提出安全问题。在本文中，我们解决了一种特定的安全公式，其中目标和危险都以标量奖励信号进行编码，并且学习代理被限制为从不恶化其性能，以衡量为预期的奖励总和。通过从随机优化的角度研究仅行为者的政策梯度，我们为广泛的参数政策建立了改进保证，从而将现有结果推广到高斯政策上。这与策略梯度估计器的差异的新型上限一起，使我们能够识别出具有很高概率的单调改进的元参数计划。两个关键的元参数是参数更新的步长和梯度估计的批处理大小。通过对这些元参数的联合自适应选择，我们获得了具有单调改进保证的政策梯度算法。

在将强化学习（RL）部署到现实世界系统中时，确保安全是一个至关重要的挑战。我们开发了基于置信的安全过滤器，这是一种基于概率动力学模型的标准RL技术，通过标准RL技术学到的名义策略来证明国家安全限制的控制理论方法。我们的方法基于对成本功能的国家约束的重新重新制定，从而将安全验证减少到标准RL任务。通过利用幻觉输入的概念，我们扩展了此公式，以确定对具有很高可能性的未知系统安全的“备份”策略。最后，在推出备用政策期间的每一个时间步骤中，标称政策的调整最少，以便以后可以保证安全恢复。我们提供正式的安全保证，并从经验上证明我们方法的有效性。

Learning-enabled control systems have demonstrated impressive empirical performance on challenging control problems in robotics, but this performance comes at the cost of reduced transparency and lack of guarantees on the safety or stability of the learned controllers. In recent years, new techniques have emerged to provide these guarantees by learning certificates alongside control policies -- these certificates provide concise, data-driven proofs that guarantee the safety and stability of the learned control system. These methods not only allow the user to verify the safety of a learned controller but also provide supervision during training, allowing safety and stability requirements to influence the training process itself. In this paper, we provide a comprehensive survey of this rapidly developing field of certificate learning. We hope that this paper will serve as an accessible introduction to the theory and practice of certificate learning, both to those who wish to apply these tools to practical robotics problems and to those who wish to dive more deeply into the theory of learning for control.

We propose a learning-based robust predictive control algorithm that compensates for significant uncertainty in the dynamics for a class of discrete-time systems that are nominally linear with an additive nonlinear component. Such systems commonly model the nonlinear effects of an unknown environment on a nominal system. We optimize over a class of nonlinear feedback policies inspired by certainty equivalent "estimate-and-cancel" control laws pioneered in classical adaptive control to achieve significant performance improvements in the presence of uncertainties of large magnitude, a setting in which existing learning-based predictive control algorithms often struggle to guarantee safety. In contrast to previous work in robust adaptive MPC, our approach allows us to take advantage of structure (i.e., the numerical predictions) in the a priori unknown dynamics learned online through function approximation. Our approach also extends typical nonlinear adaptive control methods to systems with state and input constraints even when we cannot directly cancel the additive uncertain function from the dynamics. We apply contemporary statistical estimation techniques to certify the system's safety through persistent constraint satisfaction with high probability. Moreover, we propose using Bayesian meta-learning algorithms that learn calibrated model priors to help satisfy the assumptions of the control design in challenging settings. Finally, we show in simulation that our method can accommodate more significant unknown dynamics terms than existing methods and that the use of Bayesian meta-learning allows us to adapt to the test environments more rapidly.

在训练数据的分布中评估时，学到的模型和政策可以有效地概括，但可以在分布输入输入的情况下产生不可预测且错误的输出。为了避免在部署基于学习的控制算法时分配变化，我们寻求一种机制将代理商限制为类似于受过训练的国家和行动的机制。在控制理论中，Lyapunov稳定性和控制不变的集合使我们能够保证稳定系统周围系统的控制器，而在机器学习中，密度模型使我们能够估算培训数据分布。我们可以将这两个概念结合起来，产生基于学习的控制算法，这些算法仅使用分配动作将系统限制为分布状态？在这项工作中，我们建议通过结合Lyapunov稳定性和密度估计的概念来做到这一点，引入Lyapunov密度模型：控制Lyapunov函数和密度模型的概括，这些函数和密度模型可以保证代理商在其整个轨迹上保持分布的能力。

强化学习（RL）是一种有希望的方法，对现实世界的应用程序取得有限，因为确保安全探索或促进充分利用是控制具有未知模型和测量不确定性的机器人系统的挑战。这种学习问题对于连续空间（状态空间和动作空间）的复杂任务变得更加棘手。在本文中，我们提出了一种由几个方面组成的基于学习的控制框架：（1）线性时间逻辑（LTL）被利用，以便于可以通过无限视野的复杂任务转换为新颖的自动化结构; （2）我们为RL-Agent提出了一种创新的奖励计划，正式保证，使全球最佳政策最大化满足LTL规范的概率; （3）基于奖励塑造技术，我们开发了利用自动机构结构的好处进行了模块化的政策梯度架构来分解整体任务，并促进学习控制器的性能; （4）通过纳入高斯过程（GPS）来估计不确定的动态系统，我们使用指数控制屏障功能（ECBF）综合基于模型的保障措施来解决高阶相对度的问题。此外，我们利用LTL自动化和ECBF的性质来构建引导过程，以进一步提高勘探效率。最后，我们通过多个机器人环境展示了框架的有效性。我们展示了这种基于ECBF的模块化深RL算法在训练期间实现了近乎完美的成功率和保护安全性，并且在训练期间具有很高的概率信心。

在对关键安全环境的强化学习中，通常希望代理在所有时间点（包括培训期间）服从安全性限制。我们提出了一种称为Spice的新型神经符号方法，以解决这个安全的探索问题。与现有工具相比，Spice使用基于符号最弱的先决条件的在线屏蔽层获得更精确的安全性分析，而不会不适当地影响培训过程。我们在连续控制基准的套件上评估了该方法，并表明它可以达到与现有的安全学习技术相当的性能，同时遭受较少的安全性违规行为。此外，我们提出的理论结果表明，在合理假设下，香料会收敛到最佳安全政策。

强化学习（RL）和连续的非线性控制已成功部署在复杂的顺序决策任务的多个领域中。但是，鉴于学习过程的探索性质和模型不确定性的存在，由于缺乏安全保证，将它们应用于安全至关重要的控制任务是一项挑战。另一方面，尽管将控制理论方法与学习算法相结合，但在安全RL应用中显示了希望，但安全数据收集过程的样本效率尚未得到很好的解决。在本文中，我们提出了一个\ emph {可证明的}示例有效的情节安全学习框架，用于在线控制任务，以利用未知的非线性动力学系统来利用安全的探索和剥削。特别是，框架1）在随机设置中扩展控制屏障功能（CBF），以在模型学习过程中实现可证明的高概率安全性，2）整合基于乐观的探索策略，以有效地将安全探索过程与学习的动态有效地指导安全探索过程对于\ emph {接近最佳}控制性能。我们对与理论保证的最佳控制器和概率安全性的偶发性遗憾进行了正式分析。提供了仿真结果以证明所提出算法的有效性和效率。