Safety is one of the biggest concerns to applying reinforcement learning (RL) to the physical world. In its core part, it is challenging to ensure RL agents persistently satisfy a hard state constraint without white-box or black-box dynamics models. This paper presents an integrated model learning and safe control framework to safeguard any agent, where its dynamics are learned as Gaussian processes. The proposed theory provides (i) a novel method to construct an offline dataset for model learning that best achieves safety requirements; (ii) a parameterization rule for safety index to ensure the existence of safe control; (iii) a safety guarantee in terms of probabilistic forward invariance when the model is learned using the aforementioned dataset. Simulation results show that our framework guarantees almost zero safety violation on various continuous control tasks.

安全是使用强化学习（RL）控制复杂动态系统的主要考虑，其中安全证书可以提供可提供的安全保证。有效的安全证书是指示安全状态具有低能量的能量功能，存在相应的安全控制策略，允许能量函数始终消散。安全证书和安全控制政策彼此密切相关，并挑战合成。因此，现有的基于学习的研究将它们中的任何一种视为先验知识，以便学习另一个知识，这限制了它们与一般未知动态的适用性。本文提出了一种新的方法，同时综合基于能量函数的安全证书，并使用CRL学习安全控制策略。我们不依赖于有关基于型号的控制器或完美的安全证书的先验知识。特别是，我们通过最小化能量增加，制定损耗功能来优化安全证书参数。通过将此优化过程作为外循环添加到基于拉格朗日的受限增强学习（CRL），我们共同更新策略和安全证书参数，并证明他们将收敛于各自的本地Optima，最佳安全政策和有效的安全性证书。我们在多个安全关键基准环境中评估我们的算法。结果表明，该算法学习无限制违规的可信安全的政策。合成安全证书的有效性或可行性也在数值上进行了验证。

Reinforcement learning is a powerful paradigm for learning optimal policies from experimental data. However, to find optimal policies, most reinforcement learning algorithms explore all possible actions, which may be harmful for real-world systems. As a consequence, learning algorithms are rarely applied on safety-critical systems in the real world. In this paper, we present a learning algorithm that explicitly considers safety, defined in terms of stability guarantees. Specifically, we extend control-theoretic results on Lyapunov stability verification and show how to use statistical models of the dynamics to obtain high-performance control policies with provable stability certificates. Moreover, under additional regularity assumptions in terms of a Gaussian process prior, we prove that one can effectively and safely collect data in order to learn about the dynamics and thus both improve control performance and expand the safe region of the state space. In our experiments, we show how the resulting algorithm can safely optimize a neural network policy on a simulated inverted pendulum, without the pendulum ever falling down.

Safe reinforcement learning (RL) with assured satisfaction of hard state constraints during training has recently received a lot of attention. Safety filters, e.g., based on control barrier functions (CBFs), provide a promising way for safe RL via modifying the unsafe actions of an RL agent on the fly. Existing safety filter-based approaches typically involve learning of uncertain dynamics and quantifying the learned model error, which leads to conservative filters before a large amount of data is collected to learn a good model, thereby preventing efficient exploration. This paper presents a method for safe and efficient model-free RL using disturbance observers (DOBs) and control barrier functions (CBFs). Unlike most existing safe RL methods that deal with hard state constraints, our method does not involve model learning, and leverages DOBs to accurately estimate the pointwise value of the uncertainty, which is then incorporated into a robust CBF condition to generate safe actions. The DOB-based CBF can be used as a safety filter with any model-free RL algorithms by minimally modifying the actions of an RL agent whenever necessary to ensure safety throughout the learning process. Simulation results on a unicycle and a 2D quadrotor demonstrate that the proposed method outperforms a state-of-the-art safe RL algorithm using CBFs and Gaussian processes-based model learning, in terms of safety violation rate, and sample and computational efficiency.

过去半年来，从控制和强化学习社区的真实机器人部署的安全学习方法的贡献数量急剧上升。本文提供了一种简洁的但整体审查，对利用机器学习实现的最新进展，以实现在不确定因素下的安全决策，重点是统一控制理论和加固学习研究中使用的语言和框架。我们的评论包括：基于学习的控制方法，通过学习不确定的动态，加强学习方法，鼓励安全或坚固性的加固学习方法，以及可以正式证明学习控制政策安全的方法。随着基于数据和学习的机器人控制方法继续获得牵引力，研究人员必须了解何时以及如何最好地利用它们在安全势在必行的现实情景中，例如在靠近人类的情况下操作时。我们突出了一些开放的挑战，即将在未来几年推动机器人学习领域，并强调需要逼真的物理基准的基准，以便于控制和加固学习方法之间的公平比较。

在将强化学习（RL）部署到现实世界系统中时，确保安全是一个至关重要的挑战。我们开发了基于置信的安全过滤器，这是一种基于概率动力学模型的标准RL技术，通过标准RL技术学到的名义策略来证明国家安全限制的控制理论方法。我们的方法基于对成本功能的国家约束的重新重新制定，从而将安全验证减少到标准RL任务。通过利用幻觉输入的概念，我们扩展了此公式，以确定对具有很高可能性的未知系统安全的“备份”策略。最后，在推出备用政策期间的每一个时间步骤中，标称政策的调整最少，以便以后可以保证安全恢复。我们提供正式的安全保证，并从经验上证明我们方法的有效性。

安全勘探是在安全关键系统中应用强化学习（RL）的关键。现有的安全勘探方法在规律的假设下保证安全，并且很难将它们应用于大规模的真正问题。我们提出了一种新颖的算法，SPO-LF，它们优化代理的策略，同时学习通过传感器和环境奖励/安全使用的本地可用功能与使用广义线性函数近似之间的关系。我们提供了对其安全性和最优性的理论保障。我们通过实验表明，我们的算法在样本复杂性和计算成本方面更有效，2）更适用于比以前的安全RL方法具有理论保证的方法，以及3）与现有的相当相当的样本和更安全。具有安全限制的高级深度RL方法。

在安全关键方案中利用自主系统需要在存在影响系统动态的不确定性和黑匣子组件存在下验证其行为。在本文中，我们开发了一个框架，用于验证部分可观察到的离散时间动态系统，从给定的输入输出数据集中具有针对时间逻辑规范的未暗模式可分散的动态系统。验证框架采用高斯进程（GP）回归，以了解数据集中的未知动态，并将连续空间系统抽象为有限状态，不确定的马尔可夫决策过程（MDP）。这种抽象依赖于通过使用可重复的内核Hilbert空间分析以及通过离散化引起的不确定性来捕获由于GP回归中的错误而捕获不确定性的过渡概率间隔。该框架利用现有的模型检查工具来验证对给定时间逻辑规范的不确定MDP抽象。我们建立将验证结果扩展到潜在部分可观察系统的抽象结果的正确性。我们表明框架的计算复杂性在数据集和离散抽象的大小中是多项式。复杂性分析说明了验证结果质量与处理较大数据集和更精细抽象的计算负担之间的权衡。最后，我们展示了我们的学习和验证框架在具有线性，非线性和切换动力系统的几种案例研究中的功效。

除了最大化奖励目标之外，现实世界中的强化学习（RL）代理商必须满足安全限制。基于模型的RL算法占据了减少不安全的现实世界行动的承诺：它们可以合成使用来自学习模型的模拟样本遵守所有约束的策略。但是，即使对于预测满足所有约束的操作，甚至可能导致真实的结构违规。我们提出了保守和自适应惩罚（CAP），一种基于模型的安全RL框架，其通过捕获模型不确定性并自适应利用它来平衡奖励和成本目标来占潜在的建模错误。首先，CAP利用基于不确定性的惩罚来膨胀预测成本。从理论上讲，我们展示了满足这种保守成本约束的政策，也可以保证在真正的环境中是可行的。我们进一步表明，这保证了在RL培训期间所有中间解决方案的安全性。此外，在使用环境中使用真正的成本反馈，帽子在培训期间自适应地调整这种惩罚。我们在基于状态和基于图像的环境中，评估了基于模型的安全RL的保守和自适应惩罚方法。我们的结果表明了样品效率的大量收益，同时产生比现有安全RL算法更少的违规行为。代码可用：https://github.com/redrew/cap

强化学习（RL）是一种有希望的方法，对现实世界的应用程序取得有限，因为确保安全探索或促进充分利用是控制具有未知模型和测量不确定性的机器人系统的挑战。这种学习问题对于连续空间（状态空间和动作空间）的复杂任务变得更加棘手。在本文中，我们提出了一种由几个方面组成的基于学习的控制框架：（1）线性时间逻辑（LTL）被利用，以便于可以通过无限视野的复杂任务转换为新颖的自动化结构; （2）我们为RL-Agent提出了一种创新的奖励计划，正式保证，使全球最佳政策最大化满足LTL规范的概率; （3）基于奖励塑造技术，我们开发了利用自动机构结构的好处进行了模块化的政策梯度架构来分解整体任务，并促进学习控制器的性能; （4）通过纳入高斯过程（GPS）来估计不确定的动态系统，我们使用指数控制屏障功能（ECBF）综合基于模型的保障措施来解决高阶相对度的问题。此外，我们利用LTL自动化和ECBF的性质来构建引导过程，以进一步提高勘探效率。最后，我们通过多个机器人环境展示了框架的有效性。我们展示了这种基于ECBF的模块化深RL算法在训练期间实现了近乎完美的成功率和保护安全性，并且在训练期间具有很高的概率信心。

在强化学习（RL）的试验和错误机制中，我们期望学习安全的政策时出现臭名昭着的矛盾：如何学习没有足够数据和关于危险区域的先前模型的安全政策？现有方法主要使用危险行动的后期惩罚，这意味着代理人不会受到惩罚，直到体验危险。这一事实导致代理商也无法在收敛之后学习零违规政策。否则，它不会收到任何惩罚并失去有关危险的知识。在本文中，我们提出了安全设置的演员 - 评论家（SSAC）算法，它使用面向安全的能量函数或安全索引限制了策略更新。安全索引旨在迅速增加，以便潜在的危险行动，这使我们能够在动作空间上找到安全设置，或控制安全集。因此，我们可以在服用它们之前识别危险行为，并在收敛后进一步获得零限制违规政策。我们声称我们可以以类似于学习价值函数的无模型方式学习能量函数。通过使用作为约束目标的能量函数转变，我们制定了受约束的RL问题。我们证明我们基于拉格朗日的解决方案确保学习的政策将收敛到某些假设下的约束优化。在复杂的模拟环境和硬件循环（HIL）实验中评估了所提出的算法，具有来自自动车辆的真实控制器。实验结果表明，所有环境中的融合政策达到了零限制违规和基于模型的基线的相当性能。

强化学习（RL）控制器在控制社区中产生了兴奋。 RL控制器相对于现有方法的主要优点是它们能够优化不确定的系统，独立于明确假设过程不确定性。最近对工程应用的关注是针对安全RL控制器的发展。以前的作品已经提出了通过从随机模型预测控制领域的限制收紧来解释约束满足的方法。在这里，我们将这些方法扩展到植物模型不匹配。具体地，我们提出了一种利用离线仿真模型的高斯过程的数据驱动方法，并使用相关的后部不确定预测来解释联合机会限制和植物模型不匹配。该方法通过案例研究反对非线性模型预测控制的基准测试。结果证明了方法理解过程不确定性的能力，即使在植物模型错配的情况下也能满足联合机会限制。

政策梯度（PG）算法是备受期待的强化学习对现实世界控制任务（例如机器人技术）的最佳候选人之一。但是，每当必须在物理系统上执行学习过程本身或涉及任何形式的人类计算机相互作用时，这些方法的反复试验性质就会提出安全问题。在本文中，我们解决了一种特定的安全公式，其中目标和危险都以标量奖励信号进行编码，并且学习代理被限制为从不恶化其性能，以衡量为预期的奖励总和。通过从随机优化的角度研究仅行为者的政策梯度，我们为广泛的参数政策建立了改进保证，从而将现有结果推广到高斯政策上。这与策略梯度估计器的差异的新型上限一起，使我们能够识别出具有很高概率的单调改进的元参数计划。两个关键的元参数是参数更新的步长和梯度估计的批处理大小。通过对这些元参数的联合自适应选择，我们获得了具有单调改进保证的政策梯度算法。

基于学习的控制方案最近表现出了出色的效力执行复杂的任务。但是，为了将它们部署在实际系统中，保证该系统在在线培训和执行过程中将保持安全至关重要。因此，我们需要安全的在线学习框架，能够自主地理论当前的信息是否足以确保安全或需要新的测量。在本文中，我们提出了一个由两个部分组成的框架：首先，在需要时积极收集测量的隔离外检测机制，以确保至少一个安全备份方向始终可供使用；其次，基于高斯的基于过程的概率安全 - 关键控制器可确保系统始终保持安全的可能性。我们的方法通过使用控制屏障功能来利用模型知识，并以事件触发的方式从在线数据流中收集测量，以确保学习的安全至关重要控制器的递归可行性。反过来，这又使我们能够提供具有很高概率的安全集的正式结果，即使在先验未开发的区域中也是如此。最后，我们在自适应巡航控制系统的数值模拟中验证了所提出的框架。

控制系统通常需要满足严格的安全要求。安全指数提供了一种方便的方法来评估系统的安全水平并得出所得的安全控制策略。但是，在控制范围内设计安全指数功能是困难的，需要大量的专家知识。本文提出了一个框架，用于使用方案总和编程合成通用控制系统的安全指数。我们的方法是表明，确保对安全设置边界的安全控制的非空缺等同于当地的多种积极问题。然后，我们证明了这个问题等同于通过代数几何形状的Pitivstellensatz进行编程。我们验证具有不同自由度和地面车辆的机器人臂上的拟议方法。结果表明，合成的安全指数可确保安全性，即使在高维机器人系统中，我们的方法也有效。

安全的加强学习（RL）旨在学习在将其部署到关键安全应用程序中之前满足某些约束的政策。以前的原始双重风格方法遭受了不稳定性问题的困扰，并且缺乏最佳保证。本文从概率推断的角度克服了问题。我们在政策学习过程中介绍了一种新颖的期望最大化方法来自然纳入约束：1）在凸优化（E-step）后，可以以封闭形式计算可证明的最佳非参数变异分布； 2）基于最佳变异分布（M-step），在信任区域内改进了策略参数。提出的算法将安全的RL问题分解为凸优化阶段和监督学习阶段，从而产生了更稳定的培训性能。对连续机器人任务进行的广泛实验表明，所提出的方法比基线获得了更好的约束满意度和更好的样品效率。该代码可在https://github.com/liuzuxin/cvpo-safe-rl上找到。

强化学习（RL）和连续的非线性控制已成功部署在复杂的顺序决策任务的多个领域中。但是，鉴于学习过程的探索性质和模型不确定性的存在，由于缺乏安全保证，将它们应用于安全至关重要的控制任务是一项挑战。另一方面，尽管将控制理论方法与学习算法相结合，但在安全RL应用中显示了希望，但安全数据收集过程的样本效率尚未得到很好的解决。在本文中，我们提出了一个\ emph {可证明的}示例有效的情节安全学习框架，用于在线控制任务，以利用未知的非线性动力学系统来利用安全的探索和剥削。特别是，框架1）在随机设置中扩展控制屏障功能（CBF），以在模型学习过程中实现可证明的高概率安全性，2）整合基于乐观的探索策略，以有效地将安全探索过程与学习的动态有效地指导安全探索过程对于\ emph {接近最佳}控制性能。我们对与理论保证的最佳控制器和概率安全性的偶发性遗憾进行了正式分析。提供了仿真结果以证明所提出算法的有效性和效率。

强大的增强学习（RL）的目的是学习一项与模型参数不确定性的强大策略。由于模拟器建模错误，随着时间的推移，现实世界系统动力学的变化以及对抗性干扰，参数不确定性通常发生在许多现实世界中的RL应用中。强大的RL通常被称为最大问题问题，其目的是学习最大化价值与不确定性集合中最坏可能的模型的策略。在这项工作中，我们提出了一种称为鲁棒拟合Q-材料（RFQI）的强大RL算法，该算法仅使用离线数据集来学习最佳稳健策略。使用离线数据的强大RL比其非持续性对应物更具挑战性，因为在强大的Bellman运营商中所有模型的最小化。这在离线数据收集，对模型的优化以及公正的估计中构成了挑战。在这项工作中，我们提出了一种系统的方法来克服这些挑战，从而导致了我们的RFQI算法。我们证明，RFQI在标准假设下学习了一项近乎最佳的强大政策，并证明了其在标准基准问题上的出色表现。

在本文中，我们研究了加强学习问题的安全政策的学习。这是，我们的目标是控制我们不知道过渡概率的马尔可夫决策过程（MDP），但我们通过经验访问样品轨迹。我们将安全性定义为在操作时间内具有高概率的期望安全集中的代理。因此，我们考虑受限制的MDP，其中限制是概率。由于没有直接的方式来优化关于加强学习框架中的概率约束的政策，因此我们提出了对问题的遍历松弛。拟议的放松的优点是三倍。 （i）安全保障在集界任务的情况下保持，并且它们保持在一个给定的时间范围内，以继续进行任务。 （ii）如果政策的参数化足够丰富，则约束优化问题尽管其非凸起具有任意小的二元间隙。 （iii）可以使用标准策略梯度结果和随机近似工具容易地计算与安全学习问题相关的拉格朗日的梯度。利用这些优势，我们建立了原始双算法能够找到安全和最佳的政策。我们在连续域中的导航任务中测试所提出的方法。数值结果表明，我们的算法能够将策略动态调整到环境和所需的安全水平。

在钢筋学习（RL）中，代理必须探索最初未知的环境，以便学习期望的行为。当RL代理部署在现实世界环境中时，安全性是主要关注的。受约束的马尔可夫决策过程（CMDPS）可以提供长期的安全约束;但是，该代理人可能会违反探索其环境的制约因素。本文提出了一种称为显式探索，漏洞探索或转义（$ e ^ {4} $）的基于模型的RL算法，它将显式探索或利用（$ e ^ {3} $）算法扩展到强大的CMDP设置。 $ e ^ 4 $明确地分离开发，探索和逃脱CMDP，允许针对已知状态的政策改进的有针对性的政策，发现未知状态，以及安全返回到已知状态。 $ e ^ 4 $强制优化了从一组CMDP模型的最坏情况CMDP上的这些策略，该模型符合部署环境的经验观察。理论结果表明，在整个学习过程中满足安全限制的情况下，在多项式时间中找到近最优的约束政策。我们讨论了稳健约束的离线优化算法，以及如何基于经验推理和先验知识来结合未知状态过渡动态的不确定性。