模型不匹配在现实世界应用中占上风。因此，为具有不确定动态模型的系统设计可靠的安全控制算法很重要。主要的挑战是，不确定性导致难以实时寻找可行的安全控制。现有方法通常简化了问题，例如限制不确定性类型，忽略控制限制或放弃可行性保证。在这项工作中，我们通过为有限国家依赖性的不确定性提出一个强大的安全控制框架来克服这些问题。我们首先通过学习控制控制限制，不确定的安全性索引来保证安全控制不确定动态的可行性。然后，我们证明可以将稳健的安全控制作为凸问题（凸度半侵入编程或二阶锥编程）配制，并提出可以实时运行的相应最佳求解器。此外，我们分析了在未建模的不确定性下何时以及如何保留安全性。实验结果表明，我们的方法成功地发现了针对不同的不确定性实时的可靠安全控制，并且比强大的基线算法要保守得多。

控制系统通常需要满足严格的安全要求。安全指数提供了一种方便的方法来评估系统的安全水平并得出所得的安全控制策略。但是，在控制范围内设计安全指数功能是困难的，需要大量的专家知识。本文提出了一个框架，用于使用方案总和编程合成通用控制系统的安全指数。我们的方法是表明，确保对安全设置边界的安全控制的非空缺等同于当地的多种积极问题。然后，我们证明了这个问题等同于通过代数几何形状的Pitivstellensatz进行编程。我们验证具有不同自由度和地面车辆的机器人臂上的拟议方法。结果表明，合成的安全指数可确保安全性，即使在高维机器人系统中，我们的方法也有效。

本文涉及专业示范的学习安全控制法。我们假设系统动态和输出测量图的适当模型以及相应的错误界限。我们首先提出强大的输出控制屏障功能（ROCBF）作为保证安全的手段，通过控制安全集的前向不变性定义。然后，我们提出了一个优化问题，以从展示安全系统行为的专家演示中学习RocBF，例如，从人类运营商收集的数据。随着优化问题，我们提供可验证条件，可确保获得的Rocbf的有效性。这些条件在数据的密度和学习函数的LipsChitz和Lipshitz和界限常数上说明，以及系统动态和输出测量图的模型。当ROCBF的参数化是线性的，然后，在温和的假设下，优化问题是凸的。我们在自动驾驶模拟器卡拉验证了我们的调查结果，并展示了如何从RGB相机图像中学习安全控制法。

Learning-enabled control systems have demonstrated impressive empirical performance on challenging control problems in robotics, but this performance comes at the cost of reduced transparency and lack of guarantees on the safety or stability of the learned controllers. In recent years, new techniques have emerged to provide these guarantees by learning certificates alongside control policies -- these certificates provide concise, data-driven proofs that guarantee the safety and stability of the learned control system. These methods not only allow the user to verify the safety of a learned controller but also provide supervision during training, allowing safety and stability requirements to influence the training process itself. In this paper, we provide a comprehensive survey of this rapidly developing field of certificate learning. We hope that this paper will serve as an accessible introduction to the theory and practice of certificate learning, both to those who wish to apply these tools to practical robotics problems and to those who wish to dive more deeply into the theory of learning for control.

Safety is one of the biggest concerns to applying reinforcement learning (RL) to the physical world. In its core part, it is challenging to ensure RL agents persistently satisfy a hard state constraint without white-box or black-box dynamics models. This paper presents an integrated model learning and safe control framework to safeguard any agent, where its dynamics are learned as Gaussian processes. The proposed theory provides (i) a novel method to construct an offline dataset for model learning that best achieves safety requirements; (ii) a parameterization rule for safety index to ensure the existence of safe control; (iii) a safety guarantee in terms of probabilistic forward invariance when the model is learned using the aforementioned dataset. Simulation results show that our framework guarantees almost zero safety violation on various continuous control tasks.

对于多面体之间的障碍物躲避开发的控制器是在狭小的空间导航一个具有挑战性的和必要的问题。传统的方法只能制定的避障问题，因为离线优化问题。为了应对这些挑战，我们提出用非光滑控制屏障功能多面体之间的避障，它可以实时与基于QP的优化问题来解决基于二元安全关键最优控制。一种双优化问题被引入到表示被施加到构造控制屏障功能多面体和用于双形式的拉格朗日函数之间的最小距离。我们验证了避开障碍物与在走廊环境受控的L形（沙发形）机器人建议的双配制剂。据我们所知，这是第一次，实时紧避障与非保守的演习是在移动沙发（钢琴）与非线性动力学问题来实现的。

机器人等系统的安全操作要求它们计划和执行受安全约束的轨迹。当这些系统受到动态的不确定性的影响时，确保不违反限制是具有挑战性的。本文提出了基于受约束差分动态规划（DDP）的附加不确定性和非线性安全约束的安全轨迹，安全轨迹优化和控制方法。在其运动中的机器人的安全性被制定为机会限制了用户所选择的约束满足的概率。通过约束收紧将机会约束转换为DDP制剂中的确定性。为了避免在约束期间的过保守，从受约束的DDP导出的反馈策略的线性控制增益用于预测中的闭环不确定性传播的近似。所提出的算法在三种不同的机器人动态上进行了经验评估，模拟中具有高达12度的自由度。使用物理硬件实现对方法的计算可行性和适用性进行了说明。

行动调速器是标称控制循环的附加方案，该方案监视和调整控制措施以强制执行以端加状态和控制约束表示的安全规范。在本文中，我们介绍了系统的强大动作调速器（RAG），该动力学可以使用具有参数和加法不确定性的离散时间分段仿射（PWA）模型来表示，并受到非convex约束。我们开发了抹布的理论属性和计算方法。之后，我们介绍了抹布来实现安全加强学习（RL），即确保在线RL勘探和探索过程中的历史约束满意度。该开发使控制策略的安全实时演变和适应操作环境和系统参数的变化（由于老化，损坏等）。我们通过考虑将其应用于质量 - 弹簧式抑制系统的软地面问题来说明抹布在约束执法和安全RL中的有效性。

基于学习的控制方案最近表现出了出色的效力执行复杂的任务。但是，为了将它们部署在实际系统中，保证该系统在在线培训和执行过程中将保持安全至关重要。因此，我们需要安全的在线学习框架，能够自主地理论当前的信息是否足以确保安全或需要新的测量。在本文中，我们提出了一个由两个部分组成的框架：首先，在需要时积极收集测量的隔离外检测机制，以确保至少一个安全备份方向始终可供使用；其次，基于高斯的基于过程的概率安全 - 关键控制器可确保系统始终保持安全的可能性。我们的方法通过使用控制屏障功能来利用模型知识，并以事件触发的方式从在线数据流中收集测量，以确保学习的安全至关重要控制器的递归可行性。反过来，这又使我们能够提供具有很高概率的安全集的正式结果，即使在先验未开发的区域中也是如此。最后，我们在自适应巡航控制系统的数值模拟中验证了所提出的框架。

具有安全行为的赋予非线性系统在现代控制中越来越重要。对于必须在动态变化的环境中安全运行的现实生活控制系统，此任务尤其具有挑战性。本文通过建立环境控制障碍功能（ECBFS）的概念，在动态环境中开发了一种安全关键控制框架。即使在输入延迟存在下，该框架也能够保证安全性，通过占系统延迟响应期间环境的演变。潜在的控制合成依赖于预测系统的未来状态和延迟间隔通过延迟间隔，具有稳健的安全保证预测误差。通过简单的自适应巡航控制问题和更复杂的机器人应用在SEGWAY平台上证明了所提出的方法的功效。

基于控制屏障功能（CBF）的安全过滤器已成为自治系统安全至关重要控制的实用工具。这些方法通过价值函数编码安全性，并通过对该值函数的时间导数施加限制来执行安全。但是，在存在输入限制的情况下合成并非过于保守的有效CBF是一个臭名昭著的挑战。在这项工作中，我们建议使用正式验证方法提炼候选CBF，以获得有效的CBF。特别是，我们使用基于动态编程（DP）的可及性分析更新专家合成或备份CBF。我们的框架RefineCBF保证，在每次DP迭代中，获得的CBF至少与先前的迭代一样安全，并收集到有效的CBF。因此，RefineCBF可用于机器人系统。我们证明了我们在模拟中使用各种CBF合成技术来增强安全性和/或降低一系列非线性控制型系统系统的保守性的实用性。

本文开发了一种基于模型的强化学习（MBR）框架，用于在线在线学习无限范围最佳控制问题的价值函数，同时遵循表示为控制屏障功能（CBFS）的安全约束。我们的方法是通过开发一种新型的CBFS，称为Lyapunov样CBF（LCBF），其保留CBFS的有益特性，以开发最微创的安全控制政策，同时也具有阳性半自动等所需的Lyapunov样品质 - 义法。我们展示这些LCBFS如何用于增强基于学习的控制策略，以保证安全性，然后利用这种方法在MBRL设置中开发安全探索框架。我们表明，我们的开发方法可以通过各种数值示例来处理比较法的更通用的安全限制。

Safety critical systems involve the tight coupling between potentially conflicting control objectives and safety constraints. As a means of creating a formal framework for controlling systems of this form, and with a view toward automotive applications, this paper develops a methodology that allows safety conditions-expressed as control barrier functionsto be unified with performance objectives-expressed as control Lyapunov functions-in the context of real-time optimizationbased controllers. Safety conditions are specified in terms of forward invariance of a set, and are verified via two novel generalizations of barrier functions; in each case, the existence of a barrier function satisfying Lyapunov-like conditions implies forward invariance of the set, and the relationship between these two classes of barrier functions is characterized. In addition, each of these formulations yields a notion of control barrier function (CBF), providing inequality constraints in the control input that, when satisfied, again imply forward invariance of the set. Through these constructions, CBFs can naturally be unified with control Lyapunov functions (CLFs) in the context of a quadratic program (QP); this allows for the achievement of control objectives (represented by CLFs) subject to conditions on the admissible states of the system (represented by CBFs). The mediation of safety and performance through a QP is demonstrated on adaptive cruise control and lane keeping, two automotive control problems that present both safety and performance considerations coupled with actuator bounds.

受到控制障碍功能（CBF）在解决安全性方面的成功以及数据驱动技术建模功能的兴起的启发，我们提出了一种使用高斯流程（GPS）在线合成CBF的非参数方法。 CBF等数学结构通过先验设计候选功能来实现安全性。但是，设计这样的候选功能可能具有挑战性。这种设置的一个实际示例是在需要确定安全且可导航区域的灾难恢复方案中设计CBF。在这样的示例中，安全性边界未知，不能先验设计。在我们的方法中，我们使用安全样本或观察结果来在线构建CBF，通过在这些样品上具有灵活的GP，并称我们为高斯CBF的配方。除非参数外，例如分析性障碍性和稳健的不确定性估计，GP具有有利的特性。这允许通过合并方差估计来实现具有高安全性保证的后部组件，同时还计算封闭形式中相关的部分导数以实现安全控制。此外，我们方法的合成安全函数允许根据数据任意更改相应的安全集，从而允许非Convex安全集。我们通过证明对固定但任意的安全集和避免碰撞的安全性在线构建安全集的安全控制，从而在四极管上验证了我们的方法。最后，我们将高斯CBF与常规的CBF并列，在嘈杂状态下，以突出其灵活性和对噪声的鲁棒性。实验视频可以在：https：//youtu.be/hx6uokvcigk上看到。

这项工作为时间延迟系统的安全关键控制提供了一个理论框架。控制屏障功能的理论可为无延迟系统提供正式安全保证，扩展到具有状态延迟的系统。引入了控制屏障功能的概念，以实现正式的安全保证，该概念通过在无限尺寸状态空间中定义的安全集的向前不变性。所提出的框架能够在动态和安全状态下处理多个延迟和分布式延迟，并对可证明安全性的控制输入提供了仿射约束。该约束可以纳入优化问题，以合成最佳和可证明的安全控制器。该方法的适用性通过数值仿真示例证明。

Designing safety-critical control for robotic manipulators is challenging, especially in a cluttered environment. First, the actual trajectory of a manipulator might deviate from the planned one due to the complex collision environments and non-trivial dynamics, leading to collision; Second, the feasible space for the manipulator is hard to obtain since the explicit distance functions between collision meshes are unknown. By analyzing the relationship between the safe set and the controlled invariant set, this paper proposes a data-driven control barrier function (CBF) construction method, which extracts CBF from distance samples. Specifically, the CBF guarantees the controlled invariant property for considering the system dynamics. The data-driven method samples the distance function and determines the safe set. Then, the CBF is synthesized based on the safe set by a scenario-based sum of square (SOS) program. Unlike most existing linearization based approaches, our method reserves the volume of the feasible space for planning without approximation, which helps find a solution in a cluttered environment. The control law is obtained by solving a CBF-based quadratic program in real time, which works as a safe filter for the desired planning-based controller. Moreover, our method guarantees safety with the proven probabilistic result. Our method is validated on a 7-DOF manipulator in both real and virtual cluttered environments. The experiments show that the manipulator is able to execute tasks where the clearance between obstacles is in millimeters.

本文提出了一种基于匹配不确定性的非线性系统的收缩指标和干扰估计的轨迹中心学习控制方法。该方法允许使用广泛的模型学习工具，包括深神经网络，以学习不确定的动态，同时仍然在整个学习阶段提供瞬态跟踪性能的保证，包括没有学习的特殊情况。在所提出的方法中，提出了一种扰动估计法，以估计不确定性的点值，具有预计估计误差限制（EEB）。学习的动态，估计的紊乱和EEB在强大的黎曼能量条件下并入，以计算控制法，即使学习模型较差，也能保证在整个学习阶段的所需轨迹对所需轨迹的指数趋同。另一方面，具有改进的精度，学习的模型可以在高级计划器中结合，以规划更好的性能，例如降低能耗和更短的旅行时间。建议的框架在平面Quadrotor导航示例上验证。

强化学习（RL）和连续的非线性控制已成功部署在复杂的顺序决策任务的多个领域中。但是，鉴于学习过程的探索性质和模型不确定性的存在，由于缺乏安全保证，将它们应用于安全至关重要的控制任务是一项挑战。另一方面，尽管将控制理论方法与学习算法相结合，但在安全RL应用中显示了希望，但安全数据收集过程的样本效率尚未得到很好的解决。在本文中，我们提出了一个\ emph {可证明的}示例有效的情节安全学习框架，用于在线控制任务，以利用未知的非线性动力学系统来利用安全的探索和剥削。特别是，框架1）在随机设置中扩展控制屏障功能（CBF），以在模型学习过程中实现可证明的高概率安全性，2）整合基于乐观的探索策略，以有效地将安全探索过程与学习的动态有效地指导安全探索过程对于\ emph {接近最佳}控制性能。我们对与理论保证的最佳控制器和概率安全性的偶发性遗憾进行了正式分析。提供了仿真结果以证明所提出算法的有效性和效率。

过去半年来，从控制和强化学习社区的真实机器人部署的安全学习方法的贡献数量急剧上升。本文提供了一种简洁的但整体审查，对利用机器学习实现的最新进展，以实现在不确定因素下的安全决策，重点是统一控制理论和加固学习研究中使用的语言和框架。我们的评论包括：基于学习的控制方法，通过学习不确定的动态，加强学习方法，鼓励安全或坚固性的加固学习方法，以及可以正式证明学习控制政策安全的方法。随着基于数据和学习的机器人控制方法继续获得牵引力，研究人员必须了解何时以及如何最好地利用它们在安全势在必行的现实情景中，例如在靠近人类的情况下操作时。我们突出了一些开放的挑战，即将在未来几年推动机器人学习领域，并强调需要逼真的物理基准的基准，以便于控制和加固学习方法之间的公平比较。

This paper provides an introduction and overview of recent work on control barrier functions and their use to verify and enforce safety properties in the context of (optimization based) safety-critical controllers. We survey the main technical results and discuss applications to several domains including robotic systems.