我们开发了一种新型的可区分预测控制（DPC），并根据控制屏障功能确保安全性和鲁棒性保证。DPC是一种基于学习的方法，用于获得近似解决方案，以解决明确的模型预测控制（MPC）问题。在DPC中，通过自动分化MPC问题获得的直接策略梯度，通过直接策略梯度进行了脱机优化的预测控制策略。所提出的方法利用了一种新形式的采样数据屏障功能，以在DPC设置中执行离线和在线安全要求，同时仅中断安全集合边界附近的基于神经网络的控制器。在模拟中证明了拟议方法的有效性。

控制屏障功能（CBF）已被证明是非线性系统安全至关重要控制器设计的强大工具。现有的设计范式不能解决理论（具有连续时间模型的控制器设计）和实践（所得控制器的离散时间采样实现）之间的差距；这可能导致性能不佳，并且违反了硬件实例化的安全性。我们提出了一种方法，通过将采样DATA对应物合成与这些基于CBF的控制器的方法，使用近似离散的时间模型和采样DATA控制屏障函数（SD-CBFS）。使用系统连续时间模型的属性，我们建立了SD-CBF与采样数据系统的实际安全概念之间的关系。此外，我们构建了基于凸优化的控制器，该控制器正式将非线性系统赋予实践中的安全保证。我们证明了这些控制器在模拟中的功效。

本文开发了一种基于模型的强化学习（MBR）框架，用于在线在线学习无限范围最佳控制问题的价值函数，同时遵循表示为控制屏障功能（CBFS）的安全约束。我们的方法是通过开发一种新型的CBFS，称为Lyapunov样CBF（LCBF），其保留CBFS的有益特性，以开发最微创的安全控制政策，同时也具有阳性半自动等所需的Lyapunov样品质 - 义法。我们展示这些LCBFS如何用于增强基于学习的控制策略，以保证安全性，然后利用这种方法在MBRL设置中开发安全探索框架。我们表明，我们的开发方法可以通过各种数值示例来处理比较法的更通用的安全限制。

基于学习的控制器，例如神经网络（NN）控制器，可以表现出很高的经验性能，但缺乏正式的安全保证。为了解决此问题，已将控制屏障功能（CBF）应用于安全过滤器，以监视和修改基于学习的控制器的输出，以确保闭环系统的安全性。但是，这种修饰可能是近视的，具有不可预测的长期影响。在这项工作中，我们提出了一个安全的NN控制器，该控制器采用了基于CBF的可区分安全层，并研究了基于学习的控制中安全的NN控制器的性能。具体而言，比较了两个控制器的公式：一个是基于投影的，另一个依赖于我们提出的集合理论参数化。两种方法都证明了在数值实验中使用CBF作为单独的安全滤波器的改进的闭环性能。

Learning-enabled control systems have demonstrated impressive empirical performance on challenging control problems in robotics, but this performance comes at the cost of reduced transparency and lack of guarantees on the safety or stability of the learned controllers. In recent years, new techniques have emerged to provide these guarantees by learning certificates alongside control policies -- these certificates provide concise, data-driven proofs that guarantee the safety and stability of the learned control system. These methods not only allow the user to verify the safety of a learned controller but also provide supervision during training, allowing safety and stability requirements to influence the training process itself. In this paper, we provide a comprehensive survey of this rapidly developing field of certificate learning. We hope that this paper will serve as an accessible introduction to the theory and practice of certificate learning, both to those who wish to apply these tools to practical robotics problems and to those who wish to dive more deeply into the theory of learning for control.

本文涉及专业示范的学习安全控制法。我们假设系统动态和输出测量图的适当模型以及相应的错误界限。我们首先提出强大的输出控制屏障功能（ROCBF）作为保证安全的手段，通过控制安全集的前向不变性定义。然后，我们提出了一个优化问题，以从展示安全系统行为的专家演示中学习RocBF，例如，从人类运营商收集的数据。随着优化问题，我们提供可验证条件，可确保获得的Rocbf的有效性。这些条件在数据的密度和学习函数的LipsChitz和Lipshitz和界限常数上说明，以及系统动态和输出测量图的模型。当ROCBF的参数化是线性的，然后，在温和的假设下，优化问题是凸的。我们在自动驾驶模拟器卡拉验证了我们的调查结果，并展示了如何从RGB相机图像中学习安全控制法。

Safety critical systems involve the tight coupling between potentially conflicting control objectives and safety constraints. As a means of creating a formal framework for controlling systems of this form, and with a view toward automotive applications, this paper develops a methodology that allows safety conditions-expressed as control barrier functionsto be unified with performance objectives-expressed as control Lyapunov functions-in the context of real-time optimizationbased controllers. Safety conditions are specified in terms of forward invariance of a set, and are verified via two novel generalizations of barrier functions; in each case, the existence of a barrier function satisfying Lyapunov-like conditions implies forward invariance of the set, and the relationship between these two classes of barrier functions is characterized. In addition, each of these formulations yields a notion of control barrier function (CBF), providing inequality constraints in the control input that, when satisfied, again imply forward invariance of the set. Through these constructions, CBFs can naturally be unified with control Lyapunov functions (CLFs) in the context of a quadratic program (QP); this allows for the achievement of control objectives (represented by CLFs) subject to conditions on the admissible states of the system (represented by CBFs). The mediation of safety and performance through a QP is demonstrated on adaptive cruise control and lane keeping, two automotive control problems that present both safety and performance considerations coupled with actuator bounds.

在最近的文献中，学习方法与模型预测控制（MPC）的结合吸引了大量关注。这种组合的希望是减少MPC方案对准确模型的依赖，并利用快速开发的机器学习和强化学习工具，以利用许多系统可用的数据量。特别是，增强学习和MPC的结合已被认为是一种可行且理论上合理的方法，以引入可解释的，安全和稳定的政策，以实现强化学习。但是，一种正式的理论详细介绍了如何通过学习工具提供的参数更新来维持基于MPC的策略的安全性和稳定性。本文解决了这一差距。该理论是针对通用的强大MPC案例开发的，并在基于强大的管线MPC情况的模拟中应用，在该情况下，该理论在实践中很容易部署。本文着重于增强学习作为学习工具，但它适用于任何在线更新MPC参数的学习方法。

控制屏障功能（CBFS）已成为强制执行控制系统安全的流行工具。CBFS通常用于二次程序配方（CBF-QP）作为安全关键限制。CBFS中的$ \ Mathcal {K} $函数通常需要手动调整，以平衡每个环境的性能和安全之间的权衡。然而，这个过程通常是启发式的并且可以对高相对度系统进行棘手。此外，它可以防止CBF-QP概括到现实世界中的不同环境。通过将CBF-QP的优化过程嵌入深度学习架构中的可差异化层，我们提出了一种可分辨率的优化的安全性关键控制框架，使得具有前向不变性的新环境的泛化。最后，我们在各种环境中使用2D双层集成器系统验证了所提出的控制设计。

本文介绍了可怜的高阶控制屏障功能（CBF），即结束于最终的可训练以及学习系统。CBFS通常是过于保守的，同时保证安全。在这里，我们通过使用环境依赖性软化它们的定义来解决它们的保守性，而不会损失安全保证，并将其嵌入到可分辨率的二次方案中。这些新颖的安全层称为巴里斯网，可以与任何基于神经网络的控制器结合使用，并且可以通过梯度下降训练。Barriernet允许神经控制器的安全约束适应改变环境。我们在一系列控制问题上进行评估，例如2D和3D空间中的交通合并和机器人导航，并与最先进的方法相比，证明其有效性。

基于二次程序（QP）基于状态反馈控制器，其不等式约束以控制障碍（CBFS）和Lyapunov函数的限制使用类-U \ Mathcal {K k} $函数其值的值，对其值的函数，对其值的参数敏感这些类 - $ \ MATHCAL {K} $ functions。但是，有效CBF的构建并不直接，对于QP的任意选择参数，系统轨迹可能会进入QP最终变得不可行的状态，或者可能无法实现所需的性能。在这项工作中，我们将控制合成问题作为差异策略提出，其参数在高级别的时间范围内被优化，从而导致双层优化常规。在不了解一组可行参数的情况下，我们开发了一种递归可行性引导的梯度下降方法来更新QP的参数，以便新解决方案至少和以前的解决方案的性能至少执行。通过将动力学系统视为有向图，随着时间的推移，这项工作提出了一种新颖的方式，可以通过（1）使用其解决方案的梯度来优化QP控制器在一个时间范围内对多个CBF的性能进行敏感性，从而提出了一种新的方式。分析，以及（2）将这些和系统动力学梯度进行反向传播，以更新参数，同时保持QPS的可行性。

安全限制和最优性很重要，但有时控制器有时相互冲突的标准。虽然这些标准通常与不同的工具单独解决以维持正式保障，但在惩罚失败时，加强学习的常见做法是惩罚，以惩罚为单纯的启发式。我们严格地检查了安全性和最优性与惩罚的关系，并对安全价值函数进行了足够的条件：对给定任务的最佳价值函数，并强制执行安全约束。我们通过强大的二元性证明，揭示这种关系的结构，表明始终存在一个有限的惩罚，引起安全值功能。这种惩罚并不是独特的，但大不束缚：更大的惩罚不会伤害最优性。虽然通常无法计算最低所需的惩罚，但我们揭示了清晰的惩罚，奖励，折扣因素和动态互动的结构。这种洞察力建议实用，理论引导的启发式设计奖励功能，用于控制安全性很重要的控制问题。

这项工作为时间延迟系统的安全关键控制提供了一个理论框架。控制屏障功能的理论可为无延迟系统提供正式安全保证，扩展到具有状态延迟的系统。引入了控制屏障功能的概念，以实现正式的安全保证，该概念通过在无限尺寸状态空间中定义的安全集的向前不变性。所提出的框架能够在动态和安全状态下处理多个延迟和分布式延迟，并对可证明安全性的控制输入提供了仿射约束。该约束可以纳入优化问题，以合成最佳和可证明的安全控制器。该方法的适用性通过数值仿真示例证明。

过去半年来，从控制和强化学习社区的真实机器人部署的安全学习方法的贡献数量急剧上升。本文提供了一种简洁的但整体审查，对利用机器学习实现的最新进展，以实现在不确定因素下的安全决策，重点是统一控制理论和加固学习研究中使用的语言和框架。我们的评论包括：基于学习的控制方法，通过学习不确定的动态，加强学习方法，鼓励安全或坚固性的加固学习方法，以及可以正式证明学习控制政策安全的方法。随着基于数据和学习的机器人控制方法继续获得牵引力，研究人员必须了解何时以及如何最好地利用它们在安全势在必行的现实情景中，例如在靠近人类的情况下操作时。我们突出了一些开放的挑战，即将在未来几年推动机器人学习领域，并强调需要逼真的物理基准的基准，以便于控制和加固学习方法之间的公平比较。

影响模型预测控制（MPC）策略的神经网络（NN）近似的常见问题是缺乏分析工具来评估基于NN的控制器的动作下闭环系统的稳定性。我们介绍了一种通用过程来量化这种控制器的性能，或者设计具有整流的线性单元（Relus）的最小复杂性NN，其保留给定MPC方案的理想性质。通过量化基于NN和基于MPC的状态到输入映射之间的近似误差，我们首先建立适当的条件，涉及两个关键量，最坏情况误差和嘴唇截止恒定，保证闭环系统的稳定性。然后，我们开发了一个离线，混合整数的基于优化的方法，以确切地计算这些数量。这些技术共同提供足以认证MPC控制法的基于Relu的近似的稳定性和性能的条件。

收缩理论是一种分析工具，用于研究以均匀的正面矩阵定义的收缩度量下的非自主（即，时变）非线性系统的差动动力学，其存在导致增量指数的必要和充分表征多种溶液轨迹彼此相互稳定性的稳定性。通过使用平方差分长度作为Lyapunov样功能，其非线性稳定性分析向下沸腾以找到满足以表达为线性矩阵不等式的稳定条件的合适的收缩度量，表明可以在众所周知的线性系统之间绘制许多平行线非线性系统理论与收缩理论。此外，收缩理论利用了与比较引理结合使用的指数稳定性的优越稳健性。这产生了基于神经网络的控制和估计方案的急需安全性和稳定性保证，而不借助使用均匀渐近稳定性的更涉及的输入到状态稳定性方法。这种独特的特征允许通过凸优化来系统构造收缩度量，从而获得了由于扰动和学习误差而在外部扰动的时变的目标轨迹和解决方案轨迹之间的距离上的明确指数界限。因此，本文的目的是介绍了收缩理论的课程概述及其在确定性和随机系统的非线性稳定性分析中的优点，重点导出了各种基于学习和数据驱动的自动控制方法的正式鲁棒性和稳定性保证。特别是，我们提供了使用深神经网络寻找收缩指标和相关控制和估计法的技术的详细审查。

This paper provides an introduction and overview of recent work on control barrier functions and their use to verify and enforce safety properties in the context of (optimization based) safety-critical controllers. We survey the main technical results and discuss applications to several domains including robotic systems.

基于控制屏障功能（CBF）的安全过滤器已成为自治系统安全至关重要控制的实用工具。这些方法通过价值函数编码安全性，并通过对该值函数的时间导数施加限制来执行安全。但是，在存在输入限制的情况下合成并非过于保守的有效CBF是一个臭名昭著的挑战。在这项工作中，我们建议使用正式验证方法提炼候选CBF，以获得有效的CBF。特别是，我们使用基于动态编程（DP）的可及性分析更新专家合成或备份CBF。我们的框架RefineCBF保证，在每次DP迭代中，获得的CBF至少与先前的迭代一样安全，并收集到有效的CBF。因此，RefineCBF可用于机器人系统。我们证明了我们在模拟中使用各种CBF合成技术来增强安全性和/或降低一系列非线性控制型系统系统的保守性的实用性。

基于学习的控制方案最近表现出了出色的效力执行复杂的任务。但是，为了将它们部署在实际系统中，保证该系统在在线培训和执行过程中将保持安全至关重要。因此，我们需要安全的在线学习框架，能够自主地理论当前的信息是否足以确保安全或需要新的测量。在本文中，我们提出了一个由两个部分组成的框架：首先，在需要时积极收集测量的隔离外检测机制，以确保至少一个安全备份方向始终可供使用；其次，基于高斯的基于过程的概率安全 - 关键控制器可确保系统始终保持安全的可能性。我们的方法通过使用控制屏障功能来利用模型知识，并以事件触发的方式从在线数据流中收集测量，以确保学习的安全至关重要控制器的递归可行性。反过来，这又使我们能够提供具有很高概率的安全集的正式结果，即使在先验未开发的区域中也是如此。最后，我们在自适应巡航控制系统的数值模拟中验证了所提出的框架。

对于多面体之间的障碍物躲避开发的控制器是在狭小的空间导航一个具有挑战性的和必要的问题。传统的方法只能制定的避障问题，因为离线优化问题。为了应对这些挑战，我们提出用非光滑控制屏障功能多面体之间的避障，它可以实时与基于QP的优化问题来解决基于二元安全关键最优控制。一种双优化问题被引入到表示被施加到构造控制屏障功能多面体和用于双形式的拉格朗日函数之间的最小距离。我们验证了避开障碍物与在走廊环境受控的L形（沙发形）机器人建议的双配制剂。据我们所知，这是第一次，实时紧避障与非保守的演习是在移动沙发（钢琴）与非线性动力学问题来实现的。