基于学习的控制器，例如神经网络（NN）控制器，可以表现出很高的经验性能，但缺乏正式的安全保证。为了解决此问题，已将控制屏障功能（CBF）应用于安全过滤器，以监视和修改基于学习的控制器的输出，以确保闭环系统的安全性。但是，这种修饰可能是近视的，具有不可预测的长期影响。在这项工作中，我们提出了一个安全的NN控制器，该控制器采用了基于CBF的可区分安全层，并研究了基于学习的控制中安全的NN控制器的性能。具体而言，比较了两个控制器的公式：一个是基于投影的，另一个依赖于我们提出的集合理论参数化。两种方法都证明了在数值实验中使用CBF作为单独的安全滤波器的改进的闭环性能。

Safety critical systems involve the tight coupling between potentially conflicting control objectives and safety constraints. As a means of creating a formal framework for controlling systems of this form, and with a view toward automotive applications, this paper develops a methodology that allows safety conditions-expressed as control barrier functionsto be unified with performance objectives-expressed as control Lyapunov functions-in the context of real-time optimizationbased controllers. Safety conditions are specified in terms of forward invariance of a set, and are verified via two novel generalizations of barrier functions; in each case, the existence of a barrier function satisfying Lyapunov-like conditions implies forward invariance of the set, and the relationship between these two classes of barrier functions is characterized. In addition, each of these formulations yields a notion of control barrier function (CBF), providing inequality constraints in the control input that, when satisfied, again imply forward invariance of the set. Through these constructions, CBFs can naturally be unified with control Lyapunov functions (CLFs) in the context of a quadratic program (QP); this allows for the achievement of control objectives (represented by CLFs) subject to conditions on the admissible states of the system (represented by CBFs). The mediation of safety and performance through a QP is demonstrated on adaptive cruise control and lane keeping, two automotive control problems that present both safety and performance considerations coupled with actuator bounds.

我们开发了一种新型的可区分预测控制（DPC），并根据控制屏障功能确保安全性和鲁棒性保证。DPC是一种基于学习的方法，用于获得近似解决方案，以解决明确的模型预测控制（MPC）问题。在DPC中，通过自动分化MPC问题获得的直接策略梯度，通过直接策略梯度进行了脱机优化的预测控制策略。所提出的方法利用了一种新形式的采样数据屏障功能，以在DPC设置中执行离线和在线安全要求，同时仅中断安全集合边界附近的基于神经网络的控制器。在模拟中证明了拟议方法的有效性。

Learning-enabled control systems have demonstrated impressive empirical performance on challenging control problems in robotics, but this performance comes at the cost of reduced transparency and lack of guarantees on the safety or stability of the learned controllers. In recent years, new techniques have emerged to provide these guarantees by learning certificates alongside control policies -- these certificates provide concise, data-driven proofs that guarantee the safety and stability of the learned control system. These methods not only allow the user to verify the safety of a learned controller but also provide supervision during training, allowing safety and stability requirements to influence the training process itself. In this paper, we provide a comprehensive survey of this rapidly developing field of certificate learning. We hope that this paper will serve as an accessible introduction to the theory and practice of certificate learning, both to those who wish to apply these tools to practical robotics problems and to those who wish to dive more deeply into the theory of learning for control.

基于控制屏障功能（CBF）的安全过滤器已成为自治系统安全至关重要控制的实用工具。这些方法通过价值函数编码安全性，并通过对该值函数的时间导数施加限制来执行安全。但是，在存在输入限制的情况下合成并非过于保守的有效CBF是一个臭名昭著的挑战。在这项工作中，我们建议使用正式验证方法提炼候选CBF，以获得有效的CBF。特别是，我们使用基于动态编程（DP）的可及性分析更新专家合成或备份CBF。我们的框架RefineCBF保证，在每次DP迭代中，获得的CBF至少与先前的迭代一样安全，并收集到有效的CBF。因此，RefineCBF可用于机器人系统。我们证明了我们在模拟中使用各种CBF合成技术来增强安全性和/或降低一系列非线性控制型系统系统的保守性的实用性。

小型航空车的重量，空间和功率限制通常会阻止现代控制技术的应用，而无需简化大量模型。此外，高速敏捷行为（例如在无人机赛车中表现出来的行为）使这些简化的模型过于不可靠，无法安全至关重要。在这项工作中，我们介绍了时变备份控制器（TBC）的概念：用户指定的操作与备份控制器相结合，该备份控制器生成了参考轨迹，从而确保了非线性系统的安全性。与传统的备份控制器相比，TBC减少了保守主义，可以直接应用于多机构协调以确保安全性。从理论上讲，我们提供了严格减少保守主义的条件，描述了如何在多个TBC之间切换并显示如何将TBC嵌入多代理设置。在实验上，我们验证TBC在过滤飞行员的动作时会安全地增加操作自由，并在将两个四肢的分散安全过滤应用于分散的安全过滤时，证明了稳健性和计算效率。

基于二次程序（QP）基于状态反馈控制器，其不等式约束以控制障碍（CBFS）和Lyapunov函数的限制使用类-U \ Mathcal {K k} $函数其值的值，对其值的函数，对其值的参数敏感这些类 - $ \ MATHCAL {K} $ functions。但是，有效CBF的构建并不直接，对于QP的任意选择参数，系统轨迹可能会进入QP最终变得不可行的状态，或者可能无法实现所需的性能。在这项工作中，我们将控制合成问题作为差异策略提出，其参数在高级别的时间范围内被优化，从而导致双层优化常规。在不了解一组可行参数的情况下，我们开发了一种递归可行性引导的梯度下降方法来更新QP的参数，以便新解决方案至少和以前的解决方案的性能至少执行。通过将动力学系统视为有向图，随着时间的推移，这项工作提出了一种新颖的方式，可以通过（1）使用其解决方案的梯度来优化QP控制器在一个时间范围内对多个CBF的性能进行敏感性，从而提出了一种新的方式。分析，以及（2）将这些和系统动力学梯度进行反向传播，以更新参数，同时保持QPS的可行性。

平衡安全性和性能是现代控制系统设计中的主要挑战之一。此外，至关重要的是，在不诱导不必要的保守性降低绩效的情况下，确保安全至关重要。在这项工作中，我们提出了一种通过控制屏障功能（CBF）来进行安全关键控制合成的建设性方法。通过通过CBF过滤手工设计的控制器，我们能够达到性能行为，同时提供严格的安全保证。面对干扰，通过投入到国家安全的概念（ISSF）同时实现了稳健的安全性和性能。我们通过与倒置的示例同时开发CBF设计方法来采用教程方法，从而使设计过程混凝土中的挑战和敏感性。为了确定拟议方法的能力，我们考虑通过CBFS以无需拖车的8级卡车的形式来考虑通过CBF的CBF进行安全至关重要的设计。通过实验，我们看到了卡车驱动系统中未建模的干扰对CBF提供的安全保证的影响。我们表征了这些干扰并使用ISSF，生产出可靠的控制器，该控制器可以在不承认性能的情况下实现安全性。我们在模拟中评估了我们的设计，并且是在实验中首次在汽车系统上评估我们的设计。

Safety-critical Autonomous Systems require trustworthy and transparent decision-making process to be deployable in the real world. The advancement of Machine Learning introduces high performance but largely through black-box algorithms. We focus the discussion of explainability specifically with Autonomous Vehicles (AVs). As a safety-critical system, AVs provide the unique opportunity to utilize cutting-edge Machine Learning techniques while requiring transparency in decision making. Interpretability in every action the AV takes becomes crucial in post-hoc analysis where blame assignment might be necessary. In this paper, we provide positioning on how researchers could consider incorporating explainability and interpretability into design and optimization of separate Autonomous Vehicle modules including Perception, Planning, and Control.

This paper provides an introduction and overview of recent work on control barrier functions and their use to verify and enforce safety properties in the context of (optimization based) safety-critical controllers. We survey the main technical results and discuss applications to several domains including robotic systems.

本文开发了一种基于模型的强化学习（MBR）框架，用于在线在线学习无限范围最佳控制问题的价值函数，同时遵循表示为控制屏障功能（CBFS）的安全约束。我们的方法是通过开发一种新型的CBFS，称为Lyapunov样CBF（LCBF），其保留CBFS的有益特性，以开发最微创的安全控制政策，同时也具有阳性半自动等所需的Lyapunov样品质 - 义法。我们展示这些LCBFS如何用于增强基于学习的控制策略，以保证安全性，然后利用这种方法在MBRL设置中开发安全探索框架。我们表明，我们的开发方法可以通过各种数值示例来处理比较法的更通用的安全限制。

这项工作为时间延迟系统的安全关键控制提供了一个理论框架。控制屏障功能的理论可为无延迟系统提供正式安全保证，扩展到具有状态延迟的系统。引入了控制屏障功能的概念，以实现正式的安全保证，该概念通过在无限尺寸状态空间中定义的安全集的向前不变性。所提出的框架能够在动态和安全状态下处理多个延迟和分布式延迟，并对可证明安全性的控制输入提供了仿射约束。该约束可以纳入优化问题，以合成最佳和可证明的安全控制器。该方法的适用性通过数值仿真示例证明。

神经网络（NNS）已成功地用于代表复杂动力学系统的状态演变。这样的模型，称为NN动态模型（NNDMS），使用NN的迭代噪声预测来估计随时间推移系统轨迹的分布。尽管它们的准确性，但对NNDMS的安全分析仍然是一个具有挑战性的问题，并且在很大程度上尚未探索。为了解决这个问题，在本文中，我们介绍了一种为NNDM提供安全保证的方法。我们的方法基于随机屏障函数，其与安全性的关系类似于Lyapunov功能的稳定性。我们首先展示了通过凸优化问题合成NNDMS随机屏障函数的方法，该问题又为系统的安全概率提供了下限。我们方法中的一个关键步骤是，NNS的最新凸近似结果的利用是找到零件线性边界，这允许将屏障函数合成问题作为一个方形优化程序的制定。如果获得的安全概率高于所需的阈值，则该系统将获得认证。否则，我们引入了一种生成控制系统的方法，该系统以最小的侵入性方式稳健地最大化安全概率。我们利用屏障函数的凸属性来提出最佳控制合成问题作为线性程序。实验结果说明了该方法的功效。即，他们表明该方法可以扩展到具有多层和数百个神经元的多维NNDM，并且控制器可以显着提高安全性概率。

本文详细说明了实际确保远程赛车赛车的安全性的理论和实施。我们在超过100公里/小时的速度上展示了7“赛车无人机的强大和实用性保证，仅在10克微控制器上仅使用在线计算。为了实现这一目标，我们利用了控制屏障功能的框架（CBFS）保证安全编码为前向集不变性。为了使该方法实际上是适用的，我们介绍了一个隐式定义的CBF，它利用备份控制器来实现可确保安全性的渐变评估。应用于硬件的方法，这是平滑，最微不足道的改变飞行员的所需输入，使他们能够在不担心崩溃的情况下推动他们的无人机的极限。此外，该方法与预先存在的飞行控制器配合工作，导致在没有附近的安全风险时不妨碍飞行。额外的效益包括安全性和稳定性在失去视线或在无线电故障时失去时的无人机。

控制屏障功能（CBFS）已成为强制执行控制系统安全的流行工具。CBFS通常用于二次程序配方（CBF-QP）作为安全关键限制。CBFS中的$ \ Mathcal {K} $函数通常需要手动调整，以平衡每个环境的性能和安全之间的权衡。然而，这个过程通常是启发式的并且可以对高相对度系统进行棘手。此外，它可以防止CBF-QP概括到现实世界中的不同环境。通过将CBF-QP的优化过程嵌入深度学习架构中的可差异化层，我们提出了一种可分辨率的优化的安全性关键控制框架，使得具有前向不变性的新环境的泛化。最后，我们在各种环境中使用2D双层集成器系统验证了所提出的控制设计。

本文涉及专业示范的学习安全控制法。我们假设系统动态和输出测量图的适当模型以及相应的错误界限。我们首先提出强大的输出控制屏障功能（ROCBF）作为保证安全的手段，通过控制安全集的前向不变性定义。然后，我们提出了一个优化问题，以从展示安全系统行为的专家演示中学习RocBF，例如，从人类运营商收集的数据。随着优化问题，我们提供可验证条件，可确保获得的Rocbf的有效性。这些条件在数据的密度和学习函数的LipsChitz和Lipshitz和界限常数上说明，以及系统动态和输出测量图的模型。当ROCBF的参数化是线性的，然后，在温和的假设下，优化问题是凸的。我们在自动驾驶模拟器卡拉验证了我们的调查结果，并展示了如何从RGB相机图像中学习安全控制法。

在本文中，我们提出了针对无人接地车辆（UGV）的新的控制屏障功能（CBF），该功能有助于避免与运动学（非零速度）障碍物发生冲突。尽管当前的CBF形式已经成功地保证了与静态障碍物的安全/碰撞避免安全性，但动态案例的扩展已获得有限的成功。此外，借助UGV模型，例如Unicycle或自行车，现有CBF的应用在控制方面是保守的，即在某些情况下不可能进行转向/推力控制。从经典的碰撞锥中汲取灵感来避免轨迹规划，我们介绍了其新颖的CBF配方，并具有对独轮车和自行车模型的安全性保证。主要思想是确保障碍物的速度W.R.T.车辆总是指向车辆。因此，我们构建了一个约束，该约束确保速度向量始终避开指向车辆的向量锥。这种新控制方法的功效在哥白尼移动机器人上进行了实验验证。我们将其进一步扩展到以自行车模型的形式扩展到自动驾驶汽车，并在Carla模拟器中的各种情况下证明了避免碰撞。

过去半年来，从控制和强化学习社区的真实机器人部署的安全学习方法的贡献数量急剧上升。本文提供了一种简洁的但整体审查，对利用机器学习实现的最新进展，以实现在不确定因素下的安全决策，重点是统一控制理论和加固学习研究中使用的语言和框架。我们的评论包括：基于学习的控制方法，通过学习不确定的动态，加强学习方法，鼓励安全或坚固性的加固学习方法，以及可以正式证明学习控制政策安全的方法。随着基于数据和学习的机器人控制方法继续获得牵引力，研究人员必须了解何时以及如何最好地利用它们在安全势在必行的现实情景中，例如在靠近人类的情况下操作时。我们突出了一些开放的挑战，即将在未来几年推动机器人学习领域，并强调需要逼真的物理基准的基准，以便于控制和加固学习方法之间的公平比较。

对自动驾驶车辆的路径跟踪控制可以从深入学习中受益，以应对长期存在的挑战，例如非线性和不确定性。但是，深度神经控制器缺乏安全保证，从而限制了其实际使用。我们提出了一种新的学习方法的新方法，该方法几乎是在神经控制器下为系统设置的正向设置，以定量分析深神经控制器对路径跟踪的安全性。我们设计了基于抽样的学习程序，用于构建候选神经屏障功能，以及利用神经网络的鲁棒性分析的认证程序来确定完全满足屏障条件的区域。我们在学习和认证之间使用对抗性训练循环来优化几乎级词的功能。学习的障碍也可用于通过可及性分析来构建在线安全监视器。我们证明了我们的方法在量化各种模拟环境中神经控制器安全性方面的有效性，从简单的运动学模型到具有高保真车辆动力学模拟的TORCS模拟器。

In this work, we propose a collision-free source seeking control framework for unicycle robots traversing an unknown cluttered environment. In this framework, the obstacle avoidance is guided by the control barrier functions (CBF) embedded in quadratic programming and the source seeking control relies solely on the use of on-board sensors that measure signal strength of the source. To tackle the mixed relative degree of the CBF, we proposed three different CBF, namely the zeroing control barrier functions (ZCBF), exponential control barrier functions (ECBF), and reciprocal control barrier functions (RCBF) that can directly be integrated with our recent gradient-ascent source-seeking control law. We provide rigorous analysis of the three different methods and show the efficacy of the approaches in simulations using Matlab, as well as, using a realistic dynamic environment with moving obstacles in Gazebo/ROS.