计算机视觉和机器学习的进步使机器人能够以强大的新方式感知其周围环境，但是这些感知模块具有众所周知的脆弱性。我们考虑了合成尽管有知觉错误的安全控制器的问题。所提出的方法基于具有输入依赖性噪声的高斯过程构建状态估计器。该估计器为给定状态计算实际状态的高信心集。然后，合成了可证明可以处理状态不确定性的强大神经网络控制器。此外，提出了一种自适应采样算法来共同改善估计器和控制器。模拟实验，包括Carla中基于逼真的巷道示例，说明了提出方法在与基于深度学习的感知合成强大控制器中提出的方法的希望。

受到控制障碍功能（CBF）在解决安全性方面的成功以及数据驱动技术建模功能的兴起的启发，我们提出了一种使用高斯流程（GPS）在线合成CBF的非参数方法。 CBF等数学结构通过先验设计候选功能来实现安全性。但是，设计这样的候选功能可能具有挑战性。这种设置的一个实际示例是在需要确定安全且可导航区域的灾难恢复方案中设计CBF。在这样的示例中，安全性边界未知，不能先验设计。在我们的方法中，我们使用安全样本或观察结果来在线构建CBF，通过在这些样品上具有灵活的GP，并称我们为高斯CBF的配方。除非参数外，例如分析性障碍性和稳健的不确定性估计，GP具有有利的特性。这允许通过合并方差估计来实现具有高安全性保证的后部组件，同时还计算封闭形式中相关的部分导数以实现安全控制。此外，我们方法的合成安全函数允许根据数据任意更改相应的安全集，从而允许非Convex安全集。我们通过证明对固定但任意的安全集和避免碰撞的安全性在线构建安全集的安全控制，从而在四极管上验证了我们的方法。最后，我们将高斯CBF与常规的CBF并列，在嘈杂状态下，以突出其灵活性和对噪声的鲁棒性。实验视频可以在：https：//youtu.be/hx6uokvcigk上看到。

本文涉及专业示范的学习安全控制法。我们假设系统动态和输出测量图的适当模型以及相应的错误界限。我们首先提出强大的输出控制屏障功能（ROCBF）作为保证安全的手段，通过控制安全集的前向不变性定义。然后，我们提出了一个优化问题，以从展示安全系统行为的专家演示中学习RocBF，例如，从人类运营商收集的数据。随着优化问题，我们提供可验证条件，可确保获得的Rocbf的有效性。这些条件在数据的密度和学习函数的LipsChitz和Lipshitz和界限常数上说明，以及系统动态和输出测量图的模型。当ROCBF的参数化是线性的，然后，在温和的假设下，优化问题是凸的。我们在自动驾驶模拟器卡拉验证了我们的调查结果，并展示了如何从RGB相机图像中学习安全控制法。

This paper proposes embedded Gaussian Process Barrier States (GP-BaS), a methodology to safely control unmodeled dynamics of nonlinear system using Bayesian learning. Gaussian Processes (GPs) are used to model the dynamics of the safety-critical system, which is subsequently used in the GP-BaS model. We derive the barrier state dynamics utilizing the GP posterior, which is used to construct a safety embedded Gaussian process dynamical model (GPDM). We show that the safety-critical system can be controlled to remain inside the safe region as long as we can design a controller that renders the BaS-GPDM's trajectories bounded (or asymptotically stable). The proposed approach overcomes various limitations in early attempts at combining GPs with barrier functions due to the abstention of restrictive assumptions such as linearity of the system with respect to control, relative degree of the constraints and number or nature of constraints. This work is implemented on various examples for trajectory optimization and control including optimal stabilization of unstable linear system and safe trajectory optimization of a Dubins vehicle navigating through an obstacle course and on a quadrotor in an obstacle avoidance task using GP differentiable dynamic programming (GP-DDP). The proposed framework is capable of maintaining safe optimization and control of unmodeled dynamics and is purely data driven.

对象检测，车道检测和分割的卷积神经网络（CNN）现在坐在大多数自主管道的头部，然而，他们的安全分析仍然是一个重要的挑战。对感知模型的正式分析是根本困难的，因为他们的正确性是难以指定的，如果不是不可能指定。我们提出了一种从系统级安全要求，数据和从感知下游的模块的模块的识字模型推断出可理解和安全抽象的技术。该技术可以帮助在创建抽象和随后的验证方面进行权衡安全性，大小和精度。我们将该方法应用于基于高保真仿真（a）用于自主车辆的视觉的车道保持控制器的两个重要案例研究，并且（b）用于农业机器人的控制器。我们展示了所生成的抽象如何与下游模块组成，然后可以使用像CBMC等程序分析工具验证所产生的抽象系统。详细评估规模，安全要求和环境参数（例如，照明，路面，植物类型）对所产生的抽象精度的影响表明，该方法可以帮助指导寻找角落案例和安全操作包围。

Learning-enabled control systems have demonstrated impressive empirical performance on challenging control problems in robotics, but this performance comes at the cost of reduced transparency and lack of guarantees on the safety or stability of the learned controllers. In recent years, new techniques have emerged to provide these guarantees by learning certificates alongside control policies -- these certificates provide concise, data-driven proofs that guarantee the safety and stability of the learned control system. These methods not only allow the user to verify the safety of a learned controller but also provide supervision during training, allowing safety and stability requirements to influence the training process itself. In this paper, we provide a comprehensive survey of this rapidly developing field of certificate learning. We hope that this paper will serve as an accessible introduction to the theory and practice of certificate learning, both to those who wish to apply these tools to practical robotics problems and to those who wish to dive more deeply into the theory of learning for control.

This paper provides an introduction and overview of recent work on control barrier functions and their use to verify and enforce safety properties in the context of (optimization based) safety-critical controllers. We survey the main technical results and discuss applications to several domains including robotic systems.

神经网络（NNS）已成功地用于代表复杂动力学系统的状态演变。这样的模型，称为NN动态模型（NNDMS），使用NN的迭代噪声预测来估计随时间推移系统轨迹的分布。尽管它们的准确性，但对NNDMS的安全分析仍然是一个具有挑战性的问题，并且在很大程度上尚未探索。为了解决这个问题，在本文中，我们介绍了一种为NNDM提供安全保证的方法。我们的方法基于随机屏障函数，其与安全性的关系类似于Lyapunov功能的稳定性。我们首先展示了通过凸优化问题合成NNDMS随机屏障函数的方法，该问题又为系统的安全概率提供了下限。我们方法中的一个关键步骤是，NNS的最新凸近似结果的利用是找到零件线性边界，这允许将屏障函数合成问题作为一个方形优化程序的制定。如果获得的安全概率高于所需的阈值，则该系统将获得认证。否则，我们引入了一种生成控制系统的方法，该系统以最小的侵入性方式稳健地最大化安全概率。我们利用屏障函数的凸属性来提出最佳控制合成问题作为线性程序。实验结果说明了该方法的功效。即，他们表明该方法可以扩展到具有多层和数百个神经元的多维NNDM，并且控制器可以显着提高安全性概率。

基于学习的控制方案最近表现出了出色的效力执行复杂的任务。但是，为了将它们部署在实际系统中，保证该系统在在线培训和执行过程中将保持安全至关重要。因此，我们需要安全的在线学习框架，能够自主地理论当前的信息是否足以确保安全或需要新的测量。在本文中，我们提出了一个由两个部分组成的框架：首先，在需要时积极收集测量的隔离外检测机制，以确保至少一个安全备份方向始终可供使用；其次，基于高斯的基于过程的概率安全 - 关键控制器可确保系统始终保持安全的可能性。我们的方法通过使用控制屏障功能来利用模型知识，并以事件触发的方式从在线数据流中收集测量，以确保学习的安全至关重要控制器的递归可行性。反过来，这又使我们能够提供具有很高概率的安全集的正式结果，即使在先验未开发的区域中也是如此。最后，我们在自适应巡航控制系统的数值模拟中验证了所提出的框架。

对自动驾驶车辆的路径跟踪控制可以从深入学习中受益，以应对长期存在的挑战，例如非线性和不确定性。但是，深度神经控制器缺乏安全保证，从而限制了其实际使用。我们提出了一种新的学习方法的新方法，该方法几乎是在神经控制器下为系统设置的正向设置，以定量分析深神经控制器对路径跟踪的安全性。我们设计了基于抽样的学习程序，用于构建候选神经屏障功能，以及利用神经网络的鲁棒性分析的认证程序来确定完全满足屏障条件的区域。我们在学习和认证之间使用对抗性训练循环来优化几乎级词的功能。学习的障碍也可用于通过可及性分析来构建在线安全监视器。我们证明了我们的方法在量化各种模拟环境中神经控制器安全性方面的有效性，从简单的运动学模型到具有高保真车辆动力学模拟的TORCS模拟器。

基于屏障函数的控制证书一直是一个强大的工具，可能为动态系统生成可能的安全控制策略。但是，基于屏障证书的现有方法通常用于具有可微差动态的白盒系统，这使得它们可以不适用于系统是黑盒的许多实用应用，并且不能准确地建模。另一方面，黑盒系统的无模型加强学习（RL）方法缺乏安全保证和低采样效率。在本文中，我们提出了一种新的方法，可以为黑盒动态系​​统学习安全控制政策和屏障证书，而无需准确的系统模型。我们的方法即使在黑盒式动态系统是不可差分的情况下，我们也可以重新设计损耗函数以反向传播梯度对控制策略，并且我们表明安全证书在黑盒系统上保持。仿真的经验结果表明，与最先进的黑匣子安全控制方法相比，我们的方法可以通过实现近100％的安全性和目标来实现近100％的安全性和目标达到速度。我们的学习代理商也可以在保持原始性能的同时概括取消观察方案。源代码可以在https://github.com/zengyi-qin/bcbf找到。

平衡安全性和性能是现代控制系统设计中的主要挑战之一。此外，至关重要的是，在不诱导不必要的保守性降低绩效的情况下，确保安全至关重要。在这项工作中，我们提出了一种通过控制屏障功能（CBF）来进行安全关键控制合成的建设性方法。通过通过CBF过滤手工设计的控制器，我们能够达到性能行为，同时提供严格的安全保证。面对干扰，通过投入到国家安全的概念（ISSF）同时实现了稳健的安全性和性能。我们通过与倒置的示例同时开发CBF设计方法来采用教程方法，从而使设计过程混凝土中的挑战和敏感性。为了确定拟议方法的能力，我们考虑通过CBFS以无需拖车的8级卡车的形式来考虑通过CBF的CBF进行安全至关重要的设计。通过实验，我们看到了卡车驱动系统中未建模的干扰对CBF提供的安全保证的影响。我们表征了这些干扰并使用ISSF，生产出可靠的控制器，该控制器可以在不承认性能的情况下实现安全性。我们在模拟中评估了我们的设计，并且是在实验中首次在汽车系统上评估我们的设计。

安全关键型应用程序要求控制器/政策能够保证安全高度信心。如果我们可以访问地面真实的系统动态，控制屏障功能是一种有用的工具，可以保证安全。在实践中，我们对系统动态的知识不准确，这可能导致不安全的行为导致的残余动力学。使用确定性机器学习模型学习剩余动态可以防止不安全的行为，但是当预测不完美时可能会失败。在这种情况下，概率学习方法，其预测的不确定性的原因可以有助于提供强大的安全利润。在这项工作中，我们使用高斯过程来模拟残余动力学的投影到控制屏障功能上。我们提出了一种新颖的优化程序，以产生安全控制，可以保证具有高概率的安全性。安全滤波器具有推理来自GP预测的不确定性的能力。我们通过SEGWAY和四轮车模拟的实验展示了这种方法的功效。与具有神经网络的确定性方法相比，我们所提出的概率方法能够显着降低安全违规的数量。

过去半年来，从控制和强化学习社区的真实机器人部署的安全学习方法的贡献数量急剧上升。本文提供了一种简洁的但整体审查，对利用机器学习实现的最新进展，以实现在不确定因素下的安全决策，重点是统一控制理论和加固学习研究中使用的语言和框架。我们的评论包括：基于学习的控制方法，通过学习不确定的动态，加强学习方法，鼓励安全或坚固性的加固学习方法，以及可以正式证明学习控制政策安全的方法。随着基于数据和学习的机器人控制方法继续获得牵引力，研究人员必须了解何时以及如何最好地利用它们在安全势在必行的现实情景中，例如在靠近人类的情况下操作时。我们突出了一些开放的挑战，即将在未来几年推动机器人学习领域，并强调需要逼真的物理基准的基准，以便于控制和加固学习方法之间的公平比较。

我们研究了目标稳定的问题，并在机器人和车辆中避免了强大的障碍物，这些障碍物仅用于实现实时定位的目的。由于障碍物引起的拓扑障碍，该问题尤其具有挑战性，这排除了能够同时稳定和避免障碍的平稳反馈控制器的存在。为了克服这个问题，我们开发了一个基于视觉的混合控制器，该控制器可以使用磁滞机制和数据辅助主管在两种不同的反馈定律之间切换。本文的主要创新是将合适的感知图纳入混合控制器。这些地图可以从从车辆中的摄像机获得的数据中学到，并通过卷积神经网络（CNN）训练。在此感知图上​​的合适假设下，我们就融合和避免障碍物的轨迹建立了对车辆轨​​迹的理论保证。此外，在不同的情况下，对基于视觉的混合控制器进行了数值测试，包括嘈杂的数据，失败的传感器以及带有遮挡的相机。

许多机器人任务需要高维传感器，如相机和激光雷达，以导航复杂的环境，但是在这些传感器周围开发认可的安全反馈控制器仍然是一个具有挑战性的公开问题，特别是在涉及学习时的开放问题。以前的作品通过分离感知和控制子系统并对感知子系统的能力做出强烈的假设来证明了感知反馈控制器的安全性。在这项工作中，我们介绍了一种新的启用学习的感知反馈混合控制器，在那里我们使用控制屏障函数（CBF）和控制Lyapunov函数（CLF）来显示全堆叠感知反馈控制器的安全性和活力。我们使用神经网络直接在机器人的观察空间中学习全堆栈系统的CBF和CLF，而无需承担基于感知的状态估计器。我们的混合控制器称为基因座（使用切换启用了学习的观察反馈控制），可以安全地导航未知的环境，始终如一地达到其目标，并将安全性安全地概括为培训数据集之外的环境。我们在模拟和硬件中展示了实验中的轨迹，在那里它使用LIDAR传感器的反馈成功地导航变化环境。

在安全关键方案中利用自主系统需要在存在影响系统动态的不确定性和黑匣子组件存在下验证其行为。在本文中，我们开发了一个框架，用于验证部分可观察到的离散时间动态系统，从给定的输入输出数据集中具有针对时间逻辑规范的未暗模式可分散的动态系统。验证框架采用高斯进程（GP）回归，以了解数据集中的未知动态，并将连续空间系统抽象为有限状态，不确定的马尔可夫决策过程（MDP）。这种抽象依赖于通过使用可重复的内核Hilbert空间分析以及通过离散化引起的不确定性来捕获由于GP回归中的错误而捕获不确定性的过渡概率间隔。该框架利用现有的模型检查工具来验证对给定时间逻辑规范的不确定MDP抽象。我们建立将验证结果扩展到潜在部分可观察系统的抽象结果的正确性。我们表明框架的计算复杂性在数据集和离散抽象的大小中是多项式。复杂性分析说明了验证结果质量与处理较大数据集和更精细抽象的计算负担之间的权衡。最后，我们展示了我们的学习和验证框架在具有线性，非线性和切换动力系统的几种案例研究中的功效。

强化学习（RL）是一种有希望的方法，对现实世界的应用程序取得有限，因为确保安全探索或促进充分利用是控制具有未知模型和测量不确定性的机器人系统的挑战。这种学习问题对于连续空间（状态空间和动作空间）的复杂任务变得更加棘手。在本文中，我们提出了一种由几个方面组成的基于学习的控制框架：（1）线性时间逻辑（LTL）被利用，以便于可以通过无限视野的复杂任务转换为新颖的自动化结构; （2）我们为RL-Agent提出了一种创新的奖励计划，正式保证，使全球最佳政策最大化满足LTL规范的概率; （3）基于奖励塑造技术，我们开发了利用自动机构结构的好处进行了模块化的政策梯度架构来分解整体任务，并促进学习控制器的性能; （4）通过纳入高斯过程（GPS）来估计不确定的动态系统，我们使用指数控制屏障功能（ECBF）综合基于模型的保障措施来解决高阶相对度的问题。此外，我们利用LTL自动化和ECBF的性质来构建引导过程，以进一步提高勘探效率。最后，我们通过多个机器人环境展示了框架的有效性。我们展示了这种基于ECBF的模块化深RL算法在训练期间实现了近乎完美的成功率和保护安全性，并且在训练期间具有很高的概率信心。

我们呈现$ \ mathcal {cl} _1 $ - $ \ mathcal {gp} $，控制框架，使能安全同时学习和控制能够进行不确定因素的系统。这两个主要成分是基于收缩理论的$ \ mathcal {l} _1 $（$ \ mathcal {cl} _1 $）控制和贝叶斯学习以高斯过程（GP）回归。$ \ mathcal {cl} _1 $控制器可确保在提供安全证书时满足控制目标。此外，$ \ mathcal {cl} _1 $ - $ \ mathcal {gp} $将任何可用数据纳入了GP的不确定因素模型，这提高了性能并使运动计划能够安全地实现最佳状态。这样，即使在学习瞬变期间，也可以保证系统的安全操作。我们提供了一些用于在各种环境中安全学习和控制平面的平面电路系统的说明性示例。

In this work, we consider the problem of learning a feed-forward neural network controller to safely steer an arbitrarily shaped planar robot in a compact and obstacle-occluded workspace. Unlike existing methods that depend strongly on the density of data points close to the boundary of the safe state space to train neural network controllers with closed-loop safety guarantees, here we propose an alternative approach that lifts such strong assumptions on the data that are hard to satisfy in practice and instead allows for graceful safety violations, i.e., of a bounded magnitude that can be spatially controlled. To do so, we employ reachability analysis techniques to encapsulate safety constraints in the training process. Specifically, to obtain a computationally efficient over-approximation of the forward reachable set of the closed-loop system, we partition the robot's state space into cells and adaptively subdivide the cells that contain states which may escape the safe set under the trained control law. Then, using the overlap between each cell's forward reachable set and the set of infeasible robot configurations as a measure for safety violations, we introduce appropriate terms into the loss function that penalize this overlap in the training process. As a result, our method can learn a safe vector field for the closed-loop system and, at the same time, provide worst-case bounds on safety violation over the whole configuration space, defined by the overlap between the over-approximation of the forward reachable set of the closed-loop system and the set of unsafe states. Moreover, it can control the tradeoff between computational complexity and tightness of these bounds. Our proposed method is supported by both theoretical results and simulation studies.