概率模型（例如高斯流程（GPS））是从数据中学习未知动态系统的强大工具，以供随后在控制设计中使用。尽管基于学习的控制有可能在苛刻的应用中产生卓越的性能，但对不确定性的鲁棒性仍然是一个重要的挑战。由于贝叶斯方法量化了学习结果的不确定性，因此自然地将这些不确定性纳入强大的设计。与大多数考虑最坏情况估计值的最先进的方法相反，我们利用了学习方法在控制器合成中的后验分布。结果是性能和稳健性之间更加明智的，因此更有效的权衡。我们提出了一种新型的控制器合成，用于线性化的GP动力学，该动力学相对于概率稳定性缘就产生了可靠的控制器。该公式基于最近提出的线性二次控制综合算法，我们通过提供概率的鲁棒性来保证该系统的稳定性以可信度的范围为系统的稳定性范围，以基于最差的方法和确定性设计的现有方法的稳定性范围。提出方法的性能和鲁棒性。

强大的控制器确保在不确定性下设计但以绩效为代价的反馈回路中的稳定性。最近提出的基于学习的方法可以减少时间不变系统的模型不确定性，从而改善使用数据的稳健控制器的性能。但是，实际上，许多系统在随着时间的变化形式表现出不确定性，例如，由于重量转移或磨损，导致基于学习的控制器的性能或不稳定降低。我们提出了一种事件触发的学习算法，该算法决定何时在LQR问题中以罕见或缓慢的变化在LQR问题中学习。我们的关键想法是在健壮的控制器和学习的控制器之间切换。对于学习，我们首先使用概率模型通过蒙特卡洛估计来近似学习阶段的最佳长度。然后，我们根据LQR成本的力矩生成功能设计了不确定系统的统计测试。该测试检测到控制下的系统的变化，并在控制性能由于系统变化而恶化时触发重新学习。在数值示例中，我们证明了与鲁棒控制器基线相比的性能提高。

高斯流程已成为各种安全至关重要环境的有前途的工具，因为后方差可用于直接估计模型误差并量化风险。但是，针对安全 - 关键环境的最新技术取决于核超参数是已知的，这通常不适用。为了减轻这种情况，我们在具有未知的超参数的设置中引入了强大的高斯过程统一误差界。我们的方法计算超参数空间中的一个置信区域，这使我们能够获得具有任意超参数的高斯过程模型误差的概率上限。我们不需要对超参数的任何界限，这是相关工作中常见的假设。相反，我们能够以直观的方式从数据中得出界限。我们还采用了建议的技术来为一类基于学习的控制问题提供绩效保证。实验表明，界限的性能明显优于香草和完全贝叶斯高斯工艺。

过去半年来，从控制和强化学习社区的真实机器人部署的安全学习方法的贡献数量急剧上升。本文提供了一种简洁的但整体审查，对利用机器学习实现的最新进展，以实现在不确定因素下的安全决策，重点是统一控制理论和加固学习研究中使用的语言和框架。我们的评论包括：基于学习的控制方法，通过学习不确定的动态，加强学习方法，鼓励安全或坚固性的加固学习方法，以及可以正式证明学习控制政策安全的方法。随着基于数据和学习的机器人控制方法继续获得牵引力，研究人员必须了解何时以及如何最好地利用它们在安全势在必行的现实情景中，例如在靠近人类的情况下操作时。我们突出了一些开放的挑战，即将在未来几年推动机器人学习领域，并强调需要逼真的物理基准的基准，以便于控制和加固学习方法之间的公平比较。

安全关键型应用程序要求控制器/政策能够保证安全高度信心。如果我们可以访问地面真实的系统动态，控制屏障功能是一种有用的工具，可以保证安全。在实践中，我们对系统动态的知识不准确，这可能导致不安全的行为导致的残余动力学。使用确定性机器学习模型学习剩余动态可以防止不安全的行为，但是当预测不完美时可能会失败。在这种情况下，概率学习方法，其预测的不确定性的原因可以有助于提供强大的安全利润。在这项工作中，我们使用高斯过程来模拟残余动力学的投影到控制屏障功能上。我们提出了一种新颖的优化程序，以产生安全控制，可以保证具有高概率的安全性。安全滤波器具有推理来自GP预测的不确定性的能力。我们通过SEGWAY和四轮车模拟的实验展示了这种方法的功效。与具有神经网络的确定性方法相比，我们所提出的概率方法能够显着降低安全违规的数量。

This paper proposes embedded Gaussian Process Barrier States (GP-BaS), a methodology to safely control unmodeled dynamics of nonlinear system using Bayesian learning. Gaussian Processes (GPs) are used to model the dynamics of the safety-critical system, which is subsequently used in the GP-BaS model. We derive the barrier state dynamics utilizing the GP posterior, which is used to construct a safety embedded Gaussian process dynamical model (GPDM). We show that the safety-critical system can be controlled to remain inside the safe region as long as we can design a controller that renders the BaS-GPDM's trajectories bounded (or asymptotically stable). The proposed approach overcomes various limitations in early attempts at combining GPs with barrier functions due to the abstention of restrictive assumptions such as linearity of the system with respect to control, relative degree of the constraints and number or nature of constraints. This work is implemented on various examples for trajectory optimization and control including optimal stabilization of unstable linear system and safe trajectory optimization of a Dubins vehicle navigating through an obstacle course and on a quadrotor in an obstacle avoidance task using GP differentiable dynamic programming (GP-DDP). The proposed framework is capable of maintaining safe optimization and control of unmodeled dynamics and is purely data driven.

We propose a learning-based robust predictive control algorithm that compensates for significant uncertainty in the dynamics for a class of discrete-time systems that are nominally linear with an additive nonlinear component. Such systems commonly model the nonlinear effects of an unknown environment on a nominal system. We optimize over a class of nonlinear feedback policies inspired by certainty equivalent "estimate-and-cancel" control laws pioneered in classical adaptive control to achieve significant performance improvements in the presence of uncertainties of large magnitude, a setting in which existing learning-based predictive control algorithms often struggle to guarantee safety. In contrast to previous work in robust adaptive MPC, our approach allows us to take advantage of structure (i.e., the numerical predictions) in the a priori unknown dynamics learned online through function approximation. Our approach also extends typical nonlinear adaptive control methods to systems with state and input constraints even when we cannot directly cancel the additive uncertain function from the dynamics. We apply contemporary statistical estimation techniques to certify the system's safety through persistent constraint satisfaction with high probability. Moreover, we propose using Bayesian meta-learning algorithms that learn calibrated model priors to help satisfy the assumptions of the control design in challenging settings. Finally, we show in simulation that our method can accommodate more significant unknown dynamics terms than existing methods and that the use of Bayesian meta-learning allows us to adapt to the test environments more rapidly.

我们研究了由测量和过程噪声引起的不确定性的动态系统的规划问题。测量噪声导致系统状态可观察性有限，并且过程噪声在给定控制的结果中导致不确定性。问题是找到一个控制器，保证系统在有限时间内达到所需的目标状态，同时避免障碍物，至少需要一些所需的概率。由于噪音，此问题不承认一般的精确算法或闭合性解决方案。我们的主要贡献是一种新颖的规划方案，采用卡尔曼滤波作为状态估计器，以获得动态系统的有限状态抽象，我们将作为马尔可夫决策过程（MDP）正式化。通过延长概率间隔的MDP，我们可以增强模型对近似过渡概率的数值不精确的鲁棒性。对于这种所谓的间隔MDP（IMDP），我们采用最先进的验证技术来有效地计算最大化目标状态概率的计划。我们展示了抽象的正确性，并提供了几种优化，旨在平衡计划的质量和方法的可扩展性。我们展示我们的方法能够处理具有6维状态的系统，该系统导致具有数万个状态和数百万个过渡的IMDP。

我们呈现$ \ mathcal {cl} _1 $ - $ \ mathcal {gp} $，控制框架，使能安全同时学习和控制能够进行不确定因素的系统。这两个主要成分是基于收缩理论的$ \ mathcal {l} _1 $（$ \ mathcal {cl} _1 $）控制和贝叶斯学习以高斯过程（GP）回归。$ \ mathcal {cl} _1 $控制器可确保在提供安全证书时满足控制目标。此外，$ \ mathcal {cl} _1 $ - $ \ mathcal {gp} $将任何可用数据纳入了GP的不确定因素模型，这提高了性能并使运动计划能够安全地实现最佳状态。这样，即使在学习瞬变期间，也可以保证系统的安全操作。我们提供了一些用于在各种环境中安全学习和控制平面的平面电路系统的说明性示例。

在安全关键设置中运行的自治系统的控制器必须考虑随机扰动。这种干扰通常被建模为过程噪声，并且常见的假设是底层分布是已知的和/或高斯的。然而，在实践中，这些假设可能是不现实的并且可以导致真正噪声分布的近似值。我们提出了一种新的规划方法，不依赖于噪声分布的任何明确表示。特别是，我们解决了计算控制器的控制器，该控制器提供了安全地到达目标的概率保证。首先，我们将连续系统摘要进入一个离散状态模型，通过状态之间的概率转换捕获噪声。作为关键贡献，我们根据噪声的有限数量的样本来调整这些过渡概率的方案方法中的工具。我们在所谓的间隔马尔可夫决策过程（IMDP）的转换概率间隔中捕获这些界限。该IMDP在过渡概率中的不确定性稳健，并且可以通过样本的数量来控制概率间隔的紧张性。我们使用最先进的验证技术在IMDP上提供保证，并计算这些保证对自主系统的控制器。即使IMDP有数百万个州或过渡，也表明了我们方法的实际适用性。

在安全关键方案中利用自主系统需要在存在影响系统动态的不确定性和黑匣子组件存在下验证其行为。在本文中，我们开发了一个框架，用于验证部分可观察到的离散时间动态系统，从给定的输入输出数据集中具有针对时间逻辑规范的未暗模式可分散的动态系统。验证框架采用高斯进程（GP）回归，以了解数据集中的未知动态，并将连续空间系统抽象为有限状态，不确定的马尔可夫决策过程（MDP）。这种抽象依赖于通过使用可重复的内核Hilbert空间分析以及通过离散化引起的不确定性来捕获由于GP回归中的错误而捕获不确定性的过渡概率间隔。该框架利用现有的模型检查工具来验证对给定时间逻辑规范的不确定MDP抽象。我们建立将验证结果扩展到潜在部分可观察系统的抽象结果的正确性。我们表明框架的计算复杂性在数据集和离散抽象的大小中是多项式。复杂性分析说明了验证结果质量与处理较大数据集和更精细抽象的计算负担之间的权衡。最后，我们展示了我们的学习和验证框架在具有线性，非线性和切换动力系统的几种案例研究中的功效。

最近的研究表明，监督学习可以是为高维非线性动态系统设计最佳反馈控制器的有效工具。但是这些神经网络（NN）控制器的行为仍未得到很好的理解。在本文中，我们使用数值模拟来证明典型的测试精度度量没有有效地捕获NN控制器稳定系统的能力。特别是，具有高测试精度的一些NN不能稳定动态。为了解决这个问题，我们提出了两个NN架构，该架构在局部地近似线性二次调节器（LQR）。数值模拟确认了我们的直觉，即建议的架构可靠地产生稳定反馈控制器，而不会牺牲最佳状态。此外，我们介绍了描述这种NN控制系统的一些稳定性特性的初步理论结果。

受到控制障碍功能（CBF）在解决安全性方面的成功以及数据驱动技术建模功能的兴起的启发，我们提出了一种使用高斯流程（GPS）在线合成CBF的非参数方法。 CBF等数学结构通过先验设计候选功能来实现安全性。但是，设计这样的候选功能可能具有挑战性。这种设置的一个实际示例是在需要确定安全且可导航区域的灾难恢复方案中设计CBF。在这样的示例中，安全性边界未知，不能先验设计。在我们的方法中，我们使用安全样本或观察结果来在线构建CBF，通过在这些样品上具有灵活的GP，并称我们为高斯CBF的配方。除非参数外，例如分析性障碍性和稳健的不确定性估计，GP具有有利的特性。这允许通过合并方差估计来实现具有高安全性保证的后部组件，同时还计算封闭形式中相关的部分导数以实现安全控制。此外，我们方法的合成安全函数允许根据数据任意更改相应的安全集，从而允许非Convex安全集。我们通过证明对固定但任意的安全集和避免碰撞的安全性在线构建安全集的安全控制，从而在四极管上验证了我们的方法。最后，我们将高斯CBF与常规的CBF并列，在嘈杂状态下，以突出其灵活性和对噪声的鲁棒性。实验视频可以在：https：//youtu.be/hx6uokvcigk上看到。

这项教程调查概述了统计学习理论中最新的非征血性进步与控制和系统识别相关。尽管在所有控制领域都取得了重大进展，但在线性系统的识别和学习线性二次调节器时，该理论是最发达的，这是本手稿的重点。从理论的角度来看，这些进步的大部分劳动都在适应现代高维统计和学习理论的工具。虽然与控制对机器学习的工具感兴趣的理论家高度相关，但基础材料并不总是容易访问。为了解决这个问题，我们提供了相关材料的独立介绍，概述了基于最新结果的所有关键思想和技术机械。我们还提出了许多开放问题和未来的方向。

Reinforcement learning is a powerful paradigm for learning optimal policies from experimental data. However, to find optimal policies, most reinforcement learning algorithms explore all possible actions, which may be harmful for real-world systems. As a consequence, learning algorithms are rarely applied on safety-critical systems in the real world. In this paper, we present a learning algorithm that explicitly considers safety, defined in terms of stability guarantees. Specifically, we extend control-theoretic results on Lyapunov stability verification and show how to use statistical models of the dynamics to obtain high-performance control policies with provable stability certificates. Moreover, under additional regularity assumptions in terms of a Gaussian process prior, we prove that one can effectively and safely collect data in order to learn about the dynamics and thus both improve control performance and expand the safe region of the state space. In our experiments, we show how the resulting algorithm can safely optimize a neural network policy on a simulated inverted pendulum, without the pendulum ever falling down.

计算机视觉和机器学习的进步使机器人能够以强大的新方式感知其周围环境，但是这些感知模块具有众所周知的脆弱性。我们考虑了合成尽管有知觉错误的安全控制器的问题。所提出的方法基于具有输入依赖性噪声的高斯过程构建状态估计器。该估计器为给定状态计算实际状态的高信心集。然后，合成了可证明可以处理状态不确定性的强大神经网络控制器。此外，提出了一种自适应采样算法来共同改善估计器和控制器。模拟实验，包括Carla中基于逼真的巷道示例，说明了提出方法在与基于深度学习的感知合成强大控制器中提出的方法的希望。

变化的条件或环境会导致系统动态随着时间而变化。为了确保最佳控制性能，控制器应适应这些更改。当不明变化的基本原因和时间未知时，我们需要依靠在线数据进行适应。在本文中，我们将使用随时间变化的贝叶斯优化（TVBO）在不断变化的环境中在线调整控制器，并使用有关控制目标及其更改的适当先验知识。两种属性是许多在线控制器调整问题的特征：首先，由于系统动力学的变化，例如通过磨损，它们在目标上表现出增量和持久的变化。其次，优化问题是调谐参数中的凸。当前的TVBO方法不会明确考虑这些属性，从而通过过度探索参数空间导致调谐性能和许多不稳定的控制器。我们建议使用不确定性注入（UI）的新型TVBO遗忘策略，该策略结合了增量和持久变化的假设。控制目标通过时间结构域中的维也纳工艺建模为使用UI的时空高斯过程（GP）。此外，我们通过与线性不等式约束的GP模型明确对空间维度中的凸度假设进行建模。在数值实验中，我们表明我们的模型优于TVBO中的最新方法，表现出减少的遗憾和更少的不稳定参数配置。

基于学习的控制方案最近表现出了出色的效力执行复杂的任务。但是，为了将它们部署在实际系统中，保证该系统在在线培训和执行过程中将保持安全至关重要。因此，我们需要安全的在线学习框架，能够自主地理论当前的信息是否足以确保安全或需要新的测量。在本文中，我们提出了一个由两个部分组成的框架：首先，在需要时积极收集测量的隔离外检测机制，以确保至少一个安全备份方向始终可供使用；其次，基于高斯的基于过程的概率安全 - 关键控制器可确保系统始终保持安全的可能性。我们的方法通过使用控制屏障功能来利用模型知识，并以事件触发的方式从在线数据流中收集测量，以确保学习的安全至关重要控制器的递归可行性。反过来，这又使我们能够提供具有很高概率的安全集的正式结果，即使在先验未开发的区域中也是如此。最后，我们在自适应巡航控制系统的数值模拟中验证了所提出的框架。

动态系统的建模和仿真是许多控制方法的必要步骤。使用基于参数的基于参数的技术来建模现代系统，例如软机器人或人机交互，由于系统动态的复杂性，通常是挑战甚至不可行的。相比之下，数据驱动方法只需要最少的先验知识和规模，并以系统的复杂性规模。特别地，高斯过程动态模型（GPDMS）为复杂动态的建模提供了非常有前途的结果。然而，这些GP模型的控制特性刚刚稀疏地研究，这导致了建模和控制方案中的“黑箱”处理。此外，GPDMS对预测目的的采样，尊重其非参数性的非公平性，使得理论分析具有挑战性。在本文中，我们呈现近似的GPDM，它是马尔可夫的并分析它们的控制理论特性。其中，分析了近似的误差，提供了轨迹的界限条件。结果用数字示例说明，该数值示例显示近似模型的功率，而计算时间显着降低。

强化学习（RL）控制器在控制社区中产生了兴奋。 RL控制器相对于现有方法的主要优点是它们能够优化不确定的系统，独立于明确假设过程不确定性。最近对工程应用的关注是针对安全RL控制器的发展。以前的作品已经提出了通过从随机模型预测控制领域的限制收紧来解释约束满足的方法。在这里，我们将这些方法扩展到植物模型不匹配。具体地，我们提出了一种利用离线仿真模型的高斯过程的数据驱动方法，并使用相关的后部不确定预测来解释联合机会限制和植物模型不匹配。该方法通过案例研究反对非线性模型预测控制的基准测试。结果证明了方法理解过程不确定性的能力，即使在植物模型错配的情况下也能满足联合机会限制。