用于未知非线性系统的学习和合成稳定控制器是现实世界和工业应用的具有挑战性问题。 Koopman操作员理论允许通过直线系统和非线性控制系统的镜头通过线性系统和非线性控制系统的镜头来分析非线性系统。这些方法的关键思想，在于将非线性系统的坐标转换为Koopman可观察，这是允许原始系统（控制系统）作为更高尺寸线性（双线性控制）系统的坐标。然而，对于非线性控制系统，通过应用基于Koopman操作员的学习方法获得的双线性控制模型不一定是稳定的，因此，不保证稳定反馈控制的存在，这对于许多真实世界的应用来说是至关重要的。同时识别基于这些可稳定的Koopman的双线性控制系统以及相关的Koopman可观察到仍然是一个开放的问题。在本文中，我们提出了一个框架，以通过同时学习为基于Koopman的底层未知的非线性控制系统以及基于Koopman的控制Lyapunov函数（CLF）来识别和构造这些可稳定的双线性模型及其相关的可观察能力。双线性模型使用学习者和伪空。我们提出的方法从而为非线性控制系统具有未知动态的非线性控制系统提供了可证明的全球渐近稳定性的保证。提供了数值模拟，以验证我们提出的稳定反馈控制器为未知的非线性系统的效力。

我们提出了用于学习控制策略的新方法和神经网络Lyapunov功能，以实现非线性控制问题，并可以证明可以保证稳定性。该框架由一个试图找到控制和Lyapunov功能的学习者组成，以及一个发现反例以快速指导学习者实现解决方案的伪造者。该过程终止，当未针对伪造者发现反例时，在这种情况下，受控的非线性系统被证明是稳定的。该方法显着简化了Lyapunov控制设计的过程，提供端到端的正确性保证，并且可以比LQR和SOS/SDP等现有方法获得更大的吸引力区域。我们展示了有关新方法如何获得高质量解决方案的实验。

Learning-enabled control systems have demonstrated impressive empirical performance on challenging control problems in robotics, but this performance comes at the cost of reduced transparency and lack of guarantees on the safety or stability of the learned controllers. In recent years, new techniques have emerged to provide these guarantees by learning certificates alongside control policies -- these certificates provide concise, data-driven proofs that guarantee the safety and stability of the learned control system. These methods not only allow the user to verify the safety of a learned controller but also provide supervision during training, allowing safety and stability requirements to influence the training process itself. In this paper, we provide a comprehensive survey of this rapidly developing field of certificate learning. We hope that this paper will serve as an accessible introduction to the theory and practice of certificate learning, both to those who wish to apply these tools to practical robotics problems and to those who wish to dive more deeply into the theory of learning for control.

本文开发了一种基于模型的强化学习（MBR）框架，用于在线在线学习无限范围最佳控制问题的价值函数，同时遵循表示为控制屏障功能（CBFS）的安全约束。我们的方法是通过开发一种新型的CBFS，称为Lyapunov样CBF（LCBF），其保留CBFS的有益特性，以开发最微创的安全控制政策，同时也具有阳性半自动等所需的Lyapunov样品质 - 义法。我们展示这些LCBFS如何用于增强基于学习的控制策略，以保证安全性，然后利用这种方法在MBRL设置中开发安全探索框架。我们表明，我们的开发方法可以通过各种数值示例来处理比较法的更通用的安全限制。

学习如何随着时间的推移发展复杂的动态系统是系统识别中的关键挑战。对于安全关键系统，它通常是至关重要的，因为学习的模型保证会聚到一些均衡点。为此，当完全观察到各种时，用神经拉布诺夫函数规范的神经杂物是一种有希望的方法。然而，对于实际应用，部分观察是常态。正如我们将证明，未观察到的增强状态的初始化可能成为神经杂物余下的关键问题。为了减轻这个问题，我们建议增加该系统的历史历史。通过国家增强在离散时间系统中的启发，我们得到了神经延迟微分方程。基于古典时间延迟稳定性分析，我们展示了如何确保学习模型的稳定性，从理论上分析我们的方法。我们的实验表明其适用于稳定的系统识别部分观察到的系统和学习延迟反馈控制中的稳定反馈策略。

收缩理论是一种分析工具，用于研究以均匀的正面矩阵定义的收缩度量下的非自主（即，时变）非线性系统的差动动力学，其存在导致增量指数的必要和充分表征多种溶液轨迹彼此相互稳定性的稳定性。通过使用平方差分长度作为Lyapunov样功能，其非线性稳定性分析向下沸腾以找到满足以表达为线性矩阵不等式的稳定条件的合适的收缩度量，表明可以在众所周知的线性系统之间绘制许多平行线非线性系统理论与收缩理论。此外，收缩理论利用了与比较引理结合使用的指数稳定性的优越稳健性。这产生了基于神经网络的控制和估计方案的急需安全性和稳定性保证，而不借助使用均匀渐近稳定性的更涉及的输入到状态稳定性方法。这种独特的特征允许通过凸优化来系统构造收缩度量，从而获得了由于扰动和学习误差而在外部扰动的时变的目标轨迹和解决方案轨迹之间的距离上的明确指数界限。因此，本文的目的是介绍了收缩理论的课程概述及其在确定性和随机系统的非线性稳定性分析中的优点，重点导出了各种基于学习和数据驱动的自动控制方法的正式鲁棒性和稳定性保证。特别是，我们提供了使用深神经网络寻找收缩指标和相关控制和估计法的技术的详细审查。

我们开发了一种多功能的深神经网络体系结构，称为Lyapunov-net，以近似高维动力学系统的Lyapunov函数。Lyapunov-net保证了积极的确定性，因此可以轻松地训练它以满足负轨道衍生物条件，这仅在实践中的经验风险功能中呈现单个术语。与现有方法相比，这显着减少了超参数的数量。我们还提供了关于Lyapunov-NET及其复杂性界限的近似能力的理论理由。我们证明了所提出的方法在涉及多达30维状态空间的非线性动力系统上的效率，并表明所提出的方法显着优于最新方法。

稳定性认证并确定安全稳定的初始集是确保动态系统的操作安全性，稳定性和鲁棒性的两个重要问题。随着机器学习工具的出现，需要针对反馈循环中具有机器学习组件的系统来解决这些问题。为了开发一种关于神经网络（NN）控制的非线性系统的稳定性和稳定性的一般理论，提出了基于Lyapunov的稳定性证书，并进一步用于设计用于NN Controller和NN控制器和最大LIPSCHITZ绑定的。也是给定的安全操作域内内部相应的最大诱因（ROA）。为了计算这种强大的稳定NN控制器，它也最大化了系统的长期实用程序，提出了稳定性保证训练（SGT）算法。提出的框架的有效性通过说明性示例得到了验证。

本文涉及一种特殊类型的Lyapunov功能，即Zubov方程的解决方案。这种功能可用于表征常微分方程的系统的吸引领域。我们派生并证明了Zubov等式的一体形式解决方案。对于数值计算，我们开发了两个数据驱动方法。一个基于差分方程的增强系统的集成;另一个是基于深度学习。前者对于具有相对低的状态空间尺寸的系统是有效的，并且后者是为高维问题开发的。深度学习方法应用于新英格兰10发电机电力系统模型。我们证明了电力系统的Lyapunov功能存在神经网络近似，使得近似误差是发电机数量的立方多项式。证明了作为n的函数的误差收敛速率，是神经元数量的函数。

This paper develops methods for proving Lyapunov stability of dynamical systems subject to disturbances with an unknown distribution. We assume only a finite set of disturbance samples is available and that the true online disturbance realization may be drawn from a different distribution than the given samples. We formulate an optimization problem to search for a sum-of-squares (SOS) Lyapunov function and introduce a distributionally robust version of the Lyapunov function derivative constraint. We show that this constraint may be reformulated as several SOS constraints, ensuring that the search for a Lyapunov function remains in the class of SOS polynomial optimization problems. For general systems, we provide a distributionally robust chance-constrained formulation for neural network Lyapunov function search. Simulations demonstrate the validity and efficiency of either formulation on non-linear uncertain dynamical systems.

强化学习通常与奖励最大化（或成本量化）代理的培训相关，换句话说是控制者。它可以使用先验或在线收集的系统数据以无模型或基于模型的方式应用，以培训涉及的参数体系结构。通常，除非通过学习限制或量身定制的培训规则采取特殊措施，否则在线增强学习不能保证闭环稳定性。特别有希望的是通过“经典”控制方法进行增强学习的混合体。在这项工作中，我们建议一种在纯粹的在线学习环境中，即没有离线培训的情况下，可以保证系统控制器闭环的实际稳定性。此外，我们仅假设对系统模型的部分知识。为了达到要求的结果，我们采用经典自适应控制技术。总体控制方案的实施是在数字，采样设置中明确提供的。也就是说，控制器接收系统的状态，并在离散的时间（尤其是等距的时刻）中计算控制动作。该方法在自适应牵引力控制和巡航控制中进行了测试，事实证明，该方法可显着降低成本。

神经网络（NNS）已成功地用于代表复杂动力学系统的状态演变。这样的模型，称为NN动态模型（NNDMS），使用NN的迭代噪声预测来估计随时间推移系统轨迹的分布。尽管它们的准确性，但对NNDMS的安全分析仍然是一个具有挑战性的问题，并且在很大程度上尚未探索。为了解决这个问题，在本文中，我们介绍了一种为NNDM提供安全保证的方法。我们的方法基于随机屏障函数，其与安全性的关系类似于Lyapunov功能的稳定性。我们首先展示了通过凸优化问题合成NNDMS随机屏障函数的方法，该问题又为系统的安全概率提供了下限。我们方法中的一个关键步骤是，NNS的最新凸近似结果的利用是找到零件线性边界，这允许将屏障函数合成问题作为一个方形优化程序的制定。如果获得的安全概率高于所需的阈值，则该系统将获得认证。否则，我们引入了一种生成控制系统的方法，该系统以最小的侵入性方式稳健地最大化安全概率。我们利用屏障函数的凸属性来提出最佳控制合成问题作为线性程序。实验结果说明了该方法的功效。即，他们表明该方法可以扩展到具有多层和数百个神经元的多维NNDM，并且控制器可以显着提高安全性概率。

最近的研究表明，监督学习可能是设计用于高维非线性动态系统的最佳反馈控制器的有效工具。但是神经网络控制器的行为仍然不太了解。特别是，一些具有高测试精度的神经网络甚至无法局部稳定动态系统。为了应对这一挑战，我们提出了几种新型的神经网络体系结构，我们显示出保证局部渐近稳定性，同时保留了学习最佳反馈政策半全球的近似能力。通过两个高维非线性最佳控制问题的数值模拟，将所提出的体系结构与标准的神经网络反馈控制器进行了比较：稳定不稳定的汉堡型部分偏差方程，以及无人驾驶汽车的高度和课程跟踪。模拟表明，即使经过良好的训练，标准的神经网络也可能无法稳定动力学，而所提出的体系结构始终至少在本地稳定。此外，发现拟议的控制器在测试中几乎是最佳的。

最近的研究表明，监督学习可以是为高维非线性动态系统设计最佳反馈控制器的有效工具。但是这些神经网络（NN）控制器的行为仍未得到很好的理解。在本文中，我们使用数值模拟来证明典型的测试精度度量没有有效地捕获NN控制器稳定系统的能力。特别是，具有高测试精度的一些NN不能稳定动态。为了解决这个问题，我们提出了两个NN架构，该架构在局部地近似线性二次调节器（LQR）。数值模拟确认了我们的直觉，即建议的架构可靠地产生稳定反馈控制器，而不会牺牲最佳状态。此外，我们介绍了描述这种NN控制系统的一些稳定性特性的初步理论结果。

在本文中，我们为通过深神经网络参数参数的离散时间动力学系统的消散性和局部渐近稳定提供了足够的条件。我们利用神经网络作为点式仿射图的表示，从而揭示其本地线性操作员并使其可以通过经典的系统分析和设计方法访问。这使我们能够通过评估其耗散性并估算其固定点和状态空间分区来“打开神经动力学系统行为的黑匣子”。我们将这些局部线性运算符的规范与耗散系统中存储的能量的规范联系起来，其供应率由其总偏差项表示。从经验上讲，我们分析了这些局部线性运算符的动力学行为和特征值光谱的差异，具有不同的权重，激活函数，偏置项和深度。

本文考虑了以分布式和计算障碍方式组成的大规模网络系统的稳定区域的问题。估计一般非线性系统稳定区域的一种标准方法是首先找到该系统的Lyapunov函数，并将其吸引区域描述为稳定区域。但是，用于查找lyapunov函数的经典方法，例如平方的方法和二次近似，要么不扩展到大型系统，要么对稳定区域进行非常保守的估计。在这种情况下，我们通过利用子系统的耗散性结构来提出一种新的基于分布式学习的方法。我们的方法有两个部分：第一部分是一种分布式方法，用于学习所有子系统的存储功能（类似于Lyapunov函数），第二部分是一种分布式优化方法，可以使用该系统找到网络系统的Lyapunov功能学习子系统的存储功能。我们通过微电网网络中的广泛案例研究证明了我们提出的方法的出色表现。

非线性自适应控制理论中的一个关键假设是系统的不确定性可以在一组已知基本函数的线性跨度中表示。虽然该假设导致有效的算法，但它将应用限制为非常特定的系统类别。我们介绍一种新的非参数自适应算法，其在参数上学习无限尺寸密度，以取消再现内核希尔伯特空间中的未知干扰。令人惊讶的是，所产生的控制输入承认，尽管其底层无限尺寸结构，但是尽管它的潜在无限尺寸结构实现了其实施的分析表达。虽然这种自适应输入具有丰富和富有敏感性的 - 例如，传统的线性参数化 - 其计算复杂性随时间线性增长，使其比其参数对应力相对较高。利用随机傅里叶特征的理论，我们提供了一种有效的随机实现，该实现恢复了经典参数方法的复杂性，同时可透明地保留非参数输入的表征性。特别地，我们的显式范围仅取决于系统的基础参数，允许我们所提出的算法有效地缩放到高维系统。作为该方法的说明，我们展示了随机近似算法学习由牛顿重力交互的十点批量组成的60维系统的预测模型的能力。

This paper provides an introduction and overview of recent work on control barrier functions and their use to verify and enforce safety properties in the context of (optimization based) safety-critical controllers. We survey the main technical results and discuss applications to several domains including robotic systems.

我们提出了一个框架，用于稳定验证混合智能线性编程（MILP）代表控制策略。该框架比较了固定的候选策略，该策略承认有效的参数化，可以以低计算成本进行评估，与固定基线策略进行评估，固定基线策略已知稳定但评估昂贵。我们根据基线策略的最坏情况近似错误为候选策略的闭环稳定性提供了足够的条件，我们表明可以通过求解混合构成二次计划（MIQP）来检查这些条件。 。此外，我们证明可以通过求解MILP来计算候选策略的稳定区域的外部近似。所提出的框架足以容纳广泛的候选策略，包括Relu神经网络（NNS），参数二次程序的最佳解决方案图以及模型预测性控制（MPC）策略。我们还根据提议的框架在Python中提供了一个开源工具箱，该工具可以轻松验证自定义NN架构和MPC公式。我们在DC-DC电源转换器案例研究的背景下展示了框架的灵活性和可靠性，并研究了计算复杂性。

在本文中，我们提出了一个新型的非线性观察者，称为神经观察者，以通过将神经网络（NN）引入观察者的设计，以实现线性时间传播（LTI）系统的观察任务和不确定的非线性系统。通过探索NN代表向NN映射矢量的方法，我们从LTI和不确定的非线性系统中得出了稳定性分析（例如，指数收敛速率），这些系统仅使用线性矩阵不平等（LMIS）为解决观察问题铺平了道路。值得注意的是，为不确定系统设计的神经观察者基于主动扰动拒绝控制（ADRC）的意识形态，该思想可以实时测量不确定性。 LMI结果也很重要，因为我们揭示了LMI溶液存在系统矩阵的可观察性和可控性。最后，我们在三个模拟案例上验证神经观察者的可用性，包括X-29A飞机模型，非线性摆和四轮转向车辆。