如今，数据可以丰富地访问，并且计算功能越来越强大，可以合理地处理大数据。这种了不起的场景为解决一些以前难以分析和解决的控制问题提供了一种新的方法。在本文中，提出了一种新型的控制方法，即具有模式（CWP）的控制方法，以处理与受离散控制约束集的非线性动力学系统相对应的数据集。对于此类数据集，提出了一个新的定义，即数据集中的指数吸引力，以描述正在考虑的非线性动力学系统。基于数据集和参数化的Lyapunov函数，数据集中的指数吸引力的问题转换为模式分类。此外，相应地提出了控制器设计，其中使用模式分类函数来确定应使用控制集中的哪个控制元素。给出了说明性示例以显示拟议的CWP的有效性。

在本文中，我们提出了一个新型的非线性观察者，称为神经观察者，以通过将神经网络（NN）引入观察者的设计，以实现线性时间传播（LTI）系统的观察任务和不确定的非线性系统。通过探索NN代表向NN映射矢量的方法，我们从LTI和不确定的非线性系统中得出了稳定性分析（例如，指数收敛速率），这些系统仅使用线性矩阵不平等（LMIS）为解决观察问题铺平了道路。值得注意的是，为不确定系统设计的神经观察者基于主动扰动拒绝控制（ADRC）的意识形态，该思想可以实时测量不确定性。 LMI结果也很重要，因为我们揭示了LMI溶液存在系统矩阵的可观察性和可控性。最后，我们在三个模拟案例上验证神经观察者的可用性，包括X-29A飞机模型，非线性摆和四轮转向车辆。

收缩理论是一种分析工具，用于研究以均匀的正面矩阵定义的收缩度量下的非自主（即，时变）非线性系统的差动动力学，其存在导致增量指数的必要和充分表征多种溶液轨迹彼此相互稳定性的稳定性。通过使用平方差分长度作为Lyapunov样功能，其非线性稳定性分析向下沸腾以找到满足以表达为线性矩阵不等式的稳定条件的合适的收缩度量，表明可以在众所周知的线性系统之间绘制许多平行线非线性系统理论与收缩理论。此外，收缩理论利用了与比较引理结合使用的指数稳定性的优越稳健性。这产生了基于神经网络的控制和估计方案的急需安全性和稳定性保证，而不借助使用均匀渐近稳定性的更涉及的输入到状态稳定性方法。这种独特的特征允许通过凸优化来系统构造收缩度量，从而获得了由于扰动和学习误差而在外部扰动的时变的目标轨迹和解决方案轨迹之间的距离上的明确指数界限。因此，本文的目的是介绍了收缩理论的课程概述及其在确定性和随机系统的非线性稳定性分析中的优点，重点导出了各种基于学习和数据驱动的自动控制方法的正式鲁棒性和稳定性保证。特别是，我们提供了使用深神经网络寻找收缩指标和相关控制和估计法的技术的详细审查。

稳定性认证并确定安全稳定的初始集是确保动态系统的操作安全性，稳定性和鲁棒性的两个重要问题。随着机器学习工具的出现，需要针对反馈循环中具有机器学习组件的系统来解决这些问题。为了开发一种关于神经网络（NN）控制的非线性系统的稳定性和稳定性的一般理论，提出了基于Lyapunov的稳定性证书，并进一步用于设计用于NN Controller和NN控制器和最大LIPSCHITZ绑定的。也是给定的安全操作域内内部相应的最大诱因（ROA）。为了计算这种强大的稳定NN控制器，它也最大化了系统的长期实用程序，提出了稳定性保证训练（SGT）算法。提出的框架的有效性通过说明性示例得到了验证。

用于未知非线性系统的学习和合成稳定控制器是现实世界和工业应用的具有挑战性问题。 Koopman操作员理论允许通过直线系统和非线性控制系统的镜头通过线性系统和非线性控制系统的镜头来分析非线性系统。这些方法的关键思想，在于将非线性系统的坐标转换为Koopman可观察，这是允许原始系统（控制系统）作为更高尺寸线性（双线性控制）系统的坐标。然而，对于非线性控制系统，通过应用基于Koopman操作员的学习方法获得的双线性控制模型不一定是稳定的，因此，不保证稳定反馈控制的存在，这对于许多真实世界的应用来说是至关重要的。同时识别基于这些可稳定的Koopman的双线性控制系统以及相关的Koopman可观察到仍然是一个开放的问题。在本文中，我们提出了一个框架，以通过同时学习为基于Koopman的底层未知的非线性控制系统以及基于Koopman的控制Lyapunov函数（CLF）来识别和构造这些可稳定的双线性模型及其相关的可观察能力。双线性模型使用学习者和伪空。我们提出的方法从而为非线性控制系统具有未知动态的非线性控制系统提供了可证明的全球渐近稳定性的保证。提供了数值模拟，以验证我们提出的稳定反馈控制器为未知的非线性系统的效力。

本文介绍了最近在文献中引入的二次神经网络的分析和设计，以及它们在动态系统的回归，分类，系统识别和控制中的应用。这些网络提供了几个优点，其中最重要的是该体系结构是设计的副产品，尚未确定a-priori，可以通过解决凸优化问题来完成他们的培训可以实现权重，并且输入输出映射可以通过二次形式在分析上表示。从几个示例中也可以看出，这些网络仅使用一小部分培训数据就可以很好地工作。纸质铸造回归，分类，系统识别，稳定性和控制设计作为凸优化问题的结果，可以用多项式时间算法有效地求解到全局最佳。几个示例将显示二次神经网络在应用中的有效性。

强化学习通常与奖励最大化（或成本量化）代理的培训相关，换句话说是控制者。它可以使用先验或在线收集的系统数据以无模型或基于模型的方式应用，以培训涉及的参数体系结构。通常，除非通过学习限制或量身定制的培训规则采取特殊措施，否则在线增强学习不能保证闭环稳定性。特别有希望的是通过“经典”控制方法进行增强学习的混合体。在这项工作中，我们建议一种在纯粹的在线学习环境中，即没有离线培训的情况下，可以保证系统控制器闭环的实际稳定性。此外，我们仅假设对系统模型的部分知识。为了达到要求的结果，我们采用经典自适应控制技术。总体控制方案的实施是在数字，采样设置中明确提供的。也就是说，控制器接收系统的状态，并在离散的时间（尤其是等距的时刻）中计算控制动作。该方法在自适应牵引力控制和巡航控制中进行了测试，事实证明，该方法可显着降低成本。

这项研究开发了一个固定时间收敛的鞍点动力学系统，用于在标准凸孔腔假设的放松下解决最小值问题。特别是，通过利用优化算法的动力学系统观点，可以获得加速到鞍点的收敛。而不是要求目标函数是强率 - 巧妙的concave（由于需要加速几个鞍点算法的加速收敛），而是保证仅满足双面Polyak的功能，可以保证均匀的固定时间收敛性 - {\ l} ojasiewicz（pl）不等式。已知大量的实际问题，包括可靠的最小二乘估计，可以满足双面PL不平等。与任何其他具有线性甚至超级线性收敛的最先进方法相比，所提出的方法可实现任意快速的收敛性，并且在数值案例研究中也得到了证实。

最近的研究表明，监督学习可以是为高维非线性动态系统设计最佳反馈控制器的有效工具。但是这些神经网络（NN）控制器的行为仍未得到很好的理解。在本文中，我们使用数值模拟来证明典型的测试精度度量没有有效地捕获NN控制器稳定系统的能力。特别是，具有高测试精度的一些NN不能稳定动态。为了解决这个问题，我们提出了两个NN架构，该架构在局部地近似线性二次调节器（LQR）。数值模拟确认了我们的直觉，即建议的架构可靠地产生稳定反馈控制器，而不会牺牲最佳状态。此外，我们介绍了描述这种NN控制系统的一些稳定性特性的初步理论结果。

本文开发了一种基于模型的强化学习（MBR）框架，用于在线在线学习无限范围最佳控制问题的价值函数，同时遵循表示为控制屏障功能（CBFS）的安全约束。我们的方法是通过开发一种新型的CBFS，称为Lyapunov样CBF（LCBF），其保留CBFS的有益特性，以开发最微创的安全控制政策，同时也具有阳性半自动等所需的Lyapunov样品质 - 义法。我们展示这些LCBFS如何用于增强基于学习的控制策略，以保证安全性，然后利用这种方法在MBRL设置中开发安全探索框架。我们表明，我们的开发方法可以通过各种数值示例来处理比较法的更通用的安全限制。

本文采用加强学习技术研究了连续时间线性随机系统的适应性最优固定控制，使用加强学习技术。基于政策迭代，提出了一种新的脱助策略加强学习算法，命名为基于乐观的最小二乘策略迭代，能够直接从输入/状态数据直接找到自适应最佳稳定控制问题的迭代近的最佳策略从初始允许控制策略开始，显式识别任何系统矩阵。通过基于乐观的最小二乘基本的政策迭代给出的解决方案被证明是在温和条件下通过概率1收敛到最佳解决方案的小邻域。所提出的算法在三重倒立摆锤示例中的应用验证了其可行性和有效性。

我们提出了一个框架，用于稳定验证混合智能线性编程（MILP）代表控制策略。该框架比较了固定的候选策略，该策略承认有效的参数化，可以以低计算成本进行评估，与固定基线策略进行评估，固定基线策略已知稳定但评估昂贵。我们根据基线策略的最坏情况近似错误为候选策略的闭环稳定性提供了足够的条件，我们表明可以通过求解混合构成二次计划（MIQP）来检查这些条件。 。此外，我们证明可以通过求解MILP来计算候选策略的稳定区域的外部近似。所提出的框架足以容纳广泛的候选策略，包括Relu神经网络（NNS），参数二次程序的最佳解决方案图以及模型预测性控制（MPC）策略。我们还根据提议的框架在Python中提供了一个开源工具箱，该工具可以轻松验证自定义NN架构和MPC公式。我们在DC-DC电源转换器案例研究的背景下展示了框架的灵活性和可靠性，并研究了计算复杂性。

本文介绍了在最近开发的神经网络架构上的不确定系统构建的非线性控制器的参数化，称为经常性平衡网络（REN）以及YOULA参数化的非线性版本。拟议的框架具有“内置”保证稳定性，即搜索空间中的所有政策导致承包（全球指数稳定的）闭环系统。因此，它需要对成本函数的选择的非常温和的假设，并且可以推广稳定性属性以看不见的数据。这种方法的另一个有用特征是在没有任何约束的情况下直接参数化的策略，这简化了基于无约束优化的广泛的政策学习方法学习（例如随机梯度下降）。我们说明了具有各种模拟示例的所提出的方法。

在许多实际控制应用中，由于植物特征的变化，闭环系统的性能水平随着时间而变化。因此，在不经过系统建模过程的情况下，非常需要重新设计控制器，这对于闭环系统通常很难。强化学习（RL）是一种有前途的方法之一，仅基于闭环系统的测量，可以为非线性动力学系统提供最佳控制器的无模型重新设计。但是，RL的学习过程需要使用可能会在植物上累积磨损的控制系统不良的系统进行大量试验实验。为了克服这一限制，我们提出了一种无模型的两步设计方法，该方法在未知非线性系统的最佳调节器重新设计问题中提高了RL的瞬态学习性能。具体而言，我们首先设计了一种线性控制定律，该法律以无模型的方式达到一定程度的控制性能，然后通过并行使用设计的线性控制法来训练非线性最佳控制法。我们引入了一种线性控制定律设计的离线RL算法，并理论上保证了其在轻度假设下与LQR控制器的收敛性。数值模拟表明，所提出的方法可以提高RL的超参数调整中的瞬态学习性能和效率。

我们提出了基于复发均衡网络的非线性动态控制器的参数化，这是复发性神经网络的概括。我们对控制器保证具有部分观察到的动态系统的指数稳定性的参数化受到限制。最后，我们提出了一种使用投影策略梯度方法合成该控制器的方法，以最大程度地利用任意结构来奖励功能。投影步骤涉及凸优化问题的解决方案。我们通过模拟控制非线性植物（包括用神经网络建模的植物）演示了提出的方法。

策略梯度算法在强化学习中的融合取决于基础最佳控制问题的优化格局。通常可以通过分析线性二次控制的理论见解来获取这些算法。但是，大多数现有文献仅考虑静态全州或输出反馈策略（控制器）的优化格局。我们研究了线性二次调节（缩写为DLQR）的动态输出反馈政策更具挑战性的案例，该策略在实践中很普遍，但具有相当复杂的优化景观。我们首先显示DLQR成本如何随动态控制器的坐标转换而变化，然后为给定可观察的稳定控制器得出最佳转换。我们结果的核心是可观察到DLQR的固定点的唯一性，这是基于观察者的控制器的简洁形式，具有最佳的相似性转换。这些结果阐明了设计有效的算法，这些算法是针对部分观察到的信息的一般决策问题。

学习如何随着时间的推移发展复杂的动态系统是系统识别中的关键挑战。对于安全关键系统，它通常是至关重要的，因为学习的模型保证会聚到一些均衡点。为此，当完全观察到各种时，用神经拉布诺夫函数规范的神经杂物是一种有希望的方法。然而，对于实际应用，部分观察是常态。正如我们将证明，未观察到的增强状态的初始化可能成为神经杂物余下的关键问题。为了减轻这个问题，我们建议增加该系统的历史历史。通过国家增强在离散时间系统中的启发，我们得到了神经延迟微分方程。基于古典时间延迟稳定性分析，我们展示了如何确保学习模型的稳定性，从理论上分析我们的方法。我们的实验表明其适用于稳定的系统识别部分观察到的系统和学习延迟反馈控制中的稳定反馈策略。

影响模型预测控制（MPC）策略的神经网络（NN）近似的常见问题是缺乏分析工具来评估基于NN的控制器的动作下闭环系统的稳定性。我们介绍了一种通用过程来量化这种控制器的性能，或者设计具有整流的线性单元（Relus）的最小复杂性NN，其保留给定MPC方案的理想性质。通过量化基于NN和基于MPC的状态到输入映射之间的近似误差，我们首先建立适当的条件，涉及两个关键量，最坏情况误差和嘴唇截止恒定，保证闭环系统的稳定性。然后，我们开发了一个离线，混合整数的基于优化的方法，以确切地计算这些数量。这些技术共同提供足以认证MPC控制法的基于Relu的近似的稳定性和性能的条件。

本文介绍了一类时变植物的自适应控制的新参数估计算法。该算法的主要特征是时变的学习速率的矩阵，其使得每当满足激励条件时，使参数估计误差轨迹能够朝向紧凑型朝向紧凑型呈现快速。该算法用于在存在未知参数的大类问题中，并且是时变的。结果表明，该算法保证了系统的状态和参数误差的全局界限，并避免了用于构造密钥回归信号的经常使用过滤方法。另外，在存在有限和持久的激励的情况下，提供了这些误差趋向于紧凑型朝向紧凑型趋向于紧凑型的时间间隔。与时变忘记因素相比，投影运算符用于确保学习率矩阵的界限。提供了数值模拟以补充理论分析。

Learning-enabled control systems have demonstrated impressive empirical performance on challenging control problems in robotics, but this performance comes at the cost of reduced transparency and lack of guarantees on the safety or stability of the learned controllers. In recent years, new techniques have emerged to provide these guarantees by learning certificates alongside control policies -- these certificates provide concise, data-driven proofs that guarantee the safety and stability of the learned control system. These methods not only allow the user to verify the safety of a learned controller but also provide supervision during training, allowing safety and stability requirements to influence the training process itself. In this paper, we provide a comprehensive survey of this rapidly developing field of certificate learning. We hope that this paper will serve as an accessible introduction to the theory and practice of certificate learning, both to those who wish to apply these tools to practical robotics problems and to those who wish to dive more deeply into the theory of learning for control.