由于它们的灵活性和富有效力，神经网络控制器在控制任务中变得流行。稳定性是安全关键动态系统的关键性质，而在许多情况下，部分观察到的系统的稳定化需要控制器保留和处理过去的长期记忆。我们将重要类别的经常性神经网络（RNN）视为非线性不确定部分观察系统的动态控制器，并基于积分二次约束，S-LEMMA和顺序凸化来推导凸稳定性条件。为了确保学习和控制过程中的稳定性，我们提出了一种预测的政策梯度方法，可迭代地强制执行关于系统动态的温和附加信息的重新制定空间中的稳定条件。数值实验表明，我们的方法在使用较少的样本并与政策梯度相比使用更高的样本并实现更高的最终性能时，学习稳定控制器。

我们提出了基于复发均衡网络的非线性动态控制器的参数化，这是复发性神经网络的概括。我们对控制器保证具有部分观察到的动态系统的指数稳定性的参数化受到限制。最后，我们提出了一种使用投影策略梯度方法合成该控制器的方法，以最大程度地利用任意结构来奖励功能。投影步骤涉及凸优化问题的解决方案。我们通过模拟控制非线性植物（包括用神经网络建模的植物）演示了提出的方法。

本文介绍了在最近开发的神经网络架构上的不确定系统构建的非线性控制器的参数化，称为经常性平衡网络（REN）以及YOULA参数化的非线性版本。拟议的框架具有“内置”保证稳定性，即搜索空间中的所有政策导致承包（全球指数稳定的）闭环系统。因此，它需要对成本函数的选择的非常温和的假设，并且可以推广稳定性属性以看不见的数据。这种方法的另一个有用特征是在没有任何约束的情况下直接参数化的策略，这简化了基于无约束优化的广泛的政策学习方法学习（例如随机梯度下降）。我们说明了具有各种模拟示例的所提出的方法。

稳定性认证并确定安全稳定的初始集是确保动态系统的操作安全性，稳定性和鲁棒性的两个重要问题。随着机器学习工具的出现，需要针对反馈循环中具有机器学习组件的系统来解决这些问题。为了开发一种关于神经网络（NN）控制的非线性系统的稳定性和稳定性的一般理论，提出了基于Lyapunov的稳定性证书，并进一步用于设计用于NN Controller和NN控制器和最大LIPSCHITZ绑定的。也是给定的安全操作域内内部相应的最大诱因（ROA）。为了计算这种强大的稳定NN控制器，它也最大化了系统的长期实用程序，提出了稳定性保证训练（SGT）算法。提出的框架的有效性通过说明性示例得到了验证。

我们提出了基于最近开发的神经网络的线性动力系统的非线性输出反馈控制器参数化，称为经常性平衡网络（REN），以及YOULA参数化的非线性版本。我们的方法保证了部分可观察的线性动态系统的闭环稳定性，而不需要满足任何约束。这显着简化了模型拟合，因为任何无约束的优化程序都可以应用，同时仍然保持稳定性。我们展示了具有精确和近似梯度方法的加强学习任务的方法。仿真研究表明，我们的方法在相同的问题设置中明显更具可扩展性，并且显着优于其他方法。

Learning-enabled control systems have demonstrated impressive empirical performance on challenging control problems in robotics, but this performance comes at the cost of reduced transparency and lack of guarantees on the safety or stability of the learned controllers. In recent years, new techniques have emerged to provide these guarantees by learning certificates alongside control policies -- these certificates provide concise, data-driven proofs that guarantee the safety and stability of the learned control system. These methods not only allow the user to verify the safety of a learned controller but also provide supervision during training, allowing safety and stability requirements to influence the training process itself. In this paper, we provide a comprehensive survey of this rapidly developing field of certificate learning. We hope that this paper will serve as an accessible introduction to the theory and practice of certificate learning, both to those who wish to apply these tools to practical robotics problems and to those who wish to dive more deeply into the theory of learning for control.

用于未知非线性系统的学习和合成稳定控制器是现实世界和工业应用的具有挑战性问题。 Koopman操作员理论允许通过直线系统和非线性控制系统的镜头通过线性系统和非线性控制系统的镜头来分析非线性系统。这些方法的关键思想，在于将非线性系统的坐标转换为Koopman可观察，这是允许原始系统（控制系统）作为更高尺寸线性（双线性控制）系统的坐标。然而，对于非线性控制系统，通过应用基于Koopman操作员的学习方法获得的双线性控制模型不一定是稳定的，因此，不保证稳定反馈控制的存在，这对于许多真实世界的应用来说是至关重要的。同时识别基于这些可稳定的Koopman的双线性控制系统以及相关的Koopman可观察到仍然是一个开放的问题。在本文中，我们提出了一个框架，以通过同时学习为基于Koopman的底层未知的非线性控制系统以及基于Koopman的控制Lyapunov函数（CLF）来识别和构造这些可稳定的双线性模型及其相关的可观察能力。双线性模型使用学习者和伪空。我们提出的方法从而为非线性控制系统具有未知动态的非线性控制系统提供了可证明的全球渐近稳定性的保证。提供了数值模拟，以验证我们提出的稳定反馈控制器为未知的非线性系统的效力。

收缩理论是一种分析工具，用于研究以均匀的正面矩阵定义的收缩度量下的非自主（即，时变）非线性系统的差动动力学，其存在导致增量指数的必要和充分表征多种溶液轨迹彼此相互稳定性的稳定性。通过使用平方差分长度作为Lyapunov样功能，其非线性稳定性分析向下沸腾以找到满足以表达为线性矩阵不等式的稳定条件的合适的收缩度量，表明可以在众所周知的线性系统之间绘制许多平行线非线性系统理论与收缩理论。此外，收缩理论利用了与比较引理结合使用的指数稳定性的优越稳健性。这产生了基于神经网络的控制和估计方案的急需安全性和稳定性保证，而不借助使用均匀渐近稳定性的更涉及的输入到状态稳定性方法。这种独特的特征允许通过凸优化来系统构造收缩度量，从而获得了由于扰动和学习误差而在外部扰动的时变的目标轨迹和解决方案轨迹之间的距离上的明确指数界限。因此，本文的目的是介绍了收缩理论的课程概述及其在确定性和随机系统的非线性稳定性分析中的优点，重点导出了各种基于学习和数据驱动的自动控制方法的正式鲁棒性和稳定性保证。特别是，我们提供了使用深神经网络寻找收缩指标和相关控制和估计法的技术的详细审查。

本文开发了一种基于模型的强化学习（MBR）框架，用于在线在线学习无限范围最佳控制问题的价值函数，同时遵循表示为控制屏障功能（CBFS）的安全约束。我们的方法是通过开发一种新型的CBFS，称为Lyapunov样CBF（LCBF），其保留CBFS的有益特性，以开发最微创的安全控制政策，同时也具有阳性半自动等所需的Lyapunov样品质 - 义法。我们展示这些LCBFS如何用于增强基于学习的控制策略，以保证安全性，然后利用这种方法在MBRL设置中开发安全探索框架。我们表明，我们的开发方法可以通过各种数值示例来处理比较法的更通用的安全限制。

在本文中，我们提出了一个新型的非线性观察者，称为神经观察者，以通过将神经网络（NN）引入观察者的设计，以实现线性时间传播（LTI）系统的观察任务和不确定的非线性系统。通过探索NN代表向NN映射矢量的方法，我们从LTI和不确定的非线性系统中得出了稳定性分析（例如，指数收敛速率），这些系统仅使用线性矩阵不平等（LMIS）为解决观察问题铺平了道路。值得注意的是，为不确定系统设计的神经观察者基于主动扰动拒绝控制（ADRC）的意识形态，该思想可以实时测量不确定性。 LMI结果也很重要，因为我们揭示了LMI溶液存在系统矩阵的可观察性和可控性。最后，我们在三个模拟案例上验证神经观察者的可用性，包括X-29A飞机模型，非线性摆和四轮转向车辆。

我们提出了一个框架，用于稳定验证混合智能线性编程（MILP）代表控制策略。该框架比较了固定的候选策略，该策略承认有效的参数化，可以以低计算成本进行评估，与固定基线策略进行评估，固定基线策略已知稳定但评估昂贵。我们根据基线策略的最坏情况近似错误为候选策略的闭环稳定性提供了足够的条件，我们表明可以通过求解混合构成二次计划（MIQP）来检查这些条件。 。此外，我们证明可以通过求解MILP来计算候选策略的稳定区域的外部近似。所提出的框架足以容纳广泛的候选策略，包括Relu神经网络（NNS），参数二次程序的最佳解决方案图以及模型预测性控制（MPC）策略。我们还根据提议的框架在Python中提供了一个开源工具箱，该工具可以轻松验证自定义NN架构和MPC公式。我们在DC-DC电源转换器案例研究的背景下展示了框架的灵活性和可靠性，并研究了计算复杂性。

本文提出了一种基于匹配不确定性的非线性系统的收缩指标和干扰估计的轨迹中心学习控制方法。该方法允许使用广泛的模型学习工具，包括深神经网络，以学习不确定的动态，同时仍然在整个学习阶段提供瞬态跟踪性能的保证，包括没有学习的特殊情况。在所提出的方法中，提出了一种扰动估计法，以估计不确定性的点值，具有预计估计误差限制（EEB）。学习的动态，估计的紊乱和EEB在强大的黎曼能量条件下并入，以计算控制法，即使学习模型较差，也能保证在整个学习阶段的所需轨迹对所需轨迹的指数趋同。另一方面，具有改进的精度，学习的模型可以在高级计划器中结合，以规划更好的性能，例如降低能耗和更短的旅行时间。建议的框架在平面Quadrotor导航示例上验证。

强化学习（RL）是一种有希望的方法，对现实世界的应用程序取得有限，因为确保安全探索或促进充分利用是控制具有未知模型和测量不确定性的机器人系统的挑战。这种学习问题对于连续空间（状态空间和动作空间）的复杂任务变得更加棘手。在本文中，我们提出了一种由几个方面组成的基于学习的控制框架：（1）线性时间逻辑（LTL）被利用，以便于可以通过无限视野的复杂任务转换为新颖的自动化结构; （2）我们为RL-Agent提出了一种创新的奖励计划，正式保证，使全球最佳政策最大化满足LTL规范的概率; （3）基于奖励塑造技术，我们开发了利用自动机构结构的好处进行了模块化的政策梯度架构来分解整体任务，并促进学习控制器的性能; （4）通过纳入高斯过程（GPS）来估计不确定的动态系统，我们使用指数控制屏障功能（ECBF）综合基于模型的保障措施来解决高阶相对度的问题。此外，我们利用LTL自动化和ECBF的性质来构建引导过程，以进一步提高勘探效率。最后，我们通过多个机器人环境展示了框架的有效性。我们展示了这种基于ECBF的模块化深RL算法在训练期间实现了近乎完美的成功率和保护安全性，并且在训练期间具有很高的概率信心。

强化学习通常与奖励最大化（或成本量化）代理的培训相关，换句话说是控制者。它可以使用先验或在线收集的系统数据以无模型或基于模型的方式应用，以培训涉及的参数体系结构。通常，除非通过学习限制或量身定制的培训规则采取特殊措施，否则在线增强学习不能保证闭环稳定性。特别有希望的是通过“经典”控制方法进行增强学习的混合体。在这项工作中，我们建议一种在纯粹的在线学习环境中，即没有离线培训的情况下，可以保证系统控制器闭环的实际稳定性。此外，我们仅假设对系统模型的部分知识。为了达到要求的结果，我们采用经典自适应控制技术。总体控制方案的实施是在数字，采样设置中明确提供的。也就是说，控制器接收系统的状态，并在离散的时间（尤其是等距的时刻）中计算控制动作。该方法在自适应牵引力控制和巡航控制中进行了测试，事实证明，该方法可显着降低成本。

策略梯度算法在强化学习中的融合取决于基础最佳控制问题的优化格局。通常可以通过分析线性二次控制的理论见解来获取这些算法。但是，大多数现有文献仅考虑静态全州或输出反馈策略（控制器）的优化格局。我们研究了线性二次调节（缩写为DLQR）的动态输出反馈政策更具挑战性的案例，该策略在实践中很普遍，但具有相当复杂的优化景观。我们首先显示DLQR成本如何随动态控制器的坐标转换而变化，然后为给定可观察的稳定控制器得出最佳转换。我们结果的核心是可观察到DLQR的固定点的唯一性，这是基于观察者的控制器的简洁形式，具有最佳的相似性转换。这些结果阐明了设计有效的算法，这些算法是针对部分观察到的信息的一般决策问题。

过去半年来，从控制和强化学习社区的真实机器人部署的安全学习方法的贡献数量急剧上升。本文提供了一种简洁的但整体审查，对利用机器学习实现的最新进展，以实现在不确定因素下的安全决策，重点是统一控制理论和加固学习研究中使用的语言和框架。我们的评论包括：基于学习的控制方法，通过学习不确定的动态，加强学习方法，鼓励安全或坚固性的加固学习方法，以及可以正式证明学习控制政策安全的方法。随着基于数据和学习的机器人控制方法继续获得牵引力，研究人员必须了解何时以及如何最好地利用它们在安全势在必行的现实情景中，例如在靠近人类的情况下操作时。我们突出了一些开放的挑战，即将在未来几年推动机器人学习领域，并强调需要逼真的物理基准的基准，以便于控制和加固学习方法之间的公平比较。

在过去的十年中，由于分散控制应用程序的趋势和网络物理系统应用的出现，网络控制系统在过去十年中引起了广泛的关注。但是，由于无线网络的复杂性质，现实世界中无线网络控制系统的通信带宽，可靠性问题以及对网络动态的认识不足。将机器学习和事件触发的控制结合起来有可能减轻其中一些问题。例如，可以使用机器学习来克服缺乏网络模型的问题，通过学习系统行为或通过不断学习模型动态来适应动态变化的模型。事件触发的控制可以通过仅在必要时或可用资源时传输控制信息来帮助保护通信带宽。本文的目的是对有关机器学习的使用与事件触发的控制的使用进行综述。机器学习技术，例如统计学习，神经网络和基于强化的学习方法，例如深入强化学习，并结合事件触发的控制。我们讨论如何根据机器学习使用的目的将这些学习算法用于不同的应用程序。在对文献的审查和讨论之后，我们重点介绍了与基于机器学习的事件触发的控制并提出潜在解决方案相关的开放研究问题和挑战。

本文旨在讨论和分析控制设计应用中经常性神经网络（RNN）的潜力。考虑RNN的主要系列，即神经非线性自回归外源，（NNARX），回波状态网络（ESN），长短短期存储器（LSTM）和门控复发单元（GRU）。目标是双重。首先，为了调查近期RNN培训的结果，可以享受输入到状态稳定性（ISS）和增量输入到状态稳定性（{\ delta} ISS）保证。其次，讨论仍然阻碍RNN进行控制的问题，即它们的鲁棒性，核算和解释性。前者属性与网络的所谓概括能力有关，即即使在视野或扰动的输入轨迹存在下，它们与底层真实植物的一致性。后者与在RNN模型和植物之间提供明确的正式连接的可能性有关。在这种情况下，我们说明了Iss和{\ delta} ISS如何朝着RNN模型的稳健性和可验证代表重大步骤，而可解释性的要求铺平了基于物理的网络的使用方式。还简要讨论了植物模型的模型预测控制器的设计。最后，在模拟化学体系上说明了本文的一些主要话题。

基于学习的控制方案最近表现出了出色的效力执行复杂的任务。但是，为了将它们部署在实际系统中，保证该系统在在线培训和执行过程中将保持安全至关重要。因此，我们需要安全的在线学习框架，能够自主地理论当前的信息是否足以确保安全或需要新的测量。在本文中，我们提出了一个由两个部分组成的框架：首先，在需要时积极收集测量的隔离外检测机制，以确保至少一个安全备份方向始终可供使用；其次，基于高斯的基于过程的概率安全 - 关键控制器可确保系统始终保持安全的可能性。我们的方法通过使用控制屏障功能来利用模型知识，并以事件触发的方式从在线数据流中收集测量，以确保学习的安全至关重要控制器的递归可行性。反过来，这又使我们能够提供具有很高概率的安全集的正式结果，即使在先验未开发的区域中也是如此。最后，我们在自适应巡航控制系统的数值模拟中验证了所提出的框架。

We propose a learning-based robust predictive control algorithm that compensates for significant uncertainty in the dynamics for a class of discrete-time systems that are nominally linear with an additive nonlinear component. Such systems commonly model the nonlinear effects of an unknown environment on a nominal system. We optimize over a class of nonlinear feedback policies inspired by certainty equivalent "estimate-and-cancel" control laws pioneered in classical adaptive control to achieve significant performance improvements in the presence of uncertainties of large magnitude, a setting in which existing learning-based predictive control algorithms often struggle to guarantee safety. In contrast to previous work in robust adaptive MPC, our approach allows us to take advantage of structure (i.e., the numerical predictions) in the a priori unknown dynamics learned online through function approximation. Our approach also extends typical nonlinear adaptive control methods to systems with state and input constraints even when we cannot directly cancel the additive uncertain function from the dynamics. We apply contemporary statistical estimation techniques to certify the system's safety through persistent constraint satisfaction with high probability. Moreover, we propose using Bayesian meta-learning algorithms that learn calibrated model priors to help satisfy the assumptions of the control design in challenging settings. Finally, we show in simulation that our method can accommodate more significant unknown dynamics terms than existing methods and that the use of Bayesian meta-learning allows us to adapt to the test environments more rapidly.