强化学习仍然是控制工程和机器学习当代发展的主要方向之一。精美的直觉，灵活的设置，易于应用是此方法的许多好处。从机器学习的角度来看，强化学习代理人的主要优势在于它``捕获''（学习）在给定环境中的最佳行为。通常，代理人是基于神经网络的，正是其近似能力才能使其近似能力引起上述信念。但是，从控制工程的角度来看，强化学习具有严重的缺陷。最重要的是缺乏稳定性的保证，对环境环境的封闭环路封闭循环。旨在稳定增强学习。说到稳定，著名的莱普诺夫理论是事实上的工具。因此，毫无疑问，稳定强化学习的许多技术以一种或另一种方式依赖莱普诺夫理论。在控制理论中，有一个稳定控制器和Lyapunov功能之间的复杂联系。因此，采用这种同对似乎对设计稳定增强l非常有吸引力赚取。但是，Lyapunov函数的计算通常是一个繁琐的过程。在本说明中，我们展示了如何构建根本不采用这种功能的稳定增强学习剂。我们只假设存在Lyapunov功能，如果给定系统（读取：环境）可以稳定，这是自然而然的事情，但是我们不需要计算一个。

控制Lyapunov功能是稳定的中心工具。它将抽象的能量函数（lyapunov函数）概括为受控系统的情况。众所周知的事实是，大多数控制的Lyapunov函数都是非平滑的 - 在非全面系统中，例如轮式机器人和汽车也是如此。存在使用非平滑控制Lyapunov功能的稳定框架，例如DINI瞄准和最陡峭的下降。这项工作将相关结果推广到随机情况。作为基础工作，选择了采样控制方案，其中使用系统状态的离散测量在离散时刻计算控制动作。在这样的设置中，应特别注意控制Lyapunov功能的样本对样本行为。这里的一个特殊挑战是在系统上作用的随机噪声。这项工作的核心结果是一个定理，该定理大致指出，如果通常有一个不平滑的控制lyapunov函数，则可以在样本和持续模式下实际稳定给定的随机动力学系统，这意味着控制在抽样时间步骤中保持动作不变。选择的一种特定的控制方法是基于莫罗 - 耶西达的正则化，换句话说是对照lyapunov函数的Inf-consonvolution，但总体框架可扩展到进一步的控制方案。假定，尽管短暂地解决了无限噪声的情况，但几乎肯定会肯定会界定系统噪声。

强化学习通常与奖励最大化（或成本量化）代理的培训相关，换句话说是控制者。它可以使用先验或在线收集的系统数据以无模型或基于模型的方式应用，以培训涉及的参数体系结构。通常，除非通过学习限制或量身定制的培训规则采取特殊措施，否则在线增强学习不能保证闭环稳定性。特别有希望的是通过“经典”控制方法进行增强学习的混合体。在这项工作中，我们建议一种在纯粹的在线学习环境中，即没有离线培训的情况下，可以保证系统控制器闭环的实际稳定性。此外，我们仅假设对系统模型的部分知识。为了达到要求的结果，我们采用经典自适应控制技术。总体控制方案的实施是在数字，采样设置中明确提供的。也就是说，控制器接收系统的状态，并在离散的时间（尤其是等距的时刻）中计算控制动作。该方法在自适应牵引力控制和巡航控制中进行了测试，事实证明，该方法可显着降低成本。

这是对纸张“渐近稳定的适应性最优控制算法的简短评论，VAMVoudakis等人的”具有饱和致动器的渐近稳定的自适应 - 最优控制算法“。强化学习（RL）代理人的稳定性问题仍然很难，并且上述工作建议使用来自自适应控制的技术的合适稳定性属性 - 一个旨在添加到行动的强制性术语。但是，这种方法存在稳定RL的方法，我们将在本说明中解释。此外，Vamvoudakis等人。在通用政策下似乎在汉密尔顿时期已经造成了荒谬的假设。为了提供积极的结果，我们不仅会表明这个错误，而且表明了评论在随机连续环境下的批评神经网络权重聚，为行为政策持有提供了某些条件。

A common setting of reinforcement learning (RL) is a Markov decision process (MDP) in which the environment is a stochastic discrete-time dynamical system. Whereas MDPs are suitable in such applications as video-games or puzzles, physical systems are time-continuous. A general variant of RL is of digital format, where updates of the value (or cost) and policy are performed at discrete moments in time. The agent-environment loop then amounts to a sampled system, whereby sample-and-hold is a specific case. In this paper, we propose and benchmark two RL methods suitable for sampled systems. Specifically, we hybridize model-predictive control (MPC) with critics learning the optimal Q- and value (or cost-to-go) function. Optimality is analyzed and performance comparison is done in an experimental case study with a mobile robot.

收缩理论是一种分析工具，用于研究以均匀的正面矩阵定义的收缩度量下的非自主（即，时变）非线性系统的差动动力学，其存在导致增量指数的必要和充分表征多种溶液轨迹彼此相互稳定性的稳定性。通过使用平方差分长度作为Lyapunov样功能，其非线性稳定性分析向下沸腾以找到满足以表达为线性矩阵不等式的稳定条件的合适的收缩度量，表明可以在众所周知的线性系统之间绘制许多平行线非线性系统理论与收缩理论。此外，收缩理论利用了与比较引理结合使用的指数稳定性的优越稳健性。这产生了基于神经网络的控制和估计方案的急需安全性和稳定性保证，而不借助使用均匀渐近稳定性的更涉及的输入到状态稳定性方法。这种独特的特征允许通过凸优化来系统构造收缩度量，从而获得了由于扰动和学习误差而在外部扰动的时变的目标轨迹和解决方案轨迹之间的距离上的明确指数界限。因此，本文的目的是介绍了收缩理论的课程概述及其在确定性和随机系统的非线性稳定性分析中的优点，重点导出了各种基于学习和数据驱动的自动控制方法的正式鲁棒性和稳定性保证。特别是，我们提供了使用深神经网络寻找收缩指标和相关控制和估计法的技术的详细审查。

在最近的文献中，学习方法与模型预测控制（MPC）的结合吸引了大量关注。这种组合的希望是减少MPC方案对准确模型的依赖，并利用快速开发的机器学习和强化学习工具，以利用许多系统可用的数据量。特别是，增强学习和MPC的结合已被认为是一种可行且理论上合理的方法，以引入可解释的，安全和稳定的政策，以实现强化学习。但是，一种正式的理论详细介绍了如何通过学习工具提供的参数更新来维持基于MPC的策略的安全性和稳定性。本文解决了这一差距。该理论是针对通用的强大MPC案例开发的，并在基于强大的管线MPC情况的模拟中应用，在该情况下，该理论在实践中很容易部署。本文着重于增强学习作为学习工具，但它适用于任何在线更新MPC参数的学习方法。

本文开发了一种基于模型的强化学习（MBR）框架，用于在线在线学习无限范围最佳控制问题的价值函数，同时遵循表示为控制屏障功能（CBFS）的安全约束。我们的方法是通过开发一种新型的CBFS，称为Lyapunov样CBF（LCBF），其保留CBFS的有益特性，以开发最微创的安全控制政策，同时也具有阳性半自动等所需的Lyapunov样品质 - 义法。我们展示这些LCBFS如何用于增强基于学习的控制策略，以保证安全性，然后利用这种方法在MBRL设置中开发安全探索框架。我们表明，我们的开发方法可以通过各种数值示例来处理比较法的更通用的安全限制。

强化学习（RL）文献的最新进展使机器人主义者能够在模拟环境中自动训练复杂的政策。但是，由于这些方法的样本复杂性差，使用现实世界数据解决强化学习问题仍然是一个具有挑战性的问题。本文介绍了一种新颖的成本整形方法，旨在减少学习稳定控制器所需的样品数量。该方法添加了一个涉及控制Lyapunov功能（CLF）的术语 - 基于模型的控制文献的“能量样”功能 - 到典型的成本配方。理论结果表明，新的成本会导致使用较小的折现因子时稳定控制器，这是众所周知的，以降低样品复杂性。此外，通过确保即使是高度亚最佳的策略也可以稳定系统，添加CLF术语“鲁棒化”搜索稳定控制器。我们通过两个硬件示例演示了我们的方法，在其中我们学习了一个cartpole的稳定控制器和仅使用几秒钟和几分钟的微调数据的A1稳定控制器。

In many sequential decision-making problems one is interested in minimizing an expected cumulative cost while taking into account risk, i.e., increased awareness of events of small probability and high consequences. Accordingly, the objective of this paper is to present efficient reinforcement learning algorithms for risk-constrained Markov decision processes (MDPs), where risk is represented via a chance constraint or a constraint on the conditional value-at-risk (CVaR) of the cumulative cost. We collectively refer to such problems as percentile risk-constrained MDPs. Specifically, we first derive a formula for computing the gradient of the Lagrangian function for percentile riskconstrained MDPs. Then, we devise policy gradient and actor-critic algorithms that (1) estimate such gradient, (2) update the policy in the descent direction, and (3) update the Lagrange multiplier in the ascent direction. For these algorithms we prove convergence to locally optimal policies. Finally, we demonstrate the effectiveness of our algorithms in an optimal stopping problem and an online marketing application.

稳定性认证并确定安全稳定的初始集是确保动态系统的操作安全性，稳定性和鲁棒性的两个重要问题。随着机器学习工具的出现，需要针对反馈循环中具有机器学习组件的系统来解决这些问题。为了开发一种关于神经网络（NN）控制的非线性系统的稳定性和稳定性的一般理论，提出了基于Lyapunov的稳定性证书，并进一步用于设计用于NN Controller和NN控制器和最大LIPSCHITZ绑定的。也是给定的安全操作域内内部相应的最大诱因（ROA）。为了计算这种强大的稳定NN控制器，它也最大化了系统的长期实用程序，提出了稳定性保证训练（SGT）算法。提出的框架的有效性通过说明性示例得到了验证。

现有的数据驱动和反馈流量控制策略不考虑实时数据测量的异质性。此外，对于缺乏数据效率，传统的加固学习方法（RL）方法通常会缓慢收敛。此外，常规的最佳外围控制方案需要对系统动力学的精确了解，因此对内源性不确定性会很脆弱。为了应对这些挑战，这项工作提出了一种基于不可或缺的增强学习（IRL）的方法来学习宏观交通动态，以进行自适应最佳周边控制。这项工作为运输文献做出了以下主要贡献：（a）开发连续的时间控制，并具有离散增益更新以适应离散时间传感器数据。 （b）为了降低采样复杂性并更有效地使用可用数据，将体验重播（ER）技术引入IRL算法。 （c）所提出的方法以“无模型”方式放松模型校准的要求，该方式可以稳健地进行建模不确定性，并通过数据驱动的RL算法增强实时性能。 （d）通过Lyapunov理论证明了基于IRL的算法和受控交通动力学的稳定性的收敛性。最佳控制定律被参数化，然后通过神经网络（NN）近似，从而缓解计算复杂性。在不需要模型线性化的同时，考虑了状态和输入约束。提出了数值示例和仿真实验，以验证所提出方法的有效性和效率。

Learning-enabled control systems have demonstrated impressive empirical performance on challenging control problems in robotics, but this performance comes at the cost of reduced transparency and lack of guarantees on the safety or stability of the learned controllers. In recent years, new techniques have emerged to provide these guarantees by learning certificates alongside control policies -- these certificates provide concise, data-driven proofs that guarantee the safety and stability of the learned control system. These methods not only allow the user to verify the safety of a learned controller but also provide supervision during training, allowing safety and stability requirements to influence the training process itself. In this paper, we provide a comprehensive survey of this rapidly developing field of certificate learning. We hope that this paper will serve as an accessible introduction to the theory and practice of certificate learning, both to those who wish to apply these tools to practical robotics problems and to those who wish to dive more deeply into the theory of learning for control.

过去半年来，从控制和强化学习社区的真实机器人部署的安全学习方法的贡献数量急剧上升。本文提供了一种简洁的但整体审查，对利用机器学习实现的最新进展，以实现在不确定因素下的安全决策，重点是统一控制理论和加固学习研究中使用的语言和框架。我们的评论包括：基于学习的控制方法，通过学习不确定的动态，加强学习方法，鼓励安全或坚固性的加固学习方法，以及可以正式证明学习控制政策安全的方法。随着基于数据和学习的机器人控制方法继续获得牵引力，研究人员必须了解何时以及如何最好地利用它们在安全势在必行的现实情景中，例如在靠近人类的情况下操作时。我们突出了一些开放的挑战，即将在未来几年推动机器人学习领域，并强调需要逼真的物理基准的基准，以便于控制和加固学习方法之间的公平比较。

在本文中，我们研究了加强学习问题的安全政策的学习。这是，我们的目标是控制我们不知道过渡概率的马尔可夫决策过程（MDP），但我们通过经验访问样品轨迹。我们将安全性定义为在操作时间内具有高概率的期望安全集中的代理。因此，我们考虑受限制的MDP，其中限制是概率。由于没有直接的方式来优化关于加强学习框架中的概率约束的政策，因此我们提出了对问题的遍历松弛。拟议的放松的优点是三倍。 （i）安全保障在集界任务的情况下保持，并且它们保持在一个给定的时间范围内，以继续进行任务。 （ii）如果政策的参数化足够丰富，则约束优化问题尽管其非凸起具有任意小的二元间隙。 （iii）可以使用标准策略梯度结果和随机近似工具容易地计算与安全学习问题相关的拉格朗日的梯度。利用这些优势，我们建立了原始双算法能够找到安全和最佳的政策。我们在连续域中的导航任务中测试所提出的方法。数值结果表明，我们的算法能够将策略动态调整到环境和所需的安全水平。

最近，基于障碍函数的安全强化学习（RL）与actor-批评结构用于连续控制任务的批评结构已经受到越来越受到关注。使用安全性和收敛保证，学习近最优控制政策仍然挑战。此外，很少有效地解决了在时变的安全约束下的安全RL算法设计。本文提出了一种基于模型的安全RL算法，用于具有时变状态和控制约束的非线性系统的最佳控制。在拟议的方法中，我们构建了一种新的基于障碍的控制策略结构，可以保证控制安全性。提出了一种多步骤策略评估机制，以预测策略在时变的安全限制下的安全风险，并指导政策安全更新。证明了稳定性和稳健性的理论结果。此外，分析了演员 - 评论家学习算法的收敛。所提出的算法的性能优于模拟安全健身房环境中的几种最先进的RL算法。此外，该方法适用于两个现实世界智能车辆的综合路径和碰撞避免问题。差动驱动车辆和Ackermann-Drive分别用于验证离线部署性能和在线学习性能。我们的方法在实验中显示了令人印象深刻的SIM-to-Real的转移能力和令人满意的在线控制性能。

在将强化学习（RL）部署到现实世界系统中时，确保安全是一个至关重要的挑战。我们开发了基于置信的安全过滤器，这是一种基于概率动力学模型的标准RL技术，通过标准RL技术学到的名义策略来证明国家安全限制的控制理论方法。我们的方法基于对成本功能的国家约束的重新重新制定，从而将安全验证减少到标准RL任务。通过利用幻觉输入的概念，我们扩展了此公式，以确定对具有很高可能性的未知系统安全的“备份”策略。最后，在推出备用政策期间的每一个时间步骤中，标称政策的调整最少，以便以后可以保证安全恢复。我们提供正式的安全保证，并从经验上证明我们方法的有效性。

通过行业对非线性退化的地平线控制（RHC）策略的广泛采用导致了30多年的激烈研究工作，以为这些方法提供稳定性保证。但是，当前的理论保证要求可以将每个（通常是非covex）计划问题解决为（近似）全球最优性，这是基于衍生的基于衍生的局部优化方法的不现实要求，通常用于RHC的实际实现。本文迈出了第一步，当将内部计划问题解决到一阶固定点时，但不一定是全球最佳选择，可以理解非线性RHC的稳定性保证。特别注意反馈可线化的系统，并提供了正面和负面结果的混合物。我们确定，在某些强大条件下，一阶解决方案可实现RHC稳定可线化的系统。至关重要的是，这种保证要求将其应用于计划问题的状态成本在某种意义上与系统的全球几何形状兼容，并且一个简单的反示例证明了这种情况的必要性。这些结果突出了需要重新考虑基于优化的控制背景下全局几何形状的作用。

策略梯度方法适用于复杂的，不理解的，通过对参数化的策略进行随机梯度下降来控制问题。不幸的是，即使对于可以通过标准动态编程技术解决的简单控制问题，策略梯度算法也会面临非凸优化问题，并且被广泛理解为仅收敛到固定点。这项工作确定了结构属性 - 通过几个经典控制问题共享 - 确保策略梯度目标函数尽管是非凸面，但没有次优的固定点。当这些条件得到加强时，该目标满足了产生收敛速率的Polyak-lojasiewicz（梯度优势）条件。当其中一些条件放松时，我们还可以在任何固定点的最佳差距上提供界限。

In contrast to the control-theoretic methods, the lack of stability guarantee remains a significant problem for model-free reinforcement learning (RL) methods. Jointly learning a policy and a Lyapunov function has recently become a promising approach to ensuring the whole system with a stability guarantee. However, the classical Lyapunov constraints researchers introduced cannot stabilize the system during the sampling-based optimization. Therefore, we propose the Adaptive Stability Certification (ASC), making the system reach sampling-based stability. Because the ASC condition can search for the optimal policy heuristically, we design the Adaptive Lyapunov-based Actor-Critic (ALAC) algorithm based on the ASC condition. Meanwhile, our algorithm avoids the optimization problem that a variety of constraints are coupled into the objective in current approaches. When evaluated on ten robotic tasks, our method achieves lower accumulated cost and fewer stability constraint violations than previous studies.