基于政策的强化学习（RL）最近的经验成功，有一项研究趋势，研究了基于政策的RL方法对标准控制基准问题的研究。在本文中，我们研究了基于政策的RL方法的有效性在重要的强大控制问题上，即$ \ mu $综合。我们在强大的对策RL和$ \ mu $综合之间建立连接，并开发出众所周知的$ DK $ antication的无模型版本，用于解决静态$ d $-scaling的状态反馈$ \ mu $ synthesis。在所提出的算法中，$ k $步骤通过将最近开发的双循环对冲RL方法作为子程序来模仿经典的中央路径算法，$ D $步骤基于无模型有限差分近似。还提出了广泛的数值研究以展示我们提出的无模型算法的效用。我们的研究揭示了对抗对抗和鲁棒控制之间的联系。

直接政策搜索作为现代强化学习（RL）的工作人员之一，其在连续控制任务中的应用最近引起了不断的关注。在这项工作中，我们研究了用于学习线性风险敏感和鲁棒控制器的政策梯度（PG）方法的收敛理论。特别地，我们开发PG方法，可以通过采样系统轨迹以无衍生方式实现，并建立全球收敛性和样本复杂性，这导致风险敏感和强大控制中的两个基本环境的解决方案：有限地平线线性指数二次高斯，以及有限地平线线性二次干扰衰减问题。作为副产品，我们的结果还为解决零和线性二次动态游戏的PG方法的全局融合提供了第一种样本复杂性，这是一种非透明的极限优化问题，该问题用作多功能钢筋中的基线设置学习（Marl）与连续空间。我们的算法的一个特征是在学习阶段，保留了一定程度的控制器的鲁棒性/风险敏感性，因此我们被称为隐式正则化属性，并且是安全关键控制系统的基本要求。

许多现有的景点（ROA）分析工具难以解决具有大规模神经网络（NN）政策和/或高维感测模式的反馈系统，如相机。在本文中，我们定制了在对冲学习界中开发的预计梯度下降（PGD）攻击方法作为大型非线性系统的通用ROA分析工具和基于端到端的感知的控制。我们表明ROA分析可以近似为约束的最大化问题，其目标是找到最坏情况的最坏情况初始条件最多。然后我们提出了两个基于PGD的迭代方法，可用于解决所得的受限最大化问题。我们的分析不是基于Lyapunov理论，因此需要问题结构的最低信息。在基于模型的设置中，我们示出了可以使用反向传播有效地执行PGD更新。在无模型设置（与基于感知的控制的ROA分析更相关）中，我们提出了一个有限差异的PGD估计，这是一般的，只需要一个黑盒模拟器来产生闭环系统的轨迹给予任何初始状态。我们在具有大规模NN政策和高维图像观测的几个数字示例下展示了我们分析工具的可扩展性和一般性。我们认为，我们所提出的分析是进一步了解大规模非线性系统的闭环稳定性和基于感知的控制的有意义的初步步骤。

稳定性认证并确定安全稳定的初始集是确保动态系统的操作安全性，稳定性和鲁棒性的两个重要问题。随着机器学习工具的出现，需要针对反馈循环中具有机器学习组件的系统来解决这些问题。为了开发一种关于神经网络（NN）控制的非线性系统的稳定性和稳定性的一般理论，提出了基于Lyapunov的稳定性证书，并进一步用于设计用于NN Controller和NN控制器和最大LIPSCHITZ绑定的。也是给定的安全操作域内内部相应的最大诱因（ROA）。为了计算这种强大的稳定NN控制器，它也最大化了系统的长期实用程序，提出了稳定性保证训练（SGT）算法。提出的框架的有效性通过说明性示例得到了验证。

Learning-enabled control systems have demonstrated impressive empirical performance on challenging control problems in robotics, but this performance comes at the cost of reduced transparency and lack of guarantees on the safety or stability of the learned controllers. In recent years, new techniques have emerged to provide these guarantees by learning certificates alongside control policies -- these certificates provide concise, data-driven proofs that guarantee the safety and stability of the learned control system. These methods not only allow the user to verify the safety of a learned controller but also provide supervision during training, allowing safety and stability requirements to influence the training process itself. In this paper, we provide a comprehensive survey of this rapidly developing field of certificate learning. We hope that this paper will serve as an accessible introduction to the theory and practice of certificate learning, both to those who wish to apply these tools to practical robotics problems and to those who wish to dive more deeply into the theory of learning for control.

本文介绍了在最近开发的神经网络架构上的不确定系统构建的非线性控制器的参数化，称为经常性平衡网络（REN）以及YOULA参数化的非线性版本。拟议的框架具有“内置”保证稳定性，即搜索空间中的所有政策导致承包（全球指数稳定的）闭环系统。因此，它需要对成本函数的选择的非常温和的假设，并且可以推广稳定性属性以看不见的数据。这种方法的另一个有用特征是在没有任何约束的情况下直接参数化的策略，这简化了基于无约束优化的广泛的政策学习方法学习（例如随机梯度下降）。我们说明了具有各种模拟示例的所提出的方法。

过去半年来，从控制和强化学习社区的真实机器人部署的安全学习方法的贡献数量急剧上升。本文提供了一种简洁的但整体审查，对利用机器学习实现的最新进展，以实现在不确定因素下的安全决策，重点是统一控制理论和加固学习研究中使用的语言和框架。我们的评论包括：基于学习的控制方法，通过学习不确定的动态，加强学习方法，鼓励安全或坚固性的加固学习方法，以及可以正式证明学习控制政策安全的方法。随着基于数据和学习的机器人控制方法继续获得牵引力，研究人员必须了解何时以及如何最好地利用它们在安全势在必行的现实情景中，例如在靠近人类的情况下操作时。我们突出了一些开放的挑战，即将在未来几年推动机器人学习领域，并强调需要逼真的物理基准的基准，以便于控制和加固学习方法之间的公平比较。

我们提出了一种依赖于大约解决最小化问题的orcacles的马鞍点优化方法。我们在强凸凹面上分析其收敛性，并向全球最大马鞍点显示线性趋同。根据收敛分析，我们开发了一种适应学习率的启发式方法。显示使用（1 + 1）-cma-es作为最小化Oracle的开发方法的实施方式，即普通话-CMA-es，优于几种现有的测试问题方法。数值评估证实了理论会聚速率的紧密性以及学习率适应机制的效率。作为实际问题的一个例子，建议的优化方法应用于模型不确定性下的自动停泊控制问题，显示其在获得解决方案到不确定性的解决方案中的用处。

我们提出了基于最近开发的神经网络的线性动力系统的非线性输出反馈控制器参数化，称为经常性平衡网络（REN），以及YOULA参数化的非线性版本。我们的方法保证了部分可观察的线性动态系统的闭环稳定性，而不需要满足任何约束。这显着简化了模型拟合，因为任何无约束的优化程序都可以应用，同时仍然保持稳定性。我们展示了具有精确和近似梯度方法的加强学习任务的方法。仿真研究表明，我们的方法在相同的问题设置中明显更具可扩展性，并且显着优于其他方法。

这项教程调查概述了统计学习理论中最新的非征血性进步与控制和系统识别相关。尽管在所有控制领域都取得了重大进展，但在线性系统的识别和学习线性二次调节器时，该理论是最发达的，这是本手稿的重点。从理论的角度来看，这些进步的大部分劳动都在适应现代高维统计和学习理论的工具。虽然与控制对机器学习的工具感兴趣的理论家高度相关，但基础材料并不总是容易访问。为了解决这个问题，我们提供了相关材料的独立介绍，概述了基于最新结果的所有关键思想和技术机械。我们还提出了许多开放问题和未来的方向。

We propose a learning-based robust predictive control algorithm that compensates for significant uncertainty in the dynamics for a class of discrete-time systems that are nominally linear with an additive nonlinear component. Such systems commonly model the nonlinear effects of an unknown environment on a nominal system. We optimize over a class of nonlinear feedback policies inspired by certainty equivalent "estimate-and-cancel" control laws pioneered in classical adaptive control to achieve significant performance improvements in the presence of uncertainties of large magnitude, a setting in which existing learning-based predictive control algorithms often struggle to guarantee safety. In contrast to previous work in robust adaptive MPC, our approach allows us to take advantage of structure (i.e., the numerical predictions) in the a priori unknown dynamics learned online through function approximation. Our approach also extends typical nonlinear adaptive control methods to systems with state and input constraints even when we cannot directly cancel the additive uncertain function from the dynamics. We apply contemporary statistical estimation techniques to certify the system's safety through persistent constraint satisfaction with high probability. Moreover, we propose using Bayesian meta-learning algorithms that learn calibrated model priors to help satisfy the assumptions of the control design in challenging settings. Finally, we show in simulation that our method can accommodate more significant unknown dynamics terms than existing methods and that the use of Bayesian meta-learning allows us to adapt to the test environments more rapidly.

轨迹优化和模型预测控制是支撑高级机器人应用的基本技巧，从自动驾驶到全身人形控制。最先进的算法专注于数据驱动的方法，该方法在线推断系统动态，并在规划和控制期间结合后部不确定性。尽管取得了成功，但这种方法仍然易于灾难性的错误，这可能由于统计学习偏见，未暗模式甚至指导的对抗性攻击而可能出现。在本文中，我们解决了动态错配的问题，并提出了一种分布稳健的最佳控制配方，其在两个相对熵信任区域优化问题之间交替。我们的方法在动态参数和相应的强大策略中找到了最坏情况的最大熵高斯高斯。我们表明，我们的方法承认某种类系统的闭合后向后通行证，并在线性和非线性数字示例展示产生的鲁棒性。

我们提出了一个框架，用于稳定验证混合智能线性编程（MILP）代表控制策略。该框架比较了固定的候选策略，该策略承认有效的参数化，可以以低计算成本进行评估，与固定基线策略进行评估，固定基线策略已知稳定但评估昂贵。我们根据基线策略的最坏情况近似错误为候选策略的闭环稳定性提供了足够的条件，我们表明可以通过求解混合构成二次计划（MIQP）来检查这些条件。 。此外，我们证明可以通过求解MILP来计算候选策略的稳定区域的外部近似。所提出的框架足以容纳广泛的候选策略，包括Relu神经网络（NNS），参数二次程序的最佳解决方案图以及模型预测性控制（MPC）策略。我们还根据提议的框架在Python中提供了一个开源工具箱，该工具可以轻松验证自定义NN架构和MPC公式。我们在DC-DC电源转换器案例研究的背景下展示了框架的灵活性和可靠性，并研究了计算复杂性。

Robust Markov decision processes (RMDPs) are promising models that provide reliable policies under ambiguities in model parameters. As opposed to nominal Markov decision processes (MDPs), however, the state-of-the-art solution methods for RMDPs are limited to value-based methods, such as value iteration and policy iteration. This paper proposes Double-Loop Robust Policy Gradient (DRPG), the first generic policy gradient method for RMDPs with a global convergence guarantee in tabular problems. Unlike value-based methods, DRPG does not rely on dynamic programming techniques. In particular, the inner-loop robust policy evaluation problem is solved via projected gradient descent. Finally, our experimental results demonstrate the performance of our algorithm and verify our theoretical guarantees.

收缩理论是一种分析工具，用于研究以均匀的正面矩阵定义的收缩度量下的非自主（即，时变）非线性系统的差动动力学，其存在导致增量指数的必要和充分表征多种溶液轨迹彼此相互稳定性的稳定性。通过使用平方差分长度作为Lyapunov样功能，其非线性稳定性分析向下沸腾以找到满足以表达为线性矩阵不等式的稳定条件的合适的收缩度量，表明可以在众所周知的线性系统之间绘制许多平行线非线性系统理论与收缩理论。此外，收缩理论利用了与比较引理结合使用的指数稳定性的优越稳健性。这产生了基于神经网络的控制和估计方案的急需安全性和稳定性保证，而不借助使用均匀渐近稳定性的更涉及的输入到状态稳定性方法。这种独特的特征允许通过凸优化来系统构造收缩度量，从而获得了由于扰动和学习误差而在外部扰动的时变的目标轨迹和解决方案轨迹之间的距离上的明确指数界限。因此，本文的目的是介绍了收缩理论的课程概述及其在确定性和随机系统的非线性稳定性分析中的优点，重点导出了各种基于学习和数据驱动的自动控制方法的正式鲁棒性和稳定性保证。特别是，我们提供了使用深神经网络寻找收缩指标和相关控制和估计法的技术的详细审查。

在过去的十年中，由于分散控制应用程序的趋势和网络物理系统应用的出现，网络控制系统在过去十年中引起了广泛的关注。但是，由于无线网络的复杂性质，现实世界中无线网络控制系统的通信带宽，可靠性问题以及对网络动态的认识不足。将机器学习和事件触发的控制结合起来有可能减轻其中一些问题。例如，可以使用机器学习来克服缺乏网络模型的问题，通过学习系统行为或通过不断学习模型动态来适应动态变化的模型。事件触发的控制可以通过仅在必要时或可用资源时传输控制信息来帮助保护通信带宽。本文的目的是对有关机器学习的使用与事件触发的控制的使用进行综述。机器学习技术，例如统计学习，神经网络和基于强化的学习方法，例如深入强化学习，并结合事件触发的控制。我们讨论如何根据机器学习使用的目的将这些学习算法用于不同的应用程序。在对文献的审查和讨论之后，我们重点介绍了与基于机器学习的事件触发的控制并提出潜在解决方案相关的开放研究问题和挑战。

我们考虑使用有限的地平线上具有随机动力学的通用N-N-玩家线性季度游戏，并证明了自然策略梯度方法与NASH平衡的全球收敛性。为了证明该方法的收敛性，我们需要系统中有一定数量的噪声。我们给出了一个条件，基本上是在模型参数方面对噪声的协方差的下限，以确保收敛。我们通过数值实验说明了我们的结果，以表明即使在策略梯度方法可能不会在确定性设置中收敛的情况下，噪声的添加也会导致收敛。

近期在应用于培训深度神经网络和数据分析中的其他优化问题中的非凸优化的优化算法的兴趣增加，我们概述了最近对非凸优化优化算法的全球性能保证的理论结果。我们从古典参数开始，显示一般非凸面问题无法在合理的时间内有效地解决。然后，我们提供了一个问题列表，可以通过利用问题的结构来有效地找到全球最小化器，因为可能的问题。处理非凸性的另一种方法是放宽目标，从找到全局最小，以找到静止点或局部最小值。对于该设置，我们首先为确定性一阶方法的收敛速率提出了已知结果，然后是最佳随机和随机梯度方案的一般理论分析，以及随机第一阶方法的概述。之后，我们讨论了非常一般的非凸面问题，例如最小化$ \ alpha $ -weakly-are-convex功能和满足Polyak-lojasiewicz条件的功能，这仍然允许获得一阶的理论融合保证方法。然后，我们考虑更高阶和零序/衍生物的方法及其收敛速率，以获得非凸优化问题。

最近的研究表明，监督学习可以是为高维非线性动态系统设计最佳反馈控制器的有效工具。但是这些神经网络（NN）控制器的行为仍未得到很好的理解。在本文中，我们使用数值模拟来证明典型的测试精度度量没有有效地捕获NN控制器稳定系统的能力。特别是，具有高测试精度的一些NN不能稳定动态。为了解决这个问题，我们提出了两个NN架构，该架构在局部地近似线性二次调节器（LQR）。数值模拟确认了我们的直觉，即建议的架构可靠地产生稳定反馈控制器，而不会牺牲最佳状态。此外，我们介绍了描述这种NN控制系统的一些稳定性特性的初步理论结果。

由于数据量增加，金融业的快速变化已经彻底改变了数据处理和数据分析的技术，并带来了新的理论和计算挑战。与古典随机控制理论和解决财务决策问题的其他分析方法相比，解决模型假设的财务决策问题，强化学习（RL）的新发展能够充分利用具有更少模型假设的大量财务数据并改善复杂的金融环境中的决策。该调查纸目的旨在审查最近的资金途径的发展和使用RL方法。我们介绍了马尔可夫决策过程，这是许多常用的RL方法的设置。然后引入各种算法，重点介绍不需要任何模型假设的基于价值和基于策略的方法。连接是用神经网络进行的，以扩展框架以包含深的RL算法。我们的调查通过讨论了这些RL算法在金融中各种决策问题中的应用，包括最佳执行，投资组合优化，期权定价和对冲，市场制作，智能订单路由和Robo-Awaring。