轨迹优化和模型预测控制是支撑高级机器人应用的基本技巧，从自动驾驶到全身人形控制。最先进的算法专注于数据驱动的方法，该方法在线推断系统动态，并在规划和控制期间结合后部不确定性。尽管取得了成功，但这种方法仍然易于灾难性的错误，这可能由于统计学习偏见，未暗模式甚至指导的对抗性攻击而可能出现。在本文中，我们解决了动态错配的问题，并提出了一种分布稳健的最佳控制配方，其在两个相对熵信任区域优化问题之间交替。我们的方法在动态参数和相应的强大策略中找到了最坏情况的最大熵高斯高斯。我们表明，我们的方法承认某种类系统的闭合后向后通行证，并在线性和非线性数字示例展示产生的鲁棒性。

通用非线性系统的最优控制是自动化中的中央挑战。通过强大的函数近似器启用的数据驱动的控制方法，最近在处理具有挑战性的机器人应用方面取得了巨大成功。但是，这些方法通常会掩盖黑盒上过度参数化表示的动态和控制的结构，从而限制了我们理解闭环行为的能力。本文采用混合系统的非线性建模和控制的视图，对问题提供显式层次结构，并将复杂的动态分解为更简单的本地化单元。因此，我们考虑一个序列建模范式，它捕获数据的时间结构，并导出了一种具有非线性边界的随机分段仿射动态系统将非线性动力学自动分解的序列 - 最大化（EM）算法。此外，我们表明，这些时间序列模型自然地承认我们使用的闭环扩展，以通过模仿学习从非线性专家提取本地线性或多项式反馈控制器。最后，我们介绍了一种新的混合地位熵策略搜索（HB-reps）技术，其结合了混合系统的分层性质，并优化了从全局价值函数的局部多项式近似导出的一组时间不变的局部反馈控制器。

过去半年来，从控制和强化学习社区的真实机器人部署的安全学习方法的贡献数量急剧上升。本文提供了一种简洁的但整体审查，对利用机器学习实现的最新进展，以实现在不确定因素下的安全决策，重点是统一控制理论和加固学习研究中使用的语言和框架。我们的评论包括：基于学习的控制方法，通过学习不确定的动态，加强学习方法，鼓励安全或坚固性的加固学习方法，以及可以正式证明学习控制政策安全的方法。随着基于数据和学习的机器人控制方法继续获得牵引力，研究人员必须了解何时以及如何最好地利用它们在安全势在必行的现实情景中，例如在靠近人类的情况下操作时。我们突出了一些开放的挑战，即将在未来几年推动机器人学习领域，并强调需要逼真的物理基准的基准，以便于控制和加固学习方法之间的公平比较。

机器人等系统的安全操作要求它们计划和执行受安全约束的轨迹。当这些系统受到动态的不确定性的影响时，确保不违反限制是具有挑战性的。本文提出了基于受约束差分动态规划（DDP）的附加不确定性和非线性安全约束的安全轨迹，安全轨迹优化和控制方法。在其运动中的机器人的安全性被制定为机会限制了用户所选择的约束满足的概率。通过约束收紧将机会约束转换为DDP制剂中的确定性。为了避免在约束期间的过保守，从受约束的DDP导出的反馈策略的线性控制增益用于预测中的闭环不确定性传播的近似。所提出的算法在三种不同的机器人动态上进行了经验评估，模拟中具有高达12度的自由度。使用物理硬件实现对方法的计算可行性和适用性进行了说明。

值得信赖的强化学习算法应有能力解决挑战性的现实问题，包括{Robustly}处理不确定性，满足{安全}的限制以避免灾难性的失败，以及在部署过程中{prencepentiming}以避免灾难性的失败}。这项研究旨在概述这些可信赖的强化学习的主要观点，即考虑其在鲁棒性，安全性和概括性上的内在脆弱性。特别是，我们给出严格的表述，对相应的方法进行分类，并讨论每个观点的基准。此外，我们提供了一个前景部分，以刺激有希望的未来方向，并简要讨论考虑人类反馈的外部漏洞。我们希望这项调查可以在统一的框架中将单独的研究汇合在一起，并促进强化学习的可信度。

强化学习（RL）控制器在控制社区中产生了兴奋。 RL控制器相对于现有方法的主要优点是它们能够优化不确定的系统，独立于明确假设过程不确定性。最近对工程应用的关注是针对安全RL控制器的发展。以前的作品已经提出了通过从随机模型预测控制领域的限制收紧来解释约束满足的方法。在这里，我们将这些方法扩展到植物模型不匹配。具体地，我们提出了一种利用离线仿真模型的高斯过程的数据驱动方法，并使用相关的后部不确定预测来解释联合机会限制和植物模型不匹配。该方法通过案例研究反对非线性模型预测控制的基准测试。结果证明了方法理解过程不确定性的能力，即使在植物模型错配的情况下也能满足联合机会限制。

We study distributionally robust optimization (DRO) with Sinkhorn distance -- a variant of Wasserstein distance based on entropic regularization. We provide convex programming dual reformulation for a general nominal distribution. Compared with Wasserstein DRO, it is computationally tractable for a larger class of loss functions, and its worst-case distribution is more reasonable. We propose an efficient first-order algorithm with bisection search to solve the dual reformulation. We demonstrate that our proposed algorithm finds $\delta$-optimal solution of the new DRO formulation with computation cost $\tilde{O}(\delta^{-3})$ and memory cost $\tilde{O}(\delta^{-2})$, and the computation cost further improves to $\tilde{O}(\delta^{-2})$ when the loss function is smooth. Finally, we provide various numerical examples using both synthetic and real data to demonstrate its competitive performance and light computational speed.

我们研究了由测量和过程噪声引起的不确定性的动态系统的规划问题。测量噪声导致系统状态可观察性有限，并且过程噪声在给定控制的结果中导致不确定性。问题是找到一个控制器，保证系统在有限时间内达到所需的目标状态，同时避免障碍物，至少需要一些所需的概率。由于噪音，此问题不承认一般的精确算法或闭合性解决方案。我们的主要贡献是一种新颖的规划方案，采用卡尔曼滤波作为状态估计器，以获得动态系统的有限状态抽象，我们将作为马尔可夫决策过程（MDP）正式化。通过延长概率间隔的MDP，我们可以增强模型对近似过渡概率的数值不精确的鲁棒性。对于这种所谓的间隔MDP（IMDP），我们采用最先进的验证技术来有效地计算最大化目标状态概率的计划。我们展示了抽象的正确性，并提供了几种优化，旨在平衡计划的质量和方法的可扩展性。我们展示我们的方法能够处理具有6维状态的系统，该系统导致具有数万个状态和数百万个过渡的IMDP。

在这项工作中，我们证明了如何通过预期最大化算法来处理随机和风险敏感的最佳控制问题。我们展示了这种处理如何实现为两个独立的迭代程序，每个迭代程序都会产生一个独特但密切相关的密度函数序列。我们激励将这些密度解释为信念，将ERGO作为确定性最佳政策的概率代理。更正式的两个固定点迭代方案是根据代表可靠的期望最大化方法的确定性最佳策略一致的固定点得出的。我们倾向于指出我们的结果与控制范式密切相关。在此推理中的控制是指旨在将最佳控制作为概率推断的实例的方法集合。尽管所说的范式已经导致了几种强大的强化学习算法的发展，但基本问题陈述通常是由目的论论证引入的。我们认为，目前的结果表明，较早的控制作为推理框架实际上将一个步骤与所提出的迭代程序中的一个步骤隔离。在任何情况下，本疗法都为他们提供了有效性的义学论点。通过暴露基本的技术机制，我们旨在为控制作为一种推断为取代当前最佳控制范式的框架的普遍接受。为了激发提出的治疗的普遍相关性，我们在勾勒出未来算法开发的大纲之前，进一步讨论了与路径积分控制和其他研究领域的相似之处。

We propose a learning-based robust predictive control algorithm that compensates for significant uncertainty in the dynamics for a class of discrete-time systems that are nominally linear with an additive nonlinear component. Such systems commonly model the nonlinear effects of an unknown environment on a nominal system. We optimize over a class of nonlinear feedback policies inspired by certainty equivalent "estimate-and-cancel" control laws pioneered in classical adaptive control to achieve significant performance improvements in the presence of uncertainties of large magnitude, a setting in which existing learning-based predictive control algorithms often struggle to guarantee safety. In contrast to previous work in robust adaptive MPC, our approach allows us to take advantage of structure (i.e., the numerical predictions) in the a priori unknown dynamics learned online through function approximation. Our approach also extends typical nonlinear adaptive control methods to systems with state and input constraints even when we cannot directly cancel the additive uncertain function from the dynamics. We apply contemporary statistical estimation techniques to certify the system's safety through persistent constraint satisfaction with high probability. Moreover, we propose using Bayesian meta-learning algorithms that learn calibrated model priors to help satisfy the assumptions of the control design in challenging settings. Finally, we show in simulation that our method can accommodate more significant unknown dynamics terms than existing methods and that the use of Bayesian meta-learning allows us to adapt to the test environments more rapidly.

We propose a distributionally robust return-risk model for Markov decision processes (MDPs) under risk and reward ambiguity. The proposed model optimizes the weighted average of mean and percentile performances, and it covers the distributionally robust MDPs and the distributionally robust chance-constrained MDPs (both under reward ambiguity) as special cases. By considering that the unknown reward distribution lies in a Wasserstein ambiguity set, we derive the tractable reformulation for our model. In particular, we show that that the return-risk model can also account for risk from uncertain transition kernel when one only seeks deterministic policies, and that a distributionally robust MDP under the percentile criterion can be reformulated as its nominal counterpart at an adjusted risk level. A scalable first-order algorithm is designed to solve large-scale problems, and we demonstrate the advantages of our proposed model and algorithm through numerical experiments.

在安全关键设置中运行的自治系统的控制器必须考虑随机扰动。这种干扰通常被建模为过程噪声，并且常见的假设是底层分布是已知的和/或高斯的。然而，在实践中，这些假设可能是不现实的并且可以导致真正噪声分布的近似值。我们提出了一种新的规划方法，不依赖于噪声分布的任何明确表示。特别是，我们解决了计算控制器的控制器，该控制器提供了安全地到达目标的概率保证。首先，我们将连续系统摘要进入一个离散状态模型，通过状态之间的概率转换捕获噪声。作为关键贡献，我们根据噪声的有限数量的样本来调整这些过渡概率的方案方法中的工具。我们在所谓的间隔马尔可夫决策过程（IMDP）的转换概率间隔中捕获这些界限。该IMDP在过渡概率中的不确定性稳健，并且可以通过样本的数量来控制概率间隔的紧张性。我们使用最先进的验证技术在IMDP上提供保证，并计算这些保证对自主系统的控制器。即使IMDP有数百万个州或过渡，也表明了我们方法的实际适用性。

Learning-enabled control systems have demonstrated impressive empirical performance on challenging control problems in robotics, but this performance comes at the cost of reduced transparency and lack of guarantees on the safety or stability of the learned controllers. In recent years, new techniques have emerged to provide these guarantees by learning certificates alongside control policies -- these certificates provide concise, data-driven proofs that guarantee the safety and stability of the learned control system. These methods not only allow the user to verify the safety of a learned controller but also provide supervision during training, allowing safety and stability requirements to influence the training process itself. In this paper, we provide a comprehensive survey of this rapidly developing field of certificate learning. We hope that this paper will serve as an accessible introduction to the theory and practice of certificate learning, both to those who wish to apply these tools to practical robotics problems and to those who wish to dive more deeply into the theory of learning for control.

在本文中，我们研究了加强学习问题的安全政策的学习。这是，我们的目标是控制我们不知道过渡概率的马尔可夫决策过程（MDP），但我们通过经验访问样品轨迹。我们将安全性定义为在操作时间内具有高概率的期望安全集中的代理。因此，我们考虑受限制的MDP，其中限制是概率。由于没有直接的方式来优化关于加强学习框架中的概率约束的政策，因此我们提出了对问题的遍历松弛。拟议的放松的优点是三倍。 （i）安全保障在集界任务的情况下保持，并且它们保持在一个给定的时间范围内，以继续进行任务。 （ii）如果政策的参数化足够丰富，则约束优化问题尽管其非凸起具有任意小的二元间隙。 （iii）可以使用标准策略梯度结果和随机近似工具容易地计算与安全学习问题相关的拉格朗日的梯度。利用这些优势，我们建立了原始双算法能够找到安全和最佳的政策。我们在连续域中的导航任务中测试所提出的方法。数值结果表明，我们的算法能够将策略动态调整到环境和所需的安全水平。

策略搜索和模型预测控制〜（MPC）是机器人控制的两个不同范式：策略搜索具有使用经验丰富的数据自动学习复杂策略的强度，而MPC可以使用模型和轨迹优化提供最佳控制性能。开放的研究问题是如何利用并结合两种方法的优势。在这项工作中，我们通过使用策略搜索自动选择MPC的高级决策变量提供答案，这导致了一种新的策略搜索 - 用于模型预测控制框架。具体地，我们将MPC作为参数化控制器配制，其中难以优化的决策变量表示为高级策略。这种制定允许以自我监督的方式优化政策。我们通过专注于敏捷无人机飞行中的具有挑战性的问题来验证这一框架：通过快速的盖茨飞行四轮车。实验表明，我们的控制器在模拟和现实世界中实现了鲁棒和实时的控制性能。拟议的框架提供了合并学习和控制的新视角。

安全的加强学习（RL）旨在学习在将其部署到关键安全应用程序中之前满足某些约束的政策。以前的原始双重风格方法遭受了不稳定性问题的困扰，并且缺乏最佳保证。本文从概率推断的角度克服了问题。我们在政策学习过程中介绍了一种新颖的期望最大化方法来自然纳入约束：1）在凸优化（E-step）后，可以以封闭形式计算可证明的最佳非参数变异分布； 2）基于最佳变异分布（M-step），在信任区域内改进了策略参数。提出的算法将安全的RL问题分解为凸优化阶段和监督学习阶段，从而产生了更稳定的培训性能。对连续机器人任务进行的广泛实验表明，所提出的方法比基线获得了更好的约束满意度和更好的样品效率。该代码可在https://github.com/liuzuxin/cvpo-safe-rl上找到。

逆强化学习（IRL）试图推断出一种成本函数，以解释专家演示的基本目标和偏好。本文介绍了向后的地平线逆增强学习（RHIRL），这是一种新的IRL算法，用于具有黑盒动态模型的高维，嘈杂，连续的系统。 Rhirl解决了IRL的两个主要挑战：可伸缩性和鲁棒性。为了处理高维的连续系统，Rhirl以退缩的地平线方式与当地的专家演示相匹配，并将其“针迹”一起“缝制”本地解决方案以学习成本；因此，它避免了“维度的诅咒”。这与早期的算法形成鲜明对比，这些算法与在整个高维状态空间中与全球范围内的专家示威相匹配。为了与不完美的专家示范和系统控制噪声保持强大的态度，Rhirl在轻度条件下学习了与系统动力学的状态依赖性成本函数。基准任务的实验表明，在大多数情况下，Rhirl的表现都优于几种领先的IRL算法。我们还证明，Rhirl的累积误差随任务持续时间线性增长。

有效推论是一种数学框架，它起源于计算神经科学，作为大脑如何实现动作，感知和学习的理论。最近，已被证明是在不确定性下存在国家估算和控制问题的有希望的方法，以及一般的机器人和人工代理人的目标驱动行为的基础。在这里，我们审查了最先进的理论和对国家估计，控制，规划和学习的积极推断的实现;描述当前的成就，特别关注机器人。我们展示了相关实验，以适应，泛化和稳健性而言说明其潜力。此外，我们将这种方法与其他框架联系起来，并讨论其预期的利益和挑战：使用变分贝叶斯推理具有功能生物合理性的统一框架。

我们考虑在一个有限时间范围内的离散时间随机动力系统的联合设计和控制。我们将问题作为一个多步优化问题，在寻求识别系统设计和控制政策的不确定性下，共同最大化所考虑的时间范围内收集的预期奖励总和。转换函数，奖励函数和策略都是参数化的，假设与其参数有所不同。然后，我们引入了一种深度加强学习算法，将策略梯度方法与基于模型的优化技术相结合以解决这个问题。从本质上讲，我们的算法迭代地估计通过Monte-Carlo采样和自动分化的预期返回的梯度，并在环境和策略参数空间中投影梯度上升步骤。该算法称为直接环境和策略搜索（DEPS）。我们评估我们算法在三个环境中的性能，分别在三种环境中进行了一个群众弹簧阻尼系统的设计和控制，分别小型离网电力系统和无人机。此外，我们的算法是针对用于解决联合设计和控制问题的最先进的深增强学习算法的基准测试。我们表明，在所有三种环境中，DEPS至少在或更好地执行，始终如一地产生更高的迭代返回的解决方案。最后，通过我们的算法产生的解决方案也与由算法产生的解决方案相比，不共同优化环境和策略参数，突出显示在执行联合优化时可以实现更高返回的事实。

这项研究提出了一种混合轨迹优化方法，该方法为自动移动机器人生成无冲突的平滑轨迹。混合方法结合了基于采样的模型预测路径积分（MPPI）控制和基于梯度的内点差异动态编程（IPDDP），利用了其探索和平滑的优势。所提出的称为MPPI-IPDDP的方法由三个步骤组成。第一步通过MPPI控件生成了一个粗轨迹，第二步构建了无碰撞凸走道，第三步通过使用第二步中计算的无碰撞凸面走廊来平滑IPDDP的粗轨迹。为了进行演示，将提出的算法应用于用于差速器驾驶的车轮移动机器人和点质量四四个四个方面的轨迹优化。可以在https://youtu.be/-ouat5sd9bk上找到有关模拟的补充视频。