Sampling-based Model Predictive Control (MPC) is a flexible control framework that can reason about non-smooth dynamics and cost functions. Recently, significant work has focused on the use of machine learning to improve the performance of MPC, often through learning or fine-tuning the dynamics or cost function. In contrast, we focus on learning to optimize more effectively. In other words, to improve the update rule within MPC. We show that this can be particularly useful in sampling-based MPC, where we often wish to minimize the number of samples for computational reasons. Unfortunately, the cost of computational efficiency is a reduction in performance; fewer samples results in noisier updates. We show that we can contend with this noise by learning how to update the control distribution more effectively and make better use of the few samples that we have. Our learned controllers are trained via imitation learning to mimic an expert which has access to substantially more samples. We test the efficacy of our approach on multiple simulated robotics tasks in sample-constrained regimes and demonstrate that our approach can outperform a MPC controller with the same number of samples.

Sampling-based methods have become a cornerstone of contemporary approaches to Model Predictive Control (MPC), as they make no restrictions on the differentiability of the dynamics or cost function and are straightforward to parallelize. However, their efficacy is highly dependent on the quality of the sampling distribution itself, which is often assumed to be simple, like a Gaussian. This restriction can result in samples which are far from optimal, leading to poor performance. Recent work has explored improving the performance of MPC by sampling in a learned latent space of controls. However, these methods ultimately perform all MPC parameter updates and warm-starting between time steps in the control space. This requires us to rely on a number of heuristics for generating samples and updating the distribution and may lead to sub-optimal performance. Instead, we propose to carry out all operations in the latent space, allowing us to take full advantage of the learned distribution. Specifically, we frame the learning problem as bi-level optimization and show how to train the controller with backpropagation-through-time. By using a normalizing flow parameterization of the distribution, we can leverage its tractable density to avoid requiring differentiability of the dynamics and cost function. Finally, we evaluate the proposed approach on simulated robotics tasks and demonstrate its ability to surpass the performance of prior methods and scale better with a reduced number of samples.

策略搜索和模型预测控制〜（MPC）是机器人控制的两个不同范式：策略搜索具有使用经验丰富的数据自动学习复杂策略的强度，而MPC可以使用模型和轨迹优化提供最佳控制性能。开放的研究问题是如何利用并结合两种方法的优势。在这项工作中，我们通过使用策略搜索自动选择MPC的高级决策变量提供答案，这导致了一种新的策略搜索 - 用于模型预测控制框架。具体地，我们将MPC作为参数化控制器配制，其中难以优化的决策变量表示为高级策略。这种制定允许以自我监督的方式优化政策。我们通过专注于敏捷无人机飞行中的具有挑战性的问题来验证这一框架：通过快速的盖茨飞行四轮车。实验表明，我们的控制器在模拟和现实世界中实现了鲁棒和实时的控制性能。拟议的框架提供了合并学习和控制的新视角。

在本文中，我们关注将基于能量的模型（EBM）作为运动优化的指导先验的问题。 EBM是一组神经网络，可以用合适的能量函数参数为参数的GIBBS分布来表示表达概率密度分布。由于其隐含性，它们可以轻松地作为优化因素或运动优化问题中的初始采样分布整合在一起，从而使它们成为良好的候选者，以将数据驱动的先验集成在运动优化问题中。在这项工作中，我们提出了一组所需的建模和算法选择，以使EBMS适应运动优化。我们调查了将其他正规化器在学习EBM中的好处，以将它们与基于梯度的优化器一起使用，并提供一组EBM架构，以学习用于操纵任务的可通用分布。我们提出了多种情况，可以将EBM集成以进行运动优化，并评估学到的EBM的性能，以指导模拟和真实机器人实验的指导先验。

Policy search methods can allow robots to learn control policies for a wide range of tasks, but practical applications of policy search often require hand-engineered components for perception, state estimation, and low-level control. In this paper, we aim to answer the following question: does training the perception and control systems jointly end-toend provide better performance than training each component separately? To this end, we develop a method that can be used to learn policies that map raw image observations directly to torques at the robot's motors. The policies are represented by deep convolutional neural networks (CNNs) with 92,000 parameters, and are trained using a guided policy search method, which transforms policy search into supervised learning, with supervision provided by a simple trajectory-centric reinforcement learning method. We evaluate our method on a range of real-world manipulation tasks that require close coordination between vision and control, such as screwing a cap onto a bottle, and present simulated comparisons to a range of prior policy search methods.

Reinforcement learning can acquire complex behaviors from high-level specifications. However, defining a cost function that can be optimized effectively and encodes the correct task is challenging in practice. We explore how inverse optimal control (IOC) can be used to learn behaviors from demonstrations, with applications to torque control of high-dimensional robotic systems. Our method addresses two key challenges in inverse optimal control: first, the need for informative features and effective regularization to impose structure on the cost, and second, the difficulty of learning the cost function under unknown dynamics for high-dimensional continuous systems. To address the former challenge, we present an algorithm capable of learning arbitrary nonlinear cost functions, such as neural networks, without meticulous feature engineering. To address the latter challenge, we formulate an efficient sample-based approximation for MaxEnt IOC. We evaluate our method on a series of simulated tasks and real-world robotic manipulation problems, demonstrating substantial improvement over prior methods both in terms of task complexity and sample efficiency.

逆强化学习（IRL）试图推断出一种成本函数，以解释专家演示的基本目标和偏好。本文介绍了向后的地平线逆增强学习（RHIRL），这是一种新的IRL算法，用于具有黑盒动态模型的高维，嘈杂，连续的系统。 Rhirl解决了IRL的两个主要挑战：可伸缩性和鲁棒性。为了处理高维的连续系统，Rhirl以退缩的地平线方式与当地的专家演示相匹配，并将其“针迹”一起“缝制”本地解决方案以学习成本；因此，它避免了“维度的诅咒”。这与早期的算法形成鲜明对比，这些算法与在整个高维状态空间中与全球范围内的专家示威相匹配。为了与不完美的专家示范和系统控制噪声保持强大的态度，Rhirl在轻度条件下学习了与系统动力学的状态依赖性成本函数。基准任务的实验表明，在大多数情况下，Rhirl的表现都优于几种领先的IRL算法。我们还证明，Rhirl的累积误差随任务持续时间线性增长。

尽管移动操作在工业和服务机器人技术方面都重要，但仍然是一个重大挑战，因为它需要将最终效应轨迹的无缝整合与导航技能以及对长匹马的推理。现有方法难以控制大型配置空间，并导航动态和未知环境。在先前的工作中，我们建议将移动操纵任务分解为任务空间中最终效果的简化运动生成器，并将移动设备分解为训练有素的强化学习代理，以说明移动基础的运动基础，以说明运动的运动可行性。在这项工作中，我们引入了移动操作的神经导航（n $^2 $ m $^2 $），该导航将这种分解扩展到复杂的障碍环境，并使其能够解决现实世界中的广泛任务。最终的方法可以在未探索的环境中执行看不见的长马任务，同时立即对动态障碍和环境变化做出反应。同时，它提供了一种定义新的移动操作任务的简单方法。我们证明了我们提出的方法在多个运动学上多样化的移动操纵器上进行的广泛模拟和现实实验的能力。代码和视频可在http://mobile-rl.cs.uni-freiburg.de上公开获得。

机器人系统的控制设计很复杂，通常需要解决优化才能准确遵循轨迹。在线优化方法（例如模型预测性控制（MPC））已被证明可以实现出色的跟踪性能，但需要高计算能力。相反，基于学习的离线优化方法，例如加固学习（RL），可以在机器人上快速有效地执行，但几乎不匹配MPC在轨迹跟踪任务中的准确性。在具有有限计算的系统（例如航空车）中，必须在执行时间有效的精确控制器。我们提出了一种分析策略梯度（APG）方法来解决此问题。 APG通过在跟踪误差上以梯度下降的速度训练控制器来利用可区分的模拟器的可用性。我们解决了通过课程学习和实验经常在广泛使用的控制基准，Cartpole和两个常见的空中机器人，一个四极管和固定翼无人机上进行的训练不稳定性。在跟踪误差方面，我们提出的方法优于基于模型和无模型的RL方法。同时，它达到与MPC相似的性能，同时需要少于数量级的计算时间。我们的工作为APG作为机器人技术的有前途的控制方法提供了见解。为了促进对APG的探索，我们开放代码并在https://github.com/lis-epfl/apg_traightory_tracking上提供。

为设计控制器选择适当的参数集对于最终性能至关重要，但通常需要一个乏味而仔细的调整过程，这意味着强烈需要自动调整方法。但是，在现有方法中，无衍生物的可扩展性或效率低下，而基于梯度的方法可能由于可能是非差异的控制器结构而无法使用。为了解决问题，我们使用新颖的无衍生化强化学习（RL）框架来解决控制器调整问题，该框架在经验收集过程中在参数空间中执行时间段的扰动，并将无衍生策略更新集成到高级参与者 - 批判性RL中实现高多功能性和效率的体系结构。为了证明该框架的功效，我们在自动驾驶的两个具体示例上进行数值实验，即使用PID控制器和MPC控制器进行轨迹跟踪的自适应巡航控制。实验结果表明，所提出的方法的表现优于流行的基线，并突出了其强大的控制器调整潜力。

模块化机器人可以在每天重新排列到新设计中，通过为每项新任务形成定制机器人来处理各种各样的任务。但是，重新配置的机制是不够的：每个设计还需要自己独特的控制策略。人们可以从头开始为每个新设计制作一个政策，但这种方法不可扩展，特别是给出了甚至一小组模块可以生成的大量设计。相反，我们创建了一个模块化策略框架，策略结构在硬件排列上有调节，并仅使用一个培训过程来创建控制各种设计的策略。我们的方法利用了模块化机器人的运动学可以表示为设计图，其中节点作为模块和边缘作为它们之间的连接。给定机器人，它的设计图用于创建具有相同结构的策略图，其中每个节点包含一个深神经网络，以及通过共享参数的相同类型共享知识的模块（例如，Hexapod上的所有腿都相同网络参数）。我们开发了一种基于模型的强化学习算法，交织模型学习和轨迹优化，以培训策略。我们展示了模块化政策推广到培训期间没有看到的大量设计，没有任何额外的学习。最后，我们展示了与模拟和真实机器人一起控制各种设计的政策。

为了确保用户接受自动驾驶汽车（AVS），正在开发控制系统以模仿人类驾驶员的驾驶行为。模仿学习（IL）算法达到了这个目的，但努力为由此产生的闭环系统轨迹提供安全保证。另一方面，模型预测控制（MPC）可以处理具有安全限制的非线性系统，但是用它来实现类似人类的驾驶需要广泛的域知识。这项工作表明，通过将MPC用作分层IL策略中的可区分控制层，将两种技术的无缝组合从所需驾驶行为的演示中学习安全的AV控制器。通过此策略，IL通过MPC成本，模型或约束的参数在闭环和端到端进行。鉴于人类在固定基准驾驶模拟器上进行了示范，分析了通过行为克隆（BCO）来学习的该方法的实验结果，用于通过行为克隆（BCO）学习的车道控制系统的设计。

With the development of deep representation learning, the domain of reinforcement learning (RL) has become a powerful learning framework now capable of learning complex policies in high dimensional environments. This review summarises deep reinforcement learning (DRL) algorithms and provides a taxonomy of automated driving tasks where (D)RL methods have been employed, while addressing key computational challenges in real world deployment of autonomous driving agents. It also delineates adjacent domains such as behavior cloning, imitation learning, inverse reinforcement learning that are related but are not classical RL algorithms. The role of simulators in training agents, methods to validate, test and robustify existing solutions in RL are discussed.

Sampling-based model predictive control (MPC) can be applied to versatile robotic systems. However, the real-time control with it is a big challenge due to its unstable updates and poor convergence. This paper tackles this challenge with a novel derivation from reverse Kullback-Leibler divergence, which has a mode-seeking behavior and is likely to find one of the sub-optimal solutions early. With this derivation, a weighted maximum likelihood estimation with positive/negative weights is obtained, solving by mirror descent (MD) algorithm. While the negative weights eliminate unnecessary actions, that requires to develop a practical implementation that avoids the interference with positive/negative updates based on rejection sampling. In addition, although the convergence of MD can be accelerated with Nesterov's acceleration method, it is modified for the proposed MPC with a heuristic of a step size adaptive to the noise estimated in update amounts. In the real-time simulations, the proposed method can solve more tasks statistically than the conventional method and accomplish more complex tasks only with a CPU due to the improved acceleration. In addition, its applicability is also demonstrated in a variable impedance control of a force-driven mobile robot. https://youtu.be/D8bFMzct1XM

由于数据量增加，金融业的快速变化已经彻底改变了数据处理和数据分析的技术，并带来了新的理论和计算挑战。与古典随机控制理论和解决财务决策问题的其他分析方法相比，解决模型假设的财务决策问题，强化学习（RL）的新发展能够充分利用具有更少模型假设的大量财务数据并改善复杂的金融环境中的决策。该调查纸目的旨在审查最近的资金途径的发展和使用RL方法。我们介绍了马尔可夫决策过程，这是许多常用的RL方法的设置。然后引入各种算法，重点介绍不需要任何模型假设的基于价值和基于策略的方法。连接是用神经网络进行的，以扩展框架以包含深的RL算法。我们的调查通过讨论了这些RL算法在金融中各种决策问题中的应用，包括最佳执行，投资组合优化，期权定价和对冲，市场制作，智能订单路由和Robo-Awaring。

通用非线性系统的最优控制是自动化中的中央挑战。通过强大的函数近似器启用的数据驱动的控制方法，最近在处理具有挑战性的机器人应用方面取得了巨大成功。但是，这些方法通常会掩盖黑盒上过度参数化表示的动态和控制的结构，从而限制了我们理解闭环行为的能力。本文采用混合系统的非线性建模和控制的视图，对问题提供显式层次结构，并将复杂的动态分解为更简单的本地化单元。因此，我们考虑一个序列建模范式，它捕获数据的时间结构，并导出了一种具有非线性边界的随机分段仿射动态系统将非线性动力学自动分解的序列 - 最大化（EM）算法。此外，我们表明，这些时间序列模型自然地承认我们使用的闭环扩展，以通过模仿学习从非线性专家提取本地线性或多项式反馈控制器。最后，我们介绍了一种新的混合地位熵策略搜索（HB-reps）技术，其结合了混合系统的分层性质，并优化了从全局价值函数的局部多项式近似导出的一组时间不变的局部反馈控制器。

我们提出了一种基于差分动态编程框架的算法，以处理轨迹优化问题，其中地平线在线确定而不是修复先验。该算法表现出直线，二次，时间不变问题的精确一步收敛，并且足够快，以便实时非线性模型预测控制。我们在离散时间案例中显示了非线性算法的派生，并将该算法应用于各种非线性问题。最后，我们展示了与标准MPC控制器相比的最佳地平线模型预测控制方案在平面机器人的障碍避免问题上的功效。

强化学习（RL）通过与环境相互作用的试验过程解决顺序决策问题。尽管RL在玩复杂的视频游戏方面取得了巨大的成功，但在现实世界中，犯错误总是不希望的。为了提高样本效率并从而降低错误，据信基于模型的增强学习（MBRL）是一个有前途的方向，它建立了环境模型，在该模型中可以进行反复试验，而无需实际成本。在这项调查中，我们对MBRL进行了审查，重点是Deep RL的最新进展。对于非壮观环境，学到的环境模型与真实环境之间始终存在概括性错误。因此，非常重要的是分析环境模型中的政策培训与实际环境中的差异，这反过来又指导了更好的模型学习，模型使用和政策培训的算法设计。此外，我们还讨论了其他形式的RL，包括离线RL，目标条件RL，多代理RL和Meta-RL的最新进展。此外，我们讨论了MBRL在现实世界任务中的适用性和优势。最后，我们通过讨论MBRL未来发展的前景来结束这项调查。我们认为，MBRL在被忽略的现实应用程序中具有巨大的潜力和优势，我们希望这项调查能够吸引更多关于MBRL的研究。

移动机器人的成功操作要求它们迅速适应环境变化。为了为移动机器人开发自适应决策工具，我们提出了一种新颖的算法，该算法将元强化学习（META-RL）与模型预测控制（MPC）相结合。我们的方法采用额外的元元素算法作为基线，以使用MPC生成的过渡样本来训练策略，当机器人检测到某些事件可以通过MPC有效处理的某些事件，并明确使用机器人动力学。我们方法的关键思想是以随机和事件触发的方式在元学习策略和MPC控制器之间进行切换，以弥补由有限的预测范围引起的次优MPC动作。在元测试期间，将停用MPC模块，以显着减少运动控制中的计算时间。我们进一步提出了一种在线适应方案，该方案使机器人能够在单个轨迹中推断并适应新任务。通过使用（i）障碍物的合成运动和（ii）现实世界的行人运动数据，使用非线性汽车样的车辆模型来证明我们方法的性能。模拟结果表明，我们的方法在学习效率和导航质量方面优于其他算法。

Poor sample efficiency continues to be the primary challenge for deployment of deep Reinforcement Learning (RL) algorithms for real-world applications, and in particular for visuo-motor control. Model-based RL has the potential to be highly sample efficient by concurrently learning a world model and using synthetic rollouts for planning and policy improvement. However, in practice, sample-efficient learning with model-based RL is bottlenecked by the exploration challenge. In this work, we find that leveraging just a handful of demonstrations can dramatically improve the sample-efficiency of model-based RL. Simply appending demonstrations to the interaction dataset, however, does not suffice. We identify key ingredients for leveraging demonstrations in model learning -- policy pretraining, targeted exploration, and oversampling of demonstration data -- which forms the three phases of our model-based RL framework. We empirically study three complex visuo-motor control domains and find that our method is 150%-250% more successful in completing sparse reward tasks compared to prior approaches in the low data regime (100K interaction steps, 5 demonstrations). Code and videos are available at: https://nicklashansen.github.io/modemrl