强化学习（RL）在机器人中的应用通常受高数据需求的限制。另一方面，许多机器人场景中容易获得近似模型，使基于模型的方法，如规划数据有效的替代方案。尽管如此，这些方法的性能遭受了模型不精确或错误。从这个意义上讲，RL和基于模型的规划者的各个优势和弱点是。在目前的工作中，我们调查如何将两种方法集成到结合其优势的一个框架中。我们介绍了学习执行（L2E），从而利用近似计划中包含的信息学习有关计划的普遍政策。在我们的机器人操纵实验中，与纯RL，纯规划或基线方法相比，L2E在结合学习和规划的基线方法时表现出增加的性能。

For an autonomous agent to fulfill a wide range of user-specified goals at test time, it must be able to learn broadly applicable and general-purpose skill repertoires. Furthermore, to provide the requisite level of generality, these skills must handle raw sensory input such as images. In this paper, we propose an algorithm that acquires such general-purpose skills by combining unsupervised representation learning and reinforcement learning of goal-conditioned policies. Since the particular goals that might be required at test-time are not known in advance, the agent performs a self-supervised "practice" phase where it imagines goals and attempts to achieve them. We learn a visual representation with three distinct purposes: sampling goals for self-supervised practice, providing a structured transformation of raw sensory inputs, and computing a reward signal for goal reaching. We also propose a retroactive goal relabeling scheme to further improve the sample-efficiency of our method. Our off-policy algorithm is efficient enough to learn policies that operate on raw image observations and goals for a real-world robotic system, and substantially outperforms prior techniques. * Equal contribution. Order was determined by coin flip.

与一组复杂的RL问题有关的目标条件加固学习（GCRL）训练代理在特定情况下实现不同的目标。与仅根据州或观察结果了解政策的标准RL解决方案相比，GCRL还要求代理商根据不同的目标做出决策。在这项调查中，我们对GCRL的挑战和算法进行了全面的概述。首先，我们回答该领域研究的基本问题。然后，我们解释了如何代表目标并介绍如何从不同角度设计现有解决方案。最后，我们得出结论，并讨论最近研究重点的潜在未来前景。

通过加强学习（RL）掌握机器人操纵技巧通常需要设计奖励功能。该地区的最新进展表明，使用稀疏奖励，即仅在成功完成任务时奖励代理，可能会导致更好的政策。但是，在这种情况下，国家行动空间探索更困难。最近的RL与稀疏奖励学习的方法已经为任务提供了高质量的人类演示，但这些可能是昂贵的，耗时甚至不可能获得的。在本文中，我们提出了一种不需要人类示范的新颖有效方法。我们观察到，每个机器人操纵任务都可以被视为涉及从被操纵对象的角度来看运动的任务，即，对象可以了解如何自己达到目标状态。为了利用这个想法，我们介绍了一个框架，最初使用现实物理模拟器获得对象运动策略。然后，此策略用于生成辅助奖励，称为模拟的机器人演示奖励（SLDRS），使我们能够学习机器人操纵策略。拟议的方法已在增加复杂性的13个任务中进行了评估，与替代算法相比，可以实现更高的成功率和更快的学习率。 SLDRS对多对象堆叠和非刚性物体操作等任务特别有益。

Meta-Renifiltive学习（Meta-RL）已被证明是利用事先任务的经验，以便快速学习新的相关任务的成功框架，但是，当前的Meta-RL接近在稀疏奖励环境中学习的斗争。尽管现有的Meta-RL算法可以学习适应新的稀疏奖励任务的策略，但是使用手形奖励功能来学习实际适应策略，或者需要简单的环境，其中随机探索足以遇到稀疏奖励。在本文中，我们提出了对Meta-RL的后视抢购的制定，该rl抢购了在Meta培训期间的经验，以便能够使用稀疏奖励完全学习。我们展示了我们的方法在套件挑战稀疏奖励目标达到的环境中，以前需要密集的奖励，以便在Meta训练中解决。我们的方法使用真正的稀疏奖励功能来解决这些环境，性能与具有代理密集奖励功能的培训相当。

通过稀疏奖励的环境中的深度加强学习学习机器人操纵是一项具有挑战性的任务。在本文中，我们通过引入虚构对象目标的概念来解决这个问题。对于给定的操纵任务，首先通过物理逼真的模拟训练感兴趣的对象以达到自己的目标位置，而不会被操纵。然后利用对象策略来构建可编征物体轨迹的预测模型，该轨迹提供具有逐步更加困难的对象目标的机器人来达到训练期间的课程。所提出的算法，遵循对象（FO），已经在需要增加探索程度的7个Mujoco环境中进行评估，并且与替代算法相比，取得了更高的成功率。在特别具有挑战性的学习场景中，例如当物体的初始和目标位置相隔甚远，我们的方法仍然可以学习政策，而竞争方法目前失败。

基于模型的增强学习（RL）是一种通过利用学习的单步动力学模型来计划想象中的动作来学习复杂行为的样本效率方法。但是，计划为长马操作计划的每项行动都是不切实际的，类似于每个肌肉运动的人类计划。相反，人类有效地计划具有高级技能来解决复杂的任务。从这种直觉中，我们提出了一个基于技能的RL框架（SKIMO），该框架能够使用技能动力学模型在技能空间中进行计划，该模型直接预测技能成果，而不是预测中级状态中的所有小细节，逐步。为了准确有效的长期计划，我们共同学习了先前经验的技能动力学模型和技能曲目。然后，我们利用学到的技能动力学模型准确模拟和计划技能空间中的长范围，这可以有效地学习长摩盛，稀疏的奖励任务。导航和操纵域中的实验结果表明，Skimo扩展了基于模型的方法的时间范围，并提高了基于模型的RL和基于技能的RL的样品效率。代码和视频可在\ url {https://clvrai.com/skimo}上找到

近年来，深度加固学习（DRL）已经成功地进入了复杂的决策应用，例如机器人，自动驾驶或视频游戏。违规算法往往比其策略对应物更具样本效率，并且可以从存储在重放缓冲区中存储的任何违规数据中受益。专家演示是此类数据的流行来源：代理人接触到成功的国家和行动，可以加速学习过程并提高性能。在过去，已经提出了多种想法来充分利用缓冲区中的演示，例如仅在演示或最小化额外的成本函数的预先估算。我们继续进行研究，以孤立地评估这些想法中的几个想法，以了解哪一个具有最大的影响。我们还根据给予示范和成功集中的奖励奖金，为稀疏奖励任务提供了一种新的方法。首先，我们向来自示威活动的过渡提供奖励奖金，以鼓励代理商符合所证明的行为。然后，在收集成功的剧集时，我们将其在将其添加到重播缓冲区之前与相同的奖金转换，鼓励代理也与其先前的成功相匹配。我们的实验的基本算法是流行的软演员 - 评论家（SAC），用于连续动作空间的最先进的脱核算法。我们的实验专注于操纵机器人，特别是在模拟中的机器人手臂的3D到达任务。我们表明，我们的方法Sacr2根据奖励重新标记提高了此任务的性能，即使在没有示范的情况下也是如此。

Adversarial imitation learning (AIL) has become a popular alternative to supervised imitation learning that reduces the distribution shift suffered by the latter. However, AIL requires effective exploration during an online reinforcement learning phase. In this work, we show that the standard, naive approach to exploration can manifest as a suboptimal local maximum if a policy learned with AIL sufficiently matches the expert distribution without fully learning the desired task. This can be particularly catastrophic for manipulation tasks, where the difference between an expert and a non-expert state-action pair is often subtle. We present Learning from Guided Play (LfGP), a framework in which we leverage expert demonstrations of multiple exploratory, auxiliary tasks in addition to a main task. The addition of these auxiliary tasks forces the agent to explore states and actions that standard AIL may learn to ignore. Additionally, this particular formulation allows for the reusability of expert data between main tasks. Our experimental results in a challenging multitask robotic manipulation domain indicate that LfGP significantly outperforms both AIL and behaviour cloning, while also being more expert sample efficient than these baselines. To explain this performance gap, we provide further analysis of a toy problem that highlights the coupling between a local maximum and poor exploration, and also visualize the differences between the learned models from AIL and LfGP.

由于在存在障碍物和高维视觉观测的情况下，由于在存在障碍和高维视觉观测的情况下，学习复杂的操纵任务是一个具有挑战性的问题。事先工作通过整合运动规划和强化学习来解决勘探问题。但是，运动计划程序增强策略需要访问状态信息，该信息通常在现实世界中不可用。为此，我们建议通过（1）视觉行为克隆以通过（1）视觉行为克隆来将基于国家的运动计划者增强策略，以删除运动计划员依赖以及其抖动运动，以及（2）基于视觉的增强学习来自行为克隆代理的平滑轨迹的指导。我们在阻塞环境中的三个操作任务中评估我们的方法，并将其与各种加固学习和模仿学习基线进行比较。结果表明，我们的框架是高度采样的和优于最先进的算法。此外，与域随机化相结合，我们的政策能够用零击转移到未经分散的人的未经环境环境。 https://clvrai.com/mopa-pd提供的代码和视频

Deep Reinforcement Learning has been successfully applied to learn robotic control. However, the corresponding algorithms struggle when applied to problems where the agent is only rewarded after achieving a complex task. In this context, using demonstrations can significantly speed up the learning process, but demonstrations can be costly to acquire. In this paper, we propose to leverage a sequential bias to learn control policies for complex robotic tasks using a single demonstration. To do so, our method learns a goal-conditioned policy to control a system between successive low-dimensional goals. This sequential goal-reaching approach raises a problem of compatibility between successive goals: we need to ensure that the state resulting from reaching a goal is compatible with the achievement of the following goals. To tackle this problem, we present a new algorithm called DCIL-II. We show that DCIL-II can solve with unprecedented sample efficiency some challenging simulated tasks such as humanoid locomotion and stand-up as well as fast running with a simulated Cassie robot. Our method leveraging sequentiality is a step towards the resolution of complex robotic tasks under minimal specification effort, a key feature for the next generation of autonomous robots.

In reinforcement learning applications like robotics, agents usually need to deal with various input/output features when specified with different state/action spaces by their developers or physical restrictions. This indicates unnecessary re-training from scratch and considerable sample inefficiency, especially when agents follow similar solution steps to achieve tasks. In this paper, we aim to transfer similar high-level goal-transition knowledge to alleviate the challenge. Specifically, we propose PILoT, i.e., Planning Immediate Landmarks of Targets. PILoT utilizes the universal decoupled policy optimization to learn a goal-conditioned state planner; then, distills a goal-planner to plan immediate landmarks in a model-free style that can be shared among different agents. In our experiments, we show the power of PILoT on various transferring challenges, including few-shot transferring across action spaces and dynamics, from low-dimensional vector states to image inputs, from simple robot to complicated morphology; and we also illustrate a zero-shot transfer solution from a simple 2D navigation task to the harder Ant-Maze task.

有效的探索仍然是一个重要的挑战，这可以防止为许多物理系统部署加强学习。对于具有连续和高维状态和动作空间的系统尤其如此，例如机器人操纵器。挑战在稀疏奖励环境中强调，其中设计密集奖励设计所需的低级状态信息不可用。对手仿制学习（AIL）可以通过利用专家生成的最佳行为和基本上提供替代奖励信息的替代来部分克服这一屏障。不幸的是，专家示范的可用性并不一定能够改善代理商有效探索的能力，并且正如我们经常展现所在，可以导致效率低或停滞不前。我们从引导播放（LFGP）中展示了一个框架，其中我们利用了专家演示，除了主要任务，多个辅助任务。随后，使用修改的AIL过程来使用分层模型来学习每个任务奖励和策略，其中通过组合不同任务的调度程序强制对所有任务的探索。这提供了许多好处：具有挑战瓶颈转换的主要任务的学习效率得到改善，专家数据在任务之间可重复使用，并且通过重用学习辅助任务模型的传输学习成为可能。我们在一个具有挑战性的多任务机器人操纵域中的实验结果表明我们的方法有利地对监督模仿学习和最先进的AIL方法进行比较。代码可在https://github.com/utiasstars/lfgp获得。

近年来，深度加固学习（DRL）已经成功地进入了复杂的决策应用，例如机器人，自动驾驶或视频游戏。在寻找更多采样高效的算法中，有希望的方向是利用尽可能多的外部偏离策略数据。这种数据驱动方法的一个主题是从专家演示中学习。在过去，已经提出了多种想法来利用添加到重放缓冲区的示范，例如仅在演示中预先预订或最小化额外的成本函数。我们提出了一种新的方法，能够利用任何稀疏奖励环境中在线收集的演示和剧集，以任何违规算法在线。我们的方法基于奖励奖金，给出了示范和成功的剧集，鼓励专家模仿和自模仿。首先，我们向来自示威活动的过渡提供奖励奖金，以鼓励代理商符合所证明的行为。然后，在收集成功的剧集时，我们将其在将其添加到重播缓冲区之前与相同的奖金转换，鼓励代理也与其先前的成功相匹配。我们的实验专注于操纵机器人，特别是在模拟中有6个自由的机器人手臂的三个任务。我们表明，即使在没有示范的情况下，我们基于奖励重新标记的方法可以提高基础算法（SAC和DDPG）对这些任务的性能。此外，集成到我们的方法中的两种改进来自以前的作品，允许我们的方法优于所有基线。

在本文中，我们介绍了潜在的探索（LGE），这是一种基于探索加固学习（RL）的探索范式的简单而通用的方法。最初引入了Go-explore，并具有强大的域知识约束，以将状态空间划分为单元。但是，在大多数实际情况下，从原始观察中汲取域知识是复杂而乏味的。如果细胞分配不足以提供信息，则可以完全无法探索环境。我们认为，可以通过利用学习的潜在表示，可以将Go-explore方法推广到任何环境，而无需细胞。因此，我们表明LGE可以灵活地与学习潜在表示的任何策略相结合。我们表明，LGE虽然比Go-explore更简单，但在多个硬探索环境上纯粹的探索方面，更强大，并且优于所有最先进的算法。 LGE实现可在https://github.com/qgallouedec/lge上作为开源。

通过加强学习（RL）解决机器人导航任务是由于其稀疏奖励和长决策范围自然而挑战。但是，在许多导航任务中，可以使用高级（HL）任务表示，如粗略楼层。以前的工作通过HL表示中的路径规划组成的层次方法和使用从计划导出的子目标来指导源任务中的RL策略的子目标来证明了高效的学习。然而，这些方法通常忽略计划期间机器人的复杂动态和子最优的子目标达到能力。通过提出利用用于HL代表的培训计划政策的新型分层框架，这项工作克服了这些限制。因此，可以利用收集的卷展数据来学习机器人能力和环境条件。我们专门以学习的转换模型（VI-RL）为基础介绍一个规划策略。在模拟机器人导航任务中，VI-RL对Vanilla RL的一致强烈改善，与单个布局的单个布局有关，但更广泛适用于多个布局，并且与停车处的可训练HL路径规划基准相提并论具有困难的非完全动态的任务，其中它显示了显着的改进。

Dealing with sparse rewards is one of the biggest challenges in Reinforcement Learning (RL). We present a novel technique called Hindsight Experience Replay which allows sample-efficient learning from rewards which are sparse and binary and therefore avoid the need for complicated reward engineering. It can be combined with an arbitrary off-policy RL algorithm and may be seen as a form of implicit curriculum. We demonstrate our approach on the task of manipulating objects with a robotic arm. In particular, we run experiments on three different tasks: pushing, sliding, and pick-and-place, in each case using only binary rewards indicating whether or not the task is completed. Our ablation studies show that Hindsight Experience Replay is a crucial ingredient which makes training possible in these challenging environments. We show that our policies trained on a physics simulation can be deployed on a physical robot and successfully complete the task. The video presenting our experiments is available at https://goo.gl/SMrQnI.

在现实世界中经营通常需要代理商来了解复杂的环境，并应用这种理解以实现一系列目标。这个问题被称为目标有条件的强化学习（GCRL），对长地平线的目标变得特别具有挑战性。目前的方法通过使用基于图形的规划算法增强目标条件的策略来解决这个问题。然而，他们努力缩放到大型高维状态空间，并采用用于有效地收集训练数据的探索机制。在这项工作中，我们介绍了继任者功能标志性（SFL），这是一种探索大型高维环境的框架，以获得熟练的政策熟练的策略。 SFL利用继承特性（SF）来捕获转换动态的能力，通过估计状态新颖性来驱动探索，并通过将状态空间作为基于非参数标志的图形来实现高级规划。我们进一步利用SF直接计算地标遍历的目标条件调节策略，我们用于在探索状态空间边缘执行计划“前沿”地标。我们在我们的Minigrid和VizDoom进行了实验，即SFL可以高效地探索大型高维状态空间和优于长地平线GCRL任务的最先进的基线。

Exploration in environments with sparse rewards has been a persistent problem in reinforcement learning (RL). Many tasks are natural to specify with a sparse reward, and manually shaping a reward function can result in suboptimal performance. However, finding a non-zero reward is exponentially more difficult with increasing task horizon or action dimensionality. This puts many real-world tasks out of practical reach of RL methods. In this work, we use demonstrations to overcome the exploration problem and successfully learn to perform long-horizon, multi-step robotics tasks with continuous control such as stacking blocks with a robot arm. Our method, which builds on top of Deep Deterministic Policy Gradients and Hindsight Experience Replay, provides an order of magnitude of speedup over RL on simulated robotics tasks. It is simple to implement and makes only the additional assumption that we can collect a small set of demonstrations. Furthermore, our method is able to solve tasks not solvable by either RL or behavior cloning alone, and often ends up outperforming the demonstrator policy.

Adequately assigning credit to actions for future outcomes based on their contributions is a long-standing open challenge in Reinforcement Learning. The assumptions of the most commonly used credit assignment method are disadvantageous in tasks where the effects of decisions are not immediately evident. Furthermore, this method can only evaluate actions that have been selected by the agent, making it highly inefficient. Still, no alternative methods have been widely adopted in the field. Hindsight Credit Assignment is a promising, but still unexplored candidate, which aims to solve the problems of both long-term and counterfactual credit assignment. In this thesis, we empirically investigate Hindsight Credit Assignment to identify its main benefits, and key points to improve. Then, we apply it to factored state representations, and in particular to state representations based on the causal structure of the environment. In this setting, we propose a variant of Hindsight Credit Assignment that effectively exploits a given causal structure. We show that our modification greatly decreases the workload of Hindsight Credit Assignment, making it more efficient and enabling it to outperform the baseline credit assignment method on various tasks. This opens the way to other methods based on given or learned causal structures.