后敏感经验重播（她）是一种常见的脱离政策深度加强学习算法的目标，以解决面向目标的任务;它非常适合提供仅提供稀疏奖励的机器人操纵任务。在她身上，轨迹和过渡都是均匀地对训练进行采样的。然而，并非所有的代理商的经历都同样促进训练，因此天真的统一采样可能导致学习效率低下。在本文中，我们提出了与她（DTGSH）的多样性轨迹和目标选择。首先，根据目标状态的多样性对由决定点过程（DPP）的模型进行采样进行采样。其次，通过使用K-DPP从轨迹中选择具有不同目标状态的转换。我们在模拟机器人环境中评估五个挑战机器人操纵任务的DTGSH，在那里我们表明我们的方法可以更快地学到更快，并且比所有任务的其他最先进的方法达到更高的性能。

通过加强学习（RL）掌握机器人操纵技巧通常需要设计奖励功能。该地区的最新进展表明，使用稀疏奖励，即仅在成功完成任务时奖励代理，可能会导致更好的政策。但是，在这种情况下，国家行动空间探索更困难。最近的RL与稀疏奖励学习的方法已经为任务提供了高质量的人类演示，但这些可能是昂贵的，耗时甚至不可能获得的。在本文中，我们提出了一种不需要人类示范的新颖有效方法。我们观察到，每个机器人操纵任务都可以被视为涉及从被操纵对象的角度来看运动的任务，即，对象可以了解如何自己达到目标状态。为了利用这个想法，我们介绍了一个框架，最初使用现实物理模拟器获得对象运动策略。然后，此策略用于生成辅助奖励，称为模拟的机器人演示奖励（SLDRS），使我们能够学习机器人操纵策略。拟议的方法已在增加复杂性的13个任务中进行了评估，与替代算法相比，可以实现更高的成功率和更快的学习率。 SLDRS对多对象堆叠和非刚性物体操作等任务特别有益。

多目标增强学习被广泛应用于计划和机器人操纵中。多进球强化学习的两个主要挑战是稀疏的奖励和样本效率低下。 Hindsight Experience重播（她）旨在通过进球重新标记来应对这两个挑战。但是，与她相关的作品仍然需要数百万个样本和庞大的计算。在本文中，我们提出了多步事化经验重播（MHER），并根据$ n $ step Relabeling合并了多步重新标记的回报，以提高样品效率。尽管$ n $ step Relableling具有优势，但我们从理论上和实验上证明了$ n $ step Relabeling引入的非政策$ n $步骤偏置可能会导致许多环境的性能差。为了解决上述问题，提出了两种偏差降低的MHER算法，Mher（$ \ lambda $）和基于模型的Mher（Mmher）。 Mher（$ \ lambda $）利用$ \ lambda $返回，而Mmher从基于模型的价值扩展中受益。对众多多目标机器人任务的实验结果表明，我们的解决方案可以成功减轻$ n $ n $步骤的偏见，并获得比她的样本效率明显更高，并且课程引导她，而她几乎没有其他计算。

在环境中的多进球强化学习中，代理商通过利用从与环境的互动中获得的经验来学习实现多个目标的政策。由于缺乏成功的经验，培训代理人凭借稀疏的二元奖励特别具有挑战性。为了解决这个问题，事后观察体验重播（她）从失败的经历中获得了成功的经验。但是，在不考虑实现目标财产的情况下产生成功的经验效率较低。在本文中，提出了一种基于集群的采样策略，利用实现目标的财产。提出的采样策略小组以不同的方式实现了目标和样本经历。对于分组，使用K-均值聚类算法。集群的质心是从定义为未实现的原始目标的失败目标的分布中获得的。该方法通过使用OpenAI健身房的三个机器人控制任务进行实验来验证。实验的结果表明，所提出的方法显着减少了在这三个任务中的两个中收敛所需的时期数量，并略微增加了其余一个任务的成功率。还表明，提出的方法可以与她的其他抽样策略结合使用。

Dealing with sparse rewards is one of the biggest challenges in Reinforcement Learning (RL). We present a novel technique called Hindsight Experience Replay which allows sample-efficient learning from rewards which are sparse and binary and therefore avoid the need for complicated reward engineering. It can be combined with an arbitrary off-policy RL algorithm and may be seen as a form of implicit curriculum. We demonstrate our approach on the task of manipulating objects with a robotic arm. In particular, we run experiments on three different tasks: pushing, sliding, and pick-and-place, in each case using only binary rewards indicating whether or not the task is completed. Our ablation studies show that Hindsight Experience Replay is a crucial ingredient which makes training possible in these challenging environments. We show that our policies trained on a physics simulation can be deployed on a physical robot and successfully complete the task. The video presenting our experiments is available at https://goo.gl/SMrQnI.

通过稀疏奖励的环境中的深度加强学习学习机器人操纵是一项具有挑战性的任务。在本文中，我们通过引入虚构对象目标的概念来解决这个问题。对于给定的操纵任务，首先通过物理逼真的模拟训练感兴趣的对象以达到自己的目标位置，而不会被操纵。然后利用对象策略来构建可编征物体轨迹的预测模型，该轨迹提供具有逐步更加困难的对象目标的机器人来达到训练期间的课程。所提出的算法，遵循对象（FO），已经在需要增加探索程度的7个Mujoco环境中进行评估，并且与替代算法相比，取得了更高的成功率。在特别具有挑战性的学习场景中，例如当物体的初始和目标位置相隔甚远，我们的方法仍然可以学习政策，而竞争方法目前失败。

解决稀疏奖励的多目标强化学习（RL）问题通常是具有挑战性的。现有方法利用目标依赖收集的经验，以减轻稀疏奖励提出的问题。然而，这些方法仍然有效，无法充分利用经验。在本文中，我们提出了基于模型的后敏感体验重放（MIRH），通过利用环境动态来产生虚拟实现的目标，更有效地利用更有效的体验。用从训练有素的动态模型的交互中产生的虚拟目标替换原始目标导致一种新的重定相制方法，基于模型的重新标记（MBR）。基于MBR，MEHER执行加强学习和监督学习以获得高效的政策改进。从理论上讲，我们还证明了MBR数据的目标调节监督学习的监督部分，优化了多目标RL目标的下限。基于几个点的任务和模拟机器人环境的实验结果表明，MINHER比以前的无模型和基于模型的多目标方法实现显着更高的样本效率。

Exploration in environments with sparse rewards has been a persistent problem in reinforcement learning (RL). Many tasks are natural to specify with a sparse reward, and manually shaping a reward function can result in suboptimal performance. However, finding a non-zero reward is exponentially more difficult with increasing task horizon or action dimensionality. This puts many real-world tasks out of practical reach of RL methods. In this work, we use demonstrations to overcome the exploration problem and successfully learn to perform long-horizon, multi-step robotics tasks with continuous control such as stacking blocks with a robot arm. Our method, which builds on top of Deep Deterministic Policy Gradients and Hindsight Experience Replay, provides an order of magnitude of speedup over RL on simulated robotics tasks. It is simple to implement and makes only the additional assumption that we can collect a small set of demonstrations. Furthermore, our method is able to solve tasks not solvable by either RL or behavior cloning alone, and often ends up outperforming the demonstrator policy.

Meta-Renifiltive学习（Meta-RL）已被证明是利用事先任务的经验，以便快速学习新的相关任务的成功框架，但是，当前的Meta-RL接近在稀疏奖励环境中学习的斗争。尽管现有的Meta-RL算法可以学习适应新的稀疏奖励任务的策略，但是使用手形奖励功能来学习实际适应策略，或者需要简单的环境，其中随机探索足以遇到稀疏奖励。在本文中，我们提出了对Meta-RL的后视抢购的制定，该rl抢购了在Meta培训期间的经验，以便能够使用稀疏奖励完全学习。我们展示了我们的方法在套件挑战稀疏奖励目标达到的环境中，以前需要密集的奖励，以便在Meta训练中解决。我们的方法使用真正的稀疏奖励功能来解决这些环境，性能与具有代理密集奖励功能的培训相当。

稀疏奖励学习通常在加强学习（RL）方面效率低下。 Hindsight Experience重播（她）已显示出一种有效的解决方案，可以处理低样本效率，这是由于目标重新标记而导致的稀疏奖励效率。但是，她仍然有一个隐含的虚拟阳性稀疏奖励问题，这是由于实现目标而引起的，尤其是对于机器人操纵任务而言。为了解决这个问题，我们提出了一种新型的无模型连续RL算法，称为Relay-HER（RHER）。提出的方法首先分解并重新布置原始的长马任务，以增量复杂性为新的子任务。随后，多任务网络旨在以复杂性的上升顺序学习子任务。为了解决虚拟阳性的稀疏奖励问题，我们提出了一种随机混合的探索策略（RME），在该策略中，在复杂性较低的人的指导下，较高复杂性的子任务的实现目标很快就会改变。实验结果表明，在五个典型的机器人操纵任务中，与香草盖相比，RHER样品效率的显着提高，包括Push，Pickandplace，抽屉，插入物和InstaclePush。提出的RHER方法还应用于从头开始的物理机器人上的接触式推送任务，成功率仅使用250集达到10/10。

本文详细介绍了我们对2021年真正机器人挑战的第一阶段提交的提交；三指机器人必须沿指定目标轨迹携带立方体的挑战。为了解决第1阶段，我们使用一种纯净的增强学习方法，该方法需要对机器人系统或机器人抓握的最少专家知识。与事后的经验重播一起采用了稀疏，基于目标的奖励，以教导控制立方体将立方体移至目标的X和Y坐标。同时，采用了基于密集的距离奖励来教授将立方体提升到目标的Z坐标（高度组成部分）的政策。该策略在将域随机化的模拟中进行培训，然后再转移到真实的机器人进行评估。尽管此次转移后的性能往往会恶化，但我们的最佳政策可以通过有效的捏合掌握能够成功地沿目标轨迹提升真正的立方体。我们的方法表现优于所有其他提交，包括那些利用更传统的机器人控制技术的提交，并且是第一个解决这一挑战的纯学习方法。

强化学习（RL）代理商可以通过与环境进行交互来学习解决复杂的顺序决策任务。但是，样品效率仍然是一个重大挑战。在多目标RL领域中，需要代理以达到多个目标来解决复杂任务，提高采样效率可能尤其具有挑战性。另一方面，人类或其他生物代理商以更具战略方式学习此类任务，遵循随着难度水平的增加，以便逐步高效的学习进步。在这项工作中，我们提出了一种以自我监督方式使用动态距离功能（DDF）的自动目标生成方法。 DDF是一种函数，它预测马尔可夫决策过程（MDP）内的任何两个状态之间的动态距离。有了这个，我们在适当的难度水平下生成一个目标课程，以便在整个培训过程中有效地学习。我们在几个目标条件的机器人操纵和导航任务中评估这种方法，并在基线方法上显示出样本效率的改进，该方法仅使用随机目标采样。

For an autonomous agent to fulfill a wide range of user-specified goals at test time, it must be able to learn broadly applicable and general-purpose skill repertoires. Furthermore, to provide the requisite level of generality, these skills must handle raw sensory input such as images. In this paper, we propose an algorithm that acquires such general-purpose skills by combining unsupervised representation learning and reinforcement learning of goal-conditioned policies. Since the particular goals that might be required at test-time are not known in advance, the agent performs a self-supervised "practice" phase where it imagines goals and attempts to achieve them. We learn a visual representation with three distinct purposes: sampling goals for self-supervised practice, providing a structured transformation of raw sensory inputs, and computing a reward signal for goal reaching. We also propose a retroactive goal relabeling scheme to further improve the sample-efficiency of our method. Our off-policy algorithm is efficient enough to learn policies that operate on raw image observations and goals for a real-world robotic system, and substantially outperforms prior techniques. * Equal contribution. Order was determined by coin flip.

与一组复杂的RL问题有关的目标条件加固学习（GCRL）训练代理在特定情况下实现不同的目标。与仅根据州或观察结果了解政策的标准RL解决方案相比，GCRL还要求代理商根据不同的目标做出决策。在这项调查中，我们对GCRL的挑战和算法进行了全面的概述。首先，我们回答该领域研究的基本问题。然后，我们解释了如何代表目标并介绍如何从不同角度设计现有解决方案。最后，我们得出结论，并讨论最近研究重点的潜在未来前景。

尽管深入的强化学习（DRL）在包括机器人技术在内的许多学科中都很流行，但最先进的DRL算法仍然难以学习长途，多步骤和稀疏奖励任务，例如仅在只有一项任务的情况下堆叠几个块 - 集合奖励信号。为了提高此类任务的学习效率，本文提出了一种称为A^2的DRL探索技术，该技术集成了受人类经验启发的两个组成部分：抽象演示和适应性探索。 A^2首先将复杂的任务分解为子任务，然后提供正确的子任务订单以学习。在训练过程中，该代理商会自适应地探索环境，对良好的子任务的行为更确定性，并且更随机地对不良的子任务子任务。消融和比较实验是对几个网格世界任务和三个机器人操纵任务进行的。我们证明A^2可以帮助流行的DRL算法（DQN，DDPG和SAC）在这些环境中更有效，稳定地学习。

在现实世界中学习机器人任务仍然是高度挑战性的，有效的实用解决方案仍有待发现。在该领域使用的传统方法是模仿学习和强化学习，但是当应用于真正的机器人时，它们都有局限性。将强化学习与预先收集的演示结合在一起是一种有前途的方法，可以帮助学习控制机器人任务的控制政策。在本文中，我们提出了一种使用新技术来利用离线和在线培训来利用离线专家数据的算法，以获得更快的收敛性和提高性能。拟议的算法（AWET）用新颖的代理优势权重对批评损失进行了加权，以改善专家数据。此外，AWET利用自动的早期终止技术来停止和丢弃与专家轨迹不同的策略推出 - 以防止脱离专家数据。在一项消融研究中，与在四个标准机器人任务上的最新基线相比，AWET表现出改善和有希望的表现。

深度加固学习（DRL）使机器人能够结束结束地执行一些智能任务。然而，长地平线稀疏奖励机器人机械手任务仍存在许多挑战。一方面，稀疏奖励设置会导致探索效率低下。另一方面，使用物理机器人的探索是高成本和不安全的。在本文中，我们提出了一种学习使用本文中名为基础控制器的一个或多个现有传统控制器的长地平线稀疏奖励任务。基于深度确定性的政策梯度（DDPG），我们的算法将现有基础控制器融入勘探，价值学习和策略更新的阶段。此外，我们介绍了合成不同基础控制器以整合它们的优点的直接方式。通过从堆叠块到杯子的实验，证明学习的国家或基于图像的策略稳定优于基础控制器。与以前的示范中的学习作品相比，我们的方法通过数量级提高了样品效率，提高了性能。总体而言，我们的方法具有利用现有的工业机器人操纵系统来构建更灵活和智能控制器的可能性。

我们提出了一种层次结构的增强学习方法Hidio，可以以自我监督的方式学习任务不合时宜的选项，同时共同学习利用它们来解决稀疏的奖励任务。与当前倾向于制定目标的低水平任务或预定临时的低级政策不同的层次RL方法不同，Hidio鼓励下级选项学习与手头任务无关，几乎不需要假设或很少的知识任务结构。这些选项是通过基于选项子对象的固有熵最小化目标来学习的。博学的选择是多种多样的，任务不可能的。在稀疏的机器人操作和导航任务的实验中，Hidio比常规RL基准和两种最先进的层次RL方法，其样品效率更高。

事实证明，在强化学习中使用人类示范可以显着提高剂性能。但是，任何要求人手动“教”该模型的要求与强化学习的目标有些相反。本文试图通过使用通过简单使用的虚拟现实模拟收集的单个人类示例来帮助进行RL培训，以最大程度地减少人类参与学习过程的参与，同时仍保留了绩效优势。我们的方法增加了一次演示，以产生许多类似人类的演示，与深层确定性的政策梯度和事后的经验重播（DDPG + HER）相结合时，可以显着改善对简单任务的训练时间，并允许代理商解决复杂的任务（Block Block堆叠）DDPG +她一个人无法解决。该模型使用单个人类示例实现了这一重要的训练优势，需要少于一分钟的人类输入。

We adapt the ideas underlying the success of Deep Q-Learning to the continuous action domain. We present an actor-critic, model-free algorithm based on the deterministic policy gradient that can operate over continuous action spaces. Using the same learning algorithm, network architecture and hyper-parameters, our algorithm robustly solves more than 20 simulated physics tasks, including classic problems such as cartpole swing-up, dexterous manipulation, legged locomotion and car driving. Our algorithm is able to find policies whose performance is competitive with those found by a planning algorithm with full access to the dynamics of the domain and its derivatives. We further demonstrate that for many of the tasks the algorithm can learn policies "end-to-end": directly from raw pixel inputs.