元学习的目标是尽快推出新的任务和目标。理想情况下，我们希望在第一次尝试中概括新目标和任务的方法。对此结束，我们介绍了上下文规划网络（CPN）。任务表示为目标图像并用于调节方法。我们评估CPN以及适用于零射击目标的荟萃学习的其他几种方法。我们使用MetaForld基准任务评估24个不同的操作任务的方法。我们发现CPN在一项任务上表现了几种方法和基线，并且与他人的现有方法具有竞争力。我们展示了使用Kinova Jaco机械臂在Jenga任务的物理平台上的方法。

智能代理人应该有能力利用先前学习的任务中的知识，以便快速有效地学习新任务。元学习方法已成为实现这一目标的流行解决方案。然而，迄今为止，元强化学习（META-RL）算法仅限于具有狭窄任务分布的简单环境。此外，预处理的范式随后进行了微调以适应新任务，这是一种简单而有效的解决方案，这些解决方案是监督和自我监督的学习。这使质疑元学习方法的好处在加强学习中的好处，这通常是以高复杂性为代价的。因此，我们研究了包括Procgen，rlbench和Atari在内的各种基于视觉的基准测试中的元RL方法，在这些基准测试中，对完全新颖的任务进行了评估。我们的发现表明，当对不同任务（而不是相同任务的不同变化）评估元学习方法时，对新任务进行微调的多任务预处理也相同或更好，或者更好，比用meta进行元数据。测试时间适应。这对于将来的研究令人鼓舞，因为多任务预处理往往比Meta-RL更简单和计算更便宜。从这些发现中，我们主张评估未来的Meta-RL方法在更具挑战性的任务上，并包括以简单但强大的基线进行微调预处理。

长摩根和包括一系列隐性子任务的日常任务仍然在离线机器人控制中构成了重大挑战。尽管许多先前的方法旨在通过模仿和离线增强学习的变体来解决这种设置，但学习的行为通常是狭窄的，并且经常努力实现可配置的长匹配目标。由于这两个范式都具有互补的优势和劣势，因此我们提出了一种新型的层次结构方法，结合了两种方法的优势，以从高维相机观察中学习任务无关的长胜压策略。具体而言，我们结合了一项低级政策，该政策通过模仿学习和从离线强化学习中学到的高级政策学习潜在的技能，以促进潜在的行为先验。各种模拟和真实机器人控制任务的实验表明，我们的配方使以前看不见的技能组合能够通过“缝制”潜在技能通过目标链条，并在绩效上提高绩效的顺序，从而实现潜在的目标。艺术基线。我们甚至还学习了一个多任务视觉运动策略，用于现实世界中25个不同的操纵任务，这既优于模仿学习和离线强化学习技术。

强化学习可以培训有效执行复杂任务的政策。然而，对于长地平线任务，这些方法的性能与地平线脱落，通常需要推理和构成较低级别的技能。等级强化学习旨在通过为行动抽象提供一组低级技能来实现这一点。通过抽象空间状态，层次结构也可以进一步提高这一点。我们对适当的状态抽象应取决于可用的较低级别策略的功能。我们提出了价值函数空间：通过使用与每个较低级别的技能对应的值函数来产生这种表示的简单方法。这些价值函数捕获场景的可取性，从而形成了紧凑型摘要任务相关信息的表示，并强大地忽略了分散的人。迷宫解决和机器人操纵任务的实证评估表明，我们的方法提高了长地平的性能，并且能够比替代的无模型和基于模型的方法能够更好的零拍泛化。

Exploration in environments with sparse rewards has been a persistent problem in reinforcement learning (RL). Many tasks are natural to specify with a sparse reward, and manually shaping a reward function can result in suboptimal performance. However, finding a non-zero reward is exponentially more difficult with increasing task horizon or action dimensionality. This puts many real-world tasks out of practical reach of RL methods. In this work, we use demonstrations to overcome the exploration problem and successfully learn to perform long-horizon, multi-step robotics tasks with continuous control such as stacking blocks with a robot arm. Our method, which builds on top of Deep Deterministic Policy Gradients and Hindsight Experience Replay, provides an order of magnitude of speedup over RL on simulated robotics tasks. It is simple to implement and makes only the additional assumption that we can collect a small set of demonstrations. Furthermore, our method is able to solve tasks not solvable by either RL or behavior cloning alone, and often ends up outperforming the demonstrator policy.

元加强学习（META-RL）是一种方法，即从解决各种任务中获得的经验被蒸馏成元政策。当仅适应一个小（或仅一个）数量的步骤时，元派利赛能够在新的相关任务上近距离执行。但是，采用这种方法来解决现实世界中的问题的主要挑战是，它们通常与稀疏的奖励功能相关联，这些功能仅表示任务是部分或完全完成的。我们考虑到某些数据可能由亚最佳代理生成的情况，可用于每个任务。然后，我们使用示范（EMRLD）开发了一类名为“增强元RL”的算法，即使在训练过程中获得了次优的指导，也可以利用此信息。我们展示了EMRLD如何共同利用RL和在离线数据上进行监督学习，以生成一个显示单调性能改进的元数据。我们还开发了一个称为EMRLD-WS的温暖开始的变体，该变体对于亚最佳演示数据特别有效。最后，我们表明，在包括移动机器人在内的各种稀疏奖励环境中，我们的EMRLD算法显着优于现有方法。

需要大量人类努力和迭代的奖励功能规范仍然是通过深入的强化学习来学习行为的主要障碍。相比之下，提供所需行为的视觉演示通常会提供一种更简单，更自然的教师的方式。我们考虑为代理提供了一个固定的视觉演示数据集，说明了如何执行任务，并且必须学习使用提供的演示和无监督的环境交互来解决任务。此设置提出了许多挑战，包括对视觉观察的表示，由于缺乏固定的奖励或学习信号而导致的，由于高维空间而引起的样本复杂性以及学习不稳定。为了解决这些挑战，我们开发了一种基于变异模型的对抗模仿学习（V-Mail）算法。基于模型的方法为表示学习，实现样本效率并通过实现派利学习来提高对抗性训练的稳定性提供了强烈的信号。通过涉及几种基于视觉的运动和操纵任务的实验，我们发现V-Mail以样本有效的方式学习了成功的视觉运动策略，与先前的工作相比，稳定性更高，并且还可以实现较高的渐近性能。我们进一步发现，通过传输学习模型，V-Mail可以从视觉演示中学习新任务，而无需任何其他环境交互。所有结果在内的所有结果都可以在\ url {https://sites.google.com/view/variational-mail}在线找到。

For an autonomous agent to fulfill a wide range of user-specified goals at test time, it must be able to learn broadly applicable and general-purpose skill repertoires. Furthermore, to provide the requisite level of generality, these skills must handle raw sensory input such as images. In this paper, we propose an algorithm that acquires such general-purpose skills by combining unsupervised representation learning and reinforcement learning of goal-conditioned policies. Since the particular goals that might be required at test-time are not known in advance, the agent performs a self-supervised "practice" phase where it imagines goals and attempts to achieve them. We learn a visual representation with three distinct purposes: sampling goals for self-supervised practice, providing a structured transformation of raw sensory inputs, and computing a reward signal for goal reaching. We also propose a retroactive goal relabeling scheme to further improve the sample-efficiency of our method. Our off-policy algorithm is efficient enough to learn policies that operate on raw image observations and goals for a real-world robotic system, and substantially outperforms prior techniques. * Equal contribution. Order was determined by coin flip.

我们开发了一种新的持续元学习方法，以解决连续多任务学习中的挑战。在此设置中，代理商的目标是快速通过任何任务序列实现高奖励。先前的Meta-Creenifiltive学习算法已经表现出有希望加速收购新任务的结果。但是，他们需要在培训期间访问所有任务。除了简单地将过去的经验转移到新任务，我们的目标是设计学习学习的持续加强学习算法，使用他们以前任务的经验更快地学习新任务。我们介绍了一种新的方法，连续的元策略搜索（Comps），通过以增量方式，在序列中的每个任务上，通过序列的每个任务来消除此限制，而无需重新访问先前的任务。 Comps持续重复两个子程序：使用RL学习新任务，并使用RL的经验完全离线Meta学习，为后续任务学习做好准备。我们发现，在若干挑战性连续控制任务的旧序列上，Comps优于持续的持续学习和非政策元增强方法。

尽管最近的强化学习最近在学习复杂的行为方面非常成功，但它需要大量的数据才能学习任务，更不用说能够适应新任务了。引起这种限制的根本原因之一在于试验学习范式的强化学习范式的性质，在这种情况下，代理商与任务进行交流并进行学习仅依靠奖励信号，这是隐含的，这是隐含的和不足以学习的一项任务很好。相反，人类主要通过语义表征或自然语言指示来学习新技能。但是，将语言指示用于机器人运动控制来提高适应性，这是一个新出现的主题和挑战。在本文中，我们提出了一种元素算法，该算法通过多个操纵任务中的语言说明来解决学习技能的挑战。一方面，我们的算法利用语言指令来塑造其对任务的解释，另一方面，它仍然学会了在试用过程中解决任务。我们在机器人操纵基准（Meta-World）上评估了算法，并且在培训和测试成功率方面显着优于最先进的方法。该代码可在\ url {https://tumi6robot.wixsite.com/million}中获得。

近年来，由于机器学习的进步，已经完成了无数关于智能机器人政策的最高级工作。然而，效率低下和缺乏转移能力阻碍了实用应用程序，尤其是在人类机器人协作中，少数快速学习和高灵活性成为一种努力。为了克服这一障碍，我们指的是一个“政策池”，其中包含可以轻松访问和重复使用的预训练技能。通过以灵活的顺序展开必要的技能，采用代理来管理“政策池”，取决于特定于任务的偏爱。可以从一个或几个人类专家示范中自动解释这种偏好。在这个层次结构的环境下，我们的算法能够在迷你招架环境中获得一个稀疏的奖励，多阶段的诀窍，只有一次演示，显示了有可能立即掌握人类教练的复杂机器人技能的潜力。此外，我们算法的先天质量还允许终身学习，使其成为一种多功能的代理。

我们调查视觉跨实施的模仿设置，其中代理商学习来自其他代理的视频（例如人类）的策略，示范相同的任务，但在其实施例中具有缺点差异 - 形状，动作，终效应器动态等。在这项工作中，我们证明可以从对这些差异强大的跨实施例证视频自动发现和学习基于视觉的奖励功能。具体而言，我们介绍了一种用于跨实施的跨实施的自我监督方法（XIRL），它利用时间周期 - 一致性约束来学习深度视觉嵌入，从而从多个专家代理的示范的脱机视频中捕获任务进度，每个都执行相同的任务不同的原因是实施例差异。在我们的工作之前，从自我监督嵌入产生奖励通常需要与参考轨迹对齐，这可能难以根据STARK实施例的差异来获取。我们凭经验显示，如果嵌入式了解任务进度，则只需在学习的嵌入空间中占据当前状态和目标状态之间的负距离是有用的，作为培训与加强学习的培训政策的奖励。我们发现我们的学习奖励功能不仅适用于在训练期间看到的实施例，而且还概括为完全新的实施例。此外，在将现实世界的人类示范转移到模拟机器人时，我们发现XIRL比当前最佳方法更具样本。 https://x-irl.github.io提供定性结果，代码和数据集

我们研究了从机器人交互的大型离线数据集学习一系列基于视觉的操纵任务的问题。为了实现这一目标，人类需要简单有效地将任务指定给机器人。目标图像是一种流行的任务规范形式，因为它们已经在机器人的观察空间接地。然而，目标图像也有许多缺点：它们对人类提供的不方便，它们可以通过提供导致稀疏奖励信号的所需行为，或者在非目标达到任务的情况下指定任务信息。自然语言为任务规范提供了一种方便而灵活的替代方案，而是随着机器人观察空间的接地语言挑战。为了可扩展地学习此基础，我们建议利用具有人群源语言标签的离线机器人数据集（包括高度最佳，自主收集的数据）。使用此数据，我们学习一个简单的分类器，该分类器预测状态的更改是否完成了语言指令。这提供了一种语言调节奖励函数，然后可以用于离线多任务RL。在我们的实验中，我们发现，在语言条件的操作任务中，我们的方法优于目标 - 图像规格和语言条件仿制技术超过25％，并且能够从自然语言中执行Visuomotor任务，例如“打开右抽屉“和”移动订书机“，在弗兰卡·埃米卡熊猫机器人上。

强化学习（RL）算法有望为机器人系统实现自主技能获取。但是，实际上，现实世界中的机器人RL通常需要耗时的数据收集和频繁的人类干预来重置环境。此外，当部署超出知识的设置超出其学习的设置时，使用RL学到的机器人政策通常会失败。在这项工作中，我们研究了如何通过从先前看到的任务中收集的各种离线数据集的有效利用来应对这些挑战。当面对一项新任务时，我们的系统会适应以前学习的技能，以快速学习执行新任务并将环境返回到初始状态，从而有效地执行自己的环境重置。我们的经验结果表明，将先前的数据纳入机器人增强学习中可以实现自主学习，从而大大提高了学习的样本效率，并可以更好地概括。

Poor sample efficiency continues to be the primary challenge for deployment of deep Reinforcement Learning (RL) algorithms for real-world applications, and in particular for visuo-motor control. Model-based RL has the potential to be highly sample efficient by concurrently learning a world model and using synthetic rollouts for planning and policy improvement. However, in practice, sample-efficient learning with model-based RL is bottlenecked by the exploration challenge. In this work, we find that leveraging just a handful of demonstrations can dramatically improve the sample-efficiency of model-based RL. Simply appending demonstrations to the interaction dataset, however, does not suffice. We identify key ingredients for leveraging demonstrations in model learning -- policy pretraining, targeted exploration, and oversampling of demonstration data -- which forms the three phases of our model-based RL framework. We empirically study three complex visuo-motor control domains and find that our method is 150%-250% more successful in completing sparse reward tasks compared to prior approaches in the low data regime (100K interaction steps, 5 demonstrations). Code and videos are available at: https://nicklashansen.github.io/modemrl

本文解决了逆增强学习（IRL）的问题 - 从观察其行为中推断出代理的奖励功能。 IRL可以为学徒学习提供可概括和紧凑的代表，并能够准确推断人的偏好以帮助他们。 ％并提供更准确的预测。但是，有效的IRL具有挑战性，因为许多奖励功能可以与观察到的行为兼容。我们专注于如何利用先前的强化学习（RL）经验，以使学习这些偏好更快，更高效。我们提出了IRL算法基础（通过样本中的连续功能意图推断行为获取行为），该算法利用多任务RL预培训和后继功能，使代理商可以为跨越可能的目标建立强大的基础，从而跨越可能的目标。给定的域。当仅接触一些专家演示以优化新颖目标时，代理商会使用其基础快速有效地推断奖励功能。我们的实验表明，我们的方法非常有效地推断和优化显示出奖励功能，从而准确地从少于100个轨迹中推断出奖励功能。

连续控制设置中的复杂顺序任务通常需要代理在其状态空间中成功遍历一组“窄段”。通过以样本有效的方式解决具有稀疏奖励的这些任务对现代钢筋（RL）构成了挑战，由于问题的相关的长地平性，并且在学习期间缺乏充足的正信号。已应用各种工具来解决这一挑战。当可用时，大型演示可以指导代理探索。后威尔同时释放不需要额外的信息来源。然而，现有的战略基于任务不可行的目标分布探索，这可以使长地平线的解决方案不切实际。在这项工作中，我们扩展了后视可释放的机制，以指导沿着一小组成功示范所暗示的特定任务特定分布的探索。我们评估了四个复杂，单身和双臂，机器人操纵任务的方法，对抗强合适的基线。该方法需要较少的演示来解决所有任务，并且达到明显更高的整体性能作为任务复杂性增加。最后，我们研究了提出的解决方案对输入表示质量和示范人数的鲁棒性。

我们提出了一种新型的参数化技能学习算法，旨在学习可转移的参数化技能并将其合成为新的动作空间，以支持长期任务中的有效学习。我们首先提出了新颖的学习目标 - 以轨迹为中心的多样性和平稳性 - 允许代理商能够重复使用的参数化技能。我们的代理商可以使用这些学习的技能来构建时间扩展的参数化行动马尔可夫决策过程，我们为此提出了一种层次的参与者 - 批判算法，旨在通过学习技能有效地学习高级控制政策。我们从经验上证明，所提出的算法使代理能够解决复杂的长途障碍源环境。

技能链是一种希望通过顺序结合以前学习的技能来合成复杂行为的有希望的方法。然而，当政策遭遇在培训期间从未见过的起始状态时，幼稚的技能组成失败。对于成功的技能链接，先前的方法试图扩大策略的起始状态分布。然而，这些方法需要覆盖更大的状态分布，因为更多的策略进行测序，因此仅限于短的技能序列。在本文中，我们通过在对抗学习框架中规范终端状态分布来提出连锁多个初始状态分布的多重政策。我们评估了我们对家具组件的两个复杂的长地平衡任务的方法。我们的结果表明，我们的方法建立了第一种无模型加强学习算法来解决这些任务;而先前的技能链接方法失败。代码和视频可在https://clvrai.com/skill-chaining上获得

在现代机器学习研究中，概括到以前看不见的任务的能力几乎是一个关键的挑战。它也是未来“将军AI”的基石。任何部署在现实世界应用中的人为智能代理，都必须随时适应未知环境。研究人员通常依靠强化和模仿学习来通过试用和错误学习来在线适应新任务。但是，这对于需要许多时间段或大量子任务才能完成的复杂任务可能具有挑战性。这些“长范围”任务遭受了样本效率低下的损失，并且可能需要非常长的培训时间，然后代理人才能学习执行必要的长期计划。在这项工作中，我们介绍了案例，该案例试图通过使用自适应“不久的将来”子目标训练模仿学习代理来解决这些问题。这些子观念在每个步骤中使用构图算术在学习潜在的表示空间中进行重新计算。除了提高标准长期任务的学习效率外，这种方法还可以使对以前看不见的任务进行一次性的概括，只有在不同环境中为该任务进行单个参考轨迹。我们的实验表明，所提出的方法始终优于先前的最新成分模仿学习方法30％。