学习多样化的技能是机器人技术的主要挑战之一。为此，模仿学习方法取得了令人印象深刻的结果。这些方法需要明确标记的数据集或采用一致的技能执行，以使学习和积极控制单个行为，从而限制其适用性。在这项工作中，我们提出了一种合作的对抗方法，用于从未标记的数据集中获得可控技能的单一多功能策略，该数据集包含各种状态过渡模式，通过最大化其可区分性。此外，我们表明，通过在生成的对抗性模仿学习框架中利用无监督的技能发现，新颖而有用的技能随着成功的任务实现而出现。最后，在示威中编码的各种技能的忠实复制中，对获得的多功能策略进行了测试，并呈现了忠实的复制。

学习敏捷技能是机器人技术的主要挑战之一。为此，加强学习方法取得了令人印象深刻的结果。这些方法需要根据奖励功能或可以在模拟中查询的专家来提供明确的任务信息，以提供目标控制输出，从而限制其适用性。在这项工作中，我们提出了一种生成的对抗方法，用于从部分和潜在的物理不兼容的演示中推断出奖励功能，以成功地获得参考或专家演示的成功技能。此外，我们表明，通过使用Wasserstein gan公式和从以粗糙和部分信息为输入的示范中进行过渡，我们能够提取强大的策略并能够模仿证明的行为。最后，在一个名为Solo 8的敏捷四倍的机器人上测试了所获得的技能，例如后空飞弹，并对手持人类示范的忠实复制进行了测试。

We propose an approach for semantic imitation, which uses demonstrations from a source domain, e.g. human videos, to accelerate reinforcement learning (RL) in a different target domain, e.g. a robotic manipulator in a simulated kitchen. Instead of imitating low-level actions like joint velocities, our approach imitates the sequence of demonstrated semantic skills like "opening the microwave" or "turning on the stove". This allows us to transfer demonstrations across environments (e.g. real-world to simulated kitchen) and agent embodiments (e.g. bimanual human demonstration to robotic arm). We evaluate on three challenging cross-domain learning problems and match the performance of demonstration-accelerated RL approaches that require in-domain demonstrations. In a simulated kitchen environment, our approach learns long-horizon robot manipulation tasks, using less than 3 minutes of human video demonstrations from a real-world kitchen. This enables scaling robot learning via the reuse of demonstrations, e.g. collected as human videos, for learning in any number of target domains.

技能链是一种希望通过顺序结合以前学习的技能来合成复杂行为的有希望的方法。然而，当政策遭遇在培训期间从未见过的起始状态时，幼稚的技能组成失败。对于成功的技能链接，先前的方法试图扩大策略的起始状态分布。然而，这些方法需要覆盖更大的状态分布，因为更多的策略进行测序，因此仅限于短的技能序列。在本文中，我们通过在对抗学习框架中规范终端状态分布来提出连锁多个初始状态分布的多重政策。我们评估了我们对家具组件的两个复杂的长地平衡任务的方法。我们的结果表明，我们的方法建立了第一种无模型加强学习算法来解决这些任务;而先前的技能链接方法失败。代码和视频可在https://clvrai.com/skill-chaining上获得

我们提出了一种层次结构的增强学习方法Hidio，可以以自我监督的方式学习任务不合时宜的选项，同时共同学习利用它们来解决稀疏的奖励任务。与当前倾向于制定目标的低水平任务或预定临时的低级政策不同的层次RL方法不同，Hidio鼓励下级选项学习与手头任务无关，几乎不需要假设或很少的知识任务结构。这些选项是通过基于选项子对象的固有熵最小化目标来学习的。博学的选择是多种多样的，任务不可能的。在稀疏的机器人操作和导航任务的实验中，Hidio比常规RL基准和两种最先进的层次RL方法，其样品效率更高。

代理商学习广泛适用和通用策略具有重要意义，可以实现包括图像和文本描述在内的各种目标。考虑到这类感知的目标，深度加强学习研究的前沿是学习一个没有手工制作奖励的目标条件政策。要了解这种政策，最近的作品通常会像奖励到明确的嵌入空间中的给定目标的非参数距离。从不同的观点来看，我们提出了一种新的无监督学习方法，名为目标条件政策，具有内在动机（GPIM），共同学习抽象级别政策和目标条件的政策。摘要级别策略在潜在变量上被调节，以优化鉴别器，并发现进一步的不同状态，进一步呈现为目标条件策略的感知特定目标。学习鉴别者作为目标条件策略的内在奖励功能，以模仿抽象级别政策引起的轨迹。各种机器人任务的实验证明了我们所提出的GPIM方法的有效性和效率，其基本上优于现有技术。

The past few years have seen rapid progress in combining reinforcement learning (RL) with deep learning. Various breakthroughs ranging from games to robotics have spurred the interest in designing sophisticated RL algorithms and systems. However, the prevailing workflow in RL is to learn tabula rasa, which may incur computational inefficiency. This precludes continuous deployment of RL algorithms and potentially excludes researchers without large-scale computing resources. In many other areas of machine learning, the pretraining paradigm has shown to be effective in acquiring transferable knowledge, which can be utilized for a variety of downstream tasks. Recently, we saw a surge of interest in Pretraining for Deep RL with promising results. However, much of the research has been based on different experimental settings. Due to the nature of RL, pretraining in this field is faced with unique challenges and hence requires new design principles. In this survey, we seek to systematically review existing works in pretraining for deep reinforcement learning, provide a taxonomy of these methods, discuss each sub-field, and bring attention to open problems and future directions.

增强学习（RL）研究领域非常活跃，并具有重要的新贡献；特别是考虑到深RL（DRL）的新兴领域。但是，仍然需要解决许多科学和技术挑战，其中我们可以提及抽象行动的能力或在稀疏回报环境中探索环境的难以通过内在动机（IM）来解决的。我们建议通过基于信息理论的新分类法调查这些研究工作：我们在计算上重新审视了惊喜，新颖性和技能学习的概念。这使我们能够确定方法的优势和缺点，并展示当前的研究前景。我们的分析表明，新颖性和惊喜可以帮助建立可转移技能的层次结构，从而进一步抽象环境并使勘探过程更加健壮。

本文考虑了从专家演示中学习机器人运动和操纵任务。生成对抗性模仿学习（GAIL）训练一个区分专家与代理转换区分开的歧视者，进而使用歧视器输出定义的奖励来优化代理商的策略生成器。这种生成的对抗训练方法非常强大，但取决于歧视者和发电机培训之间的微妙平衡。在高维问题中，歧视训练可能很容易过度拟合或利用与任务 - 核定功能进行过渡分类的关联。这项工作的一个关键见解是，在合适的潜在任务空间中进行模仿学习使训练过程稳定，即使在挑战高维问题中也是如此。我们使用动作编码器模型来获得低维的潜在动作空间，并使用对抗性模仿学习（Lapal）训练潜在政策。可以从州行动对脱机来训练编码器模型，以获得任务无关的潜在动作表示或与歧视器和发电机培训同时在线获得，以获得任务意识到的潜在行动表示。我们证明了Lapal训练是稳定的，具有近乎单的性能的改进，并在大多数运动和操纵任务中实现了专家性能，而Gail基线收敛速度较慢，并且在高维环境中无法实现专家的表现。

深度强化学习（DRL）和深度多机构的强化学习（MARL）在包括游戏AI，自动驾驶汽车，机器人技术等各种领域取得了巨大的成功。但是，众所周知，DRL和Deep MARL代理的样本效率低下，即使对于相对简单的问题设置，通常也需要数百万个相互作用，从而阻止了在实地场景中的广泛应用和部署。背后的一个瓶颈挑战是众所周知的探索问题，即如何有效地探索环境和收集信息丰富的经验，从而使政策学习受益于最佳研究。在稀疏的奖励，吵闹的干扰，长距离和非平稳的共同学习者的复杂环境中，这个问题变得更加具有挑战性。在本文中，我们对单格和多代理RL的现有勘探方法进行了全面的调查。我们通过确定有效探索的几个关键挑战开始调查。除了上述两个主要分支外，我们还包括其他具有不同思想和技术的著名探索方法。除了算法分析外，我们还对一组常用基准的DRL进行了全面和统一的经验比较。根据我们的算法和实证研究，我们终于总结了DRL和Deep Marl中探索的公开问题，并指出了一些未来的方向。

我们研究自主代理如何学会从不同领域（例如不同环境或不同代理）中的示范中执行任务。这样的跨域模仿学习需要例如从人类专家的演示中培训人造代理。我们提出了一个可扩展的框架，该框架可以实现跨域模仿学习，而无需访问其他演示或进一步的领域知识。我们共同培训学习者的政策，并通过对抗性培训学习学习者和专家领域的映射。我们通过使用共同信息标准来找到包含与任务相关的信息的专家状态空间的嵌入，并且对域细节不变。此步骤大大简化了估计学习者和专家领域之间的映射，因此有助于端到端学习。我们证明了在相当不同的域之间成功转移了政策，而没有额外的示范，以及其他方法失败的情况。

连续空间中有效有效的探索是将加固学习（RL）应用于自主驾驶的核心问题。从专家演示或为特定任务设计的技能可以使探索受益，但是它们通常是昂贵的，不平衡/次优的，或者未能转移到各种任务中。但是，人类驾驶员可以通过在整个技能空间中进行高效和结构性探索而不是具有特定于任务的技能的有限空间来适应各种驾驶任务。受上述事实的启发，我们提出了一种RL算法，以探索所有可行的运动技能，而不是一组有限的特定于任务和以对象为中心的技能。没有演示，我们的方法仍然可以在各种任务中表现出色。首先，我们以纯粹的运动角度构建了一个任务不合时宜的和以自我为中心的（TAEC）运动技能库，该运动技能库是足够多样化的，可以在不同的复杂任务中重复使用。然后，将运动技能编码为低维的潜在技能空间，其中RL可以有效地进行探索。在各种具有挑战性的驾驶场景中的验证表明，我们提出的方法TAEC-RL在学习效率和任务绩效方面的表现显着优于其同行。

长摩根和包括一系列隐性子任务的日常任务仍然在离线机器人控制中构成了重大挑战。尽管许多先前的方法旨在通过模仿和离线增强学习的变体来解决这种设置，但学习的行为通常是狭窄的，并且经常努力实现可配置的长匹配目标。由于这两个范式都具有互补的优势和劣势，因此我们提出了一种新型的层次结构方法，结合了两种方法的优势，以从高维相机观察中学习任务无关的长胜压策略。具体而言，我们结合了一项低级政策，该政策通过模仿学习和从离线强化学习中学到的高级政策学习潜在的技能，以促进潜在的行为先验。各种模拟和真实机器人控制任务的实验表明，我们的配方使以前看不见的技能组合能够通过“缝制”潜在技能通过目标链条，并在绩效上提高绩效的顺序，从而实现潜在的目标。艺术基线。我们甚至还学习了一个多任务视觉运动策略，用于现实世界中25个不同的操纵任务，这既优于模仿学习和离线强化学习技术。

可推广的对象操纵技能对于智能和多功能机器人在现实世界中的复杂场景中工作至关重要。尽管在强化学习方面取得了最新进展，但学习可以处理一类几何多样的铰接物体的可推广的操纵政策仍然非常具有挑战性。在这项工作中，我们通过以任务不合时宜的方式模仿学习来解决此类别级别的对象操纵政策学习问题，我们假设没有手工制作的密集奖励，而只是最终的奖励。鉴于这个新颖且具有挑战性的概括性政策学习问题，我们确定了几个关键问题，这些问题可能使以前的模仿学习算法失败，并阻碍了概括是看不见的实例。然后，我们提出了几种一般但至关重要的技术，包括从演示中学习的生成性对抗性自我象征学习，歧视者的逐步增长以及对专家缓冲区的实例平衡，可以准确地指出和解决这些问题，并可以受益于类别级别的操纵政策学习，而不管有什么问题任务。我们对Maniskill基准测试的实验表明，所有任务都有显着的改进，而我们的消融研究进一步验证了每种提出的技术的贡献。

需要大量人类努力和迭代的奖励功能规范仍然是通过深入的强化学习来学习行为的主要障碍。相比之下，提供所需行为的视觉演示通常会提供一种更简单，更自然的教师的方式。我们考虑为代理提供了一个固定的视觉演示数据集，说明了如何执行任务，并且必须学习使用提供的演示和无监督的环境交互来解决任务。此设置提出了许多挑战，包括对视觉观察的表示，由于缺乏固定的奖励或学习信号而导致的，由于高维空间而引起的样本复杂性以及学习不稳定。为了解决这些挑战，我们开发了一种基于变异模型的对抗模仿学习（V-Mail）算法。基于模型的方法为表示学习，实现样本效率并通过实现派利学习来提高对抗性训练的稳定性提供了强烈的信号。通过涉及几种基于视觉的运动和操纵任务的实验，我们发现V-Mail以样本有效的方式学习了成功的视觉运动策略，与先前的工作相比，稳定性更高，并且还可以实现较高的渐近性能。我们进一步发现，通过传输学习模型，V-Mail可以从视觉演示中学习新任务，而无需任何其他环境交互。所有结果在内的所有结果都可以在\ url {https://sites.google.com/view/variational-mail}在线找到。

我们调查视觉跨实施的模仿设置，其中代理商学习来自其他代理的视频（例如人类）的策略，示范相同的任务，但在其实施例中具有缺点差异 - 形状，动作，终效应器动态等。在这项工作中，我们证明可以从对这些差异强大的跨实施例证视频自动发现和学习基于视觉的奖励功能。具体而言，我们介绍了一种用于跨实施的跨实施的自我监督方法（XIRL），它利用时间周期 - 一致性约束来学习深度视觉嵌入，从而从多个专家代理的示范的脱机视频中捕获任务进度，每个都执行相同的任务不同的原因是实施例差异。在我们的工作之前，从自我监督嵌入产生奖励通常需要与参考轨迹对齐，这可能难以根据STARK实施例的差异来获取。我们凭经验显示，如果嵌入式了解任务进度，则只需在学习的嵌入空间中占据当前状态和目标状态之间的负距离是有用的，作为培训与加强学习的培训政策的奖励。我们发现我们的学习奖励功能不仅适用于在训练期间看到的实施例，而且还概括为完全新的实施例。此外，在将现实世界的人类示范转移到模拟机器人时，我们发现XIRL比当前最佳方法更具样本。 https://x-irl.github.io提供定性结果，代码和数据集

许多机器人任务由在高度复杂的环境中由许多时间相关的子任务组成。重要的是要通过审议时间抽象来有效地解决问题来发现情境意图和适当的行动。为了了解与不断变化的任务动态分离的意图，我们将基于授权的正则化技术扩展到基于生成对抗网络框架的多个任务的情况。在具有未知动态的多任务环境下，我们专注于从未标记的专家示例中学习奖励和政策。在这项研究中，我们将情境增强权定义为相互信息的最大信息，代表了在某个状态和子任务中如何影响未来的行动。我们提出的方法得出了情境相互信息的变异下限，以优化它。我们同时通过在目标函数中添加引起的术语来同时学习可转让的多任务奖励功能和策略。通过这样做，多任务奖励功能有助于学习对环境变化的强大政策。我们验证了我们在多任务学习和多任务转移学习方面的优势。我们证明我们提出的方法具有随机性和变化的任务动态的鲁棒性。最后，我们证明我们的方法的性能和数据效率明显优于各种基准上的现有模仿学习方法。

由于部分可观察性，高维视觉感知和延迟奖励，在MINECRAFT等开放世界游戏中的学习理性行为仍然是挑战，以便对加固学习（RL）研究造成挑战性，高维视觉感知和延迟奖励。为了解决这个问题，我们提出了一种具有代表学习和模仿学习的样本有效的等级RL方法，以应对感知和探索。具体来说，我们的方法包括两个层次结构，其中高级控制器学习控制策略来控制选项，低级工作人员学会解决每个子任务。为了提高子任务的学习，我们提出了一种技术组合，包括1）动作感知表示学习，其捕获了行动和表示之间的基础关系，2）基于鉴别者的自模仿学习，以实现有效的探索，以及3）合奏行为克隆一致性筛选政策鲁棒性。广泛的实验表明，Juewu-MC通过大边缘显着提高了样品效率并优于一组基线。值得注意的是，我们赢得了神经脂溢斯矿业锦标赛2021年研究竞赛的冠军，并实现了最高的绩效评分。

我们为物理模拟字符进行了简单而直观的互动控制方法。我们的工作在生成的对抗网络（GAN）和加强学习时构建，并介绍了一个模仿学习框架，其中分类器的集合和仿制策略训练在给定预处理的参考剪辑中训练。分类器受过培训，以区分从模仿政策产生的运动中的参考运动，而策略是为了欺骗歧视者而获得奖励。使用我们的GaN的方法，可以单独培训多个电机控制策略以模仿不同的行为。在运行时，我们的系统可以响应用户提供的外部控制信号，并在不同策略之间交互式切换。与现有方法相比，我们所提出的方法具有以下有吸引力的特性：1）在不手动设计和微调奖励功能的情况下实现最先进的模仿性能; 2）直接控制字符，而无需明确地或隐含地通过相位状态跟踪任何目标参考姿势; 3）支持交互式策略切换，而无需任何运动生成或运动匹配机制。我们突出了我们在一系列模仿和互动控制任务中的方法的适用性，同时还证明了其抵御外部扰动以及恢复平衡的能力。总的来说，我们的方法产生高保真运动，运行时的运行时间低，并且可以轻松地集成到交互式应用程序和游戏中。