在现实世界中行为的自治工人的核心挑战是调整其曲目的技能来应对其嘈杂的感知和动态。为了将技能缩放到长地平线任务，机器人应该能够通过轨迹以结构化方式学习，然后在每次步骤中单独做出瞬间决策。为此，我们提出了软演员 - 评论家高斯混合模型（SAC-GMM），一种新型混合方法，通过动态系统学习机器人技巧，并通过与环境的互动来适应自己的轨迹分配空间中的学习技巧。我们的方法结合了经典的机器人技术与深度加强学习框架的演示和利用他们的互补性。我们表明，我们的方法仅在执行初步学习技能期间使用的传感器，以提取导致更快的技能细化的相关功能。模拟和现实世界环境的广泛评估展示了我们通过利用物理交互，高维感官数据和稀疏任务完成奖励来精炼机器人技能的方法的有效性。视频，代码和预先训练的模型可用于\ url {http://sac-gmm.cs.uni-freiburg.de}。

无监督的表示学习的最新进展显着提高了模拟环境中培训强化学习政策的样本效率。但是，尚未看到针对实体强化学习的类似收益。在这项工作中，我们专注于从像素中启用数据有效的实体机器人学习。我们提出了有效的机器人学习（编码器）的对比前训练和数据增强，该方法利用数据增强和无监督的学习来从稀疏奖励中实现对实体ARM策略的样本效率培训。虽然对比预训练，数据增强，演示和强化学习不足以进行有效学习，但我们的主要贡献表明，这些不同技术的组合导致了一种简单而数据效率的方法。我们表明，只有10个示范，一个机器人手臂可以从像素中学习稀疏的奖励操纵策略，例如到达，拾取，移动，拉动大物体，翻转开关并在短短30分钟内打开抽屉现实世界训练时间。我们在项目网站上包括视频和代码：https：//sites.google.com/view/felfficited-robotic-manipulation/home

现实的操纵任务要求机器人与具有长时间运动动作序列的环境相互作用。尽管最近出现了深厚的强化学习方法，这是自动化操作行为的有希望的范式，但由于勘探负担，它们通常在长途任务中缺乏。这项工作介绍了操纵原始增强的强化学习（Maple），这是一个学习框架，可通过预定的行为原始库来增强标准强化学习算法。这些行为原始素是专门实现操纵目标（例如抓住和推动）的强大功能模块。为了使用这些异质原始素，我们制定了涉及原语的层次结构策略，并使用输入参数实例化执行。我们证明，枫树的表现优于基线方法，通过一系列模拟的操纵任务的大幅度。我们还量化了学习行为的组成结构，并突出了我们方法将策略转移到新任务变体和物理硬件的能力。视频和代码可从https://ut-aut-autin-rpl.github.io/maple获得

We propose an approach for semantic imitation, which uses demonstrations from a source domain, e.g. human videos, to accelerate reinforcement learning (RL) in a different target domain, e.g. a robotic manipulator in a simulated kitchen. Instead of imitating low-level actions like joint velocities, our approach imitates the sequence of demonstrated semantic skills like "opening the microwave" or "turning on the stove". This allows us to transfer demonstrations across environments (e.g. real-world to simulated kitchen) and agent embodiments (e.g. bimanual human demonstration to robotic arm). We evaluate on three challenging cross-domain learning problems and match the performance of demonstration-accelerated RL approaches that require in-domain demonstrations. In a simulated kitchen environment, our approach learns long-horizon robot manipulation tasks, using less than 3 minutes of human video demonstrations from a real-world kitchen. This enables scaling robot learning via the reuse of demonstrations, e.g. collected as human videos, for learning in any number of target domains.

Skill-based reinforcement learning (RL) has emerged as a promising strategy to leverage prior knowledge for accelerated robot learning. Skills are typically extracted from expert demonstrations and are embedded into a latent space from which they can be sampled as actions by a high-level RL agent. However, this skill space is expansive, and not all skills are relevant for a given robot state, making exploration difficult. Furthermore, the downstream RL agent is limited to learning structurally similar tasks to those used to construct the skill space. We firstly propose accelerating exploration in the skill space using state-conditioned generative models to directly bias the high-level agent towards only sampling skills relevant to a given state based on prior experience. Next, we propose a low-level residual policy for fine-grained skill adaptation enabling downstream RL agents to adapt to unseen task variations. Finally, we validate our approach across four challenging manipulation tasks that differ from those used to build the skill space, demonstrating our ability to learn across task variations while significantly accelerating exploration, outperforming prior works. Code and videos are available on our project website: https://krishanrana.github.io/reskill.

可推广的对象操纵技能对于智能和多功能机器人在现实世界中的复杂场景中工作至关重要。尽管在强化学习方面取得了最新进展，但学习可以处理一类几何多样的铰接物体的可推广的操纵政策仍然非常具有挑战性。在这项工作中，我们通过以任务不合时宜的方式模仿学习来解决此类别级别的对象操纵政策学习问题，我们假设没有手工制作的密集奖励，而只是最终的奖励。鉴于这个新颖且具有挑战性的概括性政策学习问题，我们确定了几个关键问题，这些问题可能使以前的模仿学习算法失败，并阻碍了概括是看不见的实例。然后，我们提出了几种一般但至关重要的技术，包括从演示中学习的生成性对抗性自我象征学习，歧视者的逐步增长以及对专家缓冲区的实例平衡，可以准确地指出和解决这些问题，并可以受益于类别级别的操纵政策学习，而不管有什么问题任务。我们对Maniskill基准测试的实验表明，所有任务都有显着的改进，而我们的消融研究进一步验证了每种提出的技术的贡献。

我们提出了一种从演示方法（LFD）方法的新颖学习，即示范（DMFD）的可变形操作，以使用状态或图像作为输入（给定的专家演示）来求解可变形的操纵任务。我们的方法以三种不同的方式使用演示，并平衡在线探索环境和使用专家的指导之间进行权衡的权衡，以有效地探索高维空间。我们在一组一维绳索的一组代表性操纵任务上测试DMFD，并从软件套件中的一套二维布和2维布进行测试，每个任务都带有状态和图像观测。对于基于状态的任务，我们的方法超过基线性能高达12.9％，在基于图像的任务上最多超过33.44％，具有可比或更好的随机性。此外，我们创建了两个具有挑战性的环境，用于使用基于图像的观测值折叠2D布，并为其设定性能基准。与仿真相比，我们在现实世界执行过程中归一化性能损失最小的真实机器人（约为6％），我们将DMFD部署为最小。源代码在github.com/uscresl/dmfd上

移动操作（MM）系统是在非结构化现实世界环境中扮演个人助理角色的理想候选者。除其他挑战外，MM需要有效协调机器人的实施例，以执行需要移动性和操纵的任务。强化学习（RL）的承诺是将机器人具有自适应行为，但是大多数方法都需要大量的数据来学习有用的控制策略。在这项工作中，我们研究了机器人可及先验在参与者批判性RL方法中的整合，以加速学习和获取任务的MM学习。也就是说，我们考虑了最佳基础位置的问题以及是否激活ARM达到6D目标的后续决定。为此，我们设计了一种新型的混合RL方法，该方法可以共同处理离散和连续的动作，从而诉诸Gumbel-Softmax重新聚集化。接下来，我们使用来自经典方法的操作机器人工作区中的数据训练可及性。随后，我们得出了增强的混合RL（BHYRL），这是一种通过将其建模为残留近似器的总和来学习Q功能的新型算法。每当需要学习新任务时，我们都可以转移我们学到的残差并了解特定于任务的Q功能的组成部分，从而从先前的行为中维护任务结构。此外，我们发现将目标政策与先前的策略正规化产生更多的表达行为。我们评估了我们在达到难度增加和提取任务的模拟方面的方法，并显示了Bhyrl在基线方法上的卓越性能。最后，我们用Bhyrl零转移了我们学到的6D提取政策，以归功于我们的MM机器人Tiago ++。有关更多详细信息和代码发布，请参阅我们的项目网站：irosalab.com/rlmmbp

Exploration in environments with sparse rewards has been a persistent problem in reinforcement learning (RL). Many tasks are natural to specify with a sparse reward, and manually shaping a reward function can result in suboptimal performance. However, finding a non-zero reward is exponentially more difficult with increasing task horizon or action dimensionality. This puts many real-world tasks out of practical reach of RL methods. In this work, we use demonstrations to overcome the exploration problem and successfully learn to perform long-horizon, multi-step robotics tasks with continuous control such as stacking blocks with a robot arm. Our method, which builds on top of Deep Deterministic Policy Gradients and Hindsight Experience Replay, provides an order of magnitude of speedup over RL on simulated robotics tasks. It is simple to implement and makes only the additional assumption that we can collect a small set of demonstrations. Furthermore, our method is able to solve tasks not solvable by either RL or behavior cloning alone, and often ends up outperforming the demonstrator policy.

有效的探索是深度强化学习的关键挑战。几种方法，例如行为先验，能够利用离线数据，以便在复杂任务上有效加速加强学习。但是，如果手动的任务与所证明的任务过度偏离，则此类方法的有效性是有限的。在我们的工作中，我们建议从离线数据中学习功能，这些功能由更加多样化的任务共享，例如动作与定向之间的相关性。因此，我们介绍了无国有先验，该先验直接在显示的轨迹中直接建模时间一致性，并且即使在对简单任务收集的数据进行培训时，也能够在复杂的任务中推动探索。此外，我们通过从政策和行动之前的概率混合物中动态采样动作，引入了一种新颖的集成方案，用于非政策强化学习中的动作研究。我们将我们的方法与强大的基线相提并论，并提供了经验证据，表明它可以在稀疏奖励环境下的长途持续控制任务中加速加强学习。

强化学习（RL）原则上可以让机器人自动适应新任务，但是当前的RL方法需要大量的试验来实现这一目标。在本文中，我们通过元学习的框架来快速适应新任务，该框架利用过去的任务学习适应了对工业插入任务的特定关注。快速适应至关重要，因为大量的机器人试验可能会损害硬件件。另外，在不同的插入应用之间的经验中，有效的适应性也可以在很大程度上彼此利用。在这种情况下，我们在应用元学习时解决了两个具体的挑战。首先，传统的元元算法需要冗长的在线元训练。 We show that this can be replaced with appropriately chosen offline data, resulting in an offline meta-RL method that only requires demonstrations and trials from each of the prior tasks, without the need to run costly meta-RL procedures online.其次，元RL方法可能无法推广到与元训练时间时看到的新任务太大的任务，这在高成功率至关重要的工业应用中构成了特定的挑战。我们通过将上下文元学习与直接在线填充结合结合来解决这一问题：如果新任务与先前数据中看到的任务相似，则可以立即适应上下文的元学习者，如果它太不同，它会逐渐通过Finetuning适应。我们表明，我们的方法能够快速适应各种不同的插入任务，成功率为100％仅使用从头开始学习任务所需的样本的一小部分。实验视频和详细信息可从https://sites.google.com/view/offline-metarl-insertion获得。

Complex and contact-rich robotic manipulation tasks, particularly those that involve multi-fingered hands and underactuated object manipulation, present a significant challenge to any control method. Methods based on reinforcement learning offer an appealing choice for such settings, as they can enable robots to learn to delicately balance contact forces and dexterously reposition objects without strong modeling assumptions. However, running reinforcement learning on real-world dexterous manipulation systems often requires significant manual engineering. This negates the benefits of autonomous data collection and ease of use that reinforcement learning should in principle provide. In this paper, we describe a system for vision-based dexterous manipulation that provides a "programming-free" approach for users to define new tasks and enable robots with complex multi-fingered hands to learn to perform them through interaction. The core principle underlying our system is that, in a vision-based setting, users should be able to provide high-level intermediate supervision that circumvents challenges in teleoperation or kinesthetic teaching which allow a robot to not only learn a task efficiently but also to autonomously practice. Our system includes a framework for users to define a final task and intermediate sub-tasks with image examples, a reinforcement learning procedure that learns the task autonomously without interventions, and experimental results with a four-finger robotic hand learning multi-stage object manipulation tasks directly in the real world, without simulation, manual modeling, or reward engineering.

基于模型的增强学习（RL）是一种通过利用学习的单步动力学模型来计划想象中的动作来学习复杂行为的样本效率方法。但是，计划为长马操作计划的每项行动都是不切实际的，类似于每个肌肉运动的人类计划。相反，人类有效地计划具有高级技能来解决复杂的任务。从这种直觉中，我们提出了一个基于技能的RL框架（SKIMO），该框架能够使用技能动力学模型在技能空间中进行计划，该模型直接预测技能成果，而不是预测中级状态中的所有小细节，逐步。为了准确有效的长期计划，我们共同学习了先前经验的技能动力学模型和技能曲目。然后，我们利用学到的技能动力学模型准确模拟和计划技能空间中的长范围，这可以有效地学习长摩盛，稀疏的奖励任务。导航和操纵域中的实验结果表明，Skimo扩展了基于模型的方法的时间范围，并提高了基于模型的RL和基于技能的RL的样品效率。代码和视频可在\ url {https://clvrai.com/skimo}上找到

For an autonomous agent to fulfill a wide range of user-specified goals at test time, it must be able to learn broadly applicable and general-purpose skill repertoires. Furthermore, to provide the requisite level of generality, these skills must handle raw sensory input such as images. In this paper, we propose an algorithm that acquires such general-purpose skills by combining unsupervised representation learning and reinforcement learning of goal-conditioned policies. Since the particular goals that might be required at test-time are not known in advance, the agent performs a self-supervised "practice" phase where it imagines goals and attempts to achieve them. We learn a visual representation with three distinct purposes: sampling goals for self-supervised practice, providing a structured transformation of raw sensory inputs, and computing a reward signal for goal reaching. We also propose a retroactive goal relabeling scheme to further improve the sample-efficiency of our method. Our off-policy algorithm is efficient enough to learn policies that operate on raw image observations and goals for a real-world robotic system, and substantially outperforms prior techniques. * Equal contribution. Order was determined by coin flip.

Dexterous manipulation with anthropomorphic robot hands remains a challenging problem in robotics because of the high-dimensional state and action spaces and complex contacts. Nevertheless, skillful closed-loop manipulation is required to enable humanoid robots to operate in unstructured real-world environments. Reinforcement learning (RL) has traditionally imposed enormous interaction data requirements for optimizing such complex control problems. We introduce a new framework that leverages recent advances in GPU-based simulation along with the strength of imitation learning in guiding policy search towards promising behaviors to make RL training feasible in these domains. To this end, we present an immersive virtual reality teleoperation interface designed for interactive human-like manipulation on contact rich tasks and a suite of manipulation environments inspired by tasks of daily living. Finally, we demonstrate the complementary strengths of massively parallel RL and imitation learning, yielding robust and natural behaviors. Videos of trained policies, our source code, and the collected demonstration datasets are available at https://maltemosbach.github.io/interactive_ human_like_manipulation/.

长摩根和包括一系列隐性子任务的日常任务仍然在离线机器人控制中构成了重大挑战。尽管许多先前的方法旨在通过模仿和离线增强学习的变体来解决这种设置，但学习的行为通常是狭窄的，并且经常努力实现可配置的长匹配目标。由于这两个范式都具有互补的优势和劣势，因此我们提出了一种新型的层次结构方法，结合了两种方法的优势，以从高维相机观察中学习任务无关的长胜压策略。具体而言，我们结合了一项低级政策，该政策通过模仿学习和从离线强化学习中学到的高级政策学习潜在的技能，以促进潜在的行为先验。各种模拟和真实机器人控制任务的实验表明，我们的配方使以前看不见的技能组合能够通过“缝制”潜在技能通过目标链条，并在绩效上提高绩效的顺序，从而实现潜在的目标。艺术基线。我们甚至还学习了一个多任务视觉运动策略，用于现实世界中25个不同的操纵任务，这既优于模仿学习和离线强化学习技术。

在本次调查中，我们介绍了执行需要不同于环境的操作任务的机器人的当前状态，使得机器人必须隐含地或明确地控制与环境的接触力来完成任务。机器人可以执行越来越多的人体操作任务，并且在1）主题上具有越来越多的出版物，其执行始终需要联系的任务，并且通过利用完美的任务来减轻环境来缓解不确定性信息，可以在没有联系的情况下进行。最近的趋势已经看到机器人在留下的人类留给人类，例如按摩，以及诸如PEG孔的经典任务中，对其他类似任务的概率更有效，更好的误差容忍以及更快的规划或学习任务。因此，在本调查中，我们涵盖了执行此类任务的机器人的当前阶段，从调查开始所有不同的联系方式机器人可以执行，观察这些任务是如何控制和表示的，并且最终呈现所需技能的学习和规划完成这些任务。

本文考虑了从专家演示中学习机器人运动和操纵任务。生成对抗性模仿学习（GAIL）训练一个区分专家与代理转换区分开的歧视者，进而使用歧视器输出定义的奖励来优化代理商的策略生成器。这种生成的对抗训练方法非常强大，但取决于歧视者和发电机培训之间的微妙平衡。在高维问题中，歧视训练可能很容易过度拟合或利用与任务 - 核定功能进行过渡分类的关联。这项工作的一个关键见解是，在合适的潜在任务空间中进行模仿学习使训练过程稳定，即使在挑战高维问题中也是如此。我们使用动作编码器模型来获得低维的潜在动作空间，并使用对抗性模仿学习（Lapal）训练潜在政策。可以从州行动对脱机来训练编码器模型，以获得任务无关的潜在动作表示或与歧视器和发电机培训同时在线获得，以获得任务意识到的潜在行动表示。我们证明了Lapal训练是稳定的，具有近乎单的性能的改进，并在大多数运动和操纵任务中实现了专家性能，而Gail基线收敛速度较慢，并且在高维环境中无法实现专家的表现。

最近，深度加固学习（RL）在机器人操作应用中表现出了一些令人印象深刻的成功。但是，由于样本效率和安全性问题，现实世界中的培训机器人是不平凡的。提出了SIM到现实的转移来解决上述问题，但引入了一个名为“现实差距”的新问题。在这项工作中，我们通过使用单个摄像头的输入来解决上述问题，为基于视觉的组装任务引入SIM模型学习框架，并在模拟环境中进行培训。我们提出了一种基于循环一致的生成对抗网络（CycleGAN）和力量控制转移方法来弥合现实差距的域适应方法。我们证明，在模拟环境中训练有训练的拟议框架可以成功地转移到真实的孔洞设置中。

由于在存在障碍物和高维视觉观测的情况下，由于在存在障碍和高维视觉观测的情况下，学习复杂的操纵任务是一个具有挑战性的问题。事先工作通过整合运动规划和强化学习来解决勘探问题。但是，运动计划程序增强策略需要访问状态信息，该信息通常在现实世界中不可用。为此，我们建议通过（1）视觉行为克隆以通过（1）视觉行为克隆来将基于国家的运动计划者增强策略，以删除运动计划员依赖以及其抖动运动，以及（2）基于视觉的增强学习来自行为克隆代理的平滑轨迹的指导。我们在阻塞环境中的三个操作任务中评估我们的方法，并将其与各种加固学习和模仿学习基线进行比较。结果表明，我们的框架是高度采样的和优于最先进的算法。此外，与域随机化相结合，我们的政策能够用零击转移到未经分散的人的未经环境环境。 https://clvrai.com/mopa-pd提供的代码和视频