学习灵巧的操纵技巧是计算机图形和机器人技术的长期挑战，尤其是当任务涉及手，工具和物体之间的复杂而微妙的互动时。在本文中，我们专注于基于筷子的对象搬迁任务，这些任务很常见却又要求。成功的筷子技巧的关键是稳定地抓住棍棒，这也支持精致的演习。我们会自动发现贝叶斯优化（BO）和深钢筋学习（DRL）的身体有效的筷子姿势，它适用于多种握把的样式和手工形态，而无需示例数据。作为输入，我们要移动发现的抓紧姿势和所需的对象，我们构建了基于物理的手部控制器，以在两个阶段完成重定位任务。首先，运动轨迹是为筷子合成的，并处于运动计划阶段。我们运动策划者的关键组件包括一个握把模型，以选择用于抓住对象的合适筷子配置，以及一个轨迹优化模块，以生成无碰撞的筷子轨迹。然后，我们再次通过DRL训练基于物理的手部控制器，以跟踪运动计划者产生的所需运动轨迹。我们通过重新定位各种形状和尺寸的对象，以多种诱人的样式和多种手工形态的位置来展示框架的功能。与试图学习基于筷子的技能的香草系统相比，我们的系统实现了更快的学习速度和更好的控制鲁棒性，而无需抓紧姿势优化模块和/或没有运动学运动计划者。

从意外的外部扰动中恢复的能力是双模型运动的基本机动技能。有效的答复包括不仅可以恢复平衡并保持稳定性的能力，而且在平衡恢复物质不可行时，也可以保证安全的方式。对于与双式运动有关的机器人，例如人形机器人和辅助机器人设备，可帮助人类行走，设计能够提供这种稳定性和安全性的控制器可以防止机器人损坏或防止伤害相关的医疗费用。这是一个具有挑战性的任务，因为它涉及用触点产生高维，非线性和致动系统的高动态运动。尽管使用基于模型和优化方法的前进方面，但诸如广泛领域知识的要求，诸如较大的计算时间和有限的动态变化的鲁棒性仍然会使这个打开问题。在本文中，为了解决这些问题，我们开发基于学习的算法，能够为两种不同的机器人合成推送恢复控制政策：人形机器人和有助于双模型运动的辅助机器人设备。我们的工作可以分为两个密切相关的指示：1）学习人形机器人的安全下降和预防策略，2）使用机器人辅助装置学习人类的预防策略。为实现这一目标，我们介绍了一套深度加强学习（DRL）算法，以学习使用这些机器人时提高安全性的控制策略。

尽管移动操作在工业和服务机器人技术方面都重要，但仍然是一个重大挑战，因为它需要将最终效应轨迹的无缝整合与导航技能以及对长匹马的推理。现有方法难以控制大型配置空间，并导航动态和未知环境。在先前的工作中，我们建议将移动操纵任务分解为任务空间中最终效果的简化运动生成器，并将移动设备分解为训练有素的强化学习代理，以说明移动基础的运动基础，以说明运动的运动可行性。在这项工作中，我们引入了移动操作的神经导航（n $^2 $ m $^2 $），该导航将这种分解扩展到复杂的障碍环境，并使其能够解决现实世界中的广泛任务。最终的方法可以在未探索的环境中执行看不见的长马任务，同时立即对动态障碍和环境变化做出反应。同时，它提供了一种定义新的移动操作任务的简单方法。我们证明了我们提出的方法在多个运动学上多样化的移动操纵器上进行的广泛模拟和现实实验的能力。代码和视频可在http://mobile-rl.cs.uni-freiburg.de上公开获得。

我们介绍了栖息地2.0（H2.0），这是一个模拟平台，用于培训交互式3D环境和复杂物理的场景中的虚拟机器人。我们为体现的AI堆栈 - 数据，仿真和基准任务做出了全面的贡献。具体来说，我们提出：（i）复制：一个由艺术家的，带注释的，可重新配置的3D公寓（匹配真实空间）与铰接对象（例如可以打开/关闭的橱柜和抽屉）； （ii）H2.0：一个高性能物理学的3D模拟器，其速度超过8-GPU节点上的每秒25,000个模拟步骤（实时850x实时），代表先前工作的100倍加速；和（iii）家庭助理基准（HAB）：一套辅助机器人（整理房屋，准备杂货，设置餐桌）的一套常见任务，以测试一系列移动操作功能。这些大规模的工程贡献使我们能够系统地比较长期结构化任务中的大规模加固学习（RL）和经典的感官平面操作（SPA）管道，并重点是对新对象，容器和布局的概括。 。我们发现（1）与层次结构相比，（1）平面RL政策在HAB上挣扎； （2）具有独立技能的层次结构遭受“交接问题”的困扰，（3）水疗管道比RL政策更脆。

抓握是通过在一组触点上施加力和扭矩来挑选对象的过程。深度学习方法的最新进展允许在机器人对象抓地力方面快速进步。我们在过去十年中系统地调查了出版物，特别感兴趣使用最终效果姿势的所有6度自由度抓住对象。我们的综述发现了四种用于机器人抓钩的常见方法：基于抽样的方法，直接回归，强化学习和示例方法。此外，我们发现了围绕抓握的两种“支持方法”，这些方法使用深入学习来支持抓握过程，形状近似和负担能力。我们已经将本系统评论（85篇论文）中发现的出版物提炼为十个关键要点，我们认为对未来的机器人抓握和操纵研究至关重要。该调查的在线版本可从https://rhys-newbury.github.io/projects/6dof/获得

本文提出了一个层次结构框架，用于计划和控制涉及使用完全插入的多指机器人手的掌握变化的刚性对象的操纵。尽管该框架可以应用于一般的灵巧操作，但我们专注于对手持操作的更复杂的定义，在该目标下，目标姿势必须达到适合使用该对象作为工具的掌握。高级别的计划者确定对象轨迹以及掌握更改，即添加，卸下或滑动手指，由低级控制器执行。尽管基于学习的策略可以适应变化，但GRASP序列是在线计划的，但用于对象跟踪和接触力控制的轨迹规划师和低级控制器仅基于模型，以稳健地实现该计划。通过将有关问题的物理和低级控制器的知识注入GRASP规划师中，它将学会成功生成类似于基于模型的优化方法生成的grasps，从而消除了此类方法的高计算成本到该方法的高度计算成本到解释变化。通过在物理模拟中进行实验，以实现现实工具使用方案，我们将在不同的工具使用任务和灵活的手模型上展示了方法的成功。此外，我们表明，与基于模型的方法相比，这种混合方法为轨迹和任务变化提供了更大的鲁棒性。

机器人和与世界相互作用或互动的机器人和智能系统越来越多地被用来自动化各种任务。这些系统完成这些任务的能力取决于构成机器人物理及其传感器物体的机械和电气部件，例如，感知算法感知环境，并计划和控制算法以生产和控制算法来生产和控制算法有意义的行动。因此，通常有必要在设计具体系统时考虑这些组件之间的相互作用。本文探讨了以端到端方式对机器人系统进行任务驱动的合作的工作，同时使用推理或控制算法直接优化了系统的物理组件以进行任务性能。我们首先考虑直接优化基于信标的本地化系统以达到本地化准确性的问题。设计这样的系统涉及将信标放置在整个环境中，并通过传感器读数推断位置。在我们的工作中，我们开发了一种深度学习方法，以直接优化信标的放置和位置推断以达到本地化精度。然后，我们将注意力转移到了由任务驱动的机器人及其控制器优化的相关问题上。在我们的工作中，我们首先提出基于多任务增强学习的数据有效算法。我们的方法通过利用能够在物理设计的空间上概括设计条件的控制器，有效地直接优化了物理设计和控制参数，以直接优化任务性能。然后，我们对此进行跟进，以允许对离散形态参数（例如四肢的数字和配置）进行优化。最后，我们通过探索优化的软机器人的制造和部署来得出结论。

从任意堕落状态中起床是一种基本的人类技能。现有的学习这种技能的方法通常会产生高度动态和不稳定的起床动作，这不像人类的起床策略，或者基于跟踪记录的人类起床运动。在本文中，我们提出了一种使用强化学习的分阶段方法，而无需求助于运动捕获数据。该方法首先利用了强大的字符模型，从而有助于发现解决方案模式。然后，第二阶段学会了调整控制策略，以逐步与角色的较弱版本一起使用。最后，第三阶段学习控制政策，这些政策可以以较慢的速度重现较弱的起床动作。我们表明，在多个运行中，该方法可以发现各种各样的起床策略，并以各种速度执行它们。结果通常会产生采用最终站立策略的策略，这些策略是从所有初始状态中看到的恢复动作所共有的。但是，我们还发现了对俯卧和仰卧初始堕落状态的不同策略的政策。学识渊博的起床控制策略通常具有明显的静态稳定性，即，在起床运动过程中，它们可以在各个点停下来。我们进一步测试了新的限制场景的方法，例如在演员表中有一条腿和手臂。

3D视觉输入的对象操纵对构建可宽大的感知和政策模型构成了许多挑战。然而，现有基准中的3D资产主要缺乏与拓扑和几何中的现实世界内复杂的3D形状的多样性。在这里，我们提出了Sapien操纵技能基准（Manishill）以在全物理模拟器中的各种物体上基准操纵技巧。 Manishill中的3D资产包括大型课堂内拓扑和几何变化。仔细选择任务以涵盖不同类型的操纵挑战。 3D Vision的最新进展也使我们认为我们应该定制基准，以便挑战旨在邀请研究3D深入学习的研究人员。为此，我们模拟了一个移动的全景摄像头，返回以自我为中心的点云或RGB-D图像。此外，我们希望Manishill是为一个对操纵研究感兴趣的广泛研究人员提供服务。除了支持从互动的政策学习，我们还支持学习 - 从演示（LFD）方法，通过提供大量的高质量演示（〜36,000个成功的轨迹，总共〜1.5米点云/ RGB-D帧）。我们提供使用3D深度学习和LFD算法的基线。我们的基准（模拟器，环境，SDK和基线）的所有代码都是开放的，并且将基于基准举办跨学科研究人员面临的挑战。

强化学习是机器人抓握的一种有前途的方法，因为它可以在困难的情况下学习有效的掌握和掌握政策。但是，由于问题的高维度，用精致的机器人手来实现类似人类的操纵能力是具有挑战性的。尽管可以采用奖励成型或专家示范等补救措施来克服这个问题，但它们通常导致过分简化和有偏见的政策。我们介绍了Dext-Gen，这是一种在稀疏奖励环境中灵巧抓握的强化学习框架，适用于各种抓手，并学习无偏见和复杂的政策。通过平滑方向表示实现了抓地力和物体的完全方向控制。我们的方法具有合理的培训时间，并提供了包括所需先验知识的选项。模拟实验证明了框架对不同方案的有效性和适应性。

我们为物理模拟字符进行了简单而直观的互动控制方法。我们的工作在生成的对抗网络（GAN）和加强学习时构建，并介绍了一个模仿学习框架，其中分类器的集合和仿制策略训练在给定预处理的参考剪辑中训练。分类器受过培训，以区分从模仿政策产生的运动中的参考运动，而策略是为了欺骗歧视者而获得奖励。使用我们的GaN的方法，可以单独培训多个电机控制策略以模仿不同的行为。在运行时，我们的系统可以响应用户提供的外部控制信号，并在不同策略之间交互式切换。与现有方法相比，我们所提出的方法具有以下有吸引力的特性：1）在不手动设计和微调奖励功能的情况下实现最先进的模仿性能; 2）直接控制字符，而无需明确地或隐含地通过相位状态跟踪任何目标参考姿势; 3）支持交互式策略切换，而无需任何运动生成或运动匹配机制。我们突出了我们在一系列模仿和互动控制任务中的方法的适用性，同时还证明了其抵御外部扰动以及恢复平衡的能力。总的来说，我们的方法产生高保真运动，运行时的运行时间低，并且可以轻松地集成到交互式应用程序和游戏中。

虽然现代政策优化方法可以从感官数据进行复杂的操作，但他们对延长时间的地平线和多个子目标的问题挣扎。另一方面，任务和运动计划（夯实）方法规模缩放到长视野，但它们是计算昂贵的并且需要精确跟踪世界状态。我们提出了一种借鉴两种方法的方法：我们训练一项政策来模仿夯实求解器的输出。这产生了一种前馈策略，可以从感官数据完成多步任务。首先，我们构建一个异步分布式夯实求解器，可以快速产生足够的监督数据以进行模仿学习。然后，我们提出了一种分层策略架构，让我们使用部分训练的控制策略来加速夯实求解器。在具有7-自由度的机器人操纵任务中，部分训练有素的策略将规划所需的时间减少到2.6倍。在这些任务中，我们可以学习一个解决方案4对象拣选任务88％的策略从对象姿态观测和解决机器人9目标基准79％从RGB图像的时间（取平均值）跨越9个不同的任务）。

机器人将机器人的无缝集成到人类环境需要机器人来学习如何使用现有的人类工具。学习工具操纵技能的目前方法主要依赖于目标机器人环境中提供的专家演示，例如，通过手动引导机器人操纵器或通过远程操作。在这项工作中，我们介绍了一种自动化方法，取代了一个专家演示，用YouTube视频来学习工具操纵策略。主要贡献是双重的。首先，我们设计一个对齐过程，使模拟环境与视频中观察到的真实世界。这是作为优化问题，找到刀具轨迹的空间对齐，以最大化环境给出的稀疏目标奖励。其次，我们描述了一种专注于工具的轨迹而不是人类的运动的模仿学习方法。为此，我们将加强学习与优化过程相结合，以基于对准环境中的工具运动来找到控制策略和机器人的放置。我们展示了仿真中的铲子，镰刀和锤子工具的建议方法，并展示了训练有素的政策对真正的弗兰卡·埃米卡熊猫机器人示范的卫生政策的有效性。

在现实世界中，教授多指的灵巧机器人在现实世界中掌握物体，这是一个充满挑战的问题，由于其高维状态和动作空间。我们提出了一个机器人学习系统，该系统可以进行少量的人类示范，并学会掌握在某些被遮挡的观察结果的情况下掌握看不见的物体姿势。我们的系统利用了一个小型运动捕获数据集，并为多指的机器人抓手生成具有多种多样且成功的轨迹的大型数据集。通过添加域随机化，我们表明我们的数据集提供了可以将其转移到策略学习者的强大抓地力轨迹。我们训练一种灵活的抓紧策略，该策略将对象的点云作为输入，并预测连续的动作以从不同初始机器人状态掌握对象。我们在模拟中评估了系统对22多伏的浮动手的有效性，并在现实世界中带有kuka手臂的23多杆Allegro机器人手。从我们的数据集中汲取的政策可以很好地概括在模拟和现实世界中的看不见的对象姿势

我们研究了复杂几何物体的机器人堆叠问题。我们提出了一个挑战和多样化的这些物体，这些物体被精心设计，以便要求超出简单的“拾取”解决方案之外的策略。我们的方法是加强学习（RL）方法与基于视觉的互动政策蒸馏和模拟到现实转移相结合。我们的学习政策可以有效地处理现实世界中的多个对象组合，并展示各种各样的堆叠技能。在一个大型的实验研究中，我们调查在模拟中学习这种基于视觉的基于视觉的代理的选择，以及对真实机器人的最佳转移产生了什么影响。然后，我们利用这些策略收集的数据并通过离线RL改善它们。我们工作的视频和博客文章作为补充材料提供。

Dexterous操作是机器人中的一个具有挑战性和重要问题。虽然数据驱动方法是一个有希望的方法，但由于流行方法的样本效率低，当前基准测试需要模拟或广泛的工程支持。我们为Trifinger系统提供基准，这是一个开源机器人平台，用于灵巧操纵和2020年真正的机器人挑战的重点。在挑战中取得成功的基准方法可以一般被描述为结构性政策，因为它们结合了经典机器人和现代政策优化的元素。这种诱导偏差的包含促进样品效率，可解释性，可靠性和高性能。该基准测试的关键方面是验证跨模拟和实际系统的基线，对每个解决方案的核心特征进行彻底消融研究，以及作为操纵基准的挑战的回顾性分析。本工作的代码和演示视频可以在我们的网站上找到（https://sites.google.com/view/benchmark-rrc）。

我们解决了使四足机器人能够使用强化学习在现实世界中执行精确的射击技巧的问题。开发算法使腿部机器人能够向给定的目标射击足球，这是一个具有挑战性的问题，它将机器人运动控制和计划结合到一项任务中。为了解决这个问题，我们需要考虑控制动态腿部机器人期间的动态限制和运动稳定性。此外，我们需要考虑运动计划，以在地面上射击难以模拟的可变形球，并不确定摩擦到所需的位置。在本文中，我们提出了一个层次结构框架，该框架利用深厚的强化学习来训练（a）强大的运动控制政策，可以跟踪任意动议，以及（b）一项计划政策，以决定所需的踢球运动将足球射击到目标。我们将提议的框架部署在A1四足动物机器人上，使其能够将球准确地射击到现实世界中的随机目标。

我们探索一种新的方法来感知和操纵3D铰接式物体，该物体可以概括地使机器人阐明看不见的对象。我们提出了一个基于视觉的系统，该系统学会预测各种铰接物体的各个部分的潜在运动，以指导系统的下游运动计划以表达对象。为了预测对象运动，我们训练一个神经网络，以输出一个密集的向量场，代表点云中点云中点的点运动方向。然后，我们根据该向量领域部署一个分析运动计划者，以实现产生最大发音的政策。我们完全在模拟中训练视觉系统，并演示了系统在模拟和现实世界中概括的对象实例和新颖类别的能力，并将我们的政策部署在没有任何填充的锯耶机器人上。结果表明，我们的系统在模拟和现实世界实验中都达到了最先进的性能。

Legged robots pose one of the greatest challenges in robotics. Dynamic and agile maneuvers of animals cannot be imitated by existing methods that are crafted by humans. A compelling alternative is reinforcement learning, which requires minimal craftsmanship and promotes the natural evolution of a control policy. However, so far, reinforcement learning research for legged robots is mainly limited to simulation, and only few and comparably simple examples have been deployed on real systems. The primary reason is that training with real robots, particularly with dynamically balancing systems, is complicated and expensive. In the present work, we report a new method for training a neural network policy in simulation and transferring it to a state-of-the-art legged system, thereby we leverage fast, automated, and cost-effective data generation schemes. The approach is applied to the ANYmal robot, a sophisticated medium-dog-sized quadrupedal system. Using policies trained in simulation, the quadrupedal machine achieves locomotion skills that go beyond what had been achieved with prior methods: ANYmal is capable of precisely and energy-efficiently following high-level body velocity commands, running faster than ever before, and recovering from falling even in complex configurations.