多步兵的操纵任务（例如打开推动的儿童瓶）需要机器人来做出各种计划选择，这些选择受到在任务期间施加力量的要求所影响的各种计划。机器人必须推荐与动作顺序相关的离散和连续选择，例如是否拾取对象以及每个动作的参数，例如如何掌握对象。为了实现计划和执行有力的操纵，我们通过限制了扭矩和摩擦限制，通过拟议的有力的运动链约束来增强现有的任务和运动计划者。在三个领域，打开一个防儿童瓶，扭动螺母并切割蔬菜，我们演示了系统如何从组合组合组合中进行选择。我们还展示了如何使用成本敏感的计划来查找强大的策略和参数物理参数的不确定性。

机器人需要在约束环境（例如架子和橱柜）中操纵物体，以帮助人类在房屋和办公室等日常设置中。这些限制因减少掌握能力而变得难以操纵，因此机器人需要使用非忽视策略来利用对象环境联系来执行操纵任务。为了应对在这种情况下规划和控制接触性富裕行为的挑战，该工作使用混合力量速度控制器（HFVC）作为技能表示和计划的技能序列，并使用学到的先决条件进行了计划。尽管HFVC自然能够实现稳健且合规的富裕行为，但合成它们的求解器传统上依赖于精确的对象模型和对物体姿势的闭环反馈，这些反馈因遮挡而在约束环境中很难获得。我们首先使用HFVC综合框架放松了HFVC对精确模型和反馈的需求，然后学习一个基于点云的前提函数，以对HFVC执行仍将成功地进行分类，尽管建模不正确。最后，我们在基于搜索的任务计划者中使用学到的前提来完成货架域中的接触式操纵任务。我们的方法达到了$ 73.2 \％$的任务成功率，表现优于基线实现的$ 51.5 \％$，而没有学习的先决条件。在模拟中训练了前提函数时，它也可以转移到现实世界中，而无需进行其他微调。

本文提出了一个层次结构框架，用于计划和控制涉及使用完全插入的多指机器人手的掌握变化的刚性对象的操纵。尽管该框架可以应用于一般的灵巧操作，但我们专注于对手持操作的更复杂的定义，在该目标下，目标姿势必须达到适合使用该对象作为工具的掌握。高级别的计划者确定对象轨迹以及掌握更改，即添加，卸下或滑动手指，由低级控制器执行。尽管基于学习的策略可以适应变化，但GRASP序列是在线计划的，但用于对象跟踪和接触力控制的轨迹规划师和低级控制器仅基于模型，以稳健地实现该计划。通过将有关问题的物理和低级控制器的知识注入GRASP规划师中，它将学会成功生成类似于基于模型的优化方法生成的grasps，从而消除了此类方法的高计算成本到该方法的高度计算成本到解释变化。通过在物理模拟中进行实验，以实现现实工具使用方案，我们将在不同的工具使用任务和灵活的手模型上展示了方法的成功。此外，我们表明，与基于模型的方法相比，这种混合方法为轨迹和任务变化提供了更大的鲁棒性。

学习灵巧的操纵技巧是计算机图形和机器人技术的长期挑战，尤其是当任务涉及手，工具和物体之间的复杂而微妙的互动时。在本文中，我们专注于基于筷子的对象搬迁任务，这些任务很常见却又要求。成功的筷子技巧的关键是稳定地抓住棍棒，这也支持精致的演习。我们会自动发现贝叶斯优化（BO）和深钢筋学习（DRL）的身体有效的筷子姿势，它适用于多种握把的样式和手工形态，而无需示例数据。作为输入，我们要移动发现的抓紧姿势和所需的对象，我们构建了基于物理的手部控制器，以在两个阶段完成重定位任务。首先，运动轨迹是为筷子合成的，并处于运动计划阶段。我们运动策划者的关键组件包括一个握把模型，以选择用于抓住对象的合适筷子配置，以及一个轨迹优化模块，以生成无碰撞的筷子轨迹。然后，我们再次通过DRL训练基于物理的手部控制器，以跟踪运动计划者产生的所需运动轨迹。我们通过重新定位各种形状和尺寸的对象，以多种诱人的样式和多种手工形态的位置来展示框架的功能。与试图学习基于筷子的技能的香草系统相比，我们的系统实现了更快的学习速度和更好的控制鲁棒性，而无需抓紧姿势优化模块和/或没有运动学运动计划者。

多限制攀岩机器人的运动计划必须考虑机器人的姿势，联合扭矩，以及它如何使用接触力与环境相互作用。本文着重于使用非传统运动来探索不可预测的环境（例如火星洞穴）的机器人运动计划。我们的机器人概念Reachbot使用可扩展和可伸缩的动臂作为四肢，在攀爬时实现了大型可伸缩度工作区。每个可扩展的动臂都由旨在抓住岩石表面的微生物抓地力封顶。 Reachbot利用其大型工作空间来绕过障碍物，裂缝和挑战地形。我们的计划方法必须具有多功能性，以适应可变的地形特征和鲁棒性，以减轻用刺抓握随机性质的风险。在本文中，我们引入了一种图形遍历算法，以根据适用于握把的可用地形特征选择一个离散的grasps序列。该离散的计划是由一个解耦运动计划者互补的，该计划者使用基于抽样的计划和顺序凸面编程的组合来考虑身体运动和最终效应器运动的交替阶段，以优化单个阶段。我们使用运动规划师在模拟的2D洞穴环境中计划轨迹，至少有95％的成功概率，并在基线轨迹上表现出改善的鲁棒性。最后，我们通过对2D平面原型进行实验来验证运动计划算法。

Reliably planning fingertip grasps for multi-fingered hands lies as a key challenge for many tasks including tool use, insertion, and dexterous in-hand manipulation. This task becomes even more difficult when the robot lacks an accurate model of the object to be grasped. Tactile sensing offers a promising approach to account for uncertainties in object shape. However, current robotic hands tend to lack full tactile coverage. As such, a problem arises of how to plan and execute grasps for multi-fingered hands such that contact is made with the area covered by the tactile sensors. To address this issue, we propose an approach to grasp planning that explicitly reasons about where the fingertips should contact the estimated object surface while maximizing the probability of grasp success. Key to our method's success is the use of visual surface estimation for initial planning to encode the contact constraint. The robot then executes this plan using a tactile-feedback controller that enables the robot to adapt to online estimates of the object's surface to correct for errors in the initial plan. Importantly, the robot never explicitly integrates object pose or surface estimates between visual and tactile sensing, instead it uses the two modalities in complementary ways. Vision guides the robots motion prior to contact; touch updates the plan when contact occurs differently than predicted from vision. We show that our method successfully synthesises and executes precision grasps for previously unseen objects using surface estimates from a single camera view. Further, our approach outperforms a state of the art multi-fingered grasp planner, while also beating several baselines we propose.

在本文中，我们探讨了机器人是否可以学会重新应用一组多样的物体以实现各种所需的掌握姿势。只要机器人的当前掌握姿势未能执行所需的操作任务，需要重新扫描。具有这种能力的赋予机器人具有在许多领域中的应用，例如制造或国内服务。然而，由于日常物体中的几何形状和状态和行动空间的高维度，这是一个具有挑战性的任务。在本文中，我们提出了一种机器人系统，用于将物体的部分点云和支持环境作为输入，输出序列和放置操作的序列来转换到所需的对象掌握姿势。关键技术包括神经稳定放置预测器，并通过利用和改变周围环境来引发基于图形的解决方案。我们介绍了一个新的和具有挑战性的合成数据集，用于学习和评估所提出的方法。我们展示了我们提出的系统与模拟器和现实世界实验的有效性。我们的项目网页上有更多视频和可视化示例。

在本次调查中，我们介绍了执行需要不同于环境的操作任务的机器人的当前状态，使得机器人必须隐含地或明确地控制与环境的接触力来完成任务。机器人可以执行越来越多的人体操作任务，并且在1）主题上具有越来越多的出版物，其执行始终需要联系的任务，并且通过利用完美的任务来减轻环境来缓解不确定性信息，可以在没有联系的情况下进行。最近的趋势已经看到机器人在留下的人类留给人类，例如按摩，以及诸如PEG孔的经典任务中，对其他类似任务的概率更有效，更好的误差容忍以及更快的规划或学习任务。因此，在本调查中，我们涵盖了执行此类任务的机器人的当前阶段，从调查开始所有不同的联系方式机器人可以执行，观察这些任务是如何控制和表示的，并且最终呈现所需技能的学习和规划完成这些任务。

尽管移动操作在工业和服务机器人技术方面都重要，但仍然是一个重大挑战，因为它需要将最终效应轨迹的无缝整合与导航技能以及对长匹马的推理。现有方法难以控制大型配置空间，并导航动态和未知环境。在先前的工作中，我们建议将移动操纵任务分解为任务空间中最终效果的简化运动生成器，并将移动设备分解为训练有素的强化学习代理，以说明移动基础的运动基础，以说明运动的运动可行性。在这项工作中，我们引入了移动操作的神经导航（n $^2 $ m $^2 $），该导航将这种分解扩展到复杂的障碍环境，并使其能够解决现实世界中的广泛任务。最终的方法可以在未探索的环境中执行看不见的长马任务，同时立即对动态障碍和环境变化做出反应。同时，它提供了一种定义新的移动操作任务的简单方法。我们证明了我们提出的方法在多个运动学上多样化的移动操纵器上进行的广泛模拟和现实实验的能力。代码和视频可在http://mobile-rl.cs.uni-freiburg.de上公开获得。

现代的机器人操纵系统缺乏人类的操纵技巧，部分原因是它们依靠围绕视觉数据的关闭反馈循环，这会降低系统的带宽和速度。通过开发依赖于高带宽力，接触和接近数据的自主握力反射，可以提高整体系统速度和鲁棒性，同时减少对视力数据的依赖。我们正在开发一个围绕低渗透的高速手臂建造的新系统，该系统用敏捷的手指结合了一个高级轨迹计划器，以小于1 Hz的速度运行，低级自主反射控制器的运行量超过300 Hz。我们通过将成功的基线控制器和反射握把控制器的变化的成功抓Grasps的体积和反射系统的体积进行比较，从而表征了反射系统，发现我们的控制器将成功的掌握率与基线相比扩大了55％。我们还使用简单的基于视觉的计划者在自主杂波清除任务中部署了反身抓握控制器，在清除100多个项目的同时，达到了超过90％的成功率。

混乱环境中的机器人操纵通常需要多个对象的复杂和顺序重排，以实现目标对象的所需重新配置。由于在这种情况下涉及复杂的身体互动，基于重新安排的操作仍然仅限于一小部分任务，并且尤其容易受到物理不确定性和感知噪声的影响。本文提出了一个计划框架，该框架利用了基于抽样的计划方法的效率，并通过动态控制计划范围来关闭操作循环。我们的方法交织了计划和执行，以逐步实现操纵目标，同时纠正过程中的任何错误或路径偏差。同时，我们的框架允许在不需要明确的目标配置的情况下定义操纵目标，从而使机器人能够灵活地与所有对象进行交互以促进对目标的操纵。通过在模拟和真实机器人中进行广泛的实验，我们在混乱的环境中评估了三个操纵任务的框架：抓握，重新安置和分类。与两种基线方法相比，我们表明我们的框架可以显着提高计划效率，对身体不确定性的鲁棒性以及在有限时间预算下的任务成功率。

工业机器人操纵器（例如柯机）的应用可能需要在具有静态和非静态障碍物组合的环境中有效的在线运动计划。当可用的计算时间受到限制或无法完全产生解决方案时，现有的通用计划方法通常会产生较差的质量解决方案。我们提出了一个新的运动计划框架，旨在在用户定义的任务空间中运行，而不是机器人的工作空间，该框架有意将工作空间一般性交易，以计划和执行时间效率。我们的框架自动构建在线查询的轨迹库，类似于利用离线计算的以前方法。重要的是，我们的方法还提供了轨迹长度上有限的次级优势保证。关键的想法是建立称为$ \ epsilon $ -Gromov-Hausdorff近似值的近似异构体，以便在任务空间附近的点也很接近配置空间。这些边界关系进一步意味着可以平稳地串联轨迹，这使我们的框架能够解决批次查询方案，目的是找到最小长度的轨迹顺序，这些轨迹访问一组无序的目标。我们通过几种运动型配置评估了模拟框架，包括安装在移动基础上的操纵器。结果表明，我们的方法可实现可行的实时应用，并为扩展其功能提供了有趣的机会。

我们介绍了栖息地2.0（H2.0），这是一个模拟平台，用于培训交互式3D环境和复杂物理的场景中的虚拟机器人。我们为体现的AI堆栈 - 数据，仿真和基准任务做出了全面的贡献。具体来说，我们提出：（i）复制：一个由艺术家的，带注释的，可重新配置的3D公寓（匹配真实空间）与铰接对象（例如可以打开/关闭的橱柜和抽屉）； （ii）H2.0：一个高性能物理学的3D模拟器，其速度超过8-GPU节点上的每秒25,000个模拟步骤（实时850x实时），代表先前工作的100倍加速；和（iii）家庭助理基准（HAB）：一套辅助机器人（整理房屋，准备杂货，设置餐桌）的一套常见任务，以测试一系列移动操作功能。这些大规模的工程贡献使我们能够系统地比较长期结构化任务中的大规模加固学习（RL）和经典的感官平面操作（SPA）管道，并重点是对新对象，容器和布局的概括。 。我们发现（1）与层次结构相比，（1）平面RL政策在HAB上挣扎； （2）具有独立技能的层次结构遭受“交接问题”的困扰，（3）水疗管道比RL政策更脆。

大物体的操纵和安全地在人类附近进行安全操作的能力是通用国内机器人助手的关键能力。我们介绍了一种柔软，触觉的人形的人形机器人的设计，并展示了用于处理大物体的全身丰富的接触操作策略。我们展示了我们的硬件设计理念，用于使用软触觉传感模块，包括：（i）低成本，抗缝，接触压力定位的武器， （ii）基于TRI软气泡传感器的爪子，用于最终效应器，（III）柔顺的力/几何传感器，用于粗糙几何感测表面/胸部。我们利用这些模块的机械智能和触觉感应，为全身抓握控制进行开发和展示运动原语。我们评估硬件在实现各种大型国内物体上实现不同优势的掌握。我们的结果表明，利用富含接触的操纵策略的柔软度和触觉感应的重要性，以及与世界的全身力量控制的互动前进的道路。

我们探索一种新的方法来感知和操纵3D铰接式物体，该物体可以概括地使机器人阐明看不见的对象。我们提出了一个基于视觉的系统，该系统学会预测各种铰接物体的各个部分的潜在运动，以指导系统的下游运动计划以表达对象。为了预测对象运动，我们训练一个神经网络，以输出一个密集的向量场，代表点云中点云中点的点运动方向。然后，我们根据该向量领域部署一个分析运动计划者，以实现产生最大发音的政策。我们完全在模拟中训练视觉系统，并演示了系统在模拟和现实世界中概括的对象实例和新颖类别的能力，并将我们的政策部署在没有任何填充的锯耶机器人上。结果表明，我们的系统在模拟和现实世界实验中都达到了最先进的性能。

在本报告中，我们提出了在哥斯达黎加太平洋架子和圣托里尼 - Kolumbo Caldera Complex中，在寻找寿命中的寻找寿命任务中的自主海洋机器人技术协调，操作策略和结果。它作为可能存在于海洋超越地球的环境中的类似物。本报告侧重于ROV操纵器操作的自动化，用于从海底获取有针对性的生物样品收集和返回的。在未来的外星勘查任务到海洋世界的背景下，ROV是一个模拟的行星着陆器，必须能够有能力的高水平自主权。我们的田间试验涉及两个水下车辆，冰（Nui）杂交ROV的两个水下车辆（即，龙眼或自主）任务，都配备了7-DOF液压机械手。我们描述了一种适应性，硬件无关的计算机视觉架构，可实现高级自动化操作。 Vision系统提供了对工作空间的3D理解，以便在复杂的非结构化环境中通知操纵器运动计划。我们展示了视觉系统和控制框架通过越来越具有挑战性的环境中的现场试验的有效性，包括来自活性Undersea火山，Kolumbo内的自动收集和生物样品的回报。根据我们在该领域的经验，我们讨论了我们的系统的表现，并确定了未来研究的有希望的指示。

我们提出了一个机器人学习和计划框架，该框架以最少的共同努力生成有效的工具使用策略，能够处理不同于培训的物体。利用有限元方法（FEM）基于模拟器，该模拟器在观察到的刀具使用事件给定的细粒度，连续的视觉和物理效果中，通过提出的迭代迭代符号深化回归（IDSR）算法来识别促成效果的基本物理特性。我们进一步设计了一种基于最佳控制的运动计划方案，以整合机器人和特定于工具的运动学和动力学，以产生有效的轨迹，从而实现学习性能。在模拟中，我们证明了所提出的框架可以产生更有效的工具使用策略，这与在两个示例任务中观察到的框架截然不同。

抓握是通过在一组触点上施加力和扭矩来挑选对象的过程。深度学习方法的最新进展允许在机器人对象抓地力方面快速进步。我们在过去十年中系统地调查了出版物，特别感兴趣使用最终效果姿势的所有6度自由度抓住对象。我们的综述发现了四种用于机器人抓钩的常见方法：基于抽样的方法，直接回归，强化学习和示例方法。此外，我们发现了围绕抓握的两种“支持方法”，这些方法使用深入学习来支持抓握过程，形状近似和负担能力。我们已经将本系统评论（85篇论文）中发现的出版物提炼为十个关键要点，我们认为对未来的机器人抓握和操纵研究至关重要。该调查的在线版本可从https://rhys-newbury.github.io/projects/6dof/获得

机器人中的任务和运动规划问题通常将符号规划与连续状态和动作变量相处的运动优化相结合，从而满足满足在任务变量上强加的逻辑约束的轨迹。符号规划可以用任务变量的数量呈指数级级，因此最近的工作诸如PDDLSTREAM的工作侧重于乐观规划，以逐步增长的对象和事实，直到找到可行的轨迹。然而，这种设置以宽度第一的方式被彻底地且均匀地扩展，无论手头的问题的几何结构如何，这使得具有大量物体的长时间地理推理，这令人难以耗时。为了解决这个问题，我们提出了一个几何通知的符号规划员，以最佳的方式扩展了一组对象和事实，优先由从现有搜索计算中学到的基于神经网络的基于神经网络的分数。我们在各种问题上评估我们的方法，并展示了在大型或困难情景中规划的提高能力。我们还在几个块堆叠操作任务中将算法应用于7DOF机器人手臂。

在工厂或房屋等环境中协助我们的机器人必须学会使用对象作为执行任务的工具，例如使用托盘携带对象。我们考虑了学习常识性知识何时可能有用的问题，以及如何与其他工具一起使用其使用以完成由人类指示的高级任务。具体而言，我们引入了一种新型的神经模型，称为Tooltango，该模型首先预测要使用的下一个工具，然后使用此信息来预测下一项动作。我们表明，该联合模型可以告知学习精细的策略，从而使机器人可以顺序使用特定工具，并在使模型更加准确的情况下增加了重要价值。 Tooltango使用图神经网络编码世界状态，包括对象和它们之间的符号关系，并使用人类教师的演示进行了培训，这些演示是指导物理模拟器中的虚拟机器人的演示。该模型学会了使用目标和动作历史的知识来参加场景，最终将符号动作解码为执行。至关重要的是，我们解决了缺少一些已知工具的看不见的环境的概括，但是存在其他看不见的工具。我们表明，通过通过从知识库中得出的预训练的嵌入来增强环境的表示，该模型可以有效地将其推广到新的环境中。实验结果表明，在预测具有看不见对象的新型环境中模拟移动操纵器的成功符号计划时，至少48.8-58.1％的绝对改善对基准的绝对改善。这项工作朝着使机器人能够快速合成复杂任务的强大计划的方向，尤其是在新颖的环境中