为了充分利用多指灵敏机器人手的多功能性进行对象抓握，必须满足手动对象相互作用和对象几何在GRASP计划期间引入的复杂物理约束。我们提出了一种组合生成模型和双重优化的综合方法，以计算新颖看不见的对象的多样化掌握。首先，从仅在六个YCB对象上训练的条件变异自动编码器获得了掌握预测。然后，通过共同求解碰撞感知的逆运动学，力闭合和摩擦约束作为一种非凸双弯曲曲线优化，将预测投射到运动学和动态可行的grasps的歧管上。我们通过成功抓住各种看不见的家庭物体，包括对其他类型的机器人抓手的挑战，来证明我们方法对硬件的有效性。我们的结果的视频摘要可在https://youtu.be/9dtrimbn99i上获得。

抓握是通过在一组触点上施加力和扭矩来挑选对象的过程。深度学习方法的最新进展允许在机器人对象抓地力方面快速进步。我们在过去十年中系统地调查了出版物，特别感兴趣使用最终效果姿势的所有6度自由度抓住对象。我们的综述发现了四种用于机器人抓钩的常见方法：基于抽样的方法，直接回归，强化学习和示例方法。此外，我们发现了围绕抓握的两种“支持方法”，这些方法使用深入学习来支持抓握过程，形状近似和负担能力。我们已经将本系统评论（85篇论文）中发现的出版物提炼为十个关键要点，我们认为对未来的机器人抓握和操纵研究至关重要。该调查的在线版本可从https://rhys-newbury.github.io/projects/6dof/获得

Generating grasp poses is a crucial component for any robot object manipulation task. In this work, we formulate the problem of grasp generation as sampling a set of grasps using a variational autoencoder and assess and refine the sampled grasps using a grasp evaluator model. Both Grasp Sampler and Grasp Refinement networks take 3D point clouds observed by a depth camera as input. We evaluate our approach in simulation and real-world robot experiments. Our approach achieves 88% success rate on various commonly used objects with diverse appearances, scales, and weights. Our model is trained purely in simulation and works in the real world without any extra steps. The video of our experiments can be found here.

操纵铰接对象通常需要多个机器人臂。使多个机器人武器能够在铰接物体上协作地完成操纵任务是一项挑战性。在本文中，我们呈现$ \ textbf {v-mao} $，这是一个学习铰接物体的多臂操纵的框架。我们的框架包括一个变分生成模型，可以为每个机器人臂的物体刚性零件学习接触点分布。从与模拟环境的交互获得训练信号，该模拟环境是通过规划和用于铰接对象的对象控制的新颖制定的新颖制定。我们在定制的Mujoco仿真环境中部署了我们的框架，并证明我们的框架在六种不同的对象和两个不同的机器人上实现了高成功率。我们还表明，生成建模可以有效地学习铰接物体上的接触点分布。

Reliably planning fingertip grasps for multi-fingered hands lies as a key challenge for many tasks including tool use, insertion, and dexterous in-hand manipulation. This task becomes even more difficult when the robot lacks an accurate model of the object to be grasped. Tactile sensing offers a promising approach to account for uncertainties in object shape. However, current robotic hands tend to lack full tactile coverage. As such, a problem arises of how to plan and execute grasps for multi-fingered hands such that contact is made with the area covered by the tactile sensors. To address this issue, we propose an approach to grasp planning that explicitly reasons about where the fingertips should contact the estimated object surface while maximizing the probability of grasp success. Key to our method's success is the use of visual surface estimation for initial planning to encode the contact constraint. The robot then executes this plan using a tactile-feedback controller that enables the robot to adapt to online estimates of the object's surface to correct for errors in the initial plan. Importantly, the robot never explicitly integrates object pose or surface estimates between visual and tactile sensing, instead it uses the two modalities in complementary ways. Vision guides the robots motion prior to contact; touch updates the plan when contact occurs differently than predicted from vision. We show that our method successfully synthesises and executes precision grasps for previously unseen objects using surface estimates from a single camera view. Further, our approach outperforms a state of the art multi-fingered grasp planner, while also beating several baselines we propose.

在机器人操作中，以前未见的新物体的自主抓住是一个持续的挑战。在过去的几十年中，已经提出了许多方法来解决特定机器人手的问题。最近引入的Unigrasp框架具有推广到不同类型的机器人抓手的能力。但是，此方法不适用于具有闭环约束的抓手，并且当应用于具有MultiGRASP配置的机器人手时，具有数据范围。在本文中，我们提出了有效绘制的，这是一种独立于抓手模型规范的广义掌握合成和抓地力控制方法。有效绘制利用抓地力工作空间功能，而不是Unigrasp的抓属属性输入。这在训练过程中将记忆使用量减少了81.7％，并可以推广到更多类型的抓地力，例如具有闭环约束的抓手。通过在仿真和现实世界中进行对象抓住实验来评估有效绘制的有效性；结果表明，所提出的方法在仅考虑没有闭环约束的抓手时也胜过Unigrasp。在这些情况下，有效抓取在产生接触点的精度高9.85％，模拟中的握把成功率提高了3.10％。现实世界实验是用带有闭环约束的抓地力进行的，而Unigrasp无法处理，而有效绘制的成功率达到了83.3％。分析了该方法的抓地力故障的主要原因，突出了增强掌握性能的方法。

在本文中，我们介绍了DA $^2 $，这是第一个大型双臂灵敏性吸引数据集，用于生成最佳的双人握把对，用于任意大型对象。该数据集包含大约900万的平行jaw grasps，由6000多个对象生成，每个对象都有各种抓紧敏度度量。此外，我们提出了一个端到端的双臂掌握评估模型，该模型在该数据集的渲染场景上训练。我们利用评估模型作为基准，通过在线分析和真实的机器人实验来显示这一新颖和非平凡数据集的价值。所有数据和相关的代码将在https://sites.google.com/view/da2dataset上开源。

在本文中，我们探讨了机器人是否可以学会重新应用一组多样的物体以实现各种所需的掌握姿势。只要机器人的当前掌握姿势未能执行所需的操作任务，需要重新扫描。具有这种能力的赋予机器人具有在许多领域中的应用，例如制造或国内服务。然而，由于日常物体中的几何形状和状态和行动空间的高维度，这是一个具有挑战性的任务。在本文中，我们提出了一种机器人系统，用于将物体的部分点云和支持环境作为输入，输出序列和放置操作的序列来转换到所需的对象掌握姿势。关键技术包括神经稳定放置预测器，并通过利用和改变周围环境来引发基于图形的解决方案。我们介绍了一个新的和具有挑战性的合成数据集，用于学习和评估所提出的方法。我们展示了我们提出的系统与模拟器和现实世界实验的有效性。我们的项目网页上有更多视频和可视化示例。

我们提出了GRASP提案网络（GP-NET），这是一种卷积神经网络模型，可以为移动操纵器生成6-DOF GRASP。为了训练GP-NET，我们合成生成一个包含深度图像和地面真相掌握信息的数据集，以供超过1400个对象。在现实世界实验中，我们使用egad！掌握基准测试，以评估两种常用算法的GP-NET，即体积抓地力网络（VGN）和在PAL TIAGO移动操纵器上进行的GRASP抓取网络（VGN）和GRASP姿势检测包（GPD）。GP-NET的掌握率为82.2％，而VGN为57.8％，GPD的成功率为63.3％。与机器人握把中最新的方法相反，GP-NET可以在不限制工作空间的情况下使用移动操纵器抓住对象，用于抓住对象，需要桌子进行分割或需要高端GPU。为了鼓励使用GP-NET，我们在https://aucoroboticsmu.github.io/gp-net/上提供ROS包以及我们的代码和预培训模型。

我们探索一种新的方法来感知和操纵3D铰接式物体，该物体可以概括地使机器人阐明看不见的对象。我们提出了一个基于视觉的系统，该系统学会预测各种铰接物体的各个部分的潜在运动，以指导系统的下游运动计划以表达对象。为了预测对象运动，我们训练一个神经网络，以输出一个密集的向量场，代表点云中点云中点的点运动方向。然后，我们根据该向量领域部署一个分析运动计划者，以实现产生最大发音的政策。我们完全在模拟中训练视觉系统，并演示了系统在模拟和现实世界中概括的对象实例和新颖类别的能力，并将我们的政策部署在没有任何填充的锯耶机器人上。结果表明，我们的系统在模拟和现实世界实验中都达到了最先进的性能。

学习灵巧的操纵技巧是计算机图形和机器人技术的长期挑战，尤其是当任务涉及手，工具和物体之间的复杂而微妙的互动时。在本文中，我们专注于基于筷子的对象搬迁任务，这些任务很常见却又要求。成功的筷子技巧的关键是稳定地抓住棍棒，这也支持精致的演习。我们会自动发现贝叶斯优化（BO）和深钢筋学习（DRL）的身体有效的筷子姿势，它适用于多种握把的样式和手工形态，而无需示例数据。作为输入，我们要移动发现的抓紧姿势和所需的对象，我们构建了基于物理的手部控制器，以在两个阶段完成重定位任务。首先，运动轨迹是为筷子合成的，并处于运动计划阶段。我们运动策划者的关键组件包括一个握把模型，以选择用于抓住对象的合适筷子配置，以及一个轨迹优化模块，以生成无碰撞的筷子轨迹。然后，我们再次通过DRL训练基于物理的手部控制器，以跟踪运动计划者产生的所需运动轨迹。我们通过重新定位各种形状和尺寸的对象，以多种诱人的样式和多种手工形态的位置来展示框架的功能。与试图学习基于筷子的技能的香草系统相比，我们的系统实现了更快的学习速度和更好的控制鲁棒性，而无需抓紧姿势优化模块和/或没有运动学运动计划者。

在现实世界中，教授多指的灵巧机器人在现实世界中掌握物体，这是一个充满挑战的问题，由于其高维状态和动作空间。我们提出了一个机器人学习系统，该系统可以进行少量的人类示范，并学会掌握在某些被遮挡的观察结果的情况下掌握看不见的物体姿势。我们的系统利用了一个小型运动捕获数据集，并为多指的机器人抓手生成具有多种多样且成功的轨迹的大型数据集。通过添加域随机化，我们表明我们的数据集提供了可以将其转移到策略学习者的强大抓地力轨迹。我们训练一种灵活的抓紧策略，该策略将对象的点云作为输入，并预测连续的动作以从不同初始机器人状态掌握对象。我们在模拟中评估了系统对22多伏的浮动手的有效性，并在现实世界中带有kuka手臂的23多杆Allegro机器人手。从我们的数据集中汲取的政策可以很好地概括在模拟和现实世界中的看不见的对象姿势

对于移动机器人而言，与铰接式对象的交互是一项具有挑战性但重要的任务。为了应对这一挑战，我们提出了一条新型的闭环控制管道，该管道将负担能力估计的操纵先验与基于采样的全身控制相结合。我们介绍了完全反映了代理的能力和体现的代理意识提供的概念，我们表明它们的表现优于其最先进的对应物，这些对应物仅以最终效果的几何形状为条件。此外，发现闭环负担推论使代理可以将任务分为多个非连续运动，并从失败和意外状态中恢复。最后，管道能够执行长途移动操作任务，即在现实世界中开放和关闭烤箱，成功率很高（开放：71％，关闭：72％）。

本文提出了一个层次结构框架，用于计划和控制涉及使用完全插入的多指机器人手的掌握变化的刚性对象的操纵。尽管该框架可以应用于一般的灵巧操作，但我们专注于对手持操作的更复杂的定义，在该目标下，目标姿势必须达到适合使用该对象作为工具的掌握。高级别的计划者确定对象轨迹以及掌握更改，即添加，卸下或滑动手指，由低级控制器执行。尽管基于学习的策略可以适应变化，但GRASP序列是在线计划的，但用于对象跟踪和接触力控制的轨迹规划师和低级控制器仅基于模型，以稳健地实现该计划。通过将有关问题的物理和低级控制器的知识注入GRASP规划师中，它将学会成功生成类似于基于模型的优化方法生成的grasps，从而消除了此类方法的高计算成本到该方法的高度计算成本到解释变化。通过在物理模拟中进行实验，以实现现实工具使用方案，我们将在不同的工具使用任务和灵活的手模型上展示了方法的成功。此外，我们表明，与基于模型的方法相比，这种混合方法为轨迹和任务变化提供了更大的鲁棒性。

如今，机器人在我们的日常生活中起着越来越重要的作用。在以人为本的环境中，机器人经常会遇到成堆的对象，包装的项目或孤立的对象。因此，机器人必须能够在各种情况下掌握和操纵不同的物体，以帮助人类进行日常任务。在本文中，我们提出了一种多视图深度学习方法，以处理以人为中心的域中抓住强大的对象。特别是，我们的方法将任意对象的点云作为输入，然后生成给定对象的拼字图。获得的视图最终用于估计每个对象的像素抓握合成。我们使用小对象抓住数据集训练模型端到端，并在模拟和现实世界数据上对其进行测试，而无需进行任何进一步的微调。为了评估所提出方法的性能，我们在三种情况下进行了广泛的实验集，包括孤立的对象，包装的项目和一堆对象。实验结果表明，我们的方法在所有仿真和现实机器人方案中都表现出色，并且能够在各种场景配置中实现新颖对象的可靠闭环抓握。

手动相互作用的研究需要为高维多手指模型产生可行的掌握姿势，这通常依赖于分析抓取的合成，从而产生脆弱且不自然的结果。本文介绍了Grasp'd，这是一种与已知模型和视觉输入的可区分接触模拟的掌握方法。我们使用基于梯度的方法作为基于采样的GRASP合成的替代方法，该方法在没有简化假设的情况下失败，例如预先指定的接触位置和本本特征。这样的假设限制了掌握发现，尤其是排除了高接触功率掌握。相比之下，我们基于模拟的方法允许即使对于具有高度自由度的抓地力形态，也可以稳定，高效，物理逼真，高接触抓紧合成。我们确定并解决了对基于梯度的优化进行掌握模拟的挑战，例如非平滑对象表面几何形状，接触稀疏性和坚固的优化景观。 GRASP-D与人类和机器人手模型的分析掌握合成相比，并且结果抓紧超过4倍，超过4倍，从而导致较高的GRASP稳定性。视频和代码可在https://graspd-eccv22.github.io/上获得。

我们引入了来自多个机器人手的对象的神经隐式表示。多个机器人手之间的不同抓地力被编码为共享的潜在空间。学会了每个潜在矢量以两个3D形状的签名距离函数来解码对象的3D形状和机器人手的3D形状。此外，学会了潜在空间中的距离度量，以保留不同机器人手之间的graSps之间的相似性，其中根据机器人手的接触区域定义了grasps的相似性。该属性使我们能够在包括人手在内的不同抓地力之间转移抓地力，并且GRASP转移有可能在机器人之间分享抓地力，并使机器人能够从人类那里学习掌握技能。此外，我们隐式表示中对象和grasps的编码符号距离函数可用于6D对象姿势估计，并从部分点云中掌握触点优化，这可以在现实世界中启用机器人抓握。

掌握姿势估计是机器人与现实世界互动的重要问题。但是，大多数现有方法需要事先可用的精确3D对象模型或大量的培训注释。为了避免这些问题，我们提出了transrasp，一种类别级别的rasp姿势估计方法，该方法通过仅标记一个对象实例来预测一类对象的掌握姿势。具体而言，我们根据其形状对应关系进行掌握姿势转移，并提出一个掌握姿势细化模块，以进一步微调抓地力姿势，以确保成功的掌握。实验证明了我们方法对通过转移的抓握姿势实现高质量抓地力的有效性。我们的代码可在https://github.com/yanjh97/transgrasp上找到。

形状通知如何将对象掌握，无论是如何以及如何。因此，本文介绍了一种基于分割的架构，用于将用深度摄像机进行分解为多个基本形状的对象，以及用于机器人抓握的后处理管道。分段采用深度网络，称为PS-CNN，在具有6个类的原始形状和使用模拟引擎生成的合成数据上培训。每个原始形状都设计有参数化掌握家族，允许管道识别每个形状区域的多个掌握候选者。掌握是排序的排名，选择用于执行的第一个可行的。对于无任务掌握单个对象，该方法达到94.2％的成功率将其放置在顶部执行掌握方法中，与自上而下和SE（3）基础相比。涉及变量观点和杂波的其他测试展示了设置的鲁棒性。对于面向任务的掌握，PS-CNN实现了93.0％的成功率。总体而言，结果支持该假设，即在抓地管道内明确地编码形状原语应该提高掌握性能，包括无任务和任务相关的掌握预测。

Being able to grasp objects is a fundamental component of most robotic manipulation systems. In this paper, we present a new approach to simultaneously reconstruct a mesh and a dense grasp quality map of an object from a depth image. At the core of our approach is a novel camera-centric object representation called the "object shell" which is composed of an observed "entry image" and a predicted "exit image". We present an image-to-image residual ConvNet architecture in which the object shell and a grasp-quality map are predicted as separate output channels. The main advantage of the shell representation and the corresponding neural network architecture, ShellGrasp-Net, is that the input-output pixel correspondences in the shell representation are explicitly represented in the architecture. We show that this coupling yields superior generalization capabilities for object reconstruction and accurate grasp quality estimation implicitly considering the object geometry. Our approach yields an efficient dense grasp quality map and an object geometry estimate in a single forward pass. Both of these outputs can be used in a wide range of robotic manipulation applications. With rigorous experimental validation, both in simulation and on a real setup, we show that our shell-based method can be used to generate precise grasps and the associated grasp quality with over 90% accuracy. Diverse grasps computed on shell reconstructions allow the robot to select and execute grasps in cluttered scenes with more than 93% success rate.