我们考虑了一个新的问题,其中多个刚性凸的多边形物体位于从顶部摄像机可见的平面表面上随机放置的位置和方向。目的是使用多对象的按钮有效地将所有对象掌握到垃圾箱中,其中将多个对象推在一起以促进多对象抓握。我们为无摩擦的多对象推格程序提供了必要的条件,并将其应用于新颖的多对象抓紧计划器中的不可接受的grasps。我们发现我们的计划者比Mujoco模拟器基线快19倍。我们还提出了一种使用单对象和多对象抓取对象的选择算法。在将性能与单对象拾取基线进行比较的物理抓握实验中,我们发现无摩擦的多对象握把系统获得了13.6 \%的掌握成功,并且更快的速度为59.9 \%,从212 pph到340 pph。有关视频和代码,请参见\ url {https://sites.google.com/view/multi-object-grasping}。
translated by 谷歌翻译
如今,机器人在我们的日常生活中起着越来越重要的作用。在以人为本的环境中,机器人经常会遇到成堆的对象,包装的项目或孤立的对象。因此,机器人必须能够在各种情况下掌握和操纵不同的物体,以帮助人类进行日常任务。在本文中,我们提出了一种多视图深度学习方法,以处理以人为中心的域中抓住强大的对象。特别是,我们的方法将任意对象的点云作为输入,然后生成给定对象的拼字图。获得的视图最终用于估计每个对象的像素抓握合成。我们使用小对象抓住数据集训练模型端到端,并在模拟和现实世界数据上对其进行测试,而无需进行任何进一步的微调。为了评估所提出方法的性能,我们在三种情况下进行了广泛的实验集,包括孤立的对象,包装的项目和一堆对象。实验结果表明,我们的方法在所有仿真和现实机器人方案中都表现出色,并且能够在各种场景配置中实现新颖对象的可靠闭环抓握。
translated by 谷歌翻译
柔软的钳口尖端几乎普遍地与平行钳口机器人夹持器普遍使用,因为它们可以增加接触面积和钳口之间的摩擦和要操纵的物体。然而,符合曲面和刚性物体之间的相互作用是难以模拟的。我们介绍了一种使用增量潜在联系人(IPC)的新型模拟器的IPC-Graspsim - 一个用于计算机图形学的2020年的变形模型 - 这既在抓住期间就模拟了符合JAW提示的动态和变形。 IPC-Graspsim使用一组2,000个物理掌握在16个对手对象中进行评估,其中标准分析模型表现不佳。与分析Quasistatic接触型号(软点接触,REACH,6DFC)和动态掌握模拟器(ISAAC健身房)(具有Flex后端的ISAAC健身房,结果表明IPC-Graspsim更准确地模拟现实世界掌握,增加F1得分9%。所有数据,代码,视频和补充材料都可以在https://sites.google.com/berkeley.edu/ipcgraspsim中获得。
translated by 谷歌翻译
混乱环境中的机器人操纵通常需要多个对象的复杂和顺序重排,以实现目标对象的所需重新配置。由于在这种情况下涉及复杂的身体互动,基于重新安排的操作仍然仅限于一小部分任务,并且尤其容易受到物理不确定性和感知噪声的影响。本文提出了一个计划框架,该框架利用了基于抽样的计划方法的效率,并通过动态控制计划范围来关闭操作循环。我们的方法交织了计划和执行,以逐步实现操纵目标,同时纠正过程中的任何错误或路径偏差。同时,我们的框架允许在不需要明确的目标配置的情况下定义操纵目标,从而使机器人能够灵活地与所有对象进行交互以促进对目标的操纵。通过在模拟和真实机器人中进行广泛的实验,我们在混乱的环境中评估了三个操纵任务的框架:抓握,重新安置和分类。与两种基线方法相比,我们表明我们的框架可以显着提高计划效率,对身体不确定性的鲁棒性以及在有限时间预算下的任务成功率。
translated by 谷歌翻译
我们提出了GRASP提案网络(GP-NET),这是一种卷积神经网络模型,可以为移动操纵器生成6-DOF GRASP。为了训练GP-NET,我们合成生成一个包含深度图像和地面真相掌握信息的数据集,以供超过1400个对象。在现实世界实验中,我们使用egad!掌握基准测试,以评估两种常用算法的GP-NET,即体积抓地力网络(VGN)和在PAL TIAGO移动操纵器上进行的GRASP抓取网络(VGN)和GRASP姿势检测包(GPD)。GP-NET的掌握率为82.2%,而VGN为57.8%,GPD的成功率为63.3%。与机器人握把中最新的方法相反,GP-NET可以在不限制工作空间的情况下使用移动操纵器抓住对象,用于抓住对象,需要桌子进行分割或需要高端GPU。为了鼓励使用GP-NET,我们在https://aucoroboticsmu.github.io/gp-net/上提供ROS包以及我们的代码和预培训模型。
translated by 谷歌翻译
深度学习已被广​​泛用于推断强大的掌握。虽然最初用于学习掌握配置的人类标记的RGB-D数据集,但是这种大型数据集的准备是昂贵的。为了解决这个问题,通过物理模拟器生成图像,并且使用物理启发模型(例如,抽吸真空杯和物体之间的接触型号)作为掌握质量评估度量来注释合成图像。然而,这种联系方式复杂,需要通过实验进行参数识别,以确保真实的世界表现。此外,以前的研究还没有考虑机器人可达性,例如当具有高抓握质量的掌握配置由于机器人的碰撞或物理限制而无法到达目标时无法到达目标。在这项研究中,我们提出了一种直观的几何分析掌握质量评估度量。我们进一步纳入了可达性评估度量。我们通过拟议的评估度量对模拟器中的合成图像上的综合评估标准进行注释,以培训称为抽吸贪污U-Net ++(SG-U-Net ++)的自动编码器解码器。实验结果表明,我们直观的掌握质量评估度量与物理启发度量有竞争力。学习可达性有助于通过消除明显无法访问的候选者来减少运动规划计算时间。该系统实现了560pph(每小时碎片)的整体拾取速度。
translated by 谷歌翻译
Reliably planning fingertip grasps for multi-fingered hands lies as a key challenge for many tasks including tool use, insertion, and dexterous in-hand manipulation. This task becomes even more difficult when the robot lacks an accurate model of the object to be grasped. Tactile sensing offers a promising approach to account for uncertainties in object shape. However, current robotic hands tend to lack full tactile coverage. As such, a problem arises of how to plan and execute grasps for multi-fingered hands such that contact is made with the area covered by the tactile sensors. To address this issue, we propose an approach to grasp planning that explicitly reasons about where the fingertips should contact the estimated object surface while maximizing the probability of grasp success. Key to our method's success is the use of visual surface estimation for initial planning to encode the contact constraint. The robot then executes this plan using a tactile-feedback controller that enables the robot to adapt to online estimates of the object's surface to correct for errors in the initial plan. Importantly, the robot never explicitly integrates object pose or surface estimates between visual and tactile sensing, instead it uses the two modalities in complementary ways. Vision guides the robots motion prior to contact; touch updates the plan when contact occurs differently than predicted from vision. We show that our method successfully synthesises and executes precision grasps for previously unseen objects using surface estimates from a single camera view. Further, our approach outperforms a state of the art multi-fingered grasp planner, while also beating several baselines we propose.
translated by 谷歌翻译
抓握是通过在一组触点上施加力和扭矩来挑选对象的过程。深度学习方法的最新进展允许在机器人对象抓地力方面快速进步。我们在过去十年中系统地调查了出版物,特别感兴趣使用最终效果姿势的所有6度自由度抓住对象。我们的综述发现了四种用于机器人抓钩的常见方法:基于抽样的方法,直接回归,强化学习和示例方法。此外,我们发现了围绕抓握的两种“支持方法”,这些方法使用深入学习来支持抓握过程,形状近似和负担能力。我们已经将本系统评论(85篇论文)中发现的出版物提炼为十个关键要点,我们认为对未来的机器人抓握和操纵研究至关重要。该调查的在线版本可从https://rhys-newbury.github.io/projects/6dof/获得
translated by 谷歌翻译
机器人仿真一直是数据驱动的操作任务的重要工具。但是,大多数现有的仿真框架都缺乏与触觉传感器的物理相互作用的高效和准确模型,也没有逼真的触觉模拟。这使得基于触觉的操纵任务的SIM转交付仍然具有挑战性。在这项工作中,我们通过建模接触物理学来整合机器人动力学和基于视觉的触觉传感器的模拟。该触点模型使用机器人最终效应器上的模拟接触力来告知逼真的触觉输出。为了消除SIM到真实传输差距,我们使用现实世界数据校准了机器人动力学,接触模型和触觉光学模拟器的物理模拟器,然后我们在零摄像机上演示了系统的有效性 - 真实掌握稳定性预测任务,在各种对象上,我们达到平均准确性为90.7%。实验揭示了将我们的模拟框架应用于更复杂的操纵任务的潜力。我们在https://github.com/cmurobotouch/taxim/tree/taxim-robot上开放仿真框架。
translated by 谷歌翻译
在密集的混乱中抓住是自动机器人的一项基本技能。但是,在混乱的情况下,拥挤性和遮挡造成了很大的困难,无法在没有碰撞的情况下产生有效的掌握姿势,这会导致低效率和高失败率。为了解决这些问题,我们提出了一个名为GE-GRASP的通用框架,用于在密集的混乱中用于机器人运动计划,在此,我们利用各种动作原始素来遮挡对象去除,并呈现发电机 - 评估器架构以避免空间碰撞。因此,我们的ge-grasp能够有效地抓住密集的杂物中的物体,并有希望的成功率。具体而言,我们定义了三个动作基础:面向目标的抓握,用于捕获,推动和非目标的抓握,以减少拥挤和遮挡。发电机有效地提供了参考空间信息的各种动作候选者。同时,评估人员评估了所选行动原始候选者,其中最佳动作由机器人实施。在模拟和现实世界中进行的广泛实验表明,我们的方法在运动效率和成功率方面优于杂乱无章的最新方法。此外,我们在现实世界中实现了可比的性能,因为在模拟环境中,这表明我们的GE-Grasp具有强大的概括能力。补充材料可在以下网址获得:https://github.com/captainwudaokou/ge-grasp。
translated by 谷歌翻译
在机器人操作中,以前未见的新物体的自主抓住是一个持续的挑战。在过去的几十年中,已经提出了许多方法来解决特定机器人手的问题。最近引入的Unigrasp框架具有推广到不同类型的机器人抓手的能力。但是,此方法不适用于具有闭环约束的抓手,并且当应用于具有MultiGRASP配置的机器人手时,具有数据范围。在本文中,我们提出了有效绘制的,这是一种独立于抓手模型规范的广义掌握合成和抓地力控制方法。有效绘制利用抓地力工作空间功能,而不是Unigrasp的抓属属性输入。这在训练过程中将记忆使用量减少了81.7%,并可以推广到更多类型的抓地力,例如具有闭环约束的抓手。通过在仿真和现实世界中进行对象抓住实验来评估有效绘制的有效性;结果表明,所提出的方法在仅考虑没有闭环约束的抓手时也胜过Unigrasp。在这些情况下,有效抓取在产生接触点的精度高9.85%,模拟中的握把成功率提高了3.10%。现实世界实验是用带有闭环约束的抓地力进行的,而Unigrasp无法处理,而有效绘制的成功率达到了83.3%。分析了该方法的抓地力故障的主要原因,突出了增强掌握性能的方法。
translated by 谷歌翻译
手动相互作用的研究需要为高维多手指模型产生可行的掌握姿势,这通常依赖于分析抓取的合成,从而产生脆弱且不自然的结果。本文介绍了Grasp'd,这是一种与已知模型和视觉输入的可区分接触模拟的掌握方法。我们使用基于梯度的方法作为基于采样的GRASP合成的替代方法,该方法在没有简化假设的情况下失败,例如预先指定的接触位置和本本特征。这样的假设限制了掌握发现,尤其是排除了高接触功率掌握。相比之下,我们基于模拟的方法允许即使对于具有高度自由度的抓地力形态,也可以稳定,高效,物理逼真,高接触抓紧合成。我们确定并解决了对基于梯度的优化进行掌握模拟的挑战,例如非平滑对象表面几何形状,接触稀疏性和坚固的优化景观。 GRASP-D与人类和机器人手模型的分析掌握合成相比,并且结果抓紧超过4倍,超过4倍,从而导致较高的GRASP稳定性。视频和代码可在https://graspd-eccv22.github.io/上获得。
translated by 谷歌翻译
在本文中,我们介绍了DA $^2 $,这是第一个大型双臂灵敏性吸引数据集,用于生成最佳的双人握把对,用于任意大型对象。该数据集包含大约900万的平行jaw grasps,由6000多个对象生成,每个对象都有各种抓紧敏度度量。此外,我们提出了一个端到端的双臂掌握评估模型,该模型在该数据集的渲染场景上训练。我们利用评估模型作为基准,通过在线分析和真实的机器人实验来显示这一新颖和非平凡数据集的价值。所有数据和相关的代码将在https://sites.google.com/view/da2dataset上开源。
translated by 谷歌翻译
在本文中,我们探讨了机器人是否可以学会重新应用一组多样的物体以实现各种所需的掌握姿势。只要机器人的当前掌握姿势未能执行所需的操作任务,需要重新扫描。具有这种能力的赋予机器人具有在许多领域中的应用,例如制造或国内服务。然而,由于日常物体中的几何形状和状态和行动空间的高维度,这是一个具有挑战性的任务。在本文中,我们提出了一种机器人系统,用于将物体的部分点云和支持环境作为输入,输出序列和放置操作的序列来转换到所需的对象掌握姿势。关键技术包括神经稳定放置预测器,并通过利用和改变周围环境来引发基于图形的解决方案。我们介绍了一个新的和具有挑战性的合成数据集,用于学习和评估所提出的方法。我们展示了我们提出的系统与模拟器和现实世界实验的有效性。我们的项目网页上有更多视频和可视化示例。
translated by 谷歌翻译
As the basis for prehensile manipulation, it is vital to enable robots to grasp as robustly as humans. In daily manipulation, our grasping system is prompt, accurate, flexible and continuous across spatial and temporal domains. Few existing methods cover all these properties for robot grasping. In this paper, we propose a new methodology for grasp perception to enable robots these abilities. Specifically, we develop a dense supervision strategy with real perception and analytic labels in the spatial-temporal domain. Additional awareness of objects' center-of-mass is incorporated into the learning process to help improve grasping stability. Utilization of grasp correspondence across observations enables dynamic grasp tracking. Our model, AnyGrasp, can generate accurate, full-DoF, dense and temporally-smooth grasp poses efficiently, and works robustly against large depth sensing noise. Embedded with AnyGrasp, we achieve a 93.3% success rate when clearing bins with over 300 unseen objects, which is comparable with human subjects under controlled conditions. Over 900 MPPH is reported on a single-arm system. For dynamic grasping, we demonstrate catching swimming robot fish in the water.
translated by 谷歌翻译
多步兵的操纵任务(例如打开推动的儿童瓶)需要机器人来做出各种计划选择,这些选择受到在任务期间施加力量的要求所影响的各种计划。机器人必须推荐与动作顺序相关的离散和连续选择,例如是否拾取对象以及每个动作的参数,例如如何掌握对象。为了实现计划和执行有力的操纵,我们通过限制了扭矩和摩擦限制,通过拟议的有力的运动链约束来增强现有的任务和运动计划者。在三个领域,打开一个防儿童瓶,扭动螺母并切割蔬菜,我们演示了系统如何从组合组合组合中进行选择。我们还展示了如何使用成本敏感的计划来查找强大的策略和参数物理参数的不确定性。
translated by 谷歌翻译
Being able to grasp objects is a fundamental component of most robotic manipulation systems. In this paper, we present a new approach to simultaneously reconstruct a mesh and a dense grasp quality map of an object from a depth image. At the core of our approach is a novel camera-centric object representation called the "object shell" which is composed of an observed "entry image" and a predicted "exit image". We present an image-to-image residual ConvNet architecture in which the object shell and a grasp-quality map are predicted as separate output channels. The main advantage of the shell representation and the corresponding neural network architecture, ShellGrasp-Net, is that the input-output pixel correspondences in the shell representation are explicitly represented in the architecture. We show that this coupling yields superior generalization capabilities for object reconstruction and accurate grasp quality estimation implicitly considering the object geometry. Our approach yields an efficient dense grasp quality map and an object geometry estimate in a single forward pass. Both of these outputs can be used in a wide range of robotic manipulation applications. With rigorous experimental validation, both in simulation and on a real setup, we show that our shell-based method can be used to generate precise grasps and the associated grasp quality with over 90% accuracy. Diverse grasps computed on shell reconstructions allow the robot to select and execute grasps in cluttered scenes with more than 93% success rate.
translated by 谷歌翻译
当代掌握检测方法采用深度学习,实现传感器和物体模型不确定性的鲁棒性。这两个主导的方法设计了掌握质量评分或基于锚的掌握识别网络。本文通过将其视为图像空间中的关键点检测来掌握掌握检测的不同方法。深网络检测每个掌握候选者作为一对关键点,可转换为掌握代表= {x,y,w,{\ theta}} t,而不是转角点的三态或四重奏。通过将关键点分组成对来降低检测难度提高性能。为了促进捕获关键点之间的依赖关系,将非本地模块结合到网络设计中。基于离散和连续定向预测的最终过滤策略消除了错误的对应关系,并进一步提高了掌握检测性能。此处提出的方法GKNET在康奈尔和伸缩的提花数据集上的精度和速度之间实现了良好的平衡(在41.67和23.26 fps的96.9%和98.39%)之间。操纵器上的后续实验使用4种类型的抓取实验来评估GKNet,反映不同滋扰的速度:静态抓握,动态抓握,在各种相机角度抓住,夹住。 GKNet优于静态和动态掌握实验中的参考基线,同时表现出变化的相机观点和中度杂波的稳健性。结果证实了掌握关键点是深度掌握网络的有效输出表示的假设,为预期的滋扰因素提供鲁棒性。
translated by 谷歌翻译
为了充分利用多指灵敏机器人手的多功能性进行对象抓握,必须满足手动对象相互作用和对象几何在GRASP计划期间引入的复杂物理约束。我们提出了一种组合生成模型和双重优化的综合方法,以计算新颖看不见的对象的多样化掌握。首先,从仅在六个YCB对象上训练的条件变异自动编码器获得了掌握预测。然后,通过共同求解碰撞感知的逆运动学,力闭合和摩擦约束作为一种非凸双弯曲曲线优化,将预测投射到运动学和动态可行的grasps的歧管上。我们通过成功抓住各种看不见的家庭物体,包括对其他类型的机器人抓手的挑战,来证明我们方法对硬件的有效性。我们的结果的视频摘要可在https://youtu.be/9dtrimbn99i上获得。
translated by 谷歌翻译
以前的工作定义了探索性抓握,其中一个机器人迭代地抓住并丢弃一个未知的复杂多面体物体,以发现一组稳定的掌握对象的每个识别的不同稳定的姿势。最近的工作用来了一个多武装强盗模型,每种姿势一小组候选麦克风;但是,对于具有少数成功Grasps的物体,该组可能不包括最强大的掌握。我们展示了学习高效的掌握装置(腿),这是一种算法,可以通过构建大型有希望的掌握的小型活跃的掌握,并使用学习的信心范围来确定何时何时置信,它可以停止探索对象。实验表明,腿可以比不学习活动集的现有算法更有效地识别高质量的掌握。在仿真实验中,我们测量腿部和基线所识别的最佳掌握的成功概率与真正最强大的掌握的最佳差距。经过3000个探索步骤后,腿部优于14个Dex-Net对手的10个中的基线算法和39 egad的25个!对象。然后,我们开发一个自我监督的掌握系统,机器人探讨了人类干预最小的掌握。 3对象的物理实验表明,腿将从基线收敛到高性能的GRASPS比基线更快。有关补充材料和视频,请参阅\ url {https://sites.google.com/view/legs-exp-grasping}。
translated by 谷歌翻译