以前的工作定义了探索性抓握,其中一个机器人迭代地抓住并丢弃一个未知的复杂多面体物体,以发现一组稳定的掌握对象的每个识别的不同稳定的姿势。最近的工作用来了一个多武装强盗模型,每种姿势一小组候选麦克风;但是,对于具有少数成功Grasps的物体,该组可能不包括最强大的掌握。我们展示了学习高效的掌握装置(腿),这是一种算法,可以通过构建大型有希望的掌握的小型活跃的掌握,并使用学习的信心范围来确定何时何时置信,它可以停止探索对象。实验表明,腿可以比不学习活动集的现有算法更有效地识别高质量的掌握。在仿真实验中,我们测量腿部和基线所识别的最佳掌握的成功概率与真正最强大的掌握的最佳差距。经过3000个探索步骤后,腿部优于14个Dex-Net对手的10个中的基线算法和39 egad的25个!对象。然后,我们开发一个自我监督的掌握系统,机器人探讨了人类干预最小的掌握。 3对象的物理实验表明,腿将从基线收敛到高性能的GRASPS比基线更快。有关补充材料和视频,请参阅\ url {https://sites.google.com/view/legs-exp-grasping}。
translated by 谷歌翻译
最近的工作表明,2臂“ Fling”运动对于服装平滑可能是有效的。我们考虑单臂弹性运动。与几乎不需要机器人轨迹参数调整的2臂fling运动不同,单臂fling运动对轨迹参数很敏感。我们考虑一个单一的6多机器人臂,该机器人臂学习跨越轨迹以实现高衣覆盖率。给定服装抓握点,机器人在物理实验中探索了不同的参数化fling轨迹。为了提高学习效率,我们提出了一种粗到精细的学习方法,该方法首先使用多军匪徒(MAB)框架有效地找到候选动作,然后通过连续优化方法来完善。此外,我们提出了基于Fling Fall结果不确定性的新颖培训和执行时间停止标准。与基线相比,我们表明所提出的方法显着加速学习。此外,由于通过自学人员收集的类似服装的先前经验,新服装的MAB学习时间最多减少了87%。我们评估了6种服装类型:毛巾,T恤,长袖衬衫,礼服,汗衫和牛仔裤。结果表明,使用先前的经验,机器人需要30分钟以下的时间才能为达到60-94%覆盖率的新型服装学习一项动作。
translated by 谷歌翻译
非结构化环境中的多步操纵任务对于学习的机器人来说非常具有挑战性。这些任务相互作用,包括可以获得的预期状态,可以实现整体任务和低级推理,以确定哪些行动将产生这些国家。我们提出了一种无模型的深度加强学习方法来学习多步理操作任务。我们介绍了一个基于视觉的模型架构的机器人操纵网络(ROMANNET),以了解动作值函数并预测操纵操作候选。我们定义基于Gaussian(TPG)奖励函数的任务进度,基于导致成功的动作原语的行动和实现整体任务目标的进展来计算奖励。为了平衡探索/剥削的比率,我们介绍了一个损失调整后的探索(LAE)政策,根据亏损估计的Boltzmann分配来确定来自行动候选人的行动。我们通过培训ROMANNET来展示我们方法的有效性,以了解模拟和现实世界中的几个挑战的多步机械管理任务。实验结果表明,我们的方法优于现有的方法,并在成功率和行动效率方面实现了最先进的性能。消融研究表明,TPG和LAE对多个块堆叠的任务特别有益。代码可用:https://github.com/skumra/romannet
translated by 谷歌翻译
我们研究机器人如何自主学习需要联合导航和抓握的技能。虽然原则上的加固学习提供自动机器人技能学习,但在实践中,在现实世界中的加固学习是挑战性的,并且往往需要大量的仪器和监督。我们的宗旨是以无论没有人为干预的自主方式,设计用于学习导航和操纵的机器人强化学习系统,在没有人为干预的情况下,在现实的假设下实现持续学习。我们建议的系统relmm,可以在没有任何环境仪器的现实世界平台上不断学习,没有人为干预,而无需访问特权信息,例如地图,对象位置或环境的全局视图。我们的方法采用模块化策略与组件进行操纵和导航,其中操纵政策不确定性驱动导航控制器的探索,操作模块为导航提供奖励。我们在房间清理任务上评估我们的方法,机器人必须导航到并拾取散落在地板上的物品。在掌握课程训练阶段之后,relmm可以在自动真实培训的大约40小时内自动学习导航并完全抓住。
translated by 谷歌翻译
我们提出了GRASP提案网络(GP-NET),这是一种卷积神经网络模型,可以为移动操纵器生成6-DOF GRASP。为了训练GP-NET,我们合成生成一个包含深度图像和地面真相掌握信息的数据集,以供超过1400个对象。在现实世界实验中,我们使用egad!掌握基准测试,以评估两种常用算法的GP-NET,即体积抓地力网络(VGN)和在PAL TIAGO移动操纵器上进行的GRASP抓取网络(VGN)和GRASP姿势检测包(GPD)。GP-NET的掌握率为82.2%,而VGN为57.8%,GPD的成功率为63.3%。与机器人握把中最新的方法相反,GP-NET可以在不限制工作空间的情况下使用移动操纵器抓住对象,用于抓住对象,需要桌子进行分割或需要高端GPU。为了鼓励使用GP-NET,我们在https://aucoroboticsmu.github.io/gp-net/上提供ROS包以及我们的代码和预培训模型。
translated by 谷歌翻译
机器人外科助理(RSAs)通常用于通过专家外科医生进行微创手术。然而,长期以来充满了乏味和重复的任务,如缝合可以导致外科医生疲劳,激励缝合的自动化。随着薄反射针的视觉跟踪极具挑战性,在未反射对比涂料的情况下修改了针。作为朝向无修改针的缝合子任务自动化的步骤,我们提出了休斯顿:切换未经修改,外科手术,工具障碍针,一个问题和算法,它使用学习的主动传感策略与立体声相机本地化并对齐针头进入另一臂的可见和可访问的姿势。为了补偿机器人定位和针头感知误差,然后算法执行使用多个摄像机的高精度抓握运动。在使用Da Vinci研究套件(DVRK)的物理实验中,休斯顿成功通过了96.7%的成功率,并且能够在故障前平均地在臂32.4倍之间顺序地执行切换。在培训中看不见的针头,休斯顿实现了75-92.9%的成功率。据我们所知,这项工作是第一个研究未修改的手术针的切换。查看https://tinyurl.com/huston-surgery用于额外​​的材料。
translated by 谷歌翻译
抓握是通过在一组触点上施加力和扭矩来挑选对象的过程。深度学习方法的最新进展允许在机器人对象抓地力方面快速进步。我们在过去十年中系统地调查了出版物,特别感兴趣使用最终效果姿势的所有6度自由度抓住对象。我们的综述发现了四种用于机器人抓钩的常见方法:基于抽样的方法,直接回归,强化学习和示例方法。此外,我们发现了围绕抓握的两种“支持方法”,这些方法使用深入学习来支持抓握过程,形状近似和负担能力。我们已经将本系统评论(85篇论文)中发现的出版物提炼为十个关键要点,我们认为对未来的机器人抓握和操纵研究至关重要。该调查的在线版本可从https://rhys-newbury.github.io/projects/6dof/获得
translated by 谷歌翻译
从混乱中挑选特定对象是许多操纵任务的重要组成部分。部分观察结果通常要求机器人在尝试掌握之前收集场景的其他观点。本文提出了一个闭环的下一次最佳策划者,该计划者根据遮挡的对象零件驱动探索。通过不断从最新场景重建中预测抓地力,我们的政策可以在线决定最终确定执行或适应机器人的轨迹以进行进一步探索。我们表明,与常见的相机位置和处理固定基线失败的情况相比,我们的反应性方法会减少执行时间而不会丢失掌握成功率。视频和代码可在https://github.com/ethz-asl/active_grasp上找到。
translated by 谷歌翻译
我们考虑了一个新的问题,其中多个刚性凸的多边形物体位于从顶部摄像机可见的平面表面上随机放置的位置和方向。目的是使用多对象的按钮有效地将所有对象掌握到垃圾箱中,其中将多个对象推在一起以促进多对象抓握。我们为无摩擦的多对象推格程序提供了必要的条件,并将其应用于新颖的多对象抓紧计划器中的不可接受的grasps。我们发现我们的计划者比Mujoco模拟器基线快19倍。我们还提出了一种使用单对象和多对象抓取对象的选择算法。在将性能与单对象拾取基线进行比较的物理抓握实验中,我们发现无摩擦的多对象握把系统获得了13.6 \%的掌握成功,并且更快的速度为59.9 \%,从212 pph到340 pph。有关视频和代码,请参见\ url {https://sites.google.com/view/multi-object-grasping}。
translated by 谷歌翻译
在密集的混乱中抓住是自动机器人的一项基本技能。但是,在混乱的情况下,拥挤性和遮挡造成了很大的困难,无法在没有碰撞的情况下产生有效的掌握姿势,这会导致低效率和高失败率。为了解决这些问题,我们提出了一个名为GE-GRASP的通用框架,用于在密集的混乱中用于机器人运动计划,在此,我们利用各种动作原始素来遮挡对象去除,并呈现发电机 - 评估器架构以避免空间碰撞。因此,我们的ge-grasp能够有效地抓住密集的杂物中的物体,并有希望的成功率。具体而言,我们定义了三个动作基础:面向目标的抓握,用于捕获,推动和非目标的抓握,以减少拥挤和遮挡。发电机有效地提供了参考空间信息的各种动作候选者。同时,评估人员评估了所选行动原始候选者,其中最佳动作由机器人实施。在模拟和现实世界中进行的广泛实验表明,我们的方法在运动效率和成功率方面优于杂乱无章的最新方法。此外,我们在现实世界中实现了可比的性能,因为在模拟环境中,这表明我们的GE-Grasp具有强大的概括能力。补充材料可在以下网址获得:https://github.com/captainwudaokou/ge-grasp。
translated by 谷歌翻译
我们提出了一种新型的平行蒙特卡洛树搜索,该搜索具有批处理模拟(PMB)算法,用于加速长马,情节的机器人计划任务。蒙特卡洛树搜索(MCTS)是一种有效的启发式搜索算法,用于解决以下搜索空间的情节决策问题。 PMB利用基于GPU的大规模模拟器,通过批处理执行大量并发模拟来解决计划任务,以解决计划任务,以便对大型的大型成本进行更有效,更准确的评估。动作空间。与串行MCT实现相比,PMB应用于杂物从混乱中的具有挑战性的操纵任务时,具有改进的解决方案质量的速度超过30 \ times $。我们表明,PMB可以直接应用于具有可忽略的SIM到运行差异的真实机器人硬件。可以在https://github.com/arc-l/pmbs上找到补充材料,包括视频。
translated by 谷歌翻译
Reliably planning fingertip grasps for multi-fingered hands lies as a key challenge for many tasks including tool use, insertion, and dexterous in-hand manipulation. This task becomes even more difficult when the robot lacks an accurate model of the object to be grasped. Tactile sensing offers a promising approach to account for uncertainties in object shape. However, current robotic hands tend to lack full tactile coverage. As such, a problem arises of how to plan and execute grasps for multi-fingered hands such that contact is made with the area covered by the tactile sensors. To address this issue, we propose an approach to grasp planning that explicitly reasons about where the fingertips should contact the estimated object surface while maximizing the probability of grasp success. Key to our method's success is the use of visual surface estimation for initial planning to encode the contact constraint. The robot then executes this plan using a tactile-feedback controller that enables the robot to adapt to online estimates of the object's surface to correct for errors in the initial plan. Importantly, the robot never explicitly integrates object pose or surface estimates between visual and tactile sensing, instead it uses the two modalities in complementary ways. Vision guides the robots motion prior to contact; touch updates the plan when contact occurs differently than predicted from vision. We show that our method successfully synthesises and executes precision grasps for previously unseen objects using surface estimates from a single camera view. Further, our approach outperforms a state of the art multi-fingered grasp planner, while also beating several baselines we propose.
translated by 谷歌翻译
电缆在许多环境中无处不在,但容易出现自我闭合和结,使它们难以感知和操纵。挑战通常会随着电缆长度而增加:长电缆需要更复杂的松弛管理和策略,以促进可观察性和可及性。在本文中,我们专注于使用双边机器人自动弄清长达3米的电缆。我们开发了新的运动原语,以有效地解开长电缆和专门用于此任务的新型Gripper Jaws。我们提出了缠结操作(SGTM)的滑动和抓握,该算法将这些原始物与RGBD视觉构成迭代性毫无障碍。SGTM在隔离的外手上取消了67%的成功率,图8节和更复杂的配置上的50%。可以在https://sites.google.com/view/rss-2022-untangling/home上找到补充材料,可视化和视频。
translated by 谷歌翻译
机器人经常面临抓住目标对象的情况,但由于其他当前物体阻止了掌握动作。我们提出了一种深入的强化学习方法,以学习掌握和推动政策,以在高度混乱的环境中操纵目标对象以解决这个问题。特别是,提出了双重强化学习模型方法,该方法在处理复杂场景时具有很高的弹性,在模拟环境中使用原始对象平均达到98%的任务完成。为了评估所提出方法的性能,我们在包装对象和一堆对象方案中进行了两组实验集,在模拟中总共进行了1000个测试。实验结果表明,该提出的方法在各种情况下都效果很好,并且表现出了最新的最新方法。演示视频,训练有素的模型和源代码可重复可重复性目的。 https://github.com/kamalnl92/self-superist-learning-for-pushing-and-grasping。
translated by 谷歌翻译
We describe a learning-based approach to handeye coordination for robotic grasping from monocular images. To learn hand-eye coordination for grasping, we trained a large convolutional neural network to predict the probability that task-space motion of the gripper will result in successful grasps, using only monocular camera images and independently of camera calibration or the current robot pose. This requires the network to observe the spatial relationship between the gripper and objects in the scene, thus learning hand-eye coordination. We then use this network to servo the gripper in real time to achieve successful grasps. To train our network, we collected over 800,000 grasp attempts over the course of two months, using between 6 and 14 robotic manipulators at any given time, with differences in camera placement and hardware. Our experimental evaluation demonstrates that our method achieves effective real-time control, can successfully grasp novel objects, and corrects mistakes by continuous servoing.
translated by 谷歌翻译
嘈杂的传感,不完美的控制和环境变化是许多现实世界机器人任务的定义特征。部分可观察到的马尔可夫决策过程(POMDP)提供了一个原则上的数学框架,用于建模和解决不确定性下的机器人决策和控制任务。在过去的十年中,它看到了许多成功的应用程序,涵盖了本地化和导航,搜索和跟踪,自动驾驶,多机器人系统,操纵和人类机器人交互。这项调查旨在弥合POMDP模型的开发与算法之间的差距,以及针对另一端的不同机器人决策任务的应用。它分析了这些任务的特征,并将它们与POMDP框架的数学和算法属性联系起来,以进行有效的建模和解决方案。对于从业者来说,调查提供了一些关键任务特征,以决定何时以及如何成功地将POMDP应用于机器人任务。对于POMDP算法设计师,该调查为将POMDP应用于机器人系统的独特挑战提供了新的见解,并指出了有希望的新方向进行进一步研究。
translated by 谷歌翻译
折叠服装可靠,有效地是由于服装的复杂动力学和高尺寸配置空间,在机器人操作中是一项漫长的挑战。一种直观的方法是最初在折叠之前将服装操纵到典型的平滑配置。在这项工作中,我们开发了一种可靠且高效的双人系统,将用户定义的指令视为折叠线,将最初弄皱的服装操纵为(1)平滑和(2)折叠配置。我们的主要贡献是一种新型的神经网络体系结构,能够预测成对的握把姿势,以参数化各种双人动作原始序列。在从4300次人类注销和自我监督的动作中学习后,机器人能够平均从120年代以下的随机初始配置折叠服装,成功率为93%。现实世界实验表明,该系统能够概括到不同颜色,形状和刚度的服装。虽然先前的工作每小时达到3-6倍(FPH),但SpeedFolding却达到30-40 FPH。
translated by 谷歌翻译
如今,机器人在我们的日常生活中起着越来越重要的作用。在以人为本的环境中,机器人经常会遇到成堆的对象,包装的项目或孤立的对象。因此,机器人必须能够在各种情况下掌握和操纵不同的物体,以帮助人类进行日常任务。在本文中,我们提出了一种多视图深度学习方法,以处理以人为中心的域中抓住强大的对象。特别是,我们的方法将任意对象的点云作为输入,然后生成给定对象的拼字图。获得的视图最终用于估计每个对象的像素抓握合成。我们使用小对象抓住数据集训练模型端到端,并在模拟和现实世界数据上对其进行测试,而无需进行任何进一步的微调。为了评估所提出方法的性能,我们在三种情况下进行了广泛的实验集,包括孤立的对象,包装的项目和一堆对象。实验结果表明,我们的方法在所有仿真和现实机器人方案中都表现出色,并且能够在各种场景配置中实现新颖对象的可靠闭环抓握。
translated by 谷歌翻译
当代掌握检测方法采用深度学习,实现传感器和物体模型不确定性的鲁棒性。这两个主导的方法设计了掌握质量评分或基于锚的掌握识别网络。本文通过将其视为图像空间中的关键点检测来掌握掌握检测的不同方法。深网络检测每个掌握候选者作为一对关键点,可转换为掌握代表= {x,y,w,{\ theta}} t,而不是转角点的三态或四重奏。通过将关键点分组成对来降低检测难度提高性能。为了促进捕获关键点之间的依赖关系,将非本地模块结合到网络设计中。基于离散和连续定向预测的最终过滤策略消除了错误的对应关系,并进一步提高了掌握检测性能。此处提出的方法GKNET在康奈尔和伸缩的提花数据集上的精度和速度之间实现了良好的平衡(在41.67和23.26 fps的96.9%和98.39%)之间。操纵器上的后续实验使用4种类型的抓取实验来评估GKNet,反映不同滋扰的速度:静态抓握,动态抓握,在各种相机角度抓住,夹住。 GKNet优于静态和动态掌握实验中的参考基线,同时表现出变化的相机观点和中度杂波的稳健性。结果证实了掌握关键点是深度掌握网络的有效输出表示的假设,为预期的滋扰因素提供鲁棒性。
translated by 谷歌翻译
Generating grasp poses is a crucial component for any robot object manipulation task. In this work, we formulate the problem of grasp generation as sampling a set of grasps using a variational autoencoder and assess and refine the sampled grasps using a grasp evaluator model. Both Grasp Sampler and Grasp Refinement networks take 3D point clouds observed by a depth camera as input. We evaluate our approach in simulation and real-world robot experiments. Our approach achieves 88% success rate on various commonly used objects with diverse appearances, scales, and weights. Our model is trained purely in simulation and works in the real world without any extra steps. The video of our experiments can be found here.
translated by 谷歌翻译