在本文中，我们提出了一种新的动作计划方法，将长线性弹性对象自动包装到具有双层机器人系统的常用盒中。为此，我们开发了一个混合几何模型，以处理结合基于在线视觉的方法和离线参考模板的大规模遮挡。然后，引入一个参考点发生器以自动计划预先设计的动作原始基底的参考姿势。最后，一个行动计划者集成了这些组件，以实现高级行为的执行以及包装操纵任务的完成。为了验证提出的方法，我们进行了一项详细的实验研究，其中有多种类型和长度的物体和包装盒。
translated by 谷歌翻译
As the basis for prehensile manipulation, it is vital to enable robots to grasp as robustly as humans. In daily manipulation, our grasping system is prompt, accurate, flexible and continuous across spatial and temporal domains. Few existing methods cover all these properties for robot grasping. In this paper, we propose a new methodology for grasp perception to enable robots these abilities. Specifically, we develop a dense supervision strategy with real perception and analytic labels in the spatial-temporal domain. Additional awareness of objects' center-of-mass is incorporated into the learning process to help improve grasping stability. Utilization of grasp correspondence across observations enables dynamic grasp tracking. Our model, AnyGrasp, can generate accurate, full-DoF, dense and temporally-smooth grasp poses efficiently, and works robustly against large depth sensing noise. Embedded with AnyGrasp, we achieve a 93.3% success rate when clearing bins with over 300 unseen objects, which is comparable with human subjects under controlled conditions. Over 900 MPPH is reported on a single-arm system. For dynamic grasping, we demonstrate catching swimming robot fish in the water.
translated by 谷歌翻译
电缆在许多环境中无处不在，但容易出现自我闭合和结，使它们难以感知和操纵。挑战通常会随着电缆长度而增加：长电缆需要更复杂的松弛管理和策略，以促进可观察性和可及性。在本文中，我们专注于使用双边机器人自动弄清长达3米的电缆。我们开发了新的运动原语，以有效地解开长电缆和专门用于此任务的新型Gripper Jaws。我们提出了缠结操作（SGTM）的滑动和抓握，该算法将这些原始物与RGBD视觉构成迭代性毫无障碍。SGTM在隔离的外手上取消了67％的成功率，图8节和更复杂的配置上的50％。可以在https://sites.google.com/view/rss-2022-untangling/home上找到补充材料，可视化和视频。
translated by 谷歌翻译
机器人需要在约束环境（例如架子和橱柜）中操纵物体，以帮助人类在房屋和办公室等日常设置中。这些限制因减少掌握能力而变得难以操纵，因此机器人需要使用非忽视策略来利用对象环境联系来执行操纵任务。为了应对在这种情况下规划和控制接触性富裕行为的挑战，该工作使用混合力量速度控制器（HFVC）作为技能表示和计划的技能序列，并使用学到的先决条件进行了计划。尽管HFVC自然能够实现稳健且合规的富裕行为，但合成它们的求解器传统上依赖于精确的对象模型和对物体姿势的闭环反馈，这些反馈因遮挡而在约束环境中很难获得。我们首先使用HFVC综合框架放松了HFVC对精确模型和反馈的需求，然后学习一个基于点云的前提函数，以对HFVC执行仍将成功地进行分类，尽管建模不正确。最后，我们在基于搜索的任务计划者中使用学到的前提来完成货架域中的接触式操纵任务。我们的方法达到了$ 73.2 \％$的任务成功率，表现优于基线实现的$ 51.5 \％$，而没有学习的先决条件。在模拟中训练了前提函数时，它也可以转移到现实世界中，而无需进行其他微调。
translated by 谷歌翻译
抓握是通过在一组触点上施加力和扭矩来挑选对象的过程。深度学习方法的最新进展允许在机器人对象抓地力方面快速进步。我们在过去十年中系统地调查了出版物，特别感兴趣使用最终效果姿势的所有6度自由度抓住对象。我们的综述发现了四种用于机器人抓钩的常见方法：基于抽样的方法，直接回归，强化学习和示例方法。此外，我们发现了围绕抓握的两种“支持方法”，这些方法使用深入学习来支持抓握过程，形状近似和负担能力。我们已经将本系统评论（85篇论文）中发现的出版物提炼为十个关键要点，我们认为对未来的机器人抓握和操纵研究至关重要。该调查的在线版本可从https://rhys-newbury.github.io/projects/6dof/获得
translated by 谷歌翻译
我们介绍了一个机器人组装系统，该系统简化了从产品组件的CAD模型到完整编程和自适应组装过程的设计对制造工作流程。我们的系统（在CAD工具中）捕获了特定机器人工作电脑组装过程的意图，并生成了任务级指令的配方。通过将视觉传感与深度学习的感知模型相结合，机器人推断出从生成的配方中组装设计的必要动作。感知模型是直接从模拟训练的，从而使系统可以根据CAD信息识别各个部分。我们用两个机器人的工作栏演示了系统，以组装互锁的3D零件设计。我们首先在模拟中构建和调整组装过程，并验证生成的食谱。最后，真正的机器人工作电池使用相同的行为组装了设计。
translated by 谷歌翻译
使机器人能够靠近人类工作，需要一个控制框架，该框架不仅包括用于自主和协调的交互的多感官信息，而且还具有感知的任务计划，以确保适应性和灵活的协作行为。在这项研究中，提出了一种直观的任务堆叠（ISOT）制剂，通过考虑人臂姿势和任务进展来定义机器人的动作。该框架以visuo-tactive信息增强，以有效地了解协作环境，直观地在计划的子任务之间切换。来自深度摄像机的视觉反馈监视并估计物体的姿势和人臂姿势，而触觉数据提供勘探技能以检测和维持所需的触点以避免物体滑动。为了评估由人类和人机合作伙伴执行的所提出的框架，装配和拆卸任务的性能，有效性和可用性，使用不同的评估指标进行考虑和分析，方法适应，掌握校正，任务协调延迟，累积姿势偏差，以及任务重复性。
translated by 谷歌翻译
本文介绍了Apamant，这是一组软件模块，可为现有的机器人计划和控制软件框架提供掌握计划功能。我们提出的工作允许用户调整操作任务，以在不同的情况下使用最小的用户输入，从而减少操作员的认知负载。开发的工具包括（1）基于插件的组件，使得易于扩展默认功能并使用第三方Grasp库，（2）以对象为中心的方式来定义任务约束，（3）用户友好的RVIZ接口使用GRASP计划者实用程序，以及（4）使用感知数据来编程任务的交互式工具。我们在各种机器人模拟上测试了框架。
translated by 谷歌翻译
2022-05-09
我们探索一种新的方法来感知和操纵3D铰接式物体，该物体可以概括地使机器人阐明看不见的对象。我们提出了一个基于视觉的系统，该系统学会预测各种铰接物体的各个部分的潜在运动，以指导系统的下游运动计划以表达对象。为了预测对象运动，我们训练一个神经网络，以输出一个密集的向量场，代表点云中点云中点的点运动方向。然后，我们根据该向量领域部署一个分析运动计划者，以实现产生最大发音的政策。我们完全在模拟中训练视觉系统，并演示了系统在模拟和现实世界中概括的对象实例和新颖类别的能力，并将我们的政策部署在没有任何填充的锯耶机器人上。结果表明，我们的系统在模拟和现实世界实验中都达到了最先进的性能。
translated by 谷歌翻译
在本文中，我们提出了一种通用的统一跟踪方法，用于使用机器人臂控制弹性可变形物体的形状。我们的方法是通过在对象周围形成晶格，将对象绑定到晶格，并跟踪和伺服晶格而不是对象来起作用。这使我们的方法对任何通用形式的可变形物体（线性，薄壳，体积）具有完整的3D控制。此外，它将方法的运行时复杂性与对象的几何复杂性分解。我们的方法基于可行的（ARAP）变形模型。它不需要知道对象的机械参数，并且可以通过大变形将对象驱动到所需的形状。我们方法的输入是对象表面的静止形状的点云，并且每个帧中的3D摄像头捕获了点云。 Ovearll，我们的方法比现有方法更广泛地适用。我们通过各种形状和材料（纸，橡胶，塑料，泡沫）的可变形物体进行多种实验来验证方法的效率。实验视频可在项目网站上找到：https：//sites.google.com/view/tracking-servoing-apphach。
translated by 谷歌翻译
用机器人手操纵物体是一项复杂的任务。不仅需要协调手指，而且机器人最终效应器的姿势也需要协调。使用人类的运动演示是指导机器人行为的直观和数据效率的方式。我们提出了一个具有自动实施例映射的模块化框架，以将记录的人体运动转移到机器人系统中。在这项工作中，我们使用运动捕获来记录人类运动。我们在八项具有挑战性的任务上评估了我们的方法，其中机器人手需要掌握和操纵可变形或小且脆弱的物体。我们测试了模拟和实际机器人中的轨迹子集，并且整体成功率是一致的。
translated by 谷歌翻译
2021-11-07
操纵铰接对象通常需要多个机器人臂。使多个机器人武器能够在铰接物体上协作地完成操纵任务是一项挑战性。在本文中，我们呈现$ \ textbf {v-mao} $，这是一个学习铰接物体的多臂操纵的框架。我们的框架包括一个变分生成模型，可以为每个机器人臂的物体刚性零件学习接触点分布。从与模拟环境的交互获得训练信号，该模拟环境是通过规划和用于铰接对象的对象控制的新颖制定的新颖制定。我们在定制的Mujoco仿真环境中部署了我们的框架，并证明我们的框架在六种不同的对象和两个不同的机器人上实现了高成功率。我们还表明，生成建模可以有效地学习铰接物体上的接触点分布。
translated by 谷歌翻译
如今，机器人在我们的日常生活中起着越来越重要的作用。在以人为本的环境中，机器人经常会遇到成堆的对象，包装的项目或孤立的对象。因此，机器人必须能够在各种情况下掌握和操纵不同的物体，以帮助人类进行日常任务。在本文中，我们提出了一种多视图深度学习方法，以处理以人为中心的域中抓住强大的对象。特别是，我们的方法将任意对象的点云作为输入，然后生成给定对象的拼字图。获得的视图最终用于估计每个对象的像素抓握合成。我们使用小对象抓住数据集训练模型端到端，并在模拟和现实世界数据上对其进行测试，而无需进行任何进一步的微调。为了评估所提出方法的性能，我们在三种情况下进行了广泛的实验集，包括孤立的对象，包装的项目和一堆对象。实验结果表明，我们的方法在所有仿真和现实机器人方案中都表现出色，并且能够在各种场景配置中实现新颖对象的可靠闭环抓握。
translated by 谷歌翻译
休眠季节葡萄树修剪需要熟练的季节性工人，这在冬季变得越来越缺乏。随着在短期季节性招聘文化和低工资的短期季节性招聘文化和低工资的时间内，随着工人更少的葡萄藤，葡萄藤往往被修剪不一致地导致葡萄化物不平衡。除此之外，目前现有的机械方法无法选择性地修剪葡萄园和手动后续操作，通常需要进一步提高生产成本。在本文中，我们展示了崎岖，全自治机器人的设计和田间评估，用于休眠季节葡萄园的端到最终修剪。该设计的设计包括新颖的相机系统，运动冗余机械手，地面机器人和在感知系统中的新颖算法。所提出的研究原型机器人系统能够在213秒/葡萄藤中完全从两侧刺激一排藤蔓，总修枝精度为87％。与机械预灌浆试验相比，商业葡萄园中自治系统的初始现场测试显示出休眠季节修剪的显着变化。在手稿中描述了设计方法，系统组件，经验教训，未来增强以及简要的经济分析。
translated by 谷歌翻译
本文介绍了一个用于电缆线束的自主垃圾衬板 - 一个极具挑战性的垃圾桶采摘任务。目前，由于其长度和难以捉摸的结构，目前的电缆线束不适合进口到自动化生产。考虑到机器人垃圾箱拾取的任务，其中线束严重纠缠在一起，使用传统的箱拣选方法将机器人挑选一个机器人挑战。在本文中，我们提出了一种克服缠结易受零件时克服困难的有效方法。我们为机器人开发了几种运动方案，以拾取单个线束，避免任何缠结。此外，我们提出了一种基于学习的垃圾箱采摘策略，可在合理的顺序中选择掌握和设计的运动方案。由于用于充分解决拣选杂乱电缆线束中的缠结问题，我们的方法是独一无二的。我们在一组现实世界实验中展示了我们的方法，在此期间，该方法能够在各种杂乱的场景下具有效率和准确性的顺序箱拣选任务。
translated by 谷歌翻译
本文介绍了一种新型的分布式灵巧操纵器：三角洲阵列。每个三角洲阵列都由线性驱动的三角形机器人的网格组成，并具有符合性的3D打印的平行四边形链接。这些阵列可用于执行类似于智能输送机的平面运输任务。但是，三角洲的额外自由度也提供了各种不同的平面操作，以及在三角洲集合之间的预感。因此，三角洲阵列提供了广泛的分布式操作策略。在本文中，我们介绍了三角阵列的设计，包括单个三角洲，模块化阵列结构以及分布式通信和控制。我们还使用拟议的设计构建和评估了8x8阵列。我们的评估表明，由此产生的192 DOF机器人能够对各种对象进行各种协调的分布操作，包括翻译，对齐和预性挤压。
translated by 谷歌翻译
机器人外科助理（RSAs）通常用于通过专家外科医生进行微创手术。然而，长期以来充满了乏味和重复的任务，如缝合可以导致外科医生疲劳，激励缝合的自动化。随着薄反射针的视觉跟踪极具挑战性，在未反射对比涂料的情况下修改了针。作为朝向无修改针的缝合子任务自动化的步骤，我们提出了休斯顿：切换未经修改，外科手术，工具障碍针，一个问题和算法，它使用学习的主动传感策略与立体声相机本地化并对齐针头进入另一臂的可见和可访问的姿势。为了补偿机器人定位和针头感知误差，然后算法执行使用多个摄像机的高精度抓握运动。在使用Da Vinci研究套件（DVRK）的物理实验中，休斯顿成功通过了96.7％的成功率，并且能够在故障前平均地在臂32.4倍之间顺序地执行切换。在培训中看不见的针头，休斯顿实现了75-92.9％的成功率。据我们所知，这项工作是第一个研究未修改的手术针的切换。查看https://tinyurl.com/huston-surgery用于额外的材料。
translated by 谷歌翻译
形状通知如何将对象掌握，无论是如何以及如何。因此，本文介绍了一种基于分割的架构，用于将用深度摄像机进行分解为多个基本形状的对象，以及用于机器人抓握的后处理管道。分段采用深度网络，称为PS-CNN，在具有6个类的原始形状和使用模拟引擎生成的合成数据上培训。每个原始形状都设计有参数化掌握家族，允许管道识别每个形状区域的多个掌握候选者。掌握是排序的排名，选择用于执行的第一个可行的。对于无任务掌握单个对象，该方法达到94.2％的成功率将其放置在顶部执行掌握方法中，与自上而下和SE（3）基础相比。涉及变量观点和杂波的其他测试展示了设置的鲁棒性。对于面向任务的掌握，PS-CNN实现了93.0％的成功率。总体而言，结果支持该假设，即在抓地管道内明确地编码形状原语应该提高掌握性能，包括无任务和任务相关的掌握预测。
translated by 谷歌翻译
在本报告中，我们提出了在哥斯达黎加太平洋架子和圣托里尼 - Kolumbo Caldera Complex中，在寻找寿命中的寻找寿命任务中的自主海洋机器人技术协调，操作策略和结果。它作为可能存在于海洋超越地球的环境中的类似物。本报告侧重于ROV操纵器操作的自动化，用于从海底获取有针对性的生物样品收集和返回的。在未来的外星勘查任务到海洋世界的背景下，ROV是一个模拟的行星着陆器，必须能够有能力的高水平自主权。我们的田间试验涉及两个水下车辆，冰（Nui）杂交ROV的两个水下车辆（即，龙眼或自主）任务，都配备了7-DOF液压机械手。我们描述了一种适应性，硬件无关的计算机视觉架构，可实现高级自动化操作。 Vision系统提供了对工作空间的3D理解，以便在复杂的非结构化环境中通知操纵器运动计划。我们展示了视觉系统和控制框架通过越来越具有挑战性的环境中的现场试验的有效性，包括来自活性Undersea火山，Kolumbo内的自动收集和生物样品的回报。根据我们在该领域的经验，我们讨论了我们的系统的表现，并确定了未来研究的有希望的指示。
translated by 谷歌翻译
机器人的大多数对象操纵策略都是基于以下假设：对象是刚性（即具有固定几何形状），并且目标的细节已完全指定（例如，确切的目标姿势）。但是，有许多任务涉及人类环境中的空间关系，这些条件可能难以满足，例如弯曲和将电缆放入未知容器中。为了在非结构化的环境中开发先进的机器人操纵功能，以避免这些假设，我们提出了一个新颖的长马框架，该框架利用了对比计划来寻找有希望的协作行动。使用随机操作收集的仿真数据，我们以对比方式学习一个嵌入模型，该模型从成功的体验中编码时空信息，从而通过在潜在空间中的聚类来促进次目标计划。基于基于KePoint对应的操作参数化，我们为双臂之间的协作设计了领导者追随者控制方案。我们政策的所有模型均经过模拟自动培训，可以直接传输到现实世界环境中。为了验证所提出的框架，我们对模拟和真实环境中的环境和可及性约束，对复杂场景进行了详细的实验研究。
translated by 谷歌翻译