2022-09-27
电缆在房屋，医院和工业仓库中很普遍，容易纠结。本文通过引入新颖的不确定性定量指标和与电缆相互作用以减少感知不确定性相互作用的新型不确定性定量指标和动作，扩展了对自动释放长电缆的先前工作。我们为Tangle操纵2.0（SGTM 2.0）提供了滑动和握力，该系统使用双边机器人自动解开大约3米长的电缆，并使用每个步骤的不确定性估算值估计，以告知动作。通过互动降低不确定性，缠结操作2.0（SGTM 2.0）的滑动和握住可以减少其必须采用的状态排列动作的数量，从而大大加快运行时间。实验表明，SGTM 2.0可以在1或2台上和图8节的电缆上取得83％的脱节成功，并且在这些配置中的70％终止检测成功，在无障碍精度上优于SGTM 1.0，超过43％，在全部推出速度上超过200％ 。可以在sites.google.com/view/sgtm2上找到补充材料，可视化和视频。
translated by 谷歌翻译
电缆在许多环境中无处不在，但容易出现自我闭合和结，使它们难以感知和操纵。挑战通常会随着电缆长度而增加：长电缆需要更复杂的松弛管理和策略，以促进可观察性和可及性。在本文中，我们专注于使用双边机器人自动弄清长达3米的电缆。我们开发了新的运动原语，以有效地解开长电缆和专门用于此任务的新型Gripper Jaws。我们提出了缠结操作（SGTM）的滑动和抓握，该算法将这些原始物与RGBD视觉构成迭代性毫无障碍。SGTM在隔离的外手上取消了67％的成功率，图8节和更复杂的配置上的50％。可以在https://sites.google.com/view/rss-2022-untangling/home上找到补充材料，可视化和视频。
translated by 谷歌翻译
Cloth in the real world is often crumpled, self-occluded, or folded in on itself such that key regions, such as corners, are not directly graspable, making manipulation difficult. We propose a system that leverages visual and tactile perception to unfold the cloth via grasping and sliding on edges. By doing so, the robot is able to grasp two adjacent corners, enabling subsequent manipulation tasks like folding or hanging. As components of this system, we develop tactile perception networks that classify whether an edge is grasped and estimate the pose of the edge. We use the edge classification network to supervise a visuotactile edge grasp affordance network that can grasp edges with a 90% success rate. Once an edge is grasped, we demonstrate that the robot can slide along the cloth to the adjacent corner using tactile pose estimation/control in real time. See http://nehasunil.com/visuotactile/visuotactile.html for videos.
translated by 谷歌翻译
机器人外科助理（RSAs）通常用于通过专家外科医生进行微创手术。然而，长期以来充满了乏味和重复的任务，如缝合可以导致外科医生疲劳，激励缝合的自动化。随着薄反射针的视觉跟踪极具挑战性，在未反射对比涂料的情况下修改了针。作为朝向无修改针的缝合子任务自动化的步骤，我们提出了休斯顿：切换未经修改，外科手术，工具障碍针，一个问题和算法，它使用学习的主动传感策略与立体声相机本地化并对齐针头进入另一臂的可见和可访问的姿势。为了补偿机器人定位和针头感知误差，然后算法执行使用多个摄像机的高精度抓握运动。在使用Da Vinci研究套件（DVRK）的物理实验中，休斯顿成功通过了96.7％的成功率，并且能够在故障前平均地在臂32.4倍之间顺序地执行切换。在培训中看不见的针头，休斯顿实现了75-92.9％的成功率。据我们所知，这项工作是第一个研究未修改的手术针的切换。查看https://tinyurl.com/huston-surgery用于额外的材料。
translated by 谷歌翻译
在密集的混乱中抓住是自动机器人的一项基本技能。但是，在混乱的情况下，拥挤性和遮挡造成了很大的困难，无法在没有碰撞的情况下产生有效的掌握姿势，这会导致低效率和高失败率。为了解决这些问题，我们提出了一个名为GE-GRASP的通用框架，用于在密集的混乱中用于机器人运动计划，在此，我们利用各种动作原始素来遮挡对象去除，并呈现发电机 - 评估器架构以避免空间碰撞。因此，我们的ge-grasp能够有效地抓住密集的杂物中的物体，并有希望的成功率。具体而言，我们定义了三个动作基础：面向目标的抓握，用于捕获，推动和非目标的抓握，以减少拥挤和遮挡。发电机有效地提供了参考空间信息的各种动作候选者。同时，评估人员评估了所选行动原始候选者，其中最佳动作由机器人实施。在模拟和现实世界中进行的广泛实验表明，我们的方法在运动效率和成功率方面优于杂乱无章的最新方法。此外，我们在现实世界中实现了可比的性能，因为在模拟环境中，这表明我们的GE-Grasp具有强大的概括能力。补充材料可在以下网址获得：https：//github.com/captainwudaokou/ge-grasp。
translated by 谷歌翻译
当代掌握检测方法采用深度学习，实现传感器和物体模型不确定性的鲁棒性。这两个主导的方法设计了掌握质量评分或基于锚的掌握识别网络。本文通过将其视为图像空间中的关键点检测来掌握掌握检测的不同方法。深网络检测每个掌握候选者作为一对关键点，可转换为掌握代表= {x，y，w，{\ theta}} t，而不是转角点的三态或四重奏。通过将关键点分组成对来降低检测难度提高性能。为了促进捕获关键点之间的依赖关系，将非本地模块结合到网络设计中。基于离散和连续定向预测的最终过滤策略消除了错误的对应关系，并进一步提高了掌握检测性能。此处提出的方法GKNET在康奈尔和伸缩的提花数据集上的精度和速度之间实现了良好的平衡（在41.67和23.26 fps的96.9％和98.39％）之间。操纵器上的后续实验使用4种类型的抓取实验来评估GKNet，反映不同滋扰的速度：静态抓握，动态抓握，在各种相机角度抓住，夹住。 GKNet优于静态和动态掌握实验中的参考基线，同时表现出变化的相机观点和中度杂波的稳健性。结果证实了掌握关键点是深度掌握网络的有效输出表示的假设，为预期的滋扰因素提供鲁棒性。
translated by 谷歌翻译
本文介绍了一个用于电缆线束的自主垃圾衬板 - 一个极具挑战性的垃圾桶采摘任务。目前，由于其长度和难以捉摸的结构，目前的电缆线束不适合进口到自动化生产。考虑到机器人垃圾箱拾取的任务，其中线束严重纠缠在一起，使用传统的箱拣选方法将机器人挑选一个机器人挑战。在本文中，我们提出了一种克服缠结易受零件时克服困难的有效方法。我们为机器人开发了几种运动方案，以拾取单个线束，避免任何缠结。此外，我们提出了一种基于学习的垃圾箱采摘策略，可在合理的顺序中选择掌握和设计的运动方案。由于用于充分解决拣选杂乱电缆线束中的缠结问题，我们的方法是独一无二的。我们在一组现实世界实验中展示了我们的方法，在此期间，该方法能够在各种杂乱的场景下具有效率和准确性的顺序箱拣选任务。
translated by 谷歌翻译
折叠服装可靠，有效地是由于服装的复杂动力学和高尺寸配置空间，在机器人操作中是一项漫长的挑战。一种直观的方法是最初在折叠之前将服装操纵到典型的平滑配置。在这项工作中，我们开发了一种可靠且高效的双人系统，将用户定义的指令视为折叠线，将最初弄皱的服装操纵为（1）平滑和（2）折叠配置。我们的主要贡献是一种新型的神经网络体系结构，能够预测成对的握把姿势，以参数化各种双人动作原始序列。在从4300次人类注销和自我监督的动作中学习后，机器人能够平均从120年代以下的随机初始配置折叠服装，成功率为93％。现实世界实验表明，该系统能够概括到不同颜色，形状和刚度的服装。虽然先前的工作每小时达到3-6倍（FPH），但SpeedFolding却达到30-40 FPH。
translated by 谷歌翻译
在现实世界中的机器人在现实环境中的许多可能的应用领域都铰接机器人掌握物体的能力。因此，机器人Grasping多年来一直是有效的研究领域。通过我们的出版物，我们有助于使机器人能够掌握，特别关注垃圾桶采摘应用。垃圾拣选尤其挑战，由于经常杂乱和非结构化的物体排列以及通过简单的顶部掌握的物体的频繁避免的避神。为了解决这些挑战，我们提出了一种基于软演员 - 评论家（SAC）的混合离散调整的完全自我监督的强化学习方法。我们使用参数化运动原语来推动和抓握运动，以便为我们考虑的困难设置启用灵活的适应行为。此外，我们使用数据增强来提高样本效率。我们证明了我们提出的关于具有挑战性的采摘情景的方法，其中平面掌握学习或行动离散化方法会面临很大困难
translated by 谷歌翻译
从混乱中挑选特定对象是许多操纵任务的重要组成部分。部分观察结果通常要求机器人在尝试掌握之前收集场景的其他观点。本文提出了一个闭环的下一次最佳策划者，该计划者根据遮挡的对象零件驱动探索。通过不断从最新场景重建中预测抓地力，我们的政策可以在线决定最终确定执行或适应机器人的轨迹以进行进一步探索。我们表明，与常见的相机位置和处理固定基线失败的情况相比，我们的反应性方法会减少执行时间而不会丢失掌握成功率。视频和代码可在https://github.com/ethz-asl/active_grasp上找到。
translated by 谷歌翻译
形状通知如何将对象掌握，无论是如何以及如何。因此，本文介绍了一种基于分割的架构，用于将用深度摄像机进行分解为多个基本形状的对象，以及用于机器人抓握的后处理管道。分段采用深度网络，称为PS-CNN，在具有6个类的原始形状和使用模拟引擎生成的合成数据上培训。每个原始形状都设计有参数化掌握家族，允许管道识别每个形状区域的多个掌握候选者。掌握是排序的排名，选择用于执行的第一个可行的。对于无任务掌握单个对象，该方法达到94.2％的成功率将其放置在顶部执行掌握方法中，与自上而下和SE（3）基础相比。涉及变量观点和杂波的其他测试展示了设置的鲁棒性。对于面向任务的掌握，PS-CNN实现了93.0％的成功率。总体而言，结果支持该假设，即在抓地管道内明确地编码形状原语应该提高掌握性能，包括无任务和任务相关的掌握预测。
translated by 谷歌翻译
如今，机器人在我们的日常生活中起着越来越重要的作用。在以人为本的环境中，机器人经常会遇到成堆的对象，包装的项目或孤立的对象。因此，机器人必须能够在各种情况下掌握和操纵不同的物体，以帮助人类进行日常任务。在本文中，我们提出了一种多视图深度学习方法，以处理以人为中心的域中抓住强大的对象。特别是，我们的方法将任意对象的点云作为输入，然后生成给定对象的拼字图。获得的视图最终用于估计每个对象的像素抓握合成。我们使用小对象抓住数据集训练模型端到端，并在模拟和现实世界数据上对其进行测试，而无需进行任何进一步的微调。为了评估所提出方法的性能，我们在三种情况下进行了广泛的实验集，包括孤立的对象，包装的项目和一堆对象。实验结果表明，我们的方法在所有仿真和现实机器人方案中都表现出色，并且能够在各种场景配置中实现新颖对象的可靠闭环抓握。
translated by 谷歌翻译
抓握是通过在一组触点上施加力和扭矩来挑选对象的过程。深度学习方法的最新进展允许在机器人对象抓地力方面快速进步。我们在过去十年中系统地调查了出版物，特别感兴趣使用最终效果姿势的所有6度自由度抓住对象。我们的综述发现了四种用于机器人抓钩的常见方法：基于抽样的方法，直接回归，强化学习和示例方法。此外，我们发现了围绕抓握的两种“支持方法”，这些方法使用深入学习来支持抓握过程，形状近似和负担能力。我们已经将本系统评论（85篇论文）中发现的出版物提炼为十个关键要点，我们认为对未来的机器人抓握和操纵研究至关重要。该调查的在线版本可从https://rhys-newbury.github.io/projects/6dof/获得
translated by 谷歌翻译
食品包装行业通常使用工厂工人手动包装的季节性成分。对于由体积或重量挑选的小型食物，倾向于使缠绕，棒或聚集在一起，很难预测他们从视觉检查中有多么交流，使其成为准确掌握必要目标大量的挑战。工人依赖于称重鳞片的组合和一系列复杂的操作，以分离食物并达到目标质量。这使得过程自动化是非琐碎的事件。在这项研究中，我们提出了一种结合1）预先抓住以降低缠结程度的方法，2）在掌握量大于掌握量时仔细丢弃多余的食物以调整抓住质量的缠绕。目标质量和3）选择抓取点以抓住可能合理地高于目标抓地质量的量。我们评估了各种食品的方法，缠绕，粘和丛的各种食物，每个食物具有不同的尺寸，形状和材料特性，例如体积质量密度。我们使用我们所提出的方法表现出掌握用户指定目标群众的准确性的显着改进。
translated by 谷歌翻译
布料的机器人操作的应用包括织物制造业到处理毯子和洗衣。布料操作对于机器人而言是挑战，这主要是由于它们的高度自由度，复杂的动力学和折叠或皱巴巴配置时的严重自我闭合。机器人操作的先前工作主要依赖于视觉传感器，这可能会对细粒度的操纵任务构成挑战，例如从一堆布上抓住所需数量的布料层。在本文中，我们建议将触觉传感用于布操作；我们将触觉传感器（Resin）连接到弗兰卡机器人的两个指尖之一，并训练分类器，以确定机器人是否正在抓住特定数量的布料层。在测试时间实验中，机器人使用此分类器作为其政策的一部分，使用触觉反馈来掌握一两个布层，以确定合适的握把。实验结果超过180次物理试验表明，与使用图像分类器的方法相比，所提出的方法优于不使用触觉反馈并具有更好地看不见布的基准。代码，数据和视频可在https://sites.google.com/view/reskin-cloth上找到。
translated by 谷歌翻译
As the basis for prehensile manipulation, it is vital to enable robots to grasp as robustly as humans. In daily manipulation, our grasping system is prompt, accurate, flexible and continuous across spatial and temporal domains. Few existing methods cover all these properties for robot grasping. In this paper, we propose a new methodology for grasp perception to enable robots these abilities. Specifically, we develop a dense supervision strategy with real perception and analytic labels in the spatial-temporal domain. Additional awareness of objects' center-of-mass is incorporated into the learning process to help improve grasping stability. Utilization of grasp correspondence across observations enables dynamic grasp tracking. Our model, AnyGrasp, can generate accurate, full-DoF, dense and temporally-smooth grasp poses efficiently, and works robustly against large depth sensing noise. Embedded with AnyGrasp, we achieve a 93.3% success rate when clearing bins with over 300 unseen objects, which is comparable with human subjects under controlled conditions. Over 900 MPPH is reported on a single-arm system. For dynamic grasping, we demonstrate catching swimming robot fish in the water.
translated by 谷歌翻译
非结构化环境中的多步操纵任务对于学习的机器人来说非常具有挑战性。这些任务相互作用，包括可以获得的预期状态，可以实现整体任务和低级推理，以确定哪些行动将产生这些国家。我们提出了一种无模型的深度加强学习方法来学习多步理操作任务。我们介绍了一个基于视觉的模型架构的机器人操纵网络（ROMANNET），以了解动作值函数并预测操纵操作候选。我们定义基于Gaussian（TPG）奖励函数的任务进度，基于导致成功的动作原语的行动和实现整体任务目标的进展来计算奖励。为了平衡探索/剥削的比率，我们介绍了一个损失调整后的探索（LAE）政策，根据亏损估计的Boltzmann分配来确定来自行动候选人的行动。我们通过培训ROMANNET来展示我们方法的有效性，以了解模拟和现实世界中的几个挑战的多步机械管理任务。实验结果表明，我们的方法优于现有的方法，并在成功率和行动效率方面实现了最先进的性能。消融研究表明，TPG和LAE对多个块堆叠的任务特别有益。代码可用：https：//github.com/skumra/romannet
translated by 谷歌翻译
人类广泛利用视觉和触摸作为互补的感官，视觉提供有关场景的全球信息，并在操纵过程中触摸当地信息而不会受到阻塞。在这项工作中，我们提出了一个新颖的框架，用于以一种自我监督的方式学习多任务视觉执行表示。我们设计了一种机制，该机制使机器人能够自主收集空间对齐的视觉和触觉数据，这是下游任务的关键属性。然后，我们使用交叉模式对比损失训练视觉和触觉编码器将这些配对的感觉输入嵌入共享潜在空间中。对学习的表示形式进行评估，而无需对5个感知和控制任务进行微调，涉及可变形表面：触觉分类，接触定位，异常检测（例如，手术幻影肿瘤触诊），触觉搜索，例如，视觉疑问（例如，在遮挡的情况下，都可以从视觉询问中进行触觉搜索），以及沿布边缘和电缆的触觉伺服。博学的表示形式在毛巾功能分类上达到了80％的成功率，手术材料中异常检测的平均成功率为73％，视觉引导触觉搜索的平均成功率和87.8％的平均伺服距离沿电缆和服装的平均伺服距离为87.8％。接缝。这些结果表明，学习的表示形式的灵活性，并朝着对机器人控制的任务不合时宜的视觉表达表示迈出了一步。
translated by 谷歌翻译
机器人操纵的最新工作集中在遮挡下混乱空间中的物体检索。然而，大多数努力都缺乏对方法完整性的条件分析，或者仅在可以从工作空间中删除对象时，这些方法仅适用。这项工作制定了一般的，闭塞感知的操纵任务，并专注于在限制空间内与现场重排的安全对象重建。它提出了一个框架，可确保安全性保证。此外，通过与在模拟中随机生成的实验中的随机和贪婪的基线进行比较，从经验上开发和评估了这种单调实例的抽象框架的实例化。即使对于具有逼真物体的混乱场景，提议的算法也显着超过基准，并在实验条件下保持高成功率。
translated by 谷歌翻译
机器人操纵可以配制成诱导一系列空间位移：其中移动的空间可以包括物体，物体的一部分或末端执行器。在这项工作中，我们提出了一个简单的模型架构，它重新排列了深度功能，以从视觉输入推断出可视输入的空间位移 - 这可以参数化机器人操作。它没有对象的假设（例如规范姿势，模型或关键点），它利用空间对称性，并且比我们学习基于视觉的操纵任务的基准替代方案更高的样本效率，并且依赖于堆叠的金字塔用看不见的物体组装套件;从操纵可变形的绳索，以将堆积的小物体推动，具有闭环反馈。我们的方法可以表示复杂的多模态策略分布，并推广到多步顺序任务，以及6dof拾取器。 10个模拟任务的实验表明，它比各种端到端基线更快地学习并概括，包括使用地面真实对象姿势的政策。我们在现实世界中使用硬件验证我们的方法。实验视频和代码可在https://transporternets.github.io获得
translated by 谷歌翻译