折叠服装可靠，有效地是由于服装的复杂动力学和高尺寸配置空间，在机器人操作中是一项漫长的挑战。一种直观的方法是最初在折叠之前将服装操纵到典型的平滑配置。在这项工作中，我们开发了一种可靠且高效的双人系统，将用户定义的指令视为折叠线，将最初弄皱的服装操纵为（1）平滑和（2）折叠配置。我们的主要贡献是一种新型的神经网络体系结构，能够预测成对的握把姿势，以参数化各种双人动作原始序列。在从4300次人类注销和自我监督的动作中学习后，机器人能够平均从120年代以下的随机初始配置折叠服装，成功率为93％。现实世界实验表明，该系统能够概括到不同颜色，形状和刚度的服装。虽然先前的工作每小时达到3-6倍（FPH），但SpeedFolding却达到30-40 FPH。
translated by 谷歌翻译
Fabric manipulation is a long-standing challenge in robotics due to the enormous state space and complex dynamics. Learning approaches stand out as promising for this domain as they allow us to learn behaviours directly from data. Most prior methods however rely heavily on simulation, which is still limited by the large sim-to-real gap of deformable objects or rely on large datasets. A promising alternative is to learn fabric manipulation directly from watching humans perform the task. In this work, we explore how demonstrations for fabric manipulation tasks can be collected directly by human hands, providing an extremely natural and fast data collection pipeline. Then, using only a handful of such demonstrations, we show how a sample-efficient pick-and-place policy can be learned and deployed on a real robot, without any robot data collection at all. We demonstrate our approach on a fabric folding task, showing that our policy can reliably reach folded states from crumpled initial configurations.
translated by 谷歌翻译
我们解决了目标定向布操纵问题，这是由于布的可变形性导致的具有挑战性的任务。我们的见解是，光流量，一种通常用于视频中运动估计的技术，还可以提供相应布在观察和目标图像上的相应布构成的有效表示。我们介绍了FabricFlowNet（FFN），布料操作策略，利用流量作为输入和作为提高性能的动作表示。 FabricFlownet也根据所需目标在Bimanual和单臂动作之间提供优雅的切换。我们表明，FabricFlownet明显优于拍摄图像输入的最先进的无模型和模型的布料操作策略。我们还在生效系统上呈现实际的实验，展示了有效的SIM-to-Real Transfer。最后，我们表明我们的方法在单个方形布上训练到其他布形时，如T恤和矩形布。视频和其他补充材料可用于：https://sites.google.com/view/fabricFlownet。
translated by 谷歌翻译
电缆在许多环境中无处不在，但容易出现自我闭合和结，使它们难以感知和操纵。挑战通常会随着电缆长度而增加：长电缆需要更复杂的松弛管理和策略，以促进可观察性和可及性。在本文中，我们专注于使用双边机器人自动弄清长达3米的电缆。我们开发了新的运动原语，以有效地解开长电缆和专门用于此任务的新型Gripper Jaws。我们提出了缠结操作（SGTM）的滑动和抓握，该算法将这些原始物与RGBD视觉构成迭代性毫无障碍。SGTM在隔离的外手上取消了67％的成功率，图8节和更复杂的配置上的50％。可以在https://sites.google.com/view/rss-2022-untangling/home上找到补充材料，可视化和视频。
translated by 谷歌翻译
机器人外科助理（RSAs）通常用于通过专家外科医生进行微创手术。然而，长期以来充满了乏味和重复的任务，如缝合可以导致外科医生疲劳，激励缝合的自动化。随着薄反射针的视觉跟踪极具挑战性，在未反射对比涂料的情况下修改了针。作为朝向无修改针的缝合子任务自动化的步骤，我们提出了休斯顿：切换未经修改，外科手术，工具障碍针，一个问题和算法，它使用学习的主动传感策略与立体声相机本地化并对齐针头进入另一臂的可见和可访问的姿势。为了补偿机器人定位和针头感知误差，然后算法执行使用多个摄像机的高精度抓握运动。在使用Da Vinci研究套件（DVRK）的物理实验中，休斯顿成功通过了96.7％的成功率，并且能够在故障前平均地在臂32.4倍之间顺序地执行切换。在培训中看不见的针头，休斯顿实现了75-92.9％的成功率。据我们所知，这项工作是第一个研究未修改的手术针的切换。查看https://tinyurl.com/huston-surgery用于额外的材料。
translated by 谷歌翻译
非结构化环境中的多步操纵任务对于学习的机器人来说非常具有挑战性。这些任务相互作用，包括可以获得的预期状态，可以实现整体任务和低级推理，以确定哪些行动将产生这些国家。我们提出了一种无模型的深度加强学习方法来学习多步理操作任务。我们介绍了一个基于视觉的模型架构的机器人操纵网络（ROMANNET），以了解动作值函数并预测操纵操作候选。我们定义基于Gaussian（TPG）奖励函数的任务进度，基于导致成功的动作原语的行动和实现整体任务目标的进展来计算奖励。为了平衡探索/剥削的比率，我们介绍了一个损失调整后的探索（LAE）政策，根据亏损估计的Boltzmann分配来确定来自行动候选人的行动。我们通过培训ROMANNET来展示我们方法的有效性，以了解模拟和现实世界中的几个挑战的多步机械管理任务。实验结果表明，我们的方法优于现有的方法，并在成功率和行动效率方面实现了最先进的性能。消融研究表明，TPG和LAE对多个块堆叠的任务特别有益。代码可用：https：//github.com/skumra/romannet
translated by 谷歌翻译
在密集的混乱中抓住是自动机器人的一项基本技能。但是，在混乱的情况下，拥挤性和遮挡造成了很大的困难，无法在没有碰撞的情况下产生有效的掌握姿势，这会导致低效率和高失败率。为了解决这些问题，我们提出了一个名为GE-GRASP的通用框架，用于在密集的混乱中用于机器人运动计划，在此，我们利用各种动作原始素来遮挡对象去除，并呈现发电机 - 评估器架构以避免空间碰撞。因此，我们的ge-grasp能够有效地抓住密集的杂物中的物体，并有希望的成功率。具体而言，我们定义了三个动作基础：面向目标的抓握，用于捕获，推动和非目标的抓握，以减少拥挤和遮挡。发电机有效地提供了参考空间信息的各种动作候选者。同时，评估人员评估了所选行动原始候选者，其中最佳动作由机器人实施。在模拟和现实世界中进行的广泛实验表明，我们的方法在运动效率和成功率方面优于杂乱无章的最新方法。此外，我们在现实世界中实现了可比的性能，因为在模拟环境中，这表明我们的GE-Grasp具有强大的概括能力。补充材料可在以下网址获得：https：//github.com/captainwudaokou/ge-grasp。
translated by 谷歌翻译
机器人操纵可以配制成诱导一系列空间位移：其中移动的空间可以包括物体，物体的一部分或末端执行器。在这项工作中，我们提出了一个简单的模型架构，它重新排列了深度功能，以从视觉输入推断出可视输入的空间位移 - 这可以参数化机器人操作。它没有对象的假设（例如规范姿势，模型或关键点），它利用空间对称性，并且比我们学习基于视觉的操纵任务的基准替代方案更高的样本效率，并且依赖于堆叠的金字塔用看不见的物体组装套件;从操纵可变形的绳索，以将堆积的小物体推动，具有闭环反馈。我们的方法可以表示复杂的多模态策略分布，并推广到多步顺序任务，以及6dof拾取器。 10个模拟任务的实验表明，它比各种端到端基线更快地学习并概括，包括使用地面真实对象姿势的政策。我们在现实世界中使用硬件验证我们的方法。实验视频和代码可在https://transporternets.github.io获得
translated by 谷歌翻译
本文介绍了一个用于电缆线束的自主垃圾衬板 - 一个极具挑战性的垃圾桶采摘任务。目前，由于其长度和难以捉摸的结构，目前的电缆线束不适合进口到自动化生产。考虑到机器人垃圾箱拾取的任务，其中线束严重纠缠在一起，使用传统的箱拣选方法将机器人挑选一个机器人挑战。在本文中，我们提出了一种克服缠结易受零件时克服困难的有效方法。我们为机器人开发了几种运动方案，以拾取单个线束，避免任何缠结。此外，我们提出了一种基于学习的垃圾箱采摘策略，可在合理的顺序中选择掌握和设计的运动方案。由于用于充分解决拣选杂乱电缆线束中的缠结问题，我们的方法是独一无二的。我们在一组现实世界实验中展示了我们的方法，在此期间，该方法能够在各种杂乱的场景下具有效率和准确性的顺序箱拣选任务。
translated by 谷歌翻译
最近的工作表明，2臂“ Fling”运动对于服装平滑可能是有效的。我们考虑单臂弹性运动。与几乎不需要机器人轨迹参数调整的2臂fling运动不同，单臂fling运动对轨迹参数很敏感。我们考虑一个单一的6多机器人臂，该机器人臂学习跨越轨迹以实现高衣覆盖率。给定服装抓握点，机器人在物理实验中探索了不同的参数化fling轨迹。为了提高学习效率，我们提出了一种粗到精细的学习方法，该方法首先使用多军匪徒（MAB）框架有效地找到候选动作，然后通过连续优化方法来完善。此外，我们提出了基于Fling Fall结果不确定性的新颖培训和执行时间停止标准。与基线相比，我们表明所提出的方法显着加速学习。此外，由于通过自学人员收集的类似服装的先前经验，新服装的MAB学习时间最多减少了87％。我们评估了6种服装类型：毛巾，T恤，长袖衬衫，礼服，汗衫和牛仔裤。结果表明，使用先前的经验，机器人需要30分钟以下的时间才能为达到60-94％覆盖率的新型服装学习一项动作。
translated by 谷歌翻译
在现实世界中的机器人在现实环境中的许多可能的应用领域都铰接机器人掌握物体的能力。因此，机器人Grasping多年来一直是有效的研究领域。通过我们的出版物，我们有助于使机器人能够掌握，特别关注垃圾桶采摘应用。垃圾拣选尤其挑战，由于经常杂乱和非结构化的物体排列以及通过简单的顶部掌握的物体的频繁避免的避神。为了解决这些挑战，我们提出了一种基于软演员 - 评论家（SAC）的混合离散调整的完全自我监督的强化学习方法。我们使用参数化运动原语来推动和抓握运动，以便为我们考虑的困难设置启用灵活的适应行为。此外，我们使用数据增强来提高样本效率。我们证明了我们提出的关于具有挑战性的采摘情景的方法，其中平面掌握学习或行动离散化方法会面临很大困难
translated by 谷歌翻译
人类和许多动物都表现出稳健的能力来操纵不同的物体，通常与他们的身体直接和有时与工具间接地进行操作。这种灵活性可能是由物理处理的基本一致性，例如接触和力闭合。通过将工具视为我们的机构的扩展来启发，我们提出了工具 - 作为实施例（TAE），用于处理同一表示空间中的手动对象和工具对象交互的基于工具的操作策略的参数化。结果是单一策略，可以在机器人上递归地应用于使用结束效果来操纵对象，并使用对象作为工具，即新的最终效果，以操纵其他对象。通过对不同实施例的共享经验进行掌握或推动，我们的政策表现出比训练单独的政策更高的性能。我们的框架可以利用将对启用工具的实施例的不同分辨率的所有经验用于每个操纵技能的单个通用策略。 https://sites.google.com/view/recursivemanipulation的视频
translated by 谷歌翻译
Cloth in the real world is often crumpled, self-occluded, or folded in on itself such that key regions, such as corners, are not directly graspable, making manipulation difficult. We propose a system that leverages visual and tactile perception to unfold the cloth via grasping and sliding on edges. By doing so, the robot is able to grasp two adjacent corners, enabling subsequent manipulation tasks like folding or hanging. As components of this system, we develop tactile perception networks that classify whether an edge is grasped and estimate the pose of the edge. We use the edge classification network to supervise a visuotactile edge grasp affordance network that can grasp edges with a 90% success rate. Once an edge is grasped, we demonstrate that the robot can slide along the cloth to the adjacent corner using tactile pose estimation/control in real time. See http://nehasunil.com/visuotactile/visuotactile.html for videos.
translated by 谷歌翻译
尽管移动操作在工业和服务机器人技术方面都重要，但仍然是一个重大挑战，因为它需要将最终效应轨迹的无缝整合与导航技能以及对长匹马的推理。现有方法难以控制大型配置空间，并导航动态和未知环境。在先前的工作中，我们建议将移动操纵任务分解为任务空间中最终效果的简化运动生成器，并将移动设备分解为训练有素的强化学习代理，以说明移动基础的运动基础，以说明运动的运动可行性。在这项工作中，我们引入了移动操作的神经导航（n $^2 $ m $^2 $），该导航将这种分解扩展到复杂的障碍环境，并使其能够解决现实世界中的广泛任务。最终的方法可以在未探索的环境中执行看不见的长马任务，同时立即对动态障碍和环境变化做出反应。同时，它提供了一种定义新的移动操作任务的简单方法。我们证明了我们提出的方法在多个运动学上多样化的移动操纵器上进行的广泛模拟和现实实验的能力。代码和视频可在http://mobile-rl.cs.uni-freiburg.de上公开获得。
translated by 谷歌翻译
As the basis for prehensile manipulation, it is vital to enable robots to grasp as robustly as humans. In daily manipulation, our grasping system is prompt, accurate, flexible and continuous across spatial and temporal domains. Few existing methods cover all these properties for robot grasping. In this paper, we propose a new methodology for grasp perception to enable robots these abilities. Specifically, we develop a dense supervision strategy with real perception and analytic labels in the spatial-temporal domain. Additional awareness of objects' center-of-mass is incorporated into the learning process to help improve grasping stability. Utilization of grasp correspondence across observations enables dynamic grasp tracking. Our model, AnyGrasp, can generate accurate, full-DoF, dense and temporally-smooth grasp poses efficiently, and works robustly against large depth sensing noise. Embedded with AnyGrasp, we achieve a 93.3% success rate when clearing bins with over 300 unseen objects, which is comparable with human subjects under controlled conditions. Over 900 MPPH is reported on a single-arm system. For dynamic grasping, we demonstrate catching swimming robot fish in the water.
translated by 谷歌翻译
抓握是通过在一组触点上施加力和扭矩来挑选对象的过程。深度学习方法的最新进展允许在机器人对象抓地力方面快速进步。我们在过去十年中系统地调查了出版物，特别感兴趣使用最终效果姿势的所有6度自由度抓住对象。我们的综述发现了四种用于机器人抓钩的常见方法：基于抽样的方法，直接回归，强化学习和示例方法。此外，我们发现了围绕抓握的两种“支持方法”，这些方法使用深入学习来支持抓握过程，形状近似和负担能力。我们已经将本系统评论（85篇论文）中发现的出版物提炼为十个关键要点，我们认为对未来的机器人抓握和操纵研究至关重要。该调查的在线版本可从https://rhys-newbury.github.io/projects/6dof/获得
translated by 谷歌翻译
2021-12-09
我们呈现神经描述符字段（NDFS），对象表示，其通过类别级别描述符在对象和目标（例如用于悬挂的机器人夹具或用于悬挂的机架）之间进行编码和相对姿势。我们使用此表示进行对象操作，在这里，在给定任务演示时，我们要在同一类别中对新对象实例重复相同的任务。我们建议通过搜索（通过优化）来实现这一目标，为演示中观察到的描述符匹配的姿势。 NDFS通过不依赖于专家标记的关键点的3D自动编码任务，方便地以自我监督的方式培训。此外，NDFS是SE（3） - 保证在所有可能的3D对象翻译和旋转中推广的性能。我们展示了在仿真和真正的机器人上的少数（5-10）示范中的操纵任务的学习。我们的性能遍历两个对象实例和6-DOF对象姿势，并且显着优于最近依赖于2D描述符的基线。项目网站：https://yilundu.github.io/ndf/。
translated by 谷歌翻译
机器人的大多数对象操纵策略都是基于以下假设：对象是刚性（即具有固定几何形状），并且目标的细节已完全指定（例如，确切的目标姿势）。但是，有许多任务涉及人类环境中的空间关系，这些条件可能难以满足，例如弯曲和将电缆放入未知容器中。为了在非结构化的环境中开发先进的机器人操纵功能，以避免这些假设，我们提出了一个新颖的长马框架，该框架利用了对比计划来寻找有希望的协作行动。使用随机操作收集的仿真数据，我们以对比方式学习一个嵌入模型，该模型从成功的体验中编码时空信息，从而通过在潜在空间中的聚类来促进次目标计划。基于基于KePoint对应的操作参数化，我们为双臂之间的协作设计了领导者追随者控制方案。我们政策的所有模型均经过模拟自动培训，可以直接传输到现实世界环境中。为了验证所提出的框架，我们对模拟和真实环境中的环境和可及性约束，对复杂场景进行了详细的实验研究。
translated by 谷歌翻译
布料的机器人操作的应用包括织物制造业到处理毯子和洗衣。布料操作对于机器人而言是挑战，这主要是由于它们的高度自由度，复杂的动力学和折叠或皱巴巴配置时的严重自我闭合。机器人操作的先前工作主要依赖于视觉传感器，这可能会对细粒度的操纵任务构成挑战，例如从一堆布上抓住所需数量的布料层。在本文中，我们建议将触觉传感用于布操作；我们将触觉传感器（Resin）连接到弗兰卡机器人的两个指尖之一，并训练分类器，以确定机器人是否正在抓住特定数量的布料层。在测试时间实验中，机器人使用此分类器作为其政策的一部分，使用触觉反馈来掌握一两个布层，以确定合适的握把。实验结果超过180次物理试验表明，与使用图像分类器的方法相比，所提出的方法优于不使用触觉反馈并具有更好地看不见布的基准。代码，数据和视频可在https://sites.google.com/view/reskin-cloth上找到。
translated by 谷歌翻译
2022-05-09
我们探索一种新的方法来感知和操纵3D铰接式物体，该物体可以概括地使机器人阐明看不见的对象。我们提出了一个基于视觉的系统，该系统学会预测各种铰接物体的各个部分的潜在运动，以指导系统的下游运动计划以表达对象。为了预测对象运动，我们训练一个神经网络，以输出一个密集的向量场，代表点云中点云中点的点运动方向。然后，我们根据该向量领域部署一个分析运动计划者，以实现产生最大发音的政策。我们完全在模拟中训练视觉系统，并演示了系统在模拟和现实世界中概括的对象实例和新颖类别的能力，并将我们的政策部署在没有任何填充的锯耶机器人上。结果表明，我们的系统在模拟和现实世界实验中都达到了最先进的性能。
translated by 谷歌翻译