布料的机器人操作的应用包括织物制造业到处理毯子和洗衣。布料操作对于机器人而言是挑战,这主要是由于它们的高度自由度,复杂的动力学和折叠或皱巴巴配置时的严重自我闭合。机器人操作的先前工作主要依赖于视觉传感器,这可能会对细粒度的操纵任务构成挑战,例如从一堆布上抓住所需数量的布料层。在本文中,我们建议将触觉传感用于布操作;我们将触觉传感器(Resin)连接到弗兰卡机器人的两个指尖之一,并训练分类器,以确定机器人是否正在抓住特定数量的布料层。在测试时间实验中,机器人使用此分类器作为其政策的一部分,使用触觉反馈来掌握一两个布层,以确定合适的握把。实验结果超过180次物理试验表明,与使用图像分类器的方法相比,所提出的方法优于不使用触觉反馈并具有更好地看不见布的基准。代码,数据和视频可在https://sites.google.com/view/reskin-cloth上找到。
translated by 谷歌翻译
我们研究了如何将高分辨率触觉传感器与视觉和深度传感结合使用,以改善掌握稳定性预测。在模拟高分辨率触觉传感的最新进展,尤其是触觉模拟器,使我们能够评估如何结合感应方式训练神经网络。借助训练大型神经网络所需的大量数据,机器人模拟器提供了一种快速自动化数据收集过程的方法。我们通过消融研究扩展现有工作,并增加了从YCB基准组中获取的一组对象。我们的结果表明,尽管视觉,深度和触觉感测的组合为已知对象提供了最佳预测结果,但该网络未能推广到未知对象。我们的工作还解决了触觉模拟中机器人抓握的现有问题以及如何克服它们。
translated by 谷歌翻译
Cloth in the real world is often crumpled, self-occluded, or folded in on itself such that key regions, such as corners, are not directly graspable, making manipulation difficult. We propose a system that leverages visual and tactile perception to unfold the cloth via grasping and sliding on edges. By doing so, the robot is able to grasp two adjacent corners, enabling subsequent manipulation tasks like folding or hanging. As components of this system, we develop tactile perception networks that classify whether an edge is grasped and estimate the pose of the edge. We use the edge classification network to supervise a visuotactile edge grasp affordance network that can grasp edges with a 90% success rate. Once an edge is grasped, we demonstrate that the robot can slide along the cloth to the adjacent corner using tactile pose estimation/control in real time. See http://nehasunil.com/visuotactile/visuotactile.html for videos.
translated by 谷歌翻译
软机器人抓手有助于富含接触的操作,包括对各种物体的强大抓握。然而,软抓手的有益依从性也会导致重大变形,从而使精确的操纵具有挑战性。我们提出视觉压力估计与控制(VPEC),这种方法可以使用外部摄像头的RGB图像施加的软握力施加的压力。当气动抓地力和肌腱握力与平坦的表面接触时,我们为视觉压力推断提供了结果。我们还表明,VPEC可以通过对推断压力图像的闭环控制进行精确操作。在我们的评估中,移动操纵器(来自Hello Robot的拉伸RE1)使用Visual Servoing在所需的压力下进行接触;遵循空间压力轨迹;并掌握小型低调的物体,包括microSD卡,一分钱和药丸。总体而言,我们的结果表明,对施加压力的视觉估计可以使软抓手能够执行精确操作。
translated by 谷歌翻译
We describe a learning-based approach to handeye coordination for robotic grasping from monocular images. To learn hand-eye coordination for grasping, we trained a large convolutional neural network to predict the probability that task-space motion of the gripper will result in successful grasps, using only monocular camera images and independently of camera calibration or the current robot pose. This requires the network to observe the spatial relationship between the gripper and objects in the scene, thus learning hand-eye coordination. We then use this network to servo the gripper in real time to achieve successful grasps. To train our network, we collected over 800,000 grasp attempts over the course of two months, using between 6 and 14 robotic manipulators at any given time, with differences in camera placement and hardware. Our experimental evaluation demonstrates that our method achieves effective real-time control, can successfully grasp novel objects, and corrects mistakes by continuous servoing.
translated by 谷歌翻译
尽管已显示触觉皮肤可用于检测机器人臂及其环境之间的碰撞,但并未广泛用于改善机器人抓握和手持操作。我们提出了一种新型的传感器设计,用于覆盖现有的多指机器人手。我们在台式实验中使用织物和抗静态泡沫底物分析了四种不同的压电材料的性能。我们发现,尽管压电泡沫被设计为包装材料,而不是用作传感底物,但它的性能与专门为此目的设计的织物相当。尽管这些结果证明了压电泡沫对触觉传感应用的潜力,但它们并未完全表征这些传感器在机器人操作中使用的功效。因此,我们使用低密度泡沫底物来开发可扩展的触觉皮肤,该皮肤可以连接到机器人手的手掌上。我们使用该传感器展示了几项机器人操纵任务,以显示其可靠地检测和本地化接触的能力,并在掌握和运输任务期间分析接触模式。我们的项目网站提供了有关传感器开发和分析中使用的所有材料,软件和数据的详细信息:https://sites.google.com/gcloud.utah.edu/piezoresistive-tactile-sensing/。
translated by 谷歌翻译
通过触觉反馈感知物体滑移的能力使人类能够完成复杂的操纵任务,包括保持稳定的掌握。尽管触觉信息用于许多应用程序,但触觉传感器尚未在工业机器人设置中广泛部署。挑战的一部分在于从触觉数据流中识别滑移和其他事件。在本文中,我们提出了一种基于学习的方法,可以使用气压触觉传感器检测滑移。这些传感器具有许多理想的属性,包括高耐用性和可靠性,并且由廉价的现成组件构建。我们训练一个时间卷积神经网络来检测滑动,达到高检测精度,同时表现出稳健性,以对滑动运动的速度和方向。此外,我们在涉及各种常见对象的两项操纵任务上测试了探测器,并证明了对训练期间看不到的现实情况的成功概括。我们认为,气压触觉传感技术与数据驱动的学习相结合,适用于许多操纵任务,例如滑移补偿。
translated by 谷歌翻译
机器人仿真一直是数据驱动的操作任务的重要工具。但是,大多数现有的仿真框架都缺乏与触觉传感器的物理相互作用的高效和准确模型,也没有逼真的触觉模拟。这使得基于触觉的操纵任务的SIM转交付仍然具有挑战性。在这项工作中,我们通过建模接触物理学来整合机器人动力学和基于视觉的触觉传感器的模拟。该触点模型使用机器人最终效应器上的模拟接触力来告知逼真的触觉输出。为了消除SIM到真实传输差距,我们使用现实世界数据校准了机器人动力学,接触模型和触觉光学模拟器的物理模拟器,然后我们在零摄像机上演示了系统的有效性 - 真实掌握稳定性预测任务,在各种对象上,我们达到平均准确性为90.7%。实验揭示了将我们的模拟框架应用于更复杂的操纵任务的潜力。我们在https://github.com/cmurobotouch/taxim/tree/taxim-robot上开放仿真框架。
translated by 谷歌翻译
电缆在许多环境中无处不在,但容易出现自我闭合和结,使它们难以感知和操纵。挑战通常会随着电缆长度而增加:长电缆需要更复杂的松弛管理和策略,以促进可观察性和可及性。在本文中,我们专注于使用双边机器人自动弄清长达3米的电缆。我们开发了新的运动原语,以有效地解开长电缆和专门用于此任务的新型Gripper Jaws。我们提出了缠结操作(SGTM)的滑动和抓握,该算法将这些原始物与RGBD视觉构成迭代性毫无障碍。SGTM在隔离的外手上取消了67%的成功率,图8节和更复杂的配置上的50%。可以在https://sites.google.com/view/rss-2022-untangling/home上找到补充材料,可视化和视频。
translated by 谷歌翻译
本文介绍了DGBench,这是一种完全可重现的开源测试系统,可在机器人和对象之间具有不可预测的相对运动的环境中对动态抓握进行基准测试。我们使用拟议的基准比较几种视觉感知布置。由于传感器的最小范围,遮挡和有限的视野,用于静态抓握的传统感知系统无法在掌握的最后阶段提供反馈。提出了一个多摄像机的眼睛感知系统,该系统具有比常用的相机配置具有优势。我们用基于图像的视觉宣传控制器进行定量评估真实机器人的性能,并在动态掌握任务上显示出明显提高的成功率。
translated by 谷歌翻译
机器人外科助理(RSAs)通常用于通过专家外科医生进行微创手术。然而,长期以来充满了乏味和重复的任务,如缝合可以导致外科医生疲劳,激励缝合的自动化。随着薄反射针的视觉跟踪极具挑战性,在未反射对比涂料的情况下修改了针。作为朝向无修改针的缝合子任务自动化的步骤,我们提出了休斯顿:切换未经修改,外科手术,工具障碍针,一个问题和算法,它使用学习的主动传感策略与立体声相机本地化并对齐针头进入另一臂的可见和可访问的姿势。为了补偿机器人定位和针头感知误差,然后算法执行使用多个摄像机的高精度抓握运动。在使用Da Vinci研究套件(DVRK)的物理实验中,休斯顿成功通过了96.7%的成功率,并且能够在故障前平均地在臂32.4倍之间顺序地执行切换。在培训中看不见的针头,休斯顿实现了75-92.9%的成功率。据我们所知,这项工作是第一个研究未修改的手术针的切换。查看https://tinyurl.com/huston-surgery用于额外​​的材料。
translated by 谷歌翻译
当人类掌握现实世界中的物体时,我们经常移动手臂将物体固定在可以使用它的不同姿势中。相比之下,典型的实验室设置仅研究举起后立即研究抓握的稳定性,而没有任何随后的臂重置。但是,由于重力扭矩和握力接触力可能会完全改变,因此抓紧稳定性可能会根据物体的固定姿势而差异很大。为了促进对持有姿势如何影响掌握稳定性的研究,我们提出了Poseit,这是一种新型的多模式数据集,其中包含从抓住对象的完整周期收集的视觉和触觉数据,将手臂重新放置到其中一个采样姿势,并将其重新放置到其中一个采样的姿势中,并摇动物体。使用Poseit的数据,我们可以制定和应对预测特定固定姿势是否稳定的抓握对象的任务。我们培训一个LSTM分类器,该分类器在拟议的任务上达到85%的准确性。我们的实验结果表明,接受Poseit训练的多模式模型比使用唯一视觉或触觉数据具有更高的精度,并且我们的分类器也可以推广到看不见的对象和姿势。
translated by 谷歌翻译
人类和许多动物都表现出稳健的能力来操纵不同的物体,通常与他们的身体直接和有时与工具间接地进行操作。这种灵活性可能是由物理处理的基本一致性,例如接触和力闭合。通过将工具视为我们的机构的扩展来启发,我们提出了工具 - 作为实施例(TAE),用于处理同一表示空间中的手动对象和工具对象交互的基于工具的操作策略的参数化。结果是单一策略,可以在机器人上递归地应用于使用结束效果来操纵对象,并使用对象作为工具,即新的最终效果,以操纵其他对象。通过对不同实施例的共享经验进行掌握或推动,我们的政策表现出比训练单独的政策更高的性能。我们的框架可以利用将对启用工具的实施例的不同分辨率的所有经验用于每个操纵技能的单个通用策略。 https://sites.google.com/view/recursivemanipulation的视频
translated by 谷歌翻译
As the basis for prehensile manipulation, it is vital to enable robots to grasp as robustly as humans. In daily manipulation, our grasping system is prompt, accurate, flexible and continuous across spatial and temporal domains. Few existing methods cover all these properties for robot grasping. In this paper, we propose a new methodology for grasp perception to enable robots these abilities. Specifically, we develop a dense supervision strategy with real perception and analytic labels in the spatial-temporal domain. Additional awareness of objects' center-of-mass is incorporated into the learning process to help improve grasping stability. Utilization of grasp correspondence across observations enables dynamic grasp tracking. Our model, AnyGrasp, can generate accurate, full-DoF, dense and temporally-smooth grasp poses efficiently, and works robustly against large depth sensing noise. Embedded with AnyGrasp, we achieve a 93.3% success rate when clearing bins with over 300 unseen objects, which is comparable with human subjects under controlled conditions. Over 900 MPPH is reported on a single-arm system. For dynamic grasping, we demonstrate catching swimming robot fish in the water.
translated by 谷歌翻译
可靠的机器人抓握,特别是具有可变形物体(例如水果),由于与夹持器,未知的物体动态和可变物体几何形状的欠扰接触相互作用,仍然是一个具有挑战性的任务。在这项研究中,我们提出了一种用于刚性夹持器的基于变压器的机器人抓握框架,其利用触觉和可视信息来用于安全对象抓握。具体地,变压器模型通过执行两个预定义的探索动作(夹紧和滑动)来学习具有传感器反馈的物理特征嵌入,并通过多层的Perceptron(MLP)预测最终抓握结果,具有给定的抓握强度。使用这些预测,通过推断使用用于抓握任务的安全抓握强度的抓握器。与卷积复制网络相比,变压器模型可以在图像序列上捕获长期依赖性,并同时处理空间时间特征。我们首先在公共数据集上基准测试在公共数据集上进行滑动检测。在此之后,我们表明变压器模型在掌握精度和计算效率方面优于CNN + LSTM模型。我们还收集我们自己的水果掌握数据集,并使用所看到和看不见的果实的拟议框架进行在线掌握实验。我们的代码和数据集在Github上公开。
translated by 谷歌翻译
抓握是通过在一组触点上施加力和扭矩来挑选对象的过程。深度学习方法的最新进展允许在机器人对象抓地力方面快速进步。我们在过去十年中系统地调查了出版物,特别感兴趣使用最终效果姿势的所有6度自由度抓住对象。我们的综述发现了四种用于机器人抓钩的常见方法:基于抽样的方法,直接回归,强化学习和示例方法。此外,我们发现了围绕抓握的两种“支持方法”,这些方法使用深入学习来支持抓握过程,形状近似和负担能力。我们已经将本系统评论(85篇论文)中发现的出版物提炼为十个关键要点,我们认为对未来的机器人抓握和操纵研究至关重要。该调查的在线版本可从https://rhys-newbury.github.io/projects/6dof/获得
translated by 谷歌翻译
食品包装行业通常使用工厂工人手动包装的季节性成分。对于由体积或重量挑选的小型食物,倾向于使缠绕,棒或聚集在一起,很难预测他们从视觉检查中有多么交流,使其成为准确掌握必要目标大量的挑战。工人依赖于称重鳞片的组合和一系列复杂的操作,以分离食物并达到目标质量。这使得过程自动化是非琐碎的事件。在这项研究中,我们提出了一种结合1)预先抓住以降低缠结程度的方法,2)在掌握量大于掌握量时仔细丢弃多余的食物以调整抓住质量的缠绕。目标质量和3)选择抓取点以抓住可能合理地高于目标抓地质量的量。我们评估了各种食品的方法,缠绕,粘和丛的各种食物,每个食物具有不同的尺寸,形状和材料特性,例如体积质量密度。我们使用我们所提出的方法表现出掌握用户指定目标群众的准确性的显着改进。
translated by 谷歌翻译
尽管有触觉信息的实用性,但触觉传感器尚未在工业机器人设置中广泛部署。挑战的一部分在于识别触觉数据流的滑移和其他关键事件。在本文中,我们提出了一种基于学习的方法,可以使用气压触觉传感器检测滑移。尽管这些传感器的分辨率很低,但它们具有许多其他理想的特性,包括高可靠性和耐用性,非常苗条的轮廓和低成本。我们能够实现大于91%的滑动检测精度,同时稳健地遵循滑动运动的速度和方向。此外,我们在涉及常见家庭对象的两个机器人操纵任务上测试了我们的探测器,并证明了对训练期间未见的现实情况的成功概括。我们表明,气压触觉传感技术与数据驱动的学习相结合,可能适用于复杂的操纵任务,例如滑移补偿。
translated by 谷歌翻译
折叠服装可靠,有效地是由于服装的复杂动力学和高尺寸配置空间,在机器人操作中是一项漫长的挑战。一种直观的方法是最初在折叠之前将服装操纵到典型的平滑配置。在这项工作中,我们开发了一种可靠且高效的双人系统,将用户定义的指令视为折叠线,将最初弄皱的服装操纵为(1)平滑和(2)折叠配置。我们的主要贡献是一种新型的神经网络体系结构,能够预测成对的握把姿势,以参数化各种双人动作原始序列。在从4300次人类注销和自我监督的动作中学习后,机器人能够平均从120年代以下的随机初始配置折叠服装,成功率为93%。现实世界实验表明,该系统能够概括到不同颜色,形状和刚度的服装。虽然先前的工作每小时达到3-6倍(FPH),但SpeedFolding却达到30-40 FPH。
translated by 谷歌翻译
我们提出了一个深度的视觉效果模型,以实时估算可变形容器内部的液体,以一种本体感受的方式融合了两种感官方式,即RGB摄像机的原始视觉输入和我们特定触觉传感器的触觉提示,额外的传感器校准。机器人系统是根据估计模型实时控制和调整的。我们作品的主要贡献和新颖性列出如下:1)通过开发具有多模式卷积网络的端到端预测模型来探索液体体积估算的一种本体感受方式,该模型在高精度上获得了高度的精度,该模型在周围的错误中获得了错误实验验证中的2 mL。 2)提出了一个多任务学习体系结构,可全面考虑分类和回归任务的损失,并相对评估收集的数据和实际机器人平台上每个变体的性能。 3)利用本体感受的机器人系统准确地服务和控制所需的液体,该液体连续地实时流入可变形容器。 4)根据实时液体体积预测,自适应调整抓地力计划,以实现更稳定的抓握和操作。
translated by 谷歌翻译