人类广泛利用视觉和触摸作为互补的感官，视觉提供有关场景的全球信息，并在操纵过程中触摸当地信息而不会受到阻塞。在这项工作中，我们提出了一个新颖的框架，用于以一种自我监督的方式学习多任务视觉执行表示。我们设计了一种机制，该机制使机器人能够自主收集空间对齐的视觉和触觉数据，这是下游任务的关键属性。然后，我们使用交叉模式对比损失训练视觉和触觉编码器将这些配对的感觉输入嵌入共享潜在空间中。对学习的表示形式进行评估，而无需对5个感知和控制任务进行微调，涉及可变形表面：触觉分类，接触定位，异常检测（例如，手术幻影肿瘤触诊），触觉搜索，例如，视觉疑问（例如，在遮挡的情况下，都可以从视觉询问中进行触觉搜索），以及沿布边缘和电缆的触觉伺服。博学的表示形式在毛巾功能分类上达到了80％的成功率，手术材料中异常检测的平均成功率为73％，视觉引导触觉搜索的平均成功率和87.8％的平均伺服距离沿电缆和服装的平均伺服距离为87.8％。接缝。这些结果表明，学习的表示形式的灵活性，并朝着对机器人控制的任务不合时宜的视觉表达表示迈出了一步。
translated by 谷歌翻译
Cloth in the real world is often crumpled, self-occluded, or folded in on itself such that key regions, such as corners, are not directly graspable, making manipulation difficult. We propose a system that leverages visual and tactile perception to unfold the cloth via grasping and sliding on edges. By doing so, the robot is able to grasp two adjacent corners, enabling subsequent manipulation tasks like folding or hanging. As components of this system, we develop tactile perception networks that classify whether an edge is grasped and estimate the pose of the edge. We use the edge classification network to supervise a visuotactile edge grasp affordance network that can grasp edges with a 90% success rate. Once an edge is grasped, we demonstrate that the robot can slide along the cloth to the adjacent corner using tactile pose estimation/control in real time. See http://nehasunil.com/visuotactile/visuotactile.html for videos.
translated by 谷歌翻译
高分辨率光触觉传感器越来越多地用于机器人学习环境中，因为它们能够捕获与试剂环境相互作用直接相关的大量数据。但是，由于触觉机器人平台的高成本，专业的仿真软件以及在不同传感器之间缺乏通用性的模拟方法，因此在该领域的研究障碍很高。在这封信中，我们将触觉健身房的模拟器扩展到两种最受欢迎的类型类型的三个新的光学触觉传感器（Tactip，Digit和Digitac），分别是Gelsight Style（基于图像遮蔽）和Tactip Style（基于标记）。我们证明，尽管实际触觉图像之间存在显着差异，但可以与这三个不同的传感器一起使用单个SIM到实现的方法，以实现强大的现实性能。此外，我们通过将其调整为廉价的4道机器人组来降低对拟议任务的进入障碍，从而进一步使该基准的传播。我们在三个需要触摸感的身体相互交互的任务上验证了扩展环境：对象推动，边缘跟随和表面跟随。我们实验验证的结果突出了这些传感器之间的一些差异，这可能有助于未来的研究人员选择并自定义触觉传感器的物理特征，以进行不同的操纵场景。
translated by 谷歌翻译
触摸感在使人类能够理解和与周围环境互动方面发挥着关键作用。对于机器人，触觉感应也是不可替代的。在与物体交互时，触觉传感器为机器人提供了理解物体的有用信息，例如分布式压力，温度，振动和纹理。在机器人抓住期间，视力通常由其最终效应器封闭，而触觉感应可以测量视觉无法访问的区域。在过去的几十年中，已经为机器人开发了许多触觉传感器，并用于不同的机器人任务。在本章中，我们专注于使用触觉对机器人抓握的触觉，并研究近期对物质性质的触觉趋势。我们首先讨论了术语，即形状，姿势和材料特性对三个重要的物体特性的触觉感知。然后，我们通过触觉感应审查抓握稳定性预测的最新发展。在这些作品中，我们确定了在机器人抓握中协调视觉和触觉感应的要求。为了证明使用触觉传感来提高视觉感知，介绍了我们最近的抗议重建触觉触觉感知的发展。在所提出的框架中，首先利用相机视觉的大型接收领域以便快速搜索含有裂缝的候选区域，然后使用高分辨率光学触觉传感器来检查这些候选区域并重建精制的裂缝形状。实验表明，我们所提出的方法可以实现0.82mm至0.24mm的平均距离误差的显着降低，以便重建。最后，我们在讨论了对机器人任务中施加触觉感应的公开问题和未来方向的讨论。
translated by 谷歌翻译
The ability to associate touch with sight is essential for tasks that require physically interacting with objects in the world. We propose a dataset with paired visual and tactile data called Touch and Go, in which human data collectors probe objects in natural environments using tactile sensors, while simultaneously recording egocentric video. In contrast to previous efforts, which have largely been confined to lab settings or simulated environments, our dataset spans a large number of "in the wild" objects and scenes. To demonstrate our dataset's effectiveness, we successfully apply it to a variety of tasks: 1) self-supervised visuo-tactile feature learning, 2) tactile-driven image stylization, i.e., making the visual appearance of an object more consistent with a given tactile signal, and 3) predicting future frames of a tactile signal from visuo-tactile inputs.
translated by 谷歌翻译
人类的物体感知能力令人印象深刻，当试图开发具有类似机器人的解决方案时，这变得更加明显。从人类如何将视觉和触觉用于对象感知和相关任务的灵感中，本文总结了机器人应用的多模式对象感知的当前状态。它涵盖了生物学灵感，传感器技术，数据集以及用于对象识别和掌握的感觉数据处理的各个方面。首先，概述了多模式对象感知的生物学基础。然后讨论了传感技术和数据收集策略。接下来，介绍了主要计算方面的介绍，突出显示了每个主要应用领域的一些代表性文章，包括对象识别，传输学习以及对象操纵和掌握。最后，在每个领域的当前进步中，本文概述了有希望的新研究指示。
translated by 谷歌翻译
电缆在许多环境中无处不在，但容易出现自我闭合和结，使它们难以感知和操纵。挑战通常会随着电缆长度而增加：长电缆需要更复杂的松弛管理和策略，以促进可观察性和可及性。在本文中，我们专注于使用双边机器人自动弄清长达3米的电缆。我们开发了新的运动原语，以有效地解开长电缆和专门用于此任务的新型Gripper Jaws。我们提出了缠结操作（SGTM）的滑动和抓握，该算法将这些原始物与RGBD视觉构成迭代性毫无障碍。SGTM在隔离的外手上取消了67％的成功率，图8节和更复杂的配置上的50％。可以在https://sites.google.com/view/rss-2022-untangling/home上找到补充材料，可视化和视频。
translated by 谷歌翻译
布料的机器人操作的应用包括织物制造业到处理毯子和洗衣。布料操作对于机器人而言是挑战，这主要是由于它们的高度自由度，复杂的动力学和折叠或皱巴巴配置时的严重自我闭合。机器人操作的先前工作主要依赖于视觉传感器，这可能会对细粒度的操纵任务构成挑战，例如从一堆布上抓住所需数量的布料层。在本文中，我们建议将触觉传感用于布操作；我们将触觉传感器（Resin）连接到弗兰卡机器人的两个指尖之一，并训练分类器，以确定机器人是否正在抓住特定数量的布料层。在测试时间实验中，机器人使用此分类器作为其政策的一部分，使用触觉反馈来掌握一两个布层，以确定合适的握把。实验结果超过180次物理试验表明，与使用图像分类器的方法相比，所提出的方法优于不使用触觉反馈并具有更好地看不见布的基准。代码，数据和视频可在https://sites.google.com/view/reskin-cloth上找到。
translated by 谷歌翻译
触觉是人类敏捷的基础。当模仿机器人触摸（尤其是使用软光学触觉传感器）时，由于运动依赖性剪切而遭受失真。这使触觉任务复杂化，例如形状重建和探索，需要有关接触几何的信息。在这项工作中，我们采用半监督的方法来删除剪切，同时保留仅接触信息。我们通过显示模型生成的未切除图像与它们的对应物之间的匹配来验证我们的方法。模型生成的未切除图像给出了忠实的接触几何形状的重建，否则将剪切掩盖，以及对物体姿势的强大估计，然后用于滑动探索和对几种平面形状的全面重建。我们表明，我们的半监督方法的性能与在所有验证任务中的全面监督对等方面的性能相当，而监督的监督较少。因此，半监督方法更加计算和标记样品效率。我们预计，它将对通过剪切敏感的触觉执行的各种复杂触觉探索和操纵任务具有广泛的适用性。
translated by 谷歌翻译
视觉的触觉传感器由于经济实惠的高分辨率摄像机和成功的计算机视觉技术而被出现为机器人触摸的有希望的方法。但是，它们的物理设计和他们提供的信息尚不符合真实应用的要求。我们提供了一种名为Insight的强大，柔软，低成本，视觉拇指大小的3D触觉传感器：它不断在其整个圆锥形感测表面上提供定向力分布图。围绕内部单眼相机构造，传感器仅在刚性框架上仅成型一层弹性体，以保证灵敏度，鲁棒性和软接触。此外，Insight是第一个使用准直器将光度立体声和结构光混合的系统来检测其易于更换柔性外壳的3D变形。通过将图像映射到3D接触力的空间分布（正常和剪切）的深神经网络推断力信息。洞察力在0.4毫米的总空间分辨率，力量幅度精度约为0.03 n，并且对于具有不同接触面积的多个不同触点，在0.03-2 n的范围内的5度大约5度的力方向精度。呈现的硬件和软件设计概念可以转移到各种机器人部件。
translated by 谷歌翻译
As the basis for prehensile manipulation, it is vital to enable robots to grasp as robustly as humans. In daily manipulation, our grasping system is prompt, accurate, flexible and continuous across spatial and temporal domains. Few existing methods cover all these properties for robot grasping. In this paper, we propose a new methodology for grasp perception to enable robots these abilities. Specifically, we develop a dense supervision strategy with real perception and analytic labels in the spatial-temporal domain. Additional awareness of objects' center-of-mass is incorporated into the learning process to help improve grasping stability. Utilization of grasp correspondence across observations enables dynamic grasp tracking. Our model, AnyGrasp, can generate accurate, full-DoF, dense and temporally-smooth grasp poses efficiently, and works robustly against large depth sensing noise. Embedded with AnyGrasp, we achieve a 93.3% success rate when clearing bins with over 300 unseen objects, which is comparable with human subjects under controlled conditions. Over 900 MPPH is reported on a single-arm system. For dynamic grasping, we demonstrate catching swimming robot fish in the water.
translated by 谷歌翻译
仿真最近已成为深度加强学习，以安全有效地从视觉和预防性投入获取一般和复杂的控制政策的关键。尽管它与环境互动直接关系，但通常认为触觉信息通常不会被认为。在这项工作中，我们展示了一套针对触觉机器人和加强学习量身定制的模拟环境。提供了一种简单且快速的模拟光学触觉传感器的方法，其中高分辨率接触几何形状表示为深度图像。近端策略优化（PPO）用于学习所有考虑任务的成功策略。数据驱动方法能够将实际触觉传感器的当前状态转换为对应的模拟深度图像。此策略在物理机器人上实时控制循环中实现，以演示零拍摄的SIM-TO-REAL策略转移，以触摸感的几个物理交互式任务。
translated by 谷歌翻译
2022-09-27
电缆在房屋，医院和工业仓库中很普遍，容易纠结。本文通过引入新颖的不确定性定量指标和与电缆相互作用以减少感知不确定性相互作用的新型不确定性定量指标和动作，扩展了对自动释放长电缆的先前工作。我们为Tangle操纵2.0（SGTM 2.0）提供了滑动和握力，该系统使用双边机器人自动解开大约3米长的电缆，并使用每个步骤的不确定性估算值估计，以告知动作。通过互动降低不确定性，缠结操作2.0（SGTM 2.0）的滑动和握住可以减少其必须采用的状态排列动作的数量，从而大大加快运行时间。实验表明，SGTM 2.0可以在1或2台上和图8节的电缆上取得83％的脱节成功，并且在这些配置中的70％终止检测成功，在无障碍精度上优于SGTM 1.0，超过43％，在全部推出速度上超过200％ 。可以在sites.google.com/view/sgtm2上找到补充材料，可视化和视频。
translated by 谷歌翻译
通过触觉反馈感知物体滑移的能力使人类能够完成复杂的操纵任务，包括保持稳定的掌握。尽管触觉信息用于许多应用程序，但触觉传感器尚未在工业机器人设置中广泛部署。挑战的一部分在于从触觉数据流中识别滑移和其他事件。在本文中，我们提出了一种基于学习的方法，可以使用气压触觉传感器检测滑移。这些传感器具有许多理想的属性，包括高耐用性和可靠性，并且由廉价的现成组件构建。我们训练一个时间卷积神经网络来检测滑动，达到高检测精度，同时表现出稳健性，以对滑动运动的速度和方向。此外，我们在涉及各种常见对象的两项操纵任务上测试了探测器，并证明了对训练期间看不到的现实情况的成功概括。我们认为，气压触觉传感技术与数据驱动的学习相结合，适用于许多操纵任务，例如滑移补偿。
translated by 谷歌翻译
软机器人抓手有助于富含接触的操作，包括对各种物体的强大抓握。然而，软抓手的有益依从性也会导致重大变形，从而使精确的操纵具有挑战性。我们提出视觉压力估计与控制（VPEC），这种方法可以使用外部摄像头的RGB图像施加的软握力施加的压力。当气动抓地力和肌腱握力与平坦的表面接触时，我们为视觉压力推断提供了结果。我们还表明，VPEC可以通过对推断压力图像的闭环控制进行精确操作。在我们的评估中，移动操纵器（来自Hello Robot的拉伸RE1）使用Visual Servoing在所需的压力下进行接触；遵循空间压力轨迹；并掌握小型低调的物体，包括microSD卡，一分钱和药丸。总体而言，我们的结果表明，对施加压力的视觉估计可以使软抓手能够执行精确操作。
translated by 谷歌翻译
对于机器人来说，拾取透明的对象仍然是一项具有挑战性的任务。透明对象（例如反射和折射）的视觉属性使依赖相机传感的当前抓握方法无法检测和本地化。但是，人类可以通过首先观察其粗剖面，然后戳其感兴趣的区域以获得良好的抓握轮廓来很好地处理透明的物体。受到这一点的启发，我们提出了一个新颖的视觉引导触觉框架，以抓住透明的物体。在拟议的框架中，首先使用分割网络来预测称为戳戳区域的水平上部区域，在该区域中，机器人可以在该区域戳入对象以获得良好的触觉读数，同时导致对物体状态的最小干扰。然后，使用高分辨率胶触觉传感器进行戳戳。鉴于触觉阅读有所改善的当地概况，计划掌握透明物体的启发式掌握。为了减轻对透明对象的现实世界数据收集和标记的局限性，构建了一个大规模逼真的合成数据集。广泛的实验表明，我们提出的分割网络可以预测潜在的戳戳区域，平均平均精度（地图）为0.360，而视觉引导的触觉戳戳可以显着提高抓地力成功率，从38.9％到85.2％。由于其简单性，我们提出的方法也可以被其他力量或触觉传感器采用，并可以用于掌握其他具有挑战性的物体。本文中使用的所有材料均可在https://sites.google.com/view/tactilepoking上获得。
translated by 谷歌翻译
当没有光学信息可用时，在不确定环境下的机器人探索具有挑战性。在本文中，我们提出了一种自主解决方案，即仅基于触觉感测，探索一个未知的任务空间。我们首先根据MEMS晴雨表设备设计了晶须传感器。该传感器可以通过非侵入性与环境进行交互来获取联系信息。该传感器伴随着一种计划技术，可以通过使用触觉感知来产生探索轨迹。该技术依赖于触觉探索的混合政策，其中包括用于对象搜索的主动信息路径计划，以及用于轮廓跟踪的反应性HOPF振荡器。结果表明，混合勘探政策可以提高对象发现的效率。最后，通过细分对象和分类来促进场景的理解。开发了一个分类器，以根据晶须传感器收集的几何特征识别对象类别。这种方法证明了晶须传感器以及触觉智能，可以提供足够的判别特征来区分对象。
translated by 谷歌翻译
机器人操纵可以配制成诱导一系列空间位移：其中移动的空间可以包括物体，物体的一部分或末端执行器。在这项工作中，我们提出了一个简单的模型架构，它重新排列了深度功能，以从视觉输入推断出可视输入的空间位移 - 这可以参数化机器人操作。它没有对象的假设（例如规范姿势，模型或关键点），它利用空间对称性，并且比我们学习基于视觉的操纵任务的基准替代方案更高的样本效率，并且依赖于堆叠的金字塔用看不见的物体组装套件;从操纵可变形的绳索，以将堆积的小物体推动，具有闭环反馈。我们的方法可以表示复杂的多模态策略分布，并推广到多步顺序任务，以及6dof拾取器。 10个模拟任务的实验表明，它比各种端到端基线更快地学习并概括，包括使用地面真实对象姿势的政策。我们在现实世界中使用硬件验证我们的方法。实验视频和代码可在https://transporternets.github.io获得
translated by 谷歌翻译
抓握是通过在一组触点上施加力和扭矩来挑选对象的过程。深度学习方法的最新进展允许在机器人对象抓地力方面快速进步。我们在过去十年中系统地调查了出版物，特别感兴趣使用最终效果姿势的所有6度自由度抓住对象。我们的综述发现了四种用于机器人抓钩的常见方法：基于抽样的方法，直接回归，强化学习和示例方法。此外，我们发现了围绕抓握的两种“支持方法”，这些方法使用深入学习来支持抓握过程，形状近似和负担能力。我们已经将本系统评论（85篇论文）中发现的出版物提炼为十个关键要点，我们认为对未来的机器人抓握和操纵研究至关重要。该调查的在线版本可从https://rhys-newbury.github.io/projects/6dof/获得
translated by 谷歌翻译
机器人仿真一直是数据驱动的操作任务的重要工具。但是，大多数现有的仿真框架都缺乏与触觉传感器的物理相互作用的高效和准确模型，也没有逼真的触觉模拟。这使得基于触觉的操纵任务的SIM转交付仍然具有挑战性。在这项工作中，我们通过建模接触物理学来整合机器人动力学和基于视觉的触觉传感器的模拟。该触点模型使用机器人最终效应器上的模拟接触力来告知逼真的触觉输出。为了消除SIM到真实传输差距，我们使用现实世界数据校准了机器人动力学，接触模型和触觉光学模拟器的物理模拟器，然后我们在零摄像机上演示了系统的有效性 - 真实掌握稳定性预测任务，在各种对象上，我们达到平均准确性为90.7％。实验揭示了将我们的模拟框架应用于更复杂的操纵任务的潜力。我们在https://github.com/cmurobotouch/taxim/tree/taxim-robot上开放仿真框架。
translated by 谷歌翻译