软机器人抓手有助于富含接触的操作,包括对各种物体的强大抓握。然而,软抓手的有益依从性也会导致重大变形,从而使精确的操纵具有挑战性。我们提出视觉压力估计与控制(VPEC),这种方法可以使用外部摄像头的RGB图像施加的软握力施加的压力。当气动抓地力和肌腱握力与平坦的表面接触时,我们为视觉压力推断提供了结果。我们还表明,VPEC可以通过对推断压力图像的闭环控制进行精确操作。在我们的评估中,移动操纵器(来自Hello Robot的拉伸RE1)使用Visual Servoing在所需的压力下进行接触;遵循空间压力轨迹;并掌握小型低调的物体,包括microSD卡,一分钱和药丸。总体而言,我们的结果表明,对施加压力的视觉估计可以使软抓手能够执行精确操作。
translated by 谷歌翻译
人们经常通过双手施加压力来与周围环境互动。虽然可以通过在手和环境之间放置压力传感器来测量手动压力,但这样做可以改变接触力学,干扰人类触觉感知,需要昂贵的传感器,并且对大型环境的扩展很差。我们探索使用常规的RGB摄像头推断手动压力的可能性,从而使机器对无爆炸的手和表面的手动压力感知。中心洞察力是,通过手的施加压力会导致内容丰富的外观变化。手共有生物力学特性,从而产生相似的可观察现象,例如软组织变形,血液分布,手姿势和铸造阴影。我们收集了36位参与者的视频,这些参与者具有不同的肤色,向仪器的平面表面施加压力。然后,我们训练了一个深层模型(压力visionnet),以从单个RGB图像中推断出压力图像。我们的模型会在培训数据外降低给参与者的压力,并且表现优于基准。我们还表明,我们的模型的输出取决于手的外观,并在接触区域附近投射阴影。总体而言,我们的结果表明,可以使用以前未观察到的人手的出现来准确推断施加压力。数据,代码和模型可在线提供。
translated by 谷歌翻译
触觉感应是执行灵巧操纵任务的机器人的基本能力。虽然相机,LIDAR和其他远程传感器可以在全球和立即评估场景,但触觉传感器可以减少它们的测量不确定性,并在往复对象和机器人之间获得局部物理交互的信息,这通常不能通过遥感。触觉传感器可以分为两个主要类别:电子触觉皮肤和基于相机的光学触觉传感器。前者是薄薄的并且可以安装在不同的身体部位上,而后者呈现更棱柱形状并具有更高的感测分辨率,具有良好的优势,可以用作机器人手指或指尖。这种光学触觉传感器之一是我们的Geltip传感器,其成形为手指,并且可以在其表面的任何位置感接触。这样,Geltip传感器能够从所有方向上检测触点,如人的手指。为了捕获这些触点,它使用安装在其基部的相机来跟踪覆盖其空心,刚性和透明体的不透明弹性体的变形。由于这种设计,配备盖施电流传感器的夹具能够同时监测其掌握内外的触点。使用该传感器进行的实验表明了触点是如何定位的,更重要的是,利用杂波中的Dexterous操纵任务中的全面触摸感测的优点,甚至可能是必要的,其中触点可能发生在手指的任何位置。可以在HTTPS://Danfergo.github.io/geltip/中找到制造Geltip传感器的所有材料
translated by 谷歌翻译
大物体的操纵和安全地在人类附近进行安全操作的能力是通用国内机器人助手的关键能力。我们介绍了一种柔软,触觉的人形的人形机器人的设计,并展示了用于处理大物体的全身丰富的接触操作策略。我们展示了我们的硬件设计理念,用于使用软触觉传感模块,包括:(i)低成本,抗缝,接触压力定位的武器, (ii)基于TRI软气泡传感器的爪子,用于最终效应器,(III)柔顺的力/几何传感器,用于粗糙几何感测表面/胸部。我们利用这些模块的机械智能和触觉感应,为全身抓握控制进行开发和展示运动原语。我们评估硬件在实现各种大型国内物体上实现不同优势的掌握。我们的结果表明,利用富含接触的操纵策略的柔软度和触觉感应的重要性,以及与世界的全身力量控制的互动前进的道路。
translated by 谷歌翻译
布料的机器人操作的应用包括织物制造业到处理毯子和洗衣。布料操作对于机器人而言是挑战,这主要是由于它们的高度自由度,复杂的动力学和折叠或皱巴巴配置时的严重自我闭合。机器人操作的先前工作主要依赖于视觉传感器,这可能会对细粒度的操纵任务构成挑战,例如从一堆布上抓住所需数量的布料层。在本文中,我们建议将触觉传感用于布操作;我们将触觉传感器(Resin)连接到弗兰卡机器人的两个指尖之一,并训练分类器,以确定机器人是否正在抓住特定数量的布料层。在测试时间实验中,机器人使用此分类器作为其政策的一部分,使用触觉反馈来掌握一两个布层,以确定合适的握把。实验结果超过180次物理试验表明,与使用图像分类器的方法相比,所提出的方法优于不使用触觉反馈并具有更好地看不见布的基准。代码,数据和视频可在https://sites.google.com/view/reskin-cloth上找到。
translated by 谷歌翻译
我们研究了如何将高分辨率触觉传感器与视觉和深度传感结合使用,以改善掌握稳定性预测。在模拟高分辨率触觉传感的最新进展,尤其是触觉模拟器,使我们能够评估如何结合感应方式训练神经网络。借助训练大型神经网络所需的大量数据,机器人模拟器提供了一种快速自动化数据收集过程的方法。我们通过消融研究扩展现有工作,并增加了从YCB基准组中获取的一组对象。我们的结果表明,尽管视觉,深度和触觉感测的组合为已知对象提供了最佳预测结果,但该网络未能推广到未知对象。我们的工作还解决了触觉模拟中机器人抓握的现有问题以及如何克服它们。
translated by 谷歌翻译
我们提出了一个本体感受的远程操作系统,该系统使用反身握把算法来增强拾取任务的速度和稳健性。该系统由两个使用准直接驱动驱动的操纵器组成,以提供高度透明的力反馈。末端效应器具有双峰力传感器,可测量3轴力信息和2维接触位置。此信息用于防滑和重新磨碎反射。当用户与所需对象接触时,重新抓紧反射将抓地力的手指与对象上的抗肌点对齐,以最大程度地提高抓握稳定性。反射仅需150毫秒即可纠正用户选择的不准确的grasps,因此用户的运动仅受到Re-Grasp的执行的最小干扰。一旦建立了抗焦点接触,抗滑动反射将确保抓地力施加足够的正常力来防止物体从抓地力中滑出。本体感受器的操纵器和反射抓握的结合使用户可以高速完成远程操作的任务。
translated by 谷歌翻译
通过触觉反馈感知物体滑移的能力使人类能够完成复杂的操纵任务,包括保持稳定的掌握。尽管触觉信息用于许多应用程序,但触觉传感器尚未在工业机器人设置中广泛部署。挑战的一部分在于从触觉数据流中识别滑移和其他事件。在本文中,我们提出了一种基于学习的方法,可以使用气压触觉传感器检测滑移。这些传感器具有许多理想的属性,包括高耐用性和可靠性,并且由廉价的现成组件构建。我们训练一个时间卷积神经网络来检测滑动,达到高检测精度,同时表现出稳健性,以对滑动运动的速度和方向。此外,我们在涉及各种常见对象的两项操纵任务上测试了探测器,并证明了对训练期间看不到的现实情况的成功概括。我们认为,气压触觉传感技术与数据驱动的学习相结合,适用于许多操纵任务,例如滑移补偿。
translated by 谷歌翻译
We describe a learning-based approach to handeye coordination for robotic grasping from monocular images. To learn hand-eye coordination for grasping, we trained a large convolutional neural network to predict the probability that task-space motion of the gripper will result in successful grasps, using only monocular camera images and independently of camera calibration or the current robot pose. This requires the network to observe the spatial relationship between the gripper and objects in the scene, thus learning hand-eye coordination. We then use this network to servo the gripper in real time to achieve successful grasps. To train our network, we collected over 800,000 grasp attempts over the course of two months, using between 6 and 14 robotic manipulators at any given time, with differences in camera placement and hardware. Our experimental evaluation demonstrates that our method achieves effective real-time control, can successfully grasp novel objects, and corrects mistakes by continuous servoing.
translated by 谷歌翻译
尽管有触觉信息的实用性,但触觉传感器尚未在工业机器人设置中广泛部署。挑战的一部分在于识别触觉数据流的滑移和其他关键事件。在本文中,我们提出了一种基于学习的方法,可以使用气压触觉传感器检测滑移。尽管这些传感器的分辨率很低,但它们具有许多其他理想的特性,包括高可靠性和耐用性,非常苗条的轮廓和低成本。我们能够实现大于91%的滑动检测精度,同时稳健地遵循滑动运动的速度和方向。此外,我们在涉及常见家庭对象的两个机器人操纵任务上测试了我们的探测器,并证明了对训练期间未见的现实情况的成功概括。我们表明,气压触觉传感技术与数据驱动的学习相结合,可能适用于复杂的操纵任务,例如滑移补偿。
translated by 谷歌翻译
本文介绍了DGBench,这是一种完全可重现的开源测试系统,可在机器人和对象之间具有不可预测的相对运动的环境中对动态抓握进行基准测试。我们使用拟议的基准比较几种视觉感知布置。由于传感器的最小范围,遮挡和有限的视野,用于静态抓握的传统感知系统无法在掌握的最后阶段提供反馈。提出了一个多摄像机的眼睛感知系统,该系统具有比常用的相机配置具有优势。我们用基于图像的视觉宣传控制器进行定量评估真实机器人的性能,并在动态掌握任务上显示出明显提高的成功率。
translated by 谷歌翻译
机器人仿真一直是数据驱动的操作任务的重要工具。但是,大多数现有的仿真框架都缺乏与触觉传感器的物理相互作用的高效和准确模型,也没有逼真的触觉模拟。这使得基于触觉的操纵任务的SIM转交付仍然具有挑战性。在这项工作中,我们通过建模接触物理学来整合机器人动力学和基于视觉的触觉传感器的模拟。该触点模型使用机器人最终效应器上的模拟接触力来告知逼真的触觉输出。为了消除SIM到真实传输差距,我们使用现实世界数据校准了机器人动力学,接触模型和触觉光学模拟器的物理模拟器,然后我们在零摄像机上演示了系统的有效性 - 真实掌握稳定性预测任务,在各种对象上,我们达到平均准确性为90.7%。实验揭示了将我们的模拟框架应用于更复杂的操纵任务的潜力。我们在https://github.com/cmurobotouch/taxim/tree/taxim-robot上开放仿真框架。
translated by 谷歌翻译
现代的机器人操纵系统缺乏人类的操纵技巧,部分原因是它们依靠围绕视觉数据的关闭反馈循环,这会降低系统的带宽和速度。通过开发依赖于高带宽力,接触和接近数据的自主握力反射,可以提高整体系统速度和鲁棒性,同时减少对视力数据的依赖。我们正在开发一个围绕低渗透的高速手臂建造的新系统,该系统用敏捷的手指结合了一个高级轨迹计划器,以小于1 Hz的速度运行,低级自主反射控制器的运行量超过300 Hz。我们通过将成功的基线控制器和反射握把控制器的变化的成功抓Grasps的体积和反射系统的体积进行比较,从而表征了反射系统,发现我们的控制器将成功的掌握率与基线相比扩大了55%。我们还使用简单的基于视觉的计划者在自主杂波清除任务中部署了反身抓握控制器,在清除100多个项目的同时,达到了超过90%的成功率。
translated by 谷歌翻译
触摸感在使人类能够理解和与周围环境互动方面发挥着关键作用。对于机器人,触觉感应也是不可替代的。在与物体交互时,触觉传感器为机器人提供了理解物体的有用信息,例如分布式压力,温度,振动和纹理。在机器人抓住期间,视力通常由其最终效应器封闭,而触觉感应可以测量视觉无法访问的区域。在过去的几十年中,已经为机器人开发了许多触觉传感器,并用于不同的机器人任务。在本章中,我们专注于使用触觉对机器人抓握的触觉,并研究近期对物质性质的触觉趋势。我们首先讨论了术语,即形状,姿势和材料特性对三个重要的物体特性的触觉感知。然后,我们通过触觉感应审查抓握稳定性预测的最新发展。在这些作品中,我们确定了在机器人抓握中协调视觉和触觉感应的要求。为了证明使用触觉传感来提高视觉感知,介绍了我们最近的抗议重建触觉触觉感知的发展。在所提出的框架中,首先利用相机视觉的大型接收领域以便快速搜索含有裂缝的候选区域,然后使用高分辨率光学触觉传感器来检查这些候选区域并重建精制的裂缝形状。实验表明,我们所提出的方法可以实现0.82mm至0.24mm的平均距离误差的显着降低,以便重建。最后,我们在讨论了对机器人任务中施加触觉感应的公开问题和未来方向的讨论。
translated by 谷歌翻译
Cloth in the real world is often crumpled, self-occluded, or folded in on itself such that key regions, such as corners, are not directly graspable, making manipulation difficult. We propose a system that leverages visual and tactile perception to unfold the cloth via grasping and sliding on edges. By doing so, the robot is able to grasp two adjacent corners, enabling subsequent manipulation tasks like folding or hanging. As components of this system, we develop tactile perception networks that classify whether an edge is grasped and estimate the pose of the edge. We use the edge classification network to supervise a visuotactile edge grasp affordance network that can grasp edges with a 90% success rate. Once an edge is grasped, we demonstrate that the robot can slide along the cloth to the adjacent corner using tactile pose estimation/control in real time. See http://nehasunil.com/visuotactile/visuotactile.html for videos.
translated by 谷歌翻译
可靠的机器人抓握,特别是具有可变形物体(例如水果),由于与夹持器,未知的物体动态和可变物体几何形状的欠扰接触相互作用,仍然是一个具有挑战性的任务。在这项研究中,我们提出了一种用于刚性夹持器的基于变压器的机器人抓握框架,其利用触觉和可视信息来用于安全对象抓握。具体地,变压器模型通过执行两个预定义的探索动作(夹紧和滑动)来学习具有传感器反馈的物理特征嵌入,并通过多层的Perceptron(MLP)预测最终抓握结果,具有给定的抓握强度。使用这些预测,通过推断使用用于抓握任务的安全抓握强度的抓握器。与卷积复制网络相比,变压器模型可以在图像序列上捕获长期依赖性,并同时处理空间时间特征。我们首先在公共数据集上基准测试在公共数据集上进行滑动检测。在此之后,我们表明变压器模型在掌握精度和计算效率方面优于CNN + LSTM模型。我们还收集我们自己的水果掌握数据集,并使用所看到和看不见的果实的拟议框架进行在线掌握实验。我们的代码和数据集在Github上公开。
translated by 谷歌翻译
对于机器人来说,拾取透明的对象仍然是一项具有挑战性的任务。透明对象(例如反射和折射)的视觉属性使依赖相机传感的当前抓握方法无法检测和本地化。但是,人类可以通过首先观察其粗剖面,然后戳其感兴趣的区域以获得良好的抓握轮廓来很好地处理透明的物体。受到这一点的启发,我们提出了一个新颖的视觉引导触觉框架,以抓住透明的物体。在拟议的框架中,首先使用分割网络来预测称为戳戳区域的水平上部区域,在该区域中,机器人可以在该区域戳入对象以获得良好的触觉读数,同时导致对物体状态的最小干扰。然后,使用高分辨率胶触觉传感器进行戳戳。鉴于触觉阅读有所改善的当地概况,计划掌握透明物体的启发式掌握。为了减轻对透明对象的现实世界数据收集和标记的局限性,构建了一个大规模逼真的合成数据集。广泛的实验表明,我们提出的分割网络可以预测潜在的戳戳区域,平均平均精度(地图)为0.360,而视觉引导的触觉戳戳可以显着提高抓地力成功率,从38.9%到85.2%。由于其简单性,我们提出的方法也可以被其他力量或触觉传感器采用,并可以用于掌握其他具有挑战性的物体。本文中使用的所有材料均可在https://sites.google.com/view/tactilepoking上获得。
translated by 谷歌翻译
视觉的触觉传感器由于经济实惠的高分辨率摄像机和成功的计算机视觉技术而被出现为机器人触摸的有希望的方法。但是,它们的物理设计和他们提供的信息尚不符合真实应用的要求。我们提供了一种名为Insight的强大,柔软,低成本,视觉拇指大小的3D触觉传感器:它不断在其整个圆锥形感测表面上提供定向力分布图。围绕内部单眼相机构造,传感器仅在刚性框架上仅成型一层弹性体,以保证灵敏度,鲁棒性和软接触。此外,Insight是第一个使用准直器将光度立体声和结构光混合的系统来检测其易于更换柔性外壳的3D变形。通过将图像映射到3D接触力的空间分布(正常和剪切)的深神经网络推断力信息。洞察力在0.4毫米的总空间分辨率,力量幅度精度约为0.03 n,并且对于具有不同接触面积的多个不同触点,在0.03-2 n的范围内的5度大约5度的力方向精度。呈现的硬件和软件设计概念可以转移到各种机器人部件。
translated by 谷歌翻译
Reliably planning fingertip grasps for multi-fingered hands lies as a key challenge for many tasks including tool use, insertion, and dexterous in-hand manipulation. This task becomes even more difficult when the robot lacks an accurate model of the object to be grasped. Tactile sensing offers a promising approach to account for uncertainties in object shape. However, current robotic hands tend to lack full tactile coverage. As such, a problem arises of how to plan and execute grasps for multi-fingered hands such that contact is made with the area covered by the tactile sensors. To address this issue, we propose an approach to grasp planning that explicitly reasons about where the fingertips should contact the estimated object surface while maximizing the probability of grasp success. Key to our method's success is the use of visual surface estimation for initial planning to encode the contact constraint. The robot then executes this plan using a tactile-feedback controller that enables the robot to adapt to online estimates of the object's surface to correct for errors in the initial plan. Importantly, the robot never explicitly integrates object pose or surface estimates between visual and tactile sensing, instead it uses the two modalities in complementary ways. Vision guides the robots motion prior to contact; touch updates the plan when contact occurs differently than predicted from vision. We show that our method successfully synthesises and executes precision grasps for previously unseen objects using surface estimates from a single camera view. Further, our approach outperforms a state of the art multi-fingered grasp planner, while also beating several baselines we propose.
translated by 谷歌翻译
我们提出了6D(种子)中系列弹性末端效应器的框架,其将空间兼容的元素结合在粘合性感觉中,以掌握和操纵野外的工具。我们的框架将串联弹性的益处推广到6- DOF,同时提供使用粘液触觉感测的控制抽象。我们提出了一种用于粘合性感测的相对姿势估计的算法,以及能够实现与环境的稳定力相互作用的空间混合力力位置控制器。我们展示了我们对需要监管空间力量的工具的效果。视频链接:https://youtu.be/2-yuifspdrk
translated by 谷歌翻译