我们解决了在手动操纵期间从触摸跟踪3D对象姿势的问题。具体地,我们使用基于视觉的触觉传感器来看看追踪小物体,该触觉传感器在接触点提供高维触觉图像测量。虽然事先工作依赖于有关已本地化对象的先验信息,但我们删除此要求。我们的关键识别是,一个对象由几个本地曲面修补程序组成,每个界面都足以实现可靠的对象跟踪。此外,我们可以通过提取嵌入在每个触觉图像中的局部表面正常信息在线恢复此本地补丁的几何形状。我们提出了一种新的两阶段方法。首先,我们使用图像翻译网络学习从触觉图像到曲面法线的映射。其次,我们在因子图中使用这些表面法线到两个重建本地补丁映射并使用它来推断3D对象姿势。我们展示了在唯一形状的100多个联系序列中跟踪可靠的对象跟踪,其中仿真中的四个对象和现实世界中的两个对象。补充视频:https://youtu.be/jwntc9_nh8m
translated by 谷歌翻译