增加机器人触觉感应的性能使多功能，手动操纵能够。视觉的触觉传感器已被广泛使用，因为富有的触觉反馈已被证明与操作任务的性能增加相关。具有高分辨率的现有触觉传感器解决方案具有包括低精度，昂贵的组件或缺乏可扩展性的限制。在本文中，提出了具有用于3D传感器表面的高分辨率表面变形建模的廉价，可伸缩和紧凑的触觉传感器。通过测量来自Fisheye相机的图像，表明传感器可以通过使用深卷积神经网络成功地估计实时（1.8ms）的表面变形。该传感器在其设计和传感能力中表示通过高分辨率形状重建实现更好的对象的携手局部定位，分类和表面估计的重要一步。

协作机器人将对家庭服务应用中的人类福利产生巨大影响，而高级制造业中的工业优势需要灵巧的组装。出色的挑战是为机器人指尖提供一种物理设计，使他们擅长执行需要高分辨率，校准形状重建和力传感的灵活任务。在这项工作中，我们提出了Densetact 2.0，这是一种能够可视化柔软指尖的变形表面并在神经网络中使用该图像来执行校准形状重建和6轴扳手估计的光学传感器。我们证明了用于形状重建的每个像素0.3633mm的传感器精度，0.410N的力量，扭矩为0.387mmnm，以及通过转移学习来校准新手指的能力，实现了可比性的性能，训练了四倍以上，只有12％以上数据集大小。

可以测量接触物体的3D几何形状的基于视觉的触觉传感器对于机器人执行灵巧的操纵任务至关重要。但是，现有的传感器通常很复杂，可以制造和细腻以扩展。在这项工作中，我们从小地利用了半透明弹性体的反射特性来设计一种名为DTACT的强大，低成本且易于制作的触觉传感器。DTACT从捕获的触觉图像中所示的黑暗中精确测量了高分辨率3D几何形状，仅具有单个图像进行校准。与以前的传感器相反，在各种照明条件下，DTACT是可靠的。然后，我们构建了具有非平面接触表面的DTACT原型，并以最少的额外努力和成本。最后，我们执行了两项智能机器人任务，包括使用DTACT进行姿势估计和对象识别，其中DTACT在应用中显示出巨大的潜力。

视觉的触觉传感器由于经济实惠的高分辨率摄像机和成功的计算机视觉技术而被出现为机器人触摸的有希望的方法。但是，它们的物理设计和他们提供的信息尚不符合真实应用的要求。我们提供了一种名为Insight的强大，柔软，低成本，视觉拇指大小的3D触觉传感器：它不断在其整个圆锥形感测表面上提供定向力分布图。围绕内部单眼相机构造，传感器仅在刚性框架上仅成型一层弹性体，以保证灵敏度，鲁棒性和软接触。此外，Insight是第一个使用准直器将光度立体声和结构光混合的系统来检测其易于更换柔性外壳的3D变形。通过将图像映射到3D接触力的空间分布（正常和剪切）的深神经网络推断力信息。洞察力在0.4毫米的总空间分辨率，力量幅度精度约为0.03 n，并且对于具有不同接触面积的多个不同触点，在0.03-2 n的范围内的5度大约5度的力方向精度。呈现的硬件和软件设计概念可以转移到各种机器人部件。

触觉感应是执行灵巧操纵任务的机器人的基本能力。虽然相机，LIDAR和其他远程传感器可以在全球和立即评估场景，但触觉传感器可以减少它们的测量不确定性，并在往复对象和机器人之间获得局部物理交互的信息，这通常不能通过遥感。触觉传感器可以分为两个主要类别：电子触觉皮肤和基于相机的光学触觉传感器。前者是薄薄的并且可以安装在不同的身体部位上，而后者呈现更棱柱形状并具有更高的感测分辨率，具有良好的优势，可以用作机器人手指或指尖。这种光学触觉传感器之一是我们的Geltip传感器，其成形为手指，并且可以在其表面的任何位置感接触。这样，Geltip传感器能够从所有方向上检测触点，如人的手指。为了捕获这些触点，它使用安装在其基部的相机来跟踪覆盖其空心，刚性和透明体的不透明弹性体的变形。由于这种设计，配备盖施电流传感器的夹具能够同时监测其掌握内外的触点。使用该传感器进行的实验表明了触点是如何定位的，更重要的是，利用杂波中的Dexterous操纵任务中的全面触摸感测的优点，甚至可能是必要的，其中触点可能发生在手指的任何位置。可以在HTTPS://Danfergo.github.io/geltip/中找到制造Geltip传感器的所有材料

Robots have been brought to work close to humans in many scenarios. For coexistence and collaboration, robots should be safe and pleasant for humans to interact with. To this end, the robots could be both physically soft with multimodal sensing/perception, so that the robots could have better awareness of the surrounding environment, as well as to respond properly to humans' action/intention. This paper introduces a novel soft robotic link, named ProTac, that possesses multiple sensing modes: tactile and proximity sensing, based on computer vision and a functional material. These modalities come from a layered structure of a soft transparent silicon skin, a polymer dispersed liquid crystal (PDLC) film, and reflective markers. Here, the PDLC film can switch actively between the opaque and the transparent state, from which the tactile sensing and proximity sensing can be obtained by using cameras solely built inside the ProTac link. In this paper, inference algorithms for tactile proximity perception are introduced. Evaluation results of two sensing modalities demonstrated that, with a simple activation strategy, ProTac link could effectively perceive useful information from both approaching and in-contact obstacles. The proposed sensing device is expected to bring in ultimate solutions for design of robots with softness, whole-body and multimodal sensing, and safety control strategies.

软机器人抓手有助于富含接触的操作，包括对各种物体的强大抓握。然而，软抓手的有益依从性也会导致重大变形，从而使精确的操纵具有挑战性。我们提出视觉压力估计与控制（VPEC），这种方法可以使用外部摄像头的RGB图像施加的软握力施加的压力。当气动抓地力和肌腱握力与平坦的表面接触时，我们为视觉压力推断提供了结果。我们还表明，VPEC可以通过对推断压力图像的闭环控制进行精确操作。在我们的评估中，移动操纵器（来自Hello Robot的拉伸RE1）使用Visual Servoing在所需的压力下进行接触；遵循空间压力轨迹；并掌握小型低调的物体，包括microSD卡，一分钱和药丸。总体而言，我们的结果表明，对施加压力的视觉估计可以使软抓手能够执行精确操作。

触摸感在使人类能够理解和与周围环境互动方面发挥着关键作用。对于机器人，触觉感应也是不可替代的。在与物体交互时，触觉传感器为机器人提供了理解物体的有用信息，例如分布式压力，温度，振动和纹理。在机器人抓住期间，视力通常由其最终效应器封闭，而触觉感应可以测量视觉无法访问的区域。在过去的几十年中，已经为机器人开发了许多触觉传感器，并用于不同的机器人任务。在本章中，我们专注于使用触觉对机器人抓握的触觉，并研究近期对物质性质的触觉趋势。我们首先讨论了术语，即形状，姿势和材料特性对三个重要的物体特性的触觉感知。然后，我们通过触觉感应审查抓握稳定性预测的最新发展。在这些作品中，我们确定了在机器人抓握中协调视觉和触觉感应的要求。为了证明使用触觉传感来提高视觉感知，介绍了我们最近的抗议重建触觉触觉感知的发展。在所提出的框架中，首先利用相机视觉的大型接收领域以便快速搜索含有裂缝的候选区域，然后使用高分辨率光学触觉传感器来检查这些候选区域并重建精制的裂缝形状。实验表明，我们所提出的方法可以实现0.82mm至0.24mm的平均距离误差的显着降低，以便重建。最后，我们在讨论了对机器人任务中施加触觉感应的公开问题和未来方向的讨论。

深度学习与高分辨率的触觉传感相结合可能导致高度强大的灵巧机器人。但是，由于专业设备和专业知识，进度很慢。数字触觉传感器可使用Gelsight型传感器提供低成本的高分辨率触摸。在这里，我们将数字定制为基于柔软仿生光学触觉传感器的Tactip家族具有3D打印的传感表面。 Digit-Tactip（Digitac）可以在这些不同的触觉传感器类型之间进行直接比较。为了进行此比较，我们引入了一个触觉机器人系统，该机器人系统包括桌面臂，坐骑和3D打印的测试对象。我们将触觉伺服器控制与Posenet深度学习模型一起比较数字，Digitac和Tactip，以在3D形状上进行边缘和表面跟随。这三个传感器在姿势预测上的性能类似，但是它们的构造导致伺服控制的性能不同，为研究人员选择或创新触觉传感器提供了指导。复制此研究的所有硬件和软件将公开发布。

人们经常通过双手施加压力来与周围环境互动。虽然可以通过在手和环境之间放置压力传感器来测量手动压力，但这样做可以改变接触力学，干扰人类触觉感知，需要昂贵的传感器，并且对大型环境的扩展很差。我们探索使用常规的RGB摄像头推断手动压力的可能性，从而使机器对无爆炸的手和表面的手动压力感知。中心洞察力是，通过手的施加压力会导致内容丰富的外观变化。手共有生物力学特性，从而产生相似的可观察现象，例如软组织变形，血液分布，手姿势和铸造阴影。我们收集了36位参与者的视频，这些参与者具有不同的肤色，向仪器的平面表面施加压力。然后，我们训练了一个深层模型（压力visionnet），以从单个RGB图像中推断出压力图像。我们的模型会在培训数据外降低给参与者的压力，并且表现优于基准。我们还表明，我们的模型的输出取决于手的外观，并在接触区域附近投射阴影。总体而言，我们的结果表明，可以使用以前未观察到的人手的出现来准确推断施加压力。数据，代码和模型可在线提供。

仿真广泛用于系统验证和大规模数据收集的机器人。然而，模拟传感器包括触觉传感器，这是一个长期存在的挑战。在本文中，我们提出了针对视觉触觉传感器的税法，逼真和高速仿真模型，Gelsight。凝胶传感器使用一块软弹性体作为接触的介质，并嵌入光学结构以捕获弹性体的变形，其在接触表面处施加的几何形状和力。我们提出了一种基于示例性的模拟eGelight方法：我们使用多项式查找表模拟对变形的光学响应。此表将变形几何形状映射到由嵌入式摄像机采样的像素强度。为了模拟由弹性体的表面拉伸引起的表面标记的运动，我们应用线性弹性变形理论和叠加原理。仿真模型校准，具有来自真实传感器的少于100个数据点。基于示例的方法使模型能够轻松地迁移到其他裸体传感器或其变化。据我们所知，我们的仿真框架是第一个包含从弹性体变形的标记运动场仿真以及光学仿真，创造了全面和计算的触觉模拟框架。实验表明，与现有工作相比，我们的光学仿真具有最低的像素 - 方面强度误差，并可以在线计算在线计算。我们的代码和补充材料在https://github.com/cmurobotouch/taxim开放。

当没有光学信息可用时，在不确定环境下的机器人探索具有挑战性。在本文中，我们提出了一种自主解决方案，即仅基于触觉感测，探索一个未知的任务空间。我们首先根据MEMS晴雨表设备设计了晶须传感器。该传感器可以通过非侵入性与环境进行交互来获取联系信息。该传感器伴随着一种计划技术，可以通过使用触觉感知来产生探索轨迹。该技术依赖于触觉探索的混合政策，其中包括用于对象搜索的主动信息路径计划，以及用于轮廓跟踪的反应性HOPF振荡器。结果表明，混合勘探政策可以提高对象发现的效率。最后，通过细分对象和分类来促进场景的理解。开发了一个分类器，以根据晶须传感器收集的几何特征识别对象类别。这种方法证明了晶须传感器以及触觉智能，可以提供足够的判别特征来区分对象。

The accurate detection and grasping of transparent objects are challenging but of significance to robots. Here, a visual-tactile fusion framework for transparent object grasping under complex backgrounds and variant light conditions is proposed, including the grasping position detection, tactile calibration, and visual-tactile fusion based classification. First, a multi-scene synthetic grasping dataset generation method with a Gaussian distribution based data annotation is proposed. Besides, a novel grasping network named TGCNN is proposed for grasping position detection, showing good results in both synthetic and real scenes. In tactile calibration, inspired by human grasping, a fully convolutional network based tactile feature extraction method and a central location based adaptive grasping strategy are designed, improving the success rate by 36.7% compared to direct grasping. Furthermore, a visual-tactile fusion method is proposed for transparent objects classification, which improves the classification accuracy by 34%. The proposed framework synergizes the advantages of vision and touch, and greatly improves the grasping efficiency of transparent objects.

我们研究了如何将高分辨率触觉传感器与视觉和深度传感结合使用，以改善掌握稳定性预测。在模拟高分辨率触觉传感的最新进展，尤其是触觉模拟器，使我们能够评估如何结合感应方式训练神经网络。借助训练大型神经网络所需的大量数据，机器人模拟器提供了一种快速自动化数据收集过程的方法。我们通过消融研究扩展现有工作，并增加了从YCB基准组中获取的一组对象。我们的结果表明，尽管视觉，深度和触觉感测的组合为已知对象提供了最佳预测结果，但该网络未能推广到未知对象。我们的工作还解决了触觉模拟中机器人抓握的现有问题以及如何克服它们。

受到人类在不依赖视觉的情况下感知陌生物体表面质地的能力的启发，触觉感可以在机器人探索环境的过程中起着至关重要的作用，尤其是在某些场景中，视力难以应用或闭塞是不可避免地存在。现有的触觉表面重建方法依赖外部传感器或具有强大的先前假设，这将限制其应用程序场景并使操作更加复杂。本文提出了一种表面重建算法，该算法仅使用基于新的触觉传感器，其中不熟悉的物体的表面结构由多个触觉测量重建。与现有算法相比，提出的算法不依赖外部设备，而是专注于提高大规模对象表面的重建精度。为了使重建精度很容易受到采样压力的影响，我们提出了一种校正算法以使其适应它。从多次接触产生的多帧触觉烙印可以通过共同使用点云注册算法，基于深度学习的环闭合检测算法和姿势图优化算法来准确地重建全局对象表面。实验验证所提出的算法可以在重建交互式对象表面并为机器人提供准确的触觉信息以了解周围环境时实现毫米级的精度。

对于机器人来说，拾取透明的对象仍然是一项具有挑战性的任务。透明对象（例如反射和折射）的视觉属性使依赖相机传感的当前抓握方法无法检测和本地化。但是，人类可以通过首先观察其粗剖面，然后戳其感兴趣的区域以获得良好的抓握轮廓来很好地处理透明的物体。受到这一点的启发，我们提出了一个新颖的视觉引导触觉框架，以抓住透明的物体。在拟议的框架中，首先使用分割网络来预测称为戳戳区域的水平上部区域，在该区域中，机器人可以在该区域戳入对象以获得良好的触觉读数，同时导致对物体状态的最小干扰。然后，使用高分辨率胶触觉传感器进行戳戳。鉴于触觉阅读有所改善的当地概况，计划掌握透明物体的启发式掌握。为了减轻对透明对象的现实世界数据收集和标记的局限性，构建了一个大规模逼真的合成数据集。广泛的实验表明，我们提出的分割网络可以预测潜在的戳戳区域，平均平均精度（地图）为0.360，而视觉引导的触觉戳戳可以显着提高抓地力成功率，从38.9％到85.2％。由于其简单性，我们提出的方法也可以被其他力量或触觉传感器采用，并可以用于掌握其他具有挑战性的物体。本文中使用的所有材料均可在https://sites.google.com/view/tactilepoking上获得。

与传统的机器人手不同，由于固有的不确定性，兼容的手不足的手对模型的挑战。因此，通常基于视觉感知执行抓握对象的姿势估计。但是，在闭塞或部分占地环境中，对手和物体的视觉感知可以受到限制。在本文中，我们旨在探索触觉的使用，即动力学和触觉感测，以构成姿势估计和手动操纵，手工不足。这种触觉方法会减轻并非总是可用的视线。我们强调识别系统的特征状态表示，该状态表示不包括视觉，可以通过简单和低成本的硬件获得。因此，对于触觉传感，我们提出了一个低成本和灵活的传感器，该传感器主要是与指尖一起打印的3D，并可以提供隐式的接触信息。我们将双手手动的手作为测试案例不足，我们分析了动力学和触觉特征以及各种回归模型对预测准确性的贡献。此外，我们提出了一种模型预测控制（MPC）方法，该方法利用姿势估计将对象操纵为仅基于触觉的所需状态。我们进行了一系列实验，以验证具有不同几何形状，刚度和纹理的各种物体的姿势的能力，并以相对较高的精度显示工作空间中的目标。

高分辨率光触觉传感器越来越多地用于机器人学习环境中，因为它们能够捕获与试剂环境相互作用直接相关的大量数据。但是，由于触觉机器人平台的高成本，专业的仿真软件以及在不同传感器之间缺乏通用性的模拟方法，因此在该领域的研究障碍很高。在这封信中，我们将触觉健身房的模拟器扩展到两种最受欢迎​​的类型类型的三个新的光学触觉传感器（Tactip，Digit和Digitac），分别是Gelsight Style（基于图像遮蔽）和Tactip Style（基于标记）。我们证明，尽管实际触觉图像之间存在显着差异，但可以与这三个不同的传感器一起使用单个SIM到实现的方法，以实现强大的现实性能。此外，我们通过将其调整为廉价的4道机器人组来降低对拟议任务的进入障碍，从而进一步使该基准的传播。我们在三个需要触摸感的身体相互交互的任务上验证了扩展环境：对象推动，边缘跟随和表面跟随。我们实验验证的结果突出了这些传感器之间的一些差异，这可能有助于未来的研究人员选择并自定义触觉传感器的物理特征，以进行不同的操纵场景。

光有许多可以通过视觉传感器被动测量的特性。色带分离波长和强度可以说是单眼6D对象姿态估计的最常用的波长。本文探讨了互补偏振信息的互补信息，即光波振荡的方向，可以影响姿态预测的准确性。一种混合模型，利用数据驱动的学习策略共同利用物理代理，并在具有不同量的光度复杂度的物体上进行设计和仔细测试。我们的设计不仅显着提高了与光度 - 最先进的方法相关的姿态精度，而且还使对象姿势估计用于高反射性和透明的物体。

我们引入了一个球形指尖传感器进行动态操作。它基于气压压力和飞行时间接近传感器，并且是低延迟，紧凑且身体健壮的。传感器使用训练有素的神经网络根据压力传感器的数据来估计接触位置和三轴接触力，这些数据嵌入了传感器的聚氨酯橡胶范围内。飞行器传感器朝三个不同的外向方向面对，并且一个集成的微控制器样品以200 Hz的速度每个单个传感器。为了量化系统潜伏期对动态操作性能的影响，我们开发和分析了一个称为碰撞脉冲比率的度量，并表征了我们新传感器的端到端潜伏期。我们还向传感器提出了实验演示，包括测量接触过渡，进行粗大映射，与移动物体保持接触力以及避免碰撞的反应。