可以测量接触物体的3D几何形状的基于视觉的触觉传感器对于机器人执行灵巧的操纵任务至关重要。但是，现有的传感器通常很复杂，可以制造和细腻以扩展。在这项工作中，我们从小地利用了半透明弹性体的反射特性来设计一种名为DTACT的强大，低成本且易于制作的触觉传感器。DTACT从捕获的触觉图像中所示的黑暗中精确测量了高分辨率3D几何形状，仅具有单个图像进行校准。与以前的传感器相反，在各种照明条件下，DTACT是可靠的。然后，我们构建了具有非平面接触表面的DTACT原型，并以最少的额外努力和成本。最后，我们执行了两项智能机器人任务，包括使用DTACT进行姿势估计和对象识别，其中DTACT在应用中显示出巨大的潜力。

增加机器人触觉感应的性能使多功能，手动操纵能够。视觉的触觉传感器已被广泛使用，因为富有的触觉反馈已被证明与操作任务的性能增加相关。具有高分辨率的现有触觉传感器解决方案具有包括低精度，昂贵的组件或缺乏可扩展性的限制。在本文中，提出了具有用于3D传感器表面的高分辨率表面变形建模的廉价，可伸缩和紧凑的触觉传感器。通过测量来自Fisheye相机的图像，表明传感器可以通过使用深卷积神经网络成功地估计实时（1.8ms）的表面变形。该传感器在其设计和传感能力中表示通过高分辨率形状重建实现更好的对象的携手局部定位，分类和表面估计的重要一步。

协作机器人将对家庭服务应用中的人类福利产生巨大影响，而高级制造业中的工业优势需要灵巧的组装。出色的挑战是为机器人指尖提供一种物理设计，使他们擅长执行需要高分辨率，校准形状重建和力传感的灵活任务。在这项工作中，我们提出了Densetact 2.0，这是一种能够可视化柔软指尖的变形表面并在神经网络中使用该图像来执行校准形状重建和6轴扳手估计的光学传感器。我们证明了用于形状重建的每个像素0.3633mm的传感器精度，0.410N的力量，扭矩为0.387mmnm，以及通过转移学习来校准新手指的能力，实现了可比性的性能，训练了四倍以上，只有12％以上数据集大小。

视觉的触觉传感器由于经济实惠的高分辨率摄像机和成功的计算机视觉技术而被出现为机器人触摸的有希望的方法。但是，它们的物理设计和他们提供的信息尚不符合真实应用的要求。我们提供了一种名为Insight的强大，柔软，低成本，视觉拇指大小的3D触觉传感器：它不断在其整个圆锥形感测表面上提供定向力分布图。围绕内部单眼相机构造，传感器仅在刚性框架上仅成型一层弹性体，以保证灵敏度，鲁棒性和软接触。此外，Insight是第一个使用准直器将光度立体声和结构光混合的系统来检测其易于更换柔性外壳的3D变形。通过将图像映射到3D接触力的空间分布（正常和剪切）的深神经网络推断力信息。洞察力在0.4毫米的总空间分辨率，力量幅度精度约为0.03 n，并且对于具有不同接触面积的多个不同触点，在0.03-2 n的范围内的5度大约5度的力方向精度。呈现的硬件和软件设计概念可以转移到各种机器人部件。

触觉感应是执行灵巧操纵任务的机器人的基本能力。虽然相机，LIDAR和其他远程传感器可以在全球和立即评估场景，但触觉传感器可以减少它们的测量不确定性，并在往复对象和机器人之间获得局部物理交互的信息，这通常不能通过遥感。触觉传感器可以分为两个主要类别：电子触觉皮肤和基于相机的光学触觉传感器。前者是薄薄的并且可以安装在不同的身体部位上，而后者呈现更棱柱形状并具有更高的感测分辨率，具有良好的优势，可以用作机器人手指或指尖。这种光学触觉传感器之一是我们的Geltip传感器，其成形为手指，并且可以在其表面的任何位置感接触。这样，Geltip传感器能够从所有方向上检测触点，如人的手指。为了捕获这些触点，它使用安装在其基部的相机来跟踪覆盖其空心，刚性和透明体的不透明弹性体的变形。由于这种设计，配备盖施电流传感器的夹具能够同时监测其掌握内外的触点。使用该传感器进行的实验表明了触点是如何定位的，更重要的是，利用杂波中的Dexterous操纵任务中的全面触摸感测的优点，甚至可能是必要的，其中触点可能发生在手指的任何位置。可以在HTTPS://Danfergo.github.io/geltip/中找到制造Geltip传感器的所有材料

仿真广泛用于系统验证和大规模数据收集的机器人。然而，模拟传感器包括触觉传感器，这是一个长期存在的挑战。在本文中，我们提出了针对视觉触觉传感器的税法，逼真和高速仿真模型，Gelsight。凝胶传感器使用一块软弹性体作为接触的介质，并嵌入光学结构以捕获弹性体的变形，其在接触表面处施加的几何形状和力。我们提出了一种基于示例性的模拟eGelight方法：我们使用多项式查找表模拟对变形的光学响应。此表将变形几何形状映射到由嵌入式摄像机采样的像素强度。为了模拟由弹性体的表面拉伸引起的表面标记的运动，我们应用线性弹性变形理论和叠加原理。仿真模型校准，具有来自真实传感器的少于100个数据点。基于示例的方法使模型能够轻松地迁移到其他裸体传感器或其变化。据我们所知，我们的仿真框架是第一个包含从弹性体变形的标记运动场仿真以及光学仿真，创造了全面和计算的触觉模拟框架。实验表明，与现有工作相比，我们的光学仿真具有最低的像素 - 方面强度误差，并可以在线计算在线计算。我们的代码和补充材料在https://github.com/cmurobotouch/taxim开放。

商业深度传感器通常会产生嘈杂和缺失的深度，尤其是在镜面和透明的对象上，这对下游深度或基于点云的任务构成了关键问题。为了减轻此问题，我们提出了一个强大的RGBD融合网络Swindrnet，以进行深度修复。我们进一步提出了域随机增强深度模拟（DREDS）方法，以使用基于物理的渲染模拟主动的立体声深度系统，并生成一个大规模合成数据集，该数据集包含130k Photorealistic RGB图像以及其模拟深度带有现实主义的传感器。为了评估深度恢复方法，我们还策划了一个现实世界中的数据集，即STD，该数据集捕获了30个混乱的场景，这些场景由50个对象组成，具有不同的材料，从透明，透明，弥漫性。实验表明，提议的DREDS数据集桥接了SIM到实地域间隙，因此，经过训练，我们的Swindrnet可以无缝地概括到其他真实的深度数据集，例如。 ClearGrasp，并以实时速度优于深度恢复的竞争方法。我们进一步表明，我们的深度恢复有效地提高了下游任务的性能，包括类别级别的姿势估计和掌握任务。我们的数据和代码可从https://github.com/pku-epic/dreds获得

The accurate detection and grasping of transparent objects are challenging but of significance to robots. Here, a visual-tactile fusion framework for transparent object grasping under complex backgrounds and variant light conditions is proposed, including the grasping position detection, tactile calibration, and visual-tactile fusion based classification. First, a multi-scene synthetic grasping dataset generation method with a Gaussian distribution based data annotation is proposed. Besides, a novel grasping network named TGCNN is proposed for grasping position detection, showing good results in both synthetic and real scenes. In tactile calibration, inspired by human grasping, a fully convolutional network based tactile feature extraction method and a central location based adaptive grasping strategy are designed, improving the success rate by 36.7% compared to direct grasping. Furthermore, a visual-tactile fusion method is proposed for transparent objects classification, which improves the classification accuracy by 34%. The proposed framework synergizes the advantages of vision and touch, and greatly improves the grasping efficiency of transparent objects.

触摸感在使人类能够理解和与周围环境互动方面发挥着关键作用。对于机器人，触觉感应也是不可替代的。在与物体交互时，触觉传感器为机器人提供了理解物体的有用信息，例如分布式压力，温度，振动和纹理。在机器人抓住期间，视力通常由其最终效应器封闭，而触觉感应可以测量视觉无法访问的区域。在过去的几十年中，已经为机器人开发了许多触觉传感器，并用于不同的机器人任务。在本章中，我们专注于使用触觉对机器人抓握的触觉，并研究近期对物质性质的触觉趋势。我们首先讨论了术语，即形状，姿势和材料特性对三个重要的物体特性的触觉感知。然后，我们通过触觉感应审查抓握稳定性预测的最新发展。在这些作品中，我们确定了在机器人抓握中协调视觉和触觉感应的要求。为了证明使用触觉传感来提高视觉感知，介绍了我们最近的抗议重建触觉触觉感知的发展。在所提出的框架中，首先利用相机视觉的大型接收领域以便快速搜索含有裂缝的候选区域，然后使用高分辨率光学触觉传感器来检查这些候选区域并重建精制的裂缝形状。实验表明，我们所提出的方法可以实现0.82mm至0.24mm的平均距离误差的显着降低，以便重建。最后，我们在讨论了对机器人任务中施加触觉感应的公开问题和未来方向的讨论。

透明的物体在我们的日常生活中广泛使用，因此机器人需要能够处理它们。但是，透明的物体遭受了光反射和折射的影响，这使得获得执行操控任务所需的准确深度图的挑战。在本文中，我们提出了一个基于负担能力的新型框架，用于深度重建和操纵透明物体，称为A4T。层次负担能力首先用于检测透明对象及其相关的负担，以编码对象不同部分的相对位置。然后，鉴于预测的负担映射，多步深度重建方法用于逐步重建透明对象的深度图。最后，使用重建的深度图用于基于负担的透明物体操纵。为了评估我们提出的方法，我们构建了一个真实的数据集trans-frans-frans-fans-and-trans-trans-frastance和透明对象的深度图，这是同类物体中的第一个。广泛的实验表明，我们提出的方法可以预测准确的负担能图，并显着改善了与最新方法相比的透明物体的深度重建，其根平方平方误差在0.097米中显着降低至0.042。此外，我们通过一系列机器人操纵实验在透明物体上进行了提出的方法的有效性。请参阅https://sites.google.com/view/affordance4trans的补充视频和结果。

光有许多可以通过视觉传感器被动测量的特性。色带分离波长和强度可以说是单眼6D对象姿态估计的最常用的波长。本文探讨了互补偏振信息的互补信息，即光波振荡的方向，可以影响姿态预测的准确性。一种混合模型，利用数据驱动的学习策略共同利用物理代理，并在具有不同量的光度复杂度的物体上进行设计和仔细测试。我们的设计不仅显着提高了与光度 - 最先进的方法相关的姿态精度，而且还使对象姿势估计用于高反射性和透明的物体。

受到人类在不依赖视觉的情况下感知陌生物体表面质地的能力的启发，触觉感可以在机器人探索环境的过程中起着至关重要的作用，尤其是在某些场景中，视力难以应用或闭塞是不可避免地存在。现有的触觉表面重建方法依赖外部传感器或具有强大的先前假设，这将限制其应用程序场景并使操作更加复杂。本文提出了一种表面重建算法，该算法仅使用基于新的触觉传感器，其中不熟悉的物体的表面结构由多个触觉测量重建。与现有算法相比，提出的算法不依赖外部设备，而是专注于提高大规模对象表面的重建精度。为了使重建精度很容易受到采样压力的影响，我们提出了一种校正算法以使其适应它。从多次接触产生的多帧触觉烙印可以通过共同使用点云注册算法，基于深度学习的环闭合检测算法和姿势图优化算法来准确地重建全局对象表面。实验验证所提出的算法可以在重建交互式对象表面并为机器人提供准确的触觉信息以了解周围环境时实现毫米级的精度。

深度学习与高分辨率的触觉传感相结合可能导致高度强大的灵巧机器人。但是，由于专业设备和专业知识，进度很慢。数字触觉传感器可使用Gelsight型传感器提供低成本的高分辨率触摸。在这里，我们将数字定制为基于柔软仿生光学触觉传感器的Tactip家族具有3D打印的传感表面。 Digit-Tactip（Digitac）可以在这些不同的触觉传感器类型之间进行直接比较。为了进行此比较，我们引入了一个触觉机器人系统，该机器人系统包括桌面臂，坐骑和3D打印的测试对象。我们将触觉伺服器控制与Posenet深度学习模型一起比较数字，Digitac和Tactip，以在3D形状上进行边缘和表面跟随。这三个传感器在姿势预测上的性能类似，但是它们的构造导致伺服控制的性能不同，为研究人员选择或创新触觉传感器提供了指导。复制此研究的所有硬件和软件将公开发布。

最近，已经开发了用于光学触觉传感器的仿真方法，以实现SIM2REAL学习，即首先在将它们部署到真实机器人上之前模拟中的培训模型。然而，真实物体中的一些人工制品是不可预测的，例如由制造过程引起的缺陷，或者通过自然磨损和撕裂划痕，因此不能在模拟中表示，导致模拟和实际触觉图像之间的显着差距。为了解决这个SIM2重点，我们提出了一种新颖的纹理生成网络，该网络将模拟图像映射到类似于与真正的不完美对象接触的真实传感器的光电型触觉图像。每个模拟触觉图像首先分为两种类型的区域：与对象和区域接触的区域。前者使用生成的纹理从真实触觉图像中的真实纹理中学到的纹理，而后者保持其外观，因为当传感器不与任何物体接触时。这确保了人工制品仅应用于传感器的变形区域。我们广泛的实验表明，所提出的纹理生成网络可以在传感器的变形区域上产生这些现实的艺术品，同时避免将纹理泄漏到无接触的区域。定量实验进一步揭示了当使用我们所提出的网络生成的适应图像进行SIM2REAL分类任务时，SIM2重点差距引起的准确性降低了38.43％，仅为0.81％。因此，这项工作有可能加速用于需要触觉感测的机器人任务的SIM2REAL学习。

Robots have been brought to work close to humans in many scenarios. For coexistence and collaboration, robots should be safe and pleasant for humans to interact with. To this end, the robots could be both physically soft with multimodal sensing/perception, so that the robots could have better awareness of the surrounding environment, as well as to respond properly to humans' action/intention. This paper introduces a novel soft robotic link, named ProTac, that possesses multiple sensing modes: tactile and proximity sensing, based on computer vision and a functional material. These modalities come from a layered structure of a soft transparent silicon skin, a polymer dispersed liquid crystal (PDLC) film, and reflective markers. Here, the PDLC film can switch actively between the opaque and the transparent state, from which the tactile sensing and proximity sensing can be obtained by using cameras solely built inside the ProTac link. In this paper, inference algorithms for tactile proximity perception are introduced. Evaluation results of two sensing modalities demonstrated that, with a simple activation strategy, ProTac link could effectively perceive useful information from both approaching and in-contact obstacles. The proposed sensing device is expected to bring in ultimate solutions for design of robots with softness, whole-body and multimodal sensing, and safety control strategies.

现代智能手机可以在60〜Hz中持续流动多百万像素RGB图像，与高质量的3D姿势信息和低分辨率LIDAR驱动深度估计同步。在快照照片期间，摄影师的手的自然不稳定性提供了相机姿势的毫米级别变化，我们可以在圆形缓冲器中与RGB和深度一起捕获。在这项工作中，我们探索如何从取景期间获得的这些测量束，我们可以将密集的微基线线视差提示与千克激光雷达深度相结合，以蒸馏高保真深度图。我们采取测试时间优化方法并训练坐标MLP，以沿着摄影师的自然抖动跟踪的路径的连续坐标输出光度计和几何一致深度估计。该方法将高分辨率深度估计为“点拍摄”桌面摄影而言，不需要额外的硬件，人造手动运动或超出按钮的按钮的用户交互。

对于机器人来说，拾取透明的对象仍然是一项具有挑战性的任务。透明对象（例如反射和折射）的视觉属性使依赖相机传感的当前抓握方法无法检测和本地化。但是，人类可以通过首先观察其粗剖面，然后戳其感兴趣的区域以获得良好的抓握轮廓来很好地处理透明的物体。受到这一点的启发，我们提出了一个新颖的视觉引导触觉框架，以抓住透明的物体。在拟议的框架中，首先使用分割网络来预测称为戳戳区域的水平上部区域，在该区域中，机器人可以在该区域戳入对象以获得良好的触觉读数，同时导致对物体状态的最小干扰。然后，使用高分辨率胶触觉传感器进行戳戳。鉴于触觉阅读有所改善的当地概况，计划掌握透明物体的启发式掌握。为了减轻对透明对象的现实世界数据收集和标记的局限性，构建了一个大规模逼真的合成数据集。广泛的实验表明，我们提出的分割网络可以预测潜在的戳戳区域，平均平均精度（地图）为0.360，而视觉引导的触觉戳戳可以显着提高抓地力成功率，从38.9％到85.2％。由于其简单性，我们提出的方法也可以被其他力量或触觉传感器采用，并可以用于掌握其他具有挑战性的物体。本文中使用的所有材料均可在https://sites.google.com/view/tactilepoking上获得。

传统的深度传感器产生准确的真实世界深度估计，即使仅在仿真域训练的最先进的学习方法也会超越。由于在模拟域中容易获得地面真理深度，但在真实域中很难获得，因此我们提出了一种利用两个世界的最佳方法的方法。在本文中，我们展示了一个新的框架，ActiveZero，这是一个混合域学习解决方案，适用于不需要真实世界深度注释的活动立体宽度系统。首先，我们通过使用混合域学习策略来证明我们的方法对分发外数据的可转换性。在仿真域中，我们在形状原语数据集上使用监督差异丢失和自我监督损失的组合。相比之下，在真实域中，我们只在数据集中使用自我监督损失，这些损失是从培训仿真数据或测试真实数据的分发。其次，我们的方法介绍了一种名为Temporal IR的自我监督损失，以增加我们在难以感知地区的重新注入的鲁棒性和准确性。最后，我们展示了如何训练该方法的端到端，并且每个模块对于获得最终结果很重要。关于真实数据的广泛定性和定量评估表明了甚至可以击败商业深度传感器的最新状态。

许多移动制造商最近在其旗舰模型中采用了双像素（DP）传感器，以便更快的自动对焦和美学图像捕获。尽管他们的优势，由于DT在DP图像中的视差缺失的数据集和算法设计，但对3D面部理解的使用研究受到限制。这是因为子孔图像的基线非常窄，并且散焦模糊区域存在视差。在本文中，我们介绍了一种以DP为导向的深度/普通网络，该网络重建3D面部几何。为此目的，我们使用我们的多摄像头结构光系统捕获的101人拥有超过135k张图片的DP面部数据。它包含相应的地面真值3D模型，包括度量刻度的深度图和正常。我们的数据集允许建议的匹配网络广泛化，以便以3D面部深度/正常估计。所提出的网络由两种新颖的模块组成：自适应采样模块和自适应正常模块，专门用于处理DP图像中的散焦模糊。最后，该方法实现了最近基于DP的深度/正常估计方法的最先进的性能。我们还展示了估计深度/正常的适用性面对欺骗和致密。

在本文中，我们在短PCCC中呈现点云颜色恒定，这是利用点云的照明色度估计算法。我们利用飞行时间（TOF）传感器捕获的深度信息与RGB传感器刚性安装，并形成一个6D云，其中每个点包含坐标和RGB强度，指出为（x，y，z，r，g，b）。PCCC将注意力架构应用于色彩恒定问题，导出照明矢量点明智，然后制定关于全局照明色度的全局决定。在两个流行的RGB-D数据集上，我们使用照明信息以及新颖的基准延伸，PCCC比最先进的算法获得更低的错误。我们的方法简单且快速，仅需要16 * 16尺寸的输入和超过500 FPS的速度，包括建立点云和净推理的成本。