仿真广泛用于系统验证和大规模数据收集的机器人。然而，模拟传感器包括触觉传感器，这是一个长期存在的挑战。在本文中，我们提出了针对视觉触觉传感器的税法，逼真和高速仿真模型，Gelsight。凝胶传感器使用一块软弹性体作为接触的介质，并嵌入光学结构以捕获弹性体的变形，其在接触表面处施加的几何形状和力。我们提出了一种基于示例性的模拟eGelight方法：我们使用多项式查找表模拟对变形的光学响应。此表将变形几何形状映射到由嵌入式摄像机采样的像素强度。为了模拟由弹性体的表面拉伸引起的表面标记的运动，我们应用线性弹性变形理论和叠加原理。仿真模型校准，具有来自真实传感器的少于100个数据点。基于示例的方法使模型能够轻松地迁移到其他裸体传感器或其变化。据我们所知，我们的仿真框架是第一个包含从弹性体变形的标记运动场仿真以及光学仿真，创造了全面和计算的触觉模拟框架。实验表明，与现有工作相比，我们的光学仿真具有最低的像素 - 方面强度误差，并可以在线计算在线计算。我们的代码和补充材料在https://github.com/cmurobotouch/taxim开放。

机器人仿真一直是数据驱动的操作任务的重要工具。但是，大多数现有的仿真框架都缺乏与触觉传感器的物理相互作用的高效和准确模型，也没有逼真的触觉模拟。这使得基于触觉的操纵任务的SIM转交付仍然具有挑战性。在这项工作中，我们通过建模接触物理学来整合机器人动力学和基于视觉的触觉传感器的模拟。该触点模型使用机器人最终效应器上的模拟接触力来告知逼真的触觉输出。为了消除SIM到真实传输差距，我们使用现实世界数据校准了机器人动力学，接触模型和触觉光学模拟器的物理模拟器，然后我们在零摄像机上演示了系统的有效性 - 真实掌握稳定性预测任务，在各种对象上，我们达到平均准确性为90.7％。实验揭示了将我们的模拟框架应用于更复杂的操纵任务的潜力。我们在https://github.com/cmurobotouch/taxim/tree/taxim-robot上开放仿真框架。

视觉的触觉传感器由于经济实惠的高分辨率摄像机和成功的计算机视觉技术而被出现为机器人触摸的有希望的方法。但是，它们的物理设计和他们提供的信息尚不符合真实应用的要求。我们提供了一种名为Insight的强大，柔软，低成本，视觉拇指大小的3D触觉传感器：它不断在其整个圆锥形感测表面上提供定向力分布图。围绕内部单眼相机构造，传感器仅在刚性框架上仅成型一层弹性体，以保证灵敏度，鲁棒性和软接触。此外，Insight是第一个使用准直器将光度立体声和结构光混合的系统来检测其易于更换柔性外壳的3D变形。通过将图像映射到3D接触力的空间分布（正常和剪切）的深神经网络推断力信息。洞察力在0.4毫米的总空间分辨率，力量幅度精度约为0.03 n，并且对于具有不同接触面积的多个不同触点，在0.03-2 n的范围内的5度大约5度的力方向精度。呈现的硬件和软件设计概念可以转移到各种机器人部件。

仿真最近已成为深度加强学习，以安全有效地从视觉和预防性投入获取一般和复杂的控制政策的关键。尽管它与环境互动直接关系，但通常认为触觉信息通常不会被认为。在这项工作中，我们展示了一套针对触觉机器人和加强学习量身定制的模拟环境。提供了一种简单且快速的模拟光学触觉传感器的方法，其中高分辨率接触几何形状表示为深度图像。近端策略优化（PPO）用于学习所有考虑任务的成功策略。数据驱动方法能够将实际触觉传感器的当前状态转换为对应的模拟深度图像。此策略在物理机器人上实时控制循环中实现，以演示零拍摄的SIM-TO-REAL策略转移，以触摸感的几个物理交互式任务。

可以测量接触物体的3D几何形状的基于视觉的触觉传感器对于机器人执行灵巧的操纵任务至关重要。但是，现有的传感器通常很复杂，可以制造和细腻以扩展。在这项工作中，我们从小地利用了半透明弹性体的反射特性来设计一种名为DTACT的强大，低成本且易于制作的触觉传感器。DTACT从捕获的触觉图像中所示的黑暗中精确测量了高分辨率3D几何形状，仅具有单个图像进行校准。与以前的传感器相反，在各种照明条件下，DTACT是可靠的。然后，我们构建了具有非平面接触表面的DTACT原型，并以最少的额外努力和成本。最后，我们执行了两项智能机器人任务，包括使用DTACT进行姿势估计和对象识别，其中DTACT在应用中显示出巨大的潜力。

高分辨率光触觉传感器越来越多地用于机器人学习环境中，因为它们能够捕获与试剂环境相互作用直接相关的大量数据。但是，由于触觉机器人平台的高成本，专业的仿真软件以及在不同传感器之间缺乏通用性的模拟方法，因此在该领域的研究障碍很高。在这封信中，我们将触觉健身房的模拟器扩展到两种最受欢迎​​的类型类型的三个新的光学触觉传感器（Tactip，Digit和Digitac），分别是Gelsight Style（基于图像遮蔽）和Tactip Style（基于标记）。我们证明，尽管实际触觉图像之间存在显着差异，但可以与这三个不同的传感器一起使用单个SIM到实现的方法，以实现强大的现实性能。此外，我们通过将其调整为廉价的4道机器人组来降低对拟议任务的进入障碍，从而进一步使该基准的传播。我们在三个需要触摸感的身体相互交互的任务上验证了扩展环境：对象推动，边缘跟随和表面跟随。我们实验验证的结果突出了这些传感器之间的一些差异，这可能有助于未来的研究人员选择并自定义触觉传感器的物理特征，以进行不同的操纵场景。

增加机器人触觉感应的性能使多功能，手动操纵能够。视觉的触觉传感器已被广泛使用，因为富有的触觉反馈已被证明与操作任务的性能增加相关。具有高分辨率的现有触觉传感器解决方案具有包括低精度，昂贵的组件或缺乏可扩展性的限制。在本文中，提出了具有用于3D传感器表面的高分辨率表面变形建模的廉价，可伸缩和紧凑的触觉传感器。通过测量来自Fisheye相机的图像，表明传感器可以通过使用深卷积神经网络成功地估计实时（1.8ms）的表面变形。该传感器在其设计和传感能力中表示通过高分辨率形状重建实现更好的对象的携手局部定位，分类和表面估计的重要一步。

Robots have been brought to work close to humans in many scenarios. For coexistence and collaboration, robots should be safe and pleasant for humans to interact with. To this end, the robots could be both physically soft with multimodal sensing/perception, so that the robots could have better awareness of the surrounding environment, as well as to respond properly to humans' action/intention. This paper introduces a novel soft robotic link, named ProTac, that possesses multiple sensing modes: tactile and proximity sensing, based on computer vision and a functional material. These modalities come from a layered structure of a soft transparent silicon skin, a polymer dispersed liquid crystal (PDLC) film, and reflective markers. Here, the PDLC film can switch actively between the opaque and the transparent state, from which the tactile sensing and proximity sensing can be obtained by using cameras solely built inside the ProTac link. In this paper, inference algorithms for tactile proximity perception are introduced. Evaluation results of two sensing modalities demonstrated that, with a simple activation strategy, ProTac link could effectively perceive useful information from both approaching and in-contact obstacles. The proposed sensing device is expected to bring in ultimate solutions for design of robots with softness, whole-body and multimodal sensing, and safety control strategies.

触觉感应是执行灵巧操纵任务的机器人的基本能力。虽然相机，LIDAR和其他远程传感器可以在全球和立即评估场景，但触觉传感器可以减少它们的测量不确定性，并在往复对象和机器人之间获得局部物理交互的信息，这通常不能通过遥感。触觉传感器可以分为两个主要类别：电子触觉皮肤和基于相机的光学触觉传感器。前者是薄薄的并且可以安装在不同的身体部位上，而后者呈现更棱柱形状并具有更高的感测分辨率，具有良好的优势，可以用作机器人手指或指尖。这种光学触觉传感器之一是我们的Geltip传感器，其成形为手指，并且可以在其表面的任何位置感接触。这样，Geltip传感器能够从所有方向上检测触点，如人的手指。为了捕获这些触点，它使用安装在其基部的相机来跟踪覆盖其空心，刚性和透明体的不透明弹性体的变形。由于这种设计，配备盖施电流传感器的夹具能够同时监测其掌握内外的触点。使用该传感器进行的实验表明了触点是如何定位的，更重要的是，利用杂波中的Dexterous操纵任务中的全面触摸感测的优点，甚至可能是必要的，其中触点可能发生在手指的任何位置。可以在HTTPS://Danfergo.github.io/geltip/中找到制造Geltip传感器的所有材料

深度学习与高分辨率的触觉传感相结合可能导致高度强大的灵巧机器人。但是，由于专业设备和专业知识，进度很慢。数字触觉传感器可使用Gelsight型传感器提供低成本的高分辨率触摸。在这里，我们将数字定制为基于柔软仿生光学触觉传感器的Tactip家族具有3D打印的传感表面。 Digit-Tactip（Digitac）可以在这些不同的触觉传感器类型之间进行直接比较。为了进行此比较，我们引入了一个触觉机器人系统，该机器人系统包括桌面臂，坐骑和3D打印的测试对象。我们将触觉伺服器控制与Posenet深度学习模型一起比较数字，Digitac和Tactip，以在3D形状上进行边缘和表面跟随。这三个传感器在姿势预测上的性能类似，但是它们的构造导致伺服控制的性能不同，为研究人员选择或创新触觉传感器提供了指导。复制此研究的所有硬件和软件将公开发布。

最近，已经开发了用于光学触觉传感器的仿真方法，以实现SIM2REAL学习，即首先在将它们部署到真实机器人上之前模拟中的培训模型。然而，真实物体中的一些人工制品是不可预测的，例如由制造过程引起的缺陷，或者通过自然磨损和撕裂划痕，因此不能在模拟中表示，导致模拟和实际触觉图像之间的显着差距。为了解决这个SIM2重点，我们提出了一种新颖的纹理生成网络，该网络将模拟图像映射到类似于与真正的不完美对象接触的真实传感器的光电型触觉图像。每个模拟触觉图像首先分为两种类型的区域：与对象和区域接触的区域。前者使用生成的纹理从真实触觉图像中的真实纹理中学到的纹理，而后者保持其外观，因为当传感器不与任何物体接触时。这确保了人工制品仅应用于传感器的变形区域。我们广泛的实验表明，所提出的纹理生成网络可以在传感器的变形区域上产生这些现实的艺术品，同时避免将纹理泄漏到无接触的区域。定量实验进一步揭示了当使用我们所提出的网络生成的适应图像进行SIM2REAL分类任务时，SIM2重点差距引起的准确性降低了38.43％，仅为0.81％。因此，这项工作有可能加速用于需要触觉感测的机器人任务的SIM2REAL学习。

协作机器人将对家庭服务应用中的人类福利产生巨大影响，而高级制造业中的工业优势需要灵巧的组装。出色的挑战是为机器人指尖提供一种物理设计，使他们擅长执行需要高分辨率，校准形状重建和力传感的灵活任务。在这项工作中，我们提出了Densetact 2.0，这是一种能够可视化柔软指尖的变形表面并在神经网络中使用该图像来执行校准形状重建和6轴扳手估计的光学传感器。我们证明了用于形状重建的每个像素0.3633mm的传感器精度，0.410N的力量，扭矩为0.387mmnm，以及通过转移学习来校准新手指的能力，实现了可比性的性能，训练了四倍以上，只有12％以上数据集大小。

触摸感在使人类能够理解和与周围环境互动方面发挥着关键作用。对于机器人，触觉感应也是不可替代的。在与物体交互时，触觉传感器为机器人提供了理解物体的有用信息，例如分布式压力，温度，振动和纹理。在机器人抓住期间，视力通常由其最终效应器封闭，而触觉感应可以测量视觉无法访问的区域。在过去的几十年中，已经为机器人开发了许多触觉传感器，并用于不同的机器人任务。在本章中，我们专注于使用触觉对机器人抓握的触觉，并研究近期对物质性质的触觉趋势。我们首先讨论了术语，即形状，姿势和材料特性对三个重要的物体特性的触觉感知。然后，我们通过触觉感应审查抓握稳定性预测的最新发展。在这些作品中，我们确定了在机器人抓握中协调视觉和触觉感应的要求。为了证明使用触觉传感来提高视觉感知，介绍了我们最近的抗议重建触觉触觉感知的发展。在所提出的框架中，首先利用相机视觉的大型接收领域以便快速搜索含有裂缝的候选区域，然后使用高分辨率光学触觉传感器来检查这些候选区域并重建精制的裂缝形状。实验表明，我们所提出的方法可以实现0.82mm至0.24mm的平均距离误差的显着降低，以便重建。最后，我们在讨论了对机器人任务中施加触觉感应的公开问题和未来方向的讨论。

The accurate detection and grasping of transparent objects are challenging but of significance to robots. Here, a visual-tactile fusion framework for transparent object grasping under complex backgrounds and variant light conditions is proposed, including the grasping position detection, tactile calibration, and visual-tactile fusion based classification. First, a multi-scene synthetic grasping dataset generation method with a Gaussian distribution based data annotation is proposed. Besides, a novel grasping network named TGCNN is proposed for grasping position detection, showing good results in both synthetic and real scenes. In tactile calibration, inspired by human grasping, a fully convolutional network based tactile feature extraction method and a central location based adaptive grasping strategy are designed, improving the success rate by 36.7% compared to direct grasping. Furthermore, a visual-tactile fusion method is proposed for transparent objects classification, which improves the classification accuracy by 34%. The proposed framework synergizes the advantages of vision and touch, and greatly improves the grasping efficiency of transparent objects.

为了使软机器人在以人为本的环境中有效工作，他们需要能够根据（本体感受）传感器估算其状态和外部相互作用。估计干扰使软机器人可以执行理想的力控制。即使在刚性操纵器的情况下，最终效应器的力估计也被视为一个非平凡的问题。实际上，其他当前应对这一挑战的方法也存在防止其一般应用的缺点。它们通常基于简化的软动力学模型，例如依赖于零件的恒定曲率（PCC）近似值或匹配的刚体模型的模型，这些模型并不代表该问题的细节。因此，无法构建复杂的人类机器人互动所需的应用。有限元方法（FEM）允许以更通用的方式预测软机器人动力学。在这里，使用框架沙发的软机器人建模功能，我们构建了一个详细的FEM模型，该模型由多段的软连续机器人手臂组成，该机器人由合规的可变形材料和纤维增强的压力驱动室组成，并具有用于提供方向输出的传感器的模型。该模型用于为操纵器建立状态观察者。校准模型参数以使用物理实验匹配手动制造过程的缺陷。然后，我们解决了二次编程逆动力学问题，以计算解释姿势误差的外力的组成部分。我们的实验显示，平均力估计误差约为1.2％。由于提出的方法是通用的，因此这些结果令人鼓舞，该任务是构建可以在以人为中心的环境中部署的复杂，反应性，基于传感器的行为的软机器人。

我们引入了一个球形指尖传感器进行动态操作。它基于气压压力和飞行时间接近传感器，并且是低延迟，紧凑且身体健壮的。传感器使用训练有素的神经网络根据压力传感器的数据来估计接触位置和三轴接触力，这些数据嵌入了传感器的聚氨酯橡胶范围内。飞行器传感器朝三个不同的外向方向面对，并且一个集成的微控制器样品以200 Hz的速度每个单个传感器。为了量化系统潜伏期对动态操作性能的影响，我们开发和分析了一个称为碰撞脉冲比率的度量，并表征了我们新传感器的端到端潜伏期。我们还向传感器提出了实验演示，包括测量接触过渡，进行粗大映射，与移动物体保持接触力以及避免碰撞的反应。

用机器人手操纵物体是一项复杂的任务。不仅需要协调手指，而且机器人最终效应器的姿势也需要协调。使用人类的运动演示是指导机器人行为的直观和数据效率的方式。我们提出了一个具有自动实施例映射的模块化框架，以将记录的人体运动转移到机器人系统中。在这项工作中，我们使用运动捕获来记录人类运动。我们在八项具有挑战性的任务上评估了我们的方法，其中机器人手需要掌握和操纵可变形或小且脆弱的物体。我们测试了模拟和实际机器人中的轨迹子集，并且整体成功率是一致的。

传统的深度传感器产生准确的真实世界深度估计，即使仅在仿真域训练的最先进的学习方法也会超越。由于在模拟域中容易获得地面真理深度，但在真实域中很难获得，因此我们提出了一种利用两个世界的最佳方法的方法。在本文中，我们展示了一个新的框架，ActiveZero，这是一个混合域学习解决方案，适用于不需要真实世界深度注释的活动立体宽度系统。首先，我们通过使用混合域学习策略来证明我们的方法对分发外数据的可转换性。在仿真域中，我们在形状原语数据集上使用监督差异丢失和自我监督损失的组合。相比之下，在真实域中，我们只在数据集中使用自我监督损失，这些损失是从培训仿真数据或测试真实数据的分发。其次，我们的方法介绍了一种名为Temporal IR的自我监督损失，以增加我们在难以感知地区的重新注入的鲁棒性和准确性。最后，我们展示了如何训练该方法的端到端，并且每个模块对于获得最终结果很重要。关于真实数据的广泛定性和定量评估表明了甚至可以击败商业深度传感器的最新状态。

Vision-based tactile sensors have gained extensive attention in the robotics community. The sensors are highly expected to be capable of extracting contact information i.e. haptic information during in-hand manipulation. This nature of tactile sensors makes them a perfect match for haptic feedback applications. In this paper, we propose a contact force estimation method using the vision-based tactile sensor DIGIT, and apply it to a position-force teleoperation architecture for force feedback. The force estimation is done by building a depth map for DIGIT gel surface deformation measurement and applying a regression algorithm on estimated depth data and ground truth force data to get the depth-force relationship. The experiment is performed by constructing a grasping force feedback system with a haptic device as a leader robot and a parallel robot gripper as a follower robot, where the DIGIT sensor is attached to the tip of the robot gripper to estimate the contact force. The preliminary results show the capability of using the low-cost vision-based sensor for force feedback applications.

可变形物体的形状控制是一个具有挑战性且重要的机器人问题。本文提出了一个基于模态分析的新型3D全局变形特征的无模型控制器。与使用几何功能的大多数现有控制器不同，我们的控制器通过将3D全局变形将其分解为低频模式形状，采用基于物理的变形功能。尽管模态分析在计算机视觉和仿真中被广泛采用，但尚未用于机器人变形控制中。我们为机器人操纵下的基于模态的变形控制开发了一个新的无模型框架。模式形状的物理解释使我们能够制定一个分析变形雅各布矩阵，将机器人操纵映射到模态特征的变化上。在Jacobian矩阵中，对象的未知几何形状和物理性质被视为低维模态参数，可用于线性地参数化闭环系统。因此，可以设计具有证实稳定性的自适应控制器，以使对象变形，同时在线估计模态参数。模拟和实验是在不同设置下使用线性，平面和实体对象进行的。结果不仅证实了我们的控制器的出色性能，而且还证明了其优势比基线方法。