Robotic tactile sensing provides a method of recognizing objects and their properties where vision fails. Prior work on tactile perception in robotic manipulation has frequently focused on exploratory procedures (EPs). However, the also-human-inspired technique of in-hand-manipulation can glean rich data in a fraction of the time of EPs. We propose a simple 3-DOF robotic hand design, optimized for object rolling tasks via a variable-width palm and associated control system. This system dynamically adjusts the distance between the finger bases in response to object behavior. Compared to fixed finger bases, this technique significantly increases the area of the object that is exposed to finger-mounted tactile arrays during a single rolling motion (an increase of over 60% was observed for a cylinder with a 30-millimeter diameter). In addition, this paper presents a feature extraction algorithm for the collected spatiotemporal dataset, which focuses on object corner identification, analysis, and compact representation. This technique drastically reduces the dimensionality of each data sample from 10 x 1500 time series data to 80 features, which was further reduced by Principal Component Analysis (PCA) to 22 components. An ensemble subspace k-nearest neighbors (KNN) classification model was trained with 90 observations on rolling three different geometric objects, resulting in a three-fold cross-validation accuracy of 95.6% for object shape recognition.

软机器人抓手有助于富含接触的操作，包括对各种物体的强大抓握。然而，软抓手的有益依从性也会导致重大变形，从而使精确的操纵具有挑战性。我们提出视觉压力估计与控制（VPEC），这种方法可以使用外部摄像头的RGB图像施加的软握力施加的压力。当气动抓地力和肌腱握力与平坦的表面接触时，我们为视觉压力推断提供了结果。我们还表明，VPEC可以通过对推断压力图像的闭环控制进行精确操作。在我们的评估中，移动操纵器（来自Hello Robot的拉伸RE1）使用Visual Servoing在所需的压力下进行接触；遵循空间压力轨迹；并掌握小型低调的物体，包括microSD卡，一分钱和药丸。总体而言，我们的结果表明，对施加压力的视觉估计可以使软抓手能够执行精确操作。

视觉的触觉传感器由于经济实惠的高分辨率摄像机和成功的计算机视觉技术而被出现为机器人触摸的有希望的方法。但是，它们的物理设计和他们提供的信息尚不符合真实应用的要求。我们提供了一种名为Insight的强大，柔软，低成本，视觉拇指大小的3D触觉传感器：它不断在其整个圆锥形感测表面上提供定向力分布图。围绕内部单眼相机构造，传感器仅在刚性框架上仅成型一层弹性体，以保证灵敏度，鲁棒性和软接触。此外，Insight是第一个使用准直器将光度立体声和结构光混合的系统来检测其易于更换柔性外壳的3D变形。通过将图像映射到3D接触力的空间分布（正常和剪切）的深神经网络推断力信息。洞察力在0.4毫米的总空间分辨率，力量幅度精度约为0.03 n，并且对于具有不同接触面积的多个不同触点，在0.03-2 n的范围内的5度大约5度的力方向精度。呈现的硬件和软件设计概念可以转移到各种机器人部件。

触摸感在使人类能够理解和与周围环境互动方面发挥着关键作用。对于机器人，触觉感应也是不可替代的。在与物体交互时，触觉传感器为机器人提供了理解物体的有用信息，例如分布式压力，温度，振动和纹理。在机器人抓住期间，视力通常由其最终效应器封闭，而触觉感应可以测量视觉无法访问的区域。在过去的几十年中，已经为机器人开发了许多触觉传感器，并用于不同的机器人任务。在本章中，我们专注于使用触觉对机器人抓握的触觉，并研究近期对物质性质的触觉趋势。我们首先讨论了术语，即形状，姿势和材料特性对三个重要的物体特性的触觉感知。然后，我们通过触觉感应审查抓握稳定性预测的最新发展。在这些作品中，我们确定了在机器人抓握中协调视觉和触觉感应的要求。为了证明使用触觉传感来提高视觉感知，介绍了我们最近的抗议重建触觉触觉感知的发展。在所提出的框架中，首先利用相机视觉的大型接收领域以便快速搜索含有裂缝的候选区域，然后使用高分辨率光学触觉传感器来检查这些候选区域并重建精制的裂缝形状。实验表明，我们所提出的方法可以实现0.82mm至0.24mm的平均距离误差的显着降低，以便重建。最后，我们在讨论了对机器人任务中施加触觉感应的公开问题和未来方向的讨论。

当没有光学信息可用时，在不确定环境下的机器人探索具有挑战性。在本文中，我们提出了一种自主解决方案，即仅基于触觉感测，探索一个未知的任务空间。我们首先根据MEMS晴雨表设备设计了晶须传感器。该传感器可以通过非侵入性与环境进行交互来获取联系信息。该传感器伴随着一种计划技术，可以通过使用触觉感知来产生探索轨迹。该技术依赖于触觉探索的混合政策，其中包括用于对象搜索的主动信息路径计划，以及用于轮廓跟踪的反应性HOPF振荡器。结果表明，混合勘探政策可以提高对象发现的效率。最后，通过细分对象和分类来促进场景的理解。开发了一个分类器，以根据晶须传感器收集的几何特征识别对象类别。这种方法证明了晶须传感器以及触觉智能，可以提供足够的判别特征来区分对象。

我们提出了一个本体感受的远程操作系统，该系统使用反身握把算法来增强拾取任务的速度和稳健性。该系统由两个使用准直接驱动驱动的操纵器组成，以提供高度透明的力反馈。末端效应器具有双峰力传感器，可测量3轴力信息和2维接触位置。此信息用于防滑和重新磨碎反射。当用户与所需对象接触时，重新抓紧反射将抓地力的手指与对象上的抗肌点对齐，以最大程度地提高抓握稳定性。反射仅需150毫秒即可纠正用户选择的不准确的grasps，因此用户的运动仅受到Re-Grasp的执行的最小干扰。一旦建立了抗焦点接触，抗滑动反射将确保抓地力施加足够的正常力来防止物体从抓地力中滑出。本体感受器的操纵器和反射抓握的结合使用户可以高速完成远程操作的任务。

Grasping is an incredible ability of animals using their arms and limbs in their daily life. The human hand is an especially astonishing multi-fingered tool for precise grasping, which helped humans to develop the modern world. The implementation of the human grasp to virtual reality and telerobotics is always interesting and challenging at the same time. In this work, authors surveyed, studied, and analyzed the human hand-grasping behavior for the possibilities of haptic grasping in the virtual and remote environment. This work is focused on the motion and force analysis of fingers in human hand grasping scenarios and the paper describes the transition of the human hand grasping towards a tripod haptic grasp model for effective interaction in virtual reality.

Robotic hands with soft surfaces can perform stable grasping, but the high friction of the soft surfaces makes it difficult to release objects, or to perform operations that require sliding. To solve this issue, we previously developed a contact area variable surface (CAVS), whose friction changed according to the load. However, only our fundamental results were previously presented, with detailed analyses not provided. In this study, we first investigated the CAVS friction anisotropy, and demonstrated that the longitudinal direction exhibited a larger ratio of friction change. Next, we proposed a sensible CAVS, capable of providing a variable-friction mechanism, and tested its sensing and control systems in operations requiring switching between sliding and stable-grasping modes. Friction sensing was performed using an embedded camera, and we developed a gripper using the sensible CAVS, considering the CAVS friction anisotropy. In CAVS, the low-friction mode corresponds to a small grasping force, while the high-friction mode corresponds to a greater grasping force. Therefore, by controlling only the friction mode, the gripper mode can be set to either the sliding or stable-grasping mode. Based on this feature, a methodology for controlling the contact mode was constructed. We demonstrated a manipulation involving sliding and stable grasping, and thus verified the efficacy of the developed sensible CAVS.

大物体的操纵和安全地在人类附近进行安全操作的能力是通用国内机器人助手的关键能力。我们介绍了一种柔软，触觉的人形的人形机器人的设计，并展示了用于处理大物体的全身丰富的接触操作策略。我们展示了我们的硬件设计理念，用于使用软触觉传感模块，包括：（i）低成本，抗缝，接触压力定位的武器， （ii）基于TRI软气泡传感器的爪子，用于最终效应器，（III）柔顺的力/几何传感器，用于粗糙几何感测表面/胸部。我们利用这些模块的机械智能和触觉感应，为全身抓握控制进行开发和展示运动原语。我们评估硬件在实现各种大型国内物体上实现不同优势的掌握。我们的结果表明，利用富含接触的操纵策略的柔软度和触觉感应的重要性，以及与世界的全身力量控制的互动前进的道路。

通过触觉反馈感知物体滑移的能力使人类能够完成复杂的操纵任务，包括保持稳定的掌握。尽管触觉信息用于许多应用程序，但触觉传感器尚未在工业机器人设置中广泛部署。挑战的一部分在于从触觉数据流中识别滑移和其他事件。在本文中，我们提出了一种基于学习的方法，可以使用气压触觉传感器检测滑移。这些传感器具有许多理想的属性，包括高耐用性和可靠性，并且由廉价的现成组件构建。我们训练一个时间卷积神经网络来检测滑动，达到高检测精度，同时表现出稳健性，以对滑动运动的速度和方向。此外，我们在涉及各种常见对象的两项操纵任务上测试了探测器，并证明了对训练期间看不到的现实情况的成功概括。我们认为，气压触觉传感技术与数据驱动的学习相结合，适用于许多操纵任务，例如滑移补偿。

与传统的机器人手不同，由于固有的不确定性，兼容的手不足的手对模型的挑战。因此，通常基于视觉感知执行抓握对象的姿势估计。但是，在闭塞或部分占地环境中，对手和物体的视觉感知可以受到限制。在本文中，我们旨在探索触觉的使用，即动力学和触觉感测，以构成姿势估计和手动操纵，手工不足。这种触觉方法会减轻并非总是可用的视线。我们强调识别系统的特征状态表示，该状态表示不包括视觉，可以通过简单和低成本的硬件获得。因此，对于触觉传感，我们提出了一个低成本和灵活的传感器，该传感器主要是与指尖一起打印的3D，并可以提供隐式的接触信息。我们将双手手动的手作为测试案例不足，我们分析了动力学和触觉特征以及各种回归模型对预测准确性的贡献。此外，我们提出了一种模型预测控制（MPC）方法，该方法利用姿势估计将对象操纵为仅基于触觉的所需状态。我们进行了一系列实验，以验证具有不同几何形状，刚度和纹理的各种物体的姿势的能力，并以相对较高的精度显示工作空间中的目标。

人类的物体感知能力令人印象深刻，当试图开发具有类似机器人的解决方案时，这变得更加明显。从人类如何将视觉和触觉用于对象感知和相关任务的灵感中，本文总结了机器人应用的多模式对象感知的当前状态。它涵盖了生物学灵感，传感器技术，数据集以及用于对象识别和掌握的感觉数据处理的各个方面。首先，概述了多模式对象感知的生物学基础。然后讨论了传感技术和数据收集策略。接下来，介绍了主要计算方面的介绍，突出显示了每个主要应用领域的一些代表性文章，包括对象识别，传输学习以及对象操纵和掌握。最后，在每个领域的当前进步中，本文概述了有希望的新研究指示。

布料的机器人操作的应用包括织物制造业到处理毯子和洗衣。布料操作对于机器人而言是挑战，这主要是由于它们的高度自由度，复杂的动力学和折叠或皱巴巴配置时的严重自我闭合。机器人操作的先前工作主要依赖于视觉传感器，这可能会对细粒度的操纵任务构成挑战，例如从一堆布上抓住所需数量的布料层。在本文中，我们建议将触觉传感用于布操作；我们将触觉传感器（Resin）连接到弗兰卡机器人的两个指尖之一，并训练分类器，以确定机器人是否正在抓住特定数量的布料层。在测试时间实验中，机器人使用此分类器作为其政策的一部分，使用触觉反馈来掌握一两个布层，以确定合适的握把。实验结果超过180次物理试验表明，与使用图像分类器的方法相比，所提出的方法优于不使用触觉反馈并具有更好地看不见布的基准。代码，数据和视频可在https://sites.google.com/view/reskin-cloth上找到。

在执行各种任务时，对象识别是必不可少的功能。人类自然使用视觉和触觉感知来提取对象类和属性。但是，机器人的典型方法需要复杂的视觉系统或多个高密度触觉传感器，这可能非常昂贵。此外，它们通常需要通过直接交互从真实对象中实际收集大型数据集。在本文中，我们提出了一种基于动力学的对象识别方法，该方法可以用任何多指的机器人手来执行，其中运动学是已知的。该方法不需要触觉传感器，并且基于观察对象的掌握。我们利用grasps的独特和框​​架不变的参数化来学习对象形状的实例。为了培训分类器，培训数据是在计算过程中快速而仅生成的，而无需与真实对象相互作用。然后，我们提出和比较可以集成任何受过训练的分类器的两种迭代算法之间。分类器和算法独立于任何特定的机器人手，因此可以在各种机器人手上施加。我们在实验中表明，算法很少有GRASP获得准确的分类。此外，我们表明对象识别方法可扩展到各种大小的对象。同样，对全局分类器进行了训练，可以识别一般几何形状（例如，椭圆形或盒子），而不是特定的几何形状，并在大型对象上进行了证明。提供了完整的实验和分析以显示该方法的性能。

触觉感应是执行灵巧操纵任务的机器人的基本能力。虽然相机，LIDAR和其他远程传感器可以在全球和立即评估场景，但触觉传感器可以减少它们的测量不确定性，并在往复对象和机器人之间获得局部物理交互的信息，这通常不能通过遥感。触觉传感器可以分为两个主要类别：电子触觉皮肤和基于相机的光学触觉传感器。前者是薄薄的并且可以安装在不同的身体部位上，而后者呈现更棱柱形状并具有更高的感测分辨率，具有良好的优势，可以用作机器人手指或指尖。这种光学触觉传感器之一是我们的Geltip传感器，其成形为手指，并且可以在其表面的任何位置感接触。这样，Geltip传感器能够从所有方向上检测触点，如人的手指。为了捕获这些触点，它使用安装在其基部的相机来跟踪覆盖其空心，刚性和透明体的不透明弹性体的变形。由于这种设计，配备盖施电流传感器的夹具能够同时监测其掌握内外的触点。使用该传感器进行的实验表明了触点是如何定位的，更重要的是，利用杂波中的Dexterous操纵任务中的全面触摸感测的优点，甚至可能是必要的，其中触点可能发生在手指的任何位置。可以在HTTPS://Danfergo.github.io/geltip/中找到制造Geltip传感器的所有材料

空中触觉创造了一种新的反馈方式，以使人们能够在空中感觉到触觉。超声波阵列聚焦在空间中的声音辐射压力，以引起由此产生的皮肤偏转的触觉感觉。在这项工作中，我们提出了一个低成本的触觉机器人，以测试空中触觉。通过将桌面机器人组与3D打印的仿生触觉传感器相结合，我们开发了一个可以感知，映射和可视化超声传感器阵列产生的空气触觉感觉的系统。我们通过对各种空气中的触觉刺激进行测试，包括未经调节和调节的焦点来评估触觉机器人。我们将刺激的映射与用于测试空气中触觉的另一种方法的映射：激光多普勒振动法，突出了触觉机器人的优势，包括较低的成本，轻巧的表格因子和易用性。总体而言，这些发现表明我们的方法具有感知空气中触觉的多重好处，并为扩展测试以更好地模仿人触觉感知开辟了新的可能性。

Cloth in the real world is often crumpled, self-occluded, or folded in on itself such that key regions, such as corners, are not directly graspable, making manipulation difficult. We propose a system that leverages visual and tactile perception to unfold the cloth via grasping and sliding on edges. By doing so, the robot is able to grasp two adjacent corners, enabling subsequent manipulation tasks like folding or hanging. As components of this system, we develop tactile perception networks that classify whether an edge is grasped and estimate the pose of the edge. We use the edge classification network to supervise a visuotactile edge grasp affordance network that can grasp edges with a 90% success rate. Once an edge is grasped, we demonstrate that the robot can slide along the cloth to the adjacent corner using tactile pose estimation/control in real time. See http://nehasunil.com/visuotactile/visuotactile.html for videos.

用单个机器人手抓住各种大小和形状的各种物体是一项挑战。为了解决这个问题，我们提出了一只名为“ F3手”的新机器人手，受人食指和拇指的复杂运动的启发。 F3手试图通过将平行运动手指和旋转运动手指与自适应功能结合在一起来实现复杂的人类样运动。为了确认我们的手的性能，我们将其附加到移动操纵器 - 丰田人支持机器人（HSR），并进行了掌握实验。在我们的结果中，我们表明它能够掌握所有YCB对象（总共82个），包括外径的垫圈小至6.4mm。我们还构建了一个用于直观操作的系统，并使用3D鼠标掌握了另外24个对象，包括小牙签和纸夹以及大型投手和饼干盒。即使在不精确的控制和位置偏移量下，F3手也能够在抓住98％的成功率方面取得成功率。此外，由于手指的适应性功能，我们展示了F3手的特征，这些特征促进了在理想的姿势中抓住诸如草莓之类的软物体。

意识到高性能软机器人抓手是具有挑战性的，因为软执行器和人造肌肉的固有局限性。尽管现有的软机器人抓手表现出可接受的性能，但他们的设计和制造仍然是一个空旷的问题。本文探索了扭曲的弦乐执行器（TSA），以驱动软机器人抓手。 TSA已被广泛用于众多机器人应用中，但它们包含在软机器人中是有限的。提议的抓手设计灵感来自人类手，四个手指和拇指。通过使用拮抗剂TSA，在手指中实现了可调刚度。手指的弯曲角度，驱动速度，阻塞力输出和刚度调整是实验表征的。抓手能够在Kapandji测试中获得6分，并且还可以达到33个Feix Grasp Grasp分类法中的31个。一项比较研究表明，与其他类似抓手相比，提出的抓手表现出等效或卓越的性能。

本文介绍了镜子和透明对象的正常估计方法，这很难用相机识别。为了产生漫反射表面，我们建议将水蒸气喷射到透明或镜面上。在所提出的方法中，我们将配备在机器人臂的尖端上的超声波加湿器移动，以将喷射的水蒸汽施加到目标物体的平面上，以形成交叉形雾区域。漫反射表面部分地产生为迷雾区域，允许相机检测目标对象的表面。调整夹持器安装相机的观点，使得提取的雾区域看起来是图像中最大的，最后估计目标物体表面的平面法线。我们进行了正常的估计实验，以评估所提出的方法的有效性。镜子和透明玻璃的方位角估计的RMSE分别为约4.2和5.8度。因此，我们的机器人实验表明，我们的机器人刮水器可以执行用于清洁透明窗口作为人类的接触力调节的擦拭运动。