软机器人是一个新兴领域，对需要与环境或人类的安全性和强大的互动的任务产生了有希望的结果，例如抓握，操纵和人机互动。软机器依赖于本质上兼容的部件，并且难以配备传统的刚性传感器，这些传统传感器会干扰其合规性。我们提出了一种高度灵活的触觉传感器，在低成本且易于制造，同时独立于14个出租车测量接触压力。传感器由压阻织物构成，用于高度敏感，连续的响应，以及来自定制设计的柔性印刷电路板，提供高的Taxel密度。从这些TaxLes，可以推断出与传感器的接触位置和强度。在本文中，我们解释了所提出的传感器的设计和制造，表征其输入输出关系，在装备到软机器人RBO手2的硅树脂基气动执行器时，评估其对遵守的影响，并证明传感器提供基于学习的携手对象识别的丰富和有用的反馈。

我们提出了一种使用嵌入式麦克风和扬声器来测量不同执行器特性的软气动执行器的感应方法。执行器的物理状态确定声音通过结构传播时的特定调制。使用简单的机器学习，我们创建了一个计算传感器，该传感器从声音录音中渗透相应的状态。我们在软气动连续执行器上演示了声传感器，并使用它来测量接触位置，接触力，对象材料，执行器通胀和执行器温度。我们表明该传感器是可靠的（六个接触位置的平均分类速率为93％），精确（平均空间精度为3.7毫米），并且可抵抗常见的干扰（如背景噪声）。最后，我们比较了不同的声音和学习方法，并以20毫秒的白噪声和支持向量分类器作为传感器模型获得最佳结果。

尽管已显示触觉皮肤可用于检测机器人臂及其环境之间的碰撞，但并未广泛用于改善机器人抓握和手持操作。我们提出了一种新型的传感器设计，用于覆盖现有的多指机器人手。我们在台式实验中使用织物和抗静态泡沫底物分析了四种不同的压电材料的性能。我们发现，尽管压电泡沫被设计为包装材料，而不是用作传感底物，但它的性能与专门为此目的设计的织物相当。尽管这些结果证明了压电泡沫对触觉传感应用的潜力，但它们并未完全表征这些传感器在机器人操作中使用的功效。因此，我们使用低密度泡沫底物来开发可扩展的触觉皮肤，该皮肤可以连接到机器人手的手掌上。我们使用该传感器展示了几项机器人操纵任务，以显示其可靠地检测和本地化接触的能力，并在掌握和运输任务期间分析接触模式。我们的项目网站提供了有关传感器开发和分析中使用的所有材料，软件和数据的详细信息：https：//sites.google.com/gcloud.utah.edu/piezoresistive-tactile-sensing/。

我们使用嵌入式音频组件为软气动执行器创建虚拟2D触觉阵列。我们检测到声音调制的特定接触特定变化以推断触觉信息。我们评估不同的声音表示和学习方法，甚至可以检测到较小的接触变化。我们以pneflex执行器的示例演示了声学触觉传感器阵列，并使用盲文显示器单独控制29x4销与执行器的90x10 mm棕榈表面的接触。评估空间分辨率，声传感器以X和Y方向将边缘定位在X和Y方向上，其根平方回归误差分别为1.67 mm和0.0 mm。甚至具有高度精度测量的单个盲文销的光接触。最后，我们通过成功阅读单个显示单元格的26个字母来证明传感器对复杂接触形状的敏感性，分类速率为88％。

视觉的触觉传感器由于经济实惠的高分辨率摄像机和成功的计算机视觉技术而被出现为机器人触摸的有希望的方法。但是，它们的物理设计和他们提供的信息尚不符合真实应用的要求。我们提供了一种名为Insight的强大，柔软，低成本，视觉拇指大小的3D触觉传感器：它不断在其整个圆锥形感测表面上提供定向力分布图。围绕内部单眼相机构造，传感器仅在刚性框架上仅成型一层弹性体，以保证灵敏度，鲁棒性和软接触。此外，Insight是第一个使用准直器将光度立体声和结构光混合的系统来检测其易于更换柔性外壳的3D变形。通过将图像映射到3D接触力的空间分布（正常和剪切）的深神经网络推断力信息。洞察力在0.4毫米的总空间分辨率，力量幅度精度约为0.03 n，并且对于具有不同接触面积的多个不同触点，在0.03-2 n的范围内的5度大约5度的力方向精度。呈现的硬件和软件设计概念可以转移到各种机器人部件。

由于柔软的机器人越来越多地在需要高度和受控接触力的环境中使用，最近的研究表明，使用软机器人来估计或本质上感应而不需要外部传感机制。虽然这主要被示出在肌腱的连续管道机构或包括推拉杆致动的可变形机器人，但由于高致动变异性和非线性机械系统响应，流体驱动器仍然造成巨大挑战。在这项工作中，我们调查液压，并联软机器人至本质上的能力和随后控制接触力。导出了一种综合算法，用于静态，准静态和动态力感测，依赖于系统的流体体积和压力信息。该算法验证了单一自由度软流体致动器。结果表明，在准静态配置中，可以在验证范围内的验证范围内的0.56±0.66n的精度下估计作用在单个致动器上的轴向力。力传感方法应用于在单个致动器中强制控制以及耦合的并联机器人。可以看出，两种系统可以准确地控制力，以在多自由度平行软机器人的情况下控制定向接触力的能力。

我们引入了一个球形指尖传感器进行动态操作。它基于气压压力和飞行时间接近传感器，并且是低延迟，紧凑且身体健壮的。传感器使用训练有素的神经网络根据压力传感器的数据来估计接触位置和三轴接触力，这些数据嵌入了传感器的聚氨酯橡胶范围内。飞行器传感器朝三个不同的外向方向面对，并且一个集成的微控制器样品以200 Hz的速度每个单个传感器。为了量化系统潜伏期对动态操作性能的影响，我们开发和分析了一个称为碰撞脉冲比率的度量，并表征了我们新传感器的端到端潜伏期。我们还向传感器提出了实验演示，包括测量接触过渡，进行粗大映射，与移动物体保持接触力以及避免碰撞的反应。

大物体的操纵和安全地在人类附近进行安全操作的能力是通用国内机器人助手的关键能力。我们介绍了一种柔软，触觉的人形的人形机器人的设计，并展示了用于处理大物体的全身丰富的接触操作策略。我们展示了我们的硬件设计理念，用于使用软触觉传感模块，包括：（i）低成本，抗缝，接触压力定位的武器， （ii）基于TRI软气泡传感器的爪子，用于最终效应器，（III）柔顺的力/几何传感器，用于粗糙几何感测表面/胸部。我们利用这些模块的机械智能和触觉感应，为全身抓握控制进行开发和展示运动原语。我们评估硬件在实现各种大型国内物体上实现不同优势的掌握。我们的结果表明，利用富含接触的操纵策略的柔软度和触觉感应的重要性，以及与世界的全身力量控制的互动前进的道路。

通过触觉反馈感知物体滑移的能力使人类能够完成复杂的操纵任务，包括保持稳定的掌握。尽管触觉信息用于许多应用程序，但触觉传感器尚未在工业机器人设置中广泛部署。挑战的一部分在于从触觉数据流中识别滑移和其他事件。在本文中，我们提出了一种基于学习的方法，可以使用气压触觉传感器检测滑移。这些传感器具有许多理想的属性，包括高耐用性和可靠性，并且由廉价的现成组件构建。我们训练一个时间卷积神经网络来检测滑动，达到高检测精度，同时表现出稳健性，以对滑动运动的速度和方向。此外，我们在涉及各种常见对象的两项操纵任务上测试了探测器，并证明了对训练期间看不到的现实情况的成功概括。我们认为，气压触觉传感技术与数据驱动的学习相结合，适用于许多操纵任务，例如滑移补偿。

人类的物体感知能力令人印象深刻，当试图开发具有类似机器人的解决方案时，这变得更加明显。从人类如何将视觉和触觉用于对象感知和相关任务的灵感中，本文总结了机器人应用的多模式对象感知的当前状态。它涵盖了生物学灵感，传感器技术，数据集以及用于对象识别和掌握的感觉数据处理的各个方面。首先，概述了多模式对象感知的生物学基础。然后讨论了传感技术和数据收集策略。接下来，介绍了主要计算方面的介绍，突出显示了每个主要应用领域的一些代表性文章，包括对象识别，传输学习以及对象操纵和掌握。最后，在每个领域的当前进步中，本文概述了有希望的新研究指示。

触觉感应是执行灵巧操纵任务的机器人的基本能力。虽然相机，LIDAR和其他远程传感器可以在全球和立即评估场景，但触觉传感器可以减少它们的测量不确定性，并在往复对象和机器人之间获得局部物理交互的信息，这通常不能通过遥感。触觉传感器可以分为两个主要类别：电子触觉皮肤和基于相机的光学触觉传感器。前者是薄薄的并且可以安装在不同的身体部位上，而后者呈现更棱柱形状并具有更高的感测分辨率，具有良好的优势，可以用作机器人手指或指尖。这种光学触觉传感器之一是我们的Geltip传感器，其成形为手指，并且可以在其表面的任何位置感接触。这样，Geltip传感器能够从所有方向上检测触点，如人的手指。为了捕获这些触点，它使用安装在其基部的相机来跟踪覆盖其空心，刚性和透明体的不透明弹性体的变形。由于这种设计，配备盖施电流传感器的夹具能够同时监测其掌握内外的触点。使用该传感器进行的实验表明了触点是如何定位的，更重要的是，利用杂波中的Dexterous操纵任务中的全面触摸感测的优点，甚至可能是必要的，其中触点可能发生在手指的任何位置。可以在HTTPS://Danfergo.github.io/geltip/中找到制造Geltip传感器的所有材料

软机器人抓手有助于富含接触的操作，包括对各种物体的强大抓握。然而，软抓手的有益依从性也会导致重大变形，从而使精确的操纵具有挑战性。我们提出视觉压力估计与控制（VPEC），这种方法可以使用外部摄像头的RGB图像施加的软握力施加的压力。当气动抓地力和肌腱握力与平坦的表面接触时，我们为视觉压力推断提供了结果。我们还表明，VPEC可以通过对推断压力图像的闭环控制进行精确操作。在我们的评估中，移动操纵器（来自Hello Robot的拉伸RE1）使用Visual Servoing在所需的压力下进行接触；遵循空间压力轨迹；并掌握小型低调的物体，包括microSD卡，一分钱和药丸。总体而言，我们的结果表明，对施加压力的视觉估计可以使软抓手能够执行精确操作。

软机器人抓手具有许多优势，可以解决动态空中抓握方面的挑战。最近展示的用于空中抓握的典型多指的软握把高度依赖于成功抓握的目标对象的方向。这项研究通过开发一种用于自主空气操纵的全向系统来推动动态空中抓地力的边界。特别是，该论文研究了一种新型，高度集成，模块化，传感器富含通用的握把的设计，制造和实验验证，专为空中应用而设计。提出的抓手利用粒子堵塞和软颗粒材料的最新发展产生了强大的握持力，同时非常轻巧，节能，并且只需要低激活力。我们表明，通过在膜的硅硅混合物中添加添加剂，可以将持有力提高多达50％。实验表明，即使没有几何互锁，我们的轻质抓地力也可以以低至2.5n的激活力发育高达15n的持有力。最后，通过将抓地力安装到多旋风的情况下，在实际条件下执行了一个选择和释放任务。开发的空中抓握系统具有许多有用的属性，例如对碰撞的弹性和鲁棒性以及将无人机与环境脱离的固有的被动合规性。

尽管有多样化的环境进展，但蛇机器人仍然远远落后于穿越大障碍物的复杂的3-D地形。这是由于缺乏对如何控制3-D体弯曲以推动地形特征来产生和控制推进的理解。生物学研究表明，总体蛇使用接触力传感来实时调整身体弯曲。然而，由于缺乏对其力传感器官如何工作的基本知识，研究蛇中的这种感觉调制的力量控制是挑战性的。在这里，我们采取了一种robophysics方法来进行进步，从开发一个能够使用接触力感测的3-D体弯曲的蛇机器人来实现，以实现系统的运动实验和力量测量。通过两个开发和测试迭代，我们创建了一个12段机器人，其中36个压电板传感器分布在所有段上，具有符合30 Hz的采样频率的符合壳体。机器人测量接触力，同时使用具有高可重复性的垂直弯曲来横穿大障碍，实现为提供系统实验的平台的目标。最后，考虑到压电传感器的粘弹性行为，我们探讨了基于模型的校准，这将为未来的研究有用。

尽管有触觉信息的实用性，但触觉传感器尚未在工业机器人设置中广泛部署。挑战的一部分在于识别触觉数据流的滑移和其他关键事件。在本文中，我们提出了一种基于学习的方法，可以使用气压触觉传感器检测滑移。尽管这些传感器的分辨率很低，但它们具有许多其他理想的特性，包括高可靠性和耐用性，非常苗条的轮廓和低成本。我们能够实现大于91％的滑动检测精度，同时稳健地遵循滑动运动的速度和方向。此外，我们在涉及常见家庭对象的两个机器人操纵任务上测试了我们的探测器，并证明了对训练期间未见的现实情况的成功概括。我们表明，气压触觉传感技术与数据驱动的学习相结合，可能适用于复杂的操纵任务，例如滑移补偿。

彼此接触的任何两个物体都会仅仅是由于重力或机械接触而引起的力，例如机器人手臂抓住一个物体，甚至是我们膝关节处的两个骨头之间的接触。自然测量和监视这些接触力的能力允许从仓库管理（基于重量检测错误包装）到机器人技术（使机器人臂的抓地力与人类皮肤一样敏感）和医疗保健（膝关节植入物）的大量应用。设计一个无处不在的力传感器是充满挑战的，该传感器可自然地用于所有这些应用。首先，传感器应足够小，以适合狭窄的空间。接下来，我们不想铺设笨重的电缆来读取传感器的力值。最后，我们需要进行无电池设计以满足体内应用程序。我们开发了WiforCesticker，这是一种无线，无电池，类似贴纸的力传感器，可以在任何表面上都可以无处不在，例如所有仓库包装，机器人手臂和膝关节。 WiforCesticker首先设计一个$ 4 $ 〜mm〜 $ \ $ \ times $〜$〜$ 2 $ 〜mm〜 $ \ $ \ times $〜$〜$〜$ 0.4 $〜毫米电容传感器设计，配备了$ 10 $〜$〜$〜$〜$〜$〜$〜$ 〜mm〜mm 〜mm 〜mm 〜mm在灵活的PCB基材上设计。其次，它引入了一种新的机制，可以通过将传感器与COTS RFID系统插入传感器，从而无线读取器无线读取器可以通过无线读取器读取力信息。该传感器可以在多个测试环境中检测到$ 0 $ -6 $ 〜n的力量，感应精度为$ <0.5 $ 〜n，并在传感器上使用超过10,000美元的$ 10,000 $变化的力级按下。我们还通过设计传感器展示了两个应用程序案例研究，称量仓库包和骨接头施加的传感力。

预计机器人将掌握形状，重量或材料类型各不相同的广泛物体。因此，为机器人提供类似于人类的触觉功能对于涉及人与人机或机器人与机器人相互作用的应用至关重要，尤其是在那些期望机器人掌握和操纵以前未遇到的复杂物体的情况下。成功的对象掌握和操纵的关键方面是使用配备多个高性能传感器的高质量指尖，在特定的接触表面上适当分布。在本文中，我们介绍了使用两种不同类型的市售机器人指尖（Biotac和wts-ft）的使用的详细分析，每个机器人指尖（Biotac和wts-ft）配备了分布在指尖的接触表面上的多个传感器。我们进一步证明，由于指尖的高性能，不需要一种复杂的自适应抓握算法来抓住日常物体。我们得出的结论是，只要相关的指尖表现出较高的灵敏度，基于比例控制器的简单算法就足够了。在量化的评估中，我们还证明，部分由于传感器的分布，基于BioTAC的指尖的性能优于WTS-FT设备，可以使负载升高至850G，并且简单的比例控制器可以适应该载荷即使对象面临重大的外部振动挑战，也要掌握。

Grasping是实际应用中大多数机器人的重要能力。软机器人夹具被认为是机器人抓握的关键部分，并在对象几何形状方差方差的高度和稳健性方面引起了相当大的关注;然而，它们仍然受到相应的传感能力和致动机制的限制。我们提出了一种新型软夹具，看起来像碎碎的碎碎片，其具有综合模具技术制造的柔顺的双稳态机构，纯粹机械地实现感测和致动。特别地，所提出的夹持器中的卡通双稳态结构允许我们降低机构的复杂性，控制，感测设计，因为抓握和感测行为是完全被动的。一旦夹持器的触发位置触及物体并施加足够的力，抓握行为就会自动激励。为了用各种型材抓住物体，所提出的粮食软夹具（GSG）设计为能够包封，夹紧和持续爪。夹具由腔掌，棕榈帽和三个手指组成。首先，分析夹具的设计。然后，在构造理论模型之后，进行有限元（FE）仿真以验证构建的模型。最后，进行了一系列掌握实验，以评估所提出的夹持器对抓握和感测的卡通行为。实验结果说明了所提出的夹持器可以操纵各种柔软和刚性物体，并且即使它承担外部干扰，也可以保持稳定。

Robotic tactile sensing provides a method of recognizing objects and their properties where vision fails. Prior work on tactile perception in robotic manipulation has frequently focused on exploratory procedures (EPs). However, the also-human-inspired technique of in-hand-manipulation can glean rich data in a fraction of the time of EPs. We propose a simple 3-DOF robotic hand design, optimized for object rolling tasks via a variable-width palm and associated control system. This system dynamically adjusts the distance between the finger bases in response to object behavior. Compared to fixed finger bases, this technique significantly increases the area of the object that is exposed to finger-mounted tactile arrays during a single rolling motion (an increase of over 60% was observed for a cylinder with a 30-millimeter diameter). In addition, this paper presents a feature extraction algorithm for the collected spatiotemporal dataset, which focuses on object corner identification, analysis, and compact representation. This technique drastically reduces the dimensionality of each data sample from 10 x 1500 time series data to 80 features, which was further reduced by Principal Component Analysis (PCA) to 22 components. An ensemble subspace k-nearest neighbors (KNN) classification model was trained with 90 observations on rolling three different geometric objects, resulting in a three-fold cross-validation accuracy of 95.6% for object shape recognition.

当没有光学信息可用时，在不确定环境下的机器人探索具有挑战性。在本文中，我们提出了一种自主解决方案，即仅基于触觉感测，探索一个未知的任务空间。我们首先根据MEMS晴雨表设备设计了晶须传感器。该传感器可以通过非侵入性与环境进行交互来获取联系信息。该传感器伴随着一种计划技术，可以通过使用触觉感知来产生探索轨迹。该技术依赖于触觉探索的混合政策，其中包括用于对象搜索的主动信息路径计划，以及用于轮廓跟踪的反应性HOPF振荡器。结果表明，混合勘探政策可以提高对象发现的效率。最后，通过细分对象和分类来促进场景的理解。开发了一个分类器，以根据晶须传感器收集的几何特征识别对象类别。这种方法证明了晶须传感器以及触觉智能，可以提供足够的判别特征来区分对象。