多模式对象识别仍是一个新兴领域。因此，公共数据集仍然很少且尺寸小。开发了此数据集以帮助填充此空缺，并具有63个对象的多模式数据，具有一些视觉和触觉歧义。数据集包含视觉，Kinesthetic和触觉（音频/振动）数据。要彻底解决感官模糊性，因此需要感觉集成/融合。本报告描述了数据集的创建和结构。第一部分介绍用于捕获对象的视觉和触觉属性的底层方法。第二部分描述了收集数据所需的技术方面（实验设置）。第三部分介绍了对象，而最终部分介绍了数据集的结构和内容。

人类的物体感知能力令人印象深刻，当试图开发具有类似机器人的解决方案时，这变得更加明显。从人类如何将视觉和触觉用于对象感知和相关任务的灵感中，本文总结了机器人应用的多模式对象感知的当前状态。它涵盖了生物学灵感，传感器技术，数据集以及用于对象识别和掌握的感觉数据处理的各个方面。首先，概述了多模式对象感知的生物学基础。然后讨论了传感技术和数据收集策略。接下来，介绍了主要计算方面的介绍，突出显示了每个主要应用领域的一些代表性文章，包括对象识别，传输学习以及对象操纵和掌握。最后，在每个领域的当前进步中，本文概述了有希望的新研究指示。

尽管已显示触觉皮肤可用于检测机器人臂及其环境之间的碰撞，但并未广泛用于改善机器人抓握和手持操作。我们提出了一种新型的传感器设计，用于覆盖现有的多指机器人手。我们在台式实验中使用织物和抗静态泡沫底物分析了四种不同的压电材料的性能。我们发现，尽管压电泡沫被设计为包装材料，而不是用作传感底物，但它的性能与专门为此目的设计的织物相当。尽管这些结果证明了压电泡沫对触觉传感应用的潜力，但它们并未完全表征这些传感器在机器人操作中使用的功效。因此，我们使用低密度泡沫底物来开发可扩展的触觉皮肤，该皮肤可以连接到机器人手的手掌上。我们使用该传感器展示了几项机器人操纵任务，以显示其可靠地检测和本地化接触的能力，并在掌握和运输任务期间分析接触模式。我们的项目网站提供了有关传感器开发和分析中使用的所有材料，软件和数据的详细信息：https：//sites.google.com/gcloud.utah.edu/piezoresistive-tactile-sensing/。

我们提出了一种使用嵌入式麦克风和扬声器来测量不同执行器特性的软气动执行器的感应方法。执行器的物理状态确定声音通过结构传播时的特定调制。使用简单的机器学习，我们创建了一个计算传感器，该传感器从声音录音中渗透相应的状态。我们在软气动连续执行器上演示了声传感器，并使用它来测量接触位置，接触力，对象材料，执行器通胀和执行器温度。我们表明该传感器是可靠的（六个接触位置的平均分类速率为93％），精确（平均空间精度为3.7毫米），并且可抵抗常见的干扰（如背景噪声）。最后，我们比较了不同的声音和学习方法，并以20毫秒的白噪声和支持向量分类器作为传感器模型获得最佳结果。

预计机器人将掌握形状，重量或材料类型各不相同的广泛物体。因此，为机器人提供类似于人类的触觉功能对于涉及人与人机或机器人与机器人相互作用的应用至关重要，尤其是在那些期望机器人掌握和操纵以前未遇到的复杂物体的情况下。成功的对象掌握和操纵的关键方面是使用配备多个高性能传感器的高质量指尖，在特定的接触表面上适当分布。在本文中，我们介绍了使用两种不同类型的市售机器人指尖（Biotac和wts-ft）的使用的详细分析，每个机器人指尖（Biotac和wts-ft）配备了分布在指尖的接触表面上的多个传感器。我们进一步证明，由于指尖的高性能，不需要一种复杂的自适应抓握算法来抓住日常物体。我们得出的结论是，只要相关的指尖表现出较高的灵敏度，基于比例控制器的简单算法就足够了。在量化的评估中，我们还证明，部分由于传感器的分布，基于BioTAC的指尖的性能优于WTS-FT设备，可以使负载升高至850G，并且简单的比例控制器可以适应该载荷即使对象面临重大的外部振动挑战，也要掌握。

软机器人是一个新兴领域，对需要与环境或人类的安全性和强大的互动的任务产生了有希望的结果，例如抓握，操纵和人机互动。软机器依赖于本质上兼容的部件，并且难以配备传统的刚性传感器，这些传统传感器会干扰其合规性。我们提出了一种高度灵活的触觉传感器，在低成本且易于制造，同时独立于14个出租车测量接触压力。传感器由压阻织物构成，用于高度敏感，连续的响应，以及来自定制设计的柔性印刷电路板，提供高的Taxel密度。从这些TaxLes，可以推断出与传感器的接触位置和强度。在本文中，我们解释了所提出的传感器的设计和制造，表征其输入输出关系，在装备到软机器人RBO手2的硅树脂基气动执行器时，评估其对遵守的影响，并证明传感器提供基于学习的携手对象识别的丰富和有用的反馈。

视觉的触觉传感器由于经济实惠的高分辨率摄像机和成功的计算机视觉技术而被出现为机器人触摸的有希望的方法。但是，它们的物理设计和他们提供的信息尚不符合真实应用的要求。我们提供了一种名为Insight的强大，柔软，低成本，视觉拇指大小的3D触觉传感器：它不断在其整个圆锥形感测表面上提供定向力分布图。围绕内部单眼相机构造，传感器仅在刚性框架上仅成型一层弹性体，以保证灵敏度，鲁棒性和软接触。此外，Insight是第一个使用准直器将光度立体声和结构光混合的系统来检测其易于更换柔性外壳的3D变形。通过将图像映射到3D接触力的空间分布（正常和剪切）的深神经网络推断力信息。洞察力在0.4毫米的总空间分辨率，力量幅度精度约为0.03 n，并且对于具有不同接触面积的多个不同触点，在0.03-2 n的范围内的5度大约5度的力方向精度。呈现的硬件和软件设计概念可以转移到各种机器人部件。

Robotic tactile sensing provides a method of recognizing objects and their properties where vision fails. Prior work on tactile perception in robotic manipulation has frequently focused on exploratory procedures (EPs). However, the also-human-inspired technique of in-hand-manipulation can glean rich data in a fraction of the time of EPs. We propose a simple 3-DOF robotic hand design, optimized for object rolling tasks via a variable-width palm and associated control system. This system dynamically adjusts the distance between the finger bases in response to object behavior. Compared to fixed finger bases, this technique significantly increases the area of the object that is exposed to finger-mounted tactile arrays during a single rolling motion (an increase of over 60% was observed for a cylinder with a 30-millimeter diameter). In addition, this paper presents a feature extraction algorithm for the collected spatiotemporal dataset, which focuses on object corner identification, analysis, and compact representation. This technique drastically reduces the dimensionality of each data sample from 10 x 1500 time series data to 80 features, which was further reduced by Principal Component Analysis (PCA) to 22 components. An ensemble subspace k-nearest neighbors (KNN) classification model was trained with 90 observations on rolling three different geometric objects, resulting in a three-fold cross-validation accuracy of 95.6% for object shape recognition.

软机器人抓手有助于富含接触的操作，包括对各种物体的强大抓握。然而，软抓手的有益依从性也会导致重大变形，从而使精确的操纵具有挑战性。我们提出视觉压力估计与控制（VPEC），这种方法可以使用外部摄像头的RGB图像施加的软握力施加的压力。当气动抓地力和肌腱握力与平坦的表面接触时，我们为视觉压力推断提供了结果。我们还表明，VPEC可以通过对推断压力图像的闭环控制进行精确操作。在我们的评估中，移动操纵器（来自Hello Robot的拉伸RE1）使用Visual Servoing在所需的压力下进行接触；遵循空间压力轨迹；并掌握小型低调的物体，包括microSD卡，一分钱和药丸。总体而言，我们的结果表明，对施加压力的视觉估计可以使软抓手能够执行精确操作。

当没有光学信息可用时，在不确定环境下的机器人探索具有挑战性。在本文中，我们提出了一种自主解决方案，即仅基于触觉感测，探索一个未知的任务空间。我们首先根据MEMS晴雨表设备设计了晶须传感器。该传感器可以通过非侵入性与环境进行交互来获取联系信息。该传感器伴随着一种计划技术，可以通过使用触觉感知来产生探索轨迹。该技术依赖于触觉探索的混合政策，其中包括用于对象搜索的主动信息路径计划，以及用于轮廓跟踪的反应性HOPF振荡器。结果表明，混合勘探政策可以提高对象发现的效率。最后，通过细分对象和分类来促进场景的理解。开发了一个分类器，以根据晶须传感器收集的几何特征识别对象类别。这种方法证明了晶须传感器以及触觉智能，可以提供足够的判别特征来区分对象。

机器人系统的远程操作用于精确而精致的物体抓握需要高保真的触觉反馈，以获取有关抓握的全面实时信息。在这种情况下，最常见的方法是使用动力学反馈。但是，单个接触点信息不足以检测软件的动态变化形状。本文提出了一个新型的远程触发系统，该系统可为用户的手提供动感和皮肤刺激，以通过灵敏地操纵可变形物体（即移液器）来实现准确的液体分配。实验结果表明，为用户提供多模式触觉反馈的建议方法大大提高了用远程移液器的剂量质量。与纯视觉反馈相比，当用户用多模式触觉界面与视觉反馈混合使用多模式触觉接口时，相对给药误差减少了66 \％，任务执行时间减少了18 \％。在CoVID-19，化学实验，有机材料和伸缩性的抗体测试期间，可以在精致的给药程序中实施该提出的技术。

触摸感在使人类能够理解和与周围环境互动方面发挥着关键作用。对于机器人，触觉感应也是不可替代的。在与物体交互时，触觉传感器为机器人提供了理解物体的有用信息，例如分布式压力，温度，振动和纹理。在机器人抓住期间，视力通常由其最终效应器封闭，而触觉感应可以测量视觉无法访问的区域。在过去的几十年中，已经为机器人开发了许多触觉传感器，并用于不同的机器人任务。在本章中，我们专注于使用触觉对机器人抓握的触觉，并研究近期对物质性质的触觉趋势。我们首先讨论了术语，即形状，姿势和材料特性对三个重要的物体特性的触觉感知。然后，我们通过触觉感应审查抓握稳定性预测的最新发展。在这些作品中，我们确定了在机器人抓握中协调视觉和触觉感应的要求。为了证明使用触觉传感来提高视觉感知，介绍了我们最近的抗议重建触觉触觉感知的发展。在所提出的框架中，首先利用相机视觉的大型接收领域以便快速搜索含有裂缝的候选区域，然后使用高分辨率光学触觉传感器来检查这些候选区域并重建精制的裂缝形状。实验表明，我们所提出的方法可以实现0.82mm至0.24mm的平均距离误差的显着降低，以便重建。最后，我们在讨论了对机器人任务中施加触觉感应的公开问题和未来方向的讨论。

人们经常通过双手施加压力来与周围环境互动。虽然可以通过在手和环境之间放置压力传感器来测量手动压力，但这样做可以改变接触力学，干扰人类触觉感知，需要昂贵的传感器，并且对大型环境的扩展很差。我们探索使用常规的RGB摄像头推断手动压力的可能性，从而使机器对无爆炸的手和表面的手动压力感知。中心洞察力是，通过手的施加压力会导致内容丰富的外观变化。手共有生物力学特性，从而产生相似的可观察现象，例如软组织变形，血液分布，手姿势和铸造阴影。我们收集了36位参与者的视频，这些参与者具有不同的肤色，向仪器的平面表面施加压力。然后，我们训练了一个深层模型（压力visionnet），以从单个RGB图像中推断出压力图像。我们的模型会在培训数据外降低给参与者的压力，并且表现优于基准。我们还表明，我们的模型的输出取决于手的外观，并在接触区域附近投射阴影。总体而言，我们的结果表明，可以使用以前未观察到的人手的出现来准确推断施加压力。数据，代码和模型可在线提供。

本文的目的是描述一种在实时反馈中检测滑动和接触力的方法。在这种新颖的方法中，戴维斯相机由于其快速处理速度和高分辨率而被用作视觉触觉传感器。在具有不同形状，尺寸，重量和材料的四个物体上进行两百实验，以比较Baxter机器人夹持器的精度和响应以避免滑动。通过使用力敏感电阻（FSR402）验证了先进的方法。使用Davis Camera捕获的事件通过特定算法处理，以向允许其检测滑动的Baxter Robot提供反馈。

我们引入了一个球形指尖传感器进行动态操作。它基于气压压力和飞行时间接近传感器，并且是低延迟，紧凑且身体健壮的。传感器使用训练有素的神经网络根据压力传感器的数据来估计接触位置和三轴接触力，这些数据嵌入了传感器的聚氨酯橡胶范围内。飞行器传感器朝三个不同的外向方向面对，并且一个集成的微控制器样品以200 Hz的速度每个单个传感器。为了量化系统潜伏期对动态操作性能的影响，我们开发和分析了一个称为碰撞脉冲比率的度量，并表征了我们新传感器的端到端潜伏期。我们还向传感器提出了实验演示，包括测量接触过渡，进行粗大映射，与移动物体保持接触力以及避免碰撞的反应。

触觉感应是执行灵巧操纵任务的机器人的基本能力。虽然相机，LIDAR和其他远程传感器可以在全球和立即评估场景，但触觉传感器可以减少它们的测量不确定性，并在往复对象和机器人之间获得局部物理交互的信息，这通常不能通过遥感。触觉传感器可以分为两个主要类别：电子触觉皮肤和基于相机的光学触觉传感器。前者是薄薄的并且可以安装在不同的身体部位上，而后者呈现更棱柱形状并具有更高的感测分辨率，具有良好的优势，可以用作机器人手指或指尖。这种光学触觉传感器之一是我们的Geltip传感器，其成形为手指，并且可以在其表面的任何位置感接触。这样，Geltip传感器能够从所有方向上检测触点，如人的手指。为了捕获这些触点，它使用安装在其基部的相机来跟踪覆盖其空心，刚性和透明体的不透明弹性体的变形。由于这种设计，配备盖施电流传感器的夹具能够同时监测其掌握内外的触点。使用该传感器进行的实验表明了触点是如何定位的，更重要的是，利用杂波中的Dexterous操纵任务中的全面触摸感测的优点，甚至可能是必要的，其中触点可能发生在手指的任何位置。可以在HTTPS://Danfergo.github.io/geltip/中找到制造Geltip传感器的所有材料

空中触觉创造了一种新的反馈方式，以使人们能够在空中感觉到触觉。超声波阵列聚焦在空间中的声音辐射压力，以引起由此产生的皮肤偏转的触觉感觉。在这项工作中，我们提出了一个低成本的触觉机器人，以测试空中触觉。通过将桌面机器人组与3D打印的仿生触觉传感器相结合，我们开发了一个可以感知，映射和可视化超声传感器阵列产生的空气触觉感觉的系统。我们通过对各种空气中的触觉刺激进行测试，包括未经调节和调节的焦点来评估触觉机器人。我们将刺激的映射与用于测试空气中触觉的另一种方法的映射：激光多普勒振动法，突出了触觉机器人的优势，包括较低的成本，轻巧的表格因子和易用性。总体而言，这些发现表明我们的方法具有感知空气中触觉的多重好处，并为扩展测试以更好地模仿人触觉感知开辟了新的可能性。

在各种地形上进行运动的能力对于腿部机器人至关重要。但是，机器人必须更好地了解其在不同地形上进行强大运动的表面。动物和人类能够在脚上的触觉感觉的帮助下识别表面。虽然，腿部机器人的脚触觉感觉并没有得到太多探索。本文介绍了针对触觉脚（TSF）的新型四足机器人Dogtouch的研究。 TSF允许使用触觉传感器和卷积神经网络（CNN）识别不同的表面纹理。实验结果表明，我们训练有素的基于CNN的模型的足够验证精度为74.37 \％，对线模式的90 \％\％的识别最高。将来，我们计划通过呈现各种模式深度的表面样本并应用高级深度学习和浅层学习模型来改善预测模型。此外，我们提出了一种新颖的方法，用于导航四倍和腿部机器人。我们可以安排触觉铺路纹理表面（类似于盲人或视障人士）。因此，只需识别将指示直路，左或右转弯，行人穿越，道路等的特定触觉图案，就可以在未知环境中进行运动，无论光线如何，都可以允许强大的导航。配备了视觉和触觉感知系统的未来四足机器人将能够在非结构化的室内和室外环境中安全，智能地导航和交互。

通过触觉反馈感知物体滑移的能力使人类能够完成复杂的操纵任务，包括保持稳定的掌握。尽管触觉信息用于许多应用程序，但触觉传感器尚未在工业机器人设置中广泛部署。挑战的一部分在于从触觉数据流中识别滑移和其他事件。在本文中，我们提出了一种基于学习的方法，可以使用气压触觉传感器检测滑移。这些传感器具有许多理想的属性，包括高耐用性和可靠性，并且由廉价的现成组件构建。我们训练一个时间卷积神经网络来检测滑动，达到高检测精度，同时表现出稳健性，以对滑动运动的速度和方向。此外，我们在涉及各种常见对象的两项操纵任务上测试了探测器，并证明了对训练期间看不到的现实情况的成功概括。我们认为，气压触觉传感技术与数据驱动的学习相结合，适用于许多操纵任务，例如滑移补偿。

尽管有触觉信息的实用性，但触觉传感器尚未在工业机器人设置中广泛部署。挑战的一部分在于识别触觉数据流的滑移和其他关键事件。在本文中，我们提出了一种基于学习的方法，可以使用气压触觉传感器检测滑移。尽管这些传感器的分辨率很低，但它们具有许多其他理想的特性，包括高可靠性和耐用性，非常苗条的轮廓和低成本。我们能够实现大于91％的滑动检测精度，同时稳健地遵循滑动运动的速度和方向。此外，我们在涉及常见家庭对象的两个机器人操纵任务上测试了我们的探测器，并证明了对训练期间未见的现实情况的成功概括。我们表明，气压触觉传感技术与数据驱动的学习相结合，可能适用于复杂的操纵任务，例如滑移补偿。