空中触觉创造了一种新的反馈方式，以使人们能够在空中感觉到触觉。超声波阵列聚焦在空间中的声音辐射压力，以引起由此产生的皮肤偏转的触觉感觉。在这项工作中，我们提出了一个低成本的触觉机器人，以测试空中触觉。通过将桌面机器人组与3D打印的仿生触觉传感器相结合，我们开发了一个可以感知，映射和可视化超声传感器阵列产生的空气触觉感觉的系统。我们通过对各种空气中的触觉刺激进行测试，包括未经调节和调节的焦点来评估触觉机器人。我们将刺激的映射与用于测试空气中触觉的另一种方法的映射：激光多普勒振动法，突出了触觉机器人的优势，包括较低的成本，轻巧的表格因子和易用性。总体而言，这些发现表明我们的方法具有感知空气中触觉的多重好处，并为扩展测试以更好地模仿人触觉感知开辟了新的可能性。

视觉的触觉传感器由于经济实惠的高分辨率摄像机和成功的计算机视觉技术而被出现为机器人触摸的有希望的方法。但是，它们的物理设计和他们提供的信息尚不符合真实应用的要求。我们提供了一种名为Insight的强大，柔软，低成本，视觉拇指大小的3D触觉传感器：它不断在其整个圆锥形感测表面上提供定向力分布图。围绕内部单眼相机构造，传感器仅在刚性框架上仅成型一层弹性体，以保证灵敏度，鲁棒性和软接触。此外，Insight是第一个使用准直器将光度立体声和结构光混合的系统来检测其易于更换柔性外壳的3D变形。通过将图像映射到3D接触力的空间分布（正常和剪切）的深神经网络推断力信息。洞察力在0.4毫米的总空间分辨率，力量幅度精度约为0.03 n，并且对于具有不同接触面积的多个不同触点，在0.03-2 n的范围内的5度大约5度的力方向精度。呈现的硬件和软件设计概念可以转移到各种机器人部件。

当没有光学信息可用时，在不确定环境下的机器人探索具有挑战性。在本文中，我们提出了一种自主解决方案，即仅基于触觉感测，探索一个未知的任务空间。我们首先根据MEMS晴雨表设备设计了晶须传感器。该传感器可以通过非侵入性与环境进行交互来获取联系信息。该传感器伴随着一种计划技术，可以通过使用触觉感知来产生探索轨迹。该技术依赖于触觉探索的混合政策，其中包括用于对象搜索的主动信息路径计划，以及用于轮廓跟踪的反应性HOPF振荡器。结果表明，混合勘探政策可以提高对象发现的效率。最后，通过细分对象和分类来促进场景的理解。开发了一个分类器，以根据晶须传感器收集的几何特征识别对象类别。这种方法证明了晶须传感器以及触觉智能，可以提供足够的判别特征来区分对象。

我们提出了一种使用嵌入式麦克风和扬声器来测量不同执行器特性的软气动执行器的感应方法。执行器的物理状态确定声音通过结构传播时的特定调制。使用简单的机器学习，我们创建了一个计算传感器，该传感器从声音录音中渗透相应的状态。我们在软气动连续执行器上演示了声传感器，并使用它来测量接触位置，接触力，对象材料，执行器通胀和执行器温度。我们表明该传感器是可靠的（六个接触位置的平均分类速率为93％），精确（平均空间精度为3.7毫米），并且可抵抗常见的干扰（如背景噪声）。最后，我们比较了不同的声音和学习方法，并以20毫秒的白噪声和支持向量分类器作为传感器模型获得最佳结果。

虽然在各种应用中广泛使用刚性机器人，但它们在他们可以执行的任务中受到限制，并且在密切的人机交互中可以保持不安全。另一方面，软机器鞋面超越了刚性机器人的能力，例如与工作环境，自由度，自由度，制造成本和与环境安全互动的兼容性。本文研究了纤维增强弹性机壳（释放）作为一种特定类型的软气动致动器的行为，可用于软装饰器。创建动态集参数模型以在各种操作条件下模拟单一免费的运动，并通知控制器的设计。所提出的PID控制器使用旋转角度来控制多项式函数之后的自由到限定的步进输入或轨迹的响应来控制末端执行器的方向。另外，采用有限元分析方法，包括释放的固有非线性材料特性，精确地评估释放的各种参数和配置。该工具还用于确定模块中多个释放的工作空间，这基本上是软机械臂的构建块。

人类可以利用身体互动来教机器人武器。当人类的动力学通过示范引导机器人时，机器人学习了所需的任务。尽管先前的工作重点是机器人学习方式，但对于人类老师来说，了解其机器人正在学习的内容同样重要。视觉显示可以传达此信息；但是，我们假设仅视觉反馈就错过了人与机器人之间的物理联系。在本文中，我们介绍了一类新颖的软触觉显示器，这些显示器包裹在机器人臂上，添加信号而不会影响相互作用。我们首先设计一个气动驱动阵列，该阵列在安装方面保持灵活。然后，我们开发了这种包裹的触觉显示的单一和多维版本，并在心理物理测试和机器人学习过程中探索了人类对渲染信号的看法。我们最终发现，人们以11.4％的韦伯（Weber）分数准确区分单维反馈，并以94.5％的精度确定多维反馈。当物理教授机器人臂时，人类利用单维反馈来提供比视觉反馈更好的演示：我们包装的触觉显示会降低教学时间，同时提高演示质量。这种改进取决于包裹的触觉显示的位置和分布。您可以在此处查看我们的设备和实验的视频：https：//youtu.be/ypcmgeqsjdm

深度学习与高分辨率的触觉传感相结合可能导致高度强大的灵巧机器人。但是，由于专业设备和专业知识，进度很慢。数字触觉传感器可使用Gelsight型传感器提供低成本的高分辨率触摸。在这里，我们将数字定制为基于柔软仿生光学触觉传感器的Tactip家族具有3D打印的传感表面。 Digit-Tactip（Digitac）可以在这些不同的触觉传感器类型之间进行直接比较。为了进行此比较，我们引入了一个触觉机器人系统，该机器人系统包括桌面臂，坐骑和3D打印的测试对象。我们将触觉伺服器控制与Posenet深度学习模型一起比较数字，Digitac和Tactip，以在3D形状上进行边缘和表面跟随。这三个传感器在姿势预测上的性能类似，但是它们的构造导致伺服控制的性能不同，为研究人员选择或创新触觉传感器提供了指导。复制此研究的所有硬件和软件将公开发布。

大物体的操纵和安全地在人类附近进行安全操作的能力是通用国内机器人助手的关键能力。我们介绍了一种柔软，触觉的人形的人形机器人的设计，并展示了用于处理大物体的全身丰富的接触操作策略。我们展示了我们的硬件设计理念，用于使用软触觉传感模块，包括：（i）低成本，抗缝，接触压力定位的武器， （ii）基于TRI软气泡传感器的爪子，用于最终效应器，（III）柔顺的力/几何传感器，用于粗糙几何感测表面/胸部。我们利用这些模块的机械智能和触觉感应，为全身抓握控制进行开发和展示运动原语。我们评估硬件在实现各种大型国内物体上实现不同优势的掌握。我们的结果表明，利用富含接触的操纵策略的柔软度和触觉感应的重要性，以及与世界的全身力量控制的互动前进的道路。

外骨骼和矫形器是可穿戴移动系统，为用户提供机械益处。尽管在过去几十年中有重大改进，但该技术不会完全成熟，以便采用剧烈和非编程任务。为了适应这种功能不全，需要分析和改进该技术的不同方面。许多研究一直在努力解决外骨骼的某些方面，例如，机构设计，意向预测和控制方案。但是，大多数作品都专注于设计或应用的特定元素，而无需提供全面的审查框架。本研究旨在分析和调查为改进和广泛采用这项技术的贡献方面。为了解决此问题，在引入辅助设备和外骨骼后，将从物理人员 - 机器人接口（HRI）的角度来研究主要的设计标准。通过概述不同类别的已知辅助设备的几个例子，将进一步开发该研究。为了建立智能HRI策略并为用户提供直观的控制，将研究认知HRI。将审查这种策略的各种方法，并提出了意图预测的模型。该模型用于从单个电拍摄（EMG）通道输入的栅极相位。建模结果显示出低功耗辅助设备中单通道输入的潜在使用。此外，所提出的模型可以在具有复杂控制策略的设备中提供冗余。

尽管已显示触觉皮肤可用于检测机器人臂及其环境之间的碰撞，但并未广泛用于改善机器人抓握和手持操作。我们提出了一种新型的传感器设计，用于覆盖现有的多指机器人手。我们在台式实验中使用织物和抗静态泡沫底物分析了四种不同的压电材料的性能。我们发现，尽管压电泡沫被设计为包装材料，而不是用作传感底物，但它的性能与专门为此目的设计的织物相当。尽管这些结果证明了压电泡沫对触觉传感应用的潜力，但它们并未完全表征这些传感器在机器人操作中使用的功效。因此，我们使用低密度泡沫底物来开发可扩展的触觉皮肤，该皮肤可以连接到机器人手的手掌上。我们使用该传感器展示了几项机器人操纵任务，以显示其可靠地检测和本地化接触的能力，并在掌握和运输任务期间分析接触模式。我们的项目网站提供了有关传感器开发和分析中使用的所有材料，软件和数据的详细信息：https：//sites.google.com/gcloud.utah.edu/piezoresistive-tactile-sensing/。

我们使用嵌入式音频组件为软气动执行器创建虚拟2D触觉阵列。我们检测到声音调制的特定接触特定变化以推断触觉信息。我们评估不同的声音表示和学习方法，甚至可以检测到较小的接触变化。我们以pneflex执行器的示例演示了声学触觉传感器阵列，并使用盲文显示器单独控制29x4销与执行器的90x10 mm棕榈表面的接触。评估空间分辨率，声传感器以X和Y方向将边缘定位在X和Y方向上，其根平方回归误差分别为1.67 mm和0.0 mm。甚至具有高度精度测量的单个盲文销的光接触。最后，我们通过成功阅读单个显示单元格的26个字母来证明传感器对复杂接触形状的敏感性，分类速率为88％。

Robotic tactile sensing provides a method of recognizing objects and their properties where vision fails. Prior work on tactile perception in robotic manipulation has frequently focused on exploratory procedures (EPs). However, the also-human-inspired technique of in-hand-manipulation can glean rich data in a fraction of the time of EPs. We propose a simple 3-DOF robotic hand design, optimized for object rolling tasks via a variable-width palm and associated control system. This system dynamically adjusts the distance between the finger bases in response to object behavior. Compared to fixed finger bases, this technique significantly increases the area of the object that is exposed to finger-mounted tactile arrays during a single rolling motion (an increase of over 60% was observed for a cylinder with a 30-millimeter diameter). In addition, this paper presents a feature extraction algorithm for the collected spatiotemporal dataset, which focuses on object corner identification, analysis, and compact representation. This technique drastically reduces the dimensionality of each data sample from 10 x 1500 time series data to 80 features, which was further reduced by Principal Component Analysis (PCA) to 22 components. An ensemble subspace k-nearest neighbors (KNN) classification model was trained with 90 observations on rolling three different geometric objects, resulting in a three-fold cross-validation accuracy of 95.6% for object shape recognition.

软机器人抓手有助于富含接触的操作，包括对各种物体的强大抓握。然而，软抓手的有益依从性也会导致重大变形，从而使精确的操纵具有挑战性。我们提出视觉压力估计与控制（VPEC），这种方法可以使用外部摄像头的RGB图像施加的软握力施加的压力。当气动抓地力和肌腱握力与平坦的表面接触时，我们为视觉压力推断提供了结果。我们还表明，VPEC可以通过对推断压力图像的闭环控制进行精确操作。在我们的评估中，移动操纵器（来自Hello Robot的拉伸RE1）使用Visual Servoing在所需的压力下进行接触；遵循空间压力轨迹；并掌握小型低调的物体，包括microSD卡，一分钱和药丸。总体而言，我们的结果表明，对施加压力的视觉估计可以使软抓手能够执行精确操作。

高分辨率光触觉传感器越来越多地用于机器人学习环境中，因为它们能够捕获与试剂环境相互作用直接相关的大量数据。但是，由于触觉机器人平台的高成本，专业的仿真软件以及在不同传感器之间缺乏通用性的模拟方法，因此在该领域的研究障碍很高。在这封信中，我们将触觉健身房的模拟器扩展到两种最受欢迎​​的类型类型的三个新的光学触觉传感器（Tactip，Digit和Digitac），分别是Gelsight Style（基于图像遮蔽）和Tactip Style（基于标记）。我们证明，尽管实际触觉图像之间存在显着差异，但可以与这三个不同的传感器一起使用单个SIM到实现的方法，以实现强大的现实性能。此外，我们通过将其调整为廉价的4道机器人组来降低对拟议任务的进入障碍，从而进一步使该基准的传播。我们在三个需要触摸感的身体相互交互的任务上验证了扩展环境：对象推动，边缘跟随和表面跟随。我们实验验证的结果突出了这些传感器之间的一些差异，这可能有助于未来的研究人员选择并自定义触觉传感器的物理特征，以进行不同的操纵场景。

触摸感在使人类能够理解和与周围环境互动方面发挥着关键作用。对于机器人，触觉感应也是不可替代的。在与物体交互时，触觉传感器为机器人提供了理解物体的有用信息，例如分布式压力，温度，振动和纹理。在机器人抓住期间，视力通常由其最终效应器封闭，而触觉感应可以测量视觉无法访问的区域。在过去的几十年中，已经为机器人开发了许多触觉传感器，并用于不同的机器人任务。在本章中，我们专注于使用触觉对机器人抓握的触觉，并研究近期对物质性质的触觉趋势。我们首先讨论了术语，即形状，姿势和材料特性对三个重要的物体特性的触觉感知。然后，我们通过触觉感应审查抓握稳定性预测的最新发展。在这些作品中，我们确定了在机器人抓握中协调视觉和触觉感应的要求。为了证明使用触觉传感来提高视觉感知，介绍了我们最近的抗议重建触觉触觉感知的发展。在所提出的框架中，首先利用相机视觉的大型接收领域以便快速搜索含有裂缝的候选区域，然后使用高分辨率光学触觉传感器来检查这些候选区域并重建精制的裂缝形状。实验表明，我们所提出的方法可以实现0.82mm至0.24mm的平均距离误差的显着降低，以便重建。最后，我们在讨论了对机器人任务中施加触觉感应的公开问题和未来方向的讨论。

人类的物体感知能力令人印象深刻，当试图开发具有类似机器人的解决方案时，这变得更加明显。从人类如何将视觉和触觉用于对象感知和相关任务的灵感中，本文总结了机器人应用的多模式对象感知的当前状态。它涵盖了生物学灵感，传感器技术，数据集以及用于对象识别和掌握的感觉数据处理的各个方面。首先，概述了多模式对象感知的生物学基础。然后讨论了传感技术和数据收集策略。接下来，介绍了主要计算方面的介绍，突出显示了每个主要应用领域的一些代表性文章，包括对象识别，传输学习以及对象操纵和掌握。最后，在每个领域的当前进步中，本文概述了有希望的新研究指示。

为了使软机器人在以人为本的环境中有效工作，他们需要能够根据（本体感受）传感器估算其状态和外部相互作用。估计干扰使软机器人可以执行理想的力控制。即使在刚性操纵器的情况下，最终效应器的力估计也被视为一个非平凡的问题。实际上，其他当前应对这一挑战的方法也存在防止其一般应用的缺点。它们通常基于简化的软动力学模型，例如依赖于零件的恒定曲率（PCC）近似值或匹配的刚体模型的模型，这些模型并不代表该问题的细节。因此，无法构建复杂的人类机器人互动所需的应用。有限元方法（FEM）允许以更通用的方式预测软机器人动力学。在这里，使用框架沙发的软机器人建模功能，我们构建了一个详细的FEM模型，该模型由多段的软连续机器人手臂组成，该机器人由合规的可变形材料和纤维增强的压力驱动室组成，并具有用于提供方向输出的传感器的模型。该模型用于为操纵器建立状态观察者。校准模型参数以使用物理实验匹配手动制造过程的缺陷。然后，我们解决了二次编程逆动力学问题，以计算解释姿势误差的外力的组成部分。我们的实验显示，平均力估计误差约为1.2％。由于提出的方法是通用的，因此这些结果令人鼓舞，该任务是构建可以在以人为中心的环境中部署的复杂，反应性，基于传感器的行为的软机器人。

彼此接触的任何两个物体都会仅仅是由于重力或机械接触而引起的力，例如机器人手臂抓住一个物体，甚至是我们膝关节处的两个骨头之间的接触。自然测量和监视这些接触力的能力允许从仓库管理（基于重量检测错误包装）到机器人技术（使机器人臂的抓地力与人类皮肤一样敏感）和医疗保健（膝关节植入物）的大量应用。设计一个无处不在的力传感器是充满挑战的，该传感器可自然地用于所有这些应用。首先，传感器应足够小，以适合狭窄的空间。接下来，我们不想铺设笨重的电缆来读取传感器的力值。最后，我们需要进行无电池设计以满足体内应用程序。我们开发了WiforCesticker，这是一种无线，无电池，类似贴纸的力传感器，可以在任何表面上都可以无处不在，例如所有仓库包装，机器人手臂和膝关节。 WiforCesticker首先设计一个$ 4 $ 〜mm〜 $ \ $ \ times $〜$〜$ 2 $ 〜mm〜 $ \ $ \ times $〜$〜$〜$ 0.4 $〜毫米电容传感器设计，配备了$ 10 $〜$〜$〜$〜$〜$〜$〜$ 〜mm〜mm 〜mm 〜mm 〜mm在灵活的PCB基材上设计。其次，它引入了一种新的机制，可以通过将传感器与COTS RFID系统插入传感器，从而无线读取器无线读取器可以通过无线读取器读取力信息。该传感器可以在多个测试环境中检测到$ 0 $ -6 $ 〜n的力量，感应精度为$ <0.5 $ 〜n，并在传感器上使用超过10,000美元的$ 10,000 $变化的力级按下。我们还通过设计传感器展示了两个应用程序案例研究，称量仓库包和骨接头施加的传感力。

Robots have been brought to work close to humans in many scenarios. For coexistence and collaboration, robots should be safe and pleasant for humans to interact with. To this end, the robots could be both physically soft with multimodal sensing/perception, so that the robots could have better awareness of the surrounding environment, as well as to respond properly to humans' action/intention. This paper introduces a novel soft robotic link, named ProTac, that possesses multiple sensing modes: tactile and proximity sensing, based on computer vision and a functional material. These modalities come from a layered structure of a soft transparent silicon skin, a polymer dispersed liquid crystal (PDLC) film, and reflective markers. Here, the PDLC film can switch actively between the opaque and the transparent state, from which the tactile sensing and proximity sensing can be obtained by using cameras solely built inside the ProTac link. In this paper, inference algorithms for tactile proximity perception are introduced. Evaluation results of two sensing modalities demonstrated that, with a simple activation strategy, ProTac link could effectively perceive useful information from both approaching and in-contact obstacles. The proposed sensing device is expected to bring in ultimate solutions for design of robots with softness, whole-body and multimodal sensing, and safety control strategies.

人类和机器人之间的物理互动可以帮助机器人学习执行复杂的任务。机器人臂通过观察人类在整个任务中指导它的方式来获得信息。虽然先前的作品专注于机器人如何学习，但它同样重要的是，这种学习对人类教师透明。显示机器人不确定性的视觉显示可能会传达此信息;然而，我们假设视觉反馈机制错过了人类和机器人之间的物理连接。在这项工作中，我们提出了一种柔软的触觉显示，它缠绕在机器人臂的表面并符合机器人臂的表面，在现有的触点点添加触觉信号，而不会显着影响相互作用。我们展示了软致动力如何产生突出的触觉信号，同时仍然允许在设备安装中的灵活性。使用心理物理学实验，我们表明用户可以准确地区分包裹展示的通胀水平，平均韦伯分数为11.4％。当我们在机器人操纵器的ARM周围放置包裹的显示器时，用户能够在样本机器人学习任务中解释和利用触觉信号，从而改善机器人需要更多培训的区域的识别，并使用户能够提供更好的演示。查看我们的设备和用户学习的视频：https://youtu.be/tx-2tqeb9nw