在各种地形上进行运动的能力对于腿部机器人至关重要。但是，机器人必须更好地了解其在不同地形上进行强大运动的表面。动物和人类能够在脚上的触觉感觉的帮助下识别表面。虽然，腿部机器人的脚触觉感觉并没有得到太多探索。本文介绍了针对触觉脚（TSF）的新型四足机器人Dogtouch的研究。 TSF允许使用触觉传感器和卷积神经网络（CNN）识别不同的表面纹理。实验结果表明，我们训练有素的基于CNN的模型的足够验证精度为74.37 \％，对线模式的90 \％\％的识别最高。将来，我们计划通过呈现各种模式深度的表面样本并应用高级深度学习和浅层学习模型来改善预测模型。此外，我们提出了一种新颖的方法，用于导航四倍和腿部机器人。我们可以安排触觉铺路纹理表面（类似于盲人或视障人士）。因此，只需识别将指示直路，左或右转弯，行人穿越，道路等的特定触觉图案，就可以在未知环境中进行运动，无论光线如何，都可以允许强大的导航。配备了视觉和触觉感知系统的未来四足机器人将能够在非结构化的室内和室外环境中安全，智能地导航和交互。

人体肢体运动跟踪和识别在医疗康复训练，下肢辅助，截肢者的假肢设计，辅助机器人的反馈控制等中起着重要作用。轻质可穿戴的传感器，包括惯性传感器，表面肌电图传感器以及柔性应变/压力，柔性应变/压力，有望成为下一代人类运动捕获装置。本文中，我们提供了一种无线可穿戴设备，该设备由16通道柔性海绵的压力传感器阵列组成，通过检测由小腿胃gastrocnemius肌肉作用引起的人类皮肤上的轮廓来识别各种人类下肢运动。每个感应元件都是薄碳纳米管/聚二甲基硅氧烷纳米复合材料的圆形多孔结构，直径为4 mm，厚度约为400 {\ mu} m。招募了十个人类受试者，以执行十个不同的下肢运动，同时佩戴开发设备。用支持向量机方法的运动分类结果显示，所有十项测试的动作的宏记录约为97.3％。这项工作证明了具有下肢运动识别应用的便携式可穿戴肌肉活动检测装置，可以在辅助机器人控制，医疗保健，体育监测等中使用该设备。

如今，腿部四足机器人的设计和开发是科学研究的一个非常活跃的领域。实际上，由于与其他移动机器人相比，腿部机器人能够适应严峻的地形和各种环境条件，因此变得流行。随着对腿部机器人实验的需求较高，更多的研究和工程师需要一种负担得起，快速的运动算法开发方式。在本文中，我们提出了一个新的开源四倍的机器人超狗平台，该平台具有12个RC伺服电机，NVIDIA JETSON NANO COMPUTER和STM32F4 DISCOVERY板。 HyperDog是四倍的机器人软件开发的开源平台，该平台基于机器人操作系统2（ROS2）和Micro-Ros。此外，HyperDog是完全由3D印刷零件和碳纤维建造的四倍的机器人狗，它使机器人的重量轻和强度良好。这项工作的想法是证明机器人开发的一种负担得起且可定制的方式，并为研究和工程师提供了腿部机器人平台，在该平台中可以在模拟和真实环境中测试和验证不同的算法。具有代码的开发项目可在GitHub（https://github.com/ndhana94/hyperdog_ros2）上获得。

触摸感在使人类能够理解和与周围环境互动方面发挥着关键作用。对于机器人，触觉感应也是不可替代的。在与物体交互时，触觉传感器为机器人提供了理解物体的有用信息，例如分布式压力，温度，振动和纹理。在机器人抓住期间，视力通常由其最终效应器封闭，而触觉感应可以测量视觉无法访问的区域。在过去的几十年中，已经为机器人开发了许多触觉传感器，并用于不同的机器人任务。在本章中，我们专注于使用触觉对机器人抓握的触觉，并研究近期对物质性质的触觉趋势。我们首先讨论了术语，即形状，姿势和材料特性对三个重要的物体特性的触觉感知。然后，我们通过触觉感应审查抓握稳定性预测的最新发展。在这些作品中，我们确定了在机器人抓握中协调视觉和触觉感应的要求。为了证明使用触觉传感来提高视觉感知，介绍了我们最近的抗议重建触觉触觉感知的发展。在所提出的框架中，首先利用相机视觉的大型接收领域以便快速搜索含有裂缝的候选区域，然后使用高分辨率光学触觉传感器来检查这些候选区域并重建精制的裂缝形状。实验表明，我们所提出的方法可以实现0.82mm至0.24mm的平均距离误差的显着降低，以便重建。最后，我们在讨论了对机器人任务中施加触觉感应的公开问题和未来方向的讨论。

机器人系统的远程操作用于精确而精致的物体抓握需要高保真的触觉反馈，以获取有关抓握的全面实时信息。在这种情况下，最常见的方法是使用动力学反馈。但是，单个接触点信息不足以检测软件的动态变化形状。本文提出了一个新型的远程触发系统，该系统可为用户的手提供动感和皮肤刺激，以通过灵敏地操纵可变形物体（即移液器）来实现准确的液体分配。实验结果表明，为用户提供多模式触觉反馈的建议方法大大提高了用远程移液器的剂量质量。与纯视觉反馈相比，当用户用多模式触觉界面与视觉反馈混合使用多模式触觉接口时，相对给药误差减少了66 \％，任务执行时间减少了18 \％。在CoVID-19，化学实验，有机材料和伸缩性的抗体测试期间，可以在精致的给药程序中实施该提出的技术。

这项研究受到人类行为的启发，提议使用探测策略，并将其整合到遍布性分析框架中，以解决未知的粗糙地形上的安全导航。我们的框架将可折叠信息整合到我们现有的遍历性分析中，因为仅视力和几何信息可能会被不可预测的非刚性地形（例如柔软的土壤，灌木丛或水坑）误导。通过新的遍历性分析框架，我们的机器人对不可预测的地形进行了更全面的评估，这对于其在室外环境中的安全至关重要。该管道首先使用RGB-D摄像头确定地形的几何和语义性能，并在可疑地形上探测位置。使用力传感器对这些区域进行探测，以确定机器人在其上面时崩溃的风险。该风险被称为可折叠度度量，该指标估计了不可预测的区域的地面可折叠性。此后，将可折叠性度量以及几何和语义空间数据结合在一起，并分析以产生全局和局部穿术网格图。这些遍历性网格地图告诉机器人是否可以安全地跨越地图的不同区域。然后使用网格图来生成机器人的最佳路径，以安全地导航其目标。在模拟和现实世界实验中，我们的方法已在四足动物的机器人上成功验证。

尽管已显示触觉皮肤可用于检测机器人臂及其环境之间的碰撞，但并未广泛用于改善机器人抓握和手持操作。我们提出了一种新型的传感器设计，用于覆盖现有的多指机器人手。我们在台式实验中使用织物和抗静态泡沫底物分析了四种不同的压电材料的性能。我们发现，尽管压电泡沫被设计为包装材料，而不是用作传感底物，但它的性能与专门为此目的设计的织物相当。尽管这些结果证明了压电泡沫对触觉传感应用的潜力，但它们并未完全表征这些传感器在机器人操作中使用的功效。因此，我们使用低密度泡沫底物来开发可扩展的触觉皮肤，该皮肤可以连接到机器人手的手掌上。我们使用该传感器展示了几项机器人操纵任务，以显示其可靠地检测和本地化接触的能力，并在掌握和运输任务期间分析接触模式。我们的项目网站提供了有关传感器开发和分析中使用的所有材料，软件和数据的详细信息：https：//sites.google.com/gcloud.utah.edu/piezoresistive-tactile-sensing/。

惯性测量单元（IMU）在机器人研究中无处不在。它为机器人提供了姿势信息，以实现平衡和导航。但是，人类和动物可以在没有精确的方向或位置值的情况下感知其身体在环境中的运动。这种互动固有地涉及感知和动作之间的快速反馈回路。这项工作提出了一种端到端方法，该方法使用高维视觉观察和动作命令来训练视觉自模型进行腿部运动。视觉自模型学习机器人身体运动与地面纹理之间的空间关系从图像序列变化。我们证明机器人可以利用视觉自模型来实现机器人在训练过程中看不见的现实环境中的各种运动任务。通过我们提出的方法，机器人可以在没有IMU的情况下或在没有GPS或弱地磁场的环境中进行运动，例如该市的室内和Urban Canyons。

当没有光学信息可用时，在不确定环境下的机器人探索具有挑战性。在本文中，我们提出了一种自主解决方案，即仅基于触觉感测，探索一个未知的任务空间。我们首先根据MEMS晴雨表设备设计了晶须传感器。该传感器可以通过非侵入性与环境进行交互来获取联系信息。该传感器伴随着一种计划技术，可以通过使用触觉感知来产生探索轨迹。该技术依赖于触觉探索的混合政策，其中包括用于对象搜索的主动信息路径计划，以及用于轮廓跟踪的反应性HOPF振荡器。结果表明，混合勘探政策可以提高对象发现的效率。最后，通过细分对象和分类来促进场景的理解。开发了一个分类器，以根据晶须传感器收集的几何特征识别对象类别。这种方法证明了晶须传感器以及触觉智能，可以提供足够的判别特征来区分对象。

预计机器人将掌握形状，重量或材料类型各不相同的广泛物体。因此，为机器人提供类似于人类的触觉功能对于涉及人与人机或机器人与机器人相互作用的应用至关重要，尤其是在那些期望机器人掌握和操纵以前未遇到的复杂物体的情况下。成功的对象掌握和操纵的关键方面是使用配备多个高性能传感器的高质量指尖，在特定的接触表面上适当分布。在本文中，我们介绍了使用两种不同类型的市售机器人指尖（Biotac和wts-ft）的使用的详细分析，每个机器人指尖（Biotac和wts-ft）配备了分布在指尖的接触表面上的多个传感器。我们进一步证明，由于指尖的高性能，不需要一种复杂的自适应抓握算法来抓住日常物体。我们得出的结论是，只要相关的指尖表现出较高的灵敏度，基于比例控制器的简单算法就足够了。在量化的评估中，我们还证明，部分由于传感器的分布，基于BioTAC的指尖的性能优于WTS-FT设备，可以使负载升高至850G，并且简单的比例控制器可以适应该载荷即使对象面临重大的外部振动挑战，也要掌握。

外骨骼和矫形器是可穿戴移动系统，为用户提供机械益处。尽管在过去几十年中有重大改进，但该技术不会完全成熟，以便采用剧烈和非编程任务。为了适应这种功能不全，需要分析和改进该技术的不同方面。许多研究一直在努力解决外骨骼的某些方面，例如，机构设计，意向预测和控制方案。但是，大多数作品都专注于设计或应用的特定元素，而无需提供全面的审查框架。本研究旨在分析和调查为改进和广泛采用这项技术的贡献方面。为了解决此问题，在引入辅助设备和外骨骼后，将从物理人员 - 机器人接口（HRI）的角度来研究主要的设计标准。通过概述不同类别的已知辅助设备的几个例子，将进一步开发该研究。为了建立智能HRI策略并为用户提供直观的控制，将研究认知HRI。将审查这种策略的各种方法，并提出了意图预测的模型。该模型用于从单个电拍摄（EMG）通道输入的栅极相位。建模结果显示出低功耗辅助设备中单通道输入的潜在使用。此外，所提出的模型可以在具有复杂控制策略的设备中提供冗余。

人类的物体感知能力令人印象深刻，当试图开发具有类似机器人的解决方案时，这变得更加明显。从人类如何将视觉和触觉用于对象感知和相关任务的灵感中，本文总结了机器人应用的多模式对象感知的当前状态。它涵盖了生物学灵感，传感器技术，数据集以及用于对象识别和掌握的感觉数据处理的各个方面。首先，概述了多模式对象感知的生物学基础。然后讨论了传感技术和数据收集策略。接下来，介绍了主要计算方面的介绍，突出显示了每个主要应用领域的一些代表性文章，包括对象识别，传输学习以及对象操纵和掌握。最后，在每个领域的当前进步中，本文概述了有希望的新研究指示。

深度学习与高分辨率的触觉传感相结合可能导致高度强大的灵巧机器人。但是，由于专业设备和专业知识，进度很慢。数字触觉传感器可使用Gelsight型传感器提供低成本的高分辨率触摸。在这里，我们将数字定制为基于柔软仿生光学触觉传感器的Tactip家族具有3D打印的传感表面。 Digit-Tactip（Digitac）可以在这些不同的触觉传感器类型之间进行直接比较。为了进行此比较，我们引入了一个触觉机器人系统，该机器人系统包括桌面臂，坐骑和3D打印的测试对象。我们将触觉伺服器控制与Posenet深度学习模型一起比较数字，Digitac和Tactip，以在3D形状上进行边缘和表面跟随。这三个传感器在姿势预测上的性能类似，但是它们的构造导致伺服控制的性能不同，为研究人员选择或创新触觉传感器提供了指导。复制此研究的所有硬件和软件将公开发布。

大物体的操纵和安全地在人类附近进行安全操作的能力是通用国内机器人助手的关键能力。我们介绍了一种柔软，触觉的人形的人形机器人的设计，并展示了用于处理大物体的全身丰富的接触操作策略。我们展示了我们的硬件设计理念，用于使用软触觉传感模块，包括：（i）低成本，抗缝，接触压力定位的武器， （ii）基于TRI软气泡传感器的爪子，用于最终效应器，（III）柔顺的力/几何传感器，用于粗糙几何感测表面/胸部。我们利用这些模块的机械智能和触觉感应，为全身抓握控制进行开发和展示运动原语。我们评估硬件在实现各种大型国内物体上实现不同优势的掌握。我们的结果表明，利用富含接触的操纵策略的柔软度和触觉感应的重要性，以及与世界的全身力量控制的互动前进的道路。

Robots have been brought to work close to humans in many scenarios. For coexistence and collaboration, robots should be safe and pleasant for humans to interact with. To this end, the robots could be both physically soft with multimodal sensing/perception, so that the robots could have better awareness of the surrounding environment, as well as to respond properly to humans' action/intention. This paper introduces a novel soft robotic link, named ProTac, that possesses multiple sensing modes: tactile and proximity sensing, based on computer vision and a functional material. These modalities come from a layered structure of a soft transparent silicon skin, a polymer dispersed liquid crystal (PDLC) film, and reflective markers. Here, the PDLC film can switch actively between the opaque and the transparent state, from which the tactile sensing and proximity sensing can be obtained by using cameras solely built inside the ProTac link. In this paper, inference algorithms for tactile proximity perception are introduced. Evaluation results of two sensing modalities demonstrated that, with a simple activation strategy, ProTac link could effectively perceive useful information from both approaching and in-contact obstacles. The proposed sensing device is expected to bring in ultimate solutions for design of robots with softness, whole-body and multimodal sensing, and safety control strategies.

如今，自动移动机器人为人类存在多余或太危险的许多地区提供支持。他们在探险，天然气行业，矿山，仓库等中成功证明了自己。但是，即使是腿部的机器人也可能陷入困境的地形条件下，需要人类的认知能力来浏览该系统。尽管游戏手柄和键盘方便用于轮式机器人控制，但3D空间中的四足机器人可以沿所有线性坐标和欧拉角移动，需要至少12个按钮才能独立控制其DOF。因此，需要更方便的控制接口。在本文中，我们介绍了超大型：一种与四足机器人直观的人类机器人相互作用的新型手势界面。如果没有其他设备，操作员可以通过手势识别识别3D空间中的四倍机器人的完全位置和方向控制，只有5个手势和6个DOF手动运动。实验结果表明，将5个静态手势分类为高精度（96.5％），可以准确预测手在三维空间中手的6D位置的位置。所提出的方法的绝对线性偏离根均方根偏差（RMSD）为11.7毫米，比第二个测试方法低50％，所建议方法的绝对角度偏差RMSD为2.6度，几乎为27％低于第二个测试方法。此外，进行了用户研究，以探索用户通过建议的手势接口从人类机器人交互中的主观体验。参与者将其与超级方面的互动评估为直观（2.0），不会引起挫败感（2.63），并且需要较低的身体需求（2.0）。

视觉的触觉传感器由于经济实惠的高分辨率摄像机和成功的计算机视觉技术而被出现为机器人触摸的有希望的方法。但是，它们的物理设计和他们提供的信息尚不符合真实应用的要求。我们提供了一种名为Insight的强大，柔软，低成本，视觉拇指大小的3D触觉传感器：它不断在其整个圆锥形感测表面上提供定向力分布图。围绕内部单眼相机构造，传感器仅在刚性框架上仅成型一层弹性体，以保证灵敏度，鲁棒性和软接触。此外，Insight是第一个使用准直器将光度立体声和结构光混合的系统来检测其易于更换柔性外壳的3D变形。通过将图像映射到3D接触力的空间分布（正常和剪切）的深神经网络推断力信息。洞察力在0.4毫米的总空间分辨率，力量幅度精度约为0.03 n，并且对于具有不同接触面积的多个不同触点，在0.03-2 n的范围内的5度大约5度的力方向精度。呈现的硬件和软件设计概念可以转移到各种机器人部件。

拍打翅膀是一种生物启发的方法，可在空中机器人中产生升力和推动，从而导致安静有效的运动。该技术的优点是安全性和可操作性，以及与环境，人类和动物的物理互动。但是，为了实现大量应用，这些机器人必须栖息和土地。尽管最近在栖息场上取得了进展，但直到今天，拍打翼车辆或鸟类动物仍无法停止在分支上的飞行。在本文中，我们提出了一种新颖的方法，该方法定义了一个可以可靠和自主将鸟鸟类降落在分支上的过程。该方法描述了拍打飞行控制器的联合操作，近距离校正系统和被动爪附件。飞行由三重俯仰高空控制器和集成的车身电子设备处理，允许以3 m/s的速度栖息。近距离校正系统，具有快速的光学分支传感可补偿着陆时的位置错位。这是通过被动双向爪设计可以补充的，可以锁定和固定2 nm的扭矩，在25毫秒内掌握，并且由于集成的肌腱致动而可以重新打开。栖息的方法补充了四步实验开发过程，该过程为成功的设计优化。我们用700 g的鸟杆验证了这种方法，并演示了在分支上拍打翼机器人的第一次自主栖息飞行，结果用第二个机器人复制。这项工作为在远程任务，观察，操纵和室外飞行中应用翼机器人的应用铺平了道路。

人类的生活是无价的。当需要完成危险或威胁生命的任务时，机器人平台可能是更换人类运营商的理想选择。我们在这项工作中重点关注的任务是爆炸性的手段。鉴于移动机器人在多种环境中运行时表现出强大的功能，机器人触觉有可能提供安全解决方案。但是，与人类的运作相比，在此阶段，自主权可能具有挑战性和风险。远程运行可能是完整的机器人自主权和人类存在之间的折衷方案。在本文中，我们提出了一种相对便宜的解决方案，可用于远程敏感和机器人远程操作，以使用腿部操纵器（即，腿部四足机器人的机器人和RGB-D传感）来协助爆炸的军械处置。我们提出了一种新型的系统集成，以解决四足动物全身控制的非平凡问题。我们的系统基于可穿戴的基于IMU的运动捕获系统，该系统用于远程操作和视觉触发性的VR耳机。我们在实验中验证了现实世界中的方法，用于需要全身机器人控制和视觉触发的机车操作任务。

In this paper, we present a novel control architecture for the online adaptation of bipedal locomotion on inclined obstacles. In particular, we introduce a novel, cost-effective, and versatile foot sensor to detect the proximity of the robot's feet to the ground (bump sensor). By employing this sensor, feedback controllers are implemented to reduce the impact forces during the transition of the swing to stance phase or steeping on inclined unseen obstacles. Compared to conventional sensors based on contact reaction force, this sensor detects the distance to the ground or obstacles before the foot touches the obstacle and therefore provides predictive information to anticipate the obstacles. The controller of the proposed bump sensor interacts with another admittance controller to adjust leg length. The walking experiments show successful locomotion on the unseen inclined obstacle without reducing the locomotion speed with a slope angle of 12. Foot position error causes a hard impact with the ground as a consequence of accumulative error caused by links and connections' deflection (which is manufactured by university tools). The proposed framework drastically reduces the feet' impact with the ground.