机器人系统的远程操作用于精确而精致的物体抓握需要高保真的触觉反馈，以获取有关抓握的全面实时信息。在这种情况下，最常见的方法是使用动力学反馈。但是，单个接触点信息不足以检测软件的动态变化形状。本文提出了一个新型的远程触发系统，该系统可为用户的手提供动感和皮肤刺激，以通过灵敏地操纵可变形物体（即移液器）来实现准确的液体分配。实验结果表明，为用户提供多模式触觉反馈的建议方法大大提高了用远程移液器的剂量质量。与纯视觉反馈相比，当用户用多模式触觉界面与视觉反馈混合使用多模式触觉接口时，相对给药误差减少了66 \％，任务执行时间减少了18 \％。在CoVID-19，化学实验，有机材料和伸缩性的抗体测试期间，可以在精致的给药程序中实施该提出的技术。

Robotic teleoperation is a key technology for a wide variety of applications. It allows sending robots instead of humans in remote, possibly dangerous locations while still using the human brain with its enormous knowledge and creativity, especially for solving unexpected problems. A main challenge in teleoperation consists of providing enough feedback to the human operator for situation awareness and thus create full immersion, as well as offering the operator suitable control interfaces to achieve efficient and robust task fulfillment. We present a bimanual telemanipulation system consisting of an anthropomorphic avatar robot and an operator station providing force and haptic feedback to the human operator. The avatar arms are controlled in Cartesian space with a direct mapping of the operator movements. The measured forces and torques on the avatar side are haptically displayed to the operator. We developed a predictive avatar model for limit avoidance which runs on the operator side, ensuring low latency. The system was successfully evaluated during the ANA Avatar XPRIZE competition semifinals. In addition, we performed in lab experiments and carried out a small user study with mostly untrained operators.

人类可以利用身体互动来教机器人武器。当人类的动力学通过示范引导机器人时，机器人学习了所需的任务。尽管先前的工作重点是机器人学习方式，但对于人类老师来说，了解其机器人正在学习的内容同样重要。视觉显示可以传达此信息；但是，我们假设仅视觉反馈就错过了人与机器人之间的物理联系。在本文中，我们介绍了一类新颖的软触觉显示器，这些显示器包裹在机器人臂上，添加信号而不会影响相互作用。我们首先设计一个气动驱动阵列，该阵列在安装方面保持灵活。然后，我们开发了这种包裹的触觉显示的单一和多维版本，并在心理物理测试和机器人学习过程中探索了人类对渲染信号的看法。我们最终发现，人们以11.4％的韦伯（Weber）分数准确区分单维反馈，并以94.5％的精度确定多维反馈。当物理教授机器人臂时，人类利用单维反馈来提供比视觉反馈更好的演示：我们包装的触觉显示会降低教学时间，同时提高演示质量。这种改进取决于包裹的触觉显示的位置和分布。您可以在此处查看我们的设备和实验的视频：https：//youtu.be/ypcmgeqsjdm

Grasping is an incredible ability of animals using their arms and limbs in their daily life. The human hand is an especially astonishing multi-fingered tool for precise grasping, which helped humans to develop the modern world. The implementation of the human grasp to virtual reality and telerobotics is always interesting and challenging at the same time. In this work, authors surveyed, studied, and analyzed the human hand-grasping behavior for the possibilities of haptic grasping in the virtual and remote environment. This work is focused on the motion and force analysis of fingers in human hand grasping scenarios and the paper describes the transition of the human hand grasping towards a tripod haptic grasp model for effective interaction in virtual reality.

现代行业仍依靠手动制造业务，安全的人机互动现在是非常兴趣的。速度和分离监测（SSM）允许通过在机器人操作期间维持保护分离距离来实现紧密和高效的协作情景。本文侧重于一种新的方法来加强对机器人手段的触觉反馈来加强SSM安全要求。基于机器人和操作员的人的反应时间和瞬时速度，触觉刺激为机器人提供了危险运动和接近机器人的早期警告。进行初步实验以确定参与者在具有受控条件的协作环境中暴露于触觉刺激时的反应时间。在第二次实验中，我们将我们的方法评估为人工和Cobot进行协同行星齿轮组件的研究案例。结果表明，与仅在视觉反馈的操作员相比，施加的方法增加了机器人的末端效应器之间的平均最小距离，手中的末端效应器与44％增加了44％。此外，没有触觉支持的参与者已经失败了几次以维持保护性分离距离。

Robotic hands with soft surfaces can perform stable grasping, but the high friction of the soft surfaces makes it difficult to release objects, or to perform operations that require sliding. To solve this issue, we previously developed a contact area variable surface (CAVS), whose friction changed according to the load. However, only our fundamental results were previously presented, with detailed analyses not provided. In this study, we first investigated the CAVS friction anisotropy, and demonstrated that the longitudinal direction exhibited a larger ratio of friction change. Next, we proposed a sensible CAVS, capable of providing a variable-friction mechanism, and tested its sensing and control systems in operations requiring switching between sliding and stable-grasping modes. Friction sensing was performed using an embedded camera, and we developed a gripper using the sensible CAVS, considering the CAVS friction anisotropy. In CAVS, the low-friction mode corresponds to a small grasping force, while the high-friction mode corresponds to a greater grasping force. Therefore, by controlling only the friction mode, the gripper mode can be set to either the sliding or stable-grasping mode. Based on this feature, a methodology for controlling the contact mode was constructed. We demonstrated a manipulation involving sliding and stable grasping, and thus verified the efficacy of the developed sensible CAVS.

大物体的操纵和安全地在人类附近进行安全操作的能力是通用国内机器人助手的关键能力。我们介绍了一种柔软，触觉的人形的人形机器人的设计，并展示了用于处理大物体的全身丰富的接触操作策略。我们展示了我们的硬件设计理念，用于使用软触觉传感模块，包括：（i）低成本，抗缝，接触压力定位的武器， （ii）基于TRI软气泡传感器的爪子，用于最终效应器，（III）柔顺的力/几何传感器，用于粗糙几何感测表面/胸部。我们利用这些模块的机械智能和触觉感应，为全身抓握控制进行开发和展示运动原语。我们评估硬件在实现各种大型国内物体上实现不同优势的掌握。我们的结果表明，利用富含接触的操纵策略的柔软度和触觉感应的重要性，以及与世界的全身力量控制的互动前进的道路。

为了在高移动性虚拟环境中实现柔软物体的高富度触觉渲染，我们提出了一种新颖的触觉显示dandeliontouch。一群无人机将触觉执行器传递给用户的指尖。 DandelionTouch的用户能够在不受设备工作区域限制的大空间中体验触觉反馈。重要的是，在与虚拟物体的长时间互动中，他们不会经历肌肉疲劳。手动跟踪和群控制算法允许用手动运动引导群，并避免在编队内部发生冲突。在这项研究中，研究了群体之间的阻抗连接的几种拓扑结构。该实验在实时在正方形轨迹上执行了一个遵循的实验，该实验表明，在恒星拓扑中连接的无人机执行了平均位置误差较低的轨迹（与其他阻抗拓扑相比，RMSE降低了20.6 \％与潜在的基于现场的群体控制相比，为40.9 \％。在所有具有阻抗行为的地层中，无人机的达到的速度比通过潜在场算法控制的群体高28％。此外，在与7名参与者的用户研究中评估了几种纤维骨架模式的感知。该研究表明，提议的时间延迟和频率调制的组合使用户可以同时成功识别VR中的表面特性和运动方向（平均识别率为70 \％，最大为93 \％）。 DandelionTouch建议在VR系统中提出一种新型的触觉反馈，无需手持或可穿戴界面。

软机器人抓手有助于富含接触的操作，包括对各种物体的强大抓握。然而，软抓手的有益依从性也会导致重大变形，从而使精确的操纵具有挑战性。我们提出视觉压力估计与控制（VPEC），这种方法可以使用外部摄像头的RGB图像施加的软握力施加的压力。当气动抓地力和肌腱握力与平坦的表面接触时，我们为视觉压力推断提供了结果。我们还表明，VPEC可以通过对推断压力图像的闭环控制进行精确操作。在我们的评估中，移动操纵器（来自Hello Robot的拉伸RE1）使用Visual Servoing在所需的压力下进行接触；遵循空间压力轨迹；并掌握小型低调的物体，包括microSD卡，一分钱和药丸。总体而言，我们的结果表明，对施加压力的视觉估计可以使软抓手能够执行精确操作。

Vision-based tactile sensors have gained extensive attention in the robotics community. The sensors are highly expected to be capable of extracting contact information i.e. haptic information during in-hand manipulation. This nature of tactile sensors makes them a perfect match for haptic feedback applications. In this paper, we propose a contact force estimation method using the vision-based tactile sensor DIGIT, and apply it to a position-force teleoperation architecture for force feedback. The force estimation is done by building a depth map for DIGIT gel surface deformation measurement and applying a regression algorithm on estimated depth data and ground truth force data to get the depth-force relationship. The experiment is performed by constructing a grasping force feedback system with a haptic device as a leader robot and a parallel robot gripper as a follower robot, where the DIGIT sensor is attached to the tip of the robot gripper to estimate the contact force. The preliminary results show the capability of using the low-cost vision-based sensor for force feedback applications.

遥操作平台通常要求用户位于固定位置，以便可视化和控制机器人的运动，因此不提供具有多种移动性的操作员。一个例子是现有的机器人手术解决方案，该解决方案要求外科医生远离患者，附着在其头部必须固定的控制台上，并且它们的臂只能在有限的空间中移动。这在正常手术中的医生和患者之间产生了障碍。为了解决这个问题，我们提出了一个移动电话专业解决方案，外科医生不再机械地限制在控制控制台上，并且能够使用配备有无线传感器的手臂来远优步到患者床边的机器人，并通过光学查看内窥镜视频 - 通过头戴式显示器（HMDS）。我们评估我们的用户交互方法的可行性和效率，与标准的手术机器人机械手相比，通过两个任务，具有不同水平的所需灵活性。结果表明，通过足够的训练，我们所提出的平台可以获得类似的效率，同时为操作员提供额外的移动性。

人类和机器人之间的物理互动可以帮助机器人学习执行复杂的任务。机器人臂通过观察人类在整个任务中指导它的方式来获得信息。虽然先前的作品专注于机器人如何学习，但它同样重要的是，这种学习对人类教师透明。显示机器人不确定性的视觉显示可能会传达此信息;然而，我们假设视觉反馈机制错过了人类和机器人之间的物理连接。在这项工作中，我们提出了一种柔软的触觉显示，它缠绕在机器人臂的表面并符合机器人臂的表面，在现有的触点点添加触觉信号，而不会显着影响相互作用。我们展示了软致动力如何产生突出的触觉信号，同时仍然允许在设备安装中的灵活性。使用心理物理学实验，我们表明用户可以准确地区分包裹展示的通胀水平，平均韦伯分数为11.4％。当我们在机器人操纵器的ARM周围放置包裹的显示器时，用户能够在样本机器人学习任务中解释和利用触觉信号，从而改善机器人需要更多培训的区域的识别，并使用户能够提供更好的演示。查看我们的设备和用户学习的视频：https://youtu.be/tx-2tqeb9nw

我们提出了一个本体感受的远程操作系统，该系统使用反身握把算法来增强拾取任务的速度和稳健性。该系统由两个使用准直接驱动驱动的操纵器组成，以提供高度透明的力反馈。末端效应器具有双峰力传感器，可测量3轴力信息和2维接触位置。此信息用于防滑和重新磨碎反射。当用户与所需对象接触时，重新抓紧反射将抓地力的手指与对象上的抗肌点对齐，以最大程度地提高抓握稳定性。反射仅需150毫秒即可纠正用户选择的不准确的grasps，因此用户的运动仅受到Re-Grasp的执行的最小干扰。一旦建立了抗焦点接触，抗滑动反射将确保抓地力施加足够的正常力来防止物体从抓地力中滑出。本体感受器的操纵器和反射抓握的结合使用户可以高速完成远程操作的任务。

通过触觉反馈感知物体滑移的能力使人类能够完成复杂的操纵任务，包括保持稳定的掌握。尽管触觉信息用于许多应用程序，但触觉传感器尚未在工业机器人设置中广泛部署。挑战的一部分在于从触觉数据流中识别滑移和其他事件。在本文中，我们提出了一种基于学习的方法，可以使用气压触觉传感器检测滑移。这些传感器具有许多理想的属性，包括高耐用性和可靠性，并且由廉价的现成组件构建。我们训练一个时间卷积神经网络来检测滑动，达到高检测精度，同时表现出稳健性，以对滑动运动的速度和方向。此外，我们在涉及各种常见对象的两项操纵任务上测试了探测器，并证明了对训练期间看不到的现实情况的成功概括。我们认为，气压触觉传感技术与数据驱动的学习相结合，适用于许多操纵任务，例如滑移补偿。

本文介绍了DGBench，这是一种完全可重现的开源测试系统，可在机器人和对象之间具有不可预测的相对运动的环境中对动态抓握进行基准测试。我们使用拟议的基准比较几种视觉感知布置。由于传感器的最小范围，遮挡和有限的视野，用于静态抓握的传统感知系统无法在掌握的最后阶段提供反馈。提出了一个多摄像机的眼睛感知系统，该系统具有比常用的相机配置具有优势。我们用基于图像的视觉宣传控制器进行定量评估真实机器人的性能，并在动态掌握任务上显示出明显提高的成功率。

本文的目的是描述一种在实时反馈中检测滑动和接触力的方法。在这种新颖的方法中，戴维斯相机由于其快速处理速度和高分辨率而被用作视觉触觉传感器。在具有不同形状，尺寸，重量和材料的四个物体上进行两百实验，以比较Baxter机器人夹持器的精度和响应以避免滑动。通过使用力敏感电阻（FSR402）验证了先进的方法。使用Davis Camera捕获的事件通过特定算法处理，以向允许其检测滑动的Baxter Robot提供反馈。

尽管有触觉信息的实用性，但触觉传感器尚未在工业机器人设置中广泛部署。挑战的一部分在于识别触觉数据流的滑移和其他关键事件。在本文中，我们提出了一种基于学习的方法，可以使用气压触觉传感器检测滑移。尽管这些传感器的分辨率很低，但它们具有许多其他理想的特性，包括高可靠性和耐用性，非常苗条的轮廓和低成本。我们能够实现大于91％的滑动检测精度，同时稳健地遵循滑动运动的速度和方向。此外，我们在涉及常见家庭对象的两个机器人操纵任务上测试了我们的探测器，并证明了对训练期间未见的现实情况的成功概括。我们表明，气压触觉传感技术与数据驱动的学习相结合，可能适用于复杂的操纵任务，例如滑移补偿。

人类的生活是无价的。当需要完成危险或威胁生命的任务时，机器人平台可能是更换人类运营商的理想选择。我们在这项工作中重点关注的任务是爆炸性的手段。鉴于移动机器人在多种环境中运行时表现出强大的功能，机器人触觉有可能提供安全解决方案。但是，与人类的运作相比，在此阶段，自主权可能具有挑战性和风险。远程运行可能是完整的机器人自主权和人类存在之间的折衷方案。在本文中，我们提出了一种相对便宜的解决方案，可用于远程敏感和机器人远程操作，以使用腿部操纵器（即，腿部四足机器人的机器人和RGB-D传感）来协助爆炸的军械处置。我们提出了一种新型的系统集成，以解决四足动物全身控制的非平凡问题。我们的系统基于可穿戴的基于IMU的运动捕获系统，该系统用于远程操作和视觉触发性的VR耳机。我们在实验中验证了现实世界中的方法，用于需要全身机器人控制和视觉触发的机车操作任务。

远程运行是一种广泛采用的策略，用于控制需要高度灵巧运动和关键高级智力的复杂任务的机器人操纵器。经典的远程操作方案基于操纵杆的控制，或基于更直观的接口，这些界面将用户臂运动直接映射到一个机器人臂的运动中。当执行给定任务需要可重新配置的多个机器人ARM系统时，这些方法会限制。实际上，两个或多个机器人臂的同时进行近距离运行可以扩展操纵单元的工作空间，或增加其总有效载荷或提供其他优势。在可重新配置的多臂系统的不同阶段中，每个机器人可以充当独立的手臂，也可以充当一对合作的手臂，或者是虚拟大型机器人手的手指之一。该手稿提出了一个新型的远程注射框架，可以使个人和组合任何数量的机器人臂控制。多亏了设计的控制体系结构，人类操作员可以直观地选择提出的控制方式和操纵器，以使任务方便地通过用户界面执行。此外，通过Tele-Tele-Inverance范式，该系统可以通过让机器人模仿人类操作员的手臂阻抗和位置参考来解决需要物理互动的复杂任务。拟议的框架已通过8个主题，控制4个弗兰卡·埃米卡·熊猫机器人，并用7多杆执行远程触发任务。实验的定性结果向我们展示了我们框架的有希望的适用性。

我们提出了一个深度的视觉效果模型，以实时估算可变形容器内部的液体，以一种本体感受的方式融合了两种感官方式，即RGB摄像机的原始视觉输入和我们特定触觉传感器的触觉提示，额外的传感器校准。机器人系统是根据估计模型实时控制和调整的。我们作品的主要贡献和新颖性列出如下：1）通过开发具有多模式卷积网络的端到端预测模型来探索液体体积估算的一种本体感受方式，该模型在高精度上获得了高度的精度，该模型在周围的错误中获得了错误实验验证中的2 mL。 2）提出了一个多任务学习体系结构，可全面考虑分类和回归任务的损失，并相对评估收集的数据和实际机器人平台上每个变体的性能。 3）利用本体感受的机器人系统准确地服务和控制所需的液体，该液体连续地实时流入可变形容器。 4）根据实时液体体积预测，自适应调整抓地力计划，以实现更稳定的抓握和操作。