抓握物体姿势和外部接触的联合估计对于健壮和灵活的操纵至关重要。在本文中，我们提出了一种新型的状态估计算法，该算法共同估计了使用本体感受和触觉反馈的3D接触位置和对象姿势。我们的方法利用了两个互补的粒子过滤器：一个用于估计接触位置（CPFGRASP），另一个用于估计对象姿势（范围）。我们对现实世界单臂和双臂机器人系统实施和评估我们的方法。我们证明，通过将两个对象融入联系人，机器人可以推断联系位置并同时提出对象。我们提出的方法可以应用于需要精确姿势估计的许多下游任务，例如工具使用和组装。代码和数据可以在https://github.com/mmintlab/scope上找到。

Reliably planning fingertip grasps for multi-fingered hands lies as a key challenge for many tasks including tool use, insertion, and dexterous in-hand manipulation. This task becomes even more difficult when the robot lacks an accurate model of the object to be grasped. Tactile sensing offers a promising approach to account for uncertainties in object shape. However, current robotic hands tend to lack full tactile coverage. As such, a problem arises of how to plan and execute grasps for multi-fingered hands such that contact is made with the area covered by the tactile sensors. To address this issue, we propose an approach to grasp planning that explicitly reasons about where the fingertips should contact the estimated object surface while maximizing the probability of grasp success. Key to our method's success is the use of visual surface estimation for initial planning to encode the contact constraint. The robot then executes this plan using a tactile-feedback controller that enables the robot to adapt to online estimates of the object's surface to correct for errors in the initial plan. Importantly, the robot never explicitly integrates object pose or surface estimates between visual and tactile sensing, instead it uses the two modalities in complementary ways. Vision guides the robots motion prior to contact; touch updates the plan when contact occurs differently than predicted from vision. We show that our method successfully synthesises and executes precision grasps for previously unseen objects using surface estimates from a single camera view. Further, our approach outperforms a state of the art multi-fingered grasp planner, while also beating several baselines we propose.

机器人对高度可变形的布的操纵提供了一个有前途的机会，可以帮助人们完成几项日常任务，例如洗碗；折叠洗衣；或针对患有严重运动障碍的人的敷料，沐浴和卫生援助。在这项工作中，我们介绍了一种公式，该公式使协作机器人能够用布做出视觉触觉推理，这是在物理互动过程中推断应用力的位置和大小的行为。我们提出了两种不同的模型表示，并在物理模拟中训练，它们仅使用视觉和机器人运动学观测来实现触觉推理。我们对这些模型进行了定量评估，以模拟机器人辅助的调味料，沐浴和洗碗任务，并证明训练有素的模型可以通过不同的相互作用，人体大小和物体形状跨越不同的任务。我们还通过现实世界中的移动操纵器提出了结果，该操作器使用我们的模拟训练模型来估计应用接触力，同时用布料执行物理辅助任务。可以在我们的项目网页上找到视频。

共处的触觉传感是一种基本的启发技术，用于灵巧操纵。然而，可变形的传感器在机器人，握住的对象和环境之间引入了复杂的动力学，必须考虑进行精细操纵。在这里，我们提出了一种学习软触觉传感器膜动力学的方法，该动力学解释了由握把对象和环境之间的物理相互作用引起的传感器变形。我们的方法将膜的感知3D几何形状与本体感受反应扳手结合在一起，以预测以机器人作用为条件的未来变形。从膜的几何形状和反应扳手中回收了抓握的物体姿势，从触觉观察模型中解耦相互作用动力学。我们在两个现实世界的接触任务上基准了我们的方法：用握把标记和手中旋转的绘画。我们的结果表明，明确建模膜动力学比基准实现了更好的任务性能和对看不见的对象的概括。

我们探索一种新的方法来感知和操纵3D铰接式物体，该物体可以概括地使机器人阐明看不见的对象。我们提出了一个基于视觉的系统，该系统学会预测各种铰接物体的各个部分的潜在运动，以指导系统的下游运动计划以表达对象。为了预测对象运动，我们训练一个神经网络，以输出一个密集的向量场，代表点云中点云中点的点运动方向。然后，我们根据该向量领域部署一个分析运动计划者，以实现产生最大发音的政策。我们完全在模拟中训练视觉系统，并演示了系统在模拟和现实世界中概括的对象实例和新颖类别的能力，并将我们的政策部署在没有任何填充的锯耶机器人上。结果表明，我们的系统在模拟和现实世界实验中都达到了最先进的性能。

我们提出了6D（种子）中系列弹性末端效应器的框架，其将空间兼容的元素结合在粘合性感觉中，以掌握和操纵野外的工具。我们的框架将串联弹性的益处推广到6- DOF，同时提供使用粘液触觉感测的控制抽象。我们提出了一种用于粘合性感测的相对姿势估计的算法，以及能够实现与环境的稳定力相互作用的空间混合力力位置控制器。我们展示了我们对需要监管空间力量的工具的效果。视频链接：https://youtu.be/2-yuifspdrk

抓握是通过在一组触点上施加力和扭矩来挑选对象的过程。深度学习方法的最新进展允许在机器人对象抓地力方面快速进步。我们在过去十年中系统地调查了出版物，特别感兴趣使用最终效果姿势的所有6度自由度抓住对象。我们的综述发现了四种用于机器人抓钩的常见方法：基于抽样的方法，直接回归，强化学习和示例方法。此外，我们发现了围绕抓握的两种“支持方法”，这些方法使用深入学习来支持抓握过程，形状近似和负担能力。我们已经将本系统评论（85篇论文）中发现的出版物提炼为十个关键要点，我们认为对未来的机器人抓握和操纵研究至关重要。该调查的在线版本可从https://rhys-newbury.github.io/projects/6dof/获得

大物体的操纵和安全地在人类附近进行安全操作的能力是通用国内机器人助手的关键能力。我们介绍了一种柔软，触觉的人形的人形机器人的设计，并展示了用于处理大物体的全身丰富的接触操作策略。我们展示了我们的硬件设计理念，用于使用软触觉传感模块，包括：（i）低成本，抗缝，接触压力定位的武器， （ii）基于TRI软气泡传感器的爪子，用于最终效应器，（III）柔顺的力/几何传感器，用于粗糙几何感测表面/胸部。我们利用这些模块的机械智能和触觉感应，为全身抓握控制进行开发和展示运动原语。我们评估硬件在实现各种大型国内物体上实现不同优势的掌握。我们的结果表明，利用富含接触的操纵策略的柔软度和触觉感应的重要性，以及与世界的全身力量控制的互动前进的道路。

与传统的机器人手不同，由于固有的不确定性，兼容的手不足的手对模型的挑战。因此，通常基于视觉感知执行抓握对象的姿势估计。但是，在闭塞或部分占地环境中，对手和物体的视觉感知可以受到限制。在本文中，我们旨在探索触觉的使用，即动力学和触觉感测，以构成姿势估计和手动操纵，手工不足。这种触觉方法会减轻并非总是可用的视线。我们强调识别系统的特征状态表示，该状态表示不包括视觉，可以通过简单和低成本的硬件获得。因此，对于触觉传感，我们提出了一个低成本和灵活的传感器，该传感器主要是与指尖一起打印的3D，并可以提供隐式的接触信息。我们将双手手动的手作为测试案例不足，我们分析了动力学和触觉特征以及各种回归模型对预测准确性的贡献。此外，我们提出了一种模型预测控制（MPC）方法，该方法利用姿势估计将对象操纵为仅基于触觉的所需状态。我们进行了一系列实验，以验证具有不同几何形状，刚度和纹理的各种物体的姿势的能力，并以相对较高的精度显示工作空间中的目标。

我们提出了一个本体感受的远程操作系统，该系统使用反身握把算法来增强拾取任务的速度和稳健性。该系统由两个使用准直接驱动驱动的操纵器组成，以提供高度透明的力反馈。末端效应器具有双峰力传感器，可测量3轴力信息和2维接触位置。此信息用于防滑和重新磨碎反射。当用户与所需对象接触时，重新抓紧反射将抓地力的手指与对象上的抗肌点对齐，以最大程度地提高抓握稳定性。反射仅需150毫秒即可纠正用户选择的不准确的grasps，因此用户的运动仅受到Re-Grasp的执行的最小干扰。一旦建立了抗焦点接触，抗滑动反射将确保抓地力施加足够的正常力来防止物体从抓地力中滑出。本体感受器的操纵器和反射抓握的结合使用户可以高速完成远程操作的任务。

在本文中，我们提出了TAC2POSE，这是一种特定于对象的触觉方法，从首次触摸已知对象的触觉估计。鉴于对象几何形状，我们在模拟中学习了一个量身定制的感知模型，该模型估计了给定触觉观察的可能对象姿势的概率分布。为此，我们模拟了一个密集的物体姿势将在传感器上产生的密集对象姿势的接触形状。然后，鉴于从传感器获得的新接触形状，我们使用使用对比度学习学习的对象特定于对象的嵌入式将其与预计集合进行了匹配。我们从传感器中获得接触形状，并具有对象不足的校准步骤，该步骤将RGB触觉观测值映射到二进制接触形状。该映射可以在对象和传感器实例上重复使用，是唯一接受真实传感器数据训练的步骤。这导致了一种感知模型，该模型从第一个真实的触觉观察中定位对象。重要的是，它产生姿势分布，并可以纳入来自其他感知系统，联系人或先验的其他姿势限制。我们为20个对象提供定量结果。 TAC2POSE从独特的触觉观测中提供了高精度的姿势估计，同时回归有意义的姿势分布，以说明可能由不同对象姿势产生的接触形状。我们还测试了从3D扫描仪重建的对象模型上的TAC2POSE，以评估对象模型中不确定性的鲁棒性。最后，我们证明了TAC2POSE的优势与三种基线方法进行触觉姿势估计：直接使用神经网络回归对象姿势，将观察到的接触与使用标准分类神经网络的一组可能的接触匹配，并直接的像素比较比较观察到的一组可能的接触接触。网站：http：//mcube.mit.edu/research/tac2pose.html

使机器人能够靠近人类工作，需要一个控制框架，该框架不仅包括用于自主和协调的交互的多感官信息，而且还具有感知的任务计划，以确保适应性和灵活的协作行为。在这项研究中，提出了一种直观的任务堆叠（ISOT）制剂，通过考虑人臂姿势和任务进展来定义机器人的动作。该框架以visuo-tactive信息增强，以有效地了解协作环境，直观地在计划的子任务之间切换。来自深度摄像机的视觉反馈监视并估计物体的姿势和人臂姿势，而触觉数据提供勘探技能以检测和维持所需的触点以避免物体滑动。为了评估由人类和人机合作伙伴执行的所提出的框架，装配和拆卸任务的性能，有效性和可用性，使用不同的评估指标进行考虑和分析，方法适应，掌握校正，任务协调延迟，累积姿势偏差，以及任务重复性。

在本文中，我们介绍了DA $^2 $，这是第一个大型双臂灵敏性吸引数据集，用于生成最佳的双人握把对，用于任意大型对象。该数据集包含大约900万的平行jaw grasps，由6000多个对象生成，每个对象都有各种抓紧敏度度量。此外，我们提出了一个端到端的双臂掌握评估模型，该模型在该数据集的渲染场景上训练。我们利用评估模型作为基准，通过在线分析和真实的机器人实验来显示这一新颖和非平凡数据集的价值。所有数据和相关的代码将在https://sites.google.com/view/da2dataset上开源。

Robotic teleoperation is a key technology for a wide variety of applications. It allows sending robots instead of humans in remote, possibly dangerous locations while still using the human brain with its enormous knowledge and creativity, especially for solving unexpected problems. A main challenge in teleoperation consists of providing enough feedback to the human operator for situation awareness and thus create full immersion, as well as offering the operator suitable control interfaces to achieve efficient and robust task fulfillment. We present a bimanual telemanipulation system consisting of an anthropomorphic avatar robot and an operator station providing force and haptic feedback to the human operator. The avatar arms are controlled in Cartesian space with a direct mapping of the operator movements. The measured forces and torques on the avatar side are haptically displayed to the operator. We developed a predictive avatar model for limit avoidance which runs on the operator side, ensuring low latency. The system was successfully evaluated during the ANA Avatar XPRIZE competition semifinals. In addition, we performed in lab experiments and carried out a small user study with mostly untrained operators.

Effective force modulation during tissue manipulation is important for ensuring safe robot-assisted minimally invasive surgery (RMIS). Strict requirements for in-vivo distal force sensing have led to prior sensor designs that trade off ease of manufacture and integration against force measurement accuracy along the tool axis. These limitations have made collecting high-quality 3-degree-of-freedom (3-DoF) bimanual force data in RMIS inaccessible to researchers. We present a modular and manufacturable 3-DoF force sensor that integrates easily with an existing RMIS tool. We achieve this by relaxing biocompatibility and sterilizability requirements while utilizing commercial load cells and common electromechanical fabrication techniques. The sensor has a range of +-5 N axially and +-3 N laterally with average root mean square errors(RMSEs) of below 0.15 N in all directions. During teleoperated mock tissue manipulation tasks, a pair of jaw-mounted sensors achieved average RMSEs of below 0.15 N in all directions. For grip force, it achieved an RMSE of 0.156 N. The sensor has sufficient accuracy within the range of forces found in delicate manipulation tasks, with potential use in bimanual haptic feedback and robotic force control. As an open-source design, the sensors can be adapted to suit additional robotic applications outside of RMIS.

我们研究了如何将高分辨率触觉传感器与视觉和深度传感结合使用，以改善掌握稳定性预测。在模拟高分辨率触觉传感的最新进展，尤其是触觉模拟器，使我们能够评估如何结合感应方式训练神经网络。借助训练大型神经网络所需的大量数据，机器人模拟器提供了一种快速自动化数据收集过程的方法。我们通过消融研究扩展现有工作，并增加了从YCB基准组中获取的一组对象。我们的结果表明，尽管视觉，深度和触觉感测的组合为已知对象提供了最佳预测结果，但该网络未能推广到未知对象。我们的工作还解决了触觉模拟中机器人抓握的现有问题以及如何克服它们。

为了使软机器人在以人为本的环境中有效工作，他们需要能够根据（本体感受）传感器估算其状态和外部相互作用。估计干扰使软机器人可以执行理想的力控制。即使在刚性操纵器的情况下，最终效应器的力估计也被视为一个非平凡的问题。实际上，其他当前应对这一挑战的方法也存在防止其一般应用的缺点。它们通常基于简化的软动力学模型，例如依赖于零件的恒定曲率（PCC）近似值或匹配的刚体模型的模型，这些模型并不代表该问题的细节。因此，无法构建复杂的人类机器人互动所需的应用。有限元方法（FEM）允许以更通用的方式预测软机器人动力学。在这里，使用框架沙发的软机器人建模功能，我们构建了一个详细的FEM模型，该模型由多段的软连续机器人手臂组成，该机器人由合规的可变形材料和纤维增强的压力驱动室组成，并具有用于提供方向输出的传感器的模型。该模型用于为操纵器建立状态观察者。校准模型参数以使用物理实验匹配手动制造过程的缺陷。然后，我们解决了二次编程逆动力学问题，以计算解释姿势误差的外力的组成部分。我们的实验显示，平均力估计误差约为1.2％。由于提出的方法是通用的，因此这些结果令人鼓舞，该任务是构建可以在以人为中心的环境中部署的复杂，反应性，基于传感器的行为的软机器人。

软机器人抓手有助于富含接触的操作，包括对各种物体的强大抓握。然而，软抓手的有益依从性也会导致重大变形，从而使精确的操纵具有挑战性。我们提出视觉压力估计与控制（VPEC），这种方法可以使用外部摄像头的RGB图像施加的软握力施加的压力。当气动抓地力和肌腱握力与平坦的表面接触时，我们为视觉压力推断提供了结果。我们还表明，VPEC可以通过对推断压力图像的闭环控制进行精确操作。在我们的评估中，移动操纵器（来自Hello Robot的拉伸RE1）使用Visual Servoing在所需的压力下进行接触；遵循空间压力轨迹；并掌握小型低调的物体，包括microSD卡，一分钱和药丸。总体而言，我们的结果表明，对施加压力的视觉估计可以使软抓手能够执行精确操作。

当没有光学信息可用时，在不确定环境下的机器人探索具有挑战性。在本文中，我们提出了一种自主解决方案，即仅基于触觉感测，探索一个未知的任务空间。我们首先根据MEMS晴雨表设备设计了晶须传感器。该传感器可以通过非侵入性与环境进行交互来获取联系信息。该传感器伴随着一种计划技术，可以通过使用触觉感知来产生探索轨迹。该技术依赖于触觉探索的混合政策，其中包括用于对象搜索的主动信息路径计划，以及用于轮廓跟踪的反应性HOPF振荡器。结果表明，混合勘探政策可以提高对象发现的效率。最后，通过细分对象和分类来促进场景的理解。开发了一个分类器，以根据晶须传感器收集的几何特征识别对象类别。这种方法证明了晶须传感器以及触觉智能，可以提供足够的判别特征来区分对象。

可变形的对象操作需要与机器人感应方式兼容的计算有效表示。在本文中，我们提出了Virdo：可变形弹性对象的隐式，多模式和连续表示。Virdo直接在视觉（点云）和触觉（反作用力）方式上运行，并了解了接触位置和力量丰富的潜在嵌入，以预测受外部接触的物体变形。 - 具有密集无监督的对应关系的模式重建，ii）概括为看不见的接触地层，iii）抑制了局部粘膜反馈的状态估计