机器人仿真一直是数据驱动的操作任务的重要工具。但是，大多数现有的仿真框架都缺乏与触觉传感器的物理相互作用的高效和准确模型，也没有逼真的触觉模拟。这使得基于触觉的操纵任务的SIM转交付仍然具有挑战性。在这项工作中，我们通过建模接触物理学来整合机器人动力学和基于视觉的触觉传感器的模拟。该触点模型使用机器人最终效应器上的模拟接触力来告知逼真的触觉输出。为了消除SIM到真实传输差距，我们使用现实世界数据校准了机器人动力学，接触模型和触觉光学模拟器的物理模拟器，然后我们在零摄像机上演示了系统的有效性 - 真实掌握稳定性预测任务，在各种对象上，我们达到平均准确性为90.7％。实验揭示了将我们的模拟框架应用于更复杂的操纵任务的潜力。我们在https://github.com/cmurobotouch/taxim/tree/taxim-robot上开放仿真框架。

我们研究了如何将高分辨率触觉传感器与视觉和深度传感结合使用，以改善掌握稳定性预测。在模拟高分辨率触觉传感的最新进展，尤其是触觉模拟器，使我们能够评估如何结合感应方式训练神经网络。借助训练大型神经网络所需的大量数据，机器人模拟器提供了一种快速自动化数据收集过程的方法。我们通过消融研究扩展现有工作，并增加了从YCB基准组中获取的一组对象。我们的结果表明，尽管视觉，深度和触觉感测的组合为已知对象提供了最佳预测结果，但该网络未能推广到未知对象。我们的工作还解决了触觉模拟中机器人抓握的现有问题以及如何克服它们。

柔软的钳口尖端几乎普遍地与平行钳口机器人夹持器普遍使用，因为它们可以增加接触面积和钳口之间的摩擦和要操纵的物体。然而，符合曲面和刚性物体之间的相互作用是难以模拟的。我们介绍了一种使用增量潜在联系人（IPC）的新型模拟器的IPC-Graspsim - 一个用于计算机图形学的2020年的变形模型 - 这既在抓住期间就模拟了符合JAW提示的动态和变形。 IPC-Graspsim使用一组2,000个物理掌握在16个对手对象中进行评估，其中标准分析模型表现不佳。与分析Quasistatic接触型号（软点接触，REACH，6DFC）和动态掌握模拟器（ISAAC健身房）（具有Flex后端的ISAAC健身房，结果表明IPC-Graspsim更准确地模拟现实世界掌握，增加F1得分9％。所有数据，代码，视频和补充材料都可以在https://sites.google.com/berkeley.edu/ipcgraspsim中获得。

仿真广泛用于系统验证和大规模数据收集的机器人。然而，模拟传感器包括触觉传感器，这是一个长期存在的挑战。在本文中，我们提出了针对视觉触觉传感器的税法，逼真和高速仿真模型，Gelsight。凝胶传感器使用一块软弹性体作为接触的介质，并嵌入光学结构以捕获弹性体的变形，其在接触表面处施加的几何形状和力。我们提出了一种基于示例性的模拟eGelight方法：我们使用多项式查找表模拟对变形的光学响应。此表将变形几何形状映射到由嵌入式摄像机采样的像素强度。为了模拟由弹性体的表面拉伸引起的表面标记的运动，我们应用线性弹性变形理论和叠加原理。仿真模型校准，具有来自真实传感器的少于100个数据点。基于示例的方法使模型能够轻松地迁移到其他裸体传感器或其变化。据我们所知，我们的仿真框架是第一个包含从弹性体变形的标记运动场仿真以及光学仿真，创造了全面和计算的触觉模拟框架。实验表明，与现有工作相比，我们的光学仿真具有最低的像素 - 方面强度误差，并可以在线计算在线计算。我们的代码和补充材料在https://github.com/cmurobotouch/taxim开放。

As the basis for prehensile manipulation, it is vital to enable robots to grasp as robustly as humans. In daily manipulation, our grasping system is prompt, accurate, flexible and continuous across spatial and temporal domains. Few existing methods cover all these properties for robot grasping. In this paper, we propose a new methodology for grasp perception to enable robots these abilities. Specifically, we develop a dense supervision strategy with real perception and analytic labels in the spatial-temporal domain. Additional awareness of objects' center-of-mass is incorporated into the learning process to help improve grasping stability. Utilization of grasp correspondence across observations enables dynamic grasp tracking. Our model, AnyGrasp, can generate accurate, full-DoF, dense and temporally-smooth grasp poses efficiently, and works robustly against large depth sensing noise. Embedded with AnyGrasp, we achieve a 93.3% success rate when clearing bins with over 300 unseen objects, which is comparable with human subjects under controlled conditions. Over 900 MPPH is reported on a single-arm system. For dynamic grasping, we demonstrate catching swimming robot fish in the water.

触摸感在使人类能够理解和与周围环境互动方面发挥着关键作用。对于机器人，触觉感应也是不可替代的。在与物体交互时，触觉传感器为机器人提供了理解物体的有用信息，例如分布式压力，温度，振动和纹理。在机器人抓住期间，视力通常由其最终效应器封闭，而触觉感应可以测量视觉无法访问的区域。在过去的几十年中，已经为机器人开发了许多触觉传感器，并用于不同的机器人任务。在本章中，我们专注于使用触觉对机器人抓握的触觉，并研究近期对物质性质的触觉趋势。我们首先讨论了术语，即形状，姿势和材料特性对三个重要的物体特性的触觉感知。然后，我们通过触觉感应审查抓握稳定性预测的最新发展。在这些作品中，我们确定了在机器人抓握中协调视觉和触觉感应的要求。为了证明使用触觉传感来提高视觉感知，介绍了我们最近的抗议重建触觉触觉感知的发展。在所提出的框架中，首先利用相机视觉的大型接收领域以便快速搜索含有裂缝的候选区域，然后使用高分辨率光学触觉传感器来检查这些候选区域并重建精制的裂缝形状。实验表明，我们所提出的方法可以实现0.82mm至0.24mm的平均距离误差的显着降低，以便重建。最后，我们在讨论了对机器人任务中施加触觉感应的公开问题和未来方向的讨论。

Cloth in the real world is often crumpled, self-occluded, or folded in on itself such that key regions, such as corners, are not directly graspable, making manipulation difficult. We propose a system that leverages visual and tactile perception to unfold the cloth via grasping and sliding on edges. By doing so, the robot is able to grasp two adjacent corners, enabling subsequent manipulation tasks like folding or hanging. As components of this system, we develop tactile perception networks that classify whether an edge is grasped and estimate the pose of the edge. We use the edge classification network to supervise a visuotactile edge grasp affordance network that can grasp edges with a 90% success rate. Once an edge is grasped, we demonstrate that the robot can slide along the cloth to the adjacent corner using tactile pose estimation/control in real time. See http://nehasunil.com/visuotactile/visuotactile.html for videos.

The accurate detection and grasping of transparent objects are challenging but of significance to robots. Here, a visual-tactile fusion framework for transparent object grasping under complex backgrounds and variant light conditions is proposed, including the grasping position detection, tactile calibration, and visual-tactile fusion based classification. First, a multi-scene synthetic grasping dataset generation method with a Gaussian distribution based data annotation is proposed. Besides, a novel grasping network named TGCNN is proposed for grasping position detection, showing good results in both synthetic and real scenes. In tactile calibration, inspired by human grasping, a fully convolutional network based tactile feature extraction method and a central location based adaptive grasping strategy are designed, improving the success rate by 36.7% compared to direct grasping. Furthermore, a visual-tactile fusion method is proposed for transparent objects classification, which improves the classification accuracy by 34%. The proposed framework synergizes the advantages of vision and touch, and greatly improves the grasping efficiency of transparent objects.

抓握是通过在一组触点上施加力和扭矩来挑选对象的过程。深度学习方法的最新进展允许在机器人对象抓地力方面快速进步。我们在过去十年中系统地调查了出版物，特别感兴趣使用最终效果姿势的所有6度自由度抓住对象。我们的综述发现了四种用于机器人抓钩的常见方法：基于抽样的方法，直接回归，强化学习和示例方法。此外，我们发现了围绕抓握的两种“支持方法”，这些方法使用深入学习来支持抓握过程，形状近似和负担能力。我们已经将本系统评论（85篇论文）中发现的出版物提炼为十个关键要点，我们认为对未来的机器人抓握和操纵研究至关重要。该调查的在线版本可从https://rhys-newbury.github.io/projects/6dof/获得

鉴于问题的复杂性，从各种传感器模式到高度纠缠的对象布局，再到多样化的项目属性和抓地力类型，因此对视觉驱动的机器人系统提出了重大挑战。现有方法通常从一个角度解决问题。各种项目和复杂的垃圾箱场景需要多种选择策略以及高级推理。因此，要构建可靠的机器学习算法来解决这项复杂的任务，需要大量的全面和高质量的数据。在现实世界中收集此类数据将太昂贵，时间过高，因此从可伸缩性角度来看。为了解决这个大型，多样化的数据问题，我们从最近的元素概念上的增长中获得了灵感，并引入了MetagraspNet，这是一种通过基于物理学的元合成构建的大规模的照片现实垃圾箱挑选数据集。所提出的数据集在82种不同的文章类型上包含217K RGBD图像，并具有完整的注释，可用于对象检测，Amodal感知，关键点检测，操纵顺序和平行jaw和真空吸尘器的Ambidextrous Grasp标签。我们还提供了一个真实的数据集，该数据集由超过2.3k全面注释的高质量RGBD图像组成，分为5个困难级别和一个看不见的对象，以评估不同的对象和布局属性。最后，我们进行了广泛的实验，表明我们提出的真空密封模型和合成数据集实现了最先进的性能，并将其推广到现实世界用例。

软机器人抓手有助于富含接触的操作，包括对各种物体的强大抓握。然而，软抓手的有益依从性也会导致重大变形，从而使精确的操纵具有挑战性。我们提出视觉压力估计与控制（VPEC），这种方法可以使用外部摄像头的RGB图像施加的软握力施加的压力。当气动抓地力和肌腱握力与平坦的表面接触时，我们为视觉压力推断提供了结果。我们还表明，VPEC可以通过对推断压力图像的闭环控制进行精确操作。在我们的评估中，移动操纵器（来自Hello Robot的拉伸RE1）使用Visual Servoing在所需的压力下进行接触；遵循空间压力轨迹；并掌握小型低调的物体，包括microSD卡，一分钱和药丸。总体而言，我们的结果表明，对施加压力的视觉估计可以使软抓手能够执行精确操作。

仿真最近已成为深度加强学习，以安全有效地从视觉和预防性投入获取一般和复杂的控制政策的关键。尽管它与环境互动直接关系，但通常认为触觉信息通常不会被认为。在这项工作中，我们展示了一套针对触觉机器人和加强学习量身定制的模拟环境。提供了一种简单且快速的模拟光学触觉传感器的方法，其中高分辨率接触几何形状表示为深度图像。近端策略优化（PPO）用于学习所有考虑任务的成功策略。数据驱动方法能够将实际触觉传感器的当前状态转换为对应的模拟深度图像。此策略在物理机器人上实时控制循环中实现，以演示零拍摄的SIM-TO-REAL策略转移，以触摸感的几个物理交互式任务。

在本文中，我们介绍了DA $^2 $，这是第一个大型双臂灵敏性吸引数据集，用于生成最佳的双人握把对，用于任意大型对象。该数据集包含大约900万的平行jaw grasps，由6000多个对象生成，每个对象都有各种抓紧敏度度量。此外，我们提出了一个端到端的双臂掌握评估模型，该模型在该数据集的渲染场景上训练。我们利用评估模型作为基准，通过在线分析和真实的机器人实验来显示这一新颖和非平凡数据集的价值。所有数据和相关的代码将在https://sites.google.com/view/da2dataset上开源。

Reliably planning fingertip grasps for multi-fingered hands lies as a key challenge for many tasks including tool use, insertion, and dexterous in-hand manipulation. This task becomes even more difficult when the robot lacks an accurate model of the object to be grasped. Tactile sensing offers a promising approach to account for uncertainties in object shape. However, current robotic hands tend to lack full tactile coverage. As such, a problem arises of how to plan and execute grasps for multi-fingered hands such that contact is made with the area covered by the tactile sensors. To address this issue, we propose an approach to grasp planning that explicitly reasons about where the fingertips should contact the estimated object surface while maximizing the probability of grasp success. Key to our method's success is the use of visual surface estimation for initial planning to encode the contact constraint. The robot then executes this plan using a tactile-feedback controller that enables the robot to adapt to online estimates of the object's surface to correct for errors in the initial plan. Importantly, the robot never explicitly integrates object pose or surface estimates between visual and tactile sensing, instead it uses the two modalities in complementary ways. Vision guides the robots motion prior to contact; touch updates the plan when contact occurs differently than predicted from vision. We show that our method successfully synthesises and executes precision grasps for previously unseen objects using surface estimates from a single camera view. Further, our approach outperforms a state of the art multi-fingered grasp planner, while also beating several baselines we propose.

可靠的机器人抓握，特别是具有可变形物体（例如水果），由于与夹持器，未知的物体动态和可变物体几何形状的欠扰接触相互作用，仍然是一个具有挑战性的任务。在这项研究中，我们提出了一种用于刚性夹持器的基于变压器的机器人抓握框架，其利用触觉和可视信息来用于安全对象抓握。具体地，变压器模型通过执行两个预定义的探索动作（夹紧和滑动）来学习具有传感器反馈的物理特征嵌入，并通过多层的Perceptron（MLP）预测最终抓握结果，具有给定的抓握强度。使用这些预测，通过推断使用用于抓握任务的安全抓握强度的抓握器。与卷积复制网络相比，变压器模型可以在图像序列上捕获长期依赖性，并同时处理空间时间特征。我们首先在公共数据集上基准测试在公共数据集上进行滑动检测。在此之后，我们表明变压器模型在掌握精度和计算效率方面优于CNN + LSTM模型。我们还收集我们自己的水果掌握数据集，并使用所看到和看不见的果实的拟议框架进行在线掌握实验。我们的代码和数据集在Github上公开。

布料的机器人操作的应用包括织物制造业到处理毯子和洗衣。布料操作对于机器人而言是挑战，这主要是由于它们的高度自由度，复杂的动力学和折叠或皱巴巴配置时的严重自我闭合。机器人操作的先前工作主要依赖于视觉传感器，这可能会对细粒度的操纵任务构成挑战，例如从一堆布上抓住所需数量的布料层。在本文中，我们建议将触觉传感用于布操作；我们将触觉传感器（Resin）连接到弗兰卡机器人的两个指尖之一，并训练分类器，以确定机器人是否正在抓住特定数量的布料层。在测试时间实验中，机器人使用此分类器作为其政策的一部分，使用触觉反馈来掌握一两个布层，以确定合适的握把。实验结果超过180次物理试验表明，与使用图像分类器的方法相比，所提出的方法优于不使用触觉反馈并具有更好地看不见布的基准。代码，数据和视频可在https://sites.google.com/view/reskin-cloth上找到。

当人类掌握现实世界中的物体时，我们经常移动手臂将物体固定在可以使用它的不同姿势中。相比之下，典型的实验室设置仅研究举起后立即研究抓握的稳定性，而没有任何随后的臂重置。但是，由于重力扭矩和握力接触力可能会完全改变，因此抓紧稳定性可能会根据物体的固定姿势而差异很大。为了促进对持有姿势如何影响掌握稳定性的研究，我们提出了Poseit，这是一种新型的多模式数据集，其中包含从抓住对象的完整周期收集的视觉和触觉数据，将手臂重新放置到其中一个采样姿势，并将其重新放置到其中一个采样的姿势中，并摇动物体。使用Poseit的数据，我们可以制定和应对预测特定固定姿势是否稳定的抓握对象的任务。我们培训一个LSTM分类器，该分类器在拟议的任务上达到85％的准确性。我们的实验结果表明，接受Poseit训练的多模式模型比使用唯一视觉或触觉数据具有更高的精度，并且我们的分类器也可以推广到看不见的对象和姿势。

人类手可以通过仅基于触觉感测的堆掌握一下目标数量的物体。为此，机器人需要在堆中掌握，从提升之前感测掌握中的物体的数量，并预测升降后将保持掌握的物体数量。这是一个具有挑战性的问题，因为在进行预测时，机器人手仍然在桩中，并且抓握中的物体对视觉系统不观察到。此外，在从堆中抬起之前手掌抓住的一些物体可能会在手中抬起时掉落。出现这种情况，因为它们被堆中的其他物体支持而不是手指。因此，机器人手应该在提升之前使用其触觉传感器来感测掌握的物体的数量。本文介绍了用于解决此问题的新型多目标抓取分析方法。它们包括掌握体积计算，触觉力分析和数据驱动的深度学习方法。该方法已经在Barrett手上实施，然后在模拟中评估和具有机器人系统的真实设置。评估结果得出结论，一旦BarretT手掌掌握了多个物体，数据驱动的模型可以在提升之前预测，在提升之后将保留在手中的物体的数量。用于我们方法的根均方误差为30.74，用于模拟的立方体和0.58个，球的距离，1.06个球体，对于真实系统的立方体，1.45。

尽管在机器人抓住方面取得了令人印象深刻的进展，但机器人在复杂的任务中不熟练（例如，在杂乱中搜索并掌握指定的目标）。这些任务不仅涉及抓住，而是对世界的全面感知（例如，对象关系）。最近，令人鼓舞的结果表明，可以通过学习来理解高级概念。然而，这种算法通常是数据密集型的，并且缺乏数据严重限制了它们的性能。在本文中，我们提出了一个名为Reactad的新数据集，用于学习物体和掌握之间的关系。我们收集对象姿势，分段，掌握和目标驱动的关系掌握任务的关系。我们的数据集以2D图像和3D点云的两种形式收集。此外，由于所有数据都会自动生成，因此可以自由地导入数据生成的新对象。我们还发布了一个真实的验证数据集，以评估模型的SIM-to-Real性能，这些模型正在接受重新研磨的模型。最后，我们进行了一系列的实验，表明，根据关系和掌握检测，培训的模型可以概括到现实场景。我们的数据集和代码可以在：https://github.com/poisonwine/gerad

在本文中，我们提出了TAC2POSE，这是一种特定于对象的触觉方法，从首次触摸已知对象的触觉估计。鉴于对象几何形状，我们在模拟中学习了一个量身定制的感知模型，该模型估计了给定触觉观察的可能对象姿势的概率分布。为此，我们模拟了一个密集的物体姿势将在传感器上产生的密集对象姿势的接触形状。然后，鉴于从传感器获得的新接触形状，我们使用使用对比度学习学习的对象特定于对象的嵌入式将其与预计集合进行了匹配。我们从传感器中获得接触形状，并具有对象不足的校准步骤，该步骤将RGB触觉观测值映射到二进制接触形状。该映射可以在对象和传感器实例上重复使用，是唯一接受真实传感器数据训练的步骤。这导致了一种感知模型，该模型从第一个真实的触觉观察中定位对象。重要的是，它产生姿势分布，并可以纳入来自其他感知系统，联系人或先验的其他姿势限制。我们为20个对象提供定量结果。 TAC2POSE从独特的触觉观测中提供了高精度的姿势估计，同时回归有意义的姿势分布，以说明可能由不同对象姿势产生的接触形状。我们还测试了从3D扫描仪重建的对象模型上的TAC2POSE，以评估对象模型中不确定性的鲁棒性。最后，我们证明了TAC2POSE的优势与三种基线方法进行触觉姿势估计：直接使用神经网络回归对象姿势，将观察到的接触与使用标准分类神经网络的一组可能的接触匹配，并直接的像素比较比较观察到的一组可能的接触接触。网站：http：//mcube.mit.edu/research/tac2pose.html