本文介绍了镜子和透明对象的正常估计方法，这很难用相机识别。为了产生漫反射表面，我们建议将水蒸气喷射到透明或镜面上。在所提出的方法中，我们将配备在机器人臂的尖端上的超声波加湿器移动，以将喷射的水蒸汽施加到目标物体的平面上，以形成交叉形雾区域。漫反射表面部分地产生为迷雾区域，允许相机检测目标对象的表面。调整夹持器安装相机的观点，使得提取的雾区域看起来是图像中最大的，最后估计目标物体表面的平面法线。我们进行了正常的估计实验，以评估所提出的方法的有效性。镜子和透明玻璃的方位角估计的RMSE分别为约4.2和5.8度。因此，我们的机器人实验表明，我们的机器人刮水器可以执行用于清洁透明窗口作为人类的接触力调节的擦拭运动。

Robotic hands with soft surfaces can perform stable grasping, but the high friction of the soft surfaces makes it difficult to release objects, or to perform operations that require sliding. To solve this issue, we previously developed a contact area variable surface (CAVS), whose friction changed according to the load. However, only our fundamental results were previously presented, with detailed analyses not provided. In this study, we first investigated the CAVS friction anisotropy, and demonstrated that the longitudinal direction exhibited a larger ratio of friction change. Next, we proposed a sensible CAVS, capable of providing a variable-friction mechanism, and tested its sensing and control systems in operations requiring switching between sliding and stable-grasping modes. Friction sensing was performed using an embedded camera, and we developed a gripper using the sensible CAVS, considering the CAVS friction anisotropy. In CAVS, the low-friction mode corresponds to a small grasping force, while the high-friction mode corresponds to a greater grasping force. Therefore, by controlling only the friction mode, the gripper mode can be set to either the sliding or stable-grasping mode. Based on this feature, a methodology for controlling the contact mode was constructed. We demonstrated a manipulation involving sliding and stable grasping, and thus verified the efficacy of the developed sensible CAVS.

我们实现了接触的灵活物体操作，这很难单独使用视力控制。在解压缩任务中，我们选择作为验证任务，夹具抓住拉动器，它隐藏袋子状态，例如其背后的变形的方向和量，使得仅通过视觉获取信息来执行任务。此外，柔性织物袋状态在操作期间不断变化，因此机器人需要动态地响应变化。然而，所有袋子状态的适当机器人行为难以提前准备。为了解决这个问题，我们开发了一种模型，可以通过具有触觉的视觉的实时预测来执行接触的灵活性对象操纵。我们介绍了一种基于点的注意机制，用于提取图像特征，Softmax转换来提取预测运动，以及用于提取触觉特征的卷积神经网络。使用真正的机器人手臂的实验结果表明，我们的方法可以实现响应袋子变形的运动，同时减少拉链上的负荷。此外，与单独的视觉相比，使用触觉从56.7％提高到93.3％，展示了我们方法的有效性和高性能。

The accurate detection and grasping of transparent objects are challenging but of significance to robots. Here, a visual-tactile fusion framework for transparent object grasping under complex backgrounds and variant light conditions is proposed, including the grasping position detection, tactile calibration, and visual-tactile fusion based classification. First, a multi-scene synthetic grasping dataset generation method with a Gaussian distribution based data annotation is proposed. Besides, a novel grasping network named TGCNN is proposed for grasping position detection, showing good results in both synthetic and real scenes. In tactile calibration, inspired by human grasping, a fully convolutional network based tactile feature extraction method and a central location based adaptive grasping strategy are designed, improving the success rate by 36.7% compared to direct grasping. Furthermore, a visual-tactile fusion method is proposed for transparent objects classification, which improves the classification accuracy by 34%. The proposed framework synergizes the advantages of vision and touch, and greatly improves the grasping efficiency of transparent objects.

触摸感在使人类能够理解和与周围环境互动方面发挥着关键作用。对于机器人，触觉感应也是不可替代的。在与物体交互时，触觉传感器为机器人提供了理解物体的有用信息，例如分布式压力，温度，振动和纹理。在机器人抓住期间，视力通常由其最终效应器封闭，而触觉感应可以测量视觉无法访问的区域。在过去的几十年中，已经为机器人开发了许多触觉传感器，并用于不同的机器人任务。在本章中，我们专注于使用触觉对机器人抓握的触觉，并研究近期对物质性质的触觉趋势。我们首先讨论了术语，即形状，姿势和材料特性对三个重要的物体特性的触觉感知。然后，我们通过触觉感应审查抓握稳定性预测的最新发展。在这些作品中，我们确定了在机器人抓握中协调视觉和触觉感应的要求。为了证明使用触觉传感来提高视觉感知，介绍了我们最近的抗议重建触觉触觉感知的发展。在所提出的框架中，首先利用相机视觉的大型接收领域以便快速搜索含有裂缝的候选区域，然后使用高分辨率光学触觉传感器来检查这些候选区域并重建精制的裂缝形状。实验表明，我们所提出的方法可以实现0.82mm至0.24mm的平均距离误差的显着降低，以便重建。最后，我们在讨论了对机器人任务中施加触觉感应的公开问题和未来方向的讨论。

我们提出了一个本体感受的远程操作系统，该系统使用反身握把算法来增强拾取任务的速度和稳健性。该系统由两个使用准直接驱动驱动的操纵器组成，以提供高度透明的力反馈。末端效应器具有双峰力传感器，可测量3轴力信息和2维接触位置。此信息用于防滑和重新磨碎反射。当用户与所需对象接触时，重新抓紧反射将抓地力的手指与对象上的抗肌点对齐，以最大程度地提高抓握稳定性。反射仅需150毫秒即可纠正用户选择的不准确的grasps，因此用户的运动仅受到Re-Grasp的执行的最小干扰。一旦建立了抗焦点接触，抗滑动反射将确保抓地力施加足够的正常力来防止物体从抓地力中滑出。本体感受器的操纵器和反射抓握的结合使用户可以高速完成远程操作的任务。

触觉感应是执行灵巧操纵任务的机器人的基本能力。虽然相机，LIDAR和其他远程传感器可以在全球和立即评估场景，但触觉传感器可以减少它们的测量不确定性，并在往复对象和机器人之间获得局部物理交互的信息，这通常不能通过遥感。触觉传感器可以分为两个主要类别：电子触觉皮肤和基于相机的光学触觉传感器。前者是薄薄的并且可以安装在不同的身体部位上，而后者呈现更棱柱形状并具有更高的感测分辨率，具有良好的优势，可以用作机器人手指或指尖。这种光学触觉传感器之一是我们的Geltip传感器，其成形为手指，并且可以在其表面的任何位置感接触。这样，Geltip传感器能够从所有方向上检测触点，如人的手指。为了捕获这些触点，它使用安装在其基部的相机来跟踪覆盖其空心，刚性和透明体的不透明弹性体的变形。由于这种设计，配备盖施电流传感器的夹具能够同时监测其掌握内外的触点。使用该传感器进行的实验表明了触点是如何定位的，更重要的是，利用杂波中的Dexterous操纵任务中的全面触摸感测的优点，甚至可能是必要的，其中触点可能发生在手指的任何位置。可以在HTTPS://Danfergo.github.io/geltip/中找到制造Geltip传感器的所有材料

用单个机器人手抓住各种大小和形状的各种物体是一项挑战。为了解决这个问题，我们提出了一只名为“ F3手”的新机器人手，受人食指和拇指的复杂运动的启发。 F3手试图通过将平行运动手指和旋转运动手指与自适应功能结合在一起来实现复杂的人类样运动。为了确认我们的手的性能，我们将其附加到移动操纵器 - 丰田人支持机器人（HSR），并进行了掌握实验。在我们的结果中，我们表明它能够掌握所有YCB对象（总共82个），包括外径的垫圈小至6.4mm。我们还构建了一个用于直观操作的系统，并使用3D鼠标掌握了另外24个对象，包括小牙签和纸夹以及大型投手和饼干盒。即使在不精确的控制和位置偏移量下，F3手也能够在抓住98％的成功率方面取得成功率。此外，由于手指的适应性功能，我们展示了F3手的特征，这些特征促进了在理想的姿势中抓住诸如草莓之类的软物体。

我们探索一种新的方法来感知和操纵3D铰接式物体，该物体可以概括地使机器人阐明看不见的对象。我们提出了一个基于视觉的系统，该系统学会预测各种铰接物体的各个部分的潜在运动，以指导系统的下游运动计划以表达对象。为了预测对象运动，我们训练一个神经网络，以输出一个密集的向量场，代表点云中点云中点的点运动方向。然后，我们根据该向量领域部署一个分析运动计划者，以实现产生最大发音的政策。我们完全在模拟中训练视觉系统，并演示了系统在模拟和现实世界中概括的对象实例和新颖类别的能力，并将我们的政策部署在没有任何填充的锯耶机器人上。结果表明，我们的系统在模拟和现实世界实验中都达到了最先进的性能。

软机器人抓手有助于富含接触的操作，包括对各种物体的强大抓握。然而，软抓手的有益依从性也会导致重大变形，从而使精确的操纵具有挑战性。我们提出视觉压力估计与控制（VPEC），这种方法可以使用外部摄像头的RGB图像施加的软握力施加的压力。当气动抓地力和肌腱握力与平坦的表面接触时，我们为视觉压力推断提供了结果。我们还表明，VPEC可以通过对推断压力图像的闭环控制进行精确操作。在我们的评估中，移动操纵器（来自Hello Robot的拉伸RE1）使用Visual Servoing在所需的压力下进行接触；遵循空间压力轨迹；并掌握小型低调的物体，包括microSD卡，一分钱和药丸。总体而言，我们的结果表明，对施加压力的视觉估计可以使软抓手能够执行精确操作。

机器人系统的远程操作用于精确而精致的物体抓握需要高保真的触觉反馈，以获取有关抓握的全面实时信息。在这种情况下，最常见的方法是使用动力学反馈。但是，单个接触点信息不足以检测软件的动态变化形状。本文提出了一个新型的远程触发系统，该系统可为用户的手提供动感和皮肤刺激，以通过灵敏地操纵可变形物体（即移液器）来实现准确的液体分配。实验结果表明，为用户提供多模式触觉反馈的建议方法大大提高了用远程移液器的剂量质量。与纯视觉反馈相比，当用户用多模式触觉界面与视觉反馈混合使用多模式触觉接口时，相对给药误差减少了66 \％，任务执行时间减少了18 \％。在CoVID-19，化学实验，有机材料和伸缩性的抗体测试期间，可以在精致的给药程序中实施该提出的技术。

Robotic tactile sensing provides a method of recognizing objects and their properties where vision fails. Prior work on tactile perception in robotic manipulation has frequently focused on exploratory procedures (EPs). However, the also-human-inspired technique of in-hand-manipulation can glean rich data in a fraction of the time of EPs. We propose a simple 3-DOF robotic hand design, optimized for object rolling tasks via a variable-width palm and associated control system. This system dynamically adjusts the distance between the finger bases in response to object behavior. Compared to fixed finger bases, this technique significantly increases the area of the object that is exposed to finger-mounted tactile arrays during a single rolling motion (an increase of over 60% was observed for a cylinder with a 30-millimeter diameter). In addition, this paper presents a feature extraction algorithm for the collected spatiotemporal dataset, which focuses on object corner identification, analysis, and compact representation. This technique drastically reduces the dimensionality of each data sample from 10 x 1500 time series data to 80 features, which was further reduced by Principal Component Analysis (PCA) to 22 components. An ensemble subspace k-nearest neighbors (KNN) classification model was trained with 90 observations on rolling three different geometric objects, resulting in a three-fold cross-validation accuracy of 95.6% for object shape recognition.

我们引入了一个球形指尖传感器进行动态操作。它基于气压压力和飞行时间接近传感器，并且是低延迟，紧凑且身体健壮的。传感器使用训练有素的神经网络根据压力传感器的数据来估计接触位置和三轴接触力，这些数据嵌入了传感器的聚氨酯橡胶范围内。飞行器传感器朝三个不同的外向方向面对，并且一个集成的微控制器样品以200 Hz的速度每个单个传感器。为了量化系统潜伏期对动态操作性能的影响，我们开发和分析了一个称为碰撞脉冲比率的度量，并表征了我们新传感器的端到端潜伏期。我们还向传感器提出了实验演示，包括测量接触过渡，进行粗大映射，与移动物体保持接触力以及避免碰撞的反应。

本文介绍了DGBench，这是一种完全可重现的开源测试系统，可在机器人和对象之间具有不可预测的相对运动的环境中对动态抓握进行基准测试。我们使用拟议的基准比较几种视觉感知布置。由于传感器的最小范围，遮挡和有限的视野，用于静态抓握的传统感知系统无法在掌握的最后阶段提供反馈。提出了一个多摄像机的眼睛感知系统，该系统具有比常用的相机配置具有优势。我们用基于图像的视觉宣传控制器进行定量评估真实机器人的性能，并在动态掌握任务上显示出明显提高的成功率。

As the basis for prehensile manipulation, it is vital to enable robots to grasp as robustly as humans. In daily manipulation, our grasping system is prompt, accurate, flexible and continuous across spatial and temporal domains. Few existing methods cover all these properties for robot grasping. In this paper, we propose a new methodology for grasp perception to enable robots these abilities. Specifically, we develop a dense supervision strategy with real perception and analytic labels in the spatial-temporal domain. Additional awareness of objects' center-of-mass is incorporated into the learning process to help improve grasping stability. Utilization of grasp correspondence across observations enables dynamic grasp tracking. Our model, AnyGrasp, can generate accurate, full-DoF, dense and temporally-smooth grasp poses efficiently, and works robustly against large depth sensing noise. Embedded with AnyGrasp, we achieve a 93.3% success rate when clearing bins with over 300 unseen objects, which is comparable with human subjects under controlled conditions. Over 900 MPPH is reported on a single-arm system. For dynamic grasping, we demonstrate catching swimming robot fish in the water.

对于机器人来说，拾取透明的对象仍然是一项具有挑战性的任务。透明对象（例如反射和折射）的视觉属性使依赖相机传感的当前抓握方法无法检测和本地化。但是，人类可以通过首先观察其粗剖面，然后戳其感兴趣的区域以获得良好的抓握轮廓来很好地处理透明的物体。受到这一点的启发，我们提出了一个新颖的视觉引导触觉框架，以抓住透明的物体。在拟议的框架中，首先使用分割网络来预测称为戳戳区域的水平上部区域，在该区域中，机器人可以在该区域戳入对象以获得良好的触觉读数，同时导致对物体状态的最小干扰。然后，使用高分辨率胶触觉传感器进行戳戳。鉴于触觉阅读有所改善的当地概况，计划掌握透明物体的启发式掌握。为了减轻对透明对象的现实世界数据收集和标记的局限性，构建了一个大规模逼真的合成数据集。广泛的实验表明，我们提出的分割网络可以预测潜在的戳戳区域，平均平均精度（地图）为0.360，而视觉引导的触觉戳戳可以显着提高抓地力成功率，从38.9％到85.2％。由于其简单性，我们提出的方法也可以被其他力量或触觉传感器采用，并可以用于掌握其他具有挑战性的物体。本文中使用的所有材料均可在https://sites.google.com/view/tactilepoking上获得。

人类的生活是无价的。当需要完成危险或威胁生命的任务时，机器人平台可能是更换人类运营商的理想选择。我们在这项工作中重点关注的任务是爆炸性的手段。鉴于移动机器人在多种环境中运行时表现出强大的功能，机器人触觉有可能提供安全解决方案。但是，与人类的运作相比，在此阶段，自主权可能具有挑战性和风险。远程运行可能是完整的机器人自主权和人类存在之间的折衷方案。在本文中，我们提出了一种相对便宜的解决方案，可用于远程敏感和机器人远程操作，以使用腿部操纵器（即，腿部四足机器人的机器人和RGB-D传感）来协助爆炸的军械处置。我们提出了一种新型的系统集成，以解决四足动物全身控制的非平凡问题。我们的系统基于可穿戴的基于IMU的运动捕获系统，该系统用于远程操作和视觉触发性的VR耳机。我们在实验中验证了现实世界中的方法，用于需要全身机器人控制和视觉触发的机车操作任务。

在现代制造环境中，对接触式任务的需求正在迅速增长。但是，很少有传统的机器人组装技能考虑任务执行过程中的环境限制，并且大多数人将这些限制作为终止条件。在这项研究中，我们提出了基于推动的混合位置/力组装技能，该技能可以在任务执行过程中最大化环境限制。据我们所知，这是在执行程序集任务期间使用推动操作考虑的第一项工作。我们已经证明，我们的技能可以使用移动操纵器系统组装任务实验最大化环境约束的利用，并在执行中实现100 \％的成功率。

Vascular shunt insertion is a fundamental surgical procedure used to temporarily restore blood flow to tissues. It is often performed in the field after major trauma. We formulate a problem of automated vascular shunt insertion and propose a pipeline to perform Automated Vascular Shunt Insertion (AVSI) using a da Vinci Research Kit. The pipeline uses a learned visual model to estimate the locus of the vessel rim, plans a grasp on the rim, and moves to grasp at that point. The first robot gripper then pulls the rim to stretch open the vessel with a dilation motion. The second robot gripper then proceeds to insert a shunt into the vessel phantom (a model of the blood vessel) with a chamfer tilt followed by a screw motion. Results suggest that AVSI achieves a high success rate even with tight tolerances and varying vessel orientations up to 30{\deg}. Supplementary material, dataset, videos, and visualizations can be found at https://sites.google.com/berkeley.edu/autolab-avsi.

Mohamed Bin Zayed国际机器人挑战（MBZIRC）2020为无人机（无人机）构成了不同的挑战。我们提供了四个量身定制的无人机，专门为MBZIRC的单独空中机器人任务开发，包括自定义硬件和软件组件。在挑战1中，使用高效率，车载对象检测管道进行目标UAV，以捕获来自目标UAV的球。第二个UAV使用类似的检测方法来查找和流行散落在整个竞技场的气球。对于挑战2，我们展示了一种能够自主空中操作的更大的无人机：从相机图像找到并跟踪砖。随后，将它们接近，挑选，运输并放在墙上。最后，在挑战3中，我们的UAV自动发现使用LIDAR和热敏摄像机的火灾。它用船上灭火器熄灭火灾。虽然每个机器人都具有任务特定的子系统，但所有无人机都依赖于为该特定和未来竞争开发的标准软件堆栈。我们介绍了我们最开源的软件解决方案，包括系统配置，监控，强大无线通信，高级控制和敏捷轨迹生成的工具。为了解决MBZirc 2020任务，我们在多个研究领域提出了机器视觉和轨迹生成的多个研究领域。我们介绍了我们的科学贡献，这些贡献构成了我们的算法和系统的基础，并分析了在阿布扎比的MBZIRC竞赛2020年的结果，我们的系统在大挑战中达到了第二名。此外，我们讨论了我们参与这种复杂的机器人挑战的经验教训。