对于机器人来说，拾取透明的对象仍然是一项具有挑战性的任务。透明对象（例如反射和折射）的视觉属性使依赖相机传感的当前抓握方法无法检测和本地化。但是，人类可以通过首先观察其粗剖面，然后戳其感兴趣的区域以获得良好的抓握轮廓来很好地处理透明的物体。受到这一点的启发，我们提出了一个新颖的视觉引导触觉框架，以抓住透明的物体。在拟议的框架中，首先使用分割网络来预测称为戳戳区域的水平上部区域，在该区域中，机器人可以在该区域戳入对象以获得良好的触觉读数，同时导致对物体状态的最小干扰。然后，使用高分辨率胶触觉传感器进行戳戳。鉴于触觉阅读有所改善的当地概况，计划掌握透明物体的启发式掌握。为了减轻对透明对象的现实世界数据收集和标记的局限性，构建了一个大规模逼真的合成数据集。广泛的实验表明，我们提出的分割网络可以预测潜在的戳戳区域，平均平均精度（地图）为0.360，而视觉引导的触觉戳戳可以显着提高抓地力成功率，从38.9％到85.2％。由于其简单性，我们提出的方法也可以被其他力量或触觉传感器采用，并可以用于掌握其他具有挑战性的物体。本文中使用的所有材料均可在https://sites.google.com/view/tactilepoking上获得。

透明的物体在我们的日常生活中广泛使用，因此机器人需要能够处理它们。但是，透明的物体遭受了光反射和折射的影响，这使得获得执行操控任务所需的准确深度图的挑战。在本文中，我们提出了一个基于负担能力的新型框架，用于深度重建和操纵透明物体，称为A4T。层次负担能力首先用于检测透明对象及其相关的负担，以编码对象不同部分的相对位置。然后，鉴于预测的负担映射，多步深度重建方法用于逐步重建透明对象的深度图。最后，使用重建的深度图用于基于负担的透明物体操纵。为了评估我们提出的方法，我们构建了一个真实的数据集trans-frans-frans-fans-and-trans-trans-frastance和透明对象的深度图，这是同类物体中的第一个。广泛的实验表明，我们提出的方法可以预测准确的负担能图，并显着改善了与最新方法相比的透明物体的深度重建，其根平方平方误差在0.097米中显着降低至0.042。此外，我们通过一系列机器人操纵实验在透明物体上进行了提出的方法的有效性。请参阅https://sites.google.com/view/affordance4trans的补充视频和结果。

The accurate detection and grasping of transparent objects are challenging but of significance to robots. Here, a visual-tactile fusion framework for transparent object grasping under complex backgrounds and variant light conditions is proposed, including the grasping position detection, tactile calibration, and visual-tactile fusion based classification. First, a multi-scene synthetic grasping dataset generation method with a Gaussian distribution based data annotation is proposed. Besides, a novel grasping network named TGCNN is proposed for grasping position detection, showing good results in both synthetic and real scenes. In tactile calibration, inspired by human grasping, a fully convolutional network based tactile feature extraction method and a central location based adaptive grasping strategy are designed, improving the success rate by 36.7% compared to direct grasping. Furthermore, a visual-tactile fusion method is proposed for transparent objects classification, which improves the classification accuracy by 34%. The proposed framework synergizes the advantages of vision and touch, and greatly improves the grasping efficiency of transparent objects.

触摸感在使人类能够理解和与周围环境互动方面发挥着关键作用。对于机器人，触觉感应也是不可替代的。在与物体交互时，触觉传感器为机器人提供了理解物体的有用信息，例如分布式压力，温度，振动和纹理。在机器人抓住期间，视力通常由其最终效应器封闭，而触觉感应可以测量视觉无法访问的区域。在过去的几十年中，已经为机器人开发了许多触觉传感器，并用于不同的机器人任务。在本章中，我们专注于使用触觉对机器人抓握的触觉，并研究近期对物质性质的触觉趋势。我们首先讨论了术语，即形状，姿势和材料特性对三个重要的物体特性的触觉感知。然后，我们通过触觉感应审查抓握稳定性预测的最新发展。在这些作品中，我们确定了在机器人抓握中协调视觉和触觉感应的要求。为了证明使用触觉传感来提高视觉感知，介绍了我们最近的抗议重建触觉触觉感知的发展。在所提出的框架中，首先利用相机视觉的大型接收领域以便快速搜索含有裂缝的候选区域，然后使用高分辨率光学触觉传感器来检查这些候选区域并重建精制的裂缝形状。实验表明，我们所提出的方法可以实现0.82mm至0.24mm的平均距离误差的显着降低，以便重建。最后，我们在讨论了对机器人任务中施加触觉感应的公开问题和未来方向的讨论。

对于机器人来说，在混乱的场景中抓住检测是一项非常具有挑战性的任务。生成合成抓地数据是训练和测试抓握方法的流行方式，DEX-NET和GRASPNET也是如此。然而，这些方法在3D合成对象模型上生成了训练掌握，但是在具有不同分布的图像或点云上进行评估，从而降低了由于稀疏的掌握标签和协变量移位而在真实场景上的性能。为了解决现有的问题，我们提出了一种新型的policy抓取检测方法，该方法可以用RGB-D图像生成的密集像素级抓握标签对相同的分布进行训练和测试。提出了一种并行深度的掌握生成（PDG生成）方法，以通过并行的投射点的新成像模型生成平行的深度图像；然后，该方法为每个像素生成多个候选抓地力，并通过平坦检测，力闭合度量和碰撞检测获得可靠的抓地力。然后，构建并释放了大型综合像素级姿势数据集（PLGP数据集）。该数据集使用先前的数据集和稀疏的Grasp样品区分开，是第一个像素级掌握数据集，其上的分布分布基于深度图像生成了grasps。最后，我们建立和测试了一系列像素级的抓地力检测网络，并通过数据增强过程进行不平衡训练，该过程以输入RGB-D图像的方式学习抓握姿势。广泛的实验表明，我们的policy掌握方法可以在很大程度上克服模拟与现实之间的差距，并实现最新的性能。代码和数据可在https://github.com/liuchunsense/plgp-dataset上提供。

在本文中，我们介绍了DA $^2 $，这是第一个大型双臂灵敏性吸引数据集，用于生成最佳的双人握把对，用于任意大型对象。该数据集包含大约900万的平行jaw grasps，由6000多个对象生成，每个对象都有各种抓紧敏度度量。此外，我们提出了一个端到端的双臂掌握评估模型，该模型在该数据集的渲染场景上训练。我们利用评估模型作为基准，通过在线分析和真实的机器人实验来显示这一新颖和非平凡数据集的价值。所有数据和相关的代码将在https://sites.google.com/view/da2dataset上开源。

现场机器人收获是农业产业近期发展的有希望的技术。在自然果园收获之前，机器人识别和本地化水果至关重要。然而，果园中收获机器人的工作空间很复杂：许多水果被分支和叶子堵塞。在执行操纵之前，估计每个果实的适当抓握姿势是很重要的。在本研究中，建议使用来自RGB-D相机的颜色和几何感官数据来执行端到端实例分段和掌握估计的几何意识网络A3N。此外，应用了工作区几何建模以帮助机器人操纵。此外，我们实施全球到本地扫描策略，它使机器人能够在具有两个消费级RGB-D相机中准确地识别和检索现场环境中的水果。我们还全面评估了所提出的网络的准确性和鲁棒性。实验结果表明，A3N达到了0.873的实例分割精度，平均计算时间为35毫秒。掌握估计的平均准确性分别为0.61厘米，4.8美元，中心和方向分别为4.8美元。总的来说，利用全球到局部扫描和A3N的机器人系统实现了从现场收集实验中的70 \％-85 \％的收获量的成功率。

6多机器人抓钩是一个持久但未解决的问题。最近的方法利用强3D网络从深度传感器中提取几何抓握表示形式，表明对公共物体的准确性卓越，但对光度化挑战性物体（例如，透明或反射材料中的物体）进行不满意。瓶颈在于这些物体的表面由于光吸收或折射而无法反射准确的深度。在本文中，与利用不准确的深度数据相反，我们提出了第一个称为MonograspNet的只有RGB的6-DOF握把管道，该管道使用稳定的2D特征同时处理任意对象抓握，并克服由光学上具有挑战性挑战的对象引起的问题。 MonograspNet利用关键点热图和正常地图来恢复由我们的新型表示形式表示的6-DOF抓握姿势，该表示的2D键盘具有相应的深度，握把方向，抓握宽度和角度。在真实场景中进行的广泛实验表明，我们的方法可以通过在抓住光学方面挑战的对象方面抓住大量对象并超过基于深度的竞争者的竞争成果。为了进一步刺激机器人的操纵研究，我们还注释并开源一个多视图和多场景现实世界抓地数据集，其中包含120个具有20m精确握把标签的混合光度复杂性对象。

Being able to grasp objects is a fundamental component of most robotic manipulation systems. In this paper, we present a new approach to simultaneously reconstruct a mesh and a dense grasp quality map of an object from a depth image. At the core of our approach is a novel camera-centric object representation called the "object shell" which is composed of an observed "entry image" and a predicted "exit image". We present an image-to-image residual ConvNet architecture in which the object shell and a grasp-quality map are predicted as separate output channels. The main advantage of the shell representation and the corresponding neural network architecture, ShellGrasp-Net, is that the input-output pixel correspondences in the shell representation are explicitly represented in the architecture. We show that this coupling yields superior generalization capabilities for object reconstruction and accurate grasp quality estimation implicitly considering the object geometry. Our approach yields an efficient dense grasp quality map and an object geometry estimate in a single forward pass. Both of these outputs can be used in a wide range of robotic manipulation applications. With rigorous experimental validation, both in simulation and on a real setup, we show that our shell-based method can be used to generate precise grasps and the associated grasp quality with over 90% accuracy. Diverse grasps computed on shell reconstructions allow the robot to select and execute grasps in cluttered scenes with more than 93% success rate.

视觉感知任务通常需要大量的标记数据，包括3D姿势和图像空间分割掩码。创建此类培训数据集的过程可能很难或耗时，可以扩展到一般使用的功效。考虑对刚性对象的姿势估计的任务。在大型公共数据集中接受培训时，基于神经网络的深层方法表现出良好的性能。但是，将这些网络调整为其他新颖对象，或针对不同环境的现有模型进行微调，需要大量的时间投资才能产生新标记的实例。为此，我们提出了ProgressLabeller作为一种方法，以更有效地以可扩展的方式从彩色图像序列中生成大量的6D姿势训练数据。 ProgressLabeller还旨在支持透明或半透明的对象，以深度密集重建的先前方法将失败。我们通过快速创建一个超过1M样品的数据集来证明ProgressLabeller的有效性，我们将其微调一个最先进的姿势估计网络，以显着提高下游机器人的抓地力。 ProgressLabeller是https://github.com/huijiezh/progresslabeller的开放源代码。

我们提出了GRASP提案网络（GP-NET），这是一种卷积神经网络模型，可以为移动操纵器生成6-DOF GRASP。为了训练GP-NET，我们合成生成一个包含深度图像和地面真相掌握信息的数据集，以供超过1400个对象。在现实世界实验中，我们使用egad！掌握基准测试，以评估两种常用算法的GP-NET，即体积抓地力网络（VGN）和在PAL TIAGO移动操纵器上进行的GRASP抓取网络（VGN）和GRASP姿势检测包（GPD）。GP-NET的掌握率为82.2％，而VGN为57.8％，GPD的成功率为63.3％。与机器人握把中最新的方法相反，GP-NET可以在不限制工作空间的情况下使用移动操纵器抓住对象，用于抓住对象，需要桌子进行分割或需要高端GPU。为了鼓励使用GP-NET，我们在https://aucoroboticsmu.github.io/gp-net/上提供ROS包以及我们的代码和预培训模型。

鉴于问题的复杂性，从各种传感器模式到高度纠缠的对象布局，再到多样化的项目属性和抓地力类型，因此对视觉驱动的机器人系统提出了重大挑战。现有方法通常从一个角度解决问题。各种项目和复杂的垃圾箱场景需要多种选择策略以及高级推理。因此，要构建可靠的机器学习算法来解决这项复杂的任务，需要大量的全面和高质量的数据。在现实世界中收集此类数据将太昂贵，时间过高，因此从可伸缩性角度来看。为了解决这个大型，多样化的数据问题，我们从最近的元素概念上的增长中获得了灵感，并引入了MetagraspNet，这是一种通过基于物理学的元合成构建的大规模的照片现实垃圾箱挑选数据集。所提出的数据集在82种不同的文章类型上包含217K RGBD图像，并具有完整的注释，可用于对象检测，Amodal感知，关键点检测，操纵顺序和平行jaw和真空吸尘器的Ambidextrous Grasp标签。我们还提供了一个真实的数据集，该数据集由超过2.3k全面注释的高质量RGBD图像组成，分为5个困难级别和一个看不见的对象，以评估不同的对象和布局属性。最后，我们进行了广泛的实验，表明我们提出的真空密封模型和合成数据集实现了最先进的性能，并将其推广到现实世界用例。

抓握是通过在一组触点上施加力和扭矩来挑选对象的过程。深度学习方法的最新进展允许在机器人对象抓地力方面快速进步。我们在过去十年中系统地调查了出版物，特别感兴趣使用最终效果姿势的所有6度自由度抓住对象。我们的综述发现了四种用于机器人抓钩的常见方法：基于抽样的方法，直接回归，强化学习和示例方法。此外，我们发现了围绕抓握的两种“支持方法”，这些方法使用深入学习来支持抓握过程，形状近似和负担能力。我们已经将本系统评论（85篇论文）中发现的出版物提炼为十个关键要点，我们认为对未来的机器人抓握和操纵研究至关重要。该调查的在线版本可从https://rhys-newbury.github.io/projects/6dof/获得

As the basis for prehensile manipulation, it is vital to enable robots to grasp as robustly as humans. In daily manipulation, our grasping system is prompt, accurate, flexible and continuous across spatial and temporal domains. Few existing methods cover all these properties for robot grasping. In this paper, we propose a new methodology for grasp perception to enable robots these abilities. Specifically, we develop a dense supervision strategy with real perception and analytic labels in the spatial-temporal domain. Additional awareness of objects' center-of-mass is incorporated into the learning process to help improve grasping stability. Utilization of grasp correspondence across observations enables dynamic grasp tracking. Our model, AnyGrasp, can generate accurate, full-DoF, dense and temporally-smooth grasp poses efficiently, and works robustly against large depth sensing noise. Embedded with AnyGrasp, we achieve a 93.3% success rate when clearing bins with over 300 unseen objects, which is comparable with human subjects under controlled conditions. Over 900 MPPH is reported on a single-arm system. For dynamic grasping, we demonstrate catching swimming robot fish in the water.

我们研究了如何将高分辨率触觉传感器与视觉和深度传感结合使用，以改善掌握稳定性预测。在模拟高分辨率触觉传感的最新进展，尤其是触觉模拟器，使我们能够评估如何结合感应方式训练神经网络。借助训练大型神经网络所需的大量数据，机器人模拟器提供了一种快速自动化数据收集过程的方法。我们通过消融研究扩展现有工作，并增加了从YCB基准组中获取的一组对象。我们的结果表明，尽管视觉，深度和触觉感测的组合为已知对象提供了最佳预测结果，但该网络未能推广到未知对象。我们的工作还解决了触觉模拟中机器人抓握的现有问题以及如何克服它们。

形状通知如何将对象掌握，无论是如何以及如何。因此，本文介绍了一种基于分割的架构，用于将用深度摄像机进行分解为多个基本形状的对象，以及用于机器人抓握的后处理管道。分段采用深度网络，称为PS-CNN，在具有6个类的原始形状和使用模拟引擎生成的合成数据上培训。每个原始形状都设计有参数化掌握家族，允许管道识别每个形状区域的多个掌握候选者。掌握是排序的排名，选择用于执行的第一个可行的。对于无任务掌握单个对象，该方法达到94.2％的成功率将其放置在顶部执行掌握方法中，与自上而下和SE（3）基础相比。涉及变量观点和杂波的其他测试展示了设置的鲁棒性。对于面向任务的掌握，PS-CNN实现了93.0％的成功率。总体而言，结果支持该假设，即在抓地管道内明确地编码形状原语应该提高掌握性能，包括无任务和任务相关的掌握预测。

In this paper, we focus on the problem of feature learning in the presence of scale imbalance for 6-DoF grasp detection and propose a novel approach to especially address the difficulty in dealing with small-scale samples. A Multi-scale Cylinder Grouping (MsCG) module is presented to enhance local geometry representation by combining multi-scale cylinder features and global context. Moreover, a Scale Balanced Learning (SBL) loss and an Object Balanced Sampling (OBS) strategy are designed, where SBL enlarges the gradients of the samples whose scales are in low frequency by apriori weights while OBS captures more points on small-scale objects with the help of an auxiliary segmentation network. They alleviate the influence of the uneven distribution of grasp scales in training and inference respectively. In addition, Noisy-clean Mix (NcM) data augmentation is introduced to facilitate training, aiming to bridge the domain gap between synthetic and raw scenes in an efficient way by generating more data which mix them into single ones at instance-level. Extensive experiments are conducted on the GraspNet-1Billion benchmark and competitive results are reached with significant gains on small-scale cases. Besides, the performance of real-world grasping highlights its generalization ability. Our code is available at https://github.com/mahaoxiang822/Scale-Balanced-Grasp.

软机器人抓手有助于富含接触的操作，包括对各种物体的强大抓握。然而，软抓手的有益依从性也会导致重大变形，从而使精确的操纵具有挑战性。我们提出视觉压力估计与控制（VPEC），这种方法可以使用外部摄像头的RGB图像施加的软握力施加的压力。当气动抓地力和肌腱握力与平坦的表面接触时，我们为视觉压力推断提供了结果。我们还表明，VPEC可以通过对推断压力图像的闭环控制进行精确操作。在我们的评估中，移动操纵器（来自Hello Robot的拉伸RE1）使用Visual Servoing在所需的压力下进行接触；遵循空间压力轨迹；并掌握小型低调的物体，包括microSD卡，一分钱和药丸。总体而言，我们的结果表明，对施加压力的视觉估计可以使软抓手能够执行精确操作。

透明的物体在我们的日常生活中很常见，并且经常在自动生产线中处理。对这些物体的强大基于视力的机器人抓握和操纵将对自动化有益。但是，在这种情况下，大多数当前的握把算法都会失败，因为它们严重依赖于深度图像，而普通的深度传感器通常无法产生准确的深度信息，因为由于光的反射和折射，它们都会用于透明对象。在这项工作中，我们通过为透明对象深度完成的大规模现实世界数据集提供了解决此问题，该数据集包含来自130个不同场景的57,715个RGB-D图像。我们的数据集是第一个大规模的，现实世界中的数据集，可提供地面真相深度，表面正常，透明的面具，以各种各样的场景和混乱。跨域实验表明，我们的数据集更具通用性，可以为模型提供更好的概括能力。此外，我们提出了一个端到端深度完成网络，该网络将RGB图像和不准确的深度图作为输入，并输出精制的深度图。实验证明了我们方法的效率，效率和鲁棒性优于以前的工作，并且能够处理有限的硬件资源下的高分辨率图像。真正的机器人实验表明，我们的方法也可以应用于新颖的透明物体牢固地抓住。完整的数据集和我们的方法可在www.graspnet.net/transcg上公开获得

成功掌握对象的能力在机器人中是至关重要的，因为它可以实现多个交互式下游应用程序。为此，大多数方法要么计算兴趣对象的完整6D姿势，要么学习预测一组掌握点。虽然前一种方法对多个对象实例或类没有很好地扩展，但后者需要大的注释数据集，并且受到新几何形状的普遍性能力差的阻碍。为了克服这些缺点，我们建议教授一个机器人如何用简单而简短的人类示范掌握一个物体。因此，我们的方法既不需要许多注释图像，也不限于特定的几何形状。我们首先介绍了一个小型RGB-D图像，显示人对象交互。然后利用该序列来构建表示所描绘的交互的相关手和对象网格。随后，我们完成重建对象形状的缺失部分，并估计了场景中的重建和可见对象之间的相对变换。最后，我们从物体和人手之间的相对姿势转移a-prioriz知识，随着当前对象在场景中的估计到机器人的必要抓握指令。与丰田的人类支持机器人（HSR）在真实和合成环境中的详尽评估证明了我们所提出的方法的适用性及其优势与以前的方法相比。