Current learning-based robot grasping approaches exploit human-labeled datasets for training the models. However, there are two problems with such a methodology: (a) since each object can be grasped in multiple ways, manually labeling grasp locations is not a trivial task; (b) human labeling is biased by semantics. While there have been attempts to train robots using trial-and-error experiments, the amount of data used in such experiments remains substantially low and hence makes the learner prone to over-fitting. In this paper, we take the leap of increasing the available training data to 40 times more than prior work, leading to a dataset size of 50K data points collected over 700 hours of robot grasping attempts. This allows us to train a Convolutional Neural Network (CNN) for the task of predicting grasp locations without severe overfitting. In our formulation, we recast the regression problem to an 18way binary classification over image patches. We also present a multi-stage learning approach where a CNN trained in one stage is used to collect hard negatives in subsequent stages. Our experiments clearly show the benefit of using large-scale datasets (and multi-stage training) for the task of grasping. We also compare to several baselines and show state-of-the-art performance on generalization to unseen objects for grasping.

We describe a learning-based approach to handeye coordination for robotic grasping from monocular images. To learn hand-eye coordination for grasping, we trained a large convolutional neural network to predict the probability that task-space motion of the gripper will result in successful grasps, using only monocular camera images and independently of camera calibration or the current robot pose. This requires the network to observe the spatial relationship between the gripper and objects in the scene, thus learning hand-eye coordination. We then use this network to servo the gripper in real time to achieve successful grasps. To train our network, we collected over 800,000 grasp attempts over the course of two months, using between 6 and 14 robotic manipulators at any given time, with differences in camera placement and hardware. Our experimental evaluation demonstrates that our method achieves effective real-time control, can successfully grasp novel objects, and corrects mistakes by continuous servoing.

抓握是通过在一组触点上施加力和扭矩来挑选对象的过程。深度学习方法的最新进展允许在机器人对象抓地力方面快速进步。我们在过去十年中系统地调查了出版物，特别感兴趣使用最终效果姿势的所有6度自由度抓住对象。我们的综述发现了四种用于机器人抓钩的常见方法：基于抽样的方法，直接回归，强化学习和示例方法。此外，我们发现了围绕抓握的两种“支持方法”，这些方法使用深入学习来支持抓握过程，形状近似和负担能力。我们已经将本系统评论（85篇论文）中发现的出版物提炼为十个关键要点，我们认为对未来的机器人抓握和操纵研究至关重要。该调查的在线版本可从https://rhys-newbury.github.io/projects/6dof/获得

如今，机器人在我们的日常生活中起着越来越重要的作用。在以人为本的环境中，机器人经常会遇到成堆的对象，包装的项目或孤立的对象。因此，机器人必须能够在各种情况下掌握和操纵不同的物体，以帮助人类进行日常任务。在本文中，我们提出了一种多视图深度学习方法，以处理以人为中心的域中抓住强大的对象。特别是，我们的方法将任意对象的点云作为输入，然后生成给定对象的拼字图。获得的视图最终用于估计每个对象的像素抓握合成。我们使用小对象抓住数据集训练模型端到端，并在模拟和现实世界数据上对其进行测试，而无需进行任何进一步的微调。为了评估所提出方法的性能，我们在三种情况下进行了广泛的实验集，包括孤立的对象，包装的项目和一堆对象。实验结果表明，我们的方法在所有仿真和现实机器人方案中都表现出色，并且能够在各种场景配置中实现新颖对象的可靠闭环抓握。

当人类掌握现实世界中的物体时，我们经常移动手臂将物体固定在可以使用它的不同姿势中。相比之下，典型的实验室设置仅研究举起后立即研究抓握的稳定性，而没有任何随后的臂重置。但是，由于重力扭矩和握力接触力可能会完全改变，因此抓紧稳定性可能会根据物体的固定姿势而差异很大。为了促进对持有姿势如何影响掌握稳定性的研究，我们提出了Poseit，这是一种新型的多模式数据集，其中包含从抓住对象的完整周期收集的视觉和触觉数据，将手臂重新放置到其中一个采样姿势，并将其重新放置到其中一个采样的姿势中，并摇动物体。使用Poseit的数据，我们可以制定和应对预测特定固定姿势是否稳定的抓握对象的任务。我们培训一个LSTM分类器，该分类器在拟议的任务上达到85％的准确性。我们的实验结果表明，接受Poseit训练的多模式模型比使用唯一视觉或触觉数据具有更高的精度，并且我们的分类器也可以推广到看不见的对象和姿势。

Grasp learning has become an exciting and important topic in robotics. Just a few years ago, the problem of grasping novel objects from unstructured piles of clutter was considered a serious research challenge. Now, it is a capability that is quickly becoming incorporated into industrial supply chain automation. How did that happen? What is the current state of the art in robotic grasp learning, what are the different methodological approaches, and what machine learning models are used? This review attempts to give an overview of the current state of the art of grasp learning research.

我们研究了如何将高分辨率触觉传感器与视觉和深度传感结合使用，以改善掌握稳定性预测。在模拟高分辨率触觉传感的最新进展，尤其是触觉模拟器，使我们能够评估如何结合感应方式训练神经网络。借助训练大型神经网络所需的大量数据，机器人模拟器提供了一种快速自动化数据收集过程的方法。我们通过消融研究扩展现有工作，并增加了从YCB基准组中获取的一组对象。我们的结果表明，尽管视觉，深度和触觉感测的组合为已知对象提供了最佳预测结果，但该网络未能推广到未知对象。我们的工作还解决了触觉模拟中机器人抓握的现有问题以及如何克服它们。

As the basis for prehensile manipulation, it is vital to enable robots to grasp as robustly as humans. In daily manipulation, our grasping system is prompt, accurate, flexible and continuous across spatial and temporal domains. Few existing methods cover all these properties for robot grasping. In this paper, we propose a new methodology for grasp perception to enable robots these abilities. Specifically, we develop a dense supervision strategy with real perception and analytic labels in the spatial-temporal domain. Additional awareness of objects' center-of-mass is incorporated into the learning process to help improve grasping stability. Utilization of grasp correspondence across observations enables dynamic grasp tracking. Our model, AnyGrasp, can generate accurate, full-DoF, dense and temporally-smooth grasp poses efficiently, and works robustly against large depth sensing noise. Embedded with AnyGrasp, we achieve a 93.3% success rate when clearing bins with over 300 unseen objects, which is comparable with human subjects under controlled conditions. Over 900 MPPH is reported on a single-arm system. For dynamic grasping, we demonstrate catching swimming robot fish in the water.

在以人为本的环境中工作的机器人需要知道场景中存在哪种物体，以及如何掌握和操纵不同情况下的各种对象，以帮助人类在日常任务中。因此，对象识别和抓握是此类机器人的两个关键功能。最先进的解决物体识别并将其抓握为两个单独的问题，同时都使用可视输入。此外，在训练阶段之后，机器人的知识是固定的。在这种情况下，如果机器人面临新的对象类别，则必须从划痕中重新培训以结合新信息而无需灾难性干扰。为了解决这个问题，我们提出了一个深入的学习架构，具有增强的存储器能力来处理开放式对象识别和同时抓握。特别地，我们的方法将物体的多视图作为输入，并共同估计像素 - 方向掌握配置以及作为输出的深度和旋转不变表示。然后通过元主动学习技术使用所获得的表示用于开放式对象识别。我们展示了我们掌握从未见过的对象的方法的能力，并在模拟和现实世界中使用非常少数的例子在现场使用很少的例子快速学习新的对象类别。

形状通知如何将对象掌握，无论是如何以及如何。因此，本文介绍了一种基于分割的架构，用于将用深度摄像机进行分解为多个基本形状的对象，以及用于机器人抓握的后处理管道。分段采用深度网络，称为PS-CNN，在具有6个类的原始形状和使用模拟引擎生成的合成数据上培训。每个原始形状都设计有参数化掌握家族，允许管道识别每个形状区域的多个掌握候选者。掌握是排序的排名，选择用于执行的第一个可行的。对于无任务掌握单个对象，该方法达到94.2％的成功率将其放置在顶部执行掌握方法中，与自上而下和SE（3）基础相比。涉及变量观点和杂波的其他测试展示了设置的鲁棒性。对于面向任务的掌握，PS-CNN实现了93.0％的成功率。总体而言，结果支持该假设，即在抓地管道内明确地编码形状原语应该提高掌握性能，包括无任务和任务相关的掌握预测。

食品包装行业通常使用工厂工人手动包装的季节性成分。对于由体积或重量挑选的小型食物，倾向于使缠绕，棒或聚集在一起，很难预测他们从视觉检查中有多么交流，使其成为准确掌握必要目标大量的挑战。工人依赖于称重鳞片的组合和一系列复杂的操作，以分离食物并达到目标质量。这使得过程自动化是非琐碎的事件。在这项研究中，我们提出了一种结合1）预先抓住以降低缠结程度的方法，2）在掌握量大于掌握量时仔细丢弃多余的食物以调整抓住质量的缠绕。目标质量和3）选择抓取点以抓住可能合理地高于目标抓地质量的量。我们评估了各种食品的方法，缠绕，粘和丛的各种食物，每个食物具有不同的尺寸，形状和材料特性，例如体积质量密度。我们使用我们所提出的方法表现出掌握用户指定目标群众的准确性的显着改进。

机器人外科助理（RSAs）通常用于通过专家外科医生进行微创手术。然而，长期以来充满了乏味和重复的任务，如缝合可以导致外科医生疲劳，激励缝合的自动化。随着薄反射针的视觉跟踪极具挑战性，在未反射对比涂料的情况下修改了针。作为朝向无修改针的缝合子任务自动化的步骤，我们提出了休斯顿：切换未经修改，外科手术，工具障碍针，一个问题和算法，它使用学习的主动传感策略与立体声相机本地化并对齐针头进入另一臂的可见和可访问的姿势。为了补偿机器人定位和针头感知误差，然后算法执行使用多个摄像机的高精度抓握运动。在使用Da Vinci研究套件（DVRK）的物理实验中，休斯顿成功通过了96.7％的成功率，并且能够在故障前平均地在臂32.4倍之间顺序地执行切换。在培训中看不见的针头，休斯顿实现了75-92.9％的成功率。据我们所知，这项工作是第一个研究未修改的手术针的切换。查看https://tinyurl.com/huston-surgery用于额外​​的材料。

高分辨率表示对于基于视觉的机器人抓问题很重要。现有作品通常通过子网络将输入图像编码为低分辨率表示形式，然后恢复高分辨率表示。这将丢失空间信息，当考虑多种类型的对象或远离摄像机时，解码器引入的错误将更加严重。为了解决这些问题，我们重新审视了CNN的设计范式，以实现机器人感知任务。我们证明，与串行堆叠的卷积层相反，使用平行分支将是机器人视觉抓握任务的更强大设计。特别是，为机器人感知任务（例如，高分辨率代表和轻量级设计）提供了神经网络设计的准则，这些指南应对不同操纵场景中的挑战做出回应。然后，我们开发了一种新颖的抓地视觉体系结构，称为HRG-NET，这是一种平行分支结构，始终保持高分辨率表示形式，并反复在分辨率上交换信息。广泛的实验验证了这两种设计可以有效地提高基于视觉的握把和加速网络训练的准确性。我们在YouTube上的真实物理环境中显示了一系列比较实验：https：//youtu.be/jhlsp-xzhfy。

人类和许多动物都表现出稳健的能力来操纵不同的物体，通常与他们的身体直接和有时与工具间接地进行操作。这种灵活性可能是由物理处理的基本一致性，例如接触和力闭合。通过将工具视为我们的机构的扩展来启发，我们提出了工具 - 作为实施例（TAE），用于处理同一表示空间中的手动对象和工具对象交互的基于工具的操作策略的参数化。结果是单一策略，可以在机器人上递归地应用于使用结束效果来操纵对象，并使用对象作为工具，即新的最终效果，以操纵其他对象。通过对不同实施例的共享经验进行掌握或推动，我们的政策表现出比训练单独的政策更高的性能。我们的框架可以利用将对启用工具的实施例的不同分辨率的所有经验用于每个操纵技能的单个通用策略。 https://sites.google.com/view/recursivemanipulation的视频

当代掌握检测方法采用深度学习，实现传感器和物体模型不确定性的鲁棒性。这两个主导的方法设计了掌握质量评分或基于锚的掌握识别网络。本文通过将其视为图像空间中的关键点检测来掌握掌握检测的不同方法。深网络检测每个掌握候选者作为一对关键点，可转换为掌握代表= {x，y，w，{\ theta}} t，而不是转角点的三态或四重奏。通过将关键点分组成对来降低检测难度提高性能。为了促进捕获关键点之间的依赖关系，将非本地模块结合到网络设计中。基于离散和连续定向预测的最终过滤策略消除了错误的对应关系，并进一步提高了掌握检测性能。此处提出的方法GKNET在康奈尔和伸缩的提花数据集上的精度和速度之间实现了良好的平衡（在41.67和23.26 fps的96.9％和98.39％）之间。操纵器上的后续实验使用4种类型的抓取实验来评估GKNet，反映不同滋扰的速度：静态抓握，动态抓握，在各种相机角度抓住，夹住。 GKNet优于静态和动态掌握实验中的参考基线，同时表现出变化的相机观点和中度杂波的稳健性。结果证实了掌握关键点是深度掌握网络的有效输出表示的假设，为预期的滋扰因素提供鲁棒性。

在机器人操作中，以前未见的新物体的自主抓住是一个持续的挑战。在过去的几十年中，已经提出了许多方法来解决特定机器人手的问题。最近引入的Unigrasp框架具有推广到不同类型的机器人抓手的能力。但是，此方法不适用于具有闭环约束的抓手，并且当应用于具有MultiGRASP配置的机器人手时，具有数据范围。在本文中，我们提出了有效绘制的，这是一种独立于抓手模型规范的广义掌握合成和抓地力控制方法。有效绘制利用抓地力工作空间功能，而不是Unigrasp的抓属属性输入。这在训练过程中将记忆使用量减少了81.7％，并可以推广到更多类型的抓地力，例如具有闭环约束的抓手。通过在仿真和现实世界中进行对象抓住实验来评估有效绘制的有效性；结果表明，所提出的方法在仅考虑没有闭环约束的抓手时也胜过Unigrasp。在这些情况下，有效抓取在产生接触点的精度高9.85％，模拟中的握把成功率提高了3.10％。现实世界实验是用带有闭环约束的抓地力进行的，而Unigrasp无法处理，而有效绘制的成功率达到了83.3％。分析了该方法的抓地力故障的主要原因，突出了增强掌握性能的方法。

Generating grasp poses is a crucial component for any robot object manipulation task. In this work, we formulate the problem of grasp generation as sampling a set of grasps using a variational autoencoder and assess and refine the sampled grasps using a grasp evaluator model. Both Grasp Sampler and Grasp Refinement networks take 3D point clouds observed by a depth camera as input. We evaluate our approach in simulation and real-world robot experiments. Our approach achieves 88% success rate on various commonly used objects with diverse appearances, scales, and weights. Our model is trained purely in simulation and works in the real world without any extra steps. The video of our experiments can be found here.

Being able to grasp objects is a fundamental component of most robotic manipulation systems. In this paper, we present a new approach to simultaneously reconstruct a mesh and a dense grasp quality map of an object from a depth image. At the core of our approach is a novel camera-centric object representation called the "object shell" which is composed of an observed "entry image" and a predicted "exit image". We present an image-to-image residual ConvNet architecture in which the object shell and a grasp-quality map are predicted as separate output channels. The main advantage of the shell representation and the corresponding neural network architecture, ShellGrasp-Net, is that the input-output pixel correspondences in the shell representation are explicitly represented in the architecture. We show that this coupling yields superior generalization capabilities for object reconstruction and accurate grasp quality estimation implicitly considering the object geometry. Our approach yields an efficient dense grasp quality map and an object geometry estimate in a single forward pass. Both of these outputs can be used in a wide range of robotic manipulation applications. With rigorous experimental validation, both in simulation and on a real setup, we show that our shell-based method can be used to generate precise grasps and the associated grasp quality with over 90% accuracy. Diverse grasps computed on shell reconstructions allow the robot to select and execute grasps in cluttered scenes with more than 93% success rate.

Cloth in the real world is often crumpled, self-occluded, or folded in on itself such that key regions, such as corners, are not directly graspable, making manipulation difficult. We propose a system that leverages visual and tactile perception to unfold the cloth via grasping and sliding on edges. By doing so, the robot is able to grasp two adjacent corners, enabling subsequent manipulation tasks like folding or hanging. As components of this system, we develop tactile perception networks that classify whether an edge is grasped and estimate the pose of the edge. We use the edge classification network to supervise a visuotactile edge grasp affordance network that can grasp edges with a 90% success rate. Once an edge is grasped, we demonstrate that the robot can slide along the cloth to the adjacent corner using tactile pose estimation/control in real time. See http://nehasunil.com/visuotactile/visuotactile.html for videos.

智能服务机器人需要能够在动态环境中执行各种任务。尽管在机器人抓住方面取得了重大进展，但机器人在非结构化的现实环境中给出不同的任务时，机器人可以决定掌握位置仍然是一项挑战。为了克服这一挑战，创建一个正确的知识表示框架是关键。与以前的工作不同，在本文中，任务定义为三联体，包括掌握工具，所需的动作和目标对象。我们所提出的算法给予（掌握 - Action-Target Embeddings和关系）模型掌握工具之间的关系 - 嵌入空间中的目标对象 - 目标对象。要验证我们的方法，为特定于任务的GRASPing创建了一种新型数据集。给予新数据集的培训，并实现特定于任务的掌握推理，以94.6％的成功率。最后，在真正的服务机器人平台上测试了等级算法的有效性。等级算法在人类行为预测和人机互动中具有潜力。