人类和许多动物都表现出稳健的能力来操纵不同的物体，通常与他们的身体直接和有时与工具间接地进行操作。这种灵活性可能是由物理处理的基本一致性，例如接触和力闭合。通过将工具视为我们的机构的扩展来启发，我们提出了工具 - 作为实施例（TAE），用于处理同一表示空间中的手动对象和工具对象交互的基于工具的操作策略的参数化。结果是单一策略，可以在机器人上递归地应用于使用结束效果来操纵对象，并使用对象作为工具，即新的最终效果，以操纵其他对象。通过对不同实施例的共享经验进行掌握或推动，我们的政策表现出比训练单独的政策更高的性能。我们的框架可以利用将对启用工具的实施例的不同分辨率的所有经验用于每个操纵技能的单个通用策略。 https://sites.google.com/view/recursivemanipulation的视频

在密集的混乱中抓住是自动机器人的一项基本技能。但是，在混乱的情况下，拥挤性和遮挡造成了很大的困难，无法在没有碰撞的情况下产生有效的掌握姿势，这会导致低效率和高失败率。为了解决这些问题，我们提出了一个名为GE-GRASP的通用框架，用于在密集的混乱中用于机器人运动计划，在此，我们利用各种动作原始素来遮挡对象去除，并呈现发电机 - 评估器架构以避免空间碰撞。因此，我们的ge-grasp能够有效地抓住密集的杂物中的物体，并有希望的成功率。具体而言，我们定义了三个动作基础：面向目标的抓握，用于捕获，推动和非目标的抓握，以减少拥挤和遮挡。发电机有效地提供了参考空间信息的各种动作候选者。同时，评估人员评估了所选行动原始候选者，其中最佳动作由机器人实施。在模拟和现实世界中进行的广泛实验表明，我们的方法在运动效率和成功率方面优于杂乱无章的最新方法。此外，我们在现实世界中实现了可比的性能，因为在模拟环境中，这表明我们的GE-Grasp具有强大的概括能力。补充材料可在以下网址获得：https：//github.com/captainwudaokou/ge-grasp。

抓握是通过在一组触点上施加力和扭矩来挑选对象的过程。深度学习方法的最新进展允许在机器人对象抓地力方面快速进步。我们在过去十年中系统地调查了出版物，特别感兴趣使用最终效果姿势的所有6度自由度抓住对象。我们的综述发现了四种用于机器人抓钩的常见方法：基于抽样的方法，直接回归，强化学习和示例方法。此外，我们发现了围绕抓握的两种“支持方法”，这些方法使用深入学习来支持抓握过程，形状近似和负担能力。我们已经将本系统评论（85篇论文）中发现的出版物提炼为十个关键要点，我们认为对未来的机器人抓握和操纵研究至关重要。该调查的在线版本可从https://rhys-newbury.github.io/projects/6dof/获得

在机器人操作中，以前未见的新物体的自主抓住是一个持续的挑战。在过去的几十年中，已经提出了许多方法来解决特定机器人手的问题。最近引入的Unigrasp框架具有推广到不同类型的机器人抓手的能力。但是，此方法不适用于具有闭环约束的抓手，并且当应用于具有MultiGRASP配置的机器人手时，具有数据范围。在本文中，我们提出了有效绘制的，这是一种独立于抓手模型规范的广义掌握合成和抓地力控制方法。有效绘制利用抓地力工作空间功能，而不是Unigrasp的抓属属性输入。这在训练过程中将记忆使用量减少了81.7％，并可以推广到更多类型的抓地力，例如具有闭环约束的抓手。通过在仿真和现实世界中进行对象抓住实验来评估有效绘制的有效性；结果表明，所提出的方法在仅考虑没有闭环约束的抓手时也胜过Unigrasp。在这些情况下，有效抓取在产生接触点的精度高9.85％，模拟中的握把成功率提高了3.10％。现实世界实验是用带有闭环约束的抓地力进行的，而Unigrasp无法处理，而有效绘制的成功率达到了83.3％。分析了该方法的抓地力故障的主要原因，突出了增强掌握性能的方法。

We describe a learning-based approach to handeye coordination for robotic grasping from monocular images. To learn hand-eye coordination for grasping, we trained a large convolutional neural network to predict the probability that task-space motion of the gripper will result in successful grasps, using only monocular camera images and independently of camera calibration or the current robot pose. This requires the network to observe the spatial relationship between the gripper and objects in the scene, thus learning hand-eye coordination. We then use this network to servo the gripper in real time to achieve successful grasps. To train our network, we collected over 800,000 grasp attempts over the course of two months, using between 6 and 14 robotic manipulators at any given time, with differences in camera placement and hardware. Our experimental evaluation demonstrates that our method achieves effective real-time control, can successfully grasp novel objects, and corrects mistakes by continuous servoing.

机器人操纵可以配制成诱导一系列空间位移：其中移动的空间可以包括物体，物体的一部分或末端执行器。在这项工作中，我们提出了一个简单的模型架构，它重新排列了深度功能，以从视觉输入推断出可视输入的空间位移 - 这可以参数化机器人操作。它没有对象的假设（例如规范姿势，模型或关键点），它利用空间对称性，并且比我们学习基于视觉的操纵任务的基准替代方案更高的样本效率，并且依赖于堆叠的金字塔用看不见的物体组装套件;从操纵可变形的绳索，以将堆积的小物体推动，具有闭环反馈。我们的方法可以表示复杂的多模态策略分布，并推广到多步顺序任务，以及6dof拾取器。 10个模拟任务的实验表明，它比各种端到端基线更快地学习并概括，包括使用地面真实对象姿势的政策。我们在现实世界中使用硬件验证我们的方法。实验视频和代码可在https://transporternets.github.io获得

Both goal-agnostic and goal-oriented tasks have practical value for robotic grasping: goal-agnostic tasks target all objects in the workspace, while goal-oriented tasks aim at grasping pre-assigned goal objects. However, most current grasping methods are only better at coping with one task. In this work, we propose a bifunctional push-grasping synergistic strategy for goal-agnostic and goal-oriented grasping tasks. Our method integrates pushing along with grasping to pick up all objects or pre-assigned goal objects with high action efficiency depending on the task requirement. We introduce a bifunctional network, which takes in visual observations and outputs dense pixel-wise maps of Q values for pushing and grasping primitive actions, to increase the available samples in the action space. Then we propose a hierarchical reinforcement learning framework to coordinate the two tasks by considering the goal-agnostic task as a combination of multiple goal-oriented tasks. To reduce the training difficulty of the hierarchical framework, we design a two-stage training method to train the two types of tasks separately. We perform pre-training of the model in simulation, and then transfer the learned model to the real world without any additional real-world fine-tuning. Experimental results show that the proposed approach outperforms existing methods in task completion rate and grasp success rate with less motion number. Supplementary material is available at https: //github.com/DafaRen/Learning_Bifunctional_Push-grasping_Synergistic_Strategy_for_Goal-agnostic_and_Goal-oriented_Tasks

Grasp learning has become an exciting and important topic in robotics. Just a few years ago, the problem of grasping novel objects from unstructured piles of clutter was considered a serious research challenge. Now, it is a capability that is quickly becoming incorporated into industrial supply chain automation. How did that happen? What is the current state of the art in robotic grasp learning, what are the different methodological approaches, and what machine learning models are used? This review attempts to give an overview of the current state of the art of grasp learning research.

我们研究了如何将高分辨率触觉传感器与视觉和深度传感结合使用，以改善掌握稳定性预测。在模拟高分辨率触觉传感的最新进展，尤其是触觉模拟器，使我们能够评估如何结合感应方式训练神经网络。借助训练大型神经网络所需的大量数据，机器人模拟器提供了一种快速自动化数据收集过程的方法。我们通过消融研究扩展现有工作，并增加了从YCB基准组中获取的一组对象。我们的结果表明，尽管视觉，深度和触觉感测的组合为已知对象提供了最佳预测结果，但该网络未能推广到未知对象。我们的工作还解决了触觉模拟中机器人抓握的现有问题以及如何克服它们。

As the basis for prehensile manipulation, it is vital to enable robots to grasp as robustly as humans. In daily manipulation, our grasping system is prompt, accurate, flexible and continuous across spatial and temporal domains. Few existing methods cover all these properties for robot grasping. In this paper, we propose a new methodology for grasp perception to enable robots these abilities. Specifically, we develop a dense supervision strategy with real perception and analytic labels in the spatial-temporal domain. Additional awareness of objects' center-of-mass is incorporated into the learning process to help improve grasping stability. Utilization of grasp correspondence across observations enables dynamic grasp tracking. Our model, AnyGrasp, can generate accurate, full-DoF, dense and temporally-smooth grasp poses efficiently, and works robustly against large depth sensing noise. Embedded with AnyGrasp, we achieve a 93.3% success rate when clearing bins with over 300 unseen objects, which is comparable with human subjects under controlled conditions. Over 900 MPPH is reported on a single-arm system. For dynamic grasping, we demonstrate catching swimming robot fish in the water.

在现实世界中，教授多指的灵巧机器人在现实世界中掌握物体，这是一个充满挑战的问题，由于其高维状态和动作空间。我们提出了一个机器人学习系统，该系统可以进行少量的人类示范，并学会掌握在某些被遮挡的观察结果的情况下掌握看不见的物体姿势。我们的系统利用了一个小型运动捕获数据集，并为多指的机器人抓手生成具有多种多样且成功的轨迹的大型数据集。通过添加域随机化，我们表明我们的数据集提供了可以将其转移到策略学习者的强大抓地力轨迹。我们训练一种灵活的抓紧策略，该策略将对象的点云作为输入，并预测连续的动作以从不同初始机器人状态掌握对象。我们在模拟中评估了系统对22多伏的浮动手的有效性，并在现实世界中带有kuka手臂的23多杆Allegro机器人手。从我们的数据集中汲取的政策可以很好地概括在模拟和现实世界中的看不见的对象姿势

对于未来的家庭辅助机器人来说，在日常人类环境中了解和操纵不同的3D对象是必不可少的。旨在构建可以在各种3D形状上执行各种操纵任务的可扩展系统，最近的作品提倡并展示了有希望的结果学习视觉可行的负担能力，该结果标记了输入3D几何学上的每个点，并以完成下游任务的可能性（例如，推动下游任务）或接送）。但是，这些作品仅研究了单杆操纵任务，但是许多现实世界的任务需要两只手才能协作。在这项工作中，我们提出了一个新颖的学习框架Dualafford，以学习双手操纵任务的协作负担。该方法的核心设计是将两个抓手的二次问题减少到两个分离但相互联系的子任务中，以进行有效的学习。使用大规模的partnet-Mobility和Shapenet数据集，我们设置了四个基准任务，以进行双拖把操作。实验证明了我们方法比三个基线的有效性和优势。可以在https://hyperplane-lab.github.io/dualafford上找到其他结果和视频。

机器人外科助理（RSAs）通常用于通过专家外科医生进行微创手术。然而，长期以来充满了乏味和重复的任务，如缝合可以导致外科医生疲劳，激励缝合的自动化。随着薄反射针的视觉跟踪极具挑战性，在未反射对比涂料的情况下修改了针。作为朝向无修改针的缝合子任务自动化的步骤，我们提出了休斯顿：切换未经修改，外科手术，工具障碍针，一个问题和算法，它使用学习的主动传感策略与立体声相机本地化并对齐针头进入另一臂的可见和可访问的姿势。为了补偿机器人定位和针头感知误差，然后算法执行使用多个摄像机的高精度抓握运动。在使用Da Vinci研究套件（DVRK）的物理实验中，休斯顿成功通过了96.7％的成功率，并且能够在故障前平均地在臂32.4倍之间顺序地执行切换。在培训中看不见的针头，休斯顿实现了75-92.9％的成功率。据我们所知，这项工作是第一个研究未修改的手术针的切换。查看https://tinyurl.com/huston-surgery用于额外​​的材料。

我们介绍了栖息地2.0（H2.0），这是一个模拟平台，用于培训交互式3D环境和复杂物理的场景中的虚拟机器人。我们为体现的AI堆栈 - 数据，仿真和基准任务做出了全面的贡献。具体来说，我们提出：（i）复制：一个由艺术家的，带注释的，可重新配置的3D公寓（匹配真实空间）与铰接对象（例如可以打开/关闭的橱柜和抽屉）； （ii）H2.0：一个高性能物理学的3D模拟器，其速度超过8-GPU节点上的每秒25,000个模拟步骤（实时850x实时），代表先前工作的100倍加速；和（iii）家庭助理基准（HAB）：一套辅助机器人（整理房屋，准备杂货，设置餐桌）的一套常见任务，以测试一系列移动操作功能。这些大规模的工程贡献使我们能够系统地比较长期结构化任务中的大规模加固学习（RL）和经典的感官平面操作（SPA）管道，并重点是对新对象，容器和布局的概括。 。我们发现（1）与层次结构相比，（1）平面RL政策在HAB上挣扎； （2）具有独立技能的层次结构遭受“交接问题”的困扰，（3）水疗管道比RL政策更脆。

具有通用机器人臂的外星漫游者在月球和行星勘探中具有许多潜在的应用。将自主权引入此类系统是需要增加流浪者可以花费收集科学数据并收集样本的时间的。这项工作调查了深钢筋学习对月球上对象的基于视觉的机器人抓握的适用性。创建了一个具有程序生成数据集的新型模拟环境，以在具有不平衡的地形和严酷照明的非结构化场景中训练代理。然后，采用了无模型的非政治演员 - 批评算法来端对端学习，该策略将紧凑的OCTREE观察结果直接映射到笛卡尔空间中的连续行动。实验评估表明，与传统使用的基于图像的观测值相比，3D数据表示可以更有效地学习操纵技能。域随机化改善了以前看不见的物体和不同照明条件的新场景的学识关系的概括。为此，我们通过评估月球障碍设施中的真实机器人上的训练有素的代理来证明零射击的SIM到现实转移。

我们探索一种新的方法来感知和操纵3D铰接式物体，该物体可以概括地使机器人阐明看不见的对象。我们提出了一个基于视觉的系统，该系统学会预测各种铰接物体的各个部分的潜在运动，以指导系统的下游运动计划以表达对象。为了预测对象运动，我们训练一个神经网络，以输出一个密集的向量场，代表点云中点云中点的点运动方向。然后，我们根据该向量领域部署一个分析运动计划者，以实现产生最大发音的政策。我们完全在模拟中训练视觉系统，并演示了系统在模拟和现实世界中概括的对象实例和新颖类别的能力，并将我们的政策部署在没有任何填充的锯耶机器人上。结果表明，我们的系统在模拟和现实世界实验中都达到了最先进的性能。

强化学习是机器人抓握的一种有前途的方法，因为它可以在困难的情况下学习有效的掌握和掌握政策。但是，由于问题的高维度，用精致的机器人手来实现类似人类的操纵能力是具有挑战性的。尽管可以采用奖励成型或专家示范等补救措施来克服这个问题，但它们通常导致过分简化和有偏见的政策。我们介绍了Dext-Gen，这是一种在稀疏奖励环境中灵巧抓握的强化学习框架，适用于各种抓手，并学习无偏见和复杂的政策。通过平滑方向表示实现了抓地力和物体的完全方向控制。我们的方法具有合理的培训时间，并提供了包括所需先验知识的选项。模拟实验证明了框架对不同方案的有效性和适应性。

机器人经常面临抓住目标对象的情况，但由于其他当前物体阻止了掌握动作。我们提出了一种深入的强化学习方法，以学习掌握和推动政策，以在高度混乱的环境中操纵目标对象以解决这个问题。特别是，提出了双重强化学习模型方法，该方法在处理复杂场景时具有很高的弹性，在模拟环境中使用原始对象平均达到98％的任务完成。为了评估所提出方法的性能，我们在包装对象和一堆对象方案中进行了两组实验集，在模拟中总共进行了1000个测试。实验结果表明，该提出的方法在各种情况下都效果很好，并且表现出了最新的最新方法。演示视频，训练有素的模型和源代码可重复可重复性目的。 https://github.com/kamalnl92/self-superist-learning-for-pushing-and-grasping。

现实的操纵任务要求机器人与具有长时间运动动作序列的环境相互作用。尽管最近出现了深厚的强化学习方法，这是自动化操作行为的有希望的范式，但由于勘探负担，它们通常在长途任务中缺乏。这项工作介绍了操纵原始增强的强化学习（Maple），这是一个学习框架，可通过预定的行为原始库来增强标准强化学习算法。这些行为原始素是专门实现操纵目标（例如抓住和推动）的强大功能模块。为了使用这些异质原始素，我们制定了涉及原语的层次结构策略，并使用输入参数实例化执行。我们证明，枫树的表现优于基线方法，通过一系列模拟的操纵任务的大幅度。我们还量化了学习行为的组成结构，并突出了我们方法将策略转移到新任务变体和物理硬件的能力。视频和代码可从https://ut-aut-autin-rpl.github.io/maple获得

折叠服装可靠，有效地是由于服装的复杂动力学和高尺寸配置空间，在机器人操作中是一项漫长的挑战。一种直观的方法是最初在折叠之前将服装操纵到典型的平滑配置。在这项工作中，我们开发了一种可靠且高效的双人系统，将用户定义的指令视为折叠线，将最初弄皱的服装操纵为（1）平滑和（2）折叠配置。我们的主要贡献是一种新型的神经网络体系结构，能够预测成对的握把姿势，以参数化各种双人动作原始序列。在从4300次人类注销和自我监督的动作中学习后，机器人能够平均从120年代以下的随机初始配置折叠服装，成功率为93％。现实世界实验表明，该系统能够概括到不同颜色，形状和刚度的服装。虽然先前的工作每小时达到3-6倍（FPH），但SpeedFolding却达到30-40 FPH。