机器人经常面临抓住目标对象的情况，但由于其他当前物体阻止了掌握动作。我们提出了一种深入的强化学习方法，以学习掌握和推动政策，以在高度混乱的环境中操纵目标对象以解决这个问题。特别是，提出了双重强化学习模型方法，该方法在处理复杂场景时具有很高的弹性，在模拟环境中使用原始对象平均达到98％的任务完成。为了评估所提出方法的性能，我们在包装对象和一堆对象方案中进行了两组实验集，在模拟中总共进行了1000个测试。实验结果表明，该提出的方法在各种情况下都效果很好，并且表现出了最新的最新方法。演示视频，训练有素的模型和源代码可重复可重复性目的。 https://github.com/kamalnl92/self-superist-learning-for-pushing-and-grasping。

Both goal-agnostic and goal-oriented tasks have practical value for robotic grasping: goal-agnostic tasks target all objects in the workspace, while goal-oriented tasks aim at grasping pre-assigned goal objects. However, most current grasping methods are only better at coping with one task. In this work, we propose a bifunctional push-grasping synergistic strategy for goal-agnostic and goal-oriented grasping tasks. Our method integrates pushing along with grasping to pick up all objects or pre-assigned goal objects with high action efficiency depending on the task requirement. We introduce a bifunctional network, which takes in visual observations and outputs dense pixel-wise maps of Q values for pushing and grasping primitive actions, to increase the available samples in the action space. Then we propose a hierarchical reinforcement learning framework to coordinate the two tasks by considering the goal-agnostic task as a combination of multiple goal-oriented tasks. To reduce the training difficulty of the hierarchical framework, we design a two-stage training method to train the two types of tasks separately. We perform pre-training of the model in simulation, and then transfer the learned model to the real world without any additional real-world fine-tuning. Experimental results show that the proposed approach outperforms existing methods in task completion rate and grasp success rate with less motion number. Supplementary material is available at https: //github.com/DafaRen/Learning_Bifunctional_Push-grasping_Synergistic_Strategy_for_Goal-agnostic_and_Goal-oriented_Tasks

如今，机器人在我们的日常生活中起着越来越重要的作用。在以人为本的环境中，机器人经常会遇到成堆的对象，包装的项目或孤立的对象。因此，机器人必须能够在各种情况下掌握和操纵不同的物体，以帮助人类进行日常任务。在本文中，我们提出了一种多视图深度学习方法，以处理以人为中心的域中抓住强大的对象。特别是，我们的方法将任意对象的点云作为输入，然后生成给定对象的拼字图。获得的视图最终用于估计每个对象的像素抓握合成。我们使用小对象抓住数据集训练模型端到端，并在模拟和现实世界数据上对其进行测试，而无需进行任何进一步的微调。为了评估所提出方法的性能，我们在三种情况下进行了广泛的实验集，包括孤立的对象，包装的项目和一堆对象。实验结果表明，我们的方法在所有仿真和现实机器人方案中都表现出色，并且能够在各种场景配置中实现新颖对象的可靠闭环抓握。

在密集的混乱中抓住是自动机器人的一项基本技能。但是，在混乱的情况下，拥挤性和遮挡造成了很大的困难，无法在没有碰撞的情况下产生有效的掌握姿势，这会导致低效率和高失败率。为了解决这些问题，我们提出了一个名为GE-GRASP的通用框架，用于在密集的混乱中用于机器人运动计划，在此，我们利用各种动作原始素来遮挡对象去除，并呈现发电机 - 评估器架构以避免空间碰撞。因此，我们的ge-grasp能够有效地抓住密集的杂物中的物体，并有希望的成功率。具体而言，我们定义了三个动作基础：面向目标的抓握，用于捕获，推动和非目标的抓握，以减少拥挤和遮挡。发电机有效地提供了参考空间信息的各种动作候选者。同时，评估人员评估了所选行动原始候选者，其中最佳动作由机器人实施。在模拟和现实世界中进行的广泛实验表明，我们的方法在运动效率和成功率方面优于杂乱无章的最新方法。此外，我们在现实世界中实现了可比的性能，因为在模拟环境中，这表明我们的GE-Grasp具有强大的概括能力。补充材料可在以下网址获得：https：//github.com/captainwudaokou/ge-grasp。

非结构化环境中的多步操纵任务对于学习的机器人来说非常具有挑战性。这些任务相互作用，包括可以获得的预期状态，可以实现整体任务和低级推理，以确定哪些行动将产生这些国家。我们提出了一种无模型的深度加强学习方法来学习多步理操作任务。我们介绍了一个基于视觉的模型架构的机器人操纵网络（ROMANNET），以了解动作值函数并预测操纵操作候选。我们定义基于Gaussian（TPG）奖励函数的任务进度，基于导致成功的动作原语的行动和实现整体任务目标的进展来计算奖励。为了平衡探索/剥削的比率，我们介绍了一个损失调整后的探索（LAE）政策，根据亏损估计的Boltzmann分配来确定来自行动候选人的行动。我们通过培训ROMANNET来展示我们方法的有效性，以了解模拟和现实世界中的几个挑战的多步机械管理任务。实验结果表明，我们的方法优于现有的方法，并在成功率和行动效率方面实现了最先进的性能。消融研究表明，TPG和LAE对多个块堆叠的任务特别有益。代码可用：https：//github.com/skumra/romannet

在以人为本的环境中工作的机器人需要知道场景中存在哪种物体，以及如何掌握和操纵不同情况下的各种对象，以帮助人类在日常任务中。因此，对象识别和抓握是此类机器人的两个关键功能。最先进的解决物体识别并将其抓握为两个单独的问题，同时都使用可视输入。此外，在训练阶段之后，机器人的知识是固定的。在这种情况下，如果机器人面临新的对象类别，则必须从划痕中重新培训以结合新信息而无需灾难性干扰。为了解决这个问题，我们提出了一个深入的学习架构，具有增强的存储器能力来处理开放式对象识别和同时抓握。特别地，我们的方法将物体的多视图作为输入，并共同估计像素 - 方向掌握配置以及作为输出的深度和旋转不变表示。然后通过元主动学习技术使用所获得的表示用于开放式对象识别。我们展示了我们掌握从未见过的对象的方法的能力，并在模拟和现实世界中使用非常少数的例子在现场使用很少的例子快速学习新的对象类别。

在现实世界中的机器人在现实环境中的许多可能的应用领域都铰接机器人掌握物体的能力。因此，机器人Grasping多年来一直是有效的研究领域。通过我们的出版物，我们有助于使机器人能够掌握，特别关注垃圾桶采摘应用。垃圾拣选尤其挑战，由于经常杂乱和非结构化的物体排列以及通过简单的顶部掌握的物体的频繁避免的避神。为了解决这些挑战，我们提出了一种基于软演员 - 评论家（SAC）的混合离散调整的完全自我监督的强化学习方法。我们使用参数化运动原语来推动和抓握运动，以便为我们考虑的困难设置启用灵活的适应行为。此外，我们使用数据增强来提高样本效率。我们证明了我们提出的关于具有挑战性的采摘情景的方法，其中平面掌握学习或行动离散化方法会面临很大困难

抓握是通过在一组触点上施加力和扭矩来挑选对象的过程。深度学习方法的最新进展允许在机器人对象抓地力方面快速进步。我们在过去十年中系统地调查了出版物，特别感兴趣使用最终效果姿势的所有6度自由度抓住对象。我们的综述发现了四种用于机器人抓钩的常见方法：基于抽样的方法，直接回归，强化学习和示例方法。此外，我们发现了围绕抓握的两种“支持方法”，这些方法使用深入学习来支持抓握过程，形状近似和负担能力。我们已经将本系统评论（85篇论文）中发现的出版物提炼为十个关键要点，我们认为对未来的机器人抓握和操纵研究至关重要。该调查的在线版本可从https://rhys-newbury.github.io/projects/6dof/获得

人类毫不费力地解决了在日常生活中推动任务，但解锁这些能力在机器人中仍然是一个挑战，因为这些任务的物理模型通常不准确或无法实现。最先进的数据驱动方法学会弥补这些不准确性或更换近似物理模型。尽管如此，深度Q-Networks（DQN）等方法遭受了大状态行动空间中的本地Optima。此外，他们依靠精心挑选的深度学习架构和学习范式。在本文中，我们建议框架将DQN推向策略（其中推送和如何）作为图像到图像到图像转换问题，并利用基于沙漏的架构。我们介绍了一种架构，该架构组合的预测器，其推动导致环境的变化具有专用于推动任务的状态 - 动作值预测器。此外，我们调查了职位信息编码以学习依赖于依赖的策略行为。我们在仿真实验中展示了UR5机器人手臂，即我们的整体架构帮助DQN在推动任务中达到更快，实现更高的性能，涉及具有未知动态的对象。

通过杂乱无章的场景推动对象是一项具有挑战性的任务，尤其是当要推动的对象最初具有未知的动态和触摸其他实体时，必须避免降低损害的风险。在本文中，我们通过应用深入的强化学习来解决此问题，以制造出作用在平面表面上的机器人操纵器的推动动作，在该机器人表面上必须将物体推到目标位置，同时避免同一工作空间中的其他项目。通过从场景的深度图像和环境的其他观察结果中学到的潜在空间，例如末端效应器和对象之间的接触信息以及与目标的距离，我们的框架能够学习接触率丰富的推动行动避免与其他物体发生冲突。随着实验结果具有六个自由度机器人臂的显示，我们的系统能够从开始到端位置成功地将物体推向，同时避免附近的物体。此外，我们与移动机器人的最先进的推动控制器相比，我们评估了我们的学术策略，并表明我们的代理在成功率，与其他对象的碰撞以及在各种情况下连续对象联系方面的性能更好。

非预先预先推动动作有可能从其周围杂波中分割目标物体，以便于靶的机器人抓握。为了解决这个问题，我们利用了一个启发式规则，使目标对象将目标对象移动到工作空间的空白区域，并证明这种简单的启发式规则能够达到分割。此外，我们将这种启发式规则纳入奖励，以便培训更有效的加强学习（RL）代理进行分割。仿真实验表明，这种洞察力会提高性能。最后，我们的结果表明，基于RL的政策隐含地了解与决策方面的类似启发式类似的东西。

当代掌握检测方法采用深度学习，实现传感器和物体模型不确定性的鲁棒性。这两个主导的方法设计了掌握质量评分或基于锚的掌握识别网络。本文通过将其视为图像空间中的关键点检测来掌握掌握检测的不同方法。深网络检测每个掌握候选者作为一对关键点，可转换为掌握代表= {x，y，w，{\ theta}} t，而不是转角点的三态或四重奏。通过将关键点分组成对来降低检测难度提高性能。为了促进捕获关键点之间的依赖关系，将非本地模块结合到网络设计中。基于离散和连续定向预测的最终过滤策略消除了错误的对应关系，并进一步提高了掌握检测性能。此处提出的方法GKNET在康奈尔和伸缩的提花数据集上的精度和速度之间实现了良好的平衡（在41.67和23.26 fps的96.9％和98.39％）之间。操纵器上的后续实验使用4种类型的抓取实验来评估GKNet，反映不同滋扰的速度：静态抓握，动态抓握，在各种相机角度抓住，夹住。 GKNet优于静态和动态掌握实验中的参考基线，同时表现出变化的相机观点和中度杂波的稳健性。结果证实了掌握关键点是深度掌握网络的有效输出表示的假设，为预期的滋扰因素提供鲁棒性。

人类和许多动物都表现出稳健的能力来操纵不同的物体，通常与他们的身体直接和有时与工具间接地进行操作。这种灵活性可能是由物理处理的基本一致性，例如接触和力闭合。通过将工具视为我们的机构的扩展来启发，我们提出了工具 - 作为实施例（TAE），用于处理同一表示空间中的手动对象和工具对象交互的基于工具的操作策略的参数化。结果是单一策略，可以在机器人上递归地应用于使用结束效果来操纵对象，并使用对象作为工具，即新的最终效果，以操纵其他对象。通过对不同实施例的共享经验进行掌握或推动，我们的政策表现出比训练单独的政策更高的性能。我们的框架可以利用将对启用工具的实施例的不同分辨率的所有经验用于每个操纵技能的单个通用策略。 https://sites.google.com/view/recursivemanipulation的视频

Grasp learning has become an exciting and important topic in robotics. Just a few years ago, the problem of grasping novel objects from unstructured piles of clutter was considered a serious research challenge. Now, it is a capability that is quickly becoming incorporated into industrial supply chain automation. How did that happen? What is the current state of the art in robotic grasp learning, what are the different methodological approaches, and what machine learning models are used? This review attempts to give an overview of the current state of the art of grasp learning research.

强化学习是机器人抓握的一种有前途的方法，因为它可以在困难的情况下学习有效的掌握和掌握政策。但是，由于问题的高维度，用精致的机器人手来实现类似人类的操纵能力是具有挑战性的。尽管可以采用奖励成型或专家示范等补救措施来克服这个问题，但它们通常导致过分简化和有偏见的政策。我们介绍了Dext-Gen，这是一种在稀疏奖励环境中灵巧抓握的强化学习框架，适用于各种抓手，并学习无偏见和复杂的政策。通过平滑方向表示实现了抓地力和物体的完全方向控制。我们的方法具有合理的培训时间，并提供了包括所需先验知识的选项。模拟实验证明了框架对不同方案的有效性和适应性。

形状通知如何将对象掌握，无论是如何以及如何。因此，本文介绍了一种基于分割的架构，用于将用深度摄像机进行分解为多个基本形状的对象，以及用于机器人抓握的后处理管道。分段采用深度网络，称为PS-CNN，在具有6个类的原始形状和使用模拟引擎生成的合成数据上培训。每个原始形状都设计有参数化掌握家族，允许管道识别每个形状区域的多个掌握候选者。掌握是排序的排名，选择用于执行的第一个可行的。对于无任务掌握单个对象，该方法达到94.2％的成功率将其放置在顶部执行掌握方法中，与自上而下和SE（3）基础相比。涉及变量观点和杂波的其他测试展示了设置的鲁棒性。对于面向任务的掌握，PS-CNN实现了93.0％的成功率。总体而言，结果支持该假设，即在抓地管道内明确地编码形状原语应该提高掌握性能，包括无任务和任务相关的掌握预测。

6D在杂乱的场景中抓住是机器人操纵中的长期存在。由于状态估计不准确，开环操作管道可能会失败，而大多数端到端的掌握方法尚未缩放到具有障碍物的复杂场景。在这项工作中，我们提出了一种新的杂乱场景掌握的最终学习方法。我们的分层框架基于部分点云观测学习无碰撞目标驱动的抓取性。我们学习嵌入空间来编码培训期间的专家掌握计划和一个变形式自动化器，以在测试时间上采样不同的抓握轨迹。此外，我们培训批评网络的计划选择和选项分类器，用于通过分层加强学习切换到实例掌握策略。我们评估我们的方法并与仿真中的几个基线进行比较，并证明我们的潜在规划可以概括为真实的杂乱场景掌握任务。我们的视频和代码可以在https://sites.google.com/view/latent-grasping中找到。

具有通用机器人臂的外星漫游者在月球和行星勘探中具有许多潜在的应用。将自主权引入此类系统是需要增加流浪者可以花费收集科学数据并收集样本的时间的。这项工作调查了深钢筋学习对月球上对象的基于视觉的机器人抓握的适用性。创建了一个具有程序生成数据集的新型模拟环境，以在具有不平衡的地形和严酷照明的非结构化场景中训练代理。然后，采用了无模型的非政治演员 - 批评算法来端对端学习，该策略将紧凑的OCTREE观察结果直接映射到笛卡尔空间中的连续行动。实验评估表明，与传统使用的基于图像的观测值相比，3D数据表示可以更有效地学习操纵技能。域随机化改善了以前看不见的物体和不同照明条件的新场景的学识关系的概括。为此，我们通过评估月球障碍设施中的真实机器人上的训练有素的代理来证明零射击的SIM到现实转移。

在非结构化环境中，使用看不见的对象进行实例分割是一个具有挑战性的问题。为了解决这个问题，我们提出了一种机器人学习方法，以积极与新对象进行互动，并收集每个对象的训练标签，以进一步进行微调以提高细分模型的性能，同时避免手动标记数据集的耗时过程。通过端到端的强化学习对奇异和抓斗（SAG）政策进行培训。考虑到一堆混乱的对象，我们的方法选择推动和抓住动作来打破混乱并进行对象不合时宜的抓握，而SAG策略则将其作为输入视觉观察和不完善的分割。我们将问题分解为三个子任务：（1）对象singulation子任务旨在将对象彼此分开，从而产生更多的空间，从而减轻了（2）无碰撞抓握子任务的难度； （3）通过使用基于光流的二进制分类器和运动提示后处理进行传输学习，掩盖生成子任务以获得自标记的地面真相蒙版。我们的系统在模拟的混乱场景中达到了70％的单次成功率。我们系统的交互式分割可实现87.8％，73.9％和69.3％的玩具块，模拟中的YCB对象和现实世界中的新颖对象的平均精度，这表现优于几个基准。

成功掌握对象的能力在机器人中是至关重要的，因为它可以实现多个交互式下游应用程序。为此，大多数方法要么计算兴趣对象的完整6D姿势，要么学习预测一组掌握点。虽然前一种方法对多个对象实例或类没有很好地扩展，但后者需要大的注释数据集，并且受到新几何形状的普遍性能力差的阻碍。为了克服这些缺点，我们建议教授一个机器人如何用简单而简短的人类示范掌握一个物体。因此，我们的方法既不需要许多注释图像，也不限于特定的几何形状。我们首先介绍了一个小型RGB-D图像，显示人对象交互。然后利用该序列来构建表示所描绘的交互的相关手和对象网格。随后，我们完成重建对象形状的缺失部分，并估计了场景中的重建和可见对象之间的相对变换。最后，我们从物体和人手之间的相对姿势转移a-prioriz知识，随着当前对象在场景中的估计到机器人的必要抓握指令。与丰田的人类支持机器人（HSR）在真实和合成环境中的详尽评估证明了我们所提出的方法的适用性及其优势与以前的方法相比。