机器人操纵可以配制成诱导一系列空间位移：其中移动的空间可以包括物体，物体的一部分或末端执行器。在这项工作中，我们提出了一个简单的模型架构，它重新排列了深度功能，以从视觉输入推断出可视输入的空间位移 - 这可以参数化机器人操作。它没有对象的假设（例如规范姿势，模型或关键点），它利用空间对称性，并且比我们学习基于视觉的操纵任务的基准替代方案更高的样本效率，并且依赖于堆叠的金字塔用看不见的物体组装套件;从操纵可变形的绳索，以将堆积的小物体推动，具有闭环反馈。我们的方法可以表示复杂的多模态策略分布，并推广到多步顺序任务，以及6dof拾取器。 10个模拟任务的实验表明，它比各种端到端基线更快地学习并概括，包括使用地面真实对象姿势的政策。我们在现实世界中使用硬件验证我们的方法。实验视频和代码可在https://transporternets.github.io获得
translated by 谷歌翻译
运输网是最近提出的选择框架，可以从很少的专家演示中学习良好的操纵政策。转运蛋白网络如此有效的一个关键原因是，该模型将旋转模棱两可纳入挑选模块，即，该模型立即将学习的挑选知识概括为不同方向上显示的对象。本文提出了一种新颖的运输网络网络，该版本与拾音器和位置方向一样。结果，我们的模型除了像以前一样概括选择知识之外，立即将知识放置在不同的位置方向上。最终，我们的新模型比基线转运蛋白网模型更有效地有效，并且取得成功率更好。
translated by 谷歌翻译
2022-02-22
重新安排任务已被确定为智能机器人操纵的关键挑战，但是很少有方法可以精确构造看不见的结构。我们为挑选重排操作提供了视觉远见模型，该模型能够有效地学习。此外，我们开发了一个多模式的动作提案模块，该模块建立在目标条件转运者网络上，这是一种最新的模仿学习方法。我们基于图像的任务计划方法，具有视觉前瞻性的转运蛋白，只能从少数数据中学习，并以零拍的方式推广到多个看不见的任务。 TVF能够提高对模拟和真实机器人实验中看不见的任务的最先进模仿学习方法的性能。特别是，在模拟实验中，看不见的任务的平均成功率从55.4％提高到78.5％，而在实际机器人实验中，只有数十次专家示范。视频和代码可在我们的项目网站上找到：https：//chirikjianlab.github.io/tvf/
translated by 谷歌翻译
变形金刚用大型数据集的扩展能力彻底改变了视力和自然语言处理。但是在机器人的操作中，数据既有限又昂贵。我们仍然可以从具有正确的问题制定的变压器中受益吗？我们用Peract进行了调查，这是一种用于多任务6 DOF操纵的语言条件的行为结合剂。 Peract用感知器变压器编码语言目标和RGB-D Voxel观测值，并通过“检测下一个最佳素素动作”来输出离散的动作。与在2D图像上运行的框架不同，体素化的观察和动作空间为有效学习的6-DOF策略提供了强大的结构性先验。通过此公式，我们训练一个单个多任务变压器，用于18个RLBench任务（具有249个变体）和7个现实世界任务（具有18个变体），从每个任务仅几个演示。我们的结果表明，针对各种桌面任务，佩内的磨损明显优于非结构化图像到作用剂和3D Convnet基准。
translated by 谷歌翻译
Humans form mental images of 3D scenes to support counterfactual imagination, planning, and motor control. Our abilities to predict the appearance and affordance of the scene from previously unobserved viewpoints aid us in performing manipulation tasks (e.g., 6-DoF kitting) with a level of ease that is currently out of reach for existing robot learning frameworks. In this work, we aim to build artificial systems that can analogously plan actions on top of imagined images. To this end, we introduce Mental Imagery for Robotic Affordances (MIRA), an action reasoning framework that optimizes actions with novel-view synthesis and affordance prediction in the loop. Given a set of 2D RGB images, MIRA builds a consistent 3D scene representation, through which we synthesize novel orthographic views amenable to pixel-wise affordances prediction for action optimization. We illustrate how this optimization process enables us to generalize to unseen out-of-plane rotations for 6-DoF robotic manipulation tasks given a limited number of demonstrations, paving the way toward machines that autonomously learn to understand the world around them for planning actions.
translated by 谷歌翻译
2021-12-09
我们呈现神经描述符字段（NDFS），对象表示，其通过类别级别描述符在对象和目标（例如用于悬挂的机器人夹具或用于悬挂的机架）之间进行编码和相对姿势。我们使用此表示进行对象操作，在这里，在给定任务演示时，我们要在同一类别中对新对象实例重复相同的任务。我们建议通过搜索（通过优化）来实现这一目标，为演示中观察到的描述符匹配的姿势。 NDFS通过不依赖于专家标记的关键点的3D自动编码任务，方便地以自我监督的方式培训。此外，NDFS是SE（3） - 保证在所有可能的3D对象翻译和旋转中推广的性能。我们展示了在仿真和真正的机器人上的少数（5-10）示范中的操纵任务的学习。我们的性能遍历两个对象实例和6-DOF对象姿势，并且显着优于最近依赖于2D描述符的基线。项目网站：https://yilundu.github.io/ndf/。
translated by 谷歌翻译
我们研究了复杂几何物体的机器人堆叠问题。我们提出了一个挑战和多样化的这些物体，这些物体被精心设计，以便要求超出简单的“拾取”解决方案之外的策略。我们的方法是加强学习（RL）方法与基于视觉的互动政策蒸馏和模拟到现实转移相结合。我们的学习政策可以有效地处理现实世界中的多个对象组合，并展示各种各样的堆叠技能。在一个大型的实验研究中，我们调查在模拟中学习这种基于视觉的基于视觉的代理的选择，以及对真实机器人的最佳转移产生了什么影响。然后，我们利用这些策略收集的数据并通过离线RL改善它们。我们工作的视频和博客文章作为补充材料提供。
translated by 谷歌翻译
最近的作品表明，如何将大语言模型（LLM）的推理能力应用于自然语言处理以外的领域，例如机器人的计划和互动。这些具体的问题要求代理商了解世界上许多语义方面：可用技能的曲目，这些技能如何影响世界以及对世界的变化如何映射回该语言。在体现环境中规划的LLMS不仅需要考虑要做什么技能，还需要考虑如何以及何时进行操作 - 答案随着时间的推移而变化，以响应代理商自己的选择。在这项工作中，我们调查了在这种体现的环境中使用的LLM在多大程度上可以推论通过自然语言提供的反馈来源，而无需任何其他培训。我们建议，通过利用环境反馈，LLM能够形成内部独白，使他们能够在机器人控制方案中进行更丰富的处理和计划。我们研究了各种反馈来源，例如成功检测，场景描述和人类互动。我们发现，闭环语言反馈显着改善了三个领域的高级指导完成，包括模拟和真实的桌面顶部重新排列任务以及现实世界中厨房环境中的长途移动操作任务。
translated by 谷歌翻译
2021-10-09
在机器人远程操作中的研究一直围绕着行动规范 - 从连续关节控制到离散的最终效果姿势控制。但是，这些以机器人为中心的接口通常需要具有广泛机器人专业知识的熟练操作员。为了使非专家用户可以访问远程操作，我们提出了框架“场景编辑为teleperation”（座位），其中关键的想法是将传统的“以机器人为中心的”界面转换为“以场景为中心的”界面 - 而是通过控制机器人，用户专注于通过操纵现实世界对象的数字双胞胎来指定任务的目标。结果，用户可以在没有任何机器人硬件的任何专业知识的情况下执行远程关系。为了实现这一目标，我们利用一种类别 - 不合时宜的场景完整算法，该算法将现实世界工作空间（带有未知对象）转换为可操作的虚拟场景表示和一个动作捕捉算法，并在生成机器人的动作计划之前对其进行改进的动作捕捉算法。为了训练算法，我们在过程中生成了一个大规模的，多样的套件组装数据集，其中包含模仿现实世界对象套件任务的对象芯对。我们在模拟和现实世界中的实验表明，我们的框架提高了6DOF套件组装任务的效率和成功率。一项用户研究表明，与替代机器人以机器人为中心的界面相比，座椅框架参与者获得了更高的任务成功率，并报告了主观工作量较低。可以在https://www.youtube.com/watch?v=-ndr3MKPBQQ上找到视频。
translated by 谷歌翻译
2022-06-17
从语言灵活性和组成性中受益，人类自然打算使用语言来指挥体现的代理，以进行复杂的任务，例如导航和对象操纵。在这项工作中，我们旨在填补最后一英里的体现代理的空白 - 通过遵循人类的指导，例如，“将红杯子移到盒子旁边，同时将其保持直立。”为此，我们介绍了一个自动操纵求解器（AMSolver）模拟器，并基于IT构建视觉和语言操纵基准（VLMBENCH），其中包含有关机器人操纵任务的各种语言说明。具体而言，创建基于模块化规则的任务模板是为了自动生成具有语言指令的机器人演示，包括各种对象形状和外观，动作类型和运动约束。我们还开发了一个基于关键点的模型6D-Cliport，以处理多视图观察和语言输入，并输出一个6个自由度（DOF）动作的顺序。我们希望新的模拟器和基准将促进对语言引导机器人操纵的未来研究。
translated by 谷歌翻译
已证明无模型的策略学习能够学习操纵政策，可以使用单步操作原始人来解决长期的视野任务。但是，培训这些政策是一个耗时的过程，需要大量数据。我们提出了局部动力学模型（LDM），该模型有效地学习了这些操纵原始基底的状态转换函数。通过将LDM与无模型的政策学习相结合，我们可以学习可以使用一步lookahead计划来解决复杂的操纵任务的政策。我们表明，LDM既是样本效率更高又胜过其他模型体系结构。与计划结合使用时，我们可以在模拟中的几项具有挑战性的操纵任务上胜过其他基于模型和模型的政策。
translated by 谷歌翻译
我们解决了目标定向布操纵问题，这是由于布的可变形性导致的具有挑战性的任务。我们的见解是，光流量，一种通常用于视频中运动估计的技术，还可以提供相应布在观察和目标图像上的相应布构成的有效表示。我们介绍了FabricFlowNet（FFN），布料操作策略，利用流量作为输入和作为提高性能的动作表示。 FabricFlownet也根据所需目标在Bimanual和单臂动作之间提供优雅的切换。我们表明，FabricFlownet明显优于拍摄图像输入的最先进的无模型和模型的布料操作策略。我们还在生效系统上呈现实际的实验，展示了有效的SIM-to-Real Transfer。最后，我们表明我们的方法在单个方形布上训练到其他布形时，如T恤和矩形布。视频和其他补充材料可用于：https://sites.google.com/view/fabricFlownet。
translated by 谷歌翻译
抓握是通过在一组触点上施加力和扭矩来挑选对象的过程。深度学习方法的最新进展允许在机器人对象抓地力方面快速进步。我们在过去十年中系统地调查了出版物，特别感兴趣使用最终效果姿势的所有6度自由度抓住对象。我们的综述发现了四种用于机器人抓钩的常见方法：基于抽样的方法，直接回归，强化学习和示例方法。此外，我们发现了围绕抓握的两种“支持方法”，这些方法使用深入学习来支持抓握过程，形状近似和负担能力。我们已经将本系统评论（85篇论文）中发现的出版物提炼为十个关键要点，我们认为对未来的机器人抓握和操纵研究至关重要。该调查的在线版本可从https://rhys-newbury.github.io/projects/6dof/获得
translated by 谷歌翻译
当代掌握检测方法采用深度学习，实现传感器和物体模型不确定性的鲁棒性。这两个主导的方法设计了掌握质量评分或基于锚的掌握识别网络。本文通过将其视为图像空间中的关键点检测来掌握掌握检测的不同方法。深网络检测每个掌握候选者作为一对关键点，可转换为掌握代表= {x，y，w，{\ theta}} t，而不是转角点的三态或四重奏。通过将关键点分组成对来降低检测难度提高性能。为了促进捕获关键点之间的依赖关系，将非本地模块结合到网络设计中。基于离散和连续定向预测的最终过滤策略消除了错误的对应关系，并进一步提高了掌握检测性能。此处提出的方法GKNET在康奈尔和伸缩的提花数据集上的精度和速度之间实现了良好的平衡（在41.67和23.26 fps的96.9％和98.39％）之间。操纵器上的后续实验使用4种类型的抓取实验来评估GKNet，反映不同滋扰的速度：静态抓握，动态抓握，在各种相机角度抓住，夹住。 GKNet优于静态和动态掌握实验中的参考基线，同时表现出变化的相机观点和中度杂波的稳健性。结果证实了掌握关键点是深度掌握网络的有效输出表示的假设，为预期的滋扰因素提供鲁棒性。
translated by 谷歌翻译
人类和许多动物都表现出稳健的能力来操纵不同的物体，通常与他们的身体直接和有时与工具间接地进行操作。这种灵活性可能是由物理处理的基本一致性，例如接触和力闭合。通过将工具视为我们的机构的扩展来启发，我们提出了工具 - 作为实施例（TAE），用于处理同一表示空间中的手动对象和工具对象交互的基于工具的操作策略的参数化。结果是单一策略，可以在机器人上递归地应用于使用结束效果来操纵对象，并使用对象作为工具，即新的最终效果，以操纵其他对象。通过对不同实施例的共享经验进行掌握或推动，我们的政策表现出比训练单独的政策更高的性能。我们的框架可以利用将对启用工具的实施例的不同分辨率的所有经验用于每个操纵技能的单个通用策略。 https://sites.google.com/view/recursivemanipulation的视频
translated by 谷歌翻译
Grasp learning has become an exciting and important topic in robotics. Just a few years ago, the problem of grasping novel objects from unstructured piles of clutter was considered a serious research challenge. Now, it is a capability that is quickly becoming incorporated into industrial supply chain automation. How did that happen? What is the current state of the art in robotic grasp learning, what are the different methodological approaches, and what machine learning models are used? This review attempts to give an overview of the current state of the art of grasp learning research.
translated by 谷歌翻译
非结构化环境中的多步操纵任务对于学习的机器人来说非常具有挑战性。这些任务相互作用，包括可以获得的预期状态，可以实现整体任务和低级推理，以确定哪些行动将产生这些国家。我们提出了一种无模型的深度加强学习方法来学习多步理操作任务。我们介绍了一个基于视觉的模型架构的机器人操纵网络（ROMANNET），以了解动作值函数并预测操纵操作候选。我们定义基于Gaussian（TPG）奖励函数的任务进度，基于导致成功的动作原语的行动和实现整体任务目标的进展来计算奖励。为了平衡探索/剥削的比率，我们介绍了一个损失调整后的探索（LAE）政策，根据亏损估计的Boltzmann分配来确定来自行动候选人的行动。我们通过培训ROMANNET来展示我们方法的有效性，以了解模拟和现实世界中的几个挑战的多步机械管理任务。实验结果表明，我们的方法优于现有的方法，并在成功率和行动效率方面实现了最先进的性能。消融研究表明，TPG和LAE对多个块堆叠的任务特别有益。代码可用：https：//github.com/skumra/romannet
translated by 谷歌翻译
Policy search methods can allow robots to learn control policies for a wide range of tasks, but practical applications of policy search often require hand-engineered components for perception, state estimation, and low-level control. In this paper, we aim to answer the following question: does training the perception and control systems jointly end-toend provide better performance than training each component separately? To this end, we develop a method that can be used to learn policies that map raw image observations directly to torques at the robot's motors. The policies are represented by deep convolutional neural networks (CNNs) with 92,000 parameters, and are trained using a guided policy search method, which transforms policy search into supervised learning, with supervision provided by a simple trajectory-centric reinforcement learning method. We evaluate our method on a range of real-world manipulation tasks that require close coordination between vision and control, such as screwing a cap onto a bottle, and present simulated comparisons to a range of prior policy search methods.
translated by 谷歌翻译
By transferring knowledge from large, diverse, task-agnostic datasets, modern machine learning models can solve specific downstream tasks either zero-shot or with small task-specific datasets to a high level of performance. While this capability has been demonstrated in other fields such as computer vision, natural language processing or speech recognition, it remains to be shown in robotics, where the generalization capabilities of the models are particularly critical due to the difficulty of collecting real-world robotic data. We argue that one of the keys to the success of such general robotic models lies with open-ended task-agnostic training, combined with high-capacity architectures that can absorb all of the diverse, robotic data. In this paper, we present a model class, dubbed Robotics Transformer, that exhibits promising scalable model properties. We verify our conclusions in a study of different model classes and their ability to generalize as a function of the data size, model size, and data diversity based on a large-scale data collection on real robots performing real-world tasks. The project's website and videos can be found at robotics-transformer.github.io
translated by 谷歌翻译
折叠服装可靠，有效地是由于服装的复杂动力学和高尺寸配置空间，在机器人操作中是一项漫长的挑战。一种直观的方法是最初在折叠之前将服装操纵到典型的平滑配置。在这项工作中，我们开发了一种可靠且高效的双人系统，将用户定义的指令视为折叠线，将最初弄皱的服装操纵为（1）平滑和（2）折叠配置。我们的主要贡献是一种新型的神经网络体系结构，能够预测成对的握把姿势，以参数化各种双人动作原始序列。在从4300次人类注销和自我监督的动作中学习后，机器人能够平均从120年代以下的随机初始配置折叠服装，成功率为93％。现实世界实验表明，该系统能够概括到不同颜色，形状和刚度的服装。虽然先前的工作每小时达到3-6倍（FPH），但SpeedFolding却达到30-40 FPH。
translated by 谷歌翻译