One of today's goals for industrial robot systems is to allow fast and easy provisioning for new tasks. Skill-based systems that use planning and knowledge representation have long been one possible answer to this. However, especially with contact-rich robot tasks that need careful parameter settings, such reasoning techniques can fall short if the required knowledge not adequately modeled. We show an approach that provides a combination of task-level planning and reasoning with targeted learning of skill parameters for a task at hand. Starting from a task goal formulated in PDDL, the learnable parameters in the plan are identified and an operator can choose reward functions and parameters for the learning process. A tight integration with a knowledge framework allows to form a prior for learning and the usage of multi-objective Bayesian optimization eases to balance aspects such as safety and task performance that can often affect each other. We demonstrate the efficacy and versatility of our approach by learning skill parameters for two different contact-rich tasks and show their successful execution on a real 7-DOF KUKA-iiwa.
translated by 谷歌翻译
机器人技能系统旨在减少机器人设置时间的新制造任务。但是,对于灵巧,接触术的任务,通常很难找到正确的技能参数。一种策略是通过允许机器人系统直接学习任务来学习这些参数。对于学习问题,机器人操作员通常可以指定参数值的类型和范围。然而,鉴于他们先前的经验,机器人操作员应该能够通过提供有关在参数空间中找到最佳解决方案的知识猜测,从而进一步帮助学习过程。有趣的是,当前的机器人学习框架中没有利用这种先验知识。我们介绍了一种结合用户先验和贝叶斯优化的方法,以便在机器人部署时间快速优化机器人工业任务。我们在模拟中学习的三个任务以及直接在真实机器人系统上学习的两个任务中学习了我们的方法。此外,我们通过自动从良好表现的配置中自动构造先验来从相应的仿真任务中转移知识,以在真实系统上学习。为了处理潜在的任务目标,任务被建模为多目标问题。我们的结果表明,操作员的先验是用户指定和转移的,大大加快了富丽堂皇的阵线的发现,并且通常产生的最终性能远远超过了拟议的基线。
translated by 谷歌翻译
增强学习(RL)是一个强大的数学框架,可让机器人通过反复试验学习复杂的技能。尽管在许多应用中取得了许多成功,但RL算法仍然需要数千个试验才能融合到高性能的政策,可以在学习时产生危险的行为,并且优化的政策(通常为神经网络建模)几乎可以在无法执行的解释时给出零的解释。任务。由于这些原因,在工业环境中采用RL并不常见。另一方面,行为树(BTS)可以提供一个策略表示,a)支持模块化和可综合的技能,b)允许轻松解释机器人动作,c)提供了有利的低维参数空间。在本文中,我们提出了一种新颖的算法,该算法可以学习模拟中BT策略的参数,然后在没有任何其他培训的情况下将其推广到物理机器人。我们利用了使用数字化工作站的物理模拟器,并使用黑盒优化器优化相关参数。我们在包括避免障碍物和富含接触的插入(孔洞)的任务中,通过7道型kuka-iiwa操纵器展示了我们方法的功效,其中我们的方法优于基准。
translated by 谷歌翻译
Learning generalizable insertion skills in a data-efficient manner has long been a challenge in the robot learning community. While the current state-of-the-art methods with reinforcement learning (RL) show promising performance in acquiring manipulation skills, the algorithms are data-hungry and hard to generalize. To overcome the issues, in this paper we present Prim-LAfD, a simple yet effective framework to learn and adapt primitive-based insertion skills from demonstrations. Prim-LAfD utilizes black-box function optimization to learn and adapt the primitive parameters leveraging prior experiences. Human demonstrations are modeled as dense rewards guiding parameter learning. We validate the effectiveness of the proposed method on eight peg-hole and connector-socket insertion tasks. The experimental results show that our proposed framework takes less than one hour to acquire the insertion skills and as few as fifteen minutes to adapt to an unseen insertion task on a physical robot.
translated by 谷歌翻译
为了执行机器人操纵任务,核心问题是确定满足任务要求的合适轨迹。存在各种计算此类轨迹的方法,是学习和优化主要驾驶技术。我们的作品建立在从示范中学习(LFD)范式的基础上,专家展示了动作,机器人学会了模仿它们。但是,专家演示不足以捕获各种任务规格,例如掌握对象的时间。在本文中,我们提出了一种新方法,以考虑LFD技能中的正式任务规格。确切地说,我们利用了系统的时间属性的一种表达形式信号时间逻辑(STL),以制定任务规格并使用黑盒优化(BBO)来相应地调整LFD技能。我们使用多个任务展示了我们的方法如何使用STL和BBO来解决LFD限制。
translated by 谷歌翻译
学习灵巧的操纵技巧是计算机图形和机器人技术的长期挑战,尤其是当任务涉及手,工具和物体之间的复杂而微妙的互动时。在本文中,我们专注于基于筷子的对象搬迁任务,这些任务很常见却又要求。成功的筷子技巧的关键是稳定地抓住棍棒,这也支持精致的演习。我们会自动发现贝叶斯优化(BO)和深钢筋学习(DRL)的身体有效的筷子姿势,它适用于多种握把的样式和手工形态,而无需示例数据。作为输入,我们要移动发现的抓紧姿势和所需的对象,我们构建了基于物理的手部控制器,以在两个阶段完成重定位任务。首先,运动轨迹是为筷子合成的,并处于运动计划阶段。我们运动策划者的关键组件包括一个握把模型,以选择用于抓住对象的合适筷子配置,以及一个轨迹优化模块,以生成无碰撞的筷子轨迹。然后,我们再次通过DRL训练基于物理的手部控制器,以跟踪运动计划者产生的所需运动轨迹。我们通过重新定位各种形状和尺寸的对象,以多种诱人的样式和多种手工形态的位置来展示框架的功能。与试图学习基于筷子的技能的香草系统相比,我们的系统实现了更快的学习速度和更好的控制鲁棒性,而无需抓紧姿势优化模块和/或没有运动学运动计划者。
translated by 谷歌翻译
可以通过组合单个机器人技能来有效地解决具有挑战性的操纵任务,该技巧必须用于具体的物理环境和手头的任务。对于人类程序员来说,这是耗时的,尤其是针对力控制的技能。为此,我们提出了阴影程序反演(SPI),这是一种直接从数据推断最佳技能参数的新方法。 SPI利用无监督的学习来训练辅助区分程序表示(“影子程序”),并通过基于梯度的模型反转实现参数推断。我们的方法使使用高效的一阶优化器可以推断出最初非差异技能的最佳参数,包括当前生产中使用的许多技能变体。 SPI零射击跨任务目标概括,这意味着不需要对阴影程序进行重新训练来推断不同任务变体的参数。我们在工业和家庭场景中评估了三个不同的机器人和技能框架的方法。代码和示例可在https://innolab.artiminds.com/icra2021上找到。
translated by 谷歌翻译
In the process of materials discovery, chemists currently need to perform many laborious, time-consuming, and often dangerous lab experiments. To accelerate this process, we propose a framework for robots to assist chemists by performing lab experiments autonomously. The solution allows a general-purpose robot to perform diverse chemistry experiments and efficiently make use of available lab tools. Our system can load high-level descriptions of chemistry experiments, perceive a dynamic workspace, and autonomously plan the required actions and motions to perform the given chemistry experiments with common tools found in the existing lab environment. Our architecture uses a modified PDDLStream solver for integrated task and constrained motion planning, which generates plans and motions that are guaranteed to be safe by preventing collisions and spillage. We present a modular framework that can scale to many different experiments, actions, and lab tools. In this work, we demonstrate the utility of our framework on three pouring skills and two foundational chemical experiments for materials synthesis: solubility and recrystallization. More experiments and updated evaluations can be found at https://ac-rad.github.io/arc-icra2023.
translated by 谷歌翻译
我们介绍了栖息地2.0(H2.0),这是一个模拟平台,用于培训交互式3D环境和复杂物理的场景中的虚拟机器人。我们为体现的AI堆栈 - 数据,仿真和基准任务做出了全面的贡献。具体来说,我们提出:(i)复制:一个由艺术家的,带注释的,可重新配置的3D公寓(匹配真实空间)与铰接对象(例如可以打开/关闭的橱柜和抽屉); (ii)H2.0:一个高性能物理学的3D模拟器,其速度超过8-GPU节点上的每秒25,000个模拟步骤(实时850x实时),代表先前工作的100倍加速;和(iii)家庭助理基准(HAB):一套辅助机器人(整理房屋,准备杂货,设置餐桌)的一套常见任务,以测试一系列移动操作功能。这些大规模的工程贡献使我们能够系统地比较长期结构化任务中的大规模加固学习(RL)和经典的感官平面操作(SPA)管道,并重点是对新对象,容器和布局的概括。 。我们发现(1)与层次结构相比,(1)平面RL政策在HAB上挣扎; (2)具有独立技能的层次结构遭受“交接问题”的困扰,(3)水疗管道比RL政策更脆。
translated by 谷歌翻译
Solving real-world sequential manipulation tasks requires robots to have a repertoire of skills applicable to a wide range of circumstances. To acquire such skills using data-driven approaches, we need massive and diverse training data which is often labor-intensive and non-trivial to collect and curate. In this work, we introduce Active Task Randomization (ATR), an approach that learns visuomotor skills for sequential manipulation by automatically creating feasible and novel tasks in simulation. During training, our approach procedurally generates tasks using a graph-based task parameterization. To adaptively estimate the feasibility and novelty of sampled tasks, we develop a relational neural network that maps each task parameter into a compact embedding. We demonstrate that our approach can automatically create suitable tasks for efficiently training the skill policies to handle diverse scenarios with a variety of objects. We evaluate our method on simulated and real-world sequential manipulation tasks by composing the learned skills using a task planner. Compared to baseline methods, the skills learned using our approach consistently achieve better success rates.
translated by 谷歌翻译
我们研究了一种模块化方法,可以解决对象重排的长马移动操作任务,该任务将完整的任务分解为一系列子任务。为了解决整个任务,先前的工作将具有点目标导航技能的多个固定操作技巧,这些技巧是在子任务上单独学习的。尽管比整体端到端的RL政策更有效,但该框架遭受了技能链条的复杂错误,例如导航到一个不良位置,在这种情况下,固定操作技能无法达到其目标进行操纵。为此,我们建议操纵技巧应包括移动性,以便从多个位置与目标对象进行互动,同时导航技能可能具有多个终点,从而导致成功的操纵。我们通过实施移动操纵技能而不是固定技能来实现这些想法,并训练接受区域目标而不是积分目标的导航技能。我们在家庭助理基准(HAB)中评估了三个挑战性的长途移动操纵任务M3,并在3个挑战性的长途移动操纵任务上评估了我们的多技能,并且与基线相比表现出了出色的性能。
translated by 谷歌翻译
机器人需要在约束环境(例如架子和橱柜)中操纵物体,以帮助人类在房屋和办公室等日常设置中。这些限制因减少掌握能力而变得难以操纵,因此机器人需要使用非忽视策略来利用对象环境联系来执行操纵任务。为了应对在这种情况下规划和控制接触性富裕行为的挑战,该工作使用混合力量速度控制器(HFVC)作为技能表示和计划的技能序列,并使用学到的先决条件进行了计划。尽管HFVC自然能够实现稳健且合规的富裕行为,但合成它们的求解器传统上依赖于精确的对象模型和对物体姿势的闭环反馈,这些反馈因遮挡而在约束环境中很难获得。我们首先使用HFVC综合框架放松了HFVC对精确模型和反馈的需求,然后学习一个基于点云的前提函数,以对HFVC执行仍将成功地进行分类,尽管建模不正确。最后,我们在基于搜索的任务计划者中使用学到的前提来完成货架域中的接触式操纵任务。我们的方法达到了$ 73.2 \%$的任务成功率,表现优于基线实现的$ 51.5 \%$,而没有学习的先决条件。在模拟中训练了前提函数时,它也可以转移到现实世界中,而无需进行其他微调。
translated by 谷歌翻译
现实的操纵任务要求机器人与具有长时间运动动作序列的环境相互作用。尽管最近出现了深厚的强化学习方法,这是自动化操作行为的有希望的范式,但由于勘探负担,它们通常在长途任务中缺乏。这项工作介绍了操纵原始增强的强化学习(Maple),这是一个学习框架,可通过预定的行为原始库来增强标准强化学习算法。这些行为原始素是专门实现操纵目标(例如抓住和推动)的强大功能模块。为了使用这些异质原始素,我们制定了涉及原语的层次结构策略,并使用输入参数实例化执行。我们证明,枫树的表现优于基线方法,通过一系列模拟的操纵任务的大幅度。我们还量化了学习行为的组成结构,并突出了我们方法将策略转移到新任务变体和物理硬件的能力。视频和代码可从https://ut-aut-autin-rpl.github.io/maple获得
translated by 谷歌翻译
在本文中,我们研究了可以从原始图像中学习低级技能的曲目的问题,这些曲目可以测序以完成长效的视觉运动任务。强化学习(RL)是一种自主获取短疗法技能的有前途的方法。但是,RL算法的重点很大程度上是这些个人技能的成功,而不是学习和扎根大量的技能曲目,这些技能可以对这些技能进行测序,这些技能可以对完成扩展的多阶段任务进行测序。后者需要稳健性和持久性,因为技能的错误会随着时间的流逝而复杂,并且可能要求机器人在其曲目中具有许多原始技能,而不仅仅是一个。为此,我们介绍了Ember,Ember是一种基于模型的RL方法,用于学习原始技能,适合完成长途视觉运动任务。 Ember使用学识渊博的模型,评论家和成功分类器学习和计划,成功分类器既可以作为RL的奖励功能,又是一种基础机制,可连续检测机器人在失败或扰动下是否应重试技能。此外,学到的模型是任务不合时宜的,并使用来自所有技能的数据进行了培训,从而使机器人能够有效地学习许多不同的原语。这些视觉运动原始技能及其相关的前后条件可以直接与现成的符号计划者结合在一起,以完成长途任务。在Franka Emika机器人部门上,我们发现Ember使机器人能够以85%的成功率完成三个长马视觉运动任务,例如组织办公桌,文件柜和抽屉,需要排序多达12个技能,这些技能最多需要12个技能,涉及14个独特的学识渊博,并要求对新物体进行概括。
translated by 谷歌翻译
任务(SOT)控件允许机器人同时实现根据错误空间中(在)平等约束方面提出的许多优先目标。由于这种方法在每个时间步长求解了一系列二次程序(QP),而无需考虑任何时间状态的演变,因此适用于处理局部干扰。但是,其限制在于处理需要非二次目标才能实现特定目标的情况,以及应对控制干扰的情况,需要在本地进行次优的行动。最近的作品通过利用有限状态机器(FSM)来解决这一缺点,以使机器人不会陷入本地最小值的方式组成任务。然而,反应性和模块化之间的内在折衷是FSM的表征使它们在动态环境中定义反应性行为不切实际。在这封信中,我们将SOT控制策略与行为树(BTS)相结合,该任务切换结构在反应性,模块化和可重复使用方面解决了FSM的某些局限性。 Franka Emika Panda 7-DOF操纵器的实验结果显示了我们框架的稳健性,该框架使机器人可以从SOT和BTS的反应性中受益。
translated by 谷歌翻译
机器人操纵器广泛用于现代制造过程。但是,它们在非结构化环境中的部署仍然是一个公开问题。为了应对现实世界操纵任务的多样性,复杂性和不确定性,必须开发灵活的框架,以减少环境特征的假设。近年来,加固学习(RL)为单臂机器人操纵表现出了很大的结果。然而,专注于双臂操纵的研究仍然很少见。根据经典的控制视角,解决这些任务通常涉及两个操纵器之间的相互作用的复杂建模,以及在任务中遇到的对象,以及在控制水平处耦合的两个机器人。相反,在这项工作中,我们探讨了无模型RL对双臂组件的适用性。当我们的目标是促进不限于双臂组件的方法,而是一般来说,双臂操纵,我们将尽量措施保持建模。因此,为了避免建模两个机器人与使用的组装工具之间的相互作用,我们呈现了一种模块化方法,其具有两个分散的单臂控制器,其使用单个集中式学习策略耦合。我们只使用稀疏奖励将建模努力降低到最低限度。我们的建筑使成功的装配和简单地从模拟转移到现实世界。我们展示了框架对双臂钉孔的有效性,并分析了不同动作空间的样品效率和成功率。此外,我们在处理位置不确定性时,我们比较不同的间隙和展示干扰恢复和稳健性的结果。最后,我们Zero-Shot Transfer策略在模拟中培训到现实世界并评估其性能。
translated by 谷歌翻译
我们解决了使四足机器人能够使用强化学习在现实世界中执行精确的射击技巧的问题。开发算法使腿部机器人能够向给定的目标射击足球,这是一个具有挑战性的问题,它将机器人运动控制和计划结合到一项任务中。为了解决这个问题,我们需要考虑控制动态腿部机器人期间的动态限制和运动稳定性。此外,我们需要考虑运动计划,以在地面上射击难以模拟的可变形球,并不确定摩擦到所需的位置。在本文中,我们提出了一个层次结构框架,该框架利用深厚的强化学习来训练(a)强大的运动控制政策,可以跟踪任意动议,以及(b)一项计划政策,以决定所需的踢球运动将足球射击到目标。我们将提议的框架部署在A1四足动物机器人上,使其能够将球准确地射击到现实世界中的随机目标。
translated by 谷歌翻译
我们考虑使用最低限度的努力与人类机器人团队一起完成一组$ n $任务的问题。在许多领域中,如果有许多任务有限的任务,教机器人完全自主可能会适得其反。相反,最佳策略是权衡教授机器人及其好处的成本 - 它允许机器人自动解决多少新任务。我们将其作为规划问题提出,目的是确定机器人应自动执行的任务(ACT),应将哪些任务委派给人类(委托)以及应教授机器人的哪些任务(学习)以完成所有给定的任务都以最小的努力。这个计划问题导致搜索树以$ n $成倍增长 - 使标准图形搜索算法难以理解。我们通过将问题转换为混合整数程序来解决这个问题,该程序可以使用固定求解器有效地解决解决方案质量的范围。为了预测学习的好处,我们提出了一个先进的预测分类器。给定两个任务,该分类器预测接受培训的技能是否会转移到另一个。最后,我们在模拟和现实世界中评估了有关PEG插入和乐高堆叠任务的方法,显示了人类努力的大量节省。
translated by 谷歌翻译
当机器人计划时,不同的型号可以提供不同水平的忠诚度。分析模型通常很快进行评估,但仅在有限的条件范围内起作用。同时,物理模拟器可以有效地建模对象之间的复杂相互作用,但通常在计算上更昂贵。学习何时在各种模型之间切换可以大大提高计划速度和任务成功的可靠性。在这项工作中,我们学习模型偏差估计器(MDE),以预测现实世界状态与通过过渡模型输出的状态之间的误差。 MDE可用于定义一个模型前提,该模型先决条件描述了哪些过渡是准确建模的。然后,我们提出了一个使用学到的模型先决条件在各种模型之间切换的计划者,以便在准确的条件下使用模型,并在可能的情况下更快地对模型进行优先级排序。我们在两个现实世界任务上评估我们的方法:将杆放入盒子中,将杆放入封闭的抽屉中。
translated by 谷歌翻译
通过改变肌肉僵硬来适应符合性的能力对于人类灵巧的操纵技巧至关重要。在机器人电动机控制中纳入合规性对于执行具有人级敏捷性的现实力量相互作用任务至关重要。这项工作为合规机器人操作提供了一个深层的模型预测性变量阻抗控制器,该阻抗操纵结合了可变阻抗控制与模型预测控制(MPC)。使用最大化信息增益的勘探策略学习了机器人操纵器的广义笛卡尔阻抗模型。该模型在MPC框架内使用,以适应低级变量阻抗控制器的阻抗参数,以实现针对不同操纵任务的所需合规性行为,而无需进行任何重新培训或填充。使用Franka Emika Panda机器人操纵器在模拟和实际实验中运行的操作,使用Franka Emika Panda机器人操纵器评估深层模型预测性变量阻抗控制方法。将所提出的方法与无模型和基于模型的强化方法进行了比较,以可变阻抗控制,以进行任务和性能之间的可传递性。
translated by 谷歌翻译