Learning generalizable insertion skills in a data-efficient manner has long been a challenge in the robot learning community. While the current state-of-the-art methods with reinforcement learning (RL) show promising performance in acquiring manipulation skills, the algorithms are data-hungry and hard to generalize. To overcome the issues, in this paper we present Prim-LAfD, a simple yet effective framework to learn and adapt primitive-based insertion skills from demonstrations. Prim-LAfD utilizes black-box function optimization to learn and adapt the primitive parameters leveraging prior experiences. Human demonstrations are modeled as dense rewards guiding parameter learning. We validate the effectiveness of the proposed method on eight peg-hole and connector-socket insertion tasks. The experimental results show that our proposed framework takes less than one hour to acquire the insertion skills and as few as fifteen minutes to adapt to an unseen insertion task on a physical robot.

机器人技能系统旨在减少机器人设置时间的新制造任务。但是，对于灵巧，接触术的任务，通常很难找到正确的技能参数。一种策略是通过允许机器人系统直接学习任务来学习这些参数。对于学习问题，机器人操作员通常可以指定参数值的类型和范围。然而，鉴于他们先前的经验，机器人操作员应该能够通过提供有关在参数空间中找到最佳解决方案的知识猜测，从而进一步帮助学习过程。有趣的是，当前的机器人学习框架中没有利用这种先验知识。我们介绍了一种结合用户先验和贝叶斯优化的方法，以便在机器人部署时间快速优化机器人工业任务。我们在模拟中学习的三个任务以及直接在真实机器人系统上学习的两个任务中学习了我们的方法。此外，我们通过自动从良好表现的配置中自动构造先验来从相应的仿真任务中转移知识，以在真实系统上学习。为了处理潜在的任务目标，任务被建模为多目标问题。我们的结果表明，操作员的先验是用户指定和转移的，大大加快了富丽堂皇的阵线的发现，并且通常产生的最终性能远远超过了拟议的基线。

增强学习（RL）是一个强大的数学框架，可让机器人通过反复试验学习复杂的技能。尽管在许多应用中取得了许多成功，但RL算法仍然需要数千个试验才能融合到高性能的政策，可以在学习时产生危险的行为，并且优化的政策（通常为神经网络建模）几乎可以在无法执行的解释时给出零的解释。任务。由于这些原因，在工业环境中采用RL并不常见。另一方面，行为树（BTS）可以提供一个策略表示，a）支持模块化和可综合的技能，b）允许轻松解释机器人动作，c）提供了有利的低维参数空间。在本文中，我们提出了一种新颖的算法，该算法可以学习模拟中BT策略的参数，然后在没有任何其他培训的情况下将其推广到物理机器人。我们利用了使用数字化工作站的物理模拟器，并使用黑盒优化器优化相关参数。我们在包括避免障碍物和富含接触的插入（孔洞）的任务中，通过7道型kuka-iiwa操纵器展示了我们方法的功效，其中我们的方法优于基准。

One of today's goals for industrial robot systems is to allow fast and easy provisioning for new tasks. Skill-based systems that use planning and knowledge representation have long been one possible answer to this. However, especially with contact-rich robot tasks that need careful parameter settings, such reasoning techniques can fall short if the required knowledge not adequately modeled. We show an approach that provides a combination of task-level planning and reasoning with targeted learning of skill parameters for a task at hand. Starting from a task goal formulated in PDDL, the learnable parameters in the plan are identified and an operator can choose reward functions and parameters for the learning process. A tight integration with a knowledge framework allows to form a prior for learning and the usage of multi-objective Bayesian optimization eases to balance aspects such as safety and task performance that can often affect each other. We demonstrate the efficacy and versatility of our approach by learning skill parameters for two different contact-rich tasks and show their successful execution on a real 7-DOF KUKA-iiwa.

在本次调查中，我们介绍了执行需要不同于环境的操作任务的机器人的当前状态，使得机器人必须隐含地或明确地控制与环境的接触力来完成任务。机器人可以执行越来越多的人体操作任务，并且在1）主题上具有越来越多的出版物，其执行始终需要联系的任务，并且通过利用完美的任务来减轻环境来缓解不确定性信息，可以在没有联系的情况下进行。最近的趋势已经看到机器人在留下的人类留给人类，例如按摩，以及诸如PEG孔的经典任务中，对其他类似任务的概率更有效，更好的误差容忍以及更快的规划或学习任务。因此，在本调查中，我们涵盖了执行此类任务的机器人的当前阶段，从调查开始所有不同的联系方式机器人可以执行，观察这些任务是如何控制和表示的，并且最终呈现所需技能的学习和规划完成这些任务。

人类仍在执行许多高精度（DIS）任务，而这是自动化的理想机会。本文提供了一个框架，该框架使非专家的人类操作员能够教机器人手臂执行复杂的精确任务。该框架使用可变的笛卡尔阻抗控制器来执行从动力学人类示范中学到的轨迹。可以给出反馈以进行交互重塑或加快原始演示。董事会本地化是通过对任务委员会位置的视觉估算来完成的，并通过触觉反馈进行了完善。我们的框架在机器人基准拆卸挑战上进行了测试，该机器人必须执行复杂的精确任务，例如关键插入。结果显示每个操纵子任务的成功率很高，包括盒子中新型姿势的情况。还进行了消融研究以评估框架的组成部分。

我们介绍了基于学习的合规控制器，用于工业机器人的装配操作。我们提出了在从演示（LFD）中的一般环境中的一个解决方案，其中通过专家教师演示提供标称轨迹。这可以用于学习可以概括为组装中涉及的一个部件的新颖的技术的合适的表达，例如钉孔中的孔（PEG）插入任务。在期望中，在视觉或其他感测系统不完全准确地估计这种新颖的位置，机器人需要进一步修改产生的轨迹，以响应通过力 - 扭矩（F / T）传感器测量的力读数安装在机器人的手腕或另一个合适的位置。在组装期间遍历参考轨迹的恒定速度的假设，我们提出了一种新颖的容纳力控制器，其允许机器人安全地探索不同的接触配置。使用该控制器收集的数据用于训练高斯过程模型以预测栓地相对于目标孔的位置的未对准。我们表明所提出的基于学习的方法可以校正由PIH任务中组装部件之间的未对准引起的各种接触配置，在插入期间实现了高成功率。我们使用工业操纵器臂展示结果，并证明所提出的方法可以使用从培训的机器学习模型的力反馈来执行自适应插入。

现实的操纵任务要求机器人与具有长时间运动动作序列的环境相互作用。尽管最近出现了深厚的强化学习方法，这是自动化操作行为的有希望的范式，但由于勘探负担，它们通常在长途任务中缺乏。这项工作介绍了操纵原始增强的强化学习（Maple），这是一个学习框架，可通过预定的行为原始库来增强标准强化学习算法。这些行为原始素是专门实现操纵目标（例如抓住和推动）的强大功能模块。为了使用这些异质原始素，我们制定了涉及原语的层次结构策略，并使用输入参数实例化执行。我们证明，枫树的表现优于基线方法，通过一系列模拟的操纵任务的大幅度。我们还量化了学习行为的组成结构，并突出了我们方法将策略转移到新任务变体和物理硬件的能力。视频和代码可从https://ut-aut-autin-rpl.github.io/maple获得

在机器学习中使用大型数据集已导致出色的结果，在某些情况下，在机器上认为不可能的任务中的人数优于人类。但是，在处理身体上的互动任务时，实现人类水平的表现，例如，在接触良好的机器人操作中，仍然是一个巨大的挑战。众所周知，规范笛卡尔阻抗进行此类行动对于成功执行至关重要。加强学习（RL）之类的方法可能是解决此类问题的有希望的范式。更确切地说，在解决新任务具有巨大潜力时，使用任务不足的专家演示的方法可以利用大型数据集。但是，现有的数据收集系统是昂贵，复杂的，或者不允许进行阻抗调节。这项工作是朝着数据收集框架迈出的第一步，适合收集与使用新颖的动作空间的RL问题公式相容的基于阻抗的专家演示的大型数据集。该框架是根据对机器人操纵的可用数据收集框架进行广泛分析后根据要求设计的。结果是一个低成本且开放的远程阻抗框架，它使人类专家能够展示接触式任务。

为了执行机器人操纵任务，核心问题是确定满足任务要求的合适轨迹。存在各种计算此类轨迹的方法，是学习和优化主要驾驶技术。我们的作品建立在从示范中学习（LFD）范式的基础上，专家展示了动作，机器人学会了模仿它们。但是，专家演示不足以捕获各种任务规格，例如掌握对象的时间。在本文中，我们提出了一种新方法，以考虑LFD技能中的正式任务规格。确切地说，我们利用了系统的时间属性的一种表达形式信号时间逻辑（STL），以制定任务规格并使用黑盒优化（BBO）来相应地调整LFD技能。我们使用多个任务展示了我们的方法如何使用STL和BBO来解决LFD限制。

可以通过组合单个机器人技能来有效地解决具有挑战性的操纵任务，该技巧必须用于具体的物理环境和手头的任务。对于人类程序员来说，这是耗时的，尤其是针对力控制的技能。为此，我们提出了阴影程序反演（SPI），这是一种直接从数据推断最佳技能参数的新方法。 SPI利用无监督的学习来训练辅助区分程序表示（“影子程序”），并通过基于梯度的模型反转实现参数推断。我们的方法使使用高效的一阶优化器可以推断出最初非差异技能的最佳参数，包括当前生产中使用的许多技能变体。 SPI零射击跨任务目标概括，这意味着不需要对阴影程序进行重新训练来推断不同任务变体的参数。我们在工业和家庭场景中评估了三个不同的机器人和技能框架的方法。代码和示例可在https://innolab.artiminds.com/icra2021上找到。

在现实世界中行为的自治工人的核心挑战是调整其曲目的技能来应对其嘈杂的感知和动态。为了将技能缩放到长地平线任务，机器人应该能够通过轨迹以结构化方式学习，然后在每次步骤中单独做出瞬间决策。为此，我们提出了软演员 - 评论家高斯混合模型（SAC-GMM），一种新型混合方法，通过动态系统学习机器人技巧，并通过与环境的互动来适应自己的轨迹分配空间中的学习技巧。我们的方法结合了经典的机器人技术与深度加强学习框架的演示和利用他们的互补性。我们表明，我们的方法仅在执行初步学习技能期间使用的传感器，以提取导致更快的技能细化的相关功能。模拟和现实世界环境的广泛评估展示了我们通过利用物理交互，高维感官数据和稀疏任务完成奖励来精炼机器人技能的方法的有效性。视频，代码和预先训练的模型可用于\ url {http://sac-gmm.cs.uni-freiburg.de}。

机器人技术中最重要的挑战之一是产生准确的轨迹并控制其动态参数，以便机器人可以执行不同的任务。提供此类运动控制的能力与此类运动的编码方式密切相关。深度学习的进步在发展动态运动原语的新方法的发展方面产生了强烈的影响。在这项工作中，我们调查了与神经动态运动原始素有关的科学文献，以补充有关动态运动原语的现有调查。

Robots have been steadily increasing their presence in our daily lives, where they can work along with humans to provide assistance in various tasks on industry floors, in offices, and in homes. Automated assembly is one of the key applications of robots, and the next generation assembly systems could become much more efficient by creating collaborative human-robot systems. However, although collaborative robots have been around for decades, their application in truly collaborative systems has been limited. This is because a truly collaborative human-robot system needs to adjust its operation with respect to the uncertainty and imprecision in human actions, ensure safety during interaction, etc. In this paper, we present a system for human-robot collaborative assembly using learning from demonstration and pose estimation, so that the robot can adapt to the uncertainty caused by the operation of humans. Learning from demonstration is used to generate motion trajectories for the robot based on the pose estimate of different goal locations from a deep learning-based vision system. The proposed system is demonstrated using a physical 6 DoF manipulator in a collaborative human-robot assembly scenario. We show successful generalization of the system's operation to changes in the initial and final goal locations through various experiments.

在本文中，我们讨论了通过模仿教授双人操作任务的框架。为此，我们提出了一种从人类示范中学习合规和接触良好的机器人行为的系统和算法。提出的系统结合了入学控制和机器学习的见解，以提取控制政策，这些政策可以（a）从时空和空间中恢复并适应各种干扰，同时（b）有效利用与环境的物理接触。我们使用现实世界中的插入任务证明了方法的有效性，该任务涉及操纵对象和插入钉之间的多个同时接触。我们还研究了为这种双人设置收集培训数据的有效方法。为此，我们进行了人类受试者的研究，并分析用户报告的努力和精神需求。我们的实验表明，尽管很难提供，但在遥控演示中可用的其他力/扭矩信息对于阶段估计和任务成功至关重要。最终，力/扭矩数据大大提高了操纵鲁棒性，从而在多点插入任务中获得了90％的成功率。可以在https://bimanualmanipulation.com/上找到代码和视频

Reinforcement learning can acquire complex behaviors from high-level specifications. However, defining a cost function that can be optimized effectively and encodes the correct task is challenging in practice. We explore how inverse optimal control (IOC) can be used to learn behaviors from demonstrations, with applications to torque control of high-dimensional robotic systems. Our method addresses two key challenges in inverse optimal control: first, the need for informative features and effective regularization to impose structure on the cost, and second, the difficulty of learning the cost function under unknown dynamics for high-dimensional continuous systems. To address the former challenge, we present an algorithm capable of learning arbitrary nonlinear cost functions, such as neural networks, without meticulous feature engineering. To address the latter challenge, we formulate an efficient sample-based approximation for MaxEnt IOC. We evaluate our method on a series of simulated tasks and real-world robotic manipulation problems, demonstrating substantial improvement over prior methods both in terms of task complexity and sample efficiency.

机器人将机器人的无缝集成到人类环境需要机器人来学习如何使用现有的人类工具。学习工具操纵技能的目前方法主要依赖于目标机器人环境中提供的专家演示，例如，通过手动引导机器人操纵器或通过远程操作。在这项工作中，我们介绍了一种自动化方法，取代了一个专家演示，用YouTube视频来学习工具操纵策略。主要贡献是双重的。首先，我们设计一个对齐过程，使模拟环境与视频中观察到的真实世界。这是作为优化问题，找到刀具轨迹的空间对齐，以最大化环境给出的稀疏目标奖励。其次，我们描述了一种专注于工具的轨迹而不是人类的运动的模仿学习方法。为此，我们将加强学习与优化过程相结合，以基于对准环境中的工具运动来找到控制策略和机器人的放置。我们展示了仿真中的铲子，镰刀和锤子工具的建议方法，并展示了训练有素的政策对真正的弗兰卡·埃米卡熊猫机器人示范的卫生政策的有效性。

Reinforcement learning often suffer from the sparse reward issue in real-world robotics problems. Learning from demonstration (LfD) is an effective way to eliminate this problem, which leverages collected expert data to aid online learning. Prior works often assume that the learning agent and the expert aim to accomplish the same task, which requires collecting new data for every new task. In this paper, we consider the case where the target task is mismatched from but similar with that of the expert. Such setting can be challenging and we found existing LfD methods can not effectively guide learning in mismatched new tasks with sparse rewards. We propose conservative reward shaping from demonstration (CRSfD), which shapes the sparse rewards using estimated expert value function. To accelerate learning processes, CRSfD guides the agent to conservatively explore around demonstrations. Experimental results of robot manipulation tasks show that our approach outperforms baseline LfD methods when transferring demonstrations collected in a single task to other different but similar tasks.

Dexterous操作是机器人中的一个具有挑战性和重要问题。虽然数据驱动方法是一个有希望的方法，但由于流行方法的样本效率低，当前基准测试需要模拟或广泛的工程支持。我们为Trifinger系统提供基准，这是一个开源机器人平台，用于灵巧操纵和2020年真正的机器人挑战的重点。在挑战中取得成功的基准方法可以一般被描述为结构性政策，因为它们结合了经典机器人和现代政策优化的元素。这种诱导偏差的包含促进样品效率，可解释性，可靠性和高性能。该基准测试的关键方面是验证跨模拟和实际系统的基线，对每个解决方案的核心特征进行彻底消融研究，以及作为操纵基准的挑战的回顾性分析。本工作的代码和演示视频可以在我们的网站上找到（https://sites.google.com/view/benchmark-rrc）。

最近，深度加固学习（RL）在机器人操作应用中表现出了一些令人印象深刻的成功。但是，由于样本效率和安全性问题，现实世界中的培训机器人是不平凡的。提出了SIM到现实的转移来解决上述问题，但引入了一个名为“现实差距”的新问题。在这项工作中，我们通过使用单个摄像头的输入来解决上述问题，为基于视觉的组装任务引入SIM模型学习框架，并在模拟环境中进行培训。我们提出了一种基于循环一致的生成对抗网络（CycleGAN）和力量控制转移方法来弥合现实差距的域适应方法。我们证明，在模拟环境中训练有训练的拟议框架可以成功地转移到真实的孔洞设置中。