增强学习（RL）是一个强大的数学框架，可让机器人通过反复试验学习复杂的技能。尽管在许多应用中取得了许多成功，但RL算法仍然需要数千个试验才能融合到高性能的政策，可以在学习时产生危险的行为，并且优化的政策（通常为神经网络建模）几乎可以在无法执行的解释时给出零的解释。任务。由于这些原因，在工业环境中采用RL并不常见。另一方面，行为树（BTS）可以提供一个策略表示，a）支持模块化和可综合的技能，b）允许轻松解释机器人动作，c）提供了有利的低维参数空间。在本文中，我们提出了一种新颖的算法，该算法可以学习模拟中BT策略的参数，然后在没有任何其他培训的情况下将其推广到物理机器人。我们利用了使用数字化工作站的物理模拟器，并使用黑盒优化器优化相关参数。我们在包括避免障碍物和富含接触的插入（孔洞）的任务中，通过7道型kuka-iiwa操纵器展示了我们方法的功效，其中我们的方法优于基准。

机器人技能系统旨在减少机器人设置时间的新制造任务。但是，对于灵巧，接触术的任务，通常很难找到正确的技能参数。一种策略是通过允许机器人系统直接学习任务来学习这些参数。对于学习问题，机器人操作员通常可以指定参数值的类型和范围。然而，鉴于他们先前的经验，机器人操作员应该能够通过提供有关在参数空间中找到最佳解决方案的知识猜测，从而进一步帮助学习过程。有趣的是，当前的机器人学习框架中没有利用这种先验知识。我们介绍了一种结合用户先验和贝叶斯优化的方法，以便在机器人部署时间快速优化机器人工业任务。我们在模拟中学习的三个任务以及直接在真实机器人系统上学习的两个任务中学习了我们的方法。此外，我们通过自动从良好表现的配置中自动构造先验来从相应的仿真任务中转移知识，以在真实系统上学习。为了处理潜在的任务目标，任务被建模为多目标问题。我们的结果表明，操作员的先验是用户指定和转移的，大大加快了富丽堂皇的阵线的发现，并且通常产生的最终性能远远超过了拟议的基线。

One of today's goals for industrial robot systems is to allow fast and easy provisioning for new tasks. Skill-based systems that use planning and knowledge representation have long been one possible answer to this. However, especially with contact-rich robot tasks that need careful parameter settings, such reasoning techniques can fall short if the required knowledge not adequately modeled. We show an approach that provides a combination of task-level planning and reasoning with targeted learning of skill parameters for a task at hand. Starting from a task goal formulated in PDDL, the learnable parameters in the plan are identified and an operator can choose reward functions and parameters for the learning process. A tight integration with a knowledge framework allows to form a prior for learning and the usage of multi-objective Bayesian optimization eases to balance aspects such as safety and task performance that can often affect each other. We demonstrate the efficacy and versatility of our approach by learning skill parameters for two different contact-rich tasks and show their successful execution on a real 7-DOF KUKA-iiwa.

机器人操纵器广泛用于现代制造过程。但是，它们在非结构化环境中的部署仍然是一个公开问题。为了应对现实世界操纵任务的多样性，复杂性和不确定性，必须开发灵活的框架，以减少环境特征的假设。近年来，加固学习（RL）为单臂机器人操纵表现出了很大的结果。然而，专注于双臂操纵的研究仍然很少见。根据经典的控制视角，解决这些任务通常涉及两个操纵器之间的相互作用的复杂建模，以及在任务中遇到的对象，以及在控制水平处耦合的两个机器人。相反，在这项工作中，我们探讨了无模型RL对双臂组件的适用性。当我们的目标是促进不限于双臂组件的方法，而是一般来说，双臂操纵，我们将尽量措施保持建模。因此，为了避免建模两个机器人与使用的组装工具之间的相互作用，我们呈现了一种模块化方法，其具有两个分散的单臂控制器，其使用单个集中式学习策略耦合。我们只使用稀疏奖励将建模努力降低到最低限度。我们的建筑使成功的装配和简单地从模拟转移到现实世界。我们展示了框架对双臂钉孔的有效性，并分析了不同动作空间的样品效率和成功率。此外，我们在处理位置不确定性时，我们比较不同的间隙和展示干扰恢复和稳健性的结果。最后，我们Zero-Shot Transfer策略在模拟中培训到现实世界并评估其性能。

在本次调查中，我们介绍了执行需要不同于环境的操作任务的机器人的当前状态，使得机器人必须隐含地或明确地控制与环境的接触力来完成任务。机器人可以执行越来越多的人体操作任务，并且在1）主题上具有越来越多的出版物，其执行始终需要联系的任务，并且通过利用完美的任务来减轻环境来缓解不确定性信息，可以在没有联系的情况下进行。最近的趋势已经看到机器人在留下的人类留给人类，例如按摩，以及诸如PEG孔的经典任务中，对其他类似任务的概率更有效，更好的误差容忍以及更快的规划或学习任务。因此，在本调查中，我们涵盖了执行此类任务的机器人的当前阶段，从调查开始所有不同的联系方式机器人可以执行，观察这些任务是如何控制和表示的，并且最终呈现所需技能的学习和规划完成这些任务。

任务（SOT）控件允许机器人同时实现根据错误空间中（在）平等约束方面提出的许多优先目标。由于这种方法在每个时间步长求解了一系列二次程序（QP），而无需考虑任何时间状态的演变，因此适用于处理局部干扰。但是，其限制在于处理需要非二次目标才能实现特定目标的情况，以及应对控制干扰的情况，需要在本地进行次优的行动。最近的作品通过利用有限状态机器（FSM）来解决这一缺点，以使机器人不会陷入本地最小值的方式组成任务。然而，反应性和模块化之间的内在折衷是FSM的表征使它们在动态环境中定义反应性行为不切实际。在这封信中，我们将SOT控制策略与行为树（BTS）相结合，该任务切换结构在反应性，模块化和可重复使用方面解决了FSM的某些局限性。 Franka Emika Panda 7-DOF操纵器的实验结果显示了我们框架的稳健性，该框架使机器人可以从SOT和BTS的反应性中受益。

Learning generalizable insertion skills in a data-efficient manner has long been a challenge in the robot learning community. While the current state-of-the-art methods with reinforcement learning (RL) show promising performance in acquiring manipulation skills, the algorithms are data-hungry and hard to generalize. To overcome the issues, in this paper we present Prim-LAfD, a simple yet effective framework to learn and adapt primitive-based insertion skills from demonstrations. Prim-LAfD utilizes black-box function optimization to learn and adapt the primitive parameters leveraging prior experiences. Human demonstrations are modeled as dense rewards guiding parameter learning. We validate the effectiveness of the proposed method on eight peg-hole and connector-socket insertion tasks. The experimental results show that our proposed framework takes less than one hour to acquire the insertion skills and as few as fifteen minutes to adapt to an unseen insertion task on a physical robot.

行为树（BT）是一种在自主代理中（例如机器人或计算机游戏中的虚拟实体）之间在不同任务之间进行切换的方法。 BT是创建模块化和反应性的复杂系统的一种非常有效的方法。这些属性在许多应用中至关重要，这导致BT从计算机游戏编程到AI和机器人技术的许多分支。在本书中，我们将首先对BTS进行介绍，然后我们描述BTS与早期切换结构的关系，并且在许多情况下如何概括。然后，这些想法被用作一套高效且易于使用的设计原理的基础。安全性，鲁棒性和效率等属性对于自主系统很重要，我们描述了一套使用BTS的状态空间描述正式分析这些系统的工具。借助新的分析工具，我们可以对BTS如何推广早期方法的形式形式化。我们还显示了BTS在自动化计划和机器学习中的使用。最后，我们描述了一组扩展的工具，以捕获随机BT的行为，其中动作的结果由概率描述。这些工具可以计算成功概率和完成时间。

尽管移动操作在工业和服务机器人技术方面都重要，但仍然是一个重大挑战，因为它需要将最终效应轨迹的无缝整合与导航技能以及对长匹马的推理。现有方法难以控制大型配置空间，并导航动态和未知环境。在先前的工作中，我们建议将移动操纵任务分解为任务空间中最终效果的简化运动生成器，并将移动设备分解为训练有素的强化学习代理，以说明移动基础的运动基础，以说明运动的运动可行性。在这项工作中，我们引入了移动操作的神经导航（n $^2 $ m $^2 $），该导航将这种分解扩展到复杂的障碍环境，并使其能够解决现实世界中的广泛任务。最终的方法可以在未探索的环境中执行看不见的长马任务，同时立即对动态障碍和环境变化做出反应。同时，它提供了一种定义新的移动操作任务的简单方法。我们证明了我们提出的方法在多个运动学上多样化的移动操纵器上进行的广泛模拟和现实实验的能力。代码和视频可在http://mobile-rl.cs.uni-freiburg.de上公开获得。

从意外的外部扰动中恢复的能力是双模型运动的基本机动技能。有效的答复包括不仅可以恢复平衡并保持稳定性的能力，而且在平衡恢复物质不可行时，也可以保证安全的方式。对于与双式运动有关的机器人，例如人形机器人和辅助机器人设备，可帮助人类行走，设计能够提供这种稳定性和安全性的控制器可以防止机器人损坏或防止伤害相关的医疗费用。这是一个具有挑战性的任务，因为它涉及用触点产生高维，非线性和致动系统的高动态运动。尽管使用基于模型和优化方法的前进方面，但诸如广泛领域知识的要求，诸如较大的计算时间和有限的动态变化的鲁棒性仍然会使这个打开问题。在本文中，为了解决这些问题，我们开发基于学习的算法，能够为两种不同的机器人合成推送恢复控制政策：人形机器人和有助于双模型运动的辅助机器人设备。我们的工作可以分为两个密切相关的指示：1）学习人形机器人的安全下降和预防策略，2）使用机器人辅助装置学习人类的预防策略。为实现这一目标，我们介绍了一套深度加强学习（DRL）算法，以学习使用这些机器人时提高安全性的控制策略。

机器人将机器人的无缝集成到人类环境需要机器人来学习如何使用现有的人类工具。学习工具操纵技能的目前方法主要依赖于目标机器人环境中提供的专家演示，例如，通过手动引导机器人操纵器或通过远程操作。在这项工作中，我们介绍了一种自动化方法，取代了一个专家演示，用YouTube视频来学习工具操纵策略。主要贡献是双重的。首先，我们设计一个对齐过程，使模拟环境与视频中观察到的真实世界。这是作为优化问题，找到刀具轨迹的空间对齐，以最大化环境给出的稀疏目标奖励。其次，我们描述了一种专注于工具的轨迹而不是人类的运动的模仿学习方法。为此，我们将加强学习与优化过程相结合，以基于对准环境中的工具运动来找到控制策略和机器人的放置。我们展示了仿真中的铲子，镰刀和锤子工具的建议方法，并展示了训练有素的政策对真正的弗兰卡·埃米卡熊猫机器人示范的卫生政策的有效性。

我们介绍了基于学习的合规控制器，用于工业机器人的装配操作。我们提出了在从演示（LFD）中的一般环境中的一个解决方案，其中通过专家教师演示提供标称轨迹。这可以用于学习可以概括为组装中涉及的一个部件的新颖的技术的合适的表达，例如钉孔中的孔（PEG）插入任务。在期望中，在视觉或其他感测系统不完全准确地估计这种新颖的位置，机器人需要进一步修改产生的轨迹，以响应通过力 - 扭矩（F / T）传感器测量的力读数安装在机器人的手腕或另一个合适的位置。在组装期间遍历参考轨迹的恒定速度的假设，我们提出了一种新颖的容纳力控制器，其允许机器人安全地探索不同的接触配置。使用该控制器收集的数据用于训练高斯过程模型以预测栓地相对于目标孔的位置的未对准。我们表明所提出的基于学习的方法可以校正由PIH任务中组装部件之间的未对准引起的各种接触配置，在插入期间实现了高成功率。我们使用工业操纵器臂展示结果，并证明所提出的方法可以使用从培训的机器学习模型的力反馈来执行自适应插入。

学习灵巧的操纵技巧是计算机图形和机器人技术的长期挑战，尤其是当任务涉及手，工具和物体之间的复杂而微妙的互动时。在本文中，我们专注于基于筷子的对象搬迁任务，这些任务很常见却又要求。成功的筷子技巧的关键是稳定地抓住棍棒，这也支持精致的演习。我们会自动发现贝叶斯优化（BO）和深钢筋学习（DRL）的身体有效的筷子姿势，它适用于多种握把的样式和手工形态，而无需示例数据。作为输入，我们要移动发现的抓紧姿势和所需的对象，我们构建了基于物理的手部控制器，以在两个阶段完成重定位任务。首先，运动轨迹是为筷子合成的，并处于运动计划阶段。我们运动策划者的关键组件包括一个握把模型，以选择用于抓住对象的合适筷子配置，以及一个轨迹优化模块，以生成无碰撞的筷子轨迹。然后，我们再次通过DRL训练基于物理的手部控制器，以跟踪运动计划者产生的所需运动轨迹。我们通过重新定位各种形状和尺寸的对象，以多种诱人的样式和多种手工形态的位置来展示框架的功能。与试图学习基于筷子的技能的香草系统相比，我们的系统实现了更快的学习速度和更好的控制鲁棒性，而无需抓紧姿势优化模块和/或没有运动学运动计划者。

Policy search methods can allow robots to learn control policies for a wide range of tasks, but practical applications of policy search often require hand-engineered components for perception, state estimation, and low-level control. In this paper, we aim to answer the following question: does training the perception and control systems jointly end-toend provide better performance than training each component separately? To this end, we develop a method that can be used to learn policies that map raw image observations directly to torques at the robot's motors. The policies are represented by deep convolutional neural networks (CNNs) with 92,000 parameters, and are trained using a guided policy search method, which transforms policy search into supervised learning, with supervision provided by a simple trajectory-centric reinforcement learning method. We evaluate our method on a range of real-world manipulation tasks that require close coordination between vision and control, such as screwing a cap onto a bottle, and present simulated comparisons to a range of prior policy search methods.

最近，深度加固学习（RL）在机器人操作应用中表现出了一些令人印象深刻的成功。但是，由于样本效率和安全性问题，现实世界中的培训机器人是不平凡的。提出了SIM到现实的转移来解决上述问题，但引入了一个名为“现实差距”的新问题。在这项工作中，我们通过使用单个摄像头的输入来解决上述问题，为基于视觉的组装任务引入SIM模型学习框架，并在模拟环境中进行培训。我们提出了一种基于循环一致的生成对抗网络（CycleGAN）和力量控制转移方法来弥合现实差距的域适应方法。我们证明，在模拟环境中训练有训练的拟议框架可以成功地转移到真实的孔洞设置中。

人类仍在执行许多高精度（DIS）任务，而这是自动化的理想机会。本文提供了一个框架，该框架使非专家的人类操作员能够教机器人手臂执行复杂的精确任务。该框架使用可变的笛卡尔阻抗控制器来执行从动力学人类示范中学到的轨迹。可以给出反馈以进行交互重塑或加快原始演示。董事会本地化是通过对任务委员会位置的视觉估算来完成的，并通过触觉反馈进行了完善。我们的框架在机器人基准拆卸挑战上进行了测试，该机器人必须执行复杂的精确任务，例如关键插入。结果显示每个操纵子任务的成功率很高，包括盒子中新型姿势的情况。还进行了消融研究以评估框架的组成部分。

机器人和与世界相互作用或互动的机器人和智能系统越来越多地被用来自动化各种任务。这些系统完成这些任务的能力取决于构成机器人物理及其传感器物体的机械和电气部件，例如，感知算法感知环境，并计划和控制算法以生产和控制算法来生产和控制算法有意义的行动。因此，通常有必要在设计具体系统时考虑这些组件之间的相互作用。本文探讨了以端到端方式对机器人系统进行任务驱动的合作的工作，同时使用推理或控制算法直接优化了系统的物理组件以进行任务性能。我们首先考虑直接优化基于信标的本地化系统以达到本地化准确性的问题。设计这样的系统涉及将信标放置在整个环境中，并通过传感器读数推断位置。在我们的工作中，我们开发了一种深度学习方法，以直接优化信标的放置和位置推断以达到本地化精度。然后，我们将注意力转移到了由任务驱动的机器人及其控制器优化的相关问题上。在我们的工作中，我们首先提出基于多任务增强学习的数据有效算法。我们的方法通过利用能够在物理设计的空间上概括设计条件的控制器，有效地直接优化了物理设计和控制参数，以直接优化任务性能。然后，我们对此进行跟进，以允许对离散形态参数（例如四肢的数字和配置）进行优化。最后，我们通过探索优化的软机器人的制造和部署来得出结论。

我们解决了使四足机器人能够使用强化学习在现实世界中执行精确的射击技巧的问题。开发算法使腿部机器人能够向给定的目标射击足球，这是一个具有挑战性的问题，它将机器人运动控制和计划结合到一项任务中。为了解决这个问题，我们需要考虑控制动态腿部机器人期间的动态限制和运动稳定性。此外，我们需要考虑运动计划，以在地面上射击难以模拟的可变形球，并不确定摩擦到所需的位置。在本文中，我们提出了一个层次结构框架，该框架利用深厚的强化学习来训练（a）强大的运动控制政策，可以跟踪任意动议，以及（b）一项计划政策，以决定所需的踢球运动将足球射击到目标。我们将提议的框架部署在A1四足动物机器人上，使其能够将球准确地射击到现实世界中的随机目标。

Robots need to be able to adapt to unexpected changes in the environment such that they can autonomously succeed in their tasks. However, hand-designing feedback models for adaptation is tedious, if at all possible, making data-driven methods a promising alternative. In this paper we introduce a full framework for learning feedback models for reactive motion planning. Our pipeline starts by segmenting demonstrations of a complete task into motion primitives via a semi-automated segmentation algorithm. Then, given additional demonstrations of successful adaptation behaviors, we learn initial feedback models through learning from demonstrations. In the final phase, a sample-efficient reinforcement learning algorithm fine-tunes these feedback models for novel task settings through few real system interactions. We evaluate our approach on a real anthropomorphic robot in learning a tactile feedback task.