强化学习表现出巨大的潜力，可以解决复杂的接触率丰富的机器人操纵任务。但是，在现实世界中使用RL的安全是一个关键问题，因为在培训期间或看不见的情况下，RL政策是不完善的，可能会发生意外的危险碰撞。在本文中，我们提出了一个接触安全的增强增强学习框架，用于接触良好的机器人操纵，该框架在任务空间和关节空间中保持安全性。当RL政策导致机器人组与环境之间的意外冲突时，我们的框架能够立即检测到碰撞并确保接触力量很小。此外，最终效应器被强制执行，同时对外部干扰保持强大的态度。我们训练RL政策以模拟并将其转移到真正的机器人中。关于机器人擦拭任务的现实世界实验表明，即使在策略处于看不见的情况下，我们的方法也能够使接触在任务空间和关节空间中保持较小，同时拒绝对主要任务的干扰。

通过杂乱无章的场景推动对象是一项具有挑战性的任务，尤其是当要推动的对象最初具有未知的动态和触摸其他实体时，必须避免降低损害的风险。在本文中，我们通过应用深入的强化学习来解决此问题，以制造出作用在平面表面上的机器人操纵器的推动动作，在该机器人表面上必须将物体推到目标位置，同时避免同一工作空间中的其他项目。通过从场景的深度图像和环境的其他观察结果中学到的潜在空间，例如末端效应器和对象之间的接触信息以及与目标的距离，我们的框架能够学习接触率丰富的推动行动避免与其他物体发生冲突。随着实验结果具有六个自由度机器人臂的显示，我们的系统能够从开始到端位置成功地将物体推向，同时避免附近的物体。此外，我们与移动机器人的最先进的推动控制器相比，我们评估了我们的学术策略，并表明我们的代理在成功率，与其他对象的碰撞以及在各种情况下连续对象联系方面的性能更好。

我们解决了使四足机器人能够使用强化学习在现实世界中执行精确的射击技巧的问题。开发算法使腿部机器人能够向给定的目标射击足球，这是一个具有挑战性的问题，它将机器人运动控制和计划结合到一项任务中。为了解决这个问题，我们需要考虑控制动态腿部机器人期间的动态限制和运动稳定性。此外，我们需要考虑运动计划，以在地面上射击难以模拟的可变形球，并不确定摩擦到所需的位置。在本文中，我们提出了一个层次结构框架，该框架利用深厚的强化学习来训练（a）强大的运动控制政策，可以跟踪任意动议，以及（b）一项计划政策，以决定所需的踢球运动将足球射击到目标。我们将提议的框架部署在A1四足动物机器人上，使其能够将球准确地射击到现实世界中的随机目标。

安全是每个机器人平台的关键特性：任何控制政策始终遵守执行器限制，并避免与环境和人类发生冲突。在加强学习中，安全对于探索环境而不会造成任何损害更为基础。尽管有许多针对安全勘探问题的建议解决方案，但只有少数可以处理现实世界的复杂性。本文介绍了一种安全探索的新公式，用于强化各种机器人任务。我们的方法适用于广泛的机器人平台，即使在通过探索约束歧管的切线空间从数据中学到的复杂碰撞约束下也可以执行安全。我们提出的方法在模拟的高维和动态任务中实现了最先进的表现，同时避免与环境发生冲突。我们在Tiago ++机器人上展示了安全的现实部署，在操纵和人类机器人交互任务中取得了显着的性能。

对于许多丰富的接触的操作任务，顺利行为是优选的。阻抗控制作为通过模仿质量弹簧阻尼系统来调节机器人运动的有效方法。因此，机器人行为可以通过阻抗增益来确定。然而，调整不同任务的阻抗增益是棘手的，特别是对于非结构化环境。此外，在线调整最佳收益以满足时变性能指标更具挑战性。在本文中，我们在可变阻抗控制（安全ongo-VIC）中提供安全的在线增益优化。通过将阻抗控制的动态作为控制仿射系统的重构，其中阻抗增益是输入，我们提供了一种了解可变阻抗控制的新颖视角。此外，我们创新地制定了在线收集的强制信息的优化问题，以实时获得最佳阻抗增益。安全约束也嵌入到所提出的框架中以避免不需要的碰撞。我们在三个操纵任务上通过实验验证了所提出的算法。使用恒定增益基线和自适应控制方法的比较结果证明了所提出的算法对不同的场景有效和更广泛。

对于移动机器人而言，与铰接式对象的交互是一项具有挑战性但重要的任务。为了应对这一挑战，我们提出了一条新型的闭环控制管道，该管道将负担能力估计的操纵先验与基于采样的全身控制相结合。我们介绍了完全反映了代理的能力和体现的代理意识提供的概念，我们表明它们的表现优于其最先进的对应物，这些对应物仅以最终效果的几何形状为条件。此外，发现闭环负担推论使代理可以将任务分为多个非连续运动，并从失败和意外状态中恢复。最后，管道能够执行长途移动操作任务，即在现实世界中开放和关闭烤箱，成功率很高（开放：71％，关闭：72％）。

通过改变肌肉僵硬来适应符合性的能力对于人类灵巧的操纵技巧至关重要。在机器人电动机控制中纳入合规性对于执行具有人级敏捷性的现实力量相互作用任务至关重要。这项工作为合规机器人操作提供了一个深层的模型预测性变量阻抗控制器，该阻抗操纵结合了可变阻抗控制与模型预测控制（MPC）。使用最大化信息增益的勘探策略学习了机器人操纵器的广义笛卡尔阻抗模型。该模型在MPC框架内使用，以适应低级变量阻抗控制器的阻抗参数，以实现针对不同操纵任务的所需合规性行为，而无需进行任何重新培训或填充。使用Franka Emika Panda机器人操纵器在模拟和实际实验中运行的操作，使用Franka Emika Panda机器人操纵器评估深层模型预测性变量阻抗控制方法。将所提出的方法与无模型和基于模型的强化方法进行了比较，以可变阻抗控制，以进行任务和性能之间的可传递性。

机器人操纵器广泛用于现代制造过程。但是，它们在非结构化环境中的部署仍然是一个公开问题。为了应对现实世界操纵任务的多样性，复杂性和不确定性，必须开发灵活的框架，以减少环境特征的假设。近年来，加固学习（RL）为单臂机器人操纵表现出了很大的结果。然而，专注于双臂操纵的研究仍然很少见。根据经典的控制视角，解决这些任务通常涉及两个操纵器之间的相互作用的复杂建模，以及在任务中遇到的对象，以及在控制水平处耦合的两个机器人。相反，在这项工作中，我们探讨了无模型RL对双臂组件的适用性。当我们的目标是促进不限于双臂组件的方法，而是一般来说，双臂操纵，我们将尽量措施保持建模。因此，为了避免建模两个机器人与使用的组装工具之间的相互作用，我们呈现了一种模块化方法，其具有两个分散的单臂控制器，其使用单个集中式学习策略耦合。我们只使用稀疏奖励将建模努力降低到最低限度。我们的建筑使成功的装配和简单地从模拟转移到现实世界。我们展示了框架对双臂钉孔的有效性，并分析了不同动作空间的样品效率和成功率。此外，我们在处理位置不确定性时，我们比较不同的间隙和展示干扰恢复和稳健性的结果。最后，我们Zero-Shot Transfer策略在模拟中培训到现实世界并评估其性能。

本文提出了一个层次结构框架，用于计划和控制涉及使用完全插入的多指机器人手的掌握变化的刚性对象的操纵。尽管该框架可以应用于一般的灵巧操作，但我们专注于对手持操作的更复杂的定义，在该目标下，目标姿势必须达到适合使用该对象作为工具的掌握。高级别的计划者确定对象轨迹以及掌握更改，即添加，卸下或滑动手指，由低级控制器执行。尽管基于学习的策略可以适应变化，但GRASP序列是在线计划的，但用于对象跟踪和接触力控制的轨迹规划师和低级控制器仅基于模型，以稳健地实现该计划。通过将有关问题的物理和低级控制器的知识注入GRASP规划师中，它将学会成功生成类似于基于模型的优化方法生成的grasps，从而消除了此类方法的高计算成本到该方法的高度计算成本到解释变化。通过在物理模拟中进行实验，以实现现实工具使用方案，我们将在不同的工具使用任务和灵活的手模型上展示了方法的成功。此外，我们表明，与基于模型的方法相比，这种混合方法为轨迹和任务变化提供了更大的鲁棒性。

当双臂机器人夹在人类环境中的刚性物体时，环境或协作人类将对操作的物体或机器人手臂施加偶然的扰动，导致夹紧失败，损坏机器人即使伤害了人类。该研究提出了优先化的分层合规性控制，同时处理双臂机器人夹紧中的两种干扰。首先，我们使用分层二次编程（HQP）来解决联合约束下的机器人反向运动学，并优先顺序对象对象对象的干扰遵守情况。其次，我们在与F / T传感器的势头观察者中估计干扰力，并采用导纳控制来实现优异性。最后，我们在14-DOF位置控制双臂机器人Walkerx上进行验证实验，稳定地夹紧刚性物体，同时实现对扰动的依从性。

为了成为人类的有效伴侣，机器人必须越来越舒适地与环境接触。不幸的是，机器人很难区分``足够的''和``太多''力：完成任务需要一些力量，但太多可能会损害设备或伤害人类。设计合规的反馈控制器（例如刚度控制）的传统方法需要对控制参数进行手工调整，并使建立安全，有效的机器人合作者变得困难。在本文中，我们提出了一种新颖而易于实现的力反馈控制器，该反馈控制器使用控制屏障功能（CBF）直接从用户的最大允许力和扭矩的用户规格中得出合并的控制器。我们比较了传统僵硬控制的方法，以证明控制架构的潜在优势，并在人类机器人协作任务中证明了控制器的有效性：对笨重对象的合作操纵。

从意外的外部扰动中恢复的能力是双模型运动的基本机动技能。有效的答复包括不仅可以恢复平衡并保持稳定性的能力，而且在平衡恢复物质不可行时，也可以保证安全的方式。对于与双式运动有关的机器人，例如人形机器人和辅助机器人设备，可帮助人类行走，设计能够提供这种稳定性和安全性的控制器可以防止机器人损坏或防止伤害相关的医疗费用。这是一个具有挑战性的任务，因为它涉及用触点产生高维，非线性和致动系统的高动态运动。尽管使用基于模型和优化方法的前进方面，但诸如广泛领域知识的要求，诸如较大的计算时间和有限的动态变化的鲁棒性仍然会使这个打开问题。在本文中，为了解决这些问题，我们开发基于学习的算法，能够为两种不同的机器人合成推送恢复控制政策：人形机器人和有助于双模型运动的辅助机器人设备。我们的工作可以分为两个密切相关的指示：1）学习人形机器人的安全下降和预防策略，2）使用机器人辅助装置学习人类的预防策略。为实现这一目标，我们介绍了一套深度加强学习（DRL）算法，以学习使用这些机器人时提高安全性的控制策略。

本文为复杂和物理互动的任务提供了用于移动操纵器的混合学习和优化框架。该框架利用了入学型物理接口，以获得直观而简化的人类演示和高斯混合模型（GMM）/高斯混合物回归（GMR），以根据位置，速度和力剖面来编码和生成学习的任务要求。接下来，使用GMM/GMR生成的所需轨迹和力剖面，通过用二次程序加强能量箱增强笛卡尔阻抗控制器的阻抗参数可以在线优化，以确保受控系统的消极性。进行了两个实验以验证框架，将我们的方法与两种恒定刚度（高和低）的方法进行了比较。结果表明，即使在存在诸如意外的最终效应碰撞等干扰的情况下，该方法在轨迹跟踪和生成的相互作用力方面都优于其他两种情况。

在本次调查中，我们介绍了执行需要不同于环境的操作任务的机器人的当前状态，使得机器人必须隐含地或明确地控制与环境的接触力来完成任务。机器人可以执行越来越多的人体操作任务，并且在1）主题上具有越来越多的出版物，其执行始终需要联系的任务，并且通过利用完美的任务来减轻环境来缓解不确定性信息，可以在没有联系的情况下进行。最近的趋势已经看到机器人在留下的人类留给人类，例如按摩，以及诸如PEG孔的经典任务中，对其他类似任务的概率更有效，更好的误差容忍以及更快的规划或学习任务。因此，在本调查中，我们涵盖了执行此类任务的机器人的当前阶段，从调查开始所有不同的联系方式机器人可以执行，观察这些任务是如何控制和表示的，并且最终呈现所需技能的学习和规划完成这些任务。

深度加强学习为雄心机器人提供了坚定的地形的强大运动政策。迄今为止，很少有研究已经利用基于模型的方法来将这些运动技能与机械手的精确控制相结合。在这里，我们将外部动态计划纳入了基于学习的移动操纵的机置策略。我们通过在模拟中应用机器人基础上的随机扳手序列来培训基础政策，并将有无令的扳手序列预测添加到政策观察。然后，该政策学会抵消部分已知的未来干扰。随机扳手序列被使用与模型预测控制的动态计划生成的扳手预测替换为启用部署。在训练期间，我们向机械手显示零拍摄适应。在硬件上，我们展示了带有外部扳手的腿机器人的稳定运动。

In this paper, we propose a unified whole-body control framework for velocity-controlled mobile collaborative robots which can distribute task motion into the arm and mobile base according to specific task requirements by adjusting weighting factors. Our framework focuses on addressing two challenging issues in whole-body coordination: 1) different dynamic characteristics of the mobile base and the arm; 2) avoidance of violating both safety and configuration constraints. In addition, our controller involves Coupling Dynamic Movement Primitives to enable the essential capabilities for collaboration and interaction applications, such as obstacle avoidance, human teaching, and compliance control. Based on these, we design an adaptive motion mode for intuitive physical human-robot interaction through adjusting the weighting factors. The proposed controller is in closed-form and thus quite computationally efficient. Several typical experiments carried out on a real mobile collaborative robot validate the effectiveness of the proposed controller.

Cartesian impedance control is a type of motion control strategy for robots that improves safety in partially unknown environments by achieving a compliant behavior of the robot with respect to its external forces. This compliant robot behavior has the added benefit of allowing physical human guidance of the robot. In this paper, we propose a C++ implementation of compliance control valid for any torque-commanded robotic manipulator. The proposed controller implements Cartesian impedance control to track a desired end-effector pose. Additionally, joint impedance is projected in the nullspace of the Cartesian robot motion to track a desired robot joint configuration without perturbing the Cartesian motion of the robot. The proposed implementation also allows the robot to apply desired forces and torques to its environment. Several safety features such as filtering, rate limiting, and saturation are included in the proposed implementation. The core functionalities are in a re-usable base library and a Robot Operating System (ROS) ros_control integration is provided on top of that. The implementation was tested with the KUKA LBR iiwa robot and the Franka Emika Robot (Panda) both in simulation and with the physical robots.

尽管移动操作在工业和服务机器人技术方面都重要，但仍然是一个重大挑战，因为它需要将最终效应轨迹的无缝整合与导航技能以及对长匹马的推理。现有方法难以控制大型配置空间，并导航动态和未知环境。在先前的工作中，我们建议将移动操纵任务分解为任务空间中最终效果的简化运动生成器，并将移动设备分解为训练有素的强化学习代理，以说明移动基础的运动基础，以说明运动的运动可行性。在这项工作中，我们引入了移动操作的神经导航（n $^2 $ m $^2 $），该导航将这种分解扩展到复杂的障碍环境，并使其能够解决现实世界中的广泛任务。最终的方法可以在未探索的环境中执行看不见的长马任务，同时立即对动态障碍和环境变化做出反应。同时，它提供了一种定义新的移动操作任务的简单方法。我们证明了我们提出的方法在多个运动学上多样化的移动操纵器上进行的广泛模拟和现实实验的能力。代码和视频可在http://mobile-rl.cs.uni-freiburg.de上公开获得。

能够与环境进行物理相互作用的新型航空车的最新发展导致了新的应用，例如基于接触的检查。这些任务要求机器人系统将力与部分知名的环境交换，这可能包含不确定性，包括未知的空间变化摩擦特性和表面几何形状的不连续变化。找到对这些环境不确定性的强大控制策略仍然是一个公开挑战。本文提出了一种基于学习的自适应控制策略，用于航空滑动任务。特别是，基于当前控制信号，本体感受测量和触觉感应的策略，实时调整了标准阻抗控制器的收益。在学生教师学习设置中，该策略通过简化执行器动力进行了模拟培训。使用倾斜臂全向飞行器验证了所提出方法的现实性能。所提出的控制器结构结合了数据驱动和基于模型的控制方法，使我们的方法能够直接转移并不从模拟转移到真实平台。与微调状态的相互作用控制方法相比，我们达到了减少的跟踪误差和改善的干扰排斥反应。

最近，深度加固学习（RL）在机器人操作应用中表现出了一些令人印象深刻的成功。但是，由于样本效率和安全性问题，现实世界中的培训机器人是不平凡的。提出了SIM到现实的转移来解决上述问题，但引入了一个名为“现实差距”的新问题。在这项工作中，我们通过使用单个摄像头的输入来解决上述问题，为基于视觉的组装任务引入SIM模型学习框架，并在模拟环境中进行培训。我们提出了一种基于循环一致的生成对抗网络（CycleGAN）和力量控制转移方法来弥合现实差距的域适应方法。我们证明，在模拟环境中训练有训练的拟议框架可以成功地转移到真实的孔洞设置中。