Legged robots pose one of the greatest challenges in robotics. Dynamic and agile maneuvers of animals cannot be imitated by existing methods that are crafted by humans. A compelling alternative is reinforcement learning, which requires minimal craftsmanship and promotes the natural evolution of a control policy. However, so far, reinforcement learning research for legged robots is mainly limited to simulation, and only few and comparably simple examples have been deployed on real systems. The primary reason is that training with real robots, particularly with dynamically balancing systems, is complicated and expensive. In the present work, we report a new method for training a neural network policy in simulation and transferring it to a state-of-the-art legged system, thereby we leverage fast, automated, and cost-effective data generation schemes. The approach is applied to the ANYmal robot, a sophisticated medium-dog-sized quadrupedal system. Using policies trained in simulation, the quadrupedal machine achieves locomotion skills that go beyond what had been achieved with prior methods: ANYmal is capable of precisely and energy-efficiently following high-level body velocity commands, running faster than ever before, and recovering from falling even in complex configurations.

从意外的外部扰动中恢复的能力是双模型运动的基本机动技能。有效的答复包括不仅可以恢复平衡并保持稳定性的能力，而且在平衡恢复物质不可行时，也可以保证安全的方式。对于与双式运动有关的机器人，例如人形机器人和辅助机器人设备，可帮助人类行走，设计能够提供这种稳定性和安全性的控制器可以防止机器人损坏或防止伤害相关的医疗费用。这是一个具有挑战性的任务，因为它涉及用触点产生高维，非线性和致动系统的高动态运动。尽管使用基于模型和优化方法的前进方面，但诸如广泛领域知识的要求，诸如较大的计算时间和有限的动态变化的鲁棒性仍然会使这个打开问题。在本文中，为了解决这些问题，我们开发基于学习的算法，能够为两种不同的机器人合成推送恢复控制政策：人形机器人和有助于双模型运动的辅助机器人设备。我们的工作可以分为两个密切相关的指示：1）学习人形机器人的安全下降和预防策略，2）使用机器人辅助装置学习人类的预防策略。为实现这一目标，我们介绍了一套深度加强学习（DRL）算法，以学习使用这些机器人时提高安全性的控制策略。

随着腿部机器人和嵌入式计算都变得越来越有能力，研究人员已经开始专注于这些机器人的现场部署。在非结构化环境中的强大自治需要对机器人周围的世界感知，以避免危害。但是，由于处理机车动力学所需的复杂规划人员和控制器，因此在网上合并在线的同时在线保持敏捷运动对腿部机器人更具挑战性。该报告将比较三种最新的感知运动方法，并讨论可以使用视觉来实现腿部自主权的不同方式。

Some of the most challenging environments on our planet are accessible to quadrupedal animals but remain out of reach for autonomous machines. Legged locomotion can dramatically expand the operational domains of robotics. However, conventional controllers for legged locomotion are based on elaborate state machines that explicitly trigger the execution of motion primitives and reflexes. These designs have escalated in complexity while falling short of the generality and robustness of animal locomotion. Here we present a radically robust controller for legged locomotion in challenging natural environments. We present a novel solution to incorporating proprioceptive feedback in locomotion control and demonstrate remarkable zero-shot generalization from simulation to natural environments. The controller is trained by reinforcement learning in simulation. It is based on a neural network that acts on a stream of proprioceptive signals. The trained controller has taken two generations of quadrupedal ANYmal robots to a variety of natural environments that are beyond the reach of prior published work in legged locomotion. The controller retains its robustness under conditions that have never been encountered during training: deformable terrain such as mud and snow, dynamic footholds such as rubble, and overground impediments such as thick vegetation and gushing water. The presented work opens new frontiers for robotics and indicates that radical robustness in natural environments can be achieved by training in much simpler domains.

基于腿部机器人的基于深的加固学习（RL）控制器表现出令人印象深刻的鲁棒性，可在不同的环境中为多个机器人平台行走。为了在现实世界中启用RL策略为类人类机器人应用，至关重要的是，建立一个可以在2D和3D地形上实现任何方向行走的系统，并由用户命令控制。在本文中，我们通过学习遵循给定步骤序列的政策来解决这个问题。该政策在一组程序生成的步骤序列（也称为脚步计划）的帮助下进行培训。我们表明，仅将即将到来的2个步骤喂入政策就足以实现全向步行，安装到位，站立和攀登楼梯。我们的方法采用课程学习对地形的复杂性，并规避了参考运动或预训练的权重的需求。我们证明了我们提出的方法在Mujoco仿真环境中学习2个新机器人平台的RL策略-HRP5P和JVRC -1-。可以在线获得培训和评估的代码。

现在，最先进的强化学习能够在模拟中学习双皮亚机器人的多功能运动，平衡和推送能力。然而，现实差距大多被忽略了，模拟结果几乎不会转移到真实硬件上。在实践中，它是不成功的，因为物理学过度简化，硬件限制被忽略，或者不能保证规律性，并且可能会发生意外的危险运动。本文提出了一个强化学习框架，该框架能够学习以平稳的开箱即用向现实的转移，仅需要瞬时的本体感受观察，可以学习强大的站立式恢复。通过结合原始的终止条件和政策平滑度调节，我们使用没有记忆力或观察历史的政策实现了稳定的学习，SIM转移和安全性。然后使用奖励成型来提供有关如何保持平衡的见解。我们展示了其在下LIMB医学外骨骼Atalante中的现实表现。

通过腿部机器人在具有挑战性的环境上进行本地导航的通用方法需要路径计划，路径跟随和运动，这通常需要机动控制策略，以准确跟踪指挥速度。但是，通过将导航问题分解为这些子任务，我们限制了机器人的功能，因为各个任务不考虑完整的解决方案空间。在这项工作中，我们建议通过深入强化学习来训练端到端政策来解决完整的问题。机器人不必在提供的时间内到达目标位置，而不是不断跟踪预算的路径。该任务的成功仅在情节结束时进行评估，这意味着该策略不需要尽快到达目标。可以免费选择其路径和运动步态。以这种方式培训政策可以打开更多可能的解决方案，这使机器人能够学习更多复杂的行为。我们比较我们的速度跟踪方法，并表明任务奖励的时间依赖性对于成功学习这些新行为至关重要。最后，我们证明了在真正的四足动物机器人上成功部署政策。机器人能够跨越具有挑战性的地形，这是以前无法实现的，同时使用更节能的步态并达到更高的成功率。

模块化机器人可以在每天重新排列到新设计中，通过为每项新任务形成定制机器人来处理各种各样的任务。但是，重新配置的机制是不够的：每个设计还需要自己独特的控制策略。人们可以从头开始为每个新设计制作一个政策，但这种方法不可扩展，特别是给出了甚至一小组模块可以生成的大量设计。相反，我们创建了一个模块化策略框架，策略结构在硬件排列上有调节，并仅使用一个培训过程来创建控制各种设计的策略。我们的方法利用了模块化机器人的运动学可以表示为设计图，其中节点作为模块和边缘作为它们之间的连接。给定机器人，它的设计图用于创建具有相同结构的策略图，其中每个节点包含一个深神经网络，以及通过共享参数的相同类型共享知识的模块（例如，Hexapod上的所有腿都相同网络参数）。我们开发了一种基于模型的强化学习算法，交织模型学习和轨迹优化，以培训策略。我们展示了模块化政策推广到培训期间没有看到的大量设计，没有任何额外的学习。最后，我们展示了与模拟和真实机器人一起控制各种设计的政策。

Reinforcement Learning (RL) has seen many recent successes for quadruped robot control. The imitation of reference motions provides a simple and powerful prior for guiding solutions towards desired solutions without the need for meticulous reward design. While much work uses motion capture data or hand-crafted trajectories as the reference motion, relatively little work has explored the use of reference motions coming from model-based trajectory optimization. In this work, we investigate several design considerations that arise with such a framework, as demonstrated through four dynamic behaviours: trot, front hop, 180 backflip, and biped stepping. These are trained in simulation and transferred to a physical Solo 8 quadruped robot without further adaptation. In particular, we explore the space of feed-forward designs afforded by the trajectory optimizer to understand its impact on RL learning efficiency and sim-to-real transfer. These findings contribute to the long standing goal of producing robot controllers that combine the interpretability and precision of model-based optimization with the robustness that model-free RL-based controllers offer.

在腿部机器人技术中，计划和执行敏捷的机动演习一直是一个长期的挑战。它需要实时得出运动计划和本地反馈政策，以处理动力学动量的非物质。为此，我们提出了一个混合预测控制器，该控制器考虑了机器人的致动界限和全身动力学。它将反馈政策与触觉信息相结合，以在本地预测未来的行动。由于采用可行性驱动的方法，它在几毫秒内收敛。我们的预测控制器使Anymal机器人能够在现实的场景中生成敏捷操作。关键要素是跟踪本地反馈策略，因为与全身控制相反，它们达到了所需的角动量。据我们所知，我们的预测控制器是第一个处理驱动限制，生成敏捷的机动操作以及执行低级扭矩控制的最佳反馈策略，而无需使用单独的全身控制器。

由于机器人动力学中的固有非线性，腿部机器人全身动作的在线计划具有挑战性。在这项工作中，我们提出了一个非线性MPC框架，该框架可以通过有效利用机器人动力学结构来在线生成全身轨迹。Biconmp用于在真正的四倍机器人上生成各种环状步态，其性能在不同的地形上进行了评估，对抗不同步态之间的不可预见的推动力并在线过渡。此外，提出了双孔在机器人上产生非平凡无环的全身动态运动的能力。同样的方法也被用来在人体机器人（TALOS）上产生MPC的各种动态运动，并在模拟中产生另一个四倍的机器人（Anymal）。最后，报告并讨论了对计划范围和频率对非线性MPC框架的影响的广泛经验分析。

Learned locomotion policies can rapidly adapt to diverse environments similar to those experienced during training but lack a mechanism for fast tuning when they fail in an out-of-distribution test environment. This necessitates a slow and iterative cycle of reward and environment redesign to achieve good performance on a new task. As an alternative, we propose learning a single policy that encodes a structured family of locomotion strategies that solve training tasks in different ways, resulting in Multiplicity of Behavior (MoB). Different strategies generalize differently and can be chosen in real-time for new tasks or environments, bypassing the need for time-consuming retraining. We release a fast, robust open-source MoB locomotion controller, Walk These Ways, that can execute diverse gaits with variable footswing, posture, and speed, unlocking diverse downstream tasks: crouching, hopping, high-speed running, stair traversal, bracing against shoves, rhythmic dance, and more. Video and code release: https://gmargo11.github.io/walk-these-ways/

在粗糙的地形上的动态运动需要准确的脚部放置，避免碰撞以及系统的动态不足的计划。在存在不完美且常常不完整的感知信息的情况下，可靠地优化此类动作和互动是具有挑战性的。我们提出了一个完整的感知，计划和控制管道，可以实时优化机器人所有自由度的动作。为了减轻地形所带来的数值挑战，凸出不平等约束的顺序被提取为立足性可行性的局部近似值，并嵌入到在线模型预测控制器中。每个高程映射预先计算了步骤性分类，平面分割和签名的距离场，以最大程度地减少优化过程中的计算工作。多次射击，实时迭代和基于滤波器的线路搜索的组合用于可靠地以高速率解决该法式问题。我们在模拟中的间隙，斜率和踏上石头的情况下验证了所提出的方法，并在Anymal四倍的平台上进行实验，从而实现了最新的动态攀登。

机器人和与世界相互作用或互动的机器人和智能系统越来越多地被用来自动化各种任务。这些系统完成这些任务的能力取决于构成机器人物理及其传感器物体的机械和电气部件，例如，感知算法感知环境，并计划和控制算法以生产和控制算法来生产和控制算法有意义的行动。因此，通常有必要在设计具体系统时考虑这些组件之间的相互作用。本文探讨了以端到端方式对机器人系统进行任务驱动的合作的工作，同时使用推理或控制算法直接优化了系统的物理组件以进行任务性能。我们首先考虑直接优化基于信标的本地化系统以达到本地化准确性的问题。设计这样的系统涉及将信标放置在整个环境中，并通过传感器读数推断位置。在我们的工作中，我们开发了一种深度学习方法，以直接优化信标的放置和位置推断以达到本地化精度。然后，我们将注意力转移到了由任务驱动的机器人及其控制器优化的相关问题上。在我们的工作中，我们首先提出基于多任务增强学习的数据有效算法。我们的方法通过利用能够在物理设计的空间上概括设计条件的控制器，有效地直接优化了物理设计和控制参数，以直接优化任务性能。然后，我们对此进行跟进，以允许对离散形态参数（例如四肢的数字和配置）进行优化。最后，我们通过探索优化的软机器人的制造和部署来得出结论。

腿部运动的最新进展使四足动物在具有挑战性的地形上行走。但是，两足机器人本质上更加不稳定，因此很难为其设计步行控制器。在这项工作中，我们利用了对机车控制的快速适应的最新进展，并将其扩展到双皮亚机器人。与现有作品类似，我们从基本策略开始，该策略在将适应模块的输入中作为输入作为输入。该外部媒介包含有关环境的信息，并使步行控制器能够快速在线适应。但是，外部估计器可能是不完善的，这可能导致基本政策的性能不佳，这预计是一个完美的估计器。在本文中，我们提出了A-RMA（Adapting RMA），该A-RMA（适应RMA）还通过使用无模型RL对其进行了鉴定，从而适应了不完美的外部外部估计器的基本策略。我们证明，A-RMA在仿真中胜过许多基于RL的基线控制器和基于模型的控制器，并显示了单个A-RMA策略的零拍摄部署，以使双皮德机器人Cassie能够在各种各样的现实世界中的不同场景超出了培训期间所见。 https://ashish-kmr.github.io/a-rma/的视频和结果

我们解决了使四足机器人能够使用强化学习在现实世界中执行精确的射击技巧的问题。开发算法使腿部机器人能够向给定的目标射击足球，这是一个具有挑战性的问题，它将机器人运动控制和计划结合到一项任务中。为了解决这个问题，我们需要考虑控制动态腿部机器人期间的动态限制和运动稳定性。此外，我们需要考虑运动计划，以在地面上射击难以模拟的可变形球，并不确定摩擦到所需的位置。在本文中，我们提出了一个层次结构框架，该框架利用深厚的强化学习来训练（a）强大的运动控制政策，可以跟踪任意动议，以及（b）一项计划政策，以决定所需的踢球运动将足球射击到目标。我们将提议的框架部署在A1四足动物机器人上，使其能够将球准确地射击到现实世界中的随机目标。

近年来，商业上可用和负担得起的四足动物机器人激增，其中许多平台在研究和行业中都被积极使用。随着腿部机器人的可用性的增长，对这些机器人能够执行有用技能的控制器的需求也是如此。但是，大多数用于控制器开发的基于学习的框架都集中在培训机器人特定的控制器上，该过程需要为每个新机器人重复。在这项工作中，我们引入了一个用于训练四足机器人的广义运动（Genloco）控制器的框架。我们的框架合成了可以部署在具有相似形态的各种四足动物的机器人上的通用运动控制器。我们提出了一种简单但有效的形态随机化方法，该方法在程序上生成了一组训练的模拟机器人。我们表明，通过对这套模拟机器人进行训练，我们的模型获得了更多的通用控制策略，这些策略可以直接转移到具有多种形态的新型模拟和真实世界机器人中，在训练过程中未观察到。

深度强化学习（Deep RL）已成为开发腿部机器人控制器的有效工具。但是，香草深RL通常需要大量的训练样本，并且对于实现强大的行为不可行。取而代之的是，研究人员通过合并人类专家的知识来调查一种新颖的政策架构，例如调节轨迹发生器（PMTG）的政策。该体系结构通过组合参数轨迹生成器（TG）和反馈策略网络来构建一个经常性的控制循环，以实现更强大的行为。为了利用人类专家的知识，但消除了耗时的互动教学，研究人员调查了一种新颖的架构，策略调节轨迹发生器（PMTG），该建筑通过结合参数轨迹生成器（TG）和反馈策略来构建经常性的控制循环网络使用直观的先验知识来实现​​更强大的行为。在这项工作中，我们建议通过使用接触感知的有限状态机器（FSM）代替TG来调整有限状态机（PM-FSM），从而为每条腿提供更灵活的控制。与TGS相比，FSM在每个腿部运动生成器上提供高级管理，并实现灵活的状态安排，这使得学习的行为不那么容易受到看不见的扰动或具有挑战性的地形。本发明为政策提供了明确的联系事件的概念，以协商意外的扰动。我们证明，在模拟机器人和真实的机器人上，所提出的架构可以在各种情况下（例如具有挑战性的地形或外部扰动）实现更强大的行为。补充视频可以在以下网址找到：https：//youtu.be/78cbomqtkjq。

我们专注于开发Quadrupedal机器人节能控制器的问题。动物可以以不同的速度积极切换Gaits以降低其能量消耗。在本文中，我们设计了一个分层学习框架，其中独特的运动遗传仪和自然步态过渡自动出现，其能量最小化的简单奖励。我们使用进化策略来培训一个高级步态政策，指定每只脚的步态图案，而低级凸MPC控制器优化电机命令，以便机器人可以使用该步态图案以所需的速度行走。我们在四足机器人上测试我们的学习框架，并展示了自动步态过渡，从步行到小跑和飞行，因为机器人增加了速度。我们表明学习的等级控制器在广泛的运动速度范围内消耗的能量要少于基线控制器。