我们专注于开发Quadrupedal机器人节能控制器的问题。动物可以以不同的速度积极切换Gaits以降低其能量消耗。在本文中,我们设计了一个分层学习框架,其中独特的运动遗传仪和自然步态过渡自动出现,其能量最小化的简单奖励。我们使用进化策略来培训一个高级步态政策,指定每只脚的步态图案,而低级凸MPC控制器优化电机命令,以便机器人可以使用该步态图案以所需的速度行走。我们在四足机器人上测试我们的学习框架,并展示了自动步态过渡,从步行到小跑和飞行,因为机器人增加了速度。我们表明学习的等级控制器在广泛的运动速度范围内消耗的能量要少于基线控制器。
translated by 谷歌翻译
从意外的外部扰动中恢复的能力是双模型运动的基本机动技能。有效的答复包括不仅可以恢复平衡并保持稳定性的能力,而且在平衡恢复物质不可行时,也可以保证安全的方式。对于与双式运动有关的机器人,例如人形机器人和辅助机器人设备,可帮助人类行走,设计能够提供这种稳定性和安全性的控制器可以防止机器人损坏或防止伤害相关的医疗费用。这是一个具有挑战性的任务,因为它涉及用触点产生高维,非线性和致动系统的高动态运动。尽管使用基于模型和优化方法的前进方面,但诸如广泛领域知识的要求,诸如较大的计算时间和有限的动态变化的鲁棒性仍然会使这个打开问题。在本文中,为了解决这些问题,我们开发基于学习的算法,能够为两种不同的机器人合成推送恢复控制政策:人形机器人和有助于双模型运动的辅助机器人设备。我们的工作可以分为两个密切相关的指示:1)学习人形机器人的安全下降和预防策略,2)使用机器人辅助装置学习人类的预防策略。为实现这一目标,我们介绍了一套深度加强学习(DRL)算法,以学习使用这些机器人时提高安全性的控制策略。
translated by 谷歌翻译
为了使腿部机器人与人类和动物的运动能力相匹配,它们不仅必须产生强大的周期性步行和跑步,而且还必须在名义运动步态和更专业的瞬态操纵之间无缝切换。尽管最近在两足机器人的控制方面取得了进步,但几乎没有集中精力产生高度动态的行为。利用强化学习制定控制腿机器人的政策的最新工作表明,在产生强大的步行行为方面取得了成功。但是,这些学识渊博的政策难以在单个网络上表达多种不同行为。受腿部机器人的常规优化控制技术的启发,这项工作应用了一个经常性的策略来执行四步,90度转弯,使用从优化的单个刚体模型轨迹生成的参考数据进行了训练。我们提出了一个新型的培训框架,该培训框架使用结尾终端奖励从预先计算的轨迹数据中学习特定行为,并证明了双皮亚机器人Cassie上的硬件成功转移。
translated by 谷歌翻译
Gaits和Transitions是腿部运动的关键组件。对于腿机器人,描述和再现Gaits以及过渡仍然存在长期挑战。强化学习已成为制定腿机器人控制器的强大工具。然而,学习多次Gaits和Transitions,与多任务学习问题有关。在这项工作中,我们提出了一种新颖的框架,用于培训一个简单的控制策略,以便将四足机器人培训到各种GA足够的机器人。使用四个独立阶段作为步态发生器和控制策略之间的界面,其表征了四英尺的运动。由阶段引导,四叉机器人能够根据生成的遗传率,例如步行,小跑,起搏和边界,并在那些Gaits之间进行过渡。可以使用更多的一般阶段来产生复杂的Gaits,例如混合节奏跳舞。通过控制策略,黑豹机器人是一种中型狗大小的四足机器人,可以在自然环境中平滑且鲁棒地在速度和鲁棒方面进行速度下进行所有学习的电机技能。
translated by 谷歌翻译
随着腿部机器人和嵌入式计算都变得越来越有能力,研究人员已经开始专注于这些机器人的现场部署。在非结构化环境中的强大自治需要对机器人周围的世界感知,以避免危害。但是,由于处理机车动力学所需的复杂规划人员和控制器,因此在网上合并在线的同时在线保持敏捷运动对腿部机器人更具挑战性。该报告将比较三种最新的感知运动方法,并讨论可以使用视觉来实现腿部自主权的不同方式。
translated by 谷歌翻译
环境的语义(例如地形类型和属性)揭示了腿部机器人调整其行为的重要信息。在这项工作中,我们提出了一个框架,该框架从对四足动物的知觉中学习语义感知的运动技能,以便使用感知信息的机器人可以以适当的速度和步态穿越复杂的越野地形。由于缺乏高保真性户外模拟,我们的框架需要直接在现实世界中进行培训,这带来了数据效率和安全性的独特挑战。为了确保样本效率,我们使用越野驾驶数据集预先培训感知模型。为了避免现实世界政策探索的风险,我们利用人类演示来训练速度政策,从相机图像中选择所需的前进速度。为了获得最大的遍历性,我们将速度策略与步态选择器配对,该步态选择器为每个前进速度选择了强大的运动步态。仅使用40分钟的人类演示数据,我们的框架就可以根据感知的地形语义来调整机器人的速度和步态,并使机器人能够以近距离的速度行驶超过6公里。
translated by 谷歌翻译
Learned locomotion policies can rapidly adapt to diverse environments similar to those experienced during training but lack a mechanism for fast tuning when they fail in an out-of-distribution test environment. This necessitates a slow and iterative cycle of reward and environment redesign to achieve good performance on a new task. As an alternative, we propose learning a single policy that encodes a structured family of locomotion strategies that solve training tasks in different ways, resulting in Multiplicity of Behavior (MoB). Different strategies generalize differently and can be chosen in real-time for new tasks or environments, bypassing the need for time-consuming retraining. We release a fast, robust open-source MoB locomotion controller, Walk These Ways, that can execute diverse gaits with variable footswing, posture, and speed, unlocking diverse downstream tasks: crouching, hopping, high-speed running, stair traversal, bracing against shoves, rhythmic dance, and more. Video and code release: https://gmargo11.github.io/walk-these-ways/
translated by 谷歌翻译
This paper presents a state-of-the-art optimal controller for quadruped locomotion. The robot dynamics is represented using a single rigid body (SRB) model. A linear time-varying model predictive controller (LTV MPC) is proposed by using linearization schemes. Simulation results show that the LTV MPC can execute various gaits, such as trot and crawl, and is capable of tracking desired reference trajectories even under unknown external disturbances. The LTV MPC is implemented as a quadratic program using qpOASES through the CasADi interface at 50 Hz. The proposed MPC can reach up to 1 m/s top speed with an acceleration of 0.5 m/s2 executing a trot gait. The implementation is available at https:// github.com/AndrewZheng-1011/Quad_ConvexMPC
translated by 谷歌翻译
基于腿部机器人的基于深的加固学习(RL)控制器表现出令人印象深刻的鲁棒性,可在不同的环境中为多个机器人平台行走。为了在现实世界中启用RL策略为类人类机器人应用,至关重要的是,建立一个可以在2D和3D地形上实现任何方向行走的系统,并由用户命令控制。在本文中,我们通过学习遵循给定步骤序列的政策来解决这个问题。该政策在一组程序生成的步骤序列(也称为脚步计划)的帮助下进行培训。我们表明,仅将即将到来的2个步骤喂入政策就足以实现全向步行,安装到位,站立和攀登楼梯。我们的方法采用课程学习对地形的复杂性,并规避了参考运动或预训练的权重的需求。我们证明了我们提出的方法在Mujoco仿真环境中学习2个新机器人平台的RL策略-HRP5P和JVRC -1-。可以在线获得培训和评估的代码。
translated by 谷歌翻译
通过腿部机器人在具有挑战性的环境上进行本地导航的通用方法需要路径计划,路径跟随和运动,这通常需要机动控制策略,以准确跟踪指挥速度。但是,通过将导航问题分解为这些子任务,我们限制了机器人的功能,因为各个任务不考虑完整的解决方案空间。在这项工作中,我们建议通过深入强化学习来训练端到端政策来解决完整的问题。机器人不必在提供的时间内到达目标位置,而不是不断跟踪预算的路径。该任务的成功仅在情节结束时进行评估,这意味着该策略不需要尽快到达目标。可以免费选择其路径和运动步态。以这种方式培训政策可以打开更多可能的解决方案,这使机器人能够学习更多复杂的行为。我们比较我们的速度跟踪方法,并表明任务奖励的时间依赖性对于成功学习这些新行为至关重要。最后,我们证明了在真正的四足动物机器人上成功部署政策。机器人能够跨越具有挑战性的地形,这是以前无法实现的,同时使用更节能的步态并达到更高的成功率。
translated by 谷歌翻译
现在,最先进的强化学习能够在模拟中学习双皮亚机器人的多功能运动,平衡和推送能力。然而,现实差距大多被忽略了,模拟结果几乎不会转移到真实硬件上。在实践中,它是不成功的,因为物理学过度简化,硬件限制被忽略,或者不能保证规律性,并且可能会发生意外的危险运动。本文提出了一个强化学习框架,该框架能够学习以平稳的开箱即用向现实的转移,仅需要瞬时的本体感受观察,可以学习强大的站立式恢复。通过结合原始的终止条件和政策平滑度调节,我们使用没有记忆力或观察历史的政策实现了稳定的学习,SIM转移和安全性。然后使用奖励成型来提供有关如何保持平衡的见解。我们展示了其在下LIMB医学外骨骼Atalante中的现实表现。
translated by 谷歌翻译
Legged robots pose one of the greatest challenges in robotics. Dynamic and agile maneuvers of animals cannot be imitated by existing methods that are crafted by humans. A compelling alternative is reinforcement learning, which requires minimal craftsmanship and promotes the natural evolution of a control policy. However, so far, reinforcement learning research for legged robots is mainly limited to simulation, and only few and comparably simple examples have been deployed on real systems. The primary reason is that training with real robots, particularly with dynamically balancing systems, is complicated and expensive. In the present work, we report a new method for training a neural network policy in simulation and transferring it to a state-of-the-art legged system, thereby we leverage fast, automated, and cost-effective data generation schemes. The approach is applied to the ANYmal robot, a sophisticated medium-dog-sized quadrupedal system. Using policies trained in simulation, the quadrupedal machine achieves locomotion skills that go beyond what had been achieved with prior methods: ANYmal is capable of precisely and energy-efficiently following high-level body velocity commands, running faster than ever before, and recovering from falling even in complex configurations.
translated by 谷歌翻译
深度强化学习(Deep RL)已成为开发腿部机器人控制器的有效工具。但是,香草深RL通常需要大量的训练样本,并且对于实现强大的行为不可行。取而代之的是,研究人员通过合并人类专家的知识来调查一种新颖的政策架构,例如调节轨迹发生器(PMTG)的政策。该体系结构通过组合参数轨迹生成器(TG)和反馈策略网络来构建一个经常性的控制循环,以实现更强大的行为。为了利用人类专家的知识,但消除了耗时的互动教学,研究人员调查了一种新颖的架构,策略调节轨迹发生器(PMTG),该建筑通过结合参数轨迹生成器(TG)和反馈策略来构建经常性的控制循环网络使用直观的先验知识来实现​​更强大的行为。在这项工作中,我们建议通过使用接触感知的有限状态机器(FSM)代替TG来调整有限状态机(PM-FSM),从而为每条腿提供更灵活的控制。与TGS相比,FSM在每个腿部运动生成器上提供高级管理,并实现灵活的状态安排,这使得学习的行为不那么容易受到看不见的扰动或具有挑战性的地形。本发明为政策提供了明确的联系事件的概念,以协商意外的扰动。我们证明,在模拟机器人和真实的机器人上,所提出的架构可以在各种情况下(例如具有挑战性的地形或外部扰动)实现更强大的行为。补充视频可以在以下网址找到:https://youtu.be/78cbomqtkjq。
translated by 谷歌翻译
深度强化学习是在不需要领域知识的不受控制环境中学习政策的有前途的方法。不幸的是,由于样本效率低下,深度RL应用主要集中在模拟环境上。在这项工作中,我们证明了机器学习算法和库的最新进步与精心调整的机器人控制器相结合,导致在现实世界中仅20分钟内学习四倍的运动。我们在几个室内和室外地形上评估了我们的方法,这些室内和室外地形对基于古典模型的控制器来说是具有挑战性的。我们观察机器人能够在所有这些地形上始终如一地学习步态。最后,我们在模拟环境中评估我们的设计决策。
translated by 谷歌翻译
Reinforcement Learning (RL) has seen many recent successes for quadruped robot control. The imitation of reference motions provides a simple and powerful prior for guiding solutions towards desired solutions without the need for meticulous reward design. While much work uses motion capture data or hand-crafted trajectories as the reference motion, relatively little work has explored the use of reference motions coming from model-based trajectory optimization. In this work, we investigate several design considerations that arise with such a framework, as demonstrated through four dynamic behaviours: trot, front hop, 180 backflip, and biped stepping. These are trained in simulation and transferred to a physical Solo 8 quadruped robot without further adaptation. In particular, we explore the space of feed-forward designs afforded by the trajectory optimizer to understand its impact on RL learning efficiency and sim-to-real transfer. These findings contribute to the long standing goal of producing robot controllers that combine the interpretability and precision of model-based optimization with the robustness that model-free RL-based controllers offer.
translated by 谷歌翻译
在这项工作中,我们提出了一种方法,用于生成降低的模型参考轨迹,用于用于双皮亚机器人的高度动态操作的一般类别,用于SIM卡之间,用于SIM卡至现实的增强学习。我们的方法是利用单个刚体模型(SRBM)来优化轨迹的库库,以用作学习政策的奖励函数中的专家参考。该方法将模型的动态旋转和翻译行为转化为全阶机器人模型,并成功将其传输到真实硬件。 SRBM的简单性允许快速迭代和行为改进,而基于学习的控制器的鲁棒性则可以将高度动态的动作传输到硬件。 %在这项工作中,我们介绍了一套可转移性约束,将SRBM动态修改为实际的两足机器人硬件,这是我们为动态步进,转动操作和跳跃创建最佳轨迹的框架。在这项工作中,我们介绍了一套可转移性约束,将SRBM动力学修改为实际的双皮亚机器人硬件,我们为各种高度动态的操作创建最佳轨迹的框架,以及我们整合参考轨迹的高速强化跑步轨迹的方法学习政策。我们验证了在两足机器人Cassie上的方法,我们成功地展示了高达3.0 m/s的高度动态接地步态。
translated by 谷歌翻译
由于其鲁棒性和可扩展性,在使用增强学习的速度学习时,可以越来越兴趣地学习四足机器人的速度指令跟踪控制器。但是,无论命令速度如何,单个策略训练训练,通常都显示了单个步态。考虑到根据四足动物的速度,考虑到最佳步态存在的次优的解决方案。在这项工作中,我们提出了一个分层控制器,用于四足机器人,可以在跟踪速度命令的同时生成多个Gaits(即步态,小跑,绑定)。我们的控制器由两项策略组成,每个政策都作为中央图案发生器和本地反馈控制器组成,并培训了具有层次强化学习。实验结果表明1)特定速度范围的最佳步态的存在2)与由单个策略组成的控制器相比,我们的分层控制器的效率通常显示单个步态。代码公开可用。
translated by 谷歌翻译
腿部运动的最新进展使四足动物在具有挑战性的地形上行走。但是,两足机器人本质上更加不稳定,因此很难为其设计步行控制器。在这项工作中,我们利用了对机车控制的快速适应的最新进展,并将其扩展到双皮亚机器人。与现有作品类似,我们从基本策略开始,该策略在将适应模块的输入中作为输入作为输入。该外部媒介包含有关环境的信息,并使步行控制器能够快速在线适应。但是,外部估计器可能是不完善的,这可能导致基本政策的性能不佳,这预计是一个完美的估计器。在本文中,我们提出了A-RMA(Adapting RMA),该A-RMA(适应RMA)还通过使用无模型RL对其进行了鉴定,从而适应了不完美的外部外部估计器的基本策略。我们证明,A-RMA在仿真中胜过许多基于RL的基线控制器和基于模型的控制器,并显示了单个A-RMA策略的零拍摄部署,以使双皮德机器人Cassie能够在各种各样的现实世界中的不同场景超出了培训期间所见。 https://ashish-kmr.github.io/a-rma/的视频和结果
translated by 谷歌翻译
In this paper, we present a framework for learning quadruped navigation by integrating central pattern generators (CPGs), i.e. systems of coupled oscillators, into the deep reinforcement learning (DRL) framework. Through both exteroceptive and proprioceptive sensing, the agent learns to modulate the intrinsic oscillator setpoints (amplitude and frequency) and coordinate rhythmic behavior among different oscillators to track velocity commands while avoiding collisions with the environment. We compare different neural network architectures (i.e. memory-free and memory-enabled) which learn implicit interoscillator couplings, as well as varying the strength of the explicit coupling weights in the oscillator dynamics equations. We train our policies in simulation and perform a sim-to-real transfer to the Unitree Go1 quadruped, where we observe robust navigation in a variety of scenarios. Our results show that both memory-enabled policy representations and explicit interoscillator couplings are beneficial for a successful sim-to-real transfer for navigation tasks. Video results can be found at https://youtu.be/O_LX1oLZOe0.
translated by 谷歌翻译
本文介绍了一个新颖的自适应频率MPC框架,用于在地形上具有不均匀的垫脚石上的两足球运动。详细说明,我们打算使用此MPC实现双足体周期步态的自适应脚部和步态,以便在不慢下放慢速度的情况下以不连续性穿越地形。我们将这种自适应频率MPC与Kino-Dynamics轨迹优化,以实现最佳步态时期,质量中心(COM)轨迹和脚部位置。我们使用全身控制(WBC)以及自适应频率MPC来跟踪离线优化的最佳轨迹。在数值验证中,我们具有优化的自适应频率MPC框架已显示出比固定频率MPC的优势。所提出的框架可以控制两足动物的机器人,穿过具有扰动的石头高度,宽度和表面形状的不均匀的垫脚石地形,同时保持平均速度为1.5 m/s。
translated by 谷歌翻译