实现有腿机器人潜力的基本挑战之一是产生跨越具有挑战性的地形的计划。必须仔细选择控制操作，以便机器人不会崩溃或滑动。联合空间的高维度使得直接规划从船上感知的低级动作困难，并且控制堆栈不考虑机器人在规划中的低级机制不适合处理细粒度的障碍。处理这一点的一种方法是基于地形特征选择脚步位置。然而，将机器人动力学结合到脚步规划需要大量计算，远远超过准静态案例。在这项工作中，我们介绍了一个基于LSTM的计划框架，了解了使用地形扫描和机器人的动态的可能脚步位置的概率分布，并利用LSTM的顺序性，以找到线性时间的脚步。我们的框架也可以用作加速采样的规划仪的模块。我们在各种不均匀的地形上验证了我们在模拟的单腿料斗上的方法。

随着腿部机器人和嵌入式计算都变得越来越有能力，研究人员已经开始专注于这些机器人的现场部署。在非结构化环境中的强大自治需要对机器人周围的世界感知，以避免危害。但是，由于处理机车动力学所需的复杂规划人员和控制器，因此在网上合并在线的同时在线保持敏捷运动对腿部机器人更具挑战性。该报告将比较三种最新的感知运动方法，并讨论可以使用视觉来实现腿部自主权的不同方式。

用多腿机器人的动态跳跃在规划和控制方面提出了一个具有挑战性的问题。制定跳转优化以允许快速在线执行难;有效地使用这种能够生成长地平轨迹的能力进一步复杂化问题。在这项工作中，我们提出了一种新的分层规划框架来解决这个问题。我们首先制定了一个实时的轨道轨迹优化，用于执行全向跳跃。然后，我们将该优化的结果嵌入到低维跳转可行性分类器中。该分类器由高级策划器利用，以产生动态可行的路径，并且对硬件轨迹实现中的可变性也很稳健。我们在迷你猎豹视觉上部署我们的框架，展示了机器人的生成和执行可靠的目标导向路径，这些路径涉及前进，横向和旋转跳跃到比机器人的标称臀部高度高1.35倍。通过全向跳跃计划的能力极大地扩展了机器人相对于限制跳跃到矢状或前平面的规划者的移动性。

在粗糙的地形上的动态运动需要准确的脚部放置，避免碰撞以及系统的动态不足的计划。在存在不完美且常常不完整的感知信息的情况下，可靠地优化此类动作和互动是具有挑战性的。我们提出了一个完整的感知，计划和控制管道，可以实时优化机器人所有自由度的动作。为了减轻地形所带来的数值挑战，凸出不平等约束的顺序被提取为立足性可行性的局部近似值，并嵌入到在线模型预测控制器中。每个高程映射预先计算了步骤性分类，平面分割和签名的距离场，以最大程度地减少优化过程中的计算工作。多次射击，实时迭代和基于滤波器的线路搜索的组合用于可靠地以高速率解决该法式问题。我们在模拟中的间隙，斜率和踏上石头的情况下验证了所提出的方法，并在Anymal四倍的平台上进行实验，从而实现了最新的动态攀登。

在腿的运动中重新规划对于追踪所需的用户速度，在适应地形并拒绝外部干扰的同时至关重要。在这项工作中，我们提出并测试了实验中的实时非线性模型预测控制（NMPC），用于腿部机器人，以实现各种地形上的动态运动。我们引入了一种基于移动性的标准来定义NMPC成本，增强了二次机器人的运动，同时最大化腿部移动性并提高对地形特征的适应。我们的NMPC基于实时迭代方案，使我们能够以25美元的价格重新计划在线，\ Mathrm {Hz} $ 2 $ 2 $ 2美元的预测地平线。我们使用在质量框架中心中定义的单个刚体动态模型，以提高计算效率。在仿真中，测试NMPC以横穿一组不同尺寸的托盘，走进V形烟囱，并在崎岖的地形上招揽。在真实实验中，我们展示了我们的NMPC与移动功能的有效性，使IIT为87美元\，\ Mathrm {kg} $四分之一的机器人HIQ，以实现平坦地形上的全方位步行，横穿静态托盘，并适应在散步期间重新定位托盘。

本研究提出了一种具有动态障碍物和不均匀地形的部分可观察环境中的BipeDal运动的安全任务和运动计划（夯实）的分层综合框架。高级任务规划师采用线性时间逻辑（LTL），用于机器人及其环境之间的反应游戏合成，并为导航安全和任务完成提供正式保证。为了解决环境部分可观察性，在高级导航计划者采用信仰抽象，以估计动态障碍的位置。因此，合成的动作规划器向中级运动规划器发送一组运动动作，同时基于运动过程的阶数模型（ROM）结合从安全定理提取的安全机置规范。运动计划程序采用ROM设计安全标准和采样算法，以生成准确跟踪高级动作的非周期性运动计划。为了解决外部扰动，本研究还调查了关键帧运动状态的安全顺序组成，通过可达性分析实现了对外部扰动的强大转变。最终插值一组基于ROM的超参数，以设计由轨迹优化生成的全身运动机器，并验证基于ROM的可行部署，以敏捷机器人设计的20多个自由的Cassie机器人。

由于机器人动力学中的固有非线性，腿部机器人全身动作的在线计划具有挑战性。在这项工作中，我们提出了一个非线性MPC框架，该框架可以通过有效利用机器人动力学结构来在线生成全身轨迹。Biconmp用于在真正的四倍机器人上生成各种环状步态，其性能在不同的地形上进行了评估，对抗不同步态之间的不可预见的推动力并在线过渡。此外，提出了双孔在机器人上产生非平凡无环的全身动态运动的能力。同样的方法也被用来在人体机器人（TALOS）上产生MPC的各种动态运动，并在模拟中产生另一个四倍的机器人（Anymal）。最后，报告并讨论了对计划范围和频率对非线性MPC框架的影响的广泛经验分析。

基于腿部机器人的基于深的加固学习（RL）控制器表现出令人印象深刻的鲁棒性，可在不同的环境中为多个机器人平台行走。为了在现实世界中启用RL策略为类人类机器人应用，至关重要的是，建立一个可以在2D和3D地形上实现任何方向行走的系统，并由用户命令控制。在本文中，我们通过学习遵循给定步骤序列的政策来解决这个问题。该政策在一组程序生成的步骤序列（也称为脚步计划）的帮助下进行培训。我们表明，仅将即将到来的2个步骤喂入政策就足以实现全向步行，安装到位，站立和攀登楼梯。我们的方法采用课程学习对地形的复杂性，并规避了参考运动或预训练的权重的需求。我们证明了我们提出的方法在Mujoco仿真环境中学习2个新机器人平台的RL策略-HRP5P和JVRC -1-。可以在线获得培训和评估的代码。

This work is on vision-based planning strategies for legged robots that separate locomotion planning into foothold selection and pose adaptation. Current pose adaptation strategies optimize the robot's body pose relative to given footholds. If these footholds are not reached, the robot may end up in a state with no reachable safe footholds. Therefore, we present a Vision-Based Terrain-Aware Locomotion (ViTAL) strategy that consists of novel pose adaptation and foothold selection algorithms. ViTAL introduces a different paradigm in pose adaptation that does not optimize the body pose relative to given footholds, but the body pose that maximizes the chances of the legs in reaching safe footholds. ViTAL plans footholds and poses based on skills that characterize the robot's capabilities and its terrain-awareness. We use the 90 kg HyQ and 140 kg HyQReal quadruped robots to validate ViTAL, and show that they are able to climb various obstacles including stairs, gaps, and rough terrains at different speeds and gaits. We compare ViTAL with a baseline strategy that selects the robot pose based on given selected footholds, and show that ViTAL outperforms the baseline.

通过腿部机器人在具有挑战性的环境上进行本地导航的通用方法需要路径计划，路径跟随和运动，这通常需要机动控制策略，以准确跟踪指挥速度。但是，通过将导航问题分解为这些子任务，我们限制了机器人的功能，因为各个任务不考虑完整的解决方案空间。在这项工作中，我们建议通过深入强化学习来训练端到端政策来解决完整的问题。机器人不必在提供的时间内到达目标位置，而不是不断跟踪预算的路径。该任务的成功仅在情节结束时进行评估，这意味着该策略不需要尽快到达目标。可以免费选择其路径和运动步态。以这种方式培训政策可以打开更多可能的解决方案，这使机器人能够学习更多复杂的行为。我们比较我们的速度跟踪方法，并表明任务奖励的时间依赖性对于成功学习这些新行为至关重要。最后，我们证明了在真正的四足动物机器人上成功部署政策。机器人能够跨越具有挑战性的地形，这是以前无法实现的，同时使用更节能的步态并达到更高的成功率。

在这项工作中，我们提出了一种方法，用于生成降低的模型参考轨迹，用于用于双皮亚机器人的高度动态操作的一般类别，用于SIM卡之间，用于SIM卡至现实的增强学习。我们的方法是利用单个刚体模型（SRBM）来优化轨迹的库库，以用作学习政策的奖励函数中的专家参考。该方法将模型的动态旋转和翻译行为转化为全阶机器人模型，并成功将其传输到真实硬件。 SRBM的简单性允许快速迭代和行为改进，而基于学习的控制器的鲁棒性则可以将高度动态的动作传输到硬件。 ％在这项工作中，我们介绍了一套可转移性约束，将SRBM动态修改为实际的两足机器人硬件，这是我们为动态步进，转动操作和跳跃创建最佳轨迹的框架。在这项工作中，我们介绍了一套可转移性约束，将SRBM动力学修改为实际的双皮亚机器人硬件，我们为各种高度动态的操作创建最佳轨迹的框架，以及我们整合参考轨迹的高速强化跑步轨迹的方法学习政策。我们验证了在两足机器人Cassie上的方法，我们成功地展示了高达3.0 m/s的高度动态接地步态。

我们利用了肢体机器人互动和预言的互补优势，实现了点球导航。腿系统能够穿过比轮式机器人更复杂的地形，而是为了充分利用这种能力，我们需要导航系统中的高级路径规划仪，了解在不同地形上的低级运动策略的步行能力。我们通过使用壁虎搜寻反馈来实现这一目标来估计行走政策的安全操作限制，并感知意外障碍和地形性质，如可能被视力错过的地面的平滑度或柔软度。导航系统使用车载相机来生成占用映射和相应的成本图以实现目标。然后，FMM（快速行进方法）规划器然后生成目标路径。速度命令生成器将此作为输入，以从安全顾问，意外障碍和地形速度限制生成作为输入附加约束的机车策略的所需速度。与轮式机器人（Logobot）基线（Logobot）基线和其他具有不相交的基调规划和低级控制的基线显示出卓越的性能。我们还在具有板载传感器和计算的Quadruped Robot上显示了我们系统的真实部署。 https://navigation-locomotion.github.io/camera-ready的视频

Legged robots pose one of the greatest challenges in robotics. Dynamic and agile maneuvers of animals cannot be imitated by existing methods that are crafted by humans. A compelling alternative is reinforcement learning, which requires minimal craftsmanship and promotes the natural evolution of a control policy. However, so far, reinforcement learning research for legged robots is mainly limited to simulation, and only few and comparably simple examples have been deployed on real systems. The primary reason is that training with real robots, particularly with dynamically balancing systems, is complicated and expensive. In the present work, we report a new method for training a neural network policy in simulation and transferring it to a state-of-the-art legged system, thereby we leverage fast, automated, and cost-effective data generation schemes. The approach is applied to the ANYmal robot, a sophisticated medium-dog-sized quadrupedal system. Using policies trained in simulation, the quadrupedal machine achieves locomotion skills that go beyond what had been achieved with prior methods: ANYmal is capable of precisely and energy-efficiently following high-level body velocity commands, running faster than ever before, and recovering from falling even in complex configurations.

通常，地形几何形状是非平滑的，非线性的，非凸的，如果通过以机器人为中心的视觉单元感知，则似乎部分被遮住且嘈杂。这项工作介绍了能够实时处理上述问题的完整控制管道。我们制定了一个轨迹优化问题，该问题可以在基本姿势和立足点上共同优化，但要遵守高度图。为了避免收敛到不良的本地Optima，我们部署了逐步的优化技术。我们嵌入了一个紧凑的接触式自由稳定性标准，该标准与非平板地面公式兼容。直接搭配用作转录方法，导致一个非线性优化问题，可以在少于十毫秒内在线解决。为了在存在外部干扰的情况下增加鲁棒性，我们用动量观察者关闭跟踪环。我们的实验证明了爬楼梯，踏上垫脚石上的楼梯，并利用各种动态步态在缝隙上。

基于联系的决策和规划方法越来越重要，无法为腿机器人提供更高的自主性。源自符号系统的正式合成方法具有巨大的推理潜力，了解高级机器决策，并以正确的担保实现复杂的机动行动。本研究迈出了一种正式设计由受约束和动态变化环境中的任务规划和控制全身动态运动行为的架构组成的架构。在高级别，我们在多肢运动策划器和其动态环境之间制定了两个玩家时间逻辑游戏，以综合提供符号机置操作的获胜策略。这些运动动作满足时间逻辑片段中的所需高级任务规范。这些操作被发送到强大的有限转换系统，该过渡系统合成了满足状态可达性限制的运动控制器。该控制器进一步通过低级运动规划器执行，所述低级运动计划产生可行的机器人轨迹。我们构建一组动态运动模型，可用于腿机器人，作为用于处理各种环境事件的模板库。我们设计了一种重新调整策略，考虑到突然的环境变化或大状态干扰，以增加所产生的机器行为的鲁棒性。我们正式证明分层运动框架的正确性，保证了运动规划层的强大实现。在各种环境中的反应运动行为模拟表明我们的框架具有潜在的智能机置行为的理论基础。

模型预测控制（MPC）是控制机器人的流行策略，但由于混合动力学的复杂性质，很难接触系统。为了实现具有联系的系统，动态模型通常被简化或及时固定，以便有效地计划轨迹。在这项工作中，我们将混合迭代线性二次调节器扩展到以MPC方式（HILQR MPC）工作的1）通过1）修改触点模式时如何计算成本函数，2）在模拟刚体动态和3时使用并行处理。 ）使用刚体动力学的有效分析衍生化计算。结果是一个可以修改参考行为的接触顺序并凝聚力计划的系统 - 在处理大型扰动时至关重要。 HILQR MPC在两个系统上进行了测试：首先，在简单的驱动弹跳球混合系统上验证了混合成本修改。然后将HILQR MPC与在四倍的机器人（Unitree A1）上使用质心动态假设的方法进行比较。 HILQR MPC在模拟和硬件测试中的表现优于质心方法。

从意外的外部扰动中恢复的能力是双模型运动的基本机动技能。有效的答复包括不仅可以恢复平衡并保持稳定性的能力，而且在平衡恢复物质不可行时，也可以保证安全的方式。对于与双式运动有关的机器人，例如人形机器人和辅助机器人设备，可帮助人类行走，设计能够提供这种稳定性和安全性的控制器可以防止机器人损坏或防止伤害相关的医疗费用。这是一个具有挑战性的任务，因为它涉及用触点产生高维，非线性和致动系统的高动态运动。尽管使用基于模型和优化方法的前进方面，但诸如广泛领域知识的要求，诸如较大的计算时间和有限的动态变化的鲁棒性仍然会使这个打开问题。在本文中，为了解决这些问题，我们开发基于学习的算法，能够为两种不同的机器人合成推送恢复控制政策：人形机器人和有助于双模型运动的辅助机器人设备。我们的工作可以分为两个密切相关的指示：1）学习人形机器人的安全下降和预防策略，2）使用机器人辅助装置学习人类的预防策略。为实现这一目标，我们介绍了一套深度加强学习（DRL）算法，以学习使用这些机器人时提高安全性的控制策略。

在试图在为人类建立的世界中执行有用任务的类人形机器人时，我们解决了自主运动的问题。人形机器人计划和控制算法在崎rough地形上行走的算法变得越来越有能力。同时，市售的深度摄像机已经变得越来越准确，而GPU计算已成为AI研究中的主要工具。在本文中，我们提出了一个新建造的行为控制系统，用于实现快速，自主，两足步行，而无需暂停或审议。我们使用最近发表的快速平面区域感知算法，基于高度图的身体路径计划器，A*脚步计划器和基于动量的步行控制器来实现这一目标。我们将这些元素放在一起，形成一个由现代软件开发实践和仿真工具支持的行为控制系统。

策略搜索和模型预测控制〜（MPC）是机器人控制的两个不同范式：策略搜索具有使用经验丰富的数据自动学习复杂策略的强度，而MPC可以使用模型和轨迹优化提供最佳控制性能。开放的研究问题是如何利用并结合两种方法的优势。在这项工作中，我们通过使用策略搜索自动选择MPC的高级决策变量提供答案，这导致了一种新的策略搜索 - 用于模型预测控制框架。具体地，我们将MPC作为参数化控制器配制，其中难以优化的决策变量表示为高级策略。这种制定允许以自我监督的方式优化政策。我们通过专注于敏捷无人机飞行中的具有挑战性的问题来验证这一框架：通过快速的盖茨飞行四轮车。实验表明，我们的控制器在模拟和现实世界中实现了鲁棒和实时的控制性能。拟议的框架提供了合并学习和控制的新视角。

本文为两足机器人提供了一个步态控制器，鉴于局部斜率和摩擦锥信息，可以在各个地形上行走高度敏捷。没有这些考虑，不合时宜的影响会导致机器人绊倒，而在姿势脚下的切向反作用力不足会导致滑倒。我们通过以新颖的方式将基于角动量线性倒置的摆（ALIP）和模型预测控制（MPC）脚放置计划者组合来解决这些挑战，该模型由虚拟约束方法执行。该过程始于从Cassie 3D Bipedal机器人的完整动力学中抽象，该机器人的质量动力学中心的精确低维表示，通过角动量参数化。在分段平面地形假设和消除机器人质量中心的角动量的术语中，有关接触点的质心动力学变为线性，并具有四个尺寸。重要的是，我们在MPC公式中以均匀间隔的间隔内包含步骤的动力学，以便可以从逐步到步进机器人的演变上进行现实的工作空间约束。低维MPC控制器的输出通过虚拟约束方法直接在高维Cassie机器人上实现。在实验中，我们验证了机器人控制策略在各种表面上具有不同倾斜和质地的性能。