在混乱的环境中自动二次运动的敏捷飞行需要受到限制的运动计划和控制，但要受翻译和旋转动力学的影响。传统的基于模型的方法通常需要复杂的设计和重型计算。在本文中，我们开发了一种基于深厚的增强学习方法，该方法解决了通过动态狭窄大门飞行的挑战性任务。我们设计了一个模型预测控制器，其自适应跟踪参考参考由深神经网络（DNN）进行了参数。这些参考文献包括遍历时间和四型SE（3）遍历姿势，这些姿势鼓励机器人从各种初始条件中使用最大的安全边缘飞行大门。为了应对在高度动态环境中的训练困难，我们开发了一个增强的学习框架，以有效地训练DNN，从而很好地介绍了各种环境。此外，我们提出了一种二进制搜索算法，该算法允许在线适应（3）对动态门的引用。最后，通过广泛的高保真模拟，我们表明我们的方法对门的速度不确定性具有鲁棒性，并适应了不同的门轨迹和方向。

策略搜索和模型预测控制〜（MPC）是机器人控制的两个不同范式：策略搜索具有使用经验丰富的数据自动学习复杂策略的强度，而MPC可以使用模型和轨迹优化提供最佳控制性能。开放的研究问题是如何利用并结合两种方法的优势。在这项工作中，我们通过使用策略搜索自动选择MPC的高级决策变量提供答案，这导致了一种新的策略搜索 - 用于模型预测控制框架。具体地，我们将MPC作为参数化控制器配制，其中难以优化的决策变量表示为高级策略。这种制定允许以自我监督的方式优化政策。我们通过专注于敏捷无人机飞行中的具有挑战性的问题来验证这一框架：通过快速的盖茨飞行四轮车。实验表明，我们的控制器在模拟和现实世界中实现了鲁棒和实时的控制性能。拟议的框架提供了合并学习和控制的新视角。

估计和对外部干扰的反应对于二次驾驶的稳健飞行控制至关重要。现有的估计器通常需要针对特定​​的飞行方案或具有大量现实世界数据的培训进行重大调整，以实现令人满意的性能。在本文中，我们提出了一个神经移动范围估计器（Neuromhe），该估计量可以自动调整由神经网络建模并适应不同飞行方案的MHE参数。我们通过将MHE估计值的分析梯度推导出相对于可调参数的分析梯度实现这一目标，从而使MHE无缝嵌入作为神经网络中的无缝嵌入以进行高效学习。最有趣的是，我们证明可以从递归形式的卡尔曼过滤器有效地解决梯度。此外，我们开发了一种基于模型的策略梯度算法，可以直接从轨迹跟踪误差中训练神经元，而无需进行基础真相干扰。通过在各种具有挑战性的飞行中对四摩特的模拟和物理实验，通过模拟和物理实验对神经元的有效性进行了广泛的验证。值得注意的是，NeuroMhe的表现优于最先进的估计器，仅使用2.5％的参数量，力估计误差降低了49.4％。所提出的方法是一般的，可以应用于其他机器人系统的稳健自适应控制。

我们解决了在存在障碍物的情况下，通过一系列航路点来解决四肢飞行的最低时间飞行问题，同时利用了完整的四型动力学。早期作品依赖于简化的动力学或多项式轨迹表示，而这些动力学或多项式轨迹表示，这些表示没有利用四四光的全部执行器电位，因此导致了次优溶液。最近的作品可以计划最小的时间轨迹；然而，轨迹是通过无法解释障碍的控制方法执行的。因此，由于模型不匹配和机上干扰，成功执行此类轨迹很容易出现错误。为此，我们利用深厚的强化学习和经典的拓扑路径计划来训练强大的神经网络控制器，以在混乱的环境中为最少的四型四型飞行。由此产生的神经网络控制器表现出比最新方法相比，高达19％的性能要高得多。更重要的是，博学的政策同时在线解决了计划和控制问题，以解决干扰，从而实现更高的鲁棒性。因此，提出的方法在没有碰撞的情况下实现了100％的最低时间策略的成功率，而传统的计划和控制方法仅获得40％。所提出的方法在模拟和现实世界中均已验证，四速速度高达42公里/小时，加速度为3.6g。

在粗糙的地形上的动态运动需要准确的脚部放置，避免碰撞以及系统的动态不足的计划。在存在不完美且常常不完整的感知信息的情况下，可靠地优化此类动作和互动是具有挑战性的。我们提出了一个完整的感知，计划和控制管道，可以实时优化机器人所有自由度的动作。为了减轻地形所带来的数值挑战，凸出不平等约束的顺序被提取为立足性可行性的局部近似值，并嵌入到在线模型预测控制器中。每个高程映射预先计算了步骤性分类，平面分割和签名的距离场，以最大程度地减少优化过程中的计算工作。多次射击，实时迭代和基于滤波器的线路搜索的组合用于可靠地以高速率解决该法式问题。我们在模拟中的间隙，斜率和踏上石头的情况下验证了所提出的方法，并在Anymal四倍的平台上进行实验，从而实现了最新的动态攀登。

We address the theoretical and practical problems related to the trajectory generation and tracking control of tail-sitter UAVs. Theoretically, we focus on the differential flatness property with full exploitation of actual UAV aerodynamic models, which lays a foundation for generating dynamically feasible trajectory and achieving high-performance tracking control. We have found that a tail-sitter is differentially flat with accurate aerodynamic models within the entire flight envelope, by specifying coordinate flight condition and choosing the vehicle position as the flat output. This fundamental property allows us to fully exploit the high-fidelity aerodynamic models in the trajectory planning and tracking control to achieve accurate tail-sitter flights. Particularly, an optimization-based trajectory planner for tail-sitters is proposed to design high-quality, smooth trajectories with consideration of kinodynamic constraints, singularity-free constraints and actuator saturation. The planned trajectory of flat output is transformed to state trajectory in real-time with consideration of wind in environments. To track the state trajectory, a global, singularity-free, and minimally-parameterized on-manifold MPC is developed, which fully leverages the accurate aerodynamic model to achieve high-accuracy trajectory tracking within the whole flight envelope. The effectiveness of the proposed framework is demonstrated through extensive real-world experiments in both indoor and outdoor field tests, including agile SE(3) flight through consecutive narrow windows requiring specific attitude and with speed up to 10m/s, typical tail-sitter maneuvers (transition, level flight and loiter) with speed up to 20m/s, and extremely aggressive aerobatic maneuvers (Wingover, Loop, Vertical Eight and Cuban Eight) with acceleration up to 2.5g.

机器人系统的控制设计很复杂，通常需要解决优化才能准确遵循轨迹。在线优化方法（例如模型预测性控制（MPC））已被证明可以实现出色的跟踪性能，但需要高计算能力。相反，基于学习的离线优化方法，例如加固学习（RL），可以在机器人上快速有效地执行，但几乎不匹配MPC在轨迹跟踪任务中的准确性。在具有有限计算的系统（例如航空车）中，必须在执行时间有效的精确控制器。我们提出了一种分析策略梯度（APG）方法来解决此问题。 APG通过在跟踪误差上以梯度下降的速度训练控制器来利用可区分的模拟器的可用性。我们解决了通过课程学习和实验经常在广泛使用的控制基准，Cartpole和两个常见的空中机器人，一个四极管和固定翼无人机上进行的训练不稳定性。在跟踪误差方面，我们提出的方法优于基于模型和无模型的RL方法。同时，它达到与MPC相似的性能，同时需要少于数量级的计算时间。我们的工作为APG作为机器人技术的有前途的控制方法提供了见解。为了促进对APG的探索，我们开放代码并在https://github.com/lis-epfl/apg_traightory_tracking上提供。

过去半年来，从控制和强化学习社区的真实机器人部署的安全学习方法的贡献数量急剧上升。本文提供了一种简洁的但整体审查，对利用机器学习实现的最新进展，以实现在不确定因素下的安全决策，重点是统一控制理论和加固学习研究中使用的语言和框架。我们的评论包括：基于学习的控制方法，通过学习不确定的动态，加强学习方法，鼓励安全或坚固性的加固学习方法，以及可以正式证明学习控制政策安全的方法。随着基于数据和学习的机器人控制方法继续获得牵引力，研究人员必须了解何时以及如何最好地利用它们在安全势在必行的现实情景中，例如在靠近人类的情况下操作时。我们突出了一些开放的挑战，即将在未来几年推动机器人学习领域，并强调需要逼真的物理基准的基准，以便于控制和加固学习方法之间的公平比较。

在本文中，我们解决了使用时间优势控制策略驾驶四极管的问题，这些政策可以在环境变化或遇到未知的干扰时在线重新认可。这个问题具有挑战性，因为考虑到完整的四项动力学的时间优势轨迹在计算上的生成昂贵（分钟或什至数小时）。我们引入了一种基于抽样的方法，用于有效地生成点质量模型的时间优势路径。然后，使用模型预测性轮廓控制方法跟踪这些路径，该方法考虑了完整的四型动力学和单转子推力极限。我们的组合方法能够实时运行，这是能够适应更改的首次最佳方法。我们通过在大门移动的赛车轨道上以超过60 km/h的速度飞行四肢旋转器，展示了我们的方法的适应能力。此外，我们表明我们的在线重新植物方法可以应对由高达68 km/h的强烈干扰。

强化学习（RL）见证了四足动物的大步进展，在可靠的SIM转移到现实的政策转移方面持续进展。但是，重用另一个机器人的政策仍然是一个挑战，这可以节省重新培训的时间。在这项工作中，我们提出了一个用于零射击政策重新定位的框架，其中可以在不同形状和尺寸的机器人之间转移多种运动技能。新框架以系统整合RL和模型预测控制（MPC）的计划和控制管道为中心。计划阶段采用RL来生成动态合理的轨迹以及联系时间表，避免了接触序列优化的组合复杂性。然后，将这些信息用于播种MPC，以通过新的混合运动动力学（HKD）模型稳定和鲁棒性地推出策略，该模型隐含地优化了立足点位置。硬件结果表明能够将政策从A1和Laikago机器人转移到MIT MIT MINI CHEETAH机器人，而无需重新调整政策。

由于机器人动力学中的固有非线性，腿部机器人全身动作的在线计划具有挑战性。在这项工作中，我们提出了一个非线性MPC框架，该框架可以通过有效利用机器人动力学结构来在线生成全身轨迹。Biconmp用于在真正的四倍机器人上生成各种环状步态，其性能在不同的地形上进行了评估，对抗不同步态之间的不可预见的推动力并在线过渡。此外，提出了双孔在机器人上产生非平凡无环的全身动态运动的能力。同样的方法也被用来在人体机器人（TALOS）上产生MPC的各种动态运动，并在模拟中产生另一个四倍的机器人（Anymal）。最后，报告并讨论了对计划范围和频率对非线性MPC框架的影响的广泛经验分析。

在腿的运动中重新规划对于追踪所需的用户速度，在适应地形并拒绝外部干扰的同时至关重要。在这项工作中，我们提出并测试了实验中的实时非线性模型预测控制（NMPC），用于腿部机器人，以实现各种地形上的动态运动。我们引入了一种基于移动性的标准来定义NMPC成本，增强了二次机器人的运动，同时最大化腿部移动性并提高对地形特征的适应。我们的NMPC基于实时迭代方案，使我们能够以25美元的价格重新计划在线，\ Mathrm {Hz} $ 2 $ 2 $ 2美元的预测地平线。我们使用在质量框架中心中定义的单个刚体动态模型，以提高计算效率。在仿真中，测试NMPC以横穿一组不同尺寸的托盘，走进V形烟囱，并在崎岖的地形上招揽。在真实实验中，我们展示了我们的NMPC与移动功能的有效性，使IIT为87美元\，\ Mathrm {kg} $四分之一的机器人HIQ，以实现平坦地形上的全方位步行，横穿静态托盘，并适应在散步期间重新定位托盘。

移动机器人的成功操作要求它们迅速适应环境变化。为了为移动机器人开发自适应决策工具，我们提出了一种新颖的算法，该算法将元强化学习（META-RL）与模型预测控制（MPC）相结合。我们的方法采用额外的元元素算法作为基线，以使用MPC生成的过渡样本来训练策略，当机器人检测到某些事件可以通过MPC有效处理的某些事件，并明确使用机器人动力学。我们方法的关键思想是以随机和事件触发的方式在元学习策略和MPC控制器之间进行切换，以弥补由有限的预测范围引起的次优MPC动作。在元测试期间，将停用MPC模块，以显着减少运动控制中的计算时间。我们进一步提出了一种在线适应方案，该方案使机器人能够在单个轨迹中推断并适应新任务。通过使用（i）障碍物的合成运动和（ii）现实世界的行人运动数据，使用非线性汽车样的车辆模型来证明我们方法的性能。模拟结果表明，我们的方法在学习效率和导航质量方面优于其他算法。

对外部干扰的估计和反应对于对准轮运动器的鲁棒控制是根本的重要性。现有估计人通常需要大量数据，包括地面真理的大量数据，以实现令人满意的性能。本文提出了一种数据有效的可微分运动地平线估计（DMHE）算法，可以在线自动调整MHE参数，并适应不同的场景。我们通过从MHE相对于调谐参数导出估计的轨迹的分析梯度来实现这一点，使能够进行自动调整的端到端学习。最有趣的是，我们表明可以从递归形式的卡尔曼滤波器有效地计算梯度。此外，我们开发了一种基于模型的策略梯度算法，可以直接从轨迹跟踪误差中学习参数，而无需对实际真理。所提出的DMHE可以进一步嵌入为具有用于联合优化的其他神经网络的层。最后，我们通过在四轮官上的模拟和实验中展示了所提出的方法的有效性，其中检查了突然有效载荷变化和飞行中的具有挑战性的情景。

敏锐环境中的敏捷四号飞行有可能彻底改变运输，运输和搜索和救援应用。非线性模型预测控制（NMPC）最近显示了敏捷四足电池控制的有希望的结果，但依赖于高度准确的模型以获得最大性能。因此，模拟了非模型复杂空气动力学效果，不同有效载荷和参数错配的形式的不确定性将降低整体系统性能。本文提出了L1-NMPC，一种新型混合自适应NMPC，用于在线学习模型不确定性，并立即弥补它们，大大提高了与非自适应基线的性能，最小计算开销。我们所提出的体系结构推广到许多不同的环境，我们评估风，未知的有效载荷和高度敏捷的飞行条件。所提出的方法展示了巨大的灵活性和鲁棒性，在大未知干扰下的非自适应NMPC和没有任何增益调整的情况下，超过90％的跟踪误差减少。此外，相同的控制器具有相同的增益可以准确地飞行高度敏捷的赛车轨迹，该轨迹展示最高速度为70公里/小时，相对于非自适应NMPC基线提供约50％的跟踪性能提高。

从意外的外部扰动中恢复的能力是双模型运动的基本机动技能。有效的答复包括不仅可以恢复平衡并保持稳定性的能力，而且在平衡恢复物质不可行时，也可以保证安全的方式。对于与双式运动有关的机器人，例如人形机器人和辅助机器人设备，可帮助人类行走，设计能够提供这种稳定性和安全性的控制器可以防止机器人损坏或防止伤害相关的医疗费用。这是一个具有挑战性的任务，因为它涉及用触点产生高维，非线性和致动系统的高动态运动。尽管使用基于模型和优化方法的前进方面，但诸如广泛领域知识的要求，诸如较大的计算时间和有限的动态变化的鲁棒性仍然会使这个打开问题。在本文中，为了解决这些问题，我们开发基于学习的算法，能够为两种不同的机器人合成推送恢复控制政策：人形机器人和有助于双模型运动的辅助机器人设备。我们的工作可以分为两个密切相关的指示：1）学习人形机器人的安全下降和预防策略，2）使用机器人辅助装置学习人类的预防策略。为实现这一目标，我们介绍了一套深度加强学习（DRL）算法，以学习使用这些机器人时提高安全性的控制策略。

This paper presents an image-based visual servo control (IBVS) method for a first-person-view (FPV) quadrotor to conduct aggressive aerial tracking. There are three major challenges to maneuvering an underactuated vehicle using IBVS: (i) finding a visual feature representation that is robust to large rotations and is suited to be an optimization variable; (ii) keeping the target visible without sacrificing the robot's agility; and (iii) compensating for the rotational effects in the detected features. We propose a complete design framework to address these problems. First, we employ a rotation on $SO(3)$ to represent a spherical image feature on $S^{2}$ to gain singularity-free and second-order differentiable properties. To ensure target visibility, we formulate the IBVS as a nonlinear model predictive control (NMPC) problem with three constraints taken into account: the robot's physical limits, target visibility, and time-to-collision (TTC). Furthermore, we propose a novel attitude-compensation scheme to enable formulating the visibility constraint in the actual image plane instead of a virtual fix-orientation image plane. It guarantees that the visibility constraint is valid under large rotations. Extensive experimental results show that our method can track a fast-moving target stably and aggressively without the aid of a localization system.

室内运动计划的重点是解决通过混乱环境导航代理的问题。迄今为止，在该领域已经完成了很多工作，但是这些方法通常无法找到计算廉价的在线路径计划和路径最佳之间的最佳平衡。除此之外，这些作品通常证明是单一启动单目标世界的最佳性。为了应对这些挑战，我们为在未知室内环境中进行导航的多个路径路径计划者和控制器堆栈，在该环境中，路点将目标与机器人必须在达到目标之前必须穿越的中介点一起。我们的方法利用全球规划师（在任何瞬间找到下一个最佳航路点），本地规划师（计划通往特定航路点的路径）以及自适应模型预测性控制策略（用于强大的系统控制和更快的操作） 。我们在一组随机生成的障碍图，中间航路点和起始目标对上评估了算法，结果表明计算成本显着降低，具有高度准确性和可靠的控制。

子格式微型航空车（MAV）中的准确而敏捷的轨迹跟踪是具有挑战性的，因为机器人的小规模会引起大型模型不确定性，要求强大的反馈控制器，而快速的动力学和计算约束则阻止了计算上昂贵的策略的部署。在这项工作中，我们提出了一种在MIT SoftFly（一个子）MAV（0.7克）上进行敏捷和计算有效轨迹跟踪的方法。我们的策略采用了级联的控制方案，在该方案中，自适应态度控制器与受过训练的神经网络政策相结合，以模仿轨迹跟踪可靠的管模型模型预测控制器（RTMPC）。神经网络政策是使用我们最近的工作获得的，这使该政策能够保留RTMPC的稳健性，但以其计算成本的一小部分。我们通过实验评估我们的方法，即使在更具挑战性的操作中，达到均方根误差也低于1.8 cm，与我们先前的工作相比，最大位置误差减少了60％，并证明了对大型外部干扰的稳健性

在腿部机器人技术中，计划和执行敏捷的机动演习一直是一个长期的挑战。它需要实时得出运动计划和本地反馈政策，以处理动力学动量的非物质。为此，我们提出了一个混合预测控制器，该控制器考虑了机器人的致动界限和全身动力学。它将反馈政策与触觉信息相结合，以在本地预测未来的行动。由于采用可行性驱动的方法，它在几毫秒内收敛。我们的预测控制器使Anymal机器人能够在现实的场景中生成敏捷操作。关键要素是跟踪本地反馈策略，因为与全身控制相反，它们达到了所需的角动量。据我们所知，我们的预测控制器是第一个处理驱动限制，生成敏捷的机动操作以及执行低级扭矩控制的最佳反馈策略，而无需使用单独的全身控制器。