估计和对外部干扰的反应对于二次驾驶的稳健飞行控制至关重要。现有的估计器通常需要针对特定​​的飞行方案或具有大量现实世界数据的培训进行重大调整，以实现令人满意的性能。在本文中，我们提出了一个神经移动范围估计器（Neuromhe），该估计量可以自动调整由神经网络建模并适应不同飞行方案的MHE参数。我们通过将MHE估计值的分析梯度推导出相对于可调参数的分析梯度实现这一目标，从而使MHE无缝嵌入作为神经网络中的无缝嵌入以进行高效学习。最有趣的是，我们证明可以从递归形式的卡尔曼过滤器有效地解决梯度。此外，我们开发了一种基于模型的策略梯度算法，可以直接从轨迹跟踪误差中训练神经元，而无需进行基础真相干扰。通过在各种具有挑战性的飞行中对四摩特的模拟和物理实验，通过模拟和物理实验对神经元的有效性进行了广泛的验证。值得注意的是，NeuroMhe的表现优于最先进的估计器，仅使用2.5％的参数量，力估计误差降低了49.4％。所提出的方法是一般的，可以应用于其他机器人系统的稳健自适应控制。

对外部干扰的估计和反应对于对准轮运动器的鲁棒控制是根本的重要性。现有估计人通常需要大量数据，包括地面真理的大量数据，以实现令人满意的性能。本文提出了一种数据有效的可微分运动地平线估计（DMHE）算法，可以在线自动调整MHE参数，并适应不同的场景。我们通过从MHE相对于调谐参数导出估计的轨迹的分析梯度来实现这一点，使能够进行自动调整的端到端学习。最有趣的是，我们表明可以从递归形式的卡尔曼滤波器有效地计算梯度。此外，我们开发了一种基于模型的策略梯度算法，可以直接从轨迹跟踪误差中学习参数，而无需对实际真理。所提出的DMHE可以进一步嵌入为具有用于联合优化的其他神经网络的层。最后，我们通过在四轮官上的模拟和实验中展示了所提出的方法的有效性，其中检查了突然有效载荷变化和飞行中的具有挑战性的情景。

二次运动的准确轨迹跟踪控制对于在混乱环境中的安全导航至关重要。但是，由于非线性动态，复杂的空气动力学效应和驱动约束，这在敏捷飞行中具有挑战性。在本文中，我们通过经验比较两个最先进的控制框架：非线性模型预测控制器（NMPC）和基于差异的控制器（DFBC），通过以速度跟踪各种敏捷轨迹，最多20 m/s（即72 km/h）。比较在模拟和现实世界环境中进行，以系统地评估这两种方法从跟踪准确性，鲁棒性和计算效率的方面。我们以更高的计算时间和数值收敛问题的风险来表明NMPC在跟踪动态不可行的轨迹方面的优势。对于这两种方法，我们还定量研究了使用增量非线性动态反演（INDI）方法添加内环控制器的效果，以及添加空气动力学阻力模型的效果。我们在世界上最大的运动捕获系统之一中进行的真实实验表明，NMPC和DFBC的跟踪误差降低了78％以上，这表明有必要使用内环控制器和用于敏捷轨迹轨迹跟踪的空气动力学阻力模型。

策略搜索和模型预测控制〜（MPC）是机器人控制的两个不同范式：策略搜索具有使用经验丰富的数据自动学习复杂策略的强度，而MPC可以使用模型和轨迹优化提供最佳控制性能。开放的研究问题是如何利用并结合两种方法的优势。在这项工作中，我们通过使用策略搜索自动选择MPC的高级决策变量提供答案，这导致了一种新的策略搜索 - 用于模型预测控制框架。具体地，我们将MPC作为参数化控制器配制，其中难以优化的决策变量表示为高级策略。这种制定允许以自我监督的方式优化政策。我们通过专注于敏捷无人机飞行中的具有挑战性的问题来验证这一框架：通过快速的盖茨飞行四轮车。实验表明，我们的控制器在模拟和现实世界中实现了鲁棒和实时的控制性能。拟议的框架提供了合并学习和控制的新视角。

本文提出了一项新颖的控制法，以使用尾随机翼无人驾驶飞机（UAV）进行准确跟踪敏捷轨迹，该轨道在垂直起飞和降落（VTOL）和向前飞行之间过渡。全球控制配方可以在整个飞行信封中进行操作，包括与Sideslip的不协调的飞行。显示了具有简化空气动力学模型的非线性尾尾动力学的差异平坦度。使用扁平度变换，提出的控制器结合了位置参考的跟踪及其导数速度，加速度和混蛋以及偏航参考和偏航速率。通过角速度进纸术语包含混蛋和偏航率参考，可以改善随着快速变化的加速度跟踪轨迹。控制器不取决于广泛的空气动力学建模，而是使用增量非线性动态反演（INDI）仅基于局部输入输出关系来计算控制更新，从而导致对简化空气动力学方程中差异的稳健性。非线性输入输出关系的精确反转是通过派生的平坦变换实现的。在飞行测试中对所得的控制算法进行了广泛的评估，在该测试中，它展示了准确的轨迹跟踪和挑战性敏捷操作，例如侧向飞行和转弯时的侵略性过渡。

在粗糙的地形上的动态运动需要准确的脚部放置，避免碰撞以及系统的动态不足的计划。在存在不完美且常常不完整的感知信息的情况下，可靠地优化此类动作和互动是具有挑战性的。我们提出了一个完整的感知，计划和控制管道，可以实时优化机器人所有自由度的动作。为了减轻地形所带来的数值挑战，凸出不平等约束的顺序被提取为立足性可行性的局部近似值，并嵌入到在线模型预测控制器中。每个高程映射预先计算了步骤性分类，平面分割和签名的距离场，以最大程度地减少优化过程中的计算工作。多次射击，实时迭代和基于滤波器的线路搜索的组合用于可靠地以高速率解决该法式问题。我们在模拟中的间隙，斜率和踏上石头的情况下验证了所提出的方法，并在Anymal四倍的平台上进行实验，从而实现了最新的动态攀登。

在腿部机器人技术中，计划和执行敏捷的机动演习一直是一个长期的挑战。它需要实时得出运动计划和本地反馈政策，以处理动力学动量的非物质。为此，我们提出了一个混合预测控制器，该控制器考虑了机器人的致动界限和全身动力学。它将反馈政策与触觉信息相结合，以在本地预测未来的行动。由于采用可行性驱动的方法，它在几毫秒内收敛。我们的预测控制器使Anymal机器人能够在现实的场景中生成敏捷操作。关键要素是跟踪本地反馈策略，因为与全身控制相反，它们达到了所需的角动量。据我们所知，我们的预测控制器是第一个处理驱动限制，生成敏捷的机动操作以及执行低级扭矩控制的最佳反馈策略，而无需使用单独的全身控制器。

在混乱的环境中自动二次运动的敏捷飞行需要受到限制的运动计划和控制，但要受翻译和旋转动力学的影响。传统的基于模型的方法通常需要复杂的设计和重型计算。在本文中，我们开发了一种基于深厚的增强学习方法，该方法解决了通过动态狭窄大门飞行的挑战性任务。我们设计了一个模型预测控制器，其自适应跟踪参考参考由深神经网络（DNN）进行了参数。这些参考文献包括遍历时间和四型SE（3）遍历姿势，这些姿势鼓励机器人从各种初始条件中使用最大的安全边缘飞行大门。为了应对在高度动态环境中的训练困难，我们开发了一个增强的学习框架，以有效地训练DNN，从而很好地介绍了各种环境。此外，我们提出了一种二进制搜索算法，该算法允许在线适应（3）对动态门的引用。最后，通过广泛的高保真模拟，我们表明我们的方法对门的速度不确定性具有鲁棒性，并适应了不同的门轨迹和方向。

该论文提出了两种控制方法，用于用微型四轮驱动器进行反弹式操纵。首先，对专门为反转设计设计的现有前馈控制策略进行了修订和改进。使用替代高斯工艺模型的贝叶斯优化通过在模拟环境中反复执行翻转操作来找到最佳运动原语序列。第二种方法基于闭环控制，它由两个主要步骤组成：首先，即使在模型不确定性的情况下，自适应控制器也旨在提供可靠的参考跟踪。控制器是通过通过测量数据调整的高斯过程来增强无人机的标称模型来构建的。其次，提出了一种有效的轨迹计划算法，该算法仅使用二次编程来设计可行的轨迹为反弹操作设计。在模拟和使用BitCraze Crazyflie 2.1四肢旋转器中对两种方法进行了分析。

机器人系统的控制设计很复杂，通常需要解决优化才能准确遵循轨迹。在线优化方法（例如模型预测性控制（MPC））已被证明可以实现出色的跟踪性能，但需要高计算能力。相反，基于学习的离线优化方法，例如加固学习（RL），可以在机器人上快速有效地执行，但几乎不匹配MPC在轨迹跟踪任务中的准确性。在具有有限计算的系统（例如航空车）中，必须在执行时间有效的精确控制器。我们提出了一种分析策略梯度（APG）方法来解决此问题。 APG通过在跟踪误差上以梯度下降的速度训练控制器来利用可区分的模拟器的可用性。我们解决了通过课程学习和实验经常在广泛使用的控制基准，Cartpole和两个常见的空中机器人，一个四极管和固定翼无人机上进行的训练不稳定性。在跟踪误差方面，我们提出的方法优于基于模型和无模型的RL方法。同时，它达到与MPC相似的性能，同时需要少于数量级的计算时间。我们的工作为APG作为机器人技术的有前途的控制方法提供了见解。为了促进对APG的探索，我们开放代码并在https://github.com/lis-epfl/apg_traightory_tracking上提供。

Legged robots pose one of the greatest challenges in robotics. Dynamic and agile maneuvers of animals cannot be imitated by existing methods that are crafted by humans. A compelling alternative is reinforcement learning, which requires minimal craftsmanship and promotes the natural evolution of a control policy. However, so far, reinforcement learning research for legged robots is mainly limited to simulation, and only few and comparably simple examples have been deployed on real systems. The primary reason is that training with real robots, particularly with dynamically balancing systems, is complicated and expensive. In the present work, we report a new method for training a neural network policy in simulation and transferring it to a state-of-the-art legged system, thereby we leverage fast, automated, and cost-effective data generation schemes. The approach is applied to the ANYmal robot, a sophisticated medium-dog-sized quadrupedal system. Using policies trained in simulation, the quadrupedal machine achieves locomotion skills that go beyond what had been achieved with prior methods: ANYmal is capable of precisely and energy-efficiently following high-level body velocity commands, running faster than ever before, and recovering from falling even in complex configurations.

空中操纵的生长场通常依赖于完全致动的或全向微型航空车（OMAV），它们可以在与环境接触时施加任意力和扭矩。控制方法通常基于无模型方法，将高级扳手控制器与执行器分配分开。如有必要，在线骚扰观察员拒绝干扰。但是，虽然是一般，但这种方法通常会产生次优控制命令，并且不能纳入平台设计给出的约束。我们提出了两种基于模型的方法来控制OMAV，以实现轨迹跟踪的任务，同时拒绝干扰。第一个通过从实验数据中学到的模型来优化扳手命令并补偿模型错误。第二个功能优化了低级执行器命令，允许利用分配无空格并考虑执行器硬件给出的约束。在现实世界实验中显示和评估两种方法的疗效和实时可行性。

本文介绍了微型拍打翼无人机的数据驱动的最佳控制政策。首先，根据动力学的几何公式​​计算一组最佳轨迹，该动力学的几何公式​​捕获了大角度拍打运动与准稳态空气动力学之间的非线性耦合。然后，根据模仿学习的框架，它被转换为反馈控制系统。特别是，通过学习过程加入了附加的约束，以增强所得控制动力学的稳定性。与常规方法相比，所提出的约束模仿学习消除了在线生成其他最佳轨迹的需求，而无需牺牲稳定性。因此，计算效率大大提高。此外，这建立了第一个非线性控制系统，该系统稳定了旋转翼航空车辆的耦合纵向和横向动力学，而无需依赖平均或线性化。这些由数值示例说明，该示例的模拟模型受君主蝴蝶的启发。

这项研究提出了用于完善神经网络参数或进入连续时间动态系统的控制功能的增量校正方法，以提高解决方案精度，以满足对性能输出变量放置的临时点约束。所提出的方法是将其参数基线围绕基线值的动力学线性化，然后求解将扰动轨迹传输到特定时间点（即临时点）处所需的纠正输入。根据要调整的决策变量的类型，参数校正和控制功能校正方法将开发出来。这些增量校正方法可以用作补偿实时应用中预训练的神经网络的预测错误的手段，在实时应用中，必须在规定的时间点上高精度预测动态系统的准确性。在这方面，在线更新方法可用于增强有限摩托控制的整体靶向准确性，但使用神经政策受到点约束。数值示例证明了拟议方法在火星上的动力下降问题中的应用中的有效性。

在腿的运动中重新规划对于追踪所需的用户速度，在适应地形并拒绝外部干扰的同时至关重要。在这项工作中，我们提出并测试了实验中的实时非线性模型预测控制（NMPC），用于腿部机器人，以实现各种地形上的动态运动。我们引入了一种基于移动性的标准来定义NMPC成本，增强了二次机器人的运动，同时最大化腿部移动性并提高对地形特征的适应。我们的NMPC基于实时迭代方案，使我们能够以25美元的价格重新计划在线，\ Mathrm {Hz} $ 2 $ 2 $ 2美元的预测地平线。我们使用在质量框架中心中定义的单个刚体动态模型，以提高计算效率。在仿真中，测试NMPC以横穿一组不同尺寸的托盘，走进V形烟囱，并在崎岖的地形上招揽。在真实实验中，我们展示了我们的NMPC与移动功能的有效性，使IIT为87美元\，\ Mathrm {kg} $四分之一的机器人HIQ，以实现平坦地形上的全方位步行，横穿静态托盘，并适应在散步期间重新定位托盘。

现代机器人系统具有卓越的移动性和机械技能，使其适合在现实世界场景中使用，其中需要与重物和精确的操纵能力进行互动。例如，具有高有效载荷容量的腿机器人可用于灾害场景，以清除危险物质或携带受伤的人。因此，可以开发能够使复杂机器人能够准确地执行运动和操作任务的规划算法。此外，需要在线适应机制，需要新的未知环境。在这项工作中，我们强加了模型预测控制（MPC）产生的最佳状态输入轨迹满足机器人系统自适应控制中的Lyapunov函数标准。因此，我们将控制Lyapunov函数（CLF）提供的稳定性保证以及MPC在统一的自适应框架中提供的最优性，在机器人与未知对象的交互过程中产生改进的性能。我们验证了携带未建模有效载荷和拉重盒子的四足机器人的仿真和硬件测试中提出的方法。

最佳控制是一种成功的方法，可以为复杂机器人产生运动，特别是对于有腿运动。然而，这些技术往往太慢而无法实时运行，以便模型预测控制或者需要大大简化动力学模型。在这项工作中，我们展示了一种学习来预测问题值函数的梯度和Hessian的方法，可以用一步二次程序来快速解决预测控制问题。此外，我们的方法能够满足像摩擦锥和单侧约束的约束，这对于高动态机器机器任务很重要。我们展示了我们在模拟中的方法和实际的四轮车机器人执行小跑和边界运动的能力。

We propose a learning-based robust predictive control algorithm that compensates for significant uncertainty in the dynamics for a class of discrete-time systems that are nominally linear with an additive nonlinear component. Such systems commonly model the nonlinear effects of an unknown environment on a nominal system. We optimize over a class of nonlinear feedback policies inspired by certainty equivalent "estimate-and-cancel" control laws pioneered in classical adaptive control to achieve significant performance improvements in the presence of uncertainties of large magnitude, a setting in which existing learning-based predictive control algorithms often struggle to guarantee safety. In contrast to previous work in robust adaptive MPC, our approach allows us to take advantage of structure (i.e., the numerical predictions) in the a priori unknown dynamics learned online through function approximation. Our approach also extends typical nonlinear adaptive control methods to systems with state and input constraints even when we cannot directly cancel the additive uncertain function from the dynamics. We apply contemporary statistical estimation techniques to certify the system's safety through persistent constraint satisfaction with high probability. Moreover, we propose using Bayesian meta-learning algorithms that learn calibrated model priors to help satisfy the assumptions of the control design in challenging settings. Finally, we show in simulation that our method can accommodate more significant unknown dynamics terms than existing methods and that the use of Bayesian meta-learning allows us to adapt to the test environments more rapidly.

Accurate path following is challenging for autonomous robots operating in uncertain environments. Adaptive and predictive control strategies are crucial for a nonlinear robotic system to achieve high-performance path following control. In this paper, we propose a novel learning-based predictive control scheme that couples a high-level model predictive path following controller (MPFC) with a low-level learning-based feedback linearization controller (LB-FBLC) for nonlinear systems under uncertain disturbances. The low-level LB-FBLC utilizes Gaussian Processes to learn the uncertain environmental disturbances online and tracks the reference state accurately with a probabilistic stability guarantee. Meanwhile, the high-level MPFC exploits the linearized system model augmented with a virtual linear path dynamics model to optimize the evolution of path reference targets, and provides the reference states and controls for the low-level LB-FBLC. Simulation results illustrate the effectiveness of the proposed control strategy on a quadrotor path following task under unknown wind disturbances.

We address the theoretical and practical problems related to the trajectory generation and tracking control of tail-sitter UAVs. Theoretically, we focus on the differential flatness property with full exploitation of actual UAV aerodynamic models, which lays a foundation for generating dynamically feasible trajectory and achieving high-performance tracking control. We have found that a tail-sitter is differentially flat with accurate aerodynamic models within the entire flight envelope, by specifying coordinate flight condition and choosing the vehicle position as the flat output. This fundamental property allows us to fully exploit the high-fidelity aerodynamic models in the trajectory planning and tracking control to achieve accurate tail-sitter flights. Particularly, an optimization-based trajectory planner for tail-sitters is proposed to design high-quality, smooth trajectories with consideration of kinodynamic constraints, singularity-free constraints and actuator saturation. The planned trajectory of flat output is transformed to state trajectory in real-time with consideration of wind in environments. To track the state trajectory, a global, singularity-free, and minimally-parameterized on-manifold MPC is developed, which fully leverages the accurate aerodynamic model to achieve high-accuracy trajectory tracking within the whole flight envelope. The effectiveness of the proposed framework is demonstrated through extensive real-world experiments in both indoor and outdoor field tests, including agile SE(3) flight through consecutive narrow windows requiring specific attitude and with speed up to 10m/s, typical tail-sitter maneuvers (transition, level flight and loiter) with speed up to 20m/s, and extremely aggressive aerobatic maneuvers (Wingover, Loop, Vertical Eight and Cuban Eight) with acceleration up to 2.5g.