对外部干扰的估计和反应对于对准轮运动器的鲁棒控制是根本的重要性。现有估计人通常需要大量数据，包括地面真理的大量数据，以实现令人满意的性能。本文提出了一种数据有效的可微分运动地平线估计（DMHE）算法，可以在线自动调整MHE参数，并适应不同的场景。我们通过从MHE相对于调谐参数导出估计的轨迹的分析梯度来实现这一点，使能够进行自动调整的端到端学习。最有趣的是，我们表明可以从递归形式的卡尔曼滤波器有效地计算梯度。此外，我们开发了一种基于模型的策略梯度算法，可以直接从轨迹跟踪误差中学习参数，而无需对实际真理。所提出的DMHE可以进一步嵌入为具有用于联合优化的其他神经网络的层。最后，我们通过在四轮官上的模拟和实验中展示了所提出的方法的有效性，其中检查了突然有效载荷变化和飞行中的具有挑战性的情景。

估计和对外部干扰的反应对于二次驾驶的稳健飞行控制至关重要。现有的估计器通常需要针对特定​​的飞行方案或具有大量现实世界数据的培训进行重大调整，以实现令人满意的性能。在本文中，我们提出了一个神经移动范围估计器（Neuromhe），该估计量可以自动调整由神经网络建模并适应不同飞行方案的MHE参数。我们通过将MHE估计值的分析梯度推导出相对于可调参数的分析梯度实现这一目标，从而使MHE无缝嵌入作为神经网络中的无缝嵌入以进行高效学习。最有趣的是，我们证明可以从递归形式的卡尔曼过滤器有效地解决梯度。此外，我们开发了一种基于模型的策略梯度算法，可以直接从轨迹跟踪误差中训练神经元，而无需进行基础真相干扰。通过在各种具有挑战性的飞行中对四摩特的模拟和物理实验，通过模拟和物理实验对神经元的有效性进行了广泛的验证。值得注意的是，NeuroMhe的表现优于最先进的估计器，仅使用2.5％的参数量，力估计误差降低了49.4％。所提出的方法是一般的，可以应用于其他机器人系统的稳健自适应控制。

在腿部机器人技术中，计划和执行敏捷的机动演习一直是一个长期的挑战。它需要实时得出运动计划和本地反馈政策，以处理动力学动量的非物质。为此，我们提出了一个混合预测控制器，该控制器考虑了机器人的致动界限和全身动力学。它将反馈政策与触觉信息相结合，以在本地预测未来的行动。由于采用可行性驱动的方法，它在几毫秒内收敛。我们的预测控制器使Anymal机器人能够在现实的场景中生成敏捷操作。关键要素是跟踪本地反馈策略，因为与全身控制相反，它们达到了所需的角动量。据我们所知，我们的预测控制器是第一个处理驱动限制，生成敏捷的机动操作以及执行低级扭矩控制的最佳反馈策略，而无需使用单独的全身控制器。

策略搜索和模型预测控制〜（MPC）是机器人控制的两个不同范式：策略搜索具有使用经验丰富的数据自动学习复杂策略的强度，而MPC可以使用模型和轨迹优化提供最佳控制性能。开放的研究问题是如何利用并结合两种方法的优势。在这项工作中，我们通过使用策略搜索自动选择MPC的高级决策变量提供答案，这导致了一种新的策略搜索 - 用于模型预测控制框架。具体地，我们将MPC作为参数化控制器配制，其中难以优化的决策变量表示为高级策略。这种制定允许以自我监督的方式优化政策。我们通过专注于敏捷无人机飞行中的具有挑战性的问题来验证这一框架：通过快速的盖茨飞行四轮车。实验表明，我们的控制器在模拟和现实世界中实现了鲁棒和实时的控制性能。拟议的框架提供了合并学习和控制的新视角。

模型预测控制（MPC）越来越多地考虑控制快速系统和嵌入式应用。然而，MPC对这种系统具有一些重大挑战。其高计算复杂性导致来自控制算法的高功耗，这可能考虑电池供电嵌入式系统中的能量资源的大量份额。必须调整MPC参数，这主要是一个试验和错误过程，这些过程会影响控制器的控制性能，鲁棒性和计算复杂度高度。在本文中，我们提出了一种新颖的框架，其中可以使用加强学习（RL）共同调整控制算法的任何参数，其目的是同时优化控制算法的控制性能和功率使用。我们提出了优化MPCWith RL的元参数的新颖思想，即影响MPCPROBLAB的结构的参数，而不是给定个问题的解决方案。我们的控制算法基于事件触发的MPC，在那里我们学习当应该重新计算MPC时，以及在MPC计算之间应用的双模MPC和线性状态反馈控制法。我们制定了一种新的混合分配政策，并表明，随着联合优化，我们在孤立地优化相同参数时，无法呈现自己的改进。我们展示了我们对倒立摆控制任务的框架，将控制系统的总计算时间减少了36％，同时还通过最佳性能的MPC基线提高了18.4％的控制性能。

二次运动的准确轨迹跟踪控制对于在混乱环境中的安全导航至关重要。但是，由于非线性动态，复杂的空气动力学效应和驱动约束，这在敏捷飞行中具有挑战性。在本文中，我们通过经验比较两个最先进的控制框架：非线性模型预测控制器（NMPC）和基于差异的控制器（DFBC），通过以速度跟踪各种敏捷轨迹，最多20 m/s（即72 km/h）。比较在模拟和现实世界环境中进行，以系统地评估这两种方法从跟踪准确性，鲁棒性和计算效率的方面。我们以更高的计算时间和数值收敛问题的风险来表明NMPC在跟踪动态不可行的轨迹方面的优势。对于这两种方法，我们还定量研究了使用增量非线性动态反演（INDI）方法添加内环控制器的效果，以及添加空气动力学阻力模型的效果。我们在世界上最大的运动捕获系统之一中进行的真实实验表明，NMPC和DFBC的跟踪误差降低了78％以上，这表明有必要使用内环控制器和用于敏捷轨迹轨迹跟踪的空气动力学阻力模型。

空中操纵的生长场通常依赖于完全致动的或全向微型航空车（OMAV），它们可以在与环境接触时施加任意力和扭矩。控制方法通常基于无模型方法，将高级扳手控制器与执行器分配分开。如有必要，在线骚扰观察员拒绝干扰。但是，虽然是一般，但这种方法通常会产生次优控制命令，并且不能纳入平台设计给出的约束。我们提出了两种基于模型的方法来控制OMAV，以实现轨迹跟踪的任务，同时拒绝干扰。第一个通过从实验数据中学到的模型来优化扳手命令并补偿模型错误。第二个功能优化了低级执行器命令，允许利用分配无空格并考虑执行器硬件给出的约束。在现实世界实验中显示和评估两种方法的疗效和实时可行性。

在粗糙的地形上的动态运动需要准确的脚部放置，避免碰撞以及系统的动态不足的计划。在存在不完美且常常不完整的感知信息的情况下，可靠地优化此类动作和互动是具有挑战性的。我们提出了一个完整的感知，计划和控制管道，可以实时优化机器人所有自由度的动作。为了减轻地形所带来的数值挑战，凸出不平等约束的顺序被提取为立足性可行性的局部近似值，并嵌入到在线模型预测控制器中。每个高程映射预先计算了步骤性分类，平面分割和签名的距离场，以最大程度地减少优化过程中的计算工作。多次射击，实时迭代和基于滤波器的线路搜索的组合用于可靠地以高速率解决该法式问题。我们在模拟中的间隙，斜率和踏上石头的情况下验证了所提出的方法，并在Anymal四倍的平台上进行实验，从而实现了最新的动态攀登。

Accurate path following is challenging for autonomous robots operating in uncertain environments. Adaptive and predictive control strategies are crucial for a nonlinear robotic system to achieve high-performance path following control. In this paper, we propose a novel learning-based predictive control scheme that couples a high-level model predictive path following controller (MPFC) with a low-level learning-based feedback linearization controller (LB-FBLC) for nonlinear systems under uncertain disturbances. The low-level LB-FBLC utilizes Gaussian Processes to learn the uncertain environmental disturbances online and tracks the reference state accurately with a probabilistic stability guarantee. Meanwhile, the high-level MPFC exploits the linearized system model augmented with a virtual linear path dynamics model to optimize the evolution of path reference targets, and provides the reference states and controls for the low-level LB-FBLC. Simulation results illustrate the effectiveness of the proposed control strategy on a quadrotor path following task under unknown wind disturbances.

在腿的运动中重新规划对于追踪所需的用户速度，在适应地形并拒绝外部干扰的同时至关重要。在这项工作中，我们提出并测试了实验中的实时非线性模型预测控制（NMPC），用于腿部机器人，以实现各种地形上的动态运动。我们引入了一种基于移动性的标准来定义NMPC成本，增强了二次机器人的运动，同时最大化腿部移动性并提高对地形特征的适应。我们的NMPC基于实时迭代方案，使我们能够以25美元的价格重新计划在线，\ Mathrm {Hz} $ 2 $ 2 $ 2美元的预测地平线。我们使用在质量框架中心中定义的单个刚体动态模型，以提高计算效率。在仿真中，测试NMPC以横穿一组不同尺寸的托盘，走进V形烟囱，并在崎岖的地形上招揽。在真实实验中，我们展示了我们的NMPC与移动功能的有效性，使IIT为87美元\，\ Mathrm {kg} $四分之一的机器人HIQ，以实现平坦地形上的全方位步行，横穿静态托盘，并适应在散步期间重新定位托盘。

在本文中，我们分析了具有基于视觉导航的无人机（UAV）的时间延迟动力学对控制器设计的影响。时间延迟是网络物理系统中不可避免的现象，并且对无人机的控制器设计和轨迹产生具有重要意义。时间延迟对无人机动态的影响随着基于视力较慢的导航堆栈的使用而增加。我们表明，文献中的现有模型不包括时间延迟，不适合控制器调整，因为一个微不足道的解决方案始终存在错误的解决方案。我们确定的微不足道的解决方案表明，使用无限控制器的利益来实现最佳性能，这与实际发现相矛盾。我们通过引入无人机的新型非线性时间延迟模型来避免这种缺点，然后获得与每个UAV控制回路相对应的一组线性解耦模型。分析了角度和高度动力学的线性时间延迟模型的成本函数，与无延迟模型相反，我们显示了有限的最佳控制器参数的存在。由于使用了时间延迟模型，我们在实验上表明，所提出的模型准确地表示系统稳定性限制。由于时间延迟的考虑，我们使用基于视觉探视的无人机（VO）导航，在跟踪峰值速度为2.09 m/s的lemsistate轨迹时，我们实现了RMSE 5.01 cm的跟踪结果，这与最新-艺术。

这项研究提出了用于完善神经网络参数或进入连续时间动态系统的控制功能的增量校正方法，以提高解决方案精度，以满足对性能输出变量放置的临时点约束。所提出的方法是将其参数基线围绕基线值的动力学线性化，然后求解将扰动轨迹传输到特定时间点（即临时点）处所需的纠正输入。根据要调整的决策变量的类型，参数校正和控制功能校正方法将开发出来。这些增量校正方法可以用作补偿实时应用中预训练的神经网络的预测错误的手段，在实时应用中，必须在规定的时间点上高精度预测动态系统的准确性。在这方面，在线更新方法可用于增强有限摩托控制的整体靶向准确性，但使用神经政策受到点约束。数值示例证明了拟议方法在火星上的动力下降问题中的应用中的有效性。

本文提出了一项新颖的控制法，以使用尾随机翼无人驾驶飞机（UAV）进行准确跟踪敏捷轨迹，该轨道在垂直起飞和降落（VTOL）和向前飞行之间过渡。全球控制配方可以在整个飞行信封中进行操作，包括与Sideslip的不协调的飞行。显示了具有简化空气动力学模型的非线性尾尾动力学的差异平坦度。使用扁平度变换，提出的控制器结合了位置参考的跟踪及其导数速度，加速度和混蛋以及偏航参考和偏航速率。通过角速度进纸术语包含混蛋和偏航率参考，可以改善随着快速变化的加速度跟踪轨迹。控制器不取决于广泛的空气动力学建模，而是使用增量非线性动态反演（INDI）仅基于局部输入输出关系来计算控制更新，从而导致对简化空气动力学方程中差异的稳健性。非线性输入输出关系的精确反转是通过派生的平坦变换实现的。在飞行测试中对所得的控制算法进行了广泛的评估，在该测试中，它展示了准确的轨迹跟踪和挑战性敏捷操作，例如侧向飞行和转弯时的侵略性过渡。

机器人控制器的性能取决于其参数的选择，这需要仔细调整。在本文中，我们提出了DiFftune，这是一个新型，基于梯度的自动调整框架。我们的方法将动态系统和控制器作为计算图展开，并通过基于梯度的优化更新控制器参数。与常用的后传播方案不同，Difftune中的梯度是通过灵敏度传播获得的，这是一种与系统演化平行的前向模式自动分化技术。我们验证了杜宾汽车上提出的自动调节方法和在挑战性模拟环境中的四型旋转。仿真实验表明，该方法对于系统动力学和环境中的不确定性是可靠的，并且可以很好地推广到调整中看不见的轨迹。

在混乱的环境中自动二次运动的敏捷飞行需要受到限制的运动计划和控制，但要受翻译和旋转动力学的影响。传统的基于模型的方法通常需要复杂的设计和重型计算。在本文中，我们开发了一种基于深厚的增强学习方法，该方法解决了通过动态狭窄大门飞行的挑战性任务。我们设计了一个模型预测控制器，其自适应跟踪参考参考由深神经网络（DNN）进行了参数。这些参考文献包括遍历时间和四型SE（3）遍历姿势，这些姿势鼓励机器人从各种初始条件中使用最大的安全边缘飞行大门。为了应对在高度动态环境中的训练困难，我们开发了一个增强的学习框架，以有效地训练DNN，从而很好地介绍了各种环境。此外，我们提出了一种二进制搜索算法，该算法允许在线适应（3）对动态门的引用。最后，通过广泛的高保真模拟，我们表明我们的方法对门的速度不确定性具有鲁棒性，并适应了不同的门轨迹和方向。

星际对象（ISO），与太阳相结合的无重力的天文对象，可能是原始材料的代表，在理解系外星系中无价。然而，由于其倾斜度通常很高和相对速度的限制性较差，因此，使用常规的人类在循环方法中探索ISO非常具有挑战性。本文介绍了神经汇聚 - 一个基于深度学习的指导和控制框架，用于遇到任何快速移动的对象，包括ISO，稳健，准确和实时自主。它在指导策略之上使用最小规范跟踪控制，该指南策略由频谱归一化的深神经网络建模，在该策略策略中，其超级参数通过新引入的损耗函数调节，直接惩罚了状态轨迹跟踪错误。我们严格地表明，即使在ISO探索的挑战性案例中，神经汇聚也提供了1）在预期的航天器递送误差上的高概率指数构成； 2）关于模型预测控制的解决方案的有限最优差距，这两者都是必不可少的，尤其是对于如此关键的空间任务。在数值模拟中，证明神经汇聚可以达到99％具有现实状态不确定性的ISO候选者的终末交付误差小于0.2 km，同时保留足以实现实时实施的计算效率。

子格式微型航空车（MAV）中的准确而敏捷的轨迹跟踪是具有挑战性的，因为机器人的小规模会引起大型模型不确定性，要求强大的反馈控制器，而快速的动力学和计算约束则阻止了计算上昂贵的策略的部署。在这项工作中，我们提出了一种在MIT SoftFly（一个子）MAV（0.7克）上进行敏捷和计算有效轨迹跟踪的方法。我们的策略采用了级联的控制方案，在该方案中，自适应态度控制器与受过训练的神经网络政策相结合，以模仿轨迹跟踪可靠的管模型模型预测控制器（RTMPC）。神经网络政策是使用我们最近的工作获得的，这使该政策能够保留RTMPC的稳健性，但以其计算成本的一小部分。我们通过实验评估我们的方法，即使在更具挑战性的操作中，达到均方根误差也低于1.8 cm，与我们先前的工作相比，最大位置误差减少了60％，并证明了对大型外部干扰的稳健性

We address the theoretical and practical problems related to the trajectory generation and tracking control of tail-sitter UAVs. Theoretically, we focus on the differential flatness property with full exploitation of actual UAV aerodynamic models, which lays a foundation for generating dynamically feasible trajectory and achieving high-performance tracking control. We have found that a tail-sitter is differentially flat with accurate aerodynamic models within the entire flight envelope, by specifying coordinate flight condition and choosing the vehicle position as the flat output. This fundamental property allows us to fully exploit the high-fidelity aerodynamic models in the trajectory planning and tracking control to achieve accurate tail-sitter flights. Particularly, an optimization-based trajectory planner for tail-sitters is proposed to design high-quality, smooth trajectories with consideration of kinodynamic constraints, singularity-free constraints and actuator saturation. The planned trajectory of flat output is transformed to state trajectory in real-time with consideration of wind in environments. To track the state trajectory, a global, singularity-free, and minimally-parameterized on-manifold MPC is developed, which fully leverages the accurate aerodynamic model to achieve high-accuracy trajectory tracking within the whole flight envelope. The effectiveness of the proposed framework is demonstrated through extensive real-world experiments in both indoor and outdoor field tests, including agile SE(3) flight through consecutive narrow windows requiring specific attitude and with speed up to 10m/s, typical tail-sitter maneuvers (transition, level flight and loiter) with speed up to 20m/s, and extremely aggressive aerobatic maneuvers (Wingover, Loop, Vertical Eight and Cuban Eight) with acceleration up to 2.5g.

由于机器人动力学中的固有非线性，腿部机器人全身动作的在线计划具有挑战性。在这项工作中，我们提出了一个非线性MPC框架，该框架可以通过有效利用机器人动力学结构来在线生成全身轨迹。Biconmp用于在真正的四倍机器人上生成各种环状步态，其性能在不同的地形上进行了评估，对抗不同步态之间的不可预见的推动力并在线过渡。此外，提出了双孔在机器人上产生非平凡无环的全身动态运动的能力。同样的方法也被用来在人体机器人（TALOS）上产生MPC的各种动态运动，并在模拟中产生另一个四倍的机器人（Anymal）。最后，报告并讨论了对计划范围和频率对非线性MPC框架的影响的广泛经验分析。

Legged robots pose one of the greatest challenges in robotics. Dynamic and agile maneuvers of animals cannot be imitated by existing methods that are crafted by humans. A compelling alternative is reinforcement learning, which requires minimal craftsmanship and promotes the natural evolution of a control policy. However, so far, reinforcement learning research for legged robots is mainly limited to simulation, and only few and comparably simple examples have been deployed on real systems. The primary reason is that training with real robots, particularly with dynamically balancing systems, is complicated and expensive. In the present work, we report a new method for training a neural network policy in simulation and transferring it to a state-of-the-art legged system, thereby we leverage fast, automated, and cost-effective data generation schemes. The approach is applied to the ANYmal robot, a sophisticated medium-dog-sized quadrupedal system. Using policies trained in simulation, the quadrupedal machine achieves locomotion skills that go beyond what had been achieved with prior methods: ANYmal is capable of precisely and energy-efficiently following high-level body velocity commands, running faster than ever before, and recovering from falling even in complex configurations.