在这项工作中，我们考虑了在线环境中提高模型预测控制（MPC）动态模型准确性的任务。即使可以学习预测模型并将其应用于基于模型的控制器，但这些模型也经常离线学习。在此离线环境中，首先收集培训数据，并通过详细的培训程序来学习预测模型。将模型训练至所需的精度后，然后将其部署到模型预测控制器中。但是，由于模型是离线学习的，因此它不适合部署过程中观察到的干扰或模型错误。为了提高模型和控制器的适应性，我们提出了一个在线动力学学习框架，该框架不断提高部署过程中动态模型的准确性。我们采用基于知识的神经普通微分方程（KNODE）作为动态模型，并使用受转移学习启发的技术来不断提高模型的准确性。我们通过四型机器人证明了框架的功效，并在模拟和物理实验中验证框架。结果表明，所提出的方法能够说明可能段时间变化的干扰，同时保持良好的轨迹跟踪性能。

在这项工作中，我们考虑使用应用于四逆床控制的模型预测控制（MPC）导出和加入准确动态模型的问题。 MPC依赖于精确的动态模型来实现所需的闭环性能。然而，在复杂系统中存在不确定性以及他们在其运行的环境中的存在在获得对系统动态的充分准确表示方面构成挑战。在这项工作中，我们利用深度学习工具，基于知识的神经常规方程（KNODE），增强了从第一原理获得的模型。由此产生的混合模型包括来自模拟或现实世界实验数据的标称第一原理模型和神经网络。使用四轮压力机，我们将混合模型用于针对最先进的高斯过程（GP）模型，并表明混合模型提供了Quadrotor动态的更准确的预测，并且能够概括超出训练数据。为了提高闭环性能，混合模型集成到新的MPC框架中，称为KNODE-MPC。结果表明，就轨迹跟踪性能而言，综合框架在物理实验中达到了60.2％的仿真和21％以上。

国家估计是许多机器人应用中的重要方面。在这项工作中，我们考虑通过增强状态估计算法中使用的动力学模型来获得机器人系统的准确状态估计的任务。现有的框架，例如移动视野估计（MHE）和无气味的卡尔曼过滤器（UKF），为合并非线性动力学和测量模型提供了灵活性。但是，这意味着这些算法中的动力学模型必须足够准确，以保证状态估计的准确性。为了增强动力学模型并提高估计准确性，我们利用了一个深度学习框架，称为基于知识的神经普通微分方程（KNODES）。 KNODE框架将先验知识嵌入到训练过程中，并通过将先前的第一原理模型与神经普通微分方程（NODE）模型融合来合成精确的混合模型。在我们提出的最新框架中，我们将数据驱动的模型集成到两种基于新型模型的状态估计算法中，它们表示为Knode-Mhe和Knode-UKF。在许多机器人应用中，将这两种算法与它们的常规对应物进行了比较。使用部分测量值，地面机器人的定位以及四型二次估计的状态估计。通过使用现实世界实验数据的模拟和测试，我们证明了所提出的学习增强状态估计框架的多功能性和功效。

准确地建模四极管的系统动力学对于保证敏捷，安全和稳定的导航至关重要。该模型需要在多个飞行机制和操作条件下捕获系统行为，包括产生高度非线性效应的那些，例如空气动力和扭矩，转子相互作用或可能的系统配置修改。经典方法依靠手工制作的模型并努力概括和扩展以捕获这些效果。在本文中，我们介绍了一种新型的物理启发的时间卷积网络（PI-TCN）方法，用于学习四极管的系统动力学，纯粹是从机器人体验中学习的。我们的方法结合了稀疏时间卷积的表达力和密集的进料连接，以进行准确的系统预测。此外，物理限制嵌入了培训过程中，以促进网络对培训分布以外数据的概括功能。最后，我们设计了一种模型预测控制方法，该方法结合了学习的动力学，以完全利用学习范围的方式，以完全利用学习模型预测的准确闭环轨迹跟踪。实验结果表明，我们的方法可以准确地从数据中提取四四光动力学的结构，从而捕获对经典方法隐藏的效果。据我们所知，这是物理启发的深度学习成功地应用于时间卷积网络和系统识别任务，同时同时实现了预测性控制。

策略搜索和模型预测控制〜（MPC）是机器人控制的两个不同范式：策略搜索具有使用经验丰富的数据自动学习复杂策略的强度，而MPC可以使用模型和轨迹优化提供最佳控制性能。开放的研究问题是如何利用并结合两种方法的优势。在这项工作中，我们通过使用策略搜索自动选择MPC的高级决策变量提供答案，这导致了一种新的策略搜索 - 用于模型预测控制框架。具体地，我们将MPC作为参数化控制器配制，其中难以优化的决策变量表示为高级策略。这种制定允许以自我监督的方式优化政策。我们通过专注于敏捷无人机飞行中的具有挑战性的问题来验证这一框架：通过快速的盖茨飞行四轮车。实验表明，我们的控制器在模拟和现实世界中实现了鲁棒和实时的控制性能。拟议的框架提供了合并学习和控制的新视角。

模型预测控制（MPC）已成为高性能自治系统嵌入式控制的流行框架。但是，为了使用MPC实现良好的控制性能，准确的动力学模型是关键。为了维持实时操作，嵌入式系统上使用的动力学模型仅限于简单的第一原则模型，该模型实质上限制了其代表性。与此类简单模型相反，机器学习方法，特别是神经网络，已被证明可以准确地建模复杂的动态效果，但是它们的较大的计算复杂性阻碍了与快速实时迭代环路的组合。通过这项工作，我们提出了实时神经MPC，这是一个将大型复杂的神经网络体系结构作为动态模型的框架，在模型预测性控制管道中。 ，展示了所描述的系统的功能，可以使用基于梯度的在线优化MPC运行以前不可行的大型建模能力。与在线优化MPC中神经网络的先前实现相比，我们可以利用嵌入式平台上50Hz实时窗口中的4000倍的型号。此外，与没有神经网络动力学的最新MPC方法相比，我们通过将位置跟踪误差降低多达82％，从而显示了对现实世界问题的可行性。

过去半年来，从控制和强化学习社区的真实机器人部署的安全学习方法的贡献数量急剧上升。本文提供了一种简洁的但整体审查，对利用机器学习实现的最新进展，以实现在不确定因素下的安全决策，重点是统一控制理论和加固学习研究中使用的语言和框架。我们的评论包括：基于学习的控制方法，通过学习不确定的动态，加强学习方法，鼓励安全或坚固性的加固学习方法，以及可以正式证明学习控制政策安全的方法。随着基于数据和学习的机器人控制方法继续获得牵引力，研究人员必须了解何时以及如何最好地利用它们在安全势在必行的现实情景中，例如在靠近人类的情况下操作时。我们突出了一些开放的挑战，即将在未来几年推动机器人学习领域，并强调需要逼真的物理基准的基准，以便于控制和加固学习方法之间的公平比较。

敏锐环境中的敏捷四号飞行有可能彻底改变运输，运输和搜索和救援应用。非线性模型预测控制（NMPC）最近显示了敏捷四足电池控制的有希望的结果，但依赖于高度准确的模型以获得最大性能。因此，模拟了非模型复杂空气动力学效果，不同有效载荷和参数错配的形式的不确定性将降低整体系统性能。本文提出了L1-NMPC，一种新型混合自适应NMPC，用于在线学习模型不确定性，并立即弥补它们，大大提高了与非自适应基线的性能，最小计算开销。我们所提出的体系结构推广到许多不同的环境，我们评估风，未知的有效载荷和高度敏捷的飞行条件。所提出的方法展示了巨大的灵活性和鲁棒性，在大未知干扰下的非自适应NMPC和没有任何增益调整的情况下，超过90％的跟踪误差减少。此外，相同的控制器具有相同的增益可以准确地飞行高度敏捷的赛车轨迹，该轨迹展示最高速度为70公里/小时，相对于非自适应NMPC基线提供约50％的跟踪性能提高。

现代机器人系统具有卓越的移动性和机械技能，使其适合在现实世界场景中使用，其中需要与重物和精确的操纵能力进行互动。例如，具有高有效载荷容量的腿机器人可用于灾害场景，以清除危险物质或携带受伤的人。因此，可以开发能够使复杂机器人能够准确地执行运动和操作任务的规划算法。此外，需要在线适应机制，需要新的未知环境。在这项工作中，我们强加了模型预测控制（MPC）产生的最佳状态输入轨迹满足机器人系统自适应控制中的Lyapunov函数标准。因此，我们将控制Lyapunov函数（CLF）提供的稳定性保证以及MPC在统一的自适应框架中提供的最优性，在机器人与未知对象的交互过程中产生改进的性能。我们验证了携带未建模有效载荷和拉重盒子的四足机器人的仿真和硬件测试中提出的方法。

子格式微型航空车（MAV）中的准确而敏捷的轨迹跟踪是具有挑战性的，因为机器人的小规模会引起大型模型不确定性，要求强大的反馈控制器，而快速的动力学和计算约束则阻止了计算上昂贵的策略的部署。在这项工作中，我们提出了一种在MIT SoftFly（一个子）MAV（0.7克）上进行敏捷和计算有效轨迹跟踪的方法。我们的策略采用了级联的控制方案，在该方案中，自适应态度控制器与受过训练的神经网络政策相结合，以模仿轨迹跟踪可靠的管模型模型预测控制器（RTMPC）。神经网络政策是使用我们最近的工作获得的，这使该政策能够保留RTMPC的稳健性，但以其计算成本的一小部分。我们通过实验评估我们的方法，即使在更具挑战性的操作中，达到均方根误差也低于1.8 cm，与我们先前的工作相比，最大位置误差减少了60％，并证明了对大型外部干扰的稳健性

We propose a learning-based robust predictive control algorithm that compensates for significant uncertainty in the dynamics for a class of discrete-time systems that are nominally linear with an additive nonlinear component. Such systems commonly model the nonlinear effects of an unknown environment on a nominal system. We optimize over a class of nonlinear feedback policies inspired by certainty equivalent "estimate-and-cancel" control laws pioneered in classical adaptive control to achieve significant performance improvements in the presence of uncertainties of large magnitude, a setting in which existing learning-based predictive control algorithms often struggle to guarantee safety. In contrast to previous work in robust adaptive MPC, our approach allows us to take advantage of structure (i.e., the numerical predictions) in the a priori unknown dynamics learned online through function approximation. Our approach also extends typical nonlinear adaptive control methods to systems with state and input constraints even when we cannot directly cancel the additive uncertain function from the dynamics. We apply contemporary statistical estimation techniques to certify the system's safety through persistent constraint satisfaction with high probability. Moreover, we propose using Bayesian meta-learning algorithms that learn calibrated model priors to help satisfy the assumptions of the control design in challenging settings. Finally, we show in simulation that our method can accommodate more significant unknown dynamics terms than existing methods and that the use of Bayesian meta-learning allows us to adapt to the test environments more rapidly.

机器人布操作是自动机器人系统的相关挑战性问题。高度可变形的对象，因为纺织品在操纵过程中可以采用多种配置和形状。因此，机器人不仅应该了解当前的布料配置，还应能够预测布的未来行为。本文通过使用模型预测控制（MPC）策略在对象的其他部分应用动作，从而解决了间接控制纺织对象某些点的配置的问题，该策略还允许间接控制的行为点。设计的控制器找到了最佳控制信号，以实现所需的未来目标配置。本文中的探索场景考虑了通过抓住其上角，以平方布的下角跟踪参考轨迹。为此，我们提出并验证线性布模型，该模型允许实时解决与MPC相关的优化问题。增强学习（RL）技术用于学习所提出的布模型的最佳参数，并调整所得的MPC。在模拟中获得准确的跟踪结果后，在真实的机器人中实现并执行了完整的控制方案，即使在不利条件下也可以获得准确的跟踪。尽管总观察到的误差达到5 cm标记，但对于30x30 cm的布，分析表明，MPC对该值的贡献少于30％。

Accurate path following is challenging for autonomous robots operating in uncertain environments. Adaptive and predictive control strategies are crucial for a nonlinear robotic system to achieve high-performance path following control. In this paper, we propose a novel learning-based predictive control scheme that couples a high-level model predictive path following controller (MPFC) with a low-level learning-based feedback linearization controller (LB-FBLC) for nonlinear systems under uncertain disturbances. The low-level LB-FBLC utilizes Gaussian Processes to learn the uncertain environmental disturbances online and tracks the reference state accurately with a probabilistic stability guarantee. Meanwhile, the high-level MPFC exploits the linearized system model augmented with a virtual linear path dynamics model to optimize the evolution of path reference targets, and provides the reference states and controls for the low-level LB-FBLC. Simulation results illustrate the effectiveness of the proposed control strategy on a quadrotor path following task under unknown wind disturbances.

机器人系统的控制设计很复杂，通常需要解决优化才能准确遵循轨迹。在线优化方法（例如模型预测性控制（MPC））已被证明可以实现出色的跟踪性能，但需要高计算能力。相反，基于学习的离线优化方法，例如加固学习（RL），可以在机器人上快速有效地执行，但几乎不匹配MPC在轨迹跟踪任务中的准确性。在具有有限计算的系统（例如航空车）中，必须在执行时间有效的精确控制器。我们提出了一种分析策略梯度（APG）方法来解决此问题。 APG通过在跟踪误差上以梯度下降的速度训练控制器来利用可区分的模拟器的可用性。我们解决了通过课程学习和实验经常在广泛使用的控制基准，Cartpole和两个常见的空中机器人，一个四极管和固定翼无人机上进行的训练不稳定性。在跟踪误差方面，我们提出的方法优于基于模型和无模型的RL方法。同时，它达到与MPC相似的性能，同时需要少于数量级的计算时间。我们的工作为APG作为机器人技术的有前途的控制方法提供了见解。为了促进对APG的探索，我们开放代码并在https://github.com/lis-epfl/apg_traightory_tracking上提供。

空中操纵的生长场通常依赖于完全致动的或全向微型航空车（OMAV），它们可以在与环境接触时施加任意力和扭矩。控制方法通常基于无模型方法，将高级扳手控制器与执行器分配分开。如有必要，在线骚扰观察员拒绝干扰。但是，虽然是一般，但这种方法通常会产生次优控制命令，并且不能纳入平台设计给出的约束。我们提出了两种基于模型的方法来控制OMAV，以实现轨迹跟踪的任务，同时拒绝干扰。第一个通过从实验数据中学到的模型来优化扳手命令并补偿模型错误。第二个功能优化了低级执行器命令，允许利用分配无空格并考虑执行器硬件给出的约束。在现实世界实验中显示和评估两种方法的疗效和实时可行性。

模型预测控制（MPC）是一种最先进的（SOTA）控制技术，需要迭代地解决硬约束优化问题。对于不确定的动态，基于分析模型的强大MPC施加了其他约束，从而增加了问题的硬度。当需要在较少的时间内需要更多计算时，问题会加剧性能至关重要的应用程序。过去已经提出了数据驱动的回归方法，例如神经网络，以近似系统动力学。但是，在没有符号分析先验的情况下，此类模型依赖于大量标记的数据。这会产生非平凡的培训间接开销。物理知识的神经网络（PINN）以合理的精度获得了近似的普通微分方程（ODE）的非线性系统的吸引力。在这项工作中，我们通过PINNS（RAMP-NET）提出了一个强大的自适应MPC框架，该框架使用了一种神经网络，部分从简单的ODE中训练，部分是由数据训练的。物理损失用于学习代表理想动态的简单odes。访问损失函数内部的分析功能是正常化的，为参数不确定性执行了可靠的行为。另一方面，定期数据丢失用于适应剩余的干扰（非参数不确定性），在数学建模过程中未被误解。实验是在模拟环境中进行的，以进行四轨的轨迹跟踪。与两种基于SOTA回归的MPC方法相比，我们报告了7.8％至43.2％和8.04％和8.04％至61.5％的跟踪误差的降低。

本文介绍了微型拍打翼无人机的数据驱动的最佳控制政策。首先，根据动力学的几何公式​​计算一组最佳轨迹，该动力学的几何公式​​捕获了大角度拍打运动与准稳态空气动力学之间的非线性耦合。然后，根据模仿学习的框架，它被转换为反馈控制系统。特别是，通过学习过程加入了附加的约束，以增强所得控制动力学的稳定性。与常规方法相比，所提出的约束模仿学习消除了在线生成其他最佳轨迹的需求，而无需牺牲稳定性。因此，计算效率大大提高。此外，这建立了第一个非线性控制系统，该系统稳定了旋转翼航空车辆的耦合纵向和横向动力学，而无需依赖平均或线性化。这些由数值示例说明，该示例的模拟模型受君主蝴蝶的启发。

由于其灵活性和敏捷性，软抓地力在应用过程中越来越多。然而，与软机器人相关的无限二维性和非线性挑战模型和对软抓手的闭环控制以执行抓握任务。为了解决此问题，已经提出了数据驱动的方法。大多数数据驱动的方法都依赖于模拟或离线模型学习，因此很难在不明确培训的不同设置中概括在需要在线控制的情况下和在物理机器人测试中。在本文中，我们提出了一种在线建模和控制算法，该算法利用Koopman操作员理论在每个时间步骤实时更新基础动力学的估计模型。然后将学习和连续更新的模型嵌入到在线模型预测控制（MPC）结构中，并部署到软的多指制机器人抓地上。为了评估性能，首先将我们的方法的预测准确性与不同数据集之间的其他模型抽取方法进行比较。接下来，在线建模和控制算法通过最初未知的各种形状和权重的柔软的3指抓握抓握对象进行实验测试。结果表明，使用所提出的方法在抓住不同对象时的成功率很高。可以在https://youtu.be/i2hcmx7zskq上查看样本试验。

流体驱动的软机器人具有有希望的功能，例如固有的合规性和用户安全。软机器人的控制需要正确处理非线性致动力学，运动限制，工作空间限制和可变形状刚度，因此对于所有这些问题，拥有独特的算法将是非常有益的。在这项工作中，我们将流行的刚性机器人的模型预测控制（MPC）适应为称为Sopra的软机器人臂。我们通过提出一个以模块化方式处理这些框架来解决当前控制方法面临的挑战。尽管以前的工作着重于联合空间公式，但我们通过模拟和实验结果表明，可以成功实施任务空间MPC来进行动态软机器人控制。我们提供了一种方法，可以将零件的恒定曲率和增强的刚体模型假设与内部和外部约束和驱动动力学相结合，并提供了将这些方面团结起来并优化它们的算法。我们认为，基于我们方法的MPC实施可能是解决统一和模块化框架内的大多数基于模型的软机器人控制问题的方法，同时允许包括通常属于其他控制域（例如机器学习技术）的改进。

随着机器人在现实世界中冒险，他们受到无意义的动态和干扰。在相对静态和已知的操作环境中已成功地证明了基于传统的基于模型的控制方法。但是，当机器人的准确模型不可用时，基于模型的设计可能导致次优甚至不安全的行为。在这项工作中，我们提出了一种桥接模型 - 现实差距的方法，并且即使存在动态不确定性，也能够应用基于模型的方法。特别地，我们介绍基于学习的模型参考适应方法，其使机器人系统具有可能不确定的动态，表现为预定义的参考模型。反过来，参考模型可用于基于模型的控制器设计。与典型的模型参考调整控制方法相比，我们利用神经网络的代表性力量来捕获高度非线性动力学的不确定性，并通过在称为Lipschitz网络的特殊类型神经网络的建筑设计中编码认证嘴唇条件来捕获高度非线性动力学的不确定性和保证稳定性。即使我们的关于真正的机器人系统的先验知识有限，我们的方法也适用于一般的非线性控制仿射系统。我们展示了我们在飞行倒置摆的方法中的方法，其中一个搁板的四轮电机被挑战，以平衡倒挂摆在悬停或跟踪圆形轨迹时。