这里，我们提出了一种新方法，在没有任何额外的平滑算法的模型预测路径积分控制（MPPI）任务中产生平滑控制序列。我们的方法有效地减轻了抽样中的喋喋不休，而MPPI的信息定位仍然是相同的。我们展示了具有不同算法的定量评估的挑战性自主驾驶任务中的提出方法。还提出了一种用于估算不同道路摩擦条件下的系统动态的神经网络车辆模型。我们的视频可以找到：\ url {https://youtu.be/o3nmi0ujfqg}。

神经网络已越来越多地用于模型预测控制器（MPC）来控制非线性动态系统。但是，MPC仍然提出一个问题，即可实现的更新率不足以应对模型不确定性和外部干扰。在本文中，我们提出了一种新颖的控制方案，该方案可以使用MPC的神经网络动力学设计最佳的跟踪控制器，从而使任何现有基于模型的Feedforward Controller的插件扩展程序都可以应用于插件。我们还描述了我们的方法如何处理包含历史信息的神经网络，该信息不遵循一般的动态形式。该方法通过其在外部干扰的经典控制基准中的性能进行评估。我们还扩展了控制框架，以应用于具有未知摩擦的积极自主驾驶任务。在所有实验中，我们的方法的表现都优于比较的方法。我们的控制器还显示出低控制的水平，表明我们的反馈控制器不会干扰MPC的最佳命令。

已经使用基于物理学的模型对非全面车辆运动进行了广泛的研究。使用这些模型时，使用线性轮胎模型来解释车轮/接地相互作用时的通用方法，因此可能无法完全捕获各种环境下的非线性和复杂动力学。另一方面，神经网络模型已在该域中广泛使用，证明了功能强大的近似功能。但是，这些黑盒学习策略完全放弃了现有的知名物理知识。在本文中，我们无缝将深度学习与完全不同的物理模型相结合，以赋予神经网络具有可用的先验知识。所提出的模型比大边距的香草神经网络模型显示出更好的概括性能。我们还表明，我们的模型的潜在特征可以准确地表示侧向轮胎力，而无需进行任何其他训练。最后，我们使用从潜在特征得出的本体感受信息开发了一种风险感知的模型预测控制器。我们在未知摩擦下的两个自动驾驶任务中验证了我们的想法，表现优于基线控制框架。

在本文中，我们为自主机器人提供了一种新型的模型预测控制方法，受到任意形式的不确定性。拟议的风险感知模型预测路径积分（RA-MPPI）控制利用条件价值（CVAR）度量来为安全关键的机器人应用生成最佳控制动作。与大多数现有的随机MPC和CVAR优化方法不同，这些方法将原始动力学线性化并将控制任务制定为凸面程序，而拟议的方法直接使用原始动力学，而无需限制成本函数或噪声的形式。我们将新颖的RA-MPPI控制器应用于自动驾驶汽车，以在混乱的环境中进行积极的驾驶操作。我们的仿真和实验表明，与基线MPPI控制器相比，提出的RA-MPPI控制器可以达到大约相同的圈时间，而碰撞的碰撞明显少得多。所提出的控制器以高达80Hz的更新频率执行在线计算，利用现代图形处理单元（GPU）来进行多线程轨迹以及CVAR值的生成。

延迟在迅速变化的环境中运行的自主系统的危害安全性，例如在自动驾驶和高速赛车方面的交通参与者的非确定性。不幸的是，在传统的控制器设计或在物理世界中部署之前，通常不考虑延迟。在本文中，从非线性优化到运动计划和控制以及执行器引起的其他不可避免的延迟的计算延迟被系统地和统一解决。为了处理所有这些延迟，在我们的框架中：1）我们提出了一种新的过滤方法，而没有事先了解动态和干扰分布的知识，以适应，安全地估算时间变化的计算延迟； 2）我们为转向延迟建模驱动动力学； 3）所有约束优化均在强大的管模型预测控制器中实现。对于应用的优点，我们证明我们的方法适合自动驾驶和自动赛车。我们的方法是独立延迟补偿控制器的新型设计。此外，在假设无延迟作为主要控制器的学习控制器的情况下，我们的方法是主要控制器的安全保护器。

策略搜索和模型预测控制〜（MPC）是机器人控制的两个不同范式：策略搜索具有使用经验丰富的数据自动学习复杂策略的强度，而MPC可以使用模型和轨迹优化提供最佳控制性能。开放的研究问题是如何利用并结合两种方法的优势。在这项工作中，我们通过使用策略搜索自动选择MPC的高级决策变量提供答案，这导致了一种新的策略搜索 - 用于模型预测控制框架。具体地，我们将MPC作为参数化控制器配制，其中难以优化的决策变量表示为高级策略。这种制定允许以自我监督的方式优化政策。我们通过专注于敏捷无人机飞行中的具有挑战性的问题来验证这一框架：通过快速的盖茨飞行四轮车。实验表明，我们的控制器在模拟和现实世界中实现了鲁棒和实时的控制性能。拟议的框架提供了合并学习和控制的新视角。

二次运动的准确轨迹跟踪控制对于在混乱环境中的安全导航至关重要。但是，由于非线性动态，复杂的空气动力学效应和驱动约束，这在敏捷飞行中具有挑战性。在本文中，我们通过经验比较两个最先进的控制框架：非线性模型预测控制器（NMPC）和基于差异的控制器（DFBC），通过以速度跟踪各种敏捷轨迹，最多20 m/s（即72 km/h）。比较在模拟和现实世界环境中进行，以系统地评估这两种方法从跟踪准确性，鲁棒性和计算效率的方面。我们以更高的计算时间和数值收敛问题的风险来表明NMPC在跟踪动态不可行的轨迹方面的优势。对于这两种方法，我们还定量研究了使用增量非线性动态反演（INDI）方法添加内环控制器的效果，以及添加空气动力学阻力模型的效果。我们在世界上最大的运动捕获系统之一中进行的真实实验表明，NMPC和DFBC的跟踪误差降低了78％以上，这表明有必要使用内环控制器和用于敏捷轨迹轨迹跟踪的空气动力学阻力模型。

本文提出了一种校准控制参数的方法。这种控制参数的示例是PID控制器的增益，优化控制的成本函数的权重，过滤器系数，滑动模式控制器的滑动表面，或神经网络的权重。因此，所提出的方法可以应用于各种控制器。该方法使用闭环系统操作数据来估计控制参数而不是系统状态的卡尔曼滤波器。控制参数校准由训练目标驱动，其包括对动态系统性能的规范。校准方法在线和强大地调整参数，是计算效率，具有低数据存储要求，并且易于实现对许多实时应用的吸引力。仿真结果表明，该方法能够快速学习控制参数（闭环成本的平均衰减因子大约24％），能够调整参数来补偿干扰（跟踪精度的提高约29％），并且是坚固的噪音。此外，具有高保真车辆模拟器Carim的仿真研究表明，该方法可以在线校准复杂动态系统的控制器，这表明其对现实世界的适用性。

我们概括了模型预测路径积分控制（MPPI）的推导，以允许对照序列中的对照组进行单个关节分布。这种改革允许实施自适应重要性采样（AIS）算法，以在最初的重要性采样步骤中实施，同时仍保持MPPI的好处，例如使用任意系统动态和成本功能。在模拟环境中证明了通过在每个控制步骤中集成AIS来优化建议分布的好处，包括控制轨道周围的多辆车。新算法比MPPI更有效地样品，可以通过更少的样品实现更好的性能。随着动作空间的维度的增加，这种性能差异会增长。模拟的结果表明，新算法可以用作任何时间算法，从而增加了每次迭代的控制值与依赖大量样品的算法。

敏锐环境中的敏捷四号飞行有可能彻底改变运输，运输和搜索和救援应用。非线性模型预测控制（NMPC）最近显示了敏捷四足电池控制的有希望的结果，但依赖于高度准确的模型以获得最大性能。因此，模拟了非模型复杂空气动力学效果，不同有效载荷和参数错配的形式的不确定性将降低整体系统性能。本文提出了L1-NMPC，一种新型混合自适应NMPC，用于在线学习模型不确定性，并立即弥补它们，大大提高了与非自适应基线的性能，最小计算开销。我们所提出的体系结构推广到许多不同的环境，我们评估风，未知的有效载荷和高度敏捷的飞行条件。所提出的方法展示了巨大的灵活性和鲁棒性，在大未知干扰下的非自适应NMPC和没有任何增益调整的情况下，超过90％的跟踪误差减少。此外，相同的控制器具有相同的增益可以准确地飞行高度敏捷的赛车轨迹，该轨迹展示最高速度为70公里/小时，相对于非自适应NMPC基线提供约50％的跟踪性能提高。

准确地建模四极管的系统动力学对于保证敏捷，安全和稳定的导航至关重要。该模型需要在多个飞行机制和操作条件下捕获系统行为，包括产生高度非线性效应的那些，例如空气动力和扭矩，转子相互作用或可能的系统配置修改。经典方法依靠手工制作的模型并努力概括和扩展以捕获这些效果。在本文中，我们介绍了一种新型的物理启发的时间卷积网络（PI-TCN）方法，用于学习四极管的系统动力学，纯粹是从机器人体验中学习的。我们的方法结合了稀疏时间卷积的表达力和密集的进料连接，以进行准确的系统预测。此外，物理限制嵌入了培训过程中，以促进网络对培训分布以外数据的概括功能。最后，我们设计了一种模型预测控制方法，该方法结合了学习的动力学，以完全利用学习范围的方式，以完全利用学习模型预测的准确闭环轨迹跟踪。实验结果表明，我们的方法可以准确地从数据中提取四四光动力学的结构，从而捕获对经典方法隐藏的效果。据我们所知，这是物理启发的深度学习成功地应用于时间卷积网络和系统识别任务，同时同时实现了预测性控制。

为设计控制器选择适当的参数集对于最终性能至关重要，但通常需要一个乏味而仔细的调整过程，这意味着强烈需要自动调整方法。但是，在现有方法中，无衍生物的可扩展性或效率低下，而基于梯度的方法可能由于可能是非差异的控制器结构而无法使用。为了解决问题，我们使用新颖的无衍生化强化学习（RL）框架来解决控制器调整问题，该框架在经验收集过程中在参数空间中执行时间段的扰动，并将无衍生策略更新集成到高级参与者 - 批判性RL中实现高多功能性和效率的体系结构。为了证明该框架的功效，我们在自动驾驶的两个具体示例上进行数值实验，即使用PID控制器和MPC控制器进行轨迹跟踪的自适应巡航控制。实验结果表明，所提出的方法的表现优于流行的基线，并突出了其强大的控制器调整潜力。

本文介绍了一种用于自主车辆的耦合，神经网络辅助纵向巡航和横向路径跟踪控制器，具有模型不确定性和经历未知的外部干扰。使用反馈误差学习机制，采用利用自适应径向基函数（RBF）神经网络的反向车辆动态学习方案，称为扩展的最小资源分配网络（EMRAN）。 EMRAN使用扩展的卡尔曼滤波器进行在线学习和体重更新，并采用了一种越来越多的/修剪策略，用于维护紧凑的网络，以便更容易地实现。在线学习算法处理参数化不确定性，并消除了未知干扰在道路上的影响。结合用于提高泛化性能的自我调节学习方案，所提出的EMRAN辅助控制架构辅助基本PID巡航和斯坦利路径跟踪控制器以耦合的形式。与传统的PID和斯坦利控制器相比，其对各种干扰和不确定性的性能和鲁棒性以及与基于模糊的PID控制器和主动扰动抑制控制（ADRC）方案的比较。慢速和高速场景介绍了仿真结果。根均线（RMS）和最大跟踪误差清楚地表明提出的控制方案在未知环境下实现自动车辆中更好的跟踪性能的有效性。

在粗糙的地形上的动态运动需要准确的脚部放置，避免碰撞以及系统的动态不足的计划。在存在不完美且常常不完整的感知信息的情况下，可靠地优化此类动作和互动是具有挑战性的。我们提出了一个完整的感知，计划和控制管道，可以实时优化机器人所有自由度的动作。为了减轻地形所带来的数值挑战，凸出不平等约束的顺序被提取为立足性可行性的局部近似值，并嵌入到在线模型预测控制器中。每个高程映射预先计算了步骤性分类，平面分割和签名的距离场，以最大程度地减少优化过程中的计算工作。多次射击，实时迭代和基于滤波器的线路搜索的组合用于可靠地以高速率解决该法式问题。我们在模拟中的间隙，斜率和踏上石头的情况下验证了所提出的方法，并在Anymal四倍的平台上进行实验，从而实现了最新的动态攀登。

空中操纵的生长场通常依赖于完全致动的或全向微型航空车（OMAV），它们可以在与环境接触时施加任意力和扭矩。控制方法通常基于无模型方法，将高级扳手控制器与执行器分配分开。如有必要，在线骚扰观察员拒绝干扰。但是，虽然是一般，但这种方法通常会产生次优控制命令，并且不能纳入平台设计给出的约束。我们提出了两种基于模型的方法来控制OMAV，以实现轨迹跟踪的任务，同时拒绝干扰。第一个通过从实验数据中学到的模型来优化扳手命令并补偿模型错误。第二个功能优化了低级执行器命令，允许利用分配无空格并考虑执行器硬件给出的约束。在现实世界实验中显示和评估两种方法的疗效和实时可行性。

Reinforcement learning can acquire complex behaviors from high-level specifications. However, defining a cost function that can be optimized effectively and encodes the correct task is challenging in practice. We explore how inverse optimal control (IOC) can be used to learn behaviors from demonstrations, with applications to torque control of high-dimensional robotic systems. Our method addresses two key challenges in inverse optimal control: first, the need for informative features and effective regularization to impose structure on the cost, and second, the difficulty of learning the cost function under unknown dynamics for high-dimensional continuous systems. To address the former challenge, we present an algorithm capable of learning arbitrary nonlinear cost functions, such as neural networks, without meticulous feature engineering. To address the latter challenge, we formulate an efficient sample-based approximation for MaxEnt IOC. We evaluate our method on a series of simulated tasks and real-world robotic manipulation problems, demonstrating substantial improvement over prior methods both in terms of task complexity and sample efficiency.

从意外的外部扰动中恢复的能力是双模型运动的基本机动技能。有效的答复包括不仅可以恢复平衡并保持稳定性的能力，而且在平衡恢复物质不可行时，也可以保证安全的方式。对于与双式运动有关的机器人，例如人形机器人和辅助机器人设备，可帮助人类行走，设计能够提供这种稳定性和安全性的控制器可以防止机器人损坏或防止伤害相关的医疗费用。这是一个具有挑战性的任务，因为它涉及用触点产生高维，非线性和致动系统的高动态运动。尽管使用基于模型和优化方法的前进方面，但诸如广泛领域知识的要求，诸如较大的计算时间和有限的动态变化的鲁棒性仍然会使这个打开问题。在本文中，为了解决这些问题，我们开发基于学习的算法，能够为两种不同的机器人合成推送恢复控制政策：人形机器人和有助于双模型运动的辅助机器人设备。我们的工作可以分为两个密切相关的指示：1）学习人形机器人的安全下降和预防策略，2）使用机器人辅助装置学习人类的预防策略。为实现这一目标，我们介绍了一套深度加强学习（DRL）算法，以学习使用这些机器人时提高安全性的控制策略。

机器人布操作是自动机器人系统的相关挑战性问题。高度可变形的对象，因为纺织品在操纵过程中可以采用多种配置和形状。因此，机器人不仅应该了解当前的布料配置，还应能够预测布的未来行为。本文通过使用模型预测控制（MPC）策略在对象的其他部分应用动作，从而解决了间接控制纺织对象某些点的配置的问题，该策略还允许间接控制的行为点。设计的控制器找到了最佳控制信号，以实现所需的未来目标配置。本文中的探索场景考虑了通过抓住其上角，以平方布的下角跟踪参考轨迹。为此，我们提出并验证线性布模型，该模型允许实时解决与MPC相关的优化问题。增强学习（RL）技术用于学习所提出的布模型的最佳参数，并调整所得的MPC。在模拟中获得准确的跟踪结果后，在真实的机器人中实现并执行了完整的控制方案，即使在不利条件下也可以获得准确的跟踪。尽管总观察到的误差达到5 cm标记，但对于30x30 cm的布，分析表明，MPC对该值的贡献少于30％。

Sampling-based Model Predictive Control (MPC) is a flexible control framework that can reason about non-smooth dynamics and cost functions. Recently, significant work has focused on the use of machine learning to improve the performance of MPC, often through learning or fine-tuning the dynamics or cost function. In contrast, we focus on learning to optimize more effectively. In other words, to improve the update rule within MPC. We show that this can be particularly useful in sampling-based MPC, where we often wish to minimize the number of samples for computational reasons. Unfortunately, the cost of computational efficiency is a reduction in performance; fewer samples results in noisier updates. We show that we can contend with this noise by learning how to update the control distribution more effectively and make better use of the few samples that we have. Our learned controllers are trained via imitation learning to mimic an expert which has access to substantially more samples. We test the efficacy of our approach on multiple simulated robotics tasks in sample-constrained regimes and demonstrate that our approach can outperform a MPC controller with the same number of samples.

对自动驾驶车辆的路径跟踪控制可以从深入学习中受益，以应对长期存在的挑战，例如非线性和不确定性。但是，深度神经控制器缺乏安全保证，从而限制了其实际使用。我们提出了一种新的学习方法的新方法，该方法几乎是在神经控制器下为系统设置的正向设置，以定量分析深神经控制器对路径跟踪的安全性。我们设计了基于抽样的学习程序，用于构建候选神经屏障功能，以及利用神经网络的鲁棒性分析的认证程序来确定完全满足屏障条件的区域。我们在学习和认证之间使用对抗性训练循环来优化几乎级词的功能。学习的障碍也可用于通过可及性分析来构建在线安全监视器。我们证明了我们的方法在量化各种模拟环境中神经控制器安全性方面的有效性，从简单的运动学模型到具有高保真车辆动力学模拟的TORCS模拟器。