在本文中，我们为自主机器人提供了一种新型的模型预测控制方法，受到任意形式的不确定性。拟议的风险感知模型预测路径积分（RA-MPPI）控制利用条件价值（CVAR）度量来为安全关键的机器人应用生成最佳控制动作。与大多数现有的随机MPC和CVAR优化方法不同，这些方法将原始动力学线性化并将控制任务制定为凸面程序，而拟议的方法直接使用原始动力学，而无需限制成本函数或噪声的形式。我们将新颖的RA-MPPI控制器应用于自动驾驶汽车，以在混乱的环境中进行积极的驾驶操作。我们的仿真和实验表明，与基线MPPI控制器相比，提出的RA-MPPI控制器可以达到大约相同的圈时间，而碰撞的碰撞明显少得多。所提出的控制器以高达80Hz的更新频率执行在线计算，利用现代图形处理单元（GPU）来进行多线程轨迹以及CVAR值的生成。

这里，我们提出了一种新方法，在没有任何额外的平滑算法的模型预测路径积分控制（MPPI）任务中产生平滑控制序列。我们的方法有效地减轻了抽样中的喋喋不休，而MPPI的信息定位仍然是相同的。我们展示了具有不同算法的定量评估的挑战性自主驾驶任务中的提出方法。还提出了一种用于估算不同道路摩擦条件下的系统动态的神经网络车辆模型。我们的视频可以找到：\ url {https://youtu.be/o3nmi0ujfqg}。

机器人等系统的安全操作要求它们计划和执行受安全约束的轨迹。当这些系统受到动态的不确定性的影响时，确保不违反限制是具有挑战性的。本文提出了基于受约束差分动态规划（DDP）的附加不确定性和非线性安全约束的安全轨迹，安全轨迹优化和控制方法。在其运动中的机器人的安全性被制定为机会限制了用户所选择的约束满足的概率。通过约束收紧将机会约束转换为DDP制剂中的确定性。为了避免在约束期间的过保守，从受约束的DDP导出的反馈策略的线性控制增益用于预测中的闭环不确定性传播的近似。所提出的算法在三种不同的机器人动态上进行了经验评估，模拟中具有高达12度的自由度。使用物理硬件实现对方法的计算可行性和适用性进行了说明。

延迟在迅速变化的环境中运行的自主系统的危害安全性，例如在自动驾驶和高速赛车方面的交通参与者的非确定性。不幸的是，在传统的控制器设计或在物理世界中部署之前，通常不考虑延迟。在本文中，从非线性优化到运动计划和控制以及执行器引起的其他不可避免的延迟的计算延迟被系统地和统一解决。为了处理所有这些延迟，在我们的框架中：1）我们提出了一种新的过滤方法，而没有事先了解动态和干扰分布的知识，以适应，安全地估算时间变化的计算延迟； 2）我们为转向延迟建模驱动动力学； 3）所有约束优化均在强大的管模型预测控制器中实现。对于应用的优点，我们证明我们的方法适合自动驾驶和自动赛车。我们的方法是独立延迟补偿控制器的新型设计。此外，在假设无延迟作为主要控制器的学习控制器的情况下，我们的方法是主要控制器的安全保护器。

已经使用基于物理学的模型对非全面车辆运动进行了广泛的研究。使用这些模型时，使用线性轮胎模型来解释车轮/接地相互作用时的通用方法，因此可能无法完全捕获各种环境下的非线性和复杂动力学。另一方面，神经网络模型已在该域中广泛使用，证明了功能强大的近似功能。但是，这些黑盒学习策略完全放弃了现有的知名物理知识。在本文中，我们无缝将深度学习与完全不同的物理模型相结合，以赋予神经网络具有可用的先验知识。所提出的模型比大边距的香草神经网络模型显示出更好的概括性能。我们还表明，我们的模型的潜在特征可以准确地表示侧向轮胎力，而无需进行任何其他训练。最后，我们使用从潜在特征得出的本体感受信息开发了一种风险感知的模型预测控制器。我们在未知摩擦下的两个自动驾驶任务中验证了我们的想法，表现优于基线控制框架。

我们概括了模型预测路径积分控制（MPPI）的推导，以允许对照序列中的对照组进行单个关节分布。这种改革允许实施自适应重要性采样（AIS）算法，以在最初的重要性采样步骤中实施，同时仍保持MPPI的好处，例如使用任意系统动态和成本功能。在模拟环境中证明了通过在每个控制步骤中集成AIS来优化建议分布的好处，包括控制轨道周围的多辆车。新算法比MPPI更有效地样品，可以通过更少的样品实现更好的性能。随着动作空间的维度的增加，这种性能差异会增长。模拟的结果表明，新算法可以用作任何时间算法，从而增加了每次迭代的控制值与依赖大量样品的算法。

过去半年来，从控制和强化学习社区的真实机器人部署的安全学习方法的贡献数量急剧上升。本文提供了一种简洁的但整体审查，对利用机器学习实现的最新进展，以实现在不确定因素下的安全决策，重点是统一控制理论和加固学习研究中使用的语言和框架。我们的评论包括：基于学习的控制方法，通过学习不确定的动态，加强学习方法，鼓励安全或坚固性的加固学习方法，以及可以正式证明学习控制政策安全的方法。随着基于数据和学习的机器人控制方法继续获得牵引力，研究人员必须了解何时以及如何最好地利用它们在安全势在必行的现实情景中，例如在靠近人类的情况下操作时。我们突出了一些开放的挑战，即将在未来几年推动机器人学习领域，并强调需要逼真的物理基准的基准，以便于控制和加固学习方法之间的公平比较。

基于采样的模型预测控制（MPC）优化方法，例如模型预测路径积分（MPPI），最近在各种机器人任务中显示出有希望的结果。但是，当所有采样轨迹的分布集中在高成本甚至不可行的区域中时，它可能会产生不可行的轨迹。在这项研究中，我们提出了一种称为Log-Mppi的新方法，配备了更有效的轨迹采样分布策略，从而显着改善了满足系统约束的轨迹可行性。关键点是从正常的对数正态（NLN）混合物分布中绘制轨迹样品，而不是从高斯分布中。此外，这项工作提出了一种通过将2D占用网格映射纳入基于采样的MPC算法的优化问题，从而在未知的混乱环境中无碰撞导航的方法。我们首先通过在不同类型的混乱环境以及Cartpole摇摆任务中对2D自主导航进行广泛的模拟，从而验证我们提出的控制策略的效率和鲁棒性。我们通过现实世界实验进一步证明了log-mppi在未知的杂物环境中执行基于2D网格的无碰撞导航的适用性，表明其优越性可用于局部成本量，而无需增加优化的额外复杂性问题。一个展示现实世界和仿真结果的视频可在https://youtu.be/_ugwqefjsn0上获得。

本文使用总变化距离歧义集研究了分布强大的模型预测控制（MPC）的问题。对于具有加性干扰的离散时间线性系统，我们为MPC优化问题提供有条件的价值重新印度，该重新质量在预期的成本和机会限制下在分配上具有稳定性。分布稳健的机会约束被过度评估，以减轻计算负担的更简单，收紧的机会约束。数值实验支持我们的概率保证和计算效率的结果。

本文提出了一种新的规划和控制策略，用于赛车场景中的多辆车竞争。所提出的赛车策略在两种模式之间切换。当没有周围的车辆时，使用基于学习的模型预测控制（MPC）轨迹策划器用于保证自助车辆更好地实现了更好的搭接定时。当EGO车辆与其他围绕车辆竞争以超车时，基于优化的策划器通过并行计算产生多个动态可行的轨迹。每个轨迹在MPC配方下进行优化，其具有不同的同型贝塞尔曲线参考路径，横向于周围的车辆之间。选择这些不同的同型轨迹之间的时间最佳轨迹，并使用具有障碍物避免约束的低级MPC控制器来保证系统的安全性能。所提出的算法具有能够生成无碰撞轨迹并跟踪它们，同时提高杠杆定时性能，稳定的低计算复杂性，优于汽车赛车环境的时序和性能中的现有方法。为了展示我们的赛车策略的表现，我们在轨道上模拟了多个随机生成的移动车辆，并测试自我车辆的超越机动。

对非线性不确定系统的控制是机器人技术领域的常见挑战。非线性潜在力模型结合了以高斯流程为特征的潜在不确定性，具有有效代表此类系统的希望，我们专注于这项工作的控制设计。为了实现设计，我们采用了高斯过程的状态空间表示来重塑非线性潜在力模型，从而建立了同时预测未来状态和不确定性的能力。使用此功能，制定了随机模型预测控制问题。为了得出问题的计算算法，我们使用基于方案的方法来制定随机优化的确定性近似。我们通过基于自动驾驶汽车的运动计划的仿真研究评估了最终方案的模型预测控制方法，该研究表现出很大的有效性。拟议的方法可以在其他各种机器人应用中找到前瞻性使用。

模型预测控制（MPC）表明了控制诸如腿机器人等复杂系统的巨大成功。然而，在关闭循环时，在每个控制周期解决的有限范围最佳控制问题（OCP）的性能和可行性不再保证。这是由于模型差异，低级控制器，不确定性和传感器噪声的影响。为了解决这些问题，我们提出了一种修改版本，该版本的标准MPC方法用于带有活力的腿运动（弱向不变性）保证。在这种方法中，代替向问题添加（保守）终端约束，我们建议使用投影到在每个控制周期的OCP中的可行性内核中投影的测量状态。此外，我们使用过去的实验数据来找到最佳成本重量，该重量测量性能，约束满足鲁棒性或稳定性（不变性）的组合。这些可解释的成本衡量了稳健性和性能之间的贸易。为此目的，我们使用贝叶斯优化（BO）系统地设计实验，有助于有效地收集数据以了解导致强大性能的成本函数。我们的模拟结果具有不同的现实干扰（即外部推动，未铭出的执行器动态和计算延迟）表明了我们为人形机器人创造了强大的控制器的方法的有效性。

神经网络已越来越多地用于模型预测控制器（MPC）来控制非线性动态系统。但是，MPC仍然提出一个问题，即可实现的更新率不足以应对模型不确定性和外部干扰。在本文中，我们提出了一种新颖的控制方案，该方案可以使用MPC的神经网络动力学设计最佳的跟踪控制器，从而使任何现有基于模型的Feedforward Controller的插件扩展程序都可以应用于插件。我们还描述了我们的方法如何处理包含历史信息的神经网络，该信息不遵循一般的动态形式。该方法通过其在外部干扰的经典控制基准中的性能进行评估。我们还扩展了控制框架，以应用于具有未知摩擦的积极自主驾驶任务。在所有实验中，我们的方法的表现都优于比较的方法。我们的控制器还显示出低控制的水平，表明我们的反馈控制器不会干扰MPC的最佳命令。

策略搜索和模型预测控制〜（MPC）是机器人控制的两个不同范式：策略搜索具有使用经验丰富的数据自动学习复杂策略的强度，而MPC可以使用模型和轨迹优化提供最佳控制性能。开放的研究问题是如何利用并结合两种方法的优势。在这项工作中，我们通过使用策略搜索自动选择MPC的高级决策变量提供答案，这导致了一种新的策略搜索 - 用于模型预测控制框架。具体地，我们将MPC作为参数化控制器配制，其中难以优化的决策变量表示为高级策略。这种制定允许以自我监督的方式优化政策。我们通过专注于敏捷无人机飞行中的具有挑战性的问题来验证这一框架：通过快速的盖茨飞行四轮车。实验表明，我们的控制器在模拟和现实世界中实现了鲁棒和实时的控制性能。拟议的框架提供了合并学习和控制的新视角。

到达状态的密度可以帮助理解安全至关重要的系统的风险，尤其是在最坏情况下的情况过于保守的情况下。最近的工作提供了一种数据驱动的方法来计算自主系统在线前进状态的密度分布。在本文中，我们研究了这种方法与模型预测控制在不确定性下的可验证安全路径计划的结合。我们首先使用学习的密度分布来计算在线碰撞的风险。如果这种风险超过可接受的阈值，我们的方法将计划在先前轨迹周围采取新的途径，并在阈值以下碰撞风险。我们的方法非常适合处理具有不确定性和复杂动力学的系统，因为我们的数据驱动方法不需要系统动力学的分析形式，并且可以通过不确定性的任意初始分布来估算正向状态密度。我们设计了两个具有挑战性的场景（自动驾驶和气垫船控制），以在系统不确定性下的障碍物中进行安全运动计划。我们首先表明我们的密度估计方法可以达到与基于蒙特卡洛的方法相似的准确性，同时仅使用0.01倍训练样本。通过利用估计的风险，我们的算法在执行超过0.99的安全速率时达到目标达到最高成功率。

Sampling-based Model Predictive Control (MPC) is a flexible control framework that can reason about non-smooth dynamics and cost functions. Recently, significant work has focused on the use of machine learning to improve the performance of MPC, often through learning or fine-tuning the dynamics or cost function. In contrast, we focus on learning to optimize more effectively. In other words, to improve the update rule within MPC. We show that this can be particularly useful in sampling-based MPC, where we often wish to minimize the number of samples for computational reasons. Unfortunately, the cost of computational efficiency is a reduction in performance; fewer samples results in noisier updates. We show that we can contend with this noise by learning how to update the control distribution more effectively and make better use of the few samples that we have. Our learned controllers are trained via imitation learning to mimic an expert which has access to substantially more samples. We test the efficacy of our approach on multiple simulated robotics tasks in sample-constrained regimes and demonstrate that our approach can outperform a MPC controller with the same number of samples.

Dynamic game arises as a powerful paradigm for multi-robot planning, for which safety constraint satisfaction is crucial. Constrained stochastic games are of particular interest, as real-world robots need to operate and satisfy constraints under uncertainty. Existing methods for solving stochastic games handle chance constraints using exponential penalties with hand-tuned weights. However, finding a suitable penalty weight is nontrivial and requires trial and error. In this paper, we propose the chance-constrained iterative linear-quadratic stochastic games (CCILQGames) algorithm. CCILQGames solves chance-constrained stochastic games using the augmented Lagrangian method. We evaluate our algorithm in three autonomous driving scenarios, including merge, intersection, and roundabout. Experimental results and Monte Carlo tests show that CCILQGames can generate safe and interactive strategies in stochastic environments.

随着使用复杂非线性优化但计算资源有限的经济实惠的自动驾驶车辆，计算时间成为关注问题。其他因素，如执行器动力学和执行器命令处理成本也不可避免地导致延迟。在高速场景中，这些延迟对于车辆的安全至关重要。最近的作品将这些延迟单独考虑，但没有在自动驾驶的背景下统一它们。此外，最近的作品不恰当地考虑计算时间作为恒定或大的上限，这使得控制较少响应或过保守。要处理所有这些延迟，我们通过1）统一的框架，使用鲁棒管模型预测控制，3）使用新型Adaptive Kalman滤波器，无需假定已知的过程模型和噪声协方差，这使得控制器安全尽量减少保守性。在一次性的情况下，我们的方法可以作为独立控制器;在其他手上，我们的方法为高级控制器提供了一个安全防护装置，这不拖延。这可以用于在部署在简单环境中培训的黑匣子学习的控制器时补偿SIM-TO-REAL间隙，而不考虑实际车辆系统的延迟。

由于基本的非线性，混合和本质上不稳定的动力学，需要通过有限的接触力来稳定，因此为腿部机器人生成强大的轨迹仍然是一项具有挑战性的任务。此外，由于与环境和模型不匹配的未建模接触相互作用引起的干扰会阻碍计划轨迹的质量，从而导致不安全的运动。在这项工作中，我们建议使用随机轨迹优化来生成健壮的质心动量轨迹，以说明模型动力学和触点位置上的参数不确定性上的加法不确定性。通过强大的质心和全身轨迹优化之间的交替，我们生成了健壮的动量轨迹，同时与全身动力学保持一致。我们在四倍的机器人上执行了一组大量的模拟，这表明我们的随机轨迹优化问题减少了不同步态的脚部滑倒量，同时在确定性计划上实现了更好的性能。

由于围绕机器人的未来轨迹的不确定性，安全导航是多机器人系统中的一个基本挑战，这些轨迹彼此相互障碍。在这项工作中，我们提出了一种原则性的数据驱动方法，每个机器人都反复解决一个有限的地平线优化问题，但要避免碰撞限制，后者被表达为代理商和代理之间距离的分布稳健的条件价值风险（CVAR）多面体障碍物几何形状。具体而言，需要CVAR约束来保留所有与从执行过程中收集的预测误差样本构成的经验分布的所有分布。该方法的一般性使我们能够在分布式和去中心化设置中普遍强加的假设下出现的预测错误鲁棒性。我们通过利用凸面和Minmax二元性结果来得出这类约束的有限尺寸近似值。在凉亭平台中实现的多人导航设置中说明了所提出的方法的有效性。