对自动驾驶的运动计划的安全保证通常涉及在环境中无法控制的参与者（例如道路上的人类驱动的车辆）的任何动作下进行无碰撞的轨迹。结果，他们通常对此类参与者的行为采用保守的束缚，例如可达性分析。我们指出，规划轨迹严格避免全部可覆盖区域是不必要的，而且过于限制，因为将来观察环境将使我们能够修剪大多数。无视这种对未来更新的能力的能力可以禁止对人类驾驶员轻松导航的方案的解决方案。我们建议通过新颖的安全框架，全面的反应性安全来解释自动驾驶汽车对未来环境的反应。在模拟中验证了几种城市驾驶场景，例如未受保护的左转弯和车道合并，所得的计划算法称为反应性ILQR，表现出强大的谈判能力和更好的安全性。

相应地预测周围交通参与者的未来状态，并计划安全，平稳且符合社会的轨迹对于自动驾驶汽车至关重要。当前的自主驾驶系统有两个主要问题：预测模块通常与计划模块解耦，并且计划的成本功能很难指定和调整。为了解决这些问题，我们提出了一个端到端的可区分框架，该框架集成了预测和计划模块，并能够从数据中学习成本函数。具体而言，我们采用可区分的非线性优化器作为运动计划者，该运动计划将神经网络给出的周围剂的预测轨迹作为输入，并优化了自动驾驶汽车的轨迹，从而使框架中的所有操作都可以在框架中具有可观的成本，包括成本功能权重。提出的框架经过大规模的现实驾驶数据集进行了训练，以模仿整个驾驶场景中的人类驾驶轨迹，并在开环和闭环界面中进行了验证。开环测试结果表明，所提出的方法的表现优于各种指标的基线方法，并提供以计划为中心的预测结果，从而使计划模块能够输出接近人类的轨迹。在闭环测试中，提出的方法表明能够处理复杂的城市驾驶场景和鲁棒性，以抵抗模仿学习方法所遭受的分配转移。重要的是，我们发现计划和预测模块的联合培训比在开环和闭环测试中使用单独的训练有素的预测模块进行计划要比计划更好。此外，消融研究表明，框架中的可学习组件对于确保计划稳定性和性能至关重要。

嘈杂的传感，不完美的控制和环境变化是许多现实世界机器人任务的定义特征。部分可观察到的马尔可夫决策过程（POMDP）提供了一个原则上的数学框架，用于建模和解决不确定性下的机器人决策和控制任务。在过去的十年中，它看到了许多成功的应用程序，涵盖了本地化和导航，搜索和跟踪，自动驾驶，多机器人系统，操纵和人类机器人交互。这项调查旨在弥合POMDP模型的开发与算法之间的差距，以及针对另一端的不同机器人决策任务的应用。它分析了这些任务的特征，并将它们与POMDP框架的数学和算法属性联系起来，以进行有效的建模和解决方案。对于从业者来说，调查提供了一些关键任务特征，以决定何时以及如何成功地将POMDP应用于机器人任务。对于POMDP算法设计师，该调查为将POMDP应用于机器人系统的独特挑战提供了新的见解，并指出了有希望的新方向进行进一步研究。

Making safe and human-like decisions is an essential capability of autonomous driving systems and learning-based behavior planning is a promising pathway toward this objective. Distinguished from existing learning-based methods that directly output decisions, this work introduces a predictive behavior planning framework that learns to predict and evaluate from human driving data. Concretely, a behavior generation module first produces a diverse set of candidate behaviors in the form of trajectory proposals. Then the proposed conditional motion prediction network is employed to forecast other agents' future trajectories conditioned on each trajectory proposal. Given the candidate plans and associated prediction results, we learn a scoring module to evaluate the plans using maximum entropy inverse reinforcement learning (IRL). We conduct comprehensive experiments to validate the proposed framework on a large-scale real-world urban driving dataset. The results reveal that the conditional prediction model is able to forecast multiple possible future trajectories given a candidate behavior and the prediction results are reactive to different plans. Moreover, the IRL-based scoring module can properly evaluate the trajectory proposals and select close-to-human ones. The proposed framework outperforms other baseline methods in terms of similarity to human driving trajectories. Moreover, we find that the conditional prediction model can improve both prediction and planning performance compared to the non-conditional model, and learning the scoring module is critical to correctly evaluating the candidate plans to align with human drivers.

一般而言，融合是人类驱动因素和自治车辆的具有挑战性的任务，特别是在密集的交通中，因为合并的车辆通常需要与其他车辆互动以识别或创造间隙并安全合并。在本文中，我们考虑了强制合并方案的自主车辆控制问题。我们提出了一种新的游戏 - 理论控制器，称为领导者跟随者游戏控制器（LFGC），其中自主EGO车辆和其他具有先验不确定驾驶意图的车辆之间的相互作用被建模为部分可观察到的领导者 - 跟随游戏。 LFGC估计基于观察到的轨迹的其他车辆在线在线，然后预测其未来的轨迹，并计划使用模型预测控制（MPC）来同时实现概率保证安全性和合并目标的自我车辆自己的轨迹。为了验证LFGC的性能，我们在模拟和NGSIM数据中测试它，其中LFGC在合并中展示了97.5％的高成功率。

游戏理论运动计划者是控制多个高度交互式机器人系统的有效解决方案。大多数现有的游戏理论规划师不切实际地假设所有代理都可以使用先验的目标功能知识。为了解决这个问题，我们提出了一个容忍度的退缩水平游戏理论运动计划者，该计划者利用了与意图假设的可能性相互交流。具体而言，机器人传达其目标函数以结合意图。离散的贝叶斯过滤器旨在根据观察到的轨迹与传达意图的轨迹之间的差异来实时推断目标。在仿真中，我们考虑了三种安全至关重要的自主驾驶场景，即超车，车道交叉和交叉点，以证明我们计划者在存在通信网络中存在错误的传输情况下利用替代意图假设来产生安全轨迹的能力。

在本文中，我们在局部不同的牵引条件下解决了处理限制的运动规划和控制问题。我们提出了一种新的解决方案方法，其中通过源自预测摩擦估计来表示预测地平线上的牵引变化。在后退地平线时装解决了约束的有限时间最佳控制问题，施加了这些时变的约束。此外，我们的方法具有集成的采样增强程序，该过程解决了对突然约束改变而产生的局部最小值的不可行性和敏感性的问题，例如，由于突然的摩擦变化。我们在一系列临界情景中验证了沃尔沃FH16重型车辆的提议算法。实验结果表明，通过确保计划运动的动态可行性，通过确保高牵引利用时，牵引自适应运动规划和控制改善了避免事故的车辆的能力，既通过适应低局部牵引。

在公共道路上大规模的自动车辆部署有可能大大改变当今社会的运输方式。尽管这种追求是在几十年前开始的，但仍有公开挑战可靠地确保此类车辆在开放环境中安全运行。尽管功能安全性是一个完善的概念，但测量车辆行为安全的问题仍然需要研究。客观和计算分析交通冲突的一种方法是开发和利用所谓的关键指标。在与自动驾驶有关的各种应用中，当代方法利用了关键指标的潜力，例如用于评估动态风险或过滤大型数据集以构建方案目录。作为系统地选择适当的批判性指标的先决条件，我们在自动驾驶的背景下广泛回顾了批判性指标，其属性及其应用的现状。基于这篇综述，我们提出了一种适合性分析，作为一种有条不紊的工具，可以由从业者使用。然后，可以利用提出的方法和最新审查的状态来选择涵盖应用程序要求的合理的测量工具，如分析的示例性执行所证明。最终，高效，有效且可靠的衡量自动化车辆安全性能是证明其可信赖性的关键要求。

随着自动驾驶汽车（AV）开发的发展，对环境中乘客和代理商的安全性的担忧已经上升。涉及自主控制车辆的每个现实世界交通碰撞都使这种担忧加剧了。开源自主驾驶实现显示了具有复杂相互依赖任务的软件体系结构，这很大程度上依赖于机器学习和深层神经网络（DNN），这些任务容易受到非确定性故障和角落案例的影响。这些复杂的子系统共同履行AV的任务，同时还保持安全性。尽管在提高对这些系统的经验可靠性和信心方面正在做出重大改进，但DNN验证的固有局限性在提供AV中提供确定性安全保证方面却引起了无法克服的挑战。我们提出了协同冗余（SR），这是一种用于复杂网络物理系统的安全架构，例如AV。 SR通过将系统的任务和安全任务解耦来提供可验证的安全保证。在独立履行其主要角色的同时，部分功能多余的任务和安全任务能够相互帮助，从而协同改善合并的系统。协同安全层仅使用可验证且可分析的软件来完成其任务。与任务层的密切协调可以更轻松，更早地检测系统中的紧急故障。 SR简化了任务层的优化目标并改进了其设计。 SR提供了高性能的安全部署，尽管本质上无法验证的机器学习软件。在这项工作中，我们首先介绍SR体系结构的设计和功能，然后评估解决方案的功效，重点关注AV中障碍物存在故障的关键问题。

具有许多移动代理的城市环境的运动计划可以看作是组合问题。通过在左右之后，左右或左后通过障碍物，自动驾驶汽车可以选择执行多个选项。这些组合方面需要在计划框架中考虑到。我们通过提出一种结合轨迹计划和操纵推理的新型计划方法来解决这个问题。我们定义了沿参考曲线的动态障碍的分类，使我们能够提取战术决策序列。我们将纵向和横向运动分开，以加快基于优化的轨迹计划。为了将获得的轨迹集绘制为操纵变体，我们定义了一种语义来描述它们。这使我们能够选择最佳轨迹，同时还可以确保随着时间的推移操纵的一致性。我们证明了我们的方法的能力，即仍被普遍认为是具有挑战性的场景。

我们引入了责任感敏感安全性（RSS）的目标延长，这是一种基于规则的自动驾驶系统安全保证（ADS）的方法。制定RSS规则保证目标实现 - 除了原始RSS中的避免碰撞外，还需要进行长时间的操纵序列的复杂计划。为了应对复杂性，我们基于程序逻辑引入了一个构图推理框架，其中可以系统地为较小的子赛车制定RSS规则，并将它们组合起来以获取用于较大场景的RSS规则。作为框架的基础，我们介绍了一个程序逻辑DFHL，可满足连续的动态和安全条件。我们的框架介绍了基于DFHL的工作流程，用于导出目标感知RSS规则；我们也讨论其软件支持。我们在安全体系结构中使用RSS规则进行了实验评估。它的结果表明，目标感知RSS确实有效地实现了避免碰撞和目标实现目标。

这项工作研究了以下假设：与人类驾驶状态的部分可观察到的马尔可夫决策过程（POMDP）计划可以显着提高自动高速公路驾驶的安全性和效率。我们在模拟场景中评估了这一假设，即自动驾驶汽车必须在快速连续中安全执行三个车道变化。通过观测扩大（POMCPOW）算法，通过部分可观察到的蒙特卡洛计划获得了近似POMDP溶液。这种方法的表现优于过度自信和保守的MDP基准，匹配或匹配效果优于QMDP。相对于MDP基准，POMCPOW通常将不安全情况的速率降低了一半或将成功率提高50％。

为了实现安全的自动驾驶汽车（AV）操作，至关重要的是，AV的障碍检测模块可以可靠地检测出构成安全威胁的障碍物（即是安全至关重要的）。因此，希望对感知系统的评估指标捕获对象的安全性 - 临界性。不幸的是，现有的感知评估指标倾向于对物体做出强烈的假设，而忽略了代理之间的动态相互作用，因此不能准确地捕获现实中的安全风险。为了解决这些缺点，我们通过考虑自我车辆和现场障碍之间的闭环动态相互作用来引入互动障碍感知障碍检测评估度量指标。通过从最佳控制理论借用现有理论，即汉密尔顿 - 雅各比的可达性，我们提出了一种可构造``安全区域''的计算障碍方法：一个国家空间中的一个区域，该区域定义了安全 - 关键障碍为了定义安全目的的位置指标。我们提出的安全区已在数学上完成，并且可以轻松计算以反映各种安全要求。使用Nuscenes检测挑战排行榜的现成检测算法，我们证明我们的方法是计算轻量级，并且可以更好地捕获与基线方法更好地捕获关键的安全感知错误。

然而，由于各种交通/道路结构方案以及人类驾驶员行为的长时间分布，自动驾驶的感应，感知和本地化取得了重大进展，因此，对于智能车辆来说，这仍然是一个持开放态度的挑战始终知道如何在有可用的传感 /感知 /本地化信息的道路上做出和执行最佳决定。在本章中，我们讨论了人工智能，更具体地说，强化学习如何利用运营知识和安全反射来做出战略性和战术决策。我们讨论了一些与强化学习解决方案的鲁棒性及其对自动驾驶驾驶策略的实践设计有关的具有挑战性的问题。我们专注于在高速公路上自动驾驶以及增强学习，车辆运动控制和控制屏障功能的整合，从而实现了可靠的AI驾驶策略，可以安全地学习和适应。

We develop a hierarchical controller for head-to-head autonomous racing. We first introduce a formulation of a racing game with realistic safety and fairness rules. A high-level planner approximates the original formulation as a discrete game with simplified state, control, and dynamics to easily encode the complex safety and fairness rules and calculates a series of target waypoints. The low-level controller takes the resulting waypoints as a reference trajectory and computes high-resolution control inputs by solving an alternative formulation with simplified objectives and constraints. We consider two approaches for the low-level planner, constructing two hierarchical controllers. One approach uses multi-agent reinforcement learning (MARL), and the other solves a linear-quadratic Nash game (LQNG) to produce control inputs. The controllers are compared against three baselines: an end-to-end MARL controller, a MARL controller tracking a fixed racing line, and an LQNG controller tracking a fixed racing line. Quantitative results show that the proposed hierarchical methods outperform their respective baseline methods in terms of head-to-head race wins and abiding by the rules. The hierarchical controller using MARL for low-level control consistently outperformed all other methods by winning over 88% of head-to-head races and more consistently adhered to the complex racing rules. Qualitatively, we observe the proposed controllers mimicking actions performed by expert human drivers such as shielding/blocking, overtaking, and long-term planning for delayed advantages. We show that hierarchical planning for game-theoretic reasoning produces competitive behavior even when challenged with complex rules and constraints.

延迟在迅速变化的环境中运行的自主系统的危害安全性，例如在自动驾驶和高速赛车方面的交通参与者的非确定性。不幸的是，在传统的控制器设计或在物理世界中部署之前，通常不考虑延迟。在本文中，从非线性优化到运动计划和控制以及执行器引起的其他不可避免的延迟的计算延迟被系统地和统一解决。为了处理所有这些延迟，在我们的框架中：1）我们提出了一种新的过滤方法，而没有事先了解动态和干扰分布的知识，以适应，安全地估算时间变化的计算延迟； 2）我们为转向延迟建模驱动动力学； 3）所有约束优化均在强大的管模型预测控制器中实现。对于应用的优点，我们证明我们的方法适合自动驾驶和自动赛车。我们的方法是独立延迟补偿控制器的新型设计。此外，在假设无延迟作为主要控制器的学习控制器的情况下，我们的方法是主要控制器的安全保护器。

Designing a local planner to control tractor-trailer vehicles in forward and backward maneuvering is a challenging control problem in the research community of autonomous driving systems. Considering a critical situation in the stability of tractor-trailer systems, a practical and novel approach is presented to design a non-linear MPC(NMPC) local planner for tractor-trailer autonomous vehicles in both forward and backward maneuvering. The tractor velocity and steering angle are considered to be control variables. The proposed NMPC local planner is designed to handle jackknife situations, avoiding multiple static obstacles, and path following in both forward and backward maneuvering. The challenges mentioned above are converted into a constrained problem that can be handled simultaneously by the proposed NMPC local planner. The direct multiple shooting approach is used to convert the optimal control problem(OCP) into a non-linear programming problem(NLP) that IPOPT solvers can solve in CasADi. The controller performance is evaluated through different backup and forward maneuvering scenarios in the Gazebo simulation environment in real-time. It achieves asymptotic stability in avoiding static obstacles and accurate tracking performance while respecting path constraints. Finally, the proposed NMPC local planner is integrated with an open-source autonomous driving software stack called AutowareAi.

自主的改进提供了许多域中积极成果的潜力，但保证了他们的安全部署是困难的。这项工作调查了人们如何智能地监督代理商，即使在表现担保是难以捉摸的情况下，即使性能保证也是如此达到一些安全性。激励研究问题是：在安全关键环境中，我们可以避免有必要始终有一台机器吗？本文正式化了这一“缩放监督”问题，并调查其在融入交通的自治车辆（AVS）的安全关键背景下。它提出了一种保守的，可达性的方法，以减少AVS人类主管的负担，这允许在此环境中建立高信任上限。通过深度加强学习学习序列和流量模拟分析，在数字上，AVS的组合可以在AV采用中进行监督时间。一个关键的外卖是，尽管存在AVS的不完美，但由于AVS部署了EN Masse，监督变得更具易行。虽然这项工作侧重于AVS，但可扩展的监督框架与更广泛的自主控制挑战阵列相关。

自动驾驶汽车是一项不断发展的技术，旨在通过自动操作从车道变更到超车来提高安全性，可访问性，效率和便利性。超车是自动驾驶汽车最具挑战性的操作之一，当前的自动超车技术仅限于简单情况。本文研究了如何通过允许动作流产来提高自主超车的安全性。我们提出了一个基于深层Q网络的决策过程，以确定是否以及何时需要中止超车的操作。拟议的算法在与交通情况不同的模拟中进行了经验评估，这表明所提出的方法可以改善超车手动过程中的安全性。此外，使用自动班车Iseauto在现实世界实验中证明了该方法。

本文介绍了一个混合在线的部分可观察到的马尔可夫决策过程（POMDP）计划系统，该系统在存在环境中其他代理商引入的多模式不确定性的情况下解决了自主导航的问题。作为一个特别的例子，我们考虑了密集的行人和障碍物中的自主航行问题。该问题的流行方法首先使用完整的计划者（例如，混合A*）生成一条路径，具有对不确定性的临时假设，然后使用基于在线树的POMDP求解器来解决问题的不确定性，并控制问题的有限方面（即沿着路径的速度）。我们提出了一种更有能力和响应的实时方法，使POMDP规划师能够控制更多的自由度（例如，速度和标题），以实现更灵活，更有效的解决方案。这种修改大大扩展了POMDP规划师必须推荐的国家空间区域，从而大大提高了在实时控制提供的有限计算预算中找到有效的推出政策的重要性。我们的关键见解是使用多Query运动计划技术（例如，概率路线图或快速行进方法）作为先验，以快速生成在有限的地平线搜索中POMDP规划树可能达到的每个状态的高效推出政策。我们提出的方法产生的轨迹比以前的方法更安全，更有效，即使在较长的计划范围内密集拥挤的动态环境中。