Accurately predicting interactive road agents' future trajectories and planning a socially compliant and human-like trajectory accordingly are important for autonomous vehicles. In this paper, we propose a planning-centric prediction neural network, which takes surrounding agents' historical states and map context information as input, and outputs the joint multi-modal prediction trajectories for surrounding agents, as well as a sequence of control commands for the ego vehicle by imitation learning. An agent-agent interaction module along the time axis is proposed in our network architecture to better comprehend the relationship among all the other intelligent agents on the road. To incorporate the map's topological information, a Dynamic Graph Convolutional Neural Network (DGCNN) is employed to process the road network topology. Besides, the whole architecture can serve as a backbone for the Differentiable Integrated motion Prediction with Planning (DIPP) method by providing accurate prediction results and initial planning commands. Experiments are conducted on real-world datasets to demonstrate the improvements made by our proposed method in both planning and prediction accuracy compared to the previous state-of-the-art methods.

相应地预测周围交通参与者的未来状态，并计划安全，平稳且符合社会的轨迹对于自动驾驶汽车至关重要。当前的自主驾驶系统有两个主要问题：预测模块通常与计划模块解耦，并且计划的成本功能很难指定和调整。为了解决这些问题，我们提出了一个端到端的可区分框架，该框架集成了预测和计划模块，并能够从数据中学习成本函数。具体而言，我们采用可区分的非线性优化器作为运动计划者，该运动计划将神经网络给出的周围剂的预测轨迹作为输入，并优化了自动驾驶汽车的轨迹，从而使框架中的所有操作都可以在框架中具有可观的成本，包括成本功能权重。提出的框架经过大规模的现实驾驶数据集进行了训练，以模仿整个驾驶场景中的人类驾驶轨迹，并在开环和闭环界面中进行了验证。开环测试结果表明，所提出的方法的表现优于各种指标的基线方法，并提供以计划为中心的预测结果，从而使计划模块能够输出接近人类的轨迹。在闭环测试中，提出的方法表明能够处理复杂的城市驾驶场景和鲁棒性，以抵抗模仿学习方法所遭受的分配转移。重要的是，我们发现计划和预测模块的联合培训比在开环和闭环测试中使用单独的训练有素的预测模块进行计划要比计划更好。此外，消融研究表明，框架中的可学习组件对于确保计划稳定性和性能至关重要。

Making safe and human-like decisions is an essential capability of autonomous driving systems and learning-based behavior planning is a promising pathway toward this objective. Distinguished from existing learning-based methods that directly output decisions, this work introduces a predictive behavior planning framework that learns to predict and evaluate from human driving data. Concretely, a behavior generation module first produces a diverse set of candidate behaviors in the form of trajectory proposals. Then the proposed conditional motion prediction network is employed to forecast other agents' future trajectories conditioned on each trajectory proposal. Given the candidate plans and associated prediction results, we learn a scoring module to evaluate the plans using maximum entropy inverse reinforcement learning (IRL). We conduct comprehensive experiments to validate the proposed framework on a large-scale real-world urban driving dataset. The results reveal that the conditional prediction model is able to forecast multiple possible future trajectories given a candidate behavior and the prediction results are reactive to different plans. Moreover, the IRL-based scoring module can properly evaluate the trajectory proposals and select close-to-human ones. The proposed framework outperforms other baseline methods in terms of similarity to human driving trajectories. Moreover, we find that the conditional prediction model can improve both prediction and planning performance compared to the non-conditional model, and learning the scoring module is critical to correctly evaluating the candidate plans to align with human drivers.

Modern autonomous driving system is characterized as modular tasks in sequential order, i.e., perception, prediction and planning. As sensors and hardware get improved, there is trending popularity to devise a system that can perform a wide diversity of tasks to fulfill higher-level intelligence. Contemporary approaches resort to either deploying standalone models for individual tasks, or designing a multi-task paradigm with separate heads. These might suffer from accumulative error or negative transfer effect. Instead, we argue that a favorable algorithm framework should be devised and optimized in pursuit of the ultimate goal, i.e. planning of the self-driving-car. Oriented at this goal, we revisit the key components within perception and prediction. We analyze each module and prioritize the tasks hierarchically, such that all these tasks contribute to planning (the goal). To this end, we introduce Unified Autonomous Driving (UniAD), the first comprehensive framework up-to-date that incorporates full-stack driving tasks in one network. It is exquisitely devised to leverage advantages of each module, and provide complementary feature abstractions for agent interaction from a global perspective. Tasks are communicated with unified query design to facilitate each other toward planning. We instantiate UniAD on the challenging nuScenes benchmark. With extensive ablations, the effectiveness of using such a philosophy is proven to surpass previous state-of-the-arts by a large margin in all aspects. The full suite of codebase and models would be available to facilitate future research in the community.

本文提出了一个新型的深度学习框架，用于多模式运动预测。该框架由三个部分组成：经常性神经网络，以处理目标代理的运动过程，卷积神经网络处理栅格化环境表示以及一种基于距离的注意机制，以处理不同代理之间的相互作用。我们在大规模的真实驾驶数据集，Waymo Open Motion数据集上验证了所提出的框架，并将其性能与标准测试基准上的其他方法进行比较。定性结果表明，我们的模型给出的预测轨迹是准确，多样的，并且根据道路结构。标准基准测试的定量结果表明，我们的模型在预测准确性和其他评估指标方面优于其他基线方法。拟议的框架是2021 Waymo Open DataSet运动预测挑战的第二名。

轨迹预测和行为决策是自动驾驶汽车的两项重要任务，他们需要对环境环境有良好的了解；通过参考轨迹预测的输出，可以更好地做出行为决策。但是，大多数当前解决方案分别执行这两个任务。因此，提出了结合多个线索的联合神经网络，并将其命名为整体变压器，以预测轨迹并同时做出行为决策。为了更好地探索线索之间的内在关系，网络使用现有知识并采用三种注意力机制：稀疏的多头类型用于减少噪声影响，特征选择稀疏类型，可最佳地使用部分先验知识，并与Sigmoid多头激活类型，用于最佳使用后验知识。与其他轨迹预测模型相比，所提出的模型具有更好的综合性能和良好的解释性。感知噪声稳健性实验表明，所提出的模型具有良好的噪声稳健性。因此，结合多个提示的同时轨迹预测和行为决策可以降低计算成本并增强场景与代理之间的语义关系。

基于神经网络的驾驶规划师在改善自动驾驶的任务绩效方面表现出了巨大的承诺。但是，确保具有基于神经网络的组件的系统的安全性，尤其是在密集且高度交互式的交通环境中，这是至关重要的，但又具有挑战性。在这项工作中，我们为基于神经网络的车道更改提出了一个安全驱动的互动计划框架。为了防止过度保守计划，我们确定周围车辆的驾驶行为并评估其侵略性，然后以互动方式相应地适应了计划的轨迹。如果在预测的最坏情况下，即使存在安全的逃避轨迹，则自我车辆可以继续改变车道；否则，它可以停留在当前的横向位置附近或返回原始车道。我们通过广泛而全面的实验环境以及在自动驾驶汽车公司收集的现实情况下进行了广泛的模拟，定量证明了计划者设计的有效性及其优于基线方法的优势。

在本文中，我们提出了一个系统，以培训不仅从自我车辆收集的经验，而且还观察到的所有车辆的经验。该系统使用其他代理的行为来创建更多样化的驾驶场景，而无需收集其他数据。从其他车辆学习的主要困难是没有传感器信息。我们使用一组监督任务来学习一个中间表示，这是对控制车辆的观点不变的。这不仅在训练时间提供了更丰富的信号，而且还可以在推断过程中进行更复杂的推理。了解所有车辆驾驶如何有助于预测测试时的行为，并避免碰撞。我们在闭环驾驶模拟中评估该系统。我们的系统的表现优于公共卡拉排行榜上的所有先前方法，较大的利润率将驾驶得分提高了25，路线完成率提高了24分。我们的方法赢得了2021年的卡拉自动驾驶挑战。代码和数据可在https://github.com/dotchen/lav上获得。

仿真是对机器人系统（例如自动驾驶汽车）进行扩展验证和验证的关键。尽管高保真物理和传感器模拟取得了进步，但在模拟道路使用者的现实行为方面仍然存在一个危险的差距。这是因为，与模拟物理和图形不同，设计人类行为的第一个原理模型通常是不可行的。在这项工作中，我们采用了一种数据驱动的方法，并提出了一种可以学会从现实世界驱动日志中产生流量行为的方法。该方法通过将交通仿真问题分解为高级意图推理和低级驾驶行为模仿，通过利用驾驶行为的双层层次结构来实现高样本效率和行为多样性。该方法还结合了一个计划模块，以获得稳定的长马行为。我们从经验上验证了我们的方法，即交通模拟（位）的双层模仿，并具有来自两个大规模驾驶数据集的场景，并表明位表明，在现实主义，多样性和长途稳定性方面可以达到平衡的交通模拟性能。我们还探索了评估行为现实主义的方法，并引入了一套评估指标以进行交通模拟。最后，作为我们的核心贡献的一部分，我们开发和开源一个软件工具，该工具将跨不同驱动数据集的数据格式统一，并将现有数据集将场景转换为交互式仿真环境。有关其他信息和视频，请参见https://sites.google.com/view/nvr-bits2022/home

由于互动交通参与者的随机性质和道路结构的复杂性，城市自动驾驶的决策是具有挑战性的。尽管基于强化的学习（RL）决策计划有望处理城市驾驶方案，但它的样本效率低和适应性差。在本文中，我们提出了Scene-Rep Transformer，以通过更好的场景表示编码和顺序预测潜在蒸馏来提高RL决策能力。具体而言，构建了多阶段变压器（MST）编码器，不仅对自我车辆及其邻居之间的相互作用意识进行建模，而且对代理商及其候选路线之间的意图意识。具有自我监督学习目标的连续潜伏变压器（SLT）用于将未来的预测信息提炼成潜在的场景表示，以减少勘探空间并加快训练的速度。基于软演员批评的最终决策模块（SAC）将来自场景rep变压器的精制潜在场景表示输入，并输出驾驶动作。该框架在五个挑战性的模拟城市场景中得到了验证，其性能通过成功率，安全性和效率方面的数据效率和性能的大幅度提高来定量表现出来。定性结果表明，我们的框架能够提取邻居代理人的意图，以帮助做出决策并提供更多多元化的驾驶行为。

模拟在有效评估自动驾驶汽车方面发挥了重要作用。现有方法主要依赖于基于启发式的模拟，在该模拟中，交通参与者遵循某些无法产生复杂人类行为的人类编码的规则。因此，提出了反应性仿真概念，以通过利用现实世界数据来弥合模拟和现实世界交通情况之间的人类行为差距。但是，这些反应性模型可以在模拟几个步骤后轻松地产生不合理的行为，我们将模型视为失去其稳定性。据我们所知，没有任何工作明确讨论并分析了反应性仿真框架的稳定性。在本文中，我们旨在对反应性模拟进行彻底的稳定性分析，并提出一种增强稳定性的解决方案。具体而言，我们首先提出了一个新的反应模拟框架，在其中我们发现模拟状态序列的平滑度和一致性是稳定性的关键因素。然后，我们将运动学媒介物模型纳入框架中，以提高反应性模拟的闭环稳定性。此外，在本文中提出了一些新颖的指标，以更好地分析模拟性能。

自治车辆的评估和改善规划需要可扩展的长尾交通方案。有用的是，这些情景必须是现实的和挑战性的，但不能安全地开车。在这项工作中，我们介绍努力，一种自动生成具有挑战性的场景的方法，导致给定的计划者产生不良行为，如冲突。为了维护情景合理性，关键的想法是利用基于图形的条件VAE的形式利用学习的交通运动模型。方案生成在该流量模型的潜在空间中制定了优化，通过扰乱初始的真实世界的场景来产生与给定计划者碰撞的轨迹。随后的优化用于找到“解决方案”的场景，确保改进给定的计划者是有用的。进一步的分析基于碰撞类型的群集生成的场景。我们攻击两名策划者并展示争取在这两种情况下成功地产生了现实，具有挑战性的情景。我们另外“关闭循环”并使用这些方案优化基于规则的策划器的超参数。

在这项工作中，我们提出了世界上第一个基于闭环ML的自动驾驶计划基准。虽然存在基于ML的ML的越来越多的ML的议员，但缺乏已建立的数据集和指标限制了该领域的进展。自主车辆运动预测的现有基准专注于短期运动预测，而不是长期规划。这导致了以前的作品来使用基于L2的度量标准的开放循环评估，这不适合公平地评估长期规划。我们的基准通过引入大规模驾驶数据集，轻量级闭环模拟器和特定于运动规划的指标来克服这些限制。我们提供高质量的数据集，在美国和亚洲的4个城市提供1500h的人类驾驶数据，具有广泛不同的交通模式（波士顿，匹兹堡，拉斯维加斯和新加坡）。我们将提供具有无功代理的闭环仿真框架，并提供一系列一般和方案特定的规划指标。我们计划在Neurips 2021上发布数据集，并在2022年初开始组织基准挑战。

由于安全问题，自动驾驶汽车的大规模部署已不断延迟。一方面，全面的场景理解是必不可少的，缺乏这种理解会导致易受罕见但复杂的交通状况，例如突然出现未知物体。但是，从全球环境中的推理需要访问多种类型的传感器以及多模式传感器信号的足够融合，这很难实现。另一方面，学习模型中缺乏可解释性也会因无法验证的故障原因阻碍安全性。在本文中，我们提出了一个安全增强的自主驾驶框架，称为可解释的传感器融合变压器（Interfuser），以完全处理和融合来自多模式多视图传感器的信息，以实现全面的场景理解和对抗性事件检测。此外，我们的框架是从我们的框架中生成的中间解释功能，该功能提供了更多的语义，并被利用以更好地约束操作以在安全集内。我们在Carla基准测试中进行了广泛的实验，我们的模型优于先前的方法，在公共卡拉排行榜上排名第一。

自动驾驶汽车使用各种传感器和机器学习型号来预测周围道路使用者的行为。文献中的大多数机器学习模型都集中在定量误差指标上，例如均方根误差（RMSE），以学习和报告其模型的功能。对定量误差指标的关注倾向于忽略模型的更重要的行为方面，从而提出了这些模型是否真正预测类似人类行为的问题。因此，我们建议分析机器学习模型的输出，就像我们将在常规行为研究中分析人类数据一样。我们介绍定量指标，以证明在自然主义高速公路驾驶数据集中存在三种不同的行为现象：1）运动学依赖性谁通过合并点首次通过合并点2）巷道上的车道更改，可容纳坡道车辆3 ）车辆通过高速公路上的车辆变化，以避免铅车冲突。然后，我们使用相同的指标分析了三个机器学习模型的行为。即使模型的RMSE值有所不同，所有模型都捕获了运动学依赖性的合并行为，但在不同程度上挣扎着捕获更细微的典型礼貌车道变更和高速公路车道的变化行为。此外，车道变化期间的碰撞厌恶分析表明，模型努力捕获人类驾驶的物理方面：在车辆之间留下足够的差距。因此，我们的分析强调了简单的定量指标不足，并且在分析人类驾驶预测的机器学习模型时需要更广泛的行为观点。

为了安全地在各种复杂的交通情况下进行导航，自动驾驶系统通常配备了运动预测模块，为下游计划模块提供重要信息。对于现实世界应用应用程序，运动预测模型的准确性和延迟都是必不可少的。在本报告中，我们提出了一个有效而有效的解决方案，该解决方案是2022年Argoverse 2运动预测挑战中的第三名。

Autonomous vehicle (AV) stacks are typically built in a modular fashion, with explicit components performing detection, tracking, prediction, planning, control, etc. While modularity improves reusability, interpretability, and generalizability, it also suffers from compounding errors, information bottlenecks, and integration challenges. To overcome these challenges, a prominent approach is to convert the AV stack into an end-to-end neural network and train it with data. While such approaches have achieved impressive results, they typically lack interpretability and reusability, and they eschew principled analytical components, such as planning and control, in favor of deep neural networks. To enable the joint optimization of AV stacks while retaining modularity, we present DiffStack, a differentiable and modular stack for prediction, planning, and control. Crucially, our model-based planning and control algorithms leverage recent advancements in differentiable optimization to produce gradients, enabling optimization of upstream components, such as prediction, via backpropagation through planning and control. Our results on the nuScenes dataset indicate that end-to-end training with DiffStack yields substantial improvements in open-loop and closed-loop planning metrics by, e.g., learning to make fewer prediction errors that would affect planning. Beyond these immediate benefits, DiffStack opens up new opportunities for fully data-driven yet modular and interpretable AV architectures. Project website: https://sites.google.com/view/diffstack

当前的端到端自动驾驶方法要么基于计划的轨迹运行控制器，要么直接执行控制预测，这已经跨越了两条单独研究的研究线。本文看到了它们彼此的潜在相互利益，主动探讨了这两个发展良好的世界的结合。具体而言，我们的集成方法分别有两个用于轨迹计划和直接控制的分支。轨迹分支可以预测未来的轨迹，而控制分支则涉及一种新颖的多步预测方案，以便可以将当前动作与未来状态之间的关系进行推理。连接了两个分支，因此控制分支在每个时间步骤中从轨迹分支接收相应的指导。然后将来自两个分支的输出融合以实现互补的优势。我们的结果在闭环城市驾驶环境中进行了评估，并使用CARLA模拟器具有挑战性的情况。即使有了单眼相机的输入，建议的方法在官方Carla排行榜上排名第一$，超过了其他具有多个传感器或融合机制的复杂候选人。源代码和数据将在https://github.com/openperceptionx/tcp上公开提供。

自主驾驶的运动预测领域的先前艺术倾向于寻找接近地面真理轨迹的轨迹。但是，这种问题的表述和方法经常导致多样性和偏见轨迹预测的丧失。因此，它们不适合现实世界的自主驾驶，在这种驾驶中，多样化和依赖道路的多模式轨迹预测对安全至关重要。为此，本研究提出了一种新颖的损失函数\ textit {lane损失}，可确保地图自适应多样性并适应几何约束。对带有新型轨迹候选建议模块的两阶段轨迹预测架构，\ textit {轨迹预测注意（TPA）}经过训练，通过车道损失训练，鼓励多个轨迹分布多样，以涵盖可行的方式以图像意识的方式涵盖可行的操作。此外，考虑到现有的轨迹性能指标正在重点是基于地面真理未来轨迹评估准确性，因此还建议定量评估指标来评估预测的多个轨迹的多样性。在Argoverse数据集上进行的实验表明，所提出的方法显着提高了预测轨迹的多样性，而无需牺牲预测准确性。

预测公路参与者的未来运动对于自动驾驶至关重要，但由于令人震惊的运动不确定性，因此极具挑战性。最近，大多数运动预测方法求助于基于目标的策略，即预测运动轨迹的终点，作为回归整个轨迹的条件，以便可以减少解决方案的搜索空间。但是，准确的目标坐标很难预测和评估。此外，目的地的点表示限制了丰富的道路环境的利用，从而导致预测不准确。目标区域，即可能的目的地区域，而不是目标坐标，可以通过涉及更多的容忍度和指导来提供更软的限制，以搜索潜在的轨迹。考虑到这一点，我们提出了一个新的基于目标区域的框架，名为“目标区域网络”（GANET）进行运动预测，该框架对目标区域进行了建模，而不是确切的目标坐标作为轨迹预测的先决条件，更加可靠，更准确地执行。具体而言，我们建议一个goicrop（目标的目标区域）操作员有效地提取目标区域中的语义巷特征，并在目标区域和模型演员的未来互动中提取语义巷，这对未来的轨迹估计很大。 Ganet在所有公共文献（直到论文提交）中排名第一个，将其源代码排在第一位。