Motion prediction is highly relevant to the perception of dynamic objects and static map elements in the scenarios of autonomous driving. In this work, we propose PIP, the first end-to-end Transformer-based framework which jointly and interactively performs online mapping, object detection and motion prediction. PIP leverages map queries, agent queries and mode queries to encode the instance-wise information of map elements, agents and motion intentions, respectively. Based on the unified query representation, a differentiable multi-task interaction scheme is proposed to exploit the correlation between perception and prediction. Even without human-annotated HD map or agent's historical tracking trajectory as guidance information, PIP realizes end-to-end multi-agent motion prediction and achieves better performance than tracking-based and HD-map-based methods. PIP provides comprehensive high-level information of the driving scene (vectorized static map and dynamic objects with motion information), and contributes to the downstream planning and control. Code and models will be released for facilitating further research.

现有的自动驾驶管道将感知模块与预测模块分开。这两个模块通过手工挑选的功能（例如代理框和轨迹）作为接口进行通信。由于这种分离，预测模块仅从感知模块接收部分信息。更糟糕的是，感知模块的错误会传播和积累，从而对预测结果产生不利影响。在这项工作中，我们提出了VIP3D，这是一种视觉轨迹预测管道，利用原始视频的丰富信息来预测场景中代理的未来轨迹。VIP3D在整个管道中采用稀疏的代理查询，使其完全可区分和可解释。此外，我们为这项新型的端到端视觉轨迹预测任务提出了评估度量。Nuscenes数据集的广泛实验结果表明，VIP3D在传统管道和以前的端到端模型上的强劲性能。

Modern autonomous driving system is characterized as modular tasks in sequential order, i.e., perception, prediction and planning. As sensors and hardware get improved, there is trending popularity to devise a system that can perform a wide diversity of tasks to fulfill higher-level intelligence. Contemporary approaches resort to either deploying standalone models for individual tasks, or designing a multi-task paradigm with separate heads. These might suffer from accumulative error or negative transfer effect. Instead, we argue that a favorable algorithm framework should be devised and optimized in pursuit of the ultimate goal, i.e. planning of the self-driving-car. Oriented at this goal, we revisit the key components within perception and prediction. We analyze each module and prioritize the tasks hierarchically, such that all these tasks contribute to planning (the goal). To this end, we introduce Unified Autonomous Driving (UniAD), the first comprehensive framework up-to-date that incorporates full-stack driving tasks in one network. It is exquisitely devised to leverage advantages of each module, and provide complementary feature abstractions for agent interaction from a global perspective. Tasks are communicated with unified query design to facilitate each other toward planning. We instantiate UniAD on the challenging nuScenes benchmark. With extensive ablations, the effectiveness of using such a philosophy is proven to surpass previous state-of-the-arts by a large margin in all aspects. The full suite of codebase and models would be available to facilitate future research in the community.

预测公路参与者的未来运动对于自动驾驶至关重要，但由于令人震惊的运动不确定性，因此极具挑战性。最近，大多数运动预测方法求助于基于目标的策略，即预测运动轨迹的终点，作为回归整个轨迹的条件，以便可以减少解决方案的搜索空间。但是，准确的目标坐标很难预测和评估。此外，目的地的点表示限制了丰富的道路环境的利用，从而导致预测不准确。目标区域，即可能的目的地区域，而不是目标坐标，可以通过涉及更多的容忍度和指导来提供更软的限制，以搜索潜在的轨迹。考虑到这一点，我们提出了一个新的基于目标区域的框架，名为“目标区域网络”（GANET）进行运动预测，该框架对目标区域进行了建模，而不是确切的目标坐标作为轨迹预测的先决条件，更加可靠，更准确地执行。具体而言，我们建议一个goicrop（目标的目标区域）操作员有效地提取目标区域中的语义巷特征，并在目标区域和模型演员的未来互动中提取语义巷，这对未来的轨迹估计很大。 Ganet在所有公共文献（直到论文提交）中排名第一个，将其源代码排在第一位。

自动驾驶系统需要对周围环境有很好的了解，包括移动障碍物和静态高清（HD）语义图。现有方法通过离线手动注释来解决语义图问题，该注释遭受了严重的可伸缩性问题。最新的基于学习的方法产生了密集的栅格分割预测，这些预测不包含单个地图元素的实例信息，并且需要涉及许多手工设计的组件的启发式后处理，以获得矢量化的地图。为此，我们引入了一个端到端矢量化的高清图学习管道，称为ve​​ctormapnet。 Vectormapnet进行了板载传感器的观测值，并预测了鸟类视图中的一组稀疏的散布原料，以建模HD地图的几何形状。基于此管道，我们的方法可以明确地对地图元素之间的空间关系进行建模，并生成对矢量化的地图，这些矢量图对于下游自主驾驶任务友好而无需进行后处理。在我们的实验中，VectorMapnet在Nuscenes数据集上实现了强大的HD MAP学习性能，从而超过了先前的最新方法，可以通过14.2地图。从定性上讲，我们还表明Vectormapnet能够生成综合地图并捕获更多的道路几何细节。据我们所知，VectorMapnet是针对端到端矢量化的HD MAP学习问题设计的第一部作品。

以视觉为中心的BEV感知由于其固有的优点，最近受到行业和学术界的关注，包括展示世界自然代表和融合友好。随着深度学习的快速发展，已经提出了许多方法来解决以视觉为中心的BEV感知。但是，最近没有针对这个小说和不断发展的研究领域的调查。为了刺激其未来的研究，本文对以视觉为中心的BEV感知及其扩展进行了全面调查。它收集并组织了最近的知识，并对常用算法进行了系统的综述和摘要。它还为几项BEV感知任务提供了深入的分析和比较结果，从而促进了未来作品的比较并激发了未来的研究方向。此外，还讨论了经验实现细节并证明有利于相关算法的开发。

我们提出MAPTR，这是一个结构化的端到端框架，用于有效的在线矢量化高清图构建。我们提出了一种基于统一的建模方法，即将MAP元素建模为具有一组等效排列的点集，从而避免了地图元素的定义歧义并简化学习。我们采用层次查询嵌入方案来灵活编码结构化的地图信息，并对地图元素学习执行层次结构匹配。 MAPTR在Nuscenes数据集上实现了现有的矢量化MAP构造方法的最佳性能和效率。尤其是，MAPTR-NANO以RTX 3090的实时推理速度（$ 25.1 $ fps）运行，比现有的基于最新的摄像头方法快$ 8 \ times $ $，同时获得$ 3.3 $较高的地图。 Maptr-tiny在更快的速度的同时显着优于现有的最新多模式方法$ 13.5 $地图。定性结果表明，MAPTR在复杂和各种驾驶场景中保持稳定且强大的地图构造质量。可在\ url {https://github.com/hustvl/maptr}上获得丰富的演示，以证明在现实世界情景中的有效性。 MAPTR在自动驾驶中具有巨大的应用价值。代码将发布以促进进一步的研究和应用。

3D视觉感知任务，包括基于多相机图像的3D检测和MAP分割，对于自主驾驶系统至关重要。在这项工作中，我们提出了一个称为BeVformer的新框架，该框架以时空变压器学习统一的BEV表示，以支持多个自主驾驶感知任务。简而言之，Bevormer通过通过预定义的网格形BEV查询与空间和时间空间进行交互来利用空间和时间信息。为了汇总空间信息，我们设计了空间交叉注意，每个BEV查询都从相机视图中从感兴趣的区域提取了空间特征。对于时间信息，我们提出暂时的自我注意力，以将历史bev信息偶尔融合。我们的方法在Nuscenes \ texttt {test} set上，以NDS度量为单位达到了新的最新56.9 \％，该设置比以前的最佳艺术高9.0分，并且与基于LIDAR的盆地的性能相当。我们进一步表明，BeVormer明显提高了速度估计的准确性和在低可见性条件下对象的回忆。该代码可在\ url {https://github.com/zhiqi-li/bevformer}中获得。

在本文中，我们提出了PETRV2，这是来自多视图图像的3D感知统一框架。基于PETR，PETRV2探讨了时间建模的有效性，该时间建模利用先前帧的时间信息来增强3D对象检测。更具体地说，我们扩展了PETR中的3D位置嵌入（3D PE）进行时间建模。 3D PE可以在不同帧的对象位置上实现时间对齐。进一步引入了特征引导的位置编码器，以提高3D PE的数据适应性。为了支持高质量的BEV分割，PETRV2通过添加一组分割查询提供了简单而有效的解决方案。每个分割查询负责分割BEV映射的一个特定补丁。 PETRV2在3D对象检测和BEV细分方面实现了最先进的性能。在PETR框架上还进行了详细的鲁棒性分析。我们希望PETRV2可以作为3D感知的强大基准。代码可在\ url {https://github.com/megvii-research/petr}中获得。

许多现有的自动驾驶范式涉及多个任务的多个阶段离散管道。为了更好地预测控制信号并增强用户安全性，希望从联合时空特征学习中受益的端到端方法是可取的。尽管基于激光雷达的输入或隐式设计有一些开创性的作品，但在本文中，我们在可解释的基于视觉的设置中提出了问题。特别是，我们提出了一种空间性特征学习方案，以同时同时进行感知，预测和计划任务的一组更具代表性的特征，称为ST-P3。具体而言，提出了一种以自我为中心的积累技术来保留3D空间中的几何信息，然后才能感知鸟类视图转化。设计了双重途径建模，以考虑将来的预测，以将过去的运动变化考虑到过去。引入了基于时间的精炼单元，以弥补识别基于视觉的计划的元素。据我们所知，我们是第一个系统地研究基于端视力的自主驾驶系统的每个部分。我们在开环Nuscenes数据集和闭环CARLA模拟上对以前的最先进的方法进行基准测试。结果显示了我们方法的有效性。源代码，模型和协议详细信息可在https://github.com/openperceptionx/st-p3上公开获得。

Accurate localization ability is fundamental in autonomous driving. Traditional visual localization frameworks approach the semantic map-matching problem with geometric models, which rely on complex parameter tuning and thus hinder large-scale deployment. In this paper, we propose BEV-Locator: an end-to-end visual semantic localization neural network using multi-view camera images. Specifically, a visual BEV (Birds-Eye-View) encoder extracts and flattens the multi-view images into BEV space. While the semantic map features are structurally embedded as map queries sequence. Then a cross-model transformer associates the BEV features and semantic map queries. The localization information of ego-car is recursively queried out by cross-attention modules. Finally, the ego pose can be inferred by decoding the transformer outputs. We evaluate the proposed method in large-scale nuScenes and Qcraft datasets. The experimental results show that the BEV-locator is capable to estimate the vehicle poses under versatile scenarios, which effectively associates the cross-model information from multi-view images and global semantic maps. The experiments report satisfactory accuracy with mean absolute errors of 0.052m, 0.135m and 0.251$^\circ$ in lateral, longitudinal translation and heading angle degree.

预测交通参与者的多模式未来行为对于机器人车辆做出安全决策至关重要。现有作品探索以直接根据潜在特征预测未来的轨迹，或利用密集的目标候选者来识别代理商的目的地，在这种情况下，由于所有运动模式均来自相同的功能，而后者的策略具有效率问题，因此前者策略的收敛缓慢，因为其性能高度依赖关于候选目标的密度。在本文中，我们提出了运动变压器（MTR）框架，该框架将运动预测模拟为全球意图定位和局部运动改进的联合优化。 MTR不使用目标候选者，而是通过采用一系列可学习的运动查询对来结合空间意图。每个运动查询对负责特定运动模式的轨迹预测和完善，这可以稳定训练过程并促进更好的多模式预测。实验表明，MTR在边际和联合运动预测挑战上都达到了最新的性能，在Waymo Open Motion DataSet排行榜上排名第一。代码将在https://github.com/sshaoshuai/mtr上找到。

在鸟眼中学习强大的表现（BEV），以进行感知任务，这是趋势和吸引行业和学术界的广泛关注。大多数自动驾驶算法的常规方法在正面或透视视图中执行检测，细分，跟踪等。随着传感器配置变得越来越复杂，从不同的传感器中集成了多源信息，并在统一视图中代表功能至关重要。 BEV感知继承了几个优势，因为代表BEV中的周围场景是直观和融合友好的。对于BEV中的代表对象，对于随后的模块，如计划和/或控制是最可取的。 BEV感知的核心问题在于（a）如何通过从透视视图到BEV来通过视图转换来重建丢失的3D信息； （b）如何在BEV网格中获取地面真理注释； （c）如何制定管道以合并来自不同来源和视图的特征； （d）如何适应和概括算法作为传感器配置在不同情况下各不相同。在这项调查中，我们回顾了有关BEV感知的最新工作，并对不同解决方案进行了深入的分析。此外，还描述了该行业的BEV方法的几种系统设计。此外，我们推出了一套完整的实用指南，以提高BEV感知任务的性能，包括相机，激光雷达和融合输入。最后，我们指出了该领域的未来研究指示。我们希望该报告能阐明社区，并鼓励对BEV感知的更多研究。我们保留一个活跃的存储库来收集最新的工作，并在https://github.com/openperceptionx/bevperception-survey-recipe上提供一包技巧的工具箱。

在本文中，我们开发了用于多视图3D对象检测的位置嵌入转换（PETR）。PETR将3D坐标的位置信息编码为图像特征，从而产生3D位置感知功能。对象查询可以感知3D位置感知功能并执行端到端对象检测。PETR在标准Nuscenes数据集上实现了最先进的性能（50.4％NDS和44.1％的地图），并在基准中排名第一。它可以作为未来研究的简单但强大的基准。代码可在\ url {https://github.com/megvii-research/petr}中获得。

最近已经提出了3D车道检测的方法，以解决许多自动驾驶场景（上坡/下坡，颠簸等）中不准确的车道布局问题。先前的工作在复杂的情况下苦苦挣扎，因为它们对前视图和鸟类视图（BEV）之间的空间转换以及缺乏现实数据集的简单设计。在这些问题上，我们介绍了Persformer：具有新型基于变压器的空间特征变换模块的端到端单眼3D车道检测器。我们的模型通过参考摄像头参数来参与相关的前视本地区域来生成BEV功能。 Persformer采用统一的2D/3D锚设计和辅助任务，以同时检测2D/3D车道，从而提高功能一致性并分享多任务学习的好处。此外，我们发布了第一个大型现实世界3D车道数据集之一：OpenLane，具有高质量的注释和场景多样性。 OpenLane包含200,000帧，超过880,000个实例级别的车道，14个车道类别，以及场景标签和封闭式对象注释，以鼓励开发车道检测和更多与工业相关的自动驾驶方法。我们表明，在新的OpenLane数据集和Apollo 3D Lane合成数据集中，Persformer在3D车道检测任务中的表现明显优于竞争基线，并且在OpenLane上的2D任务中也与最新的算法相当。该项目页面可在https://github.com/openperceptionx/persformer_3dlane上找到，OpenLane数据集可在https://github.com/openperceptionx/openlane上提供。

In this paper, we propose a robust 3D detector, named Cross Modal Transformer (CMT), for end-to-end 3D multi-modal detection. Without explicit view transformation, CMT takes the image and point clouds tokens as inputs and directly outputs accurate 3D bounding boxes. The spatial alignment of multi-modal tokens is performed implicitly, by encoding the 3D points into multi-modal features. The core design of CMT is quite simple while its performance is impressive. CMT obtains 73.0% NDS on nuScenes benchmark. Moreover, CMT has a strong robustness even if the LiDAR is missing. Code will be released at https://github.com/junjie18/CMT.

伯德眼景（BEV）中的语义细分是自动驾驶的重要任务。尽管这项任务吸引了大量的研究工作，但灵活应对在自动驾驶汽车上配备的任意（单个或多个）摄像头传感器仍然具有挑战性。在本文中，我们介绍了BEVSEGFORMER，这是一种有效的基于变压器的方法，用于从任意摄像机钻机中进行BEV语义分割。具体而言，我们的方法首先编码带有共享骨架的任意摄像机的图像功能。然后，这些图像功能通过基于变压器的编码器增强。此外，我们引入了BEV变压器解码器模块以解析BEV语义分割结果。有效的多相机可变形注意单元旨在进行BEV-to-to-image视图转换。最后，查询是根据BEV中网格的布局重塑的，并以监督方式进行了更大的采样以产生语义分割结果。我们在公共Nuscenes数据集和自收集的数据集上评估了所提出的算法。实验结果表明，我们的方法在任意摄像机钻机上实现了BEV语义分割的有希望的性能。我们还通过消融研究证明了每个组件的有效性。

Predicting the future motion of dynamic agents is of paramount importance to ensure safety or assess risks in motion planning for autonomous robots. In this paper, we propose a two-stage motion prediction method, referred to as R-Pred, that effectively utilizes both the scene and interaction context using a cascade of the initial trajectory proposal network and the trajectory refinement network. The initial trajectory proposal network produces M trajectory proposals corresponding to M modes of a future trajectory distribution. The trajectory refinement network enhances each of M proposals using 1) the tube-query scene attention (TQSA) and 2) the proposal-level interaction attention (PIA). TQSA uses tube-queries to aggregate the local scene context features pooled from proximity around the trajectory proposals of interest. PIA further enhances the trajectory proposals by modeling inter-agent interactions using a group of trajectory proposals selected based on their distances from neighboring agents. Our experiments conducted on the Argoverse and nuScenes datasets demonstrate that the proposed refinement network provides significant performance improvements compared to the single-stage baseline and that R-Pred achieves state-of-the-art performance in some categories of the benchmark.

We propose a motion forecasting model that exploits a novel structured map representation as well as actor-map interactions. Instead of encoding vectorized maps as raster images, we construct a lane graph from raw map data to explicitly preserve the map structure. To capture the complex topology and long range dependencies of the lane graph, we propose LaneGCN which extends graph convolutions with multiple adjacency matrices and along-lane dilation. To capture the complex interactions between actors and maps, we exploit a fusion network consisting of four types of interactions, actor-to-lane, lane-to-lane, laneto-actor and actor-to-actor. Powered by LaneGCN and actor-map interactions, our model is able to predict accurate and realistic multi-modal trajectories. Our approach significantly outperforms the state-of-the-art on the large scale Argoverse motion forecasting benchmark.

一个自动驾驶感知模型旨在将3D语义表示从多个相机集体提取到自我汽车的鸟类视图（BEV）坐标框架中，以使下游规划师接地。现有的感知方法通常依赖于整个场景的容易出错的深度估计，或者学习稀疏的虚拟3D表示没有目标几何结构，这两者在性能和/或能力上仍然有限。在本文中，我们介绍了一种新颖的端到端体系结构，用于自我3D表示从任意数量的无限摄像机视图中学习。受射线追踪原理的启发，我们将“想象眼睛”的两极分化网格设计为可学习的自我3D表示，并通过适应性注意机制与3D到2D投影一起以自适应注意机制的形式制定学习过程。至关重要的是，该公式允许从2D图像中提取丰富的3D表示，而无需任何深度监督，并且内置的几何结构一致W.R.T. bev。尽管具有简单性和多功能性，但对标准BEV视觉任务（例如，基于摄像机的3D对象检测和BEV细分）进行了广泛的实验表明，我们的模型的表现均优于所有最新替代方案，从多任务学习。