我们提出MAPTR，这是一个结构化的端到端框架，用于有效的在线矢量化高清图构建。我们提出了一种基于统一的建模方法，即将MAP元素建模为具有一组等效排列的点集，从而避免了地图元素的定义歧义并简化学习。我们采用层次查询嵌入方案来灵活编码结构化的地图信息，并对地图元素学习执行层次结构匹配。 MAPTR在Nuscenes数据集上实现了现有的矢量化MAP构造方法的最佳性能和效率。尤其是，MAPTR-NANO以RTX 3090的实时推理速度（$ 25.1 $ fps）运行，比现有的基于最新的摄像头方法快$ 8 \ times $ $，同时获得$ 3.3 $较高的地图。 Maptr-tiny在更快的速度的同时显着优于现有的最新多模式方法$ 13.5 $地图。定性结果表明，MAPTR在复杂和各种驾驶场景中保持稳定且强大的地图构造质量。可在\ url {https://github.com/hustvl/maptr}上获得丰富的演示，以证明在现实世界情景中的有效性。 MAPTR在自动驾驶中具有巨大的应用价值。代码将发布以促进进一步的研究和应用。

Motion prediction is highly relevant to the perception of dynamic objects and static map elements in the scenarios of autonomous driving. In this work, we propose PIP, the first end-to-end Transformer-based framework which jointly and interactively performs online mapping, object detection and motion prediction. PIP leverages map queries, agent queries and mode queries to encode the instance-wise information of map elements, agents and motion intentions, respectively. Based on the unified query representation, a differentiable multi-task interaction scheme is proposed to exploit the correlation between perception and prediction. Even without human-annotated HD map or agent's historical tracking trajectory as guidance information, PIP realizes end-to-end multi-agent motion prediction and achieves better performance than tracking-based and HD-map-based methods. PIP provides comprehensive high-level information of the driving scene (vectorized static map and dynamic objects with motion information), and contributes to the downstream planning and control. Code and models will be released for facilitating further research.

自动驾驶系统需要对周围环境有很好的了解，包括移动障碍物和静态高清（HD）语义图。现有方法通过离线手动注释来解决语义图问题，该注释遭受了严重的可伸缩性问题。最新的基于学习的方法产生了密集的栅格分割预测，这些预测不包含单个地图元素的实例信息，并且需要涉及许多手工设计的组件的启发式后处理，以获得矢量化的地图。为此，我们引入了一个端到端矢量化的高清图学习管道，称为ve​​ctormapnet。 Vectormapnet进行了板载传感器的观测值，并预测了鸟类视图中的一组稀疏的散布原料，以建模HD地图的几何形状。基于此管道，我们的方法可以明确地对地图元素之间的空间关系进行建模，并生成对矢量化的地图，这些矢量图对于下游自主驾驶任务友好而无需进行后处理。在我们的实验中，VectorMapnet在Nuscenes数据集上实现了强大的HD MAP学习性能，从而超过了先前的最新方法，可以通过14.2地图。从定性上讲，我们还表明Vectormapnet能够生成综合地图并捕获更多的道路几何细节。据我们所知，VectorMapnet是针对端到端矢量化的HD MAP学习问题设计的第一部作品。

Modern autonomous driving system is characterized as modular tasks in sequential order, i.e., perception, prediction and planning. As sensors and hardware get improved, there is trending popularity to devise a system that can perform a wide diversity of tasks to fulfill higher-level intelligence. Contemporary approaches resort to either deploying standalone models for individual tasks, or designing a multi-task paradigm with separate heads. These might suffer from accumulative error or negative transfer effect. Instead, we argue that a favorable algorithm framework should be devised and optimized in pursuit of the ultimate goal, i.e. planning of the self-driving-car. Oriented at this goal, we revisit the key components within perception and prediction. We analyze each module and prioritize the tasks hierarchically, such that all these tasks contribute to planning (the goal). To this end, we introduce Unified Autonomous Driving (UniAD), the first comprehensive framework up-to-date that incorporates full-stack driving tasks in one network. It is exquisitely devised to leverage advantages of each module, and provide complementary feature abstractions for agent interaction from a global perspective. Tasks are communicated with unified query design to facilitate each other toward planning. We instantiate UniAD on the challenging nuScenes benchmark. With extensive ablations, the effectiveness of using such a philosophy is proven to surpass previous state-of-the-arts by a large margin in all aspects. The full suite of codebase and models would be available to facilitate future research in the community.

3D车道检测是自动驾驶系统的组成部分。以前的CNN和基于变压器的方法通常首先从前视图图像中生成鸟类视图（BEV）特征映射，然后使用带有BEV功能映射的子网络作为输入来预测3D车道。这种方法需要在BEV和前视图之间进行明确的视图转换，这本身仍然是一个具有挑战性的问题。在本文中，我们提出了一种基于单阶段变压器的方法，该方法直接计算3D车道参数并可以规避困难的视图变换步骤。具体而言，我们通过使用曲线查询来将3D车道检测作为曲线传播问题。 3D车道查询由动态和有序的锚点集表示。通过这种方式，在变压器解码器迭代中具有曲线表示的查询可完善3D车道检测结果。此外，引入了曲线交叉意见模块，以计算曲线查询和图像特征之间的相似性。此外，提供了可以捕获曲线查询更多相对图像特征的上下文采样模块，以进一步提高3D车道检测性能。我们评估了合成数据集和现实数据集的3D车道检测方法，实验结果表明，与最先进的方法相比，我们的方法实现了有希望的性能。每个组件的有效性也通过消融研究验证。

最近已经提出了3D车道检测的方法，以解决许多自动驾驶场景（上坡/下坡，颠簸等）中不准确的车道布局问题。先前的工作在复杂的情况下苦苦挣扎，因为它们对前视图和鸟类视图（BEV）之间的空间转换以及缺乏现实数据集的简单设计。在这些问题上，我们介绍了Persformer：具有新型基于变压器的空间特征变换模块的端到端单眼3D车道检测器。我们的模型通过参考摄像头参数来参与相关的前视本地区域来生成BEV功能。 Persformer采用统一的2D/3D锚设计和辅助任务，以同时检测2D/3D车道，从而提高功能一致性并分享多任务学习的好处。此外，我们发布了第一个大型现实世界3D车道数据集之一：OpenLane，具有高质量的注释和场景多样性。 OpenLane包含200,000帧，超过880,000个实例级别的车道，14个车道类别，以及场景标签和封闭式对象注释，以鼓励开发车道检测和更多与工业相关的自动驾驶方法。我们表明，在新的OpenLane数据集和Apollo 3D Lane合成数据集中，Persformer在3D车道检测任务中的表现明显优于竞争基线，并且在OpenLane上的2D任务中也与最新的算法相当。该项目页面可在https://github.com/openperceptionx/persformer_3dlane上找到，OpenLane数据集可在https://github.com/openperceptionx/openlane上提供。

Accurate localization ability is fundamental in autonomous driving. Traditional visual localization frameworks approach the semantic map-matching problem with geometric models, which rely on complex parameter tuning and thus hinder large-scale deployment. In this paper, we propose BEV-Locator: an end-to-end visual semantic localization neural network using multi-view camera images. Specifically, a visual BEV (Birds-Eye-View) encoder extracts and flattens the multi-view images into BEV space. While the semantic map features are structurally embedded as map queries sequence. Then a cross-model transformer associates the BEV features and semantic map queries. The localization information of ego-car is recursively queried out by cross-attention modules. Finally, the ego pose can be inferred by decoding the transformer outputs. We evaluate the proposed method in large-scale nuScenes and Qcraft datasets. The experimental results show that the BEV-locator is capable to estimate the vehicle poses under versatile scenarios, which effectively associates the cross-model information from multi-view images and global semantic maps. The experiments report satisfactory accuracy with mean absolute errors of 0.052m, 0.135m and 0.251$^\circ$ in lateral, longitudinal translation and heading angle degree.

在鸟眼中学习强大的表现（BEV），以进行感知任务，这是趋势和吸引行业和学术界的广泛关注。大多数自动驾驶算法的常规方法在正面或透视视图中执行检测，细分，跟踪等。随着传感器配置变得越来越复杂，从不同的传感器中集成了多源信息，并在统一视图中代表功能至关重要。 BEV感知继承了几个优势，因为代表BEV中的周围场景是直观和融合友好的。对于BEV中的代表对象，对于随后的模块，如计划和/或控制是最可取的。 BEV感知的核心问题在于（a）如何通过从透视视图到BEV来通过视图转换来重建丢失的3D信息； （b）如何在BEV网格中获取地面真理注释； （c）如何制定管道以合并来自不同来源和视图的特征； （d）如何适应和概括算法作为传感器配置在不同情况下各不相同。在这项调查中，我们回顾了有关BEV感知的最新工作，并对不同解决方案进行了深入的分析。此外，还描述了该行业的BEV方法的几种系统设计。此外，我们推出了一套完整的实用指南，以提高BEV感知任务的性能，包括相机，激光雷达和融合输入。最后，我们指出了该领域的未来研究指示。我们希望该报告能阐明社区，并鼓励对BEV感知的更多研究。我们保留一个活跃的存储库来收集最新的工作，并在https://github.com/openperceptionx/bevperception-survey-recipe上提供一包技巧的工具箱。

以视觉为中心的BEV感知由于其固有的优点，最近受到行业和学术界的关注，包括展示世界自然代表和融合友好。随着深度学习的快速发展，已经提出了许多方法来解决以视觉为中心的BEV感知。但是，最近没有针对这个小说和不断发展的研究领域的调查。为了刺激其未来的研究，本文对以视觉为中心的BEV感知及其扩展进行了全面调查。它收集并组织了最近的知识，并对常用算法进行了系统的综述和摘要。它还为几项BEV感知任务提供了深入的分析和比较结果，从而促进了未来作品的比较并激发了未来的研究方向。此外，还讨论了经验实现细节并证明有利于相关算法的开发。

High-definition (HD) semantic map generation of the environment is an essential component of autonomous driving. Existing methods have achieved good performance in this task by fusing different sensor modalities, such as LiDAR and camera. However, current works are based on raw data or network feature-level fusion and only consider short-range HD map generation, limiting their deployment to realistic autonomous driving applications. In this paper, we focus on the task of building the HD maps in both short ranges, i.e., within 30 m, and also predicting long-range HD maps up to 90 m, which is required by downstream path planning and control tasks to improve the smoothness and safety of autonomous driving. To this end, we propose a novel network named SuperFusion, exploiting the fusion of LiDAR and camera data at multiple levels. We benchmark our SuperFusion on the nuScenes dataset and a self-recorded dataset and show that it outperforms the state-of-the-art baseline methods with large margins. Furthermore, we propose a new metric to evaluate the long-range HD map prediction and apply the generated HD map to a downstream path planning task. The results show that by using the long-range HD maps predicted by our method, we can make better path planning for autonomous vehicles. The code will be available at https://github.com/haomo-ai/SuperFusion.

伯德眼景（BEV）中的语义细分是自动驾驶的重要任务。尽管这项任务吸引了大量的研究工作，但灵活应对在自动驾驶汽车上配备的任意（单个或多个）摄像头传感器仍然具有挑战性。在本文中，我们介绍了BEVSEGFORMER，这是一种有效的基于变压器的方法，用于从任意摄像机钻机中进行BEV语义分割。具体而言，我们的方法首先编码带有共享骨架的任意摄像机的图像功能。然后，这些图像功能通过基于变压器的编码器增强。此外，我们引入了BEV变压器解码器模块以解析BEV语义分割结果。有效的多相机可变形注意单元旨在进行BEV-to-to-image视图转换。最后，查询是根据BEV中网格的布局重塑的，并以监督方式进行了更大的采样以产生语义分割结果。我们在公共Nuscenes数据集和自收集的数据集上评估了所提出的算法。实验结果表明，我们的方法在任意摄像机钻机上实现了BEV语义分割的有希望的性能。我们还通过消融研究证明了每个组件的有效性。

3D视觉感知任务，包括基于多相机图像的3D检测和MAP分割，对于自主驾驶系统至关重要。在这项工作中，我们提出了一个称为BeVformer的新框架，该框架以时空变压器学习统一的BEV表示，以支持多个自主驾驶感知任务。简而言之，Bevormer通过通过预定义的网格形BEV查询与空间和时间空间进行交互来利用空间和时间信息。为了汇总空间信息，我们设计了空间交叉注意，每个BEV查询都从相机视图中从感兴趣的区域提取了空间特征。对于时间信息，我们提出暂时的自我注意力，以将历史bev信息偶尔融合。我们的方法在Nuscenes \ texttt {test} set上，以NDS度量为单位达到了新的最新56.9 \％，该设置比以前的最佳艺术高9.0分，并且与基于LIDAR的盆地的性能相当。我们进一步表明，BeVormer明显提高了速度估计的准确性和在低可见性条件下对象的回忆。该代码可在\ url {https://github.com/zhiqi-li/bevformer}中获得。

在这项工作中，我们为基于视觉的不均衡的BEV表示学习提出了PolarBev。为了适应摄像机成像的预先处理效果，我们将BEV空间横向和辐射上栅格化，并引入极性嵌入分解，以模拟极性网格之间的关联。极性网格被重新排列到类似阵列的常规表示，以进行有效处理。此外，为了确定2到3D对应关系，我们根据假设平面迭代更新BEV表面，并采用基于高度的特征转换。PolarBev在单个2080TI GPU上保持实时推理速度，并且在BEV语义分割和BEV实例分割方面都优于其他方法。展示彻底消融以验证设计。该代码将在\ url {https://github.com/superz-liu/polarbev}上发布。

自动驾驶中的3D对象检测旨在推理3D世界中感兴趣的对象的“什么”和“在哪里”。遵循先前2D对象检测的传统智慧，现有方法通常采用垂直轴的规范笛卡尔坐标系。但是，我们共轭这并不符合自我汽车的视角的本质，因为每个板载摄像头都以激进（非垂体）轴的成像几何形状感知到了楔形的楔形世界。因此，在本文中，我们主张对极性坐标系的开发，并提出一个新的极性变压器（极性形式），以在Bird's-eye-View（BEV）中更准确的3D对象检测（BEV），仅作为输入仅作为输入的多相机2D图像。具体而言，我们设计了一个基于交叉注意的极性检测头，而无需限制输入结构的形状以处理不规则的极性网格。为了解决沿极性距离维度的不受约束的物体量表变化，我们进一步引入了多个层状表示策略。结果，我们的模型可以通过参与序列到序列时尚的相应图像观察来充分利用极性表示，但要受几何约束。对Nuscenes数据集进行的彻底实验表明，我们的极性形式的表现明显优于最先进的3D对象检测替代方案，并且在BEV语义分割任务上产生了竞争性能。

在本文中，我们提出了PETRV2，这是来自多视图图像的3D感知统一框架。基于PETR，PETRV2探讨了时间建模的有效性，该时间建模利用先前帧的时间信息来增强3D对象检测。更具体地说，我们扩展了PETR中的3D位置嵌入（3D PE）进行时间建模。 3D PE可以在不同帧的对象位置上实现时间对齐。进一步引入了特征引导的位置编码器，以提高3D PE的数据适应性。为了支持高质量的BEV分割，PETRV2通过添加一组分割查询提供了简单而有效的解决方案。每个分割查询负责分割BEV映射的一个特定补丁。 PETRV2在3D对象检测和BEV细分方面实现了最先进的性能。在PETR框架上还进行了详细的鲁棒性分析。我们希望PETRV2可以作为3D感知的强大基准。代码可在\ url {https://github.com/megvii-research/petr}中获得。

与周围摄像机的3D对象检测是自动驾驶的有希望的方向。在本文中，我们提出了Simmod，这是用于解决问题的多相对象检测的简单基线。为了合并多视图信息，并基于以前对单眼3D对象检测的努力，该框架建立在样本的对象建议基础上，并旨在以两阶段的方式工作。首先，我们提取多尺度特征，并在每个单眼图像上生成透视对象建议。其次，多视图提案进行了汇总，然后在DETR3D式中使用多视图和多尺度视觉特征进行迭代完善。精制的提案被端到端解码为检测结果。为了进一步提高性能，我们将辅助分支与提案生成并列以增强特征学习。此外，我们设计了目标过滤和教师强迫的方法，以促进两阶段训练的一致性。我们对Nuscenes的3D对象检测基准进行了广泛的实验，以证明Simmod的有效性并实现新的最新性能。代码将在https://github.com/zhangyp15/simmod上找到。

由于其稀疏和细长的性质，估算3D空间中准确的车道线仍然具有挑战性。在这项工作中，我们提出了M^2-3dlanenet，这是一个有效3D车道检测的多模式框架。旨在集成来自多传感器的互补信息，M^2-3dlanenet首先将多模式特征提取具有模态特异性骨架，然后将它们融合在统一的鸟眼视图（BEV）空间中。具体而言，我们的方法由两个核心组成部分组成。 1）要获得准确的2D-3D映射，我们提出了自上而下的BEV生成。其中，使用线条限制的变形（LRDA）模块可用于以自上而下的方式有效地增强图像特征，从而充分捕获车道的细长特征。之后，它使用深度感知的举重将2D锥体特征投入到3D空间中，并通过枕形生成BEV特征。 2）我们进一步提出了自下而上的BEV融合，该融合通过多尺度的级联注意力汇总了多模式特征，从而集成了来自摄像头和激光雷达传感器的互补信息。足够的实验证明了M^2-3dlanenet的有效性，该实验的有效性超过了先前的最先进方法，即在OpenLane数据集上提高了12.1％的F1-SCORE改善。

一个自动驾驶感知模型旨在将3D语义表示从多个相机集体提取到自我汽车的鸟类视图（BEV）坐标框架中，以使下游规划师接地。现有的感知方法通常依赖于整个场景的容易出错的深度估计，或者学习稀疏的虚拟3D表示没有目标几何结构，这两者在性能和/或能力上仍然有限。在本文中，我们介绍了一种新颖的端到端体系结构，用于自我3D表示从任意数量的无限摄像机视图中学习。受射线追踪原理的启发，我们将“想象眼睛”的两极分化网格设计为可学习的自我3D表示，并通过适应性注意机制与3D到2D投影一起以自适应注意机制的形式制定学习过程。至关重要的是，该公式允许从2D图像中提取丰富的3D表示，而无需任何深度监督，并且内置的几何结构一致W.R.T. bev。尽管具有简单性和多功能性，但对标准BEV视觉任务（例如，基于摄像机的3D对象检测和BEV细分）进行了广泛的实验表明，我们的模型的表现均优于所有最新替代方案，从多任务学习。

In this paper, we propose a robust 3D detector, named Cross Modal Transformer (CMT), for end-to-end 3D multi-modal detection. Without explicit view transformation, CMT takes the image and point clouds tokens as inputs and directly outputs accurate 3D bounding boxes. The spatial alignment of multi-modal tokens is performed implicitly, by encoding the 3D points into multi-modal features. The core design of CMT is quite simple while its performance is impressive. CMT obtains 73.0% NDS on nuScenes benchmark. Moreover, CMT has a strong robustness even if the LiDAR is missing. Code will be released at https://github.com/junjie18/CMT.

许多现有的自动驾驶范式涉及多个任务的多个阶段离散管道。为了更好地预测控制信号并增强用户安全性，希望从联合时空特征学习中受益的端到端方法是可取的。尽管基于激光雷达的输入或隐式设计有一些开创性的作品，但在本文中，我们在可解释的基于视觉的设置中提出了问题。特别是，我们提出了一种空间性特征学习方案，以同时同时进行感知，预测和计划任务的一组更具代表性的特征，称为ST-P3。具体而言，提出了一种以自我为中心的积累技术来保留3D空间中的几何信息，然后才能感知鸟类视图转化。设计了双重途径建模，以考虑将来的预测，以将过去的运动变化考虑到过去。引入了基于时间的精炼单元，以弥补识别基于视觉的计划的元素。据我们所知，我们是第一个系统地研究基于端视力的自主驾驶系统的每个部分。我们在开环Nuscenes数据集和闭环CARLA模拟上对以前的最先进的方法进行基准测试。结果显示了我们方法的有效性。源代码，模型和协议详细信息可在https://github.com/openperceptionx/st-p3上公开获得。