鸟眼视图（BEV）语义分割对于具有强大的空间表示能力的自动驾驶至关重要。由于空间间隙而从单眼图像中估算BEV语义图是一项挑战，因为这是隐含的，以实现均可实现透视到bev-bev的转换和分割。我们提出了一个新型的两阶段几何形状的基于GITNET的基于基于的转换框架，由（i）几何引导的预先对准和（ii）基于射线的变压器组成。在第一阶段，我们将BEV分割分解为透视图的图像分割和基于几何的基于几何映射，并通过将BEV语义标签投影到图像平面上，以明确的监督，以学习可见性吸引的特征和可学习的几何形状，以转化为BEV空间。其次，基于射线的变压器将预先一致的粗细BEV特征进一步变形，以考虑可见性知识。 Gitnet在具有挑战性的Nuscenes和Argoverse数据集上实现了领先的表现。

以视觉为中心的BEV感知由于其固有的优点，最近受到行业和学术界的关注，包括展示世界自然代表和融合友好。随着深度学习的快速发展，已经提出了许多方法来解决以视觉为中心的BEV感知。但是，最近没有针对这个小说和不断发展的研究领域的调查。为了刺激其未来的研究，本文对以视觉为中心的BEV感知及其扩展进行了全面调查。它收集并组织了最近的知识，并对常用算法进行了系统的综述和摘要。它还为几项BEV感知任务提供了深入的分析和比较结果，从而促进了未来作品的比较并激发了未来的研究方向。此外，还讨论了经验实现细节并证明有利于相关算法的开发。

自主驾驶的最新作品已广泛采用了鸟眼视图（BEV）语义图作为世界的中间表示。这些BEV地图的在线预测涉及非平凡操作，例如多摄像机数据提取以及融合和投影到常见的顶级网格中。这通常是通过易易错的几何操作（例如，单眼深度估计的同构图或反射）或BEV中图像像素和像素（例如，具有MLP或注意力）之间的昂贵直接密集映射来完成。在这项工作中，我们提出了“ Lara”，这是一种有效的编码器编码器，基于变压器的模型，用于从多个摄像机中进行车辆语义分割。我们的方法使用交叉注意的系统将信息通过多个传感器汇总为紧凑而丰富的潜在表示。这些潜在的表示在通过一系列自我发场块处理后，在BEV空间中进行了第二次交叉注意。我们证明，我们的模型在Nuscenes上的表现优于使用变压器的最佳先前作品。

在鸟眼中学习强大的表现（BEV），以进行感知任务，这是趋势和吸引行业和学术界的广泛关注。大多数自动驾驶算法的常规方法在正面或透视视图中执行检测，细分，跟踪等。随着传感器配置变得越来越复杂，从不同的传感器中集成了多源信息，并在统一视图中代表功能至关重要。 BEV感知继承了几个优势，因为代表BEV中的周围场景是直观和融合友好的。对于BEV中的代表对象，对于随后的模块，如计划和/或控制是最可取的。 BEV感知的核心问题在于（a）如何通过从透视视图到BEV来通过视图转换来重建丢失的3D信息； （b）如何在BEV网格中获取地面真理注释； （c）如何制定管道以合并来自不同来源和视图的特征； （d）如何适应和概括算法作为传感器配置在不同情况下各不相同。在这项调查中，我们回顾了有关BEV感知的最新工作，并对不同解决方案进行了深入的分析。此外，还描述了该行业的BEV方法的几种系统设计。此外，我们推出了一套完整的实用指南，以提高BEV感知任务的性能，包括相机，激光雷达和融合输入。最后，我们指出了该领域的未来研究指示。我们希望该报告能阐明社区，并鼓励对BEV感知的更多研究。我们保留一个活跃的存储库来收集最新的工作，并在https://github.com/openperceptionx/bevperception-survey-recipe上提供一包技巧的工具箱。

伯德眼景（BEV）中的语义细分是自动驾驶的重要任务。尽管这项任务吸引了大量的研究工作，但灵活应对在自动驾驶汽车上配备的任意（单个或多个）摄像头传感器仍然具有挑战性。在本文中，我们介绍了BEVSEGFORMER，这是一种有效的基于变压器的方法，用于从任意摄像机钻机中进行BEV语义分割。具体而言，我们的方法首先编码带有共享骨架的任意摄像机的图像功能。然后，这些图像功能通过基于变压器的编码器增强。此外，我们引入了BEV变压器解码器模块以解析BEV语义分割结果。有效的多相机可变形注意单元旨在进行BEV-to-to-image视图转换。最后，查询是根据BEV中网格的布局重塑的，并以监督方式进行了更大的采样以产生语义分割结果。我们在公共Nuscenes数据集和自收集的数据集上评估了所提出的算法。实验结果表明，我们的方法在任意摄像机钻机上实现了BEV语义分割的有希望的性能。我们还通过消融研究证明了每个组件的有效性。

鸟瞰图（BEV）地图已成为现场理解最强大的表达之一，因为他们能够提供丰富的空间上下文，同时容易解释和处理。此类地图已在许多实际任务中发现，广泛地依赖于准确的场景分段以及在BEV空间中的对象实例标识以进行操作。然而，现有的分段算法仅预测BEV空间中的语义，这限制了它们在对象实例概念也是关键的应用中的应用。在这项工作中，给出了前面视图（FV）中的单眼图像，前往直接预测BEV中的密集Panoptic分段图的第一个BEV Panoptic分割方法。我们的架构遵循自上而下的范式，并采用了一种新型密集变压器模块，包括两个不同的变压器，该模块包括从FV到BEV的输入图像中独立地将垂直和平坦区域映射到BEV的不同变压器。另外，我们推导出用于FV-BEV变换的灵敏度的数学制定，其允许我们智能地重量BEV空间中的像素，以考虑在FV图像上的变化描述。关于基提-360和NUSCENES数据集的广泛评估表明，我们的方法分别超过了PQ度量的最先进的3.61 pp和4.93 pp。

自动驾驶中的3D对象检测旨在推理3D世界中感兴趣的对象的“什么”和“在哪里”。遵循先前2D对象检测的传统智慧，现有方法通常采用垂直轴的规范笛卡尔坐标系。但是，我们共轭这并不符合自我汽车的视角的本质，因为每个板载摄像头都以激进（非垂体）轴的成像几何形状感知到了楔形的楔形世界。因此，在本文中，我们主张对极性坐标系的开发，并提出一个新的极性变压器（极性形式），以在Bird's-eye-View（BEV）中更准确的3D对象检测（BEV），仅作为输入仅作为输入的多相机2D图像。具体而言，我们设计了一个基于交叉注意的极性检测头，而无需限制输入结构的形状以处理不规则的极性网格。为了解决沿极性距离维度的不受约束的物体量表变化，我们进一步引入了多个层状表示策略。结果，我们的模型可以通过参与序列到序列时尚的相应图像观察来充分利用极性表示，但要受几何约束。对Nuscenes数据集进行的彻底实验表明，我们的极性形式的表现明显优于最先进的3D对象检测替代方案，并且在BEV语义分割任务上产生了竞争性能。

一个自动驾驶感知模型旨在将3D语义表示从多个相机集体提取到自我汽车的鸟类视图（BEV）坐标框架中，以使下游规划师接地。现有的感知方法通常依赖于整个场景的容易出错的深度估计，或者学习稀疏的虚拟3D表示没有目标几何结构，这两者在性能和/或能力上仍然有限。在本文中，我们介绍了一种新颖的端到端体系结构，用于自我3D表示从任意数量的无限摄像机视图中学习。受射线追踪原理的启发，我们将“想象眼睛”的两极分化网格设计为可学习的自我3D表示，并通过适应性注意机制与3D到2D投影一起以自适应注意机制的形式制定学习过程。至关重要的是，该公式允许从2D图像中提取丰富的3D表示，而无需任何深度监督，并且内置的几何结构一致W.R.T. bev。尽管具有简单性和多功能性，但对标准BEV视觉任务（例如，基于摄像机的3D对象检测和BEV细分）进行了广泛的实验表明，我们的模型的表现均优于所有最新替代方案，从多任务学习。

深度估计，视觉探测器（VO）和Bird's-eye-view（BEV）场景布局估计提出了三个关键任务，这是驾驶场景感知的三个关键任务，这对于自动驾驶中运动计划和导航至关重要。尽管它们是彼此互补的，但先前的工作通常专注于每个任务，并且很少处理所有三个任务。一种幼稚的方法是以顺序或平行的方式独立实现它们，但是有很多缺点，即1）深度和vo结果遭受了固有的规模歧义问题； 2）BEV布局是从前视图像直接预测的，而无需使用任何与深度相关的信息，尽管深度图包含用于推断场景布局的有用几何线索。在本文中，我们通过提出一个名为jperceiver的新型关节感知框架来解决这些问题，该框架可以同时估算从单眼视频序列中估算尺度感知的深度和vo以及BEV布局。它利用了跨视图几何变换（CGT），以基于精心设计的量表损失来传播从道路布局到深度和VO的绝对尺度。同时，设计了一个跨视图和跨模式转移（CCT）模块，以通过注意机制利用深度线索来用于推理道路和车辆布局。可以以端到端的多任务学习方式对JPERCEIVER进行培训，其中CGT量表损失和CCT模块可以促进任务间知识转移以使每个任务的功能学习受益。关于Argoverse，Nuscenes和Kitti的实验表明，在准确性，模型大小和推理速度方面，JPEREVER在上述所有三个任务上的优越性。代码和模型可在〜\ href {https://github.com/sunnyhelen/jperceiver} {https://github.com/sunnyhelen/jperceiver}中获得。

Accurate localization ability is fundamental in autonomous driving. Traditional visual localization frameworks approach the semantic map-matching problem with geometric models, which rely on complex parameter tuning and thus hinder large-scale deployment. In this paper, we propose BEV-Locator: an end-to-end visual semantic localization neural network using multi-view camera images. Specifically, a visual BEV (Birds-Eye-View) encoder extracts and flattens the multi-view images into BEV space. While the semantic map features are structurally embedded as map queries sequence. Then a cross-model transformer associates the BEV features and semantic map queries. The localization information of ego-car is recursively queried out by cross-attention modules. Finally, the ego pose can be inferred by decoding the transformer outputs. We evaluate the proposed method in large-scale nuScenes and Qcraft datasets. The experimental results show that the BEV-locator is capable to estimate the vehicle poses under versatile scenarios, which effectively associates the cross-model information from multi-view images and global semantic maps. The experiments report satisfactory accuracy with mean absolute errors of 0.052m, 0.135m and 0.251$^\circ$ in lateral, longitudinal translation and heading angle degree.

3D视觉感知任务，包括基于多相机图像的3D检测和MAP分割，对于自主驾驶系统至关重要。在这项工作中，我们提出了一个称为BeVformer的新框架，该框架以时空变压器学习统一的BEV表示，以支持多个自主驾驶感知任务。简而言之，Bevormer通过通过预定义的网格形BEV查询与空间和时间空间进行交互来利用空间和时间信息。为了汇总空间信息，我们设计了空间交叉注意，每个BEV查询都从相机视图中从感兴趣的区域提取了空间特征。对于时间信息，我们提出暂时的自我注意力，以将历史bev信息偶尔融合。我们的方法在Nuscenes \ texttt {test} set上，以NDS度量为单位达到了新的最新56.9 \％，该设置比以前的最佳艺术高9.0分，并且与基于LIDAR的盆地的性能相当。我们进一步表明，BeVormer明显提高了速度估计的准确性和在低可见性条件下对象的回忆。该代码可在\ url {https://github.com/zhiqi-li/bevformer}中获得。

Bird's Eye View（BEV）语义分割在自动驾驶的空间传感中起着至关重要的作用。尽管最近的文献在BEV MAP的理解上取得了重大进展，但它们都是基于基于摄像头的系统，这些系统难以处理遮挡并检测复杂的交通场景中的遥远对象。车辆到车辆（V2V）通信技术使自动驾驶汽车能够共享感应信息，与单代理系统相比，可以显着改善感知性能和范围。在本文中，我们提出了Cobevt，这是可以合作生成BEV MAP预测的第一个通用多代理多机构感知框架。为了有效地从基础变压器体系结构中的多视图和多代理数据融合相机功能，我们设计了融合的轴向注意力或传真模块，可以捕获跨视图和代理的局部和全局空间交互。 V2V感知数据集OPV2V的广泛实验表明，COBEVT实现了合作BEV语义分段的最新性能。此外，COBEVT被证明可以推广到其他任务，包括1）具有单代理多摄像机的BEV分割和2）具有多代理激光雷达系统的3D对象检测，并实现具有实时性能的最新性能时间推理速度。

单眼3D对象检测是低成本自主剂感知其周围环境的常见解决方案。单眼检测已分为两类：（1）直接从正面视图图像推断3D边界框的直接方法； （2）3D中间表示方法将图像映射到3D空间以进行后续3D检测。第二类不仅脱颖而出，不仅是因为3D检测锻造的伪装在更有意义和代表性的特征的怜悯下，而且还因为新兴的SOTA端到端的预测和计划范式需要从感知中获得鸟类视图的特征图管道。但是，在转换为3D表示形式时，这些方法不能保证对象在潜在空间中的隐式方向和位置与在欧几里得空间中明确观察到的物体一致，这会损害模型性能。因此，我们认为，隐式和显式特征的一致性很重要，并提出了一种新颖的单眼检测方法，名为CIEF，并具有第一个方向感知的图像主链，以消除随后的3D表示中隐式和显式特征的差异。作为第二个贡献，我们引入了射线注意机制。与以前的方法相反，该方法沿着投影射线重复特征或依靠另一个Intermedia froustum Point云，我们将图像特征直接转换为具有稳定特征的Voxel表示。我们还提出了一个手工制作的高斯位置编码函数，该函数的表现优于正弦的编码函数，但保持连续的好处。 CIEF在提交时间的3D和BEV检测基准的所有报告的方法中排名第一。

High-definition (HD) semantic map generation of the environment is an essential component of autonomous driving. Existing methods have achieved good performance in this task by fusing different sensor modalities, such as LiDAR and camera. However, current works are based on raw data or network feature-level fusion and only consider short-range HD map generation, limiting their deployment to realistic autonomous driving applications. In this paper, we focus on the task of building the HD maps in both short ranges, i.e., within 30 m, and also predicting long-range HD maps up to 90 m, which is required by downstream path planning and control tasks to improve the smoothness and safety of autonomous driving. To this end, we propose a novel network named SuperFusion, exploiting the fusion of LiDAR and camera data at multiple levels. We benchmark our SuperFusion on the nuScenes dataset and a self-recorded dataset and show that it outperforms the state-of-the-art baseline methods with large margins. Furthermore, we propose a new metric to evaluate the long-range HD map prediction and apply the generated HD map to a downstream path planning task. The results show that by using the long-range HD maps predicted by our method, we can make better path planning for autonomous vehicles. The code will be available at https://github.com/haomo-ai/SuperFusion.

从周围的视角摄像机中学习鸟类视图（BEV）表示对于自动驾驶非常重要。在这项工作中，我们提出了一种几何学引导的内核变压器（GKT），这是一种新颖的2到BEV表示的学习机制。 GKT利用几何先验来指导变压器专注于判别区域，并展开内核特征以生成BEV表示。对于快速推断，我们进一步引入了查找表（LUT）索引方法，以消除在运行时消除相机的校准参数。 GKT在2080TI GPU上的3090 GPU / $ 45.6 $ fps上的价格为$ 72.3 $ fps，并且对摄像机偏差和预定义的BEV高度非常强大。 GKT在Nuscenes Val设置上实现了最新的实时细分结果，即38.0 miou（1亿$ \ times以1亿美元的感知范围，分辨率为0.50万）。鉴于效率，有效性和鲁棒性，GKT在自动驾驶场景中具有巨大的实践价值，尤其是对于实时运行系统。代码和模型将在\ url {https://github.com/hustvl/gkt}上提供。

最近已经提出了3D车道检测的方法，以解决许多自动驾驶场景（上坡/下坡，颠簸等）中不准确的车道布局问题。先前的工作在复杂的情况下苦苦挣扎，因为它们对前视图和鸟类视图（BEV）之间的空间转换以及缺乏现实数据集的简单设计。在这些问题上，我们介绍了Persformer：具有新型基于变压器的空间特征变换模块的端到端单眼3D车道检测器。我们的模型通过参考摄像头参数来参与相关的前视本地区域来生成BEV功能。 Persformer采用统一的2D/3D锚设计和辅助任务，以同时检测2D/3D车道，从而提高功能一致性并分享多任务学习的好处。此外，我们发布了第一个大型现实世界3D车道数据集之一：OpenLane，具有高质量的注释和场景多样性。 OpenLane包含200,000帧，超过880,000个实例级别的车道，14个车道类别，以及场景标签和封闭式对象注释，以鼓励开发车道检测和更多与工业相关的自动驾驶方法。我们表明，在新的OpenLane数据集和Apollo 3D Lane合成数据集中，Persformer在3D车道检测任务中的表现明显优于竞争基线，并且在OpenLane上的2D任务中也与最新的算法相当。该项目页面可在https://github.com/openperceptionx/persformer_3dlane上找到，OpenLane数据集可在https://github.com/openperceptionx/openlane上提供。

在本文中，我们提出了PETRV2，这是来自多视图图像的3D感知统一框架。基于PETR，PETRV2探讨了时间建模的有效性，该时间建模利用先前帧的时间信息来增强3D对象检测。更具体地说，我们扩展了PETR中的3D位置嵌入（3D PE）进行时间建模。 3D PE可以在不同帧的对象位置上实现时间对齐。进一步引入了特征引导的位置编码器，以提高3D PE的数据适应性。为了支持高质量的BEV分割，PETRV2通过添加一组分割查询提供了简单而有效的解决方案。每个分割查询负责分割BEV映射的一个特定补丁。 PETRV2在3D对象检测和BEV细分方面实现了最先进的性能。在PETR框架上还进行了详细的鲁棒性分析。我们希望PETRV2可以作为3D感知的强大基准。代码可在\ url {https://github.com/megvii-research/petr}中获得。

在这项工作中，我们为基于视觉的不均衡的BEV表示学习提出了PolarBev。为了适应摄像机成像的预先处理效果，我们将BEV空间横向和辐射上栅格化，并引入极性嵌入分解，以模拟极性网格之间的关联。极性网格被重新排列到类似阵列的常规表示，以进行有效处理。此外，为了确定2到3D对应关系，我们根据假设平面迭代更新BEV表面，并采用基于高度的特征转换。PolarBev在单个2080TI GPU上保持实时推理速度，并且在BEV语义分割和BEV实例分割方面都优于其他方法。展示彻底消融以验证设计。该代码将在\ url {https://github.com/superz-liu/polarbev}上发布。

从预期的观点（例如范围视图（RV）和Bird's-eye-view（BEV））进行了云云语义细分。不同的视图捕获了点云的不同信息，因此彼此互补。但是，最近基于投影的点云语义分割方法通常会利用一种香草后期的融合策略来预测不同观点，因此未能从表示学习过程中从几何学角度探索互补信息。在本文中，我们引入了一个几何流动网络（GFNET），以探索以融合方式对准不同视图之间的几何对应关系。具体而言，我们设计了一个新颖的几何流量模块（GFM），以双向对齐并根据端到端学习方案下的几何关系跨不同观点传播互补信息。我们对两个广泛使用的基准数据集（Semantickitti和Nuscenes）进行了广泛的实验，以证明我们的GFNET对基于项目的点云语义分割的有效性。具体而言，GFNET不仅显着提高了每个单独观点的性能，而且还可以在所有基于投影的模型中取得最新的结果。代码可在\ url {https://github.com/haibo-qiu/gfnet}中获得。

3D object detection with surround-view images is an essential task for autonomous driving. In this work, we propose DETR4D, a Transformer-based framework that explores sparse attention and direct feature query for 3D object detection in multi-view images. We design a novel projective cross-attention mechanism for query-image interaction to address the limitations of existing methods in terms of geometric cue exploitation and information loss for cross-view objects. In addition, we introduce a heatmap generation technique that bridges 3D and 2D spaces efficiently via query initialization. Furthermore, unlike the common practice of fusing intermediate spatial features for temporal aggregation, we provide a new perspective by introducing a novel hybrid approach that performs cross-frame fusion over past object queries and image features, enabling efficient and robust modeling of temporal information. Extensive experiments on the nuScenes dataset demonstrate the effectiveness and efficiency of the proposed DETR4D.