Fusing the camera and LiDAR information has become a de-facto standard for 3D object detection tasks. Current methods rely on point clouds from the LiDAR sensor as queries to leverage the feature from the image space. However, people discovered that this underlying assumption makes the current fusion framework infeasible to produce any prediction when there is a LiDAR malfunction, regardless of minor or major. This fundamentally limits the deployment capability to realistic autonomous driving scenarios. In contrast, we propose a surprisingly simple yet novel fusion framework, dubbed BEVFusion, whose camera stream does not depend on the input of LiDAR data, thus addressing the downside of previous methods. We empirically show that our framework surpasses the state-of-the-art methods under the normal training settings. Under the robustness training settings that simulate various LiDAR malfunctions, our framework significantly surpasses the state-of-the-art methods by 15.7% to 28.9% mAP. To the best of our knowledge, we are the first to handle realistic LiDAR malfunction and can be deployed to realistic scenarios without any post-processing procedure. The code is available at https://github.com/ADLab-AutoDrive/BEVFusion.

在鸟眼中学习强大的表现（BEV），以进行感知任务，这是趋势和吸引行业和学术界的广泛关注。大多数自动驾驶算法的常规方法在正面或透视视图中执行检测，细分，跟踪等。随着传感器配置变得越来越复杂，从不同的传感器中集成了多源信息，并在统一视图中代表功能至关重要。 BEV感知继承了几个优势，因为代表BEV中的周围场景是直观和融合友好的。对于BEV中的代表对象，对于随后的模块，如计划和/或控制是最可取的。 BEV感知的核心问题在于（a）如何通过从透视视图到BEV来通过视图转换来重建丢失的3D信息； （b）如何在BEV网格中获取地面真理注释； （c）如何制定管道以合并来自不同来源和视图的特征； （d）如何适应和概括算法作为传感器配置在不同情况下各不相同。在这项调查中，我们回顾了有关BEV感知的最新工作，并对不同解决方案进行了深入的分析。此外，还描述了该行业的BEV方法的几种系统设计。此外，我们推出了一套完整的实用指南，以提高BEV感知任务的性能，包括相机，激光雷达和融合输入。最后，我们指出了该领域的未来研究指示。我们希望该报告能阐明社区，并鼓励对BEV感知的更多研究。我们保留一个活跃的存储库来收集最新的工作，并在https://github.com/openperceptionx/bevperception-survey-recipe上提供一包技巧的工具箱。

LiDAR and camera are two essential sensors for 3D object detection in autonomous driving. LiDAR provides accurate and reliable 3D geometry information while the camera provides rich texture with color. Despite the increasing popularity of fusing these two complementary sensors, the challenge remains in how to effectively fuse 3D LiDAR point cloud with 2D camera images. Recent methods focus on point-level fusion which paints the LiDAR point cloud with camera features in the perspective view or bird's-eye view (BEV)-level fusion which unifies multi-modality features in the BEV representation. In this paper, we rethink these previous fusion strategies and analyze their information loss and influences on geometric and semantic features. We present SemanticBEVFusion to deeply fuse camera features with LiDAR features in a unified BEV representation while maintaining per-modality strengths for 3D object detection. Our method achieves state-of-the-art performance on the large-scale nuScenes dataset, especially for challenging distant objects. The code will be made publicly available.

多传感器融合对于准确可靠的自主驾驶系统至关重要。最近的方法基于点级融合：通过相机功能增强激光雷达点云。但是，摄像头投影抛弃了相机功能的语义密度，阻碍了此类方法的有效性，尤其是对于面向语义的任务（例如3D场景分割）。在本文中，我们用BevFusion打破了这个根深蒂固的惯例，这是一个有效且通用的多任务多任务融合框架。它统一了共享鸟类视图（BEV）表示空间中的多模式特征，该空间很好地保留了几何信息和语义信息。为了实现这一目标，我们通过优化的BEV池进行诊断和提高视图转换中的钥匙效率瓶颈，从而将延迟降低了40倍以上。 BevFusion从根本上是任务不合时宜的，并且无缝支持不同的3D感知任务，几乎没有建筑变化。它在Nuscenes上建立了新的最新技术，在3D对象检测上获得了1.3％的MAP和NDS，而BEV MAP分段中的MIOU高13.6％，计算成本较低1.9倍。可以在https://github.com/mit-han-lab/bevfusion上获得复制我们结果的代码。

利用多模式融合，尤其是在摄像头和激光雷达之间，对于为自动驾驶汽车构建准确且健壮的3D对象检测系统已经至关重要。直到最近，点装饰方法（在该点云中都用相机功能增强，一直是该领域的主要方法。但是，这些方法无法利用来自相机的较高分辨率图像。还提出了最近将摄像头功能投射到鸟类视图（BEV）融合空间的作品，但是它们需要预计数百万像素，其中大多数仅包含背景信息。在这项工作中，我们提出了一种新颖的方法中心功能融合（CFF），其中我们利用相机和激光雷达中心的基于中心的检测网络来识别相关对象位置。然后，我们使用基于中心的检测来识别与对象位置相关的像素功能的位置，这是图像中总数的一小部分。然后将它们投射并融合在BEV框架中。在Nuscenes数据集上，我们的表现优于仅限激光雷达基线的4.9％地图，同时比其他融合方法融合了100倍。

In this paper, we propose a novel 3D object detector that can exploit both LIDAR as well as cameras to perform very accurate localization. Towards this goal, we design an end-to-end learnable architecture that exploits continuous convolutions to fuse image and LIDAR feature maps at different levels of resolution. Our proposed continuous fusion layer encode both discrete-state image features as well as continuous geometric information. This enables us to design a novel, reliable and efficient end-to-end learnable 3D object detector based on multiple sensors. Our experimental evaluation on both KITTI as well as a large scale 3D object detection benchmark shows significant improvements over the state of the art.

激光镜头和相机是两个用于自动驾驶中3D感知的互补传感器。激光点云具有准确的空间和几何信息，而RGB图像为上下文推理提供了纹理和颜色数据。为了共同利用激光雷达和相机，现有的融合方法倾向于基于校准，即一对一的映射，将每个3D点与一个投影图像像素对齐。但是，这些方法的性能高度依赖于校准质量，这对传感器的时间和空间同步敏感。因此，我们提出了一个动态的交叉注意（DCA）模块，具有新型的一对一的交叉模式映射，该模块从初始投影对邻域的最初投影中学习了多个偏移，从而发展了对校准误差的耐受性。此外，提出了A \ textIt {动态查询增强}来感知与模型无关的校准，从而进一步增强了DCA对初始未对准的耐受性。名为“动态跨注意网络”（DCAN）的整个融合体系结构利用了多级图像特征，并适应了点云的多个表示，这使DCA可以用作插件融合模块。对Nuscenes和Kitti的广泛实验证明了DCA的有效性。拟议的DCAN在Nuscenes检测挑战上优于最先进的方法。

现有的最佳3D对象检测器通常依赖于多模式融合策略。但是，由于忽略了特定于模式的有用信息，因此从根本上限制了该设计，并最终阻碍了模型性能。为了解决这一局限性，在这项工作中，我们介绍了一种新型的模式相互作用策略，在该策略中，在整个过程中学习和维护单个单模式表示，以使其在物体检测过程中被利用其独特特征。为了实现这一建议的策略，我们设计了一个深层互动体系结构，其特征是多模式代表性交互编码器和多模式预测交互解码器。大规模Nuscenes数据集的实验表明，我们所提出的方法经常超过所有先前的艺术。至关重要的是，我们的方法在竞争激烈的Nuscenes对象检测排行榜上排名第一。

以视觉为中心的BEV感知由于其固有的优点，最近受到行业和学术界的关注，包括展示世界自然代表和融合友好。随着深度学习的快速发展，已经提出了许多方法来解决以视觉为中心的BEV感知。但是，最近没有针对这个小说和不断发展的研究领域的调查。为了刺激其未来的研究，本文对以视觉为中心的BEV感知及其扩展进行了全面调查。它收集并组织了最近的知识，并对常用算法进行了系统的综述和摘要。它还为几项BEV感知任务提供了深入的分析和比较结果，从而促进了未来作品的比较并激发了未来的研究方向。此外，还讨论了经验实现细节并证明有利于相关算法的开发。

我们提出了DeepFusion，这是一种模块化的多模式结构，可在不同组合中以3D对象检测为融合激光雷达，相机和雷达。专门的功能提取器可以利用每种模式，并且可以轻松交换，从而使该方法变得简单而灵活。提取的特征被转化为鸟眼视图，作为融合的共同表示。在特征空间中融合方式之前，先进行空间和语义对齐。最后，检测头利用丰富的多模式特征，以改善3D检测性能。 LIDAR相机，激光摄像头雷达和摄像头融合的实验结果显示了我们融合方法的灵活性和有效性。在此过程中，我们研究了高达225米的遥远汽车检测的很大程度上未开发的任务，显示了激光摄像机融合的好处。此外，我们研究了3D对象检测的LIDAR点所需的密度，并在对不利天气条件的鲁棒性示例中说明了含义。此外，对我们的摄像头融合的消融研究突出了准确深度估计的重要性。

实时和高性能3D对象检测对于自动驾驶至关重要。最近表现最佳的3D对象探测器主要依赖于基于点或基于3D Voxel的卷积，这两者在计算上均无效地部署。相比之下，基于支柱的方法仅使用2D卷积，从而消耗了较少的计算资源，但它们的检测准确性远远落后于基于体素的对应物。在本文中，通过检查基于支柱和体素的探测器之间的主要性能差距，我们开发了一个实时和高性能的柱子检测器，称为Pillarnet。提出的柱子由一个强大的编码网络组成，用于有效的支柱特征学习，用于空间语义特征融合的颈网和常用的检测头。仅使用2D卷积，Pillarnet具有可选的支柱尺寸的灵活性，并与经典的2D CNN骨架兼容，例如VGGNET和RESNET.ADITIONICLY，Pillarnet受益于我们设计的方向iOu decoupled iou Recressions you Recressions损失以及IOU Aware Pareace Predication Prediction Predictight offication Branch。大规模Nuscenes数据集和Waymo Open数据集的广泛实验结果表明，在有效性和效率方面，所提出的Pillarnet在最新的3D检测器上表现良好。源代码可在https://github.com/agent-sgs/pillarnet.git上找到。

在这项研究中，我们提出了一个新的3D对象检测器，具有可信赖的深度估计，称为bevdepth，用于基于摄像机的鸟类视图（BEV）3D对象检测。通过对最近方法的彻底分析，我们发现没有摄像头信息的深度估计是隐式学习的，这使其成为创建以下伪点云的事实伪造深度。使用编码的内在和外在参数，BevDepth获得了明确的深度监督。进一步引入了深度校正子网络，以抵消深度地面真理中的投影引起的干扰。为了减少速度瓶颈，同时使用估计的深度将功能从图像视图投影到BEV中，还提出了快速的视频转换操作。此外，我们的bevdepth可以通过多帧的输入轻松扩展。 Bevdepth没有任何铃铛和哨子，可以在具有挑战性的Nuscenes测试套装上实现新的最新60.0％NDS，同时保持高效率。相机和激光雷达之间的性能差距首次在10％NDS之内大大降低。

具有多传感器的3D对象检测对于自主驾驶和机器人技术的准确可靠感知系统至关重要。现有的3D探测器通过采用两阶段范式来显着提高准确性，这仅依靠激光点云进行3D提案的细化。尽管令人印象深刻，但点云的稀疏性，尤其是对于遥远的点，使得仅激光雷达的完善模块难以准确识别和定位对象。要解决这个问题，我们提出了一种新颖的多模式两阶段方法FusionRcnn，有效，有效地融合了感兴趣区域（ROI）的点云和摄像头图像。 FusionRcnn自适应地整合了LiDAR的稀疏几何信息和统一注意机制中相机的密集纹理信息。具体而言，它首先利用RoiPooling获得具有统一大小的图像集，并通过在ROI提取步骤中的建议中采样原始点来获取点设置；然后利用模式内的自我注意力来增强域特异性特征，此后通过精心设计的跨注意事项融合了来自两种模态的信息。FusionRCNN从根本上是插件，并支持不同的单阶段方法与不同的单阶段方法。几乎没有建筑变化。对Kitti和Waymo基准测试的广泛实验表明，我们的方法显着提高了流行探测器的性能。可取，FusionRCNN在Waymo上的FusionRCNN显着提高了强大的第二基线，而Waymo上的MAP则超过6.14％，并且优于竞争两阶段方法的表现。代码将很快在https://github.com/xxlbigbrother/fusion-rcnn上发布。

Bird's-Eye-View (BEV) 3D Object Detection is a crucial multi-view technique for autonomous driving systems. Recently, plenty of works are proposed, following a similar paradigm consisting of three essential components, i.e., camera feature extraction, BEV feature construction, and task heads. Among the three components, BEV feature construction is BEV-specific compared with 2D tasks. Existing methods aggregate the multi-view camera features to the flattened grid in order to construct the BEV feature. However, flattening the BEV space along the height dimension fails to emphasize the informative features of different heights. For example, the barrier is located at a low height while the truck is located at a high height. In this paper, we propose a novel method named BEV Slice Attention Network (BEV-SAN) for exploiting the intrinsic characteristics of different heights. Instead of flattening the BEV space, we first sample along the height dimension to build the global and local BEV slices. Then, the features of BEV slices are aggregated from the camera features and merged by the attention mechanism. Finally, we fuse the merged local and global BEV features by a transformer to generate the final feature map for task heads. The purpose of local BEV slices is to emphasize informative heights. In order to find them, we further propose a LiDAR-guided sampling strategy to leverage the statistical distribution of LiDAR to determine the heights of local slices. Compared with uniform sampling, LiDAR-guided sampling can determine more informative heights. We conduct detailed experiments to demonstrate the effectiveness of BEV-SAN. Code will be released.

In this paper, we propose a robust 3D detector, named Cross Modal Transformer (CMT), for end-to-end 3D multi-modal detection. Without explicit view transformation, CMT takes the image and point clouds tokens as inputs and directly outputs accurate 3D bounding boxes. The spatial alignment of multi-modal tokens is performed implicitly, by encoding the 3D points into multi-modal features. The core design of CMT is quite simple while its performance is impressive. CMT obtains 73.0% NDS on nuScenes benchmark. Moreover, CMT has a strong robustness even if the LiDAR is missing. Code will be released at https://github.com/junjie18/CMT.

最近，融合了激光雷达点云和相机图像，提高了3D对象检测的性能和稳健性，因为这两种方式自然具有强烈的互补性。在本文中，我们通过引入新型级联双向融合〜（CB融合）模块和多模态一致性〜（MC）损耗来提出用于多模态3D对象检测的EPNet ++。更具体地说，所提出的CB融合模块提高点特征的丰富语义信息，以级联双向交互融合方式具有图像特征，导致更全面且辨别的特征表示。 MC损失明确保证预测分数之间的一致性，以获得更全面且可靠的置信度分数。基蒂，JRDB和Sun-RGBD数据集的实验结果展示了通过最先进的方法的EPNet ++的优越性。此外，我们强调一个关键但很容易被忽视的问题，这是探讨稀疏场景中的3D探测器的性能和鲁棒性。广泛的实验存在，EPNet ++优于现有的SOTA方法，在高稀疏点云壳中具有显着的边距，这可能是降低LIDAR传感器的昂贵成本的可用方向。代码将来会发布。

雷达和摄像机多模式融合的环境感知对于自动驾驶至关重要，以提高准确性，完整性和稳健性。本文着重于如何利用毫米波（MMW）雷达和相机传感器融合进行3D对象检测。提出了一种新的方法，该方法在提出了更好的特征表示形式下意识到在鸟眼视图（BEV）下的特征级融合。首先，将雷达特征通过时间积累增强，并发送到时间空间编码器以进行雷达特征提取。同时，通过图像骨干和颈部模型获得了适应各种空间尺度的多尺度图像2D特征。然后，将图像功能转换为使用设计的视图变压器。此外，这项工作将多模式特征与称为点融合和ROI融合的两阶段融合模型融合在一起。最后，检测头会回归对象类别和3D位置。实验结果表明，所提出的方法在最重要的检测指标，平均平均精度（MAP）和NUSCENES检测分数（NDS）下实现了最先进的性能。

LiDAR-based 3D Object detectors have achieved impressive performances in many benchmarks, however, multisensors fusion-based techniques are promising to further improve the results. PointPainting, as a recently proposed framework, can add the semantic information from the 2D image into the 3D LiDAR point by the painting operation to boost the detection performance. However, due to the limited resolution of 2D feature maps, severe boundary-blurring effect happens during re-projection of 2D semantic segmentation into the 3D point clouds. To well handle this limitation, a general multimodal fusion framework MSF has been proposed to fuse the semantic information from both the 2D image and 3D points scene parsing results. Specifically, MSF includes three main modules. First, SOTA off-the-shelf 2D/3D semantic segmentation approaches are employed to generate the parsing results for 2D images and 3D point clouds. The 2D semantic information is further re-projected into the 3D point clouds with calibrated parameters. To handle the misalignment between the 2D and 3D parsing results, an AAF module is proposed to fuse them by learning an adaptive fusion score. Then the point cloud with the fused semantic label is sent to the following 3D object detectors. Furthermore, we propose a DFF module to aggregate deep features in different levels to boost the final detection performance. The effectiveness of the framework has been verified on two public large-scale 3D object detection benchmarks by comparing with different baselines. The experimental results show that the proposed fusion strategies can significantly improve the detection performance compared to the methods using only point clouds and the methods using only 2D semantic information. Most importantly, the proposed approach significantly outperforms other approaches and sets new SOTA results on the nuScenes testing benchmark.

近年来，由于深度学习技术的发展，LiDar Point Clouds的3D对象检测取得了长足的进步。尽管基于体素或基于点的方法在3D对象检测中很受欢迎，但它们通常涉及耗时的操作，例如有关体素的3D卷积或点之间的球查询，从而使所得网络不适合时间关键应用程序。另一方面，基于2D视图的方法具有较高的计算效率，而通常比基于体素或基于点的方法获得的性能低。在这项工作中，我们提出了一个基于实时视图的单阶段3D对象检测器，即CVFNET完成此任务。为了在苛刻的效率条件下加强跨视图的学习，我们的框架提取了不同视图的特征，并以有效的渐进式方式融合了它们。我们首先提出了一个新颖的点范围特征融合模块，该模块在多个阶段深入整合点和范围视图特征。然后，当将所获得的深点视图转换为鸟类视图时，特殊的切片柱旨在很好地维护3D几何形状。为了更好地平衡样品比率，提出了一个稀疏的柱子检测头，将检测集中在非空网上。我们对流行的Kitti和Nuscenes基准进行了实验，并以准确性和速度来实现最先进的性能。

我们提出了一个简单而有效的完全卷积的一阶段3D对象检测器，用于自主驾驶场景的LIDAR点云，称为FCOS-LIDAR。与使用鸟眼视图（BEV）的主要方法不同，我们提出的检测器从激光雷达点的范围视图（RV，又称范围图像）中检测对象。由于范围视图的紧凑性和与LIDAR传感器在自动驾驶汽车上的采样过程的兼容性，因此可以通过仅利用Vanilla 2D卷积来实现基于范围视图的对象检测器，而脱离了基于BEV的方法，这些方法通常涉及复杂的方法体素化操作和稀疏卷积。我们首次表明，仅具有标准2D卷积的基于RV的3D检测器就可以实现与基于BEV的最新检测器相当的性能，同时更快，更简单。更重要的是，几乎所有以前的基于范围视图的检测器都只关注单帧点云，因为将多帧点云融合到单个范围视图中是具有挑战性的。在这项工作中，我们通过新颖的范围视图投影机制解决了这个具有挑战性的问题，并首次展示了基于范围视图的检测器融合多帧点云的好处。关于Nuscenes的广泛实验表明了我们提出的方法的优越性，我们认为我们的工作可以有力证明基于RV的3D检测器可以与当前基于BEV的主流探测器相比。