在此技术报告中，我们提出了我们的解决方案，称为MV-FCOS3D ++，适用于Waymo Open DataSet Challenge的仅摄像头3D检测轨道2022.仅使用birde-eye-view或3D检测多视图摄像头3D检测几何表示可以利用相邻视图之间重叠区域的立体声提示，而无需手工制作的后处理即可直接执行3D检测。但是，它缺乏对2D骨架的直接语义监督，可以通过预处理简单的单眼探测器来补充。我们的解决方案是此范式之后用于4D检测的多视图框架。它是基于简单的单眼检测器FCOS3D ++构建的，仅通过Waymo的对象注释进行了预定，并将多视图功能转换为3D网格空间以检测其上的3D对象。设计了单帧理解和时间立体声匹配的双路径颈部，以结合多帧信息。我们的方法最终通过单个模型实现了49.75％的MAPL，并在WOD挑战中赢得了第二名，而在训练过程中没有任何基于激光雷达的深度监督。该代码将在https://github.com/tai-wang/depth-from-motion上发布。

鉴于其经济性与多传感器设置相比，从单眼输入中感知的3D对象对于机器人系统至关重要。它非常困难，因为单个图像无法提供预测绝对深度值的任何线索。通过双眼方法进行3D对象检测，我们利用了相机自我运动提供的强几何结构来进行准确的对象深度估计和检测。我们首先对此一般的两视案例进行了理论分析，并注意两个挑战：1）来自多个估计的累积错误，这些估计使直接预测棘手； 2）由静态摄像机和歧义匹配引起的固有难题。因此，我们建立了具有几何感知成本量的立体声对应关系，作为深度估计的替代方案，并以单眼理解进一步补偿了它，以解决第二个问题。我们的框架（DFM）命名为深度（DFM），然后使用已建立的几何形状将2D图像特征提升到3D空间并检测到其3D对象。我们还提出了一个无姿势的DFM，以使其在摄像头不可用时可用。我们的框架在Kitti基准测试上的优于最先进的方法。详细的定量和定性分析也验证了我们的理论结论。该代码将在https://github.com/tai-wang/depth-from-motion上发布。

在鸟眼中学习强大的表现（BEV），以进行感知任务，这是趋势和吸引行业和学术界的广泛关注。大多数自动驾驶算法的常规方法在正面或透视视图中执行检测，细分，跟踪等。随着传感器配置变得越来越复杂，从不同的传感器中集成了多源信息，并在统一视图中代表功能至关重要。 BEV感知继承了几个优势，因为代表BEV中的周围场景是直观和融合友好的。对于BEV中的代表对象，对于随后的模块，如计划和/或控制是最可取的。 BEV感知的核心问题在于（a）如何通过从透视视图到BEV来通过视图转换来重建丢失的3D信息； （b）如何在BEV网格中获取地面真理注释； （c）如何制定管道以合并来自不同来源和视图的特征； （d）如何适应和概括算法作为传感器配置在不同情况下各不相同。在这项调查中，我们回顾了有关BEV感知的最新工作，并对不同解决方案进行了深入的分析。此外，还描述了该行业的BEV方法的几种系统设计。此外，我们推出了一套完整的实用指南，以提高BEV感知任务的性能，包括相机，激光雷达和融合输入。最后，我们指出了该领域的未来研究指示。我们希望该报告能阐明社区，并鼓励对BEV感知的更多研究。我们保留一个活跃的存储库来收集最新的工作，并在https://github.com/openperceptionx/bevperception-survey-recipe上提供一包技巧的工具箱。

以视觉为中心的BEV感知由于其固有的优点，最近受到行业和学术界的关注，包括展示世界自然代表和融合友好。随着深度学习的快速发展，已经提出了许多方法来解决以视觉为中心的BEV感知。但是，最近没有针对这个小说和不断发展的研究领域的调查。为了刺激其未来的研究，本文对以视觉为中心的BEV感知及其扩展进行了全面调查。它收集并组织了最近的知识，并对常用算法进行了系统的综述和摘要。它还为几项BEV感知任务提供了深入的分析和比较结果，从而促进了未来作品的比较并激发了未来的研究方向。此外，还讨论了经验实现细节并证明有利于相关算法的开发。

学习准确的深度对于多视图3D对象检测至关重要。最近的方法主要是从单眼图像中学习深度，由于单眼深度学习的性质不足，这会面临固有的困难。在这项工作中，我们提出了一种新颖的环绕时间立体声（STS）技术，而不是使用唯一的单眼深度方法，而是利用跨时间之间的几何对应关系来促进准确的深度学习。具体而言，我们将自我车辆周围所有相机的视野视为统一的视图，即环绕浏览量，并在其上进行暂时立体声匹配。利用与STS不同框架之间的几何对应关系并与单眼深度结合在一起，以产生最终的深度预测。关于Nuscenes的综合实验表明，STS极大地提高了3D检测能力，特别是对于中距离和长距离对象。在带有RESNET-50骨架的BEVDEPTH上，STS分别提高了MAP和NDS，分别提高了2.6％和1.4％。当使用较大的主链和较大的图像分辨率时，观察到一致的改进，证明了其有效性

Bird's-Eye-View (BEV) 3D Object Detection is a crucial multi-view technique for autonomous driving systems. Recently, plenty of works are proposed, following a similar paradigm consisting of three essential components, i.e., camera feature extraction, BEV feature construction, and task heads. Among the three components, BEV feature construction is BEV-specific compared with 2D tasks. Existing methods aggregate the multi-view camera features to the flattened grid in order to construct the BEV feature. However, flattening the BEV space along the height dimension fails to emphasize the informative features of different heights. For example, the barrier is located at a low height while the truck is located at a high height. In this paper, we propose a novel method named BEV Slice Attention Network (BEV-SAN) for exploiting the intrinsic characteristics of different heights. Instead of flattening the BEV space, we first sample along the height dimension to build the global and local BEV slices. Then, the features of BEV slices are aggregated from the camera features and merged by the attention mechanism. Finally, we fuse the merged local and global BEV features by a transformer to generate the final feature map for task heads. The purpose of local BEV slices is to emphasize informative heights. In order to find them, we further propose a LiDAR-guided sampling strategy to leverage the statistical distribution of LiDAR to determine the heights of local slices. Compared with uniform sampling, LiDAR-guided sampling can determine more informative heights. We conduct detailed experiments to demonstrate the effectiveness of BEV-SAN. Code will be released.

基于摄像头的3D对象探测器由于其更广泛的部署而欢迎其比LIDAR传感器较低。我们首先重新访问先前的立体声检测器DSGN，以表示代表3D几何和语义的立体音量构建方式。我们抛光立体声建模，并提出高级版本DSGN ++，旨在在三个主要方面增强整个2d到3D管道的有效信息流。首先，为了有效地将2D信息提高到立体声音量，我们提出了深度扫地（DPS），以允许较密集的连接并提取深度引导的特征。其次，为了掌握不同间距的功能，我们提出了一个新颖的立体声音量 - 双视立体声卷（DSV），该卷（DSV）集成了前视图和顶部视图功能，并重建了相机frustum中的子素深度。第三，随着前景区域在3D空间中的占主导地位，我们提出了一种多模式数据编辑策略-Stereo-lidar拷贝性 - 可确保跨模式对齐并提高数据效率。没有铃铛和哨子，在流行的Kitti基准测试中的各种模式设置中进行了广泛的实验表明，我们的方法始终优于所有类别的基于相机的3D检测器。代码可从https://github.com/chenyilun95/dsgn2获得。

由于LIDAR传感器捕获的精确深度信息缺乏准确的深度信息，单眼3D对象检测是一个关键而挑战的自主驾驶任务。在本文中，我们提出了一种立体引导的单目3D对象检测网络，称为SGM3D，其利用立体图像提取的鲁棒3D特征来增强从单眼图像中学到的特征。我们创新地研究了多粒度域适配模块（MG-DA）以利用网络的能力，以便仅基于单手套提示产生立体模拟功能。利用粗均衡特征级以及精细锚级域适配，以引导单眼分支。我们介绍了一个基于IOO匹配的对齐模块（iou-ma），用于立体声和单眼域之间的对象级域适应，以减轻先前阶段中的不匹配。我们对最具挑战性的基蒂和Lyft数据集进行了广泛的实验，并实现了新的最先进的性能。此外，我们的方法可以集成到许多其他单眼的方法中以提高性能而不引入任何额外的计算成本。

近年来，自主驾驶LIDAR数据的3D对象检测一直在迈出卓越的进展。在最先进的方法中，已经证明了将点云进行编码为鸟瞰图（BEV）是有效且有效的。与透视图不同，BEV在物体之间保留丰富的空间和距离信息;虽然在BEV中相同类型的更远物体不会较小，但它们包含稀疏点云特征。这一事实使用共享卷积神经网络削弱了BEV特征提取。为了解决这一挑战，我们提出了范围感知注意网络（RAANET），提取更强大的BEV功能并产生卓越的3D对象检测。范围感知的注意力（RAA）卷曲显着改善了近距离的特征提取。此外，我们提出了一种新的辅助损耗，用于密度估计，以进一步增强覆盖物体的Raanet的检测精度。值得注意的是，我们提出的RAA卷积轻量级，并兼容，以集成到用于BEV检测的任何CNN架构中。 Nuscenes DataSet上的广泛实验表明，我们的提出方法优于基于LIDAR的3D对象检测的最先进的方法，具有16 Hz的实时推断速度，为LITE版本为22 Hz。该代码在匿名GitHub存储库HTTPS://github.com/Anonymous0522 / ange上公开提供。

Monocular 3D object detection is a key problem for autonomous vehicles, as it provides a solution with simple configuration compared to typical multi-sensor systems. The main challenge in monocular 3D detection lies in accurately predicting object depth, which must be inferred from object and scene cues due to the lack of direct range measurement. Many methods attempt to directly estimate depth to assist in 3D detection, but show limited performance as a result of depth inaccuracy. Our proposed solution, Categorical Depth Distribution Network (CaDDN), uses a predicted categorical depth distribution for each pixel to project rich contextual feature information to the appropriate depth interval in 3D space. We then use the computationally efficient bird's-eye-view projection and single-stage detector to produce the final output detections. We design CaDDN as a fully differentiable end-to-end approach for joint depth estimation and object detection. We validate our approach on the KITTI 3D object detection benchmark, where we rank 1 st among published monocular methods. We also provide the first monocular 3D detection results on the newly released Waymo Open Dataset. We provide a code release for CaDDN which is made available here.

In this paper, we propose a novel 3D object detector that can exploit both LIDAR as well as cameras to perform very accurate localization. Towards this goal, we design an end-to-end learnable architecture that exploits continuous convolutions to fuse image and LIDAR feature maps at different levels of resolution. Our proposed continuous fusion layer encode both discrete-state image features as well as continuous geometric information. This enables us to design a novel, reliable and efficient end-to-end learnable 3D object detector based on multiple sensors. Our experimental evaluation on both KITTI as well as a large scale 3D object detection benchmark shows significant improvements over the state of the art.

3D对象检测是各种实际应用所需的重要功能，例如驾驶员辅助系统。单眼3D检测作为基于图像的方法的代表性的常规设置，提供比依赖Lidars的传统设置更经济的解决方案，但仍然产生不令人满意的结果。本文首先提出了对这个问题的系统研究。我们观察到，目前的单目3D检测可以简化为实例深度估计问题：不准确的实例深度阻止所有其他3D属性预测改善整体检测性能。此外，最近的方法直接估计基于孤立的实例或像素的深度，同时忽略不同对象的几何关系。为此，我们在跨预测对象构建几何关系图，并使用该图来促进深度估计。随着每个实例的初步深度估计通常在这种不均匀的环境中通常不准确，我们纳入了概率表示以捕获不确定性。它提供了一个重要的指标，以确定自信的预测并进一步引导深度传播。尽管基本思想的简单性，但我们的方法，PGD对基蒂和NUSCENES基准的显着改进，尽管在所有单眼视觉的方法中实现了第1个，同时仍保持实时效率。代码和模型将在https://github.com/open-mmlab/mmdetection3d发布。

We address the problem of real-time 3D object detection from point clouds in the context of autonomous driving. Computation speed is critical as detection is a necessary component for safety. Existing approaches are, however, expensive in computation due to high dimensionality of point clouds. We utilize the 3D data more efficiently by representing the scene from the Bird's Eye View (BEV), and propose PIXOR, a proposal-free, single-stage detector that outputs oriented 3D object estimates decoded from pixelwise neural network predictions. The input representation, network architecture, and model optimization are especially designed to balance high accuracy and real-time efficiency. We validate PIXOR on two datasets: the KITTI BEV object detection benchmark, and a large-scale 3D vehicle detection benchmark. In both datasets we show that the proposed detector surpasses other state-of-the-art methods notably in terms of Average Precision (AP), while still runs at > 28 FPS.

一个自动驾驶感知模型旨在将3D语义表示从多个相机集体提取到自我汽车的鸟类视图（BEV）坐标框架中，以使下游规划师接地。现有的感知方法通常依赖于整个场景的容易出错的深度估计，或者学习稀疏的虚拟3D表示没有目标几何结构，这两者在性能和/或能力上仍然有限。在本文中，我们介绍了一种新颖的端到端体系结构，用于自我3D表示从任意数量的无限摄像机视图中学习。受射线追踪原理的启发，我们将“想象眼睛”的两极分化网格设计为可学习的自我3D表示，并通过适应性注意机制与3D到2D投影一起以自适应注意机制的形式制定学习过程。至关重要的是，该公式允许从2D图像中提取丰富的3D表示，而无需任何深度监督，并且内置的几何结构一致W.R.T. bev。尽管具有简单性和多功能性，但对标准BEV视觉任务（例如，基于摄像机的3D对象检测和BEV细分）进行了广泛的实验表明，我们的模型的表现均优于所有最新替代方案，从多任务学习。

In this paper we propose to exploit multiple related tasks for accurate multi-sensor 3D object detection. Towards this goal we present an end-to-end learnable architecture that reasons about 2D and 3D object detection as well as ground estimation and depth completion. Our experiments show that all these tasks are complementary and help the network learn better representations by fusing information at various levels. Importantly, our approach leads the KITTI benchmark on 2D, 3D and bird's eye view object detection, while being real-time. * Equal contribution.† Work done as part of Uber AI Residency program.

Three-dimensional objects are commonly represented as 3D boxes in a point-cloud. This representation mimics the well-studied image-based 2D bounding-box detection but comes with additional challenges. Objects in a 3D world do not follow any particular orientation, and box-based detectors have difficulties enumerating all orientations or fitting an axis-aligned bounding box to rotated objects. In this paper, we instead propose to represent, detect, and track 3D objects as points. Our framework, CenterPoint, first detects centers of objects using a keypoint detector and regresses to other attributes, including 3D size, 3D orientation, and velocity. In a second stage, it refines these estimates using additional point features on the object. In CenterPoint, 3D object tracking simplifies to greedy closest-point matching. The resulting detection and tracking algorithm is simple, efficient, and effective. CenterPoint achieved state-of-theart performance on the nuScenes benchmark for both 3D detection and tracking, with 65.5 NDS and 63.8 AMOTA for a single model. On the Waymo Open Dataset, Center-Point outperforms all previous single model methods by a large margin and ranks first among all Lidar-only submissions. The code and pretrained models are available at https://github.com/tianweiy/CenterPoint.

Fusing the camera and LiDAR information has become a de-facto standard for 3D object detection tasks. Current methods rely on point clouds from the LiDAR sensor as queries to leverage the feature from the image space. However, people discovered that this underlying assumption makes the current fusion framework infeasible to produce any prediction when there is a LiDAR malfunction, regardless of minor or major. This fundamentally limits the deployment capability to realistic autonomous driving scenarios. In contrast, we propose a surprisingly simple yet novel fusion framework, dubbed BEVFusion, whose camera stream does not depend on the input of LiDAR data, thus addressing the downside of previous methods. We empirically show that our framework surpasses the state-of-the-art methods under the normal training settings. Under the robustness training settings that simulate various LiDAR malfunctions, our framework significantly surpasses the state-of-the-art methods by 15.7% to 28.9% mAP. To the best of our knowledge, we are the first to handle realistic LiDAR malfunction and can be deployed to realistic scenarios without any post-processing procedure. The code is available at https://github.com/ADLab-AutoDrive/BEVFusion.

Figure 1: Results obtained from our single image, monocular 3D object detection network MonoDIS on a KITTI3D test image with corresponding birds-eye view, showing its ability to estimate size and orientation of objects at different scales.

与周围摄像机的3D对象检测是自动驾驶的有希望的方向。在本文中，我们提出了Simmod，这是用于解决问题的多相对象检测的简单基线。为了合并多视图信息，并基于以前对单眼3D对象检测的努力，该框架建立在样本的对象建议基础上，并旨在以两阶段的方式工作。首先，我们提取多尺度特征，并在每个单眼图像上生成透视对象建议。其次，多视图提案进行了汇总，然后在DETR3D式中使用多视图和多尺度视觉特征进行迭代完善。精制的提案被端到端解码为检测结果。为了进一步提高性能，我们将辅助分支与提案生成并列以增强特征学习。此外，我们设计了目标过滤和教师强迫的方法，以促进两阶段训练的一致性。我们对Nuscenes的3D对象检测基准进行了广泛的实验，以证明Simmod的有效性并实现新的最新性能。代码将在https://github.com/zhangyp15/simmod上找到。

从点云的3D检测中有两条流：单级方法和两级方法。虽然前者更加计算高效，但后者通常提供更好的检测精度。通过仔细检查两级方法，我们发现如果设计，第一阶段可以产生准确的盒子回归。在这种情况下，第二阶段主要重新分配盒子，使得具有更好的本地化的盒子得到选择。从这个观察开始，我们设计了一个可以满足这些要求的单级锚定网络。该网络名为AFDETV2，通过在骨干网中包含一个自校准的卷积块，键盘辅助监控和多任务头中的IOU预测分支来扩展了先前的工作。结果，检测精度在单阶段中大大提升。为了评估我们的方法，我们在Waymo Open DataSet和Nuscenes DataSet上进行了广泛的实验。我们观察到我们的AFDETv2在这两个数据集上实现了最先进的结果，优于所有现有技术，包括单级和两级SE3D探测器。 AFDETv2在Waymo Open DataSet挑战的实时3D检测中获得了第1位的第1位，我们的模型AFDetv2基地的变体题为挑战赞助商的“最有效的模型”，呈现出卓越的计算效率。为了证明这种单级方法的一般性，我们还将其应用于两级网络的第一阶段。毫无例外，结果表明，利用加强的骨干和救护方法，不再需要第二阶段细化。