在此技术报告中，我们将提交介绍给Waymo 3D检测排行榜。我们的网络基于CenterPoint体系结构，但有重大改进。我们设计了一个2D主干，以利用多尺度功能，以更好地检测具有各种尺寸的对象，以及最佳的基于运输的目标分配策略，该策略将更丰富的监督信号动态地分配给了候选者。我们还采用测试时间扩展和模型集结以进行进一步的改进。我们的提交目前在Waymo 3D检测排行榜上以78.45 MAPH排名第四。

该技术报告介绍了Waymo打开数据集3D语义分割挑战2022的第一名获胜解决方案。我们的网络称为Lidarmultinet，统一了单个框架中的3D语义细分，对象检测和泛型分割等主要激光镜感知任务。 Lidarmultinet的核心是一个强大的基于3D Voxel的编码器网络，具有新型的全局上下文池（GCP）模块，从激光雷达框架中提取全局上下文特征，以补充其本地功能。提出了一个可选的第二阶段，以完善第一阶段的分割或生成准确的全景分割结果。我们的解决方案达到了71.13的MIOU，对于Waymo 3D语义细分测试集的22个类中的大多数是最好的，它的表现优于官方排行榜上所有其他3D语义分段方法。我们首次证明，可以在可以端对端训练的单个强大网络中统一重大激光感知任务。

实时和高性能3D对象检测对于自动驾驶至关重要。最近表现最佳的3D对象探测器主要依赖于基于点或基于3D Voxel的卷积，这两者在计算上均无效地部署。相比之下，基于支柱的方法仅使用2D卷积，从而消耗了较少的计算资源，但它们的检测准确性远远落后于基于体素的对应物。在本文中，通过检查基于支柱和体素的探测器之间的主要性能差距，我们开发了一个实时和高性能的柱子检测器，称为Pillarnet。提出的柱子由一个强大的编码网络组成，用于有效的支柱特征学习，用于空间语义特征融合的颈网和常用的检测头。仅使用2D卷积，Pillarnet具有可选的支柱尺寸的灵活性，并与经典的2D CNN骨架兼容，例如VGGNET和RESNET.ADITIONICLY，Pillarnet受益于我们设计的方向iOu decoupled iou Recressions you Recressions损失以及IOU Aware Pareace Predication Prediction Predictight offication Branch。大规模Nuscenes数据集和Waymo Open数据集的广泛实验结果表明，在有效性和效率方面，所提出的Pillarnet在最新的3D检测器上表现良好。源代码可在https://github.com/agent-sgs/pillarnet.git上找到。

我们提出了一个简单而有效的完全卷积的一阶段3D对象检测器，用于自主驾驶场景的LIDAR点云，称为FCOS-LIDAR。与使用鸟眼视图（BEV）的主要方法不同，我们提出的检测器从激光雷达点的范围视图（RV，又称范围图像）中检测对象。由于范围视图的紧凑性和与LIDAR传感器在自动驾驶汽车上的采样过程的兼容性，因此可以通过仅利用Vanilla 2D卷积来实现基于范围视图的对象检测器，而脱离了基于BEV的方法，这些方法通常涉及复杂的方法体素化操作和稀疏卷积。我们首次表明，仅具有标准2D卷积的基于RV的3D检测器就可以实现与基于BEV的最新检测器相当的性能，同时更快，更简单。更重要的是，几乎所有以前的基于范围视图的检测器都只关注单帧点云，因为将多帧点云融合到单个范围视图中是具有挑战性的。在这项工作中，我们通过新颖的范围视图投影机制解决了这个具有挑战性的问题，并首次展示了基于范围视图的检测器融合多帧点云的好处。关于Nuscenes的广泛实验表明了我们提出的方法的优越性，我们认为我们的工作可以有力证明基于RV的3D检测器可以与当前基于BEV的主流探测器相比。

从点云的3D检测中有两条流：单级方法和两级方法。虽然前者更加计算高效，但后者通常提供更好的检测精度。通过仔细检查两级方法，我们发现如果设计，第一阶段可以产生准确的盒子回归。在这种情况下，第二阶段主要重新分配盒子，使得具有更好的本地化的盒子得到选择。从这个观察开始，我们设计了一个可以满足这些要求的单级锚定网络。该网络名为AFDETV2，通过在骨干网中包含一个自校准的卷积块，键盘辅助监控和多任务头中的IOU预测分支来扩展了先前的工作。结果，检测精度在单阶段中大大提升。为了评估我们的方法，我们在Waymo Open DataSet和Nuscenes DataSet上进行了广泛的实验。我们观察到我们的AFDETv2在这两个数据集上实现了最先进的结果，优于所有现有技术，包括单级和两级SE3D探测器。 AFDETv2在Waymo Open DataSet挑战的实时3D检测中获得了第1位的第1位，我们的模型AFDetv2基地的变体题为挑战赞助商的“最有效的模型”，呈现出卓越的计算效率。为了证明这种单级方法的一般性，我们还将其应用于两级网络的第一阶段。毫无例外，结果表明，利用加强的骨干和救护方法，不再需要第二阶段细化。

基于查询的变压器在许多图像域任务中构建长期注意力方面表现出了巨大的潜力，但是由于点云数据的压倒性大小，在基于激光雷达的3D对象检测中很少考虑。在本文中，我们提出了CenterFormer，这是一个基于中心的变压器网络，用于3D对象检测。 CenterFormer首先使用中心热图在基于标准的Voxel点云编码器之上选择中心候选者。然后，它将中心候选者的功能用作变压器中的查询嵌入。为了进一步从多个帧中汇总功能，我们通过交叉注意设计一种方法来融合功能。最后，添加回归头以预测输出中心功能表示形式上的边界框。我们的设计降低了变压器结构的收敛难度和计算复杂性。结果表明，与无锚对象检测网络的强基线相比，有了显着改善。 CenterFormer在Waymo Open数据集上实现了单个模型的最新性能，验证集的MAPH为73.7％，测试集的MAPH上有75.6％的MAPH，大大优于所有先前发布的CNN和基于变压器的方法。我们的代码可在https://github.com/tusimple/centerformer上公开获取

Three-dimensional objects are commonly represented as 3D boxes in a point-cloud. This representation mimics the well-studied image-based 2D bounding-box detection but comes with additional challenges. Objects in a 3D world do not follow any particular orientation, and box-based detectors have difficulties enumerating all orientations or fitting an axis-aligned bounding box to rotated objects. In this paper, we instead propose to represent, detect, and track 3D objects as points. Our framework, CenterPoint, first detects centers of objects using a keypoint detector and regresses to other attributes, including 3D size, 3D orientation, and velocity. In a second stage, it refines these estimates using additional point features on the object. In CenterPoint, 3D object tracking simplifies to greedy closest-point matching. The resulting detection and tracking algorithm is simple, efficient, and effective. CenterPoint achieved state-of-theart performance on the nuScenes benchmark for both 3D detection and tracking, with 65.5 NDS and 63.8 AMOTA for a single model. On the Waymo Open Dataset, Center-Point outperforms all previous single model methods by a large margin and ranks first among all Lidar-only submissions. The code and pretrained models are available at https://github.com/tianweiy/CenterPoint.

基于激光雷达的3D对象检测，语义分割和全景分段通常在具有独特架构的专业网络中实现，这些网络很难相互适应。本文介绍了Lidarmultinet，这是一个基于激光雷达的多任务网络，该网络统一了这三个主要的激光感知任务。在其许多好处中，多任务网络可以通过在多个任务中分享权重和计算来降低总成本。但是，与独立组合的单任务模型相比，它通常表现不佳。拟议的Lidarmultinet旨在弥合多任务网络和多个单任务网络之间的性能差距。 Lidarmultinet的核心是一个强大的基于3D Voxel的编码器架构，具有全局上下文池（GCP）模块，从激光雷达框架中提取全局上下文特征。特定于任务的头部添加在网络之上，以执行三个激光雷达感知任务。只需添加新的任务特定的头部，可以在引入几乎没有额外成本的同时，就可以实现更多任务。还提出了第二阶段来完善第一阶段的分割并生成准确的全景分割结果。 Lidarmultinet在Waymo Open数据集和Nuscenes数据集上进行了广泛的测试，这首先证明了主要的激光雷达感知任务可以统一在单个强大的网络中，该网络是经过训练的端到端，并实现了最先进的性能。值得注意的是，Lidarmultinet在Waymo Open数据集3D语义分割挑战2022中达到了最高的MIOU和最佳准确性，对于测试集中的22个类中的大多数，仅使用LIDAR点作为输入。它还为Waymo 3D对象检测基准和三个Nuscenes基准测试的单个模型设置了新的最新模型。

这项工作旨在通过使用路边激光射击环境的3D感知来应对自动驾驶的挑战。我们设计了一个3D对象检测模型，该模型可以实时检测路边激光雷达的交通参与者。我们的模型使用现有的3D检测器作为基线并提高其准确性。为了证明我们提出的模块的有效性，我们在三个不同的车辆和基础设施数据集上训练和评估模型。为了显示我们探测器的域适应能力，我们在来自中国的基础架构数据集上训练它，并在德国记录的其他数据集上进行转移学习。我们为检测器中每个模块进行几套实验和消融研究，这些实验表明我们的模型的表现优于基线，而推理速度为45 Hz（22 ms）。我们对基于激光雷达的3D探测器做出了重大贡献，可用于智能城市应用程序，以提供连接和自动化的车辆具有深远的视野。连接到路边传感器的车辆可以获取有关拐角处其他车辆的信息，以改善其道路和操纵计划并提高道路交通安全性。

Radar, the only sensor that could provide reliable perception capability in all weather conditions at an affordable cost, has been widely accepted as a key supplement to camera and LiDAR in modern advanced driver assistance systems (ADAS) and autonomous driving systems. Recent state-of-the-art works reveal that fusion of radar and LiDAR can lead to robust detection in adverse weather, such as fog. However, these methods still suffer from low accuracy of bounding box estimations. This paper proposes a bird's-eye view (BEV) fusion learning for an anchor box-free object detection system, which uses the feature derived from the radar range-azimuth heatmap and the LiDAR point cloud to estimate the possible objects. Different label assignment strategies have been designed to facilitate the consistency between the classification of foreground or background anchor points and the corresponding bounding box regressions. Furthermore, the performance of the proposed object detector can be further enhanced by employing a novel interactive transformer module. We demonstrated the superior performance of the proposed methods in this paper using the recently published Oxford Radar RobotCar (ORR) dataset. We showed that the accuracy of our system significantly outperforms the other state-of-the-art methods by a large margin.

Object detection in point clouds is an important aspect of many robotics applications such as autonomous driving. In this paper we consider the problem of encoding a point cloud into a format appropriate for a downstream detection pipeline. Recent literature suggests two types of encoders; fixed encoders tend to be fast but sacrifice accuracy, while encoders that are learned from data are more accurate, but slower. In this work we propose PointPillars, a novel encoder which utilizes PointNets to learn a representation of point clouds organized in vertical columns (pillars). While the encoded features can be used with any standard 2D convolutional detection architecture, we further propose a lean downstream network. Extensive experimentation shows that PointPillars outperforms previous encoders with respect to both speed and accuracy by a large margin. Despite only using lidar, our full detection pipeline significantly outperforms the state of the art, even among fusion methods, with respect to both the 3D and bird's eye view KITTI benchmarks. This detection performance is achieved while running at 62 Hz: a 2 -4 fold runtime improvement. A faster version of our method matches the state of the art at 105 Hz. These benchmarks suggest that PointPillars is an appropriate encoding for object detection in point clouds.

近年来，由于深度学习技术的发展，LiDar Point Clouds的3D对象检测取得了长足的进步。尽管基于体素或基于点的方法在3D对象检测中很受欢迎，但它们通常涉及耗时的操作，例如有关体素的3D卷积或点之间的球查询，从而使所得网络不适合时间关键应用程序。另一方面，基于2D视图的方法具有较高的计算效率，而通常比基于体素或基于点的方法获得的性能低。在这项工作中，我们提出了一个基于实时视图的单阶段3D对象检测器，即CVFNET完成此任务。为了在苛刻的效率条件下加强跨视图的学习，我们的框架提取了不同视图的特征，并以有效的渐进式方式融合了它们。我们首先提出了一个新颖的点范围特征融合模块，该模块在多个阶段深入整合点和范围视图特征。然后，当将所获得的深点视图转换为鸟类视图时，特殊的切片柱旨在很好地维护3D几何形状。为了更好地平衡样品比率，提出了一个稀疏的柱子检测头，将检测集中在非空网上。我们对流行的Kitti和Nuscenes基准进行了实验，并以准确性和速度来实现最先进的性能。

利用多模式融合，尤其是在摄像头和激光雷达之间，对于为自动驾驶汽车构建准确且健壮的3D对象检测系统已经至关重要。直到最近，点装饰方法（在该点云中都用相机功能增强，一直是该领域的主要方法。但是，这些方法无法利用来自相机的较高分辨率图像。还提出了最近将摄像头功能投射到鸟类视图（BEV）融合空间的作品，但是它们需要预计数百万像素，其中大多数仅包含背景信息。在这项工作中，我们提出了一种新颖的方法中心功能融合（CFF），其中我们利用相机和激光雷达中心的基于中心的检测网络来识别相关对象位置。然后，我们使用基于中心的检测来识别与对象位置相关的像素功能的位置，这是图像中总数的一小部分。然后将它们投射并融合在BEV框架中。在Nuscenes数据集上，我们的表现优于仅限激光雷达基线的4.9％地图，同时比其他融合方法融合了100倍。

基于LIDAR的传感驱动器电流自主车辆。尽管进展迅速，但目前的激光雷达传感器在分辨率和成本方面仍然落后于传统彩色相机背后的二十年。对于自主驾驶，这意味着靠近传感器的大物体很容易可见，但远方或小物体仅包括一个测量或两个。这是一个问题，尤其是当这些对象结果驾驶危险时。另一方面，在车载RGB传感器中清晰可见这些相同的对象。在这项工作中，我们提出了一种将RGB传感器无缝熔化成基于LIDAR的3D识别方法。我们的方法采用一组2D检测来生成密集的3D虚拟点，以增加否则稀疏的3D点云。这些虚拟点自然地集成到任何基于标准的LIDAR的3D探测器以及常规激光雷达测量。由此产生的多模态检测器简单且有效。大规模NUSCENES数据集的实验结果表明，我们的框架通过显着的6.6地图改善了强大的中心点基线，并且优于竞争融合方法。代码和更多可视化可在https://tianweiy.github.io/mvp/上获得

近年来，自主驾驶LIDAR数据的3D对象检测一直在迈出卓越的进展。在最先进的方法中，已经证明了将点云进行编码为鸟瞰图（BEV）是有效且有效的。与透视图不同，BEV在物体之间保留丰富的空间和距离信息;虽然在BEV中相同类型的更远物体不会较小，但它们包含稀疏点云特征。这一事实使用共享卷积神经网络削弱了BEV特征提取。为了解决这一挑战，我们提出了范围感知注意网络（RAANET），提取更强大的BEV功能并产生卓越的3D对象检测。范围感知的注意力（RAA）卷曲显着改善了近距离的特征提取。此外，我们提出了一种新的辅助损耗，用于密度估计，以进一步增强覆盖物体的Raanet的检测精度。值得注意的是，我们提出的RAA卷积轻量级，并兼容，以集成到用于BEV检测的任何CNN架构中。 Nuscenes DataSet上的广泛实验表明，我们的提出方法优于基于LIDAR的3D对象检测的最先进的方法，具有16 Hz的实时推断速度，为LITE版本为22 Hz。该代码在匿名GitHub存储库HTTPS://github.com/Anonymous0522 / ange上公开提供。

在鸟眼中学习强大的表现（BEV），以进行感知任务，这是趋势和吸引行业和学术界的广泛关注。大多数自动驾驶算法的常规方法在正面或透视视图中执行检测，细分，跟踪等。随着传感器配置变得越来越复杂，从不同的传感器中集成了多源信息，并在统一视图中代表功能至关重要。 BEV感知继承了几个优势，因为代表BEV中的周围场景是直观和融合友好的。对于BEV中的代表对象，对于随后的模块，如计划和/或控制是最可取的。 BEV感知的核心问题在于（a）如何通过从透视视图到BEV来通过视图转换来重建丢失的3D信息； （b）如何在BEV网格中获取地面真理注释； （c）如何制定管道以合并来自不同来源和视图的特征； （d）如何适应和概括算法作为传感器配置在不同情况下各不相同。在这项调查中，我们回顾了有关BEV感知的最新工作，并对不同解决方案进行了深入的分析。此外，还描述了该行业的BEV方法的几种系统设计。此外，我们推出了一套完整的实用指南，以提高BEV感知任务的性能，包括相机，激光雷达和融合输入。最后，我们指出了该领域的未来研究指示。我们希望该报告能阐明社区，并鼓励对BEV感知的更多研究。我们保留一个活跃的存储库来收集最新的工作，并在https://github.com/openperceptionx/bevperception-survey-recipe上提供一包技巧的工具箱。

由于经过验证的2D检测技术的适用性，大多数当前点云检测器都广泛采用了鸟类视图（BEV）。但是，现有方法通过简单地沿高度尺寸折叠的体素或点特征来获得BEV特征，从而导致3D空间信息的重丢失。为了减轻信息丢失，我们提出了一个基于多级特征降低降低策略的新颖点云检测网络，称为MDRNET。在MDRNET中，空间感知的维度降低（SDR）旨在在体素至BEV特征转换过程中动态关注对象的宝贵部分。此外，提出了多级空间残差（MSR），以融合BEV特征图中的多级空间信息。关于Nuscenes的广泛实验表明，该提出的方法的表现优于最新方法。该代码将在出版时提供。

In this paper, we propose a novel 3D object detector that can exploit both LIDAR as well as cameras to perform very accurate localization. Towards this goal, we design an end-to-end learnable architecture that exploits continuous convolutions to fuse image and LIDAR feature maps at different levels of resolution. Our proposed continuous fusion layer encode both discrete-state image features as well as continuous geometric information. This enables us to design a novel, reliable and efficient end-to-end learnable 3D object detector based on multiple sensors. Our experimental evaluation on both KITTI as well as a large scale 3D object detection benchmark shows significant improvements over the state of the art.

We address the problem of real-time 3D object detection from point clouds in the context of autonomous driving. Computation speed is critical as detection is a necessary component for safety. Existing approaches are, however, expensive in computation due to high dimensionality of point clouds. We utilize the 3D data more efficiently by representing the scene from the Bird's Eye View (BEV), and propose PIXOR, a proposal-free, single-stage detector that outputs oriented 3D object estimates decoded from pixelwise neural network predictions. The input representation, network architecture, and model optimization are especially designed to balance high accuracy and real-time efficiency. We validate PIXOR on two datasets: the KITTI BEV object detection benchmark, and a large-scale 3D vehicle detection benchmark. In both datasets we show that the proposed detector surpasses other state-of-the-art methods notably in terms of Average Precision (AP), while still runs at > 28 FPS.

与LIDAR相比，相机和雷达传感器在成本，可靠性和维护方面具有显着优势。现有的融合方法通常融合了结果级别的单个模式的输出，称为后期融合策略。这可以通过使用现成的单传感器检测算法受益，但是晚融合无法完全利用传感器的互补特性，因此尽管相机雷达融合的潜力很大，但性能有限。在这里，我们提出了一种新颖的提案级早期融合方法，该方法有效利用了相机和雷达的空间和上下文特性，用于3D对象检测。我们的融合框架首先将图像建议与极坐标系中的雷达点相关联，以有效处理坐标系和空间性质之间的差异。将其作为第一阶段，遵循连续的基于交叉注意的特征融合层在相机和雷达之间自适应地交换时尚信息，从而导致强大而专心的融合。我们的摄像机雷达融合方法可在Nuscenes测试集上获得最新的41.1％地图，而NDS则达到52.3％，比仅摄像机的基线高8.7和10.8点，并在竞争性能上提高竞争性能LIDAR方法。