使用点云的3D对象检测由于其在自动驾驶和机器人技术中的广泛应用而引起了越来越多的关注。但是，大多数现有的研究都集中在单点云框架上，而无需利用点云序列中的时间信息。在本文中，我们设计了Transpillars，这是一种基于变压器的新型特征聚合技术，可利用连续点云框架的时间特征用于多帧3D对象检测。从两个角度来看，转子汇总的时空点云特征。首先，它直接从多帧特征映射而不是汇总实例功能融合体素级特征，以保存实例详细信息，并使用上下文信息，这些信息对于准确的对象本地化至关重要。其次，它引入了分层的粗到精细策略，以逐步融合多尺度功能，以有效捕获移动对象的运动并指导精美特征的聚合。此外，引入了一系列可变形变压器，以提高跨帧功能匹配的有效性。广泛的实验表明，与现有的多帧检测方法相比，我们提议的转质质量可以达到最先进的性能。代码将发布。

基于查询的变压器在许多图像域任务中构建长期注意力方面表现出了巨大的潜力，但是由于点云数据的压倒性大小，在基于激光雷达的3D对象检测中很少考虑。在本文中，我们提出了CenterFormer，这是一个基于中心的变压器网络，用于3D对象检测。 CenterFormer首先使用中心热图在基于标准的Voxel点云编码器之上选择中心候选者。然后，它将中心候选者的功能用作变压器中的查询嵌入。为了进一步从多个帧中汇总功能，我们通过交叉注意设计一种方法来融合功能。最后，添加回归头以预测输出中心功能表示形式上的边界框。我们的设计降低了变压器结构的收敛难度和计算复杂性。结果表明，与无锚对象检测网络的强基线相比，有了显着改善。 CenterFormer在Waymo Open数据集上实现了单个模型的最新性能，验证集的MAPH为73.7％，测试集的MAPH上有75.6％的MAPH，大大优于所有先前发布的CNN和基于变压器的方法。我们的代码可在https://github.com/tusimple/centerformer上公开获取

随着LIDAR传感器在自动驾驶中的流行率，3D对象跟踪受到了越来越多的关注。在点云序列中，3D对象跟踪旨在预测给定对象模板中连续帧中对象的位置和方向。在变压器成功的驱动下，我们提出了点跟踪变压器（PTTR），它有效地预测了高质量的3D跟踪，借助变压器操作，以粗到1的方式导致。 PTTR由三个新型设计组成。 1）我们设计的关系意识采样代替随机抽样，以在亚采样过程中保留与给定模板相关的点。 2）我们提出了一个点关系变压器，以进行有效的特征聚合和模板和搜索区域之间的特征匹配。 3）基于粗糙跟踪结果，我们采用了一个新颖的预测改进模块，通过局部特征池获得最终的完善预测。此外，以捕获对象运动的鸟眼视图（BEV）的有利特性（BEV）的良好属性，我们进一步设计了一个名为PTTR ++的更高级的框架，该框架既包含了点的视图和BEV表示）产生高质量跟踪结果的影响。 PTTR ++实质上提高了PTTR顶部的跟踪性能，并具有低计算开销。多个数据集的广泛实验表明，我们提出的方法达到了卓越的3D跟踪准确性和效率。

3D object detection with surround-view images is an essential task for autonomous driving. In this work, we propose DETR4D, a Transformer-based framework that explores sparse attention and direct feature query for 3D object detection in multi-view images. We design a novel projective cross-attention mechanism for query-image interaction to address the limitations of existing methods in terms of geometric cue exploitation and information loss for cross-view objects. In addition, we introduce a heatmap generation technique that bridges 3D and 2D spaces efficiently via query initialization. Furthermore, unlike the common practice of fusing intermediate spatial features for temporal aggregation, we provide a new perspective by introducing a novel hybrid approach that performs cross-frame fusion over past object queries and image features, enabling efficient and robust modeling of temporal information. Extensive experiments on the nuScenes dataset demonstrate the effectiveness and efficiency of the proposed DETR4D.

3D对象检测通过将点云作为唯一的输入来取得了显着的进展。但是，点云通常遭受不完整的几何结构和缺乏语义信息，这使得检测器难以准确地对检测到的对象进行分类。在这项工作中，我们专注于如何有效利用来自图像的对象级信息来提高基于点的3D检测器的性能。我们提出DEMF，这是一种简单而有效的方法，将图像信息融合到点特征中。给定一组点特征和图像特征图，DEMF通过将3D点的投影2D位置作为参考来自适应地汇总图像特征。我们在挑战性的Sun RGB-D数据集上评估了我们的方法，从而提高了最新的结果（+2.1 map@0.25和+2.3map@0.5）。代码可从https://github.com/haoy945/demf获得。

以视觉为中心的BEV感知由于其固有的优点，最近受到行业和学术界的关注，包括展示世界自然代表和融合友好。随着深度学习的快速发展，已经提出了许多方法来解决以视觉为中心的BEV感知。但是，最近没有针对这个小说和不断发展的研究领域的调查。为了刺激其未来的研究，本文对以视觉为中心的BEV感知及其扩展进行了全面调查。它收集并组织了最近的知识，并对常用算法进行了系统的综述和摘要。它还为几项BEV感知任务提供了深入的分析和比较结果，从而促进了未来作品的比较并激发了未来的研究方向。此外，还讨论了经验实现细节并证明有利于相关算法的开发。

实时和高性能3D对象检测对于自动驾驶至关重要。最近表现最佳的3D对象探测器主要依赖于基于点或基于3D Voxel的卷积，这两者在计算上均无效地部署。相比之下，基于支柱的方法仅使用2D卷积，从而消耗了较少的计算资源，但它们的检测准确性远远落后于基于体素的对应物。在本文中，通过检查基于支柱和体素的探测器之间的主要性能差距，我们开发了一个实时和高性能的柱子检测器，称为Pillarnet。提出的柱子由一个强大的编码网络组成，用于有效的支柱特征学习，用于空间语义特征融合的颈网和常用的检测头。仅使用2D卷积，Pillarnet具有可选的支柱尺寸的灵活性，并与经典的2D CNN骨架兼容，例如VGGNET和RESNET.ADITIONICLY，Pillarnet受益于我们设计的方向iOu decoupled iou Recressions you Recressions损失以及IOU Aware Pareace Predication Prediction Predictight offication Branch。大规模Nuscenes数据集和Waymo Open数据集的广泛实验结果表明，在有效性和效率方面，所提出的Pillarnet在最新的3D检测器上表现良好。源代码可在https://github.com/agent-sgs/pillarnet.git上找到。

在鸟眼中学习强大的表现（BEV），以进行感知任务，这是趋势和吸引行业和学术界的广泛关注。大多数自动驾驶算法的常规方法在正面或透视视图中执行检测，细分，跟踪等。随着传感器配置变得越来越复杂，从不同的传感器中集成了多源信息，并在统一视图中代表功能至关重要。 BEV感知继承了几个优势，因为代表BEV中的周围场景是直观和融合友好的。对于BEV中的代表对象，对于随后的模块，如计划和/或控制是最可取的。 BEV感知的核心问题在于（a）如何通过从透视视图到BEV来通过视图转换来重建丢失的3D信息； （b）如何在BEV网格中获取地面真理注释； （c）如何制定管道以合并来自不同来源和视图的特征； （d）如何适应和概括算法作为传感器配置在不同情况下各不相同。在这项调查中，我们回顾了有关BEV感知的最新工作，并对不同解决方案进行了深入的分析。此外，还描述了该行业的BEV方法的几种系统设计。此外，我们推出了一套完整的实用指南，以提高BEV感知任务的性能，包括相机，激光雷达和融合输入。最后，我们指出了该领域的未来研究指示。我们希望该报告能阐明社区，并鼓励对BEV感知的更多研究。我们保留一个活跃的存储库来收集最新的工作，并在https://github.com/openperceptionx/bevperception-survey-recipe上提供一包技巧的工具箱。

变压器在自然语言处理中的成功最近引起了计算机视觉领域的关注。由于能够学习长期依赖性，变压器已被用作广泛使用的卷积运算符的替代品。事实证明，这种替代者在许多任务中都取得了成功，其中几种最先进的方法依靠变压器来更好地学习。在计算机视觉中，3D字段还见证了使用变压器来增加3D卷积神经网络和多层感知器网络的增加。尽管许多调查都集中在视力中的变压器上，但由于与2D视觉相比，由于数据表示和处理的差异，3D视觉需要特别注意。在这项工作中，我们介绍了针对不同3D视觉任务的100多种变压器方法的系统和彻底审查，包括分类，细分，检测，完成，姿势估计等。我们在3D Vision中讨论了变形金刚的设计，该设计使其可以使用各种3D表示形式处理数据。对于每个应用程序，我们强调了基于变压器的方法的关键属性和贡献。为了评估这些方法的竞争力，我们将它们的性能与12个3D基准测试的常见非转化方法进行了比较。我们通过讨论3D视觉中变压器的不同开放方向和挑战来结束调查。除了提出的论文外，我们的目标是频繁更新最新的相关论文及其相应的实现：https：//github.com/lahoud/3d-vision-transformers。

在点云序列中，3D对象跟踪目的是在给定模板点云的情况下预测当前搜索点云中的对象的位置和方向。通过变压器的成功，我们提出了点跟踪变压器（PTTR），其有效地在变压器操作的帮助下以粗良好的方式预测高质量的3D跟踪结果。 PTTR由三种新颖的设计组成。 1）除了随机抽样中，我们设计关系感知采样，以保护在子采样期间给定模板的相关点。 2）此外，我们提出了一种由自我关注和跨关注模块组成的点关系变压器（PRT）。全局自我关注操作捕获远程依赖性，以便分别增强搜索区域和模板的编码点特征。随后，我们通过横向关注匹配两组点特征来生成粗略跟踪结果。 3）基于粗略跟踪结果，我们采用了一种新颖的预测细化模块来获得最终精制预测。此外，我们根据Waymo Open DataSet创建一个大型点云单个对象跟踪基准。广泛的实验表明，PTTR以准确性和效率达到优越的点云跟踪。

准确可靠的3D检测对于包括自动驾驶车辆和服务机器人在内的许多应用至关重要。在本文中，我们提出了一个具有点云序列的3D时间对象检测的灵活且高性能的3D检测框架，称为MPPNET。我们提出了一个新颖的三级结构框架，其中包含多帧特征编码和相互作用的代理点，以实现更好的检测。这三个层次结构分别进行每个帧的特征编码，短片特征融合和整个序列特征聚合。为了使用合理的计算资源来处理长期序列云，提出了组内特征混合和组间特征的注意，以形成第二和第三个特征编码层次结构，这些层次结构均经常应用于聚集多框架轨迹特征。代理不仅可以充当每个帧的一致对象表示，而且还充当了方便框架之间特征交互的快递。大型Waymo打开数据集的实验表明，当应用于短（例如4框架）和长（例如16框架）点云序列时，我们的方法优于具有较大边缘的最先进方法。代码可在https://github.com/open-mmlab/openpcdet上找到。

变压器一直是自然语言处理（NLP）和计算机视觉（CV）革命的核心。 NLP和CV的显着成功启发了探索变压器在点云处理中的使用。但是，变压器如何应对点云的不规则性和无序性质？变压器对于不同的3D表示（例如，基于点或体素）的合适性如何？各种3D处理任务的变压器有多大的能力？截至目前，仍然没有对这些问题的研究进行系统的调查。我们第一次为3D点云分析提供了越来越受欢迎的变压器的全面概述。我们首先介绍变压器体系结构的理论，并在2D/3D字段中审查其应用程序。然后，我们提出三种不同的分类法（即实现 - 数据表示和基于任务），它们可以从多个角度对当前的基于变压器的方法进行分类。此外，我们介绍了研究3D中自我注意机制的变异和改进的结果。为了证明变压器在点云分析中的优势，我们提供了基于各种变压器的分类，分割和对象检测方法的全面比较。最后，我们建议三个潜在的研究方向，为3D变压器的开发提供福利参考。

Detection Transformer (DETR) and Deformable DETR have been proposed to eliminate the need for many hand-designed components in object detection while demonstrating good performance as previous complex hand-crafted detectors. However, their performance on Video Object Detection (VOD) has not been well explored. In this paper, we present TransVOD, the first end-to-end video object detection system based on spatial-temporal Transformer architectures. The first goal of this paper is to streamline the pipeline of VOD, effectively removing the need for many hand-crafted components for feature aggregation, e.g., optical flow model, relation networks. Besides, benefited from the object query design in DETR, our method does not need complicated post-processing methods such as Seq-NMS. In particular, we present a temporal Transformer to aggregate both the spatial object queries and the feature memories of each frame. Our temporal transformer consists of two components: Temporal Query Encoder (TQE) to fuse object queries, and Temporal Deformable Transformer Decoder (TDTD) to obtain current frame detection results. These designs boost the strong baseline deformable DETR by a significant margin (2 %-4 % mAP) on the ImageNet VID dataset. TransVOD yields comparable performances on the benchmark of ImageNet VID. Then, we present two improved versions of TransVOD including TransVOD++ and TransVOD Lite. The former fuses object-level information into object query via dynamic convolution while the latter models the entire video clips as the output to speed up the inference time. We give detailed analysis of all three models in the experiment part. In particular, our proposed TransVOD++ sets a new state-of-the-art record in terms of accuracy on ImageNet VID with 90.0 % mAP. Our proposed TransVOD Lite also achieves the best speed and accuracy trade-off with 83.7 % mAP while running at around 30 FPS on a single V100 GPU device. Code and models will be available for further research.

Most scanning LiDAR sensors generate a sequence of point clouds in real-time. While conventional 3D object detectors use a set of unordered LiDAR points acquired over a fixed time interval, recent studies have revealed that substantial performance improvement can be achieved by exploiting the spatio-temporal context present in a sequence of LiDAR point sets. In this paper, we propose a novel 3D object detection architecture, which can encode LiDAR point cloud sequences acquired by multiple successive scans. The encoding process of the point cloud sequence is performed on two different time scales. We first design a short-term motion-aware voxel encoding that captures the short-term temporal changes of point clouds driven by the motion of objects in each voxel. We also propose long-term motion-guided bird's eye view (BEV) feature enhancement that adaptively aligns and aggregates the BEV feature maps obtained by the short-term voxel encoding by utilizing the dynamic motion context inferred from the sequence of the feature maps. The experiments conducted on the public nuScenes benchmark demonstrate that the proposed 3D object detector offers significant improvements in performance compared to the baseline methods and that it sets a state-of-the-art performance for certain 3D object detection categories. Code is available at https://github.com/HYjhkoh/MGTANet.git

We present a novel and high-performance 3D object detection framework, named PointVoxel-RCNN (PV-RCNN), for accurate 3D object detection from point clouds. Our proposed method deeply integrates both 3D voxel Convolutional Neural Network (CNN) and PointNet-based set abstraction to learn more discriminative point cloud features. It takes advantages of efficient learning and high-quality proposals of the 3D voxel CNN and the flexible receptive fields of the PointNet-based networks. Specifically, the proposed framework summarizes the 3D scene with a 3D voxel CNN into a small set of keypoints via a novel voxel set abstraction module to save follow-up computations and also to encode representative scene features. Given the highquality 3D proposals generated by the voxel CNN, the RoIgrid pooling is proposed to abstract proposal-specific features from the keypoints to the RoI-grid points via keypoint set abstraction with multiple receptive fields. Compared with conventional pooling operations, the RoI-grid feature points encode much richer context information for accurately estimating object confidences and locations. Extensive experiments on both the KITTI dataset and the Waymo Open dataset show that our proposed PV-RCNN surpasses state-of-the-art 3D detection methods with remarkable margins by using only point clouds. Code is available at https://github.com/open-mmlab/OpenPCDet.

目前缺乏利用对象关系的目前有效的基于LIDAR的检测框架，这些框架自然而然地以空间和时间的方式存在。为此，我们引入了一个简单，高效且有效的两阶段检测器，称为RET3D。 RET3D的核心是利用新颖的框架内和框架间关系模块，以相应地捕获空间和时间关系。更具体地说，框内关系模块（Intrarm）将框架内对象封装到稀疏图中，从而使我们能够通过有效的消息传递来完善对象特征。另一方面，框架间关系模块（Interm）密集地将每个对象动态地连接到相应的跟踪序列中，并利用此类时间信息以通过轻量级变压器网络有效地增强其表示形式。我们使用基于中心的或基于锚的探测器实例化Intram和Interm的新颖设计，并在Waymo Open数据集（WOD）上对其进行评估。由于额外的额外开销可忽略不计，RET3D实现了最先进的性能，就1级1和2级MAPH指标而言，在车辆检测方面分别比最近的竞争对手高出5.5％和3.2％。

基于LIDAR的3D对象检测的先前工作主要集中在单帧范式上。在本文中，我们建议通过利用多个帧的时间信息（即点云视频）来检测3D对象。我们从经验上将时间信息分为短期和长期模式。为了编码短期数据，我们提出了一个网格消息传递网络（GMPNET），该网络将每个网格（即分组点）视为节点，并用邻居网格构造K-NN图。为了更新网格的功能，gmpnet迭代从其邻居那里收集信息，从而从附近的框架中挖掘了运动提示。为了进一步汇总长期框架，我们提出了一个细心的时空变压器GRU（AST-GRU），其中包含空间变压器注意（STA）模块和颞变压器注意（TTA）模块。 STA和TTA增强了香草gru，以专注于小物体并更好地对齐运动对象。我们的整体框架支持点云中的在线和离线视频对象检测。我们基于普遍的基于锚和锚的探测器实现算法。关于挑战性的Nuscenes基准的评估结果显示了我们方法的出色表现，在提交论文时，在没有任何铃铛和哨声的情况下在排行榜上获得了第一个。

由于其在各种领域的广泛应用，3D对象检测正在接受行业和学术界的增加。在本文中，我们提出了从点云的3D对象检测的基于角度基于卷曲区域的卷积神经网络（PV-RCNNS）。首先，我们提出了一种新颖的3D探测器，PV-RCNN，由两个步骤组成：Voxel-to-keyPoint场景编码和Keypoint-to-Grid ROI特征抽象。这两个步骤深入地将3D体素CNN与基于点的集合的集合进行了集成，以提取辨别特征。其次，我们提出了一个先进的框架，PV-RCNN ++，用于更高效和准确的3D对象检测。它由两个主要的改进组成：有效地生产更多代表性关键点的划分的提案中心策略，以及用于更好地聚合局部点特征的vectorpool聚合，具有更少的资源消耗。通过这两种策略，我们的PV-RCNN ++比PV-RCNN快2倍，同时还在具有150米* 150M检测范围内的大型Waymo Open DataSet上实现更好的性能。此外，我们提出的PV-RCNNS在Waymo Open DataSet和高竞争力的基蒂基准上实现最先进的3D检测性能。源代码可在https://github.com/open-mmlab/openpcdet上获得。

在基于LIDAR的自主驱动的基于LIDAR的3D对象检测中，与2D检测情况相比，对象尺寸与输入场景尺寸的比率明显较小。俯瞰此差异，许多3D探测器直接遵循2D探测器的常见做法，即使在量化点云之后，也可以将特征映射下来。在本文中，我们首先重新思考这种多级刻板印象如何影响基于激光雷达的3D对象探测器。我们的实验指出，下采样操作带来了一些优势，并导致不可避免的信息损失。要解决此问题，我们提出了单程稀疏变压器（SST），以将原始分辨率从网络的开头维护。我们的方法武装变压器，我们的方法解决了单步体系结构中的接收领域不足的问题。它还与点云的稀疏合作，自然避免昂贵的计算。最终，我们的SST在大型Waymo Open DataSet上实现了最先进的结果。值得一提的是，由于单程的特征，我们的方法可以在小物体（行人）检测上实现令人兴奋的性能（83.8级）对小物体（行人）检测。代码将在https://github.com/tusimple/sst释放

点云和RGB图像是自主驾驶中的两个普遍感知来源。前者可以提供对象的准确定位，而后者在语义信息方面更加浓密，更丰富。最近，AutoAlign提出了可学习的范式，以结合这两种用于3D对象检测的方式。但是，它遭受了全球关注所引入的高计算成本。为了解决问题，我们在这项工作中提出了跨域变形模块。它针对跨模式关系建模的稀疏可学习抽样点，这增强了对校准误差的耐受性，并大大加快了不同方式的特征聚集。为了在多模式设置下克服复杂的GT-EAG，我们设计了一个简单而有效的跨模式增强策略，鉴于其深度信息，图像贴片的凸组合。此外，通过执行新型的图像级辍学训练方案，我们的模型能够以动态的方式推断。为此，我们提出了AutoAlignv2，这是一个更快，更强大的多模式3D检测框架，该框架构建在自动Autoalign之上。对Nuscenes基准测试的广泛实验证明了自动alignv2的有效性和效率。值得注意的是，我们的最佳模型在Nuscenes测试排行榜上达到了72.4 ND，在所有已发布的多模式3D对象探测器中都取得了新的最新结果。代码将在https://github.com/zehuichen123/autoalignv2上找到。