目前缺乏利用对象关系的目前有效的基于LIDAR的检测框架，这些框架自然而然地以空间和时间的方式存在。为此，我们引入了一个简单，高效且有效的两阶段检测器，称为RET3D。 RET3D的核心是利用新颖的框架内和框架间关系模块，以相应地捕获空间和时间关系。更具体地说，框内关系模块（Intrarm）将框架内对象封装到稀疏图中，从而使我们能够通过有效的消息传递来完善对象特征。另一方面，框架间关系模块（Interm）密集地将每个对象动态地连接到相应的跟踪序列中，并利用此类时间信息以通过轻量级变压器网络有效地增强其表示形式。我们使用基于中心的或基于锚的探测器实例化Intram和Interm的新颖设计，并在Waymo Open数据集（WOD）上对其进行评估。由于额外的额外开销可忽略不计，RET3D实现了最先进的性能，就1级1和2级MAPH指标而言，在车辆检测方面分别比最近的竞争对手高出5.5％和3.2％。

两阶段探测器在3D对象检测中已广受欢迎。大多数两阶段的3D检测器都使用网格点，体素电网或第二阶段的ROI特征提取的采样关键点。但是，这种方法在处理不均匀分布和稀疏的室外点方面效率低下。本文在三个方面解决了这个问题。 1）动态点聚集。我们建议补丁搜索以快速在本地区域中为每个3D提案搜索点。然后，将最远的体素采样采样用于均匀采样点。特别是，体素尺寸沿距离变化，以适应点的不均匀分布。 2）Ro-Graph Poling。我们在采样点上构建本地图，以通过迭代消息传递更好地模型上下文信息和地雷关系。 3）视觉功能增强。我们引入了一种简单而有效的融合策略，以补偿具有有限语义提示的稀疏激光雷达点。基于这些模块，我们将图形R-CNN构建为第二阶段，可以将其应用于现有的一阶段检测器，以始终如一地提高检测性能。广泛的实验表明，图R-CNN的表现优于最新的3D检测模型，而Kitti和Waymo Open DataSet的差距很大。我们在Kitti Bev汽车检测排行榜上排名第一。代码将在\ url {https://github.com/nightmare-n/graphrcnn}上找到。

基于LIDAR的3D对象检测的先前工作主要集中在单帧范式上。在本文中，我们建议通过利用多个帧的时间信息（即点云视频）来检测3D对象。我们从经验上将时间信息分为短期和长期模式。为了编码短期数据，我们提出了一个网格消息传递网络（GMPNET），该网络将每个网格（即分组点）视为节点，并用邻居网格构造K-NN图。为了更新网格的功能，gmpnet迭代从其邻居那里收集信息，从而从附近的框架中挖掘了运动提示。为了进一步汇总长期框架，我们提出了一个细心的时空变压器GRU（AST-GRU），其中包含空间变压器注意（STA）模块和颞变压器注意（TTA）模块。 STA和TTA增强了香草gru，以专注于小物体并更好地对齐运动对象。我们的整体框架支持点云中的在线和离线视频对象检测。我们基于普遍的基于锚和锚的探测器实现算法。关于挑战性的Nuscenes基准的评估结果显示了我们方法的出色表现，在提交论文时，在没有任何铃铛和哨声的情况下在排行榜上获得了第一个。

基于查询的变压器在许多图像域任务中构建长期注意力方面表现出了巨大的潜力，但是由于点云数据的压倒性大小，在基于激光雷达的3D对象检测中很少考虑。在本文中，我们提出了CenterFormer，这是一个基于中心的变压器网络，用于3D对象检测。 CenterFormer首先使用中心热图在基于标准的Voxel点云编码器之上选择中心候选者。然后，它将中心候选者的功能用作变压器中的查询嵌入。为了进一步从多个帧中汇总功能，我们通过交叉注意设计一种方法来融合功能。最后，添加回归头以预测输出中心功能表示形式上的边界框。我们的设计降低了变压器结构的收敛难度和计算复杂性。结果表明，与无锚对象检测网络的强基线相比，有了显着改善。 CenterFormer在Waymo Open数据集上实现了单个模型的最新性能，验证集的MAPH为73.7％，测试集的MAPH上有75.6％的MAPH，大大优于所有先前发布的CNN和基于变压器的方法。我们的代码可在https://github.com/tusimple/centerformer上公开获取

由于其在各种领域的广泛应用，3D对象检测正在接受行业和学术界的增加。在本文中，我们提出了从点云的3D对象检测的基于角度基于卷曲区域的卷积神经网络（PV-RCNNS）。首先，我们提出了一种新颖的3D探测器，PV-RCNN，由两个步骤组成：Voxel-to-keyPoint场景编码和Keypoint-to-Grid ROI特征抽象。这两个步骤深入地将3D体素CNN与基于点的集合的集合进行了集成，以提取辨别特征。其次，我们提出了一个先进的框架，PV-RCNN ++，用于更高效和准确的3D对象检测。它由两个主要的改进组成：有效地生产更多代表性关键点的划分的提案中心策略，以及用于更好地聚合局部点特征的vectorpool聚合，具有更少的资源消耗。通过这两种策略，我们的PV-RCNN ++比PV-RCNN快2倍，同时还在具有150米* 150M检测范围内的大型Waymo Open DataSet上实现更好的性能。此外，我们提出的PV-RCNNS在Waymo Open DataSet和高竞争力的基蒂基准上实现最先进的3D检测性能。源代码可在https://github.com/open-mmlab/openpcdet上获得。

具有多传感器的3D对象检测对于自主驾驶和机器人技术的准确可靠感知系统至关重要。现有的3D探测器通过采用两阶段范式来显着提高准确性，这仅依靠激光点云进行3D提案的细化。尽管令人印象深刻，但点云的稀疏性，尤其是对于遥远的点，使得仅激光雷达的完善模块难以准确识别和定位对象。要解决这个问题，我们提出了一种新颖的多模式两阶段方法FusionRcnn，有效，有效地融合了感兴趣区域（ROI）的点云和摄像头图像。 FusionRcnn自适应地整合了LiDAR的稀疏几何信息和统一注意机制中相机的密集纹理信息。具体而言，它首先利用RoiPooling获得具有统一大小的图像集，并通过在ROI提取步骤中的建议中采样原始点来获取点设置；然后利用模式内的自我注意力来增强域特异性特征，此后通过精心设计的跨注意事项融合了来自两种模态的信息。FusionRCNN从根本上是插件，并支持不同的单阶段方法与不同的单阶段方法。几乎没有建筑变化。对Kitti和Waymo基准测试的广泛实验表明，我们的方法显着提高了流行探测器的性能。可取，FusionRCNN在Waymo上的FusionRCNN显着提高了强大的第二基线，而Waymo上的MAP则超过6.14％，并且优于竞争两阶段方法的表现。代码将很快在https://github.com/xxlbigbrother/fusion-rcnn上发布。

实时和高性能3D对象检测对于自动驾驶至关重要。最近表现最佳的3D对象探测器主要依赖于基于点或基于3D Voxel的卷积，这两者在计算上均无效地部署。相比之下，基于支柱的方法仅使用2D卷积，从而消耗了较少的计算资源，但它们的检测准确性远远落后于基于体素的对应物。在本文中，通过检查基于支柱和体素的探测器之间的主要性能差距，我们开发了一个实时和高性能的柱子检测器，称为Pillarnet。提出的柱子由一个强大的编码网络组成，用于有效的支柱特征学习，用于空间语义特征融合的颈网和常用的检测头。仅使用2D卷积，Pillarnet具有可选的支柱尺寸的灵活性，并与经典的2D CNN骨架兼容，例如VGGNET和RESNET.ADITIONICLY，Pillarnet受益于我们设计的方向iOu decoupled iou Recressions you Recressions损失以及IOU Aware Pareace Predication Prediction Predictight offication Branch。大规模Nuscenes数据集和Waymo Open数据集的广泛实验结果表明，在有效性和效率方面，所提出的Pillarnet在最新的3D检测器上表现良好。源代码可在https://github.com/agent-sgs/pillarnet.git上找到。

使用点云的3D对象检测由于其在自动驾驶和机器人技术中的广泛应用而引起了越来越多的关注。但是，大多数现有的研究都集中在单点云框架上，而无需利用点云序列中的时间信息。在本文中，我们设计了Transpillars，这是一种基于变压器的新型特征聚合技术，可利用连续点云框架的时间特征用于多帧3D对象检测。从两个角度来看，转子汇总的时空点云特征。首先，它直接从多帧特征映射而不是汇总实例功能融合体素级特征，以保存实例详细信息，并使用上下文信息，这些信息对于准确的对象本地化至关重要。其次，它引入了分层的粗到精细策略，以逐步融合多尺度功能，以有效捕获移动对象的运动并指导精美特征的聚合。此外，引入了一系列可变形变压器，以提高跨帧功能匹配的有效性。广泛的实验表明，与现有的多帧检测方法相比，我们提议的转质质量可以达到最先进的性能。代码将发布。

在鸟眼中学习强大的表现（BEV），以进行感知任务，这是趋势和吸引行业和学术界的广泛关注。大多数自动驾驶算法的常规方法在正面或透视视图中执行检测，细分，跟踪等。随着传感器配置变得越来越复杂，从不同的传感器中集成了多源信息，并在统一视图中代表功能至关重要。 BEV感知继承了几个优势，因为代表BEV中的周围场景是直观和融合友好的。对于BEV中的代表对象，对于随后的模块，如计划和/或控制是最可取的。 BEV感知的核心问题在于（a）如何通过从透视视图到BEV来通过视图转换来重建丢失的3D信息； （b）如何在BEV网格中获取地面真理注释； （c）如何制定管道以合并来自不同来源和视图的特征； （d）如何适应和概括算法作为传感器配置在不同情况下各不相同。在这项调查中，我们回顾了有关BEV感知的最新工作，并对不同解决方案进行了深入的分析。此外，还描述了该行业的BEV方法的几种系统设计。此外，我们推出了一套完整的实用指南，以提高BEV感知任务的性能，包括相机，激光雷达和融合输入。最后，我们指出了该领域的未来研究指示。我们希望该报告能阐明社区，并鼓励对BEV感知的更多研究。我们保留一个活跃的存储库来收集最新的工作，并在https://github.com/openperceptionx/bevperception-survey-recipe上提供一包技巧的工具箱。

准确可靠的3D检测对于包括自动驾驶车辆和服务机器人在内的许多应用至关重要。在本文中，我们提出了一个具有点云序列的3D时间对象检测的灵活且高性能的3D检测框架，称为MPPNET。我们提出了一个新颖的三级结构框架，其中包含多帧特征编码和相互作用的代理点，以实现更好的检测。这三个层次结构分别进行每个帧的特征编码，短片特征融合和整个序列特征聚合。为了使用合理的计算资源来处理长期序列云，提出了组内特征混合和组间特征的注意，以形成第二和第三个特征编码层次结构，这些层次结构均经常应用于聚集多框架轨迹特征。代理不仅可以充当每个帧的一致对象表示，而且还充当了方便框架之间特征交互的快递。大型Waymo打开数据集的实验表明，当应用于短（例如4框架）和长（例如16框架）点云序列时，我们的方法优于具有较大边缘的最先进方法。代码可在https://github.com/open-mmlab/openpcdet上找到。

We present a novel and high-performance 3D object detection framework, named PointVoxel-RCNN (PV-RCNN), for accurate 3D object detection from point clouds. Our proposed method deeply integrates both 3D voxel Convolutional Neural Network (CNN) and PointNet-based set abstraction to learn more discriminative point cloud features. It takes advantages of efficient learning and high-quality proposals of the 3D voxel CNN and the flexible receptive fields of the PointNet-based networks. Specifically, the proposed framework summarizes the 3D scene with a 3D voxel CNN into a small set of keypoints via a novel voxel set abstraction module to save follow-up computations and also to encode representative scene features. Given the highquality 3D proposals generated by the voxel CNN, the RoIgrid pooling is proposed to abstract proposal-specific features from the keypoints to the RoI-grid points via keypoint set abstraction with multiple receptive fields. Compared with conventional pooling operations, the RoI-grid feature points encode much richer context information for accurately estimating object confidences and locations. Extensive experiments on both the KITTI dataset and the Waymo Open dataset show that our proposed PV-RCNN surpasses state-of-the-art 3D detection methods with remarkable margins by using only point clouds. Code is available at https://github.com/open-mmlab/OpenPCDet.

Point cloud learning has lately attracted increasing attention due to its wide applications in many areas, such as computer vision, autonomous driving, and robotics. As a dominating technique in AI, deep learning has been successfully used to solve various 2D vision problems. However, deep learning on point clouds is still in its infancy due to the unique challenges faced by the processing of point clouds with deep neural networks. Recently, deep learning on point clouds has become even thriving, with numerous methods being proposed to address different problems in this area. To stimulate future research, this paper presents a comprehensive review of recent progress in deep learning methods for point clouds. It covers three major tasks, including 3D shape classification, 3D object detection and tracking, and 3D point cloud segmentation. It also presents comparative results on several publicly available datasets, together with insightful observations and inspiring future research directions.

变压器一直是自然语言处理（NLP）和计算机视觉（CV）革命的核心。 NLP和CV的显着成功启发了探索变压器在点云处理中的使用。但是，变压器如何应对点云的不规则性和无序性质？变压器对于不同的3D表示（例如，基于点或体素）的合适性如何？各种3D处理任务的变压器有多大的能力？截至目前，仍然没有对这些问题的研究进行系统的调查。我们第一次为3D点云分析提供了越来越受欢迎的变压器的全面概述。我们首先介绍变压器体系结构的理论，并在2D/3D字段中审查其应用程序。然后，我们提出三种不同的分类法（即实现 - 数据表示和基于任务），它们可以从多个角度对当前的基于变压器的方法进行分类。此外，我们介绍了研究3D中自我注意机制的变异和改进的结果。为了证明变压器在点云分析中的优势，我们提供了基于各种变压器的分类，分割和对象检测方法的全面比较。最后，我们建议三个潜在的研究方向，为3D变压器的开发提供福利参考。

近年来，由于深度学习技术的发展，LiDar Point Clouds的3D对象检测取得了长足的进步。尽管基于体素或基于点的方法在3D对象检测中很受欢迎，但它们通常涉及耗时的操作，例如有关体素的3D卷积或点之间的球查询，从而使所得网络不适合时间关键应用程序。另一方面，基于2D视图的方法具有较高的计算效率，而通常比基于体素或基于点的方法获得的性能低。在这项工作中，我们提出了一个基于实时视图的单阶段3D对象检测器，即CVFNET完成此任务。为了在苛刻的效率条件下加强跨视图的学习，我们的框架提取了不同视图的特征，并以有效的渐进式方式融合了它们。我们首先提出了一个新颖的点范围特征融合模块，该模块在多个阶段深入整合点和范围视图特征。然后，当将所获得的深点视图转换为鸟类视图时，特殊的切片柱旨在很好地维护3D几何形状。为了更好地平衡样品比率，提出了一个稀疏的柱子检测头，将检测集中在非空网上。我们对流行的Kitti和Nuscenes基准进行了实验，并以准确性和速度来实现最先进的性能。

3D object detection from LiDAR point cloud is a challenging problem in 3D scene understanding and has many practical applications. In this paper, we extend our preliminary work PointRCNN to a novel and strong point-cloud-based 3D object detection framework, the part-aware and aggregation neural network (Part-A 2 net). The whole framework consists of the part-aware stage and the part-aggregation stage. Firstly, the part-aware stage for the first time fully utilizes free-of-charge part supervisions derived from 3D ground-truth boxes to simultaneously predict high quality 3D proposals and accurate intra-object part locations. The predicted intra-object part locations within the same proposal are grouped by our new-designed RoI-aware point cloud pooling module, which results in an effective representation to encode the geometry-specific features of each 3D proposal. Then the part-aggregation stage learns to re-score the box and refine the box location by exploring the spatial relationship of the pooled intra-object part locations. Extensive experiments are conducted to demonstrate the performance improvements from each component of our proposed framework. Our Part-A 2 net outperforms all existing 3D detection methods and achieves new state-of-the-art on KITTI 3D object detection dataset by utilizing only the LiDAR point cloud data. Code is available at https://github.com/sshaoshuai/PointCloudDet3D.

与2D对象检测不同，其中所有ROI功能来自网格像素，3D点云对象检测的ROI特征提取更加多样化。在本文中，我们首先比较和分析两个最先进模型PV-RCNN和Voxel-RCNN之间的结构和性能的差异。然后，我们发现两种模型之间的性能差距不来自点信息，而是结构信息。 Voxel特征包含更多结构信息，因为它们会进行量化而不是向下采样到点云，以便它们基本上可以包含整个点云的完整信息。体素特征中的强大结构信息使得探测器在我们的实验中具有更高的性能，即使体素功能没有准确的位置信息，也可以在我们的实验中进行更高的性能。然后，我们建议结构信息是3D对象检测的关键。基于上述结论，我们提出了一种自我关注的ROI特征提取器（SARFE），以增强从3D提案中提取的特征的结构信息。 SARFE是一种即插即用模块，可以轻松使用现有的3D探测器。我们的SARFE在Kitti DataSet和Waymo Open DataSet上进行评估。通过新引进的SARFE，我们通过在Kitti DataSet上的骑自行车者中的大型余量来提高最先进的3D探测器的性能，同时保持实时能力。

在基于LIDAR的自主驱动的基于LIDAR的3D对象检测中，与2D检测情况相比，对象尺寸与输入场景尺寸的比率明显较小。俯瞰此差异，许多3D探测器直接遵循2D探测器的常见做法，即使在量化点云之后，也可以将特征映射下来。在本文中，我们首先重新思考这种多级刻板印象如何影响基于激光雷达的3D对象探测器。我们的实验指出，下采样操作带来了一些优势，并导致不可避免的信息损失。要解决此问题，我们提出了单程稀疏变压器（SST），以将原始分辨率从网络的开头维护。我们的方法武装变压器，我们的方法解决了单步体系结构中的接收领域不足的问题。它还与点云的稀疏合作，自然避免昂贵的计算。最终，我们的SST在大型Waymo Open DataSet上实现了最先进的结果。值得一提的是，由于单程的特征，我们的方法可以在小物体（行人）检测上实现令人兴奋的性能（83.8级）对小物体（行人）检测。代码将在https://github.com/tusimple/sst释放

Recently, Transformer has achieved great success in computer vision. However, it is constrained because the spatial and temporal complexity grows quadratically with the number of large points in 3D object detection applications. Previous point-wise methods are suffering from time consumption and limited receptive fields to capture information among points. In this paper, we propose a two-stage hyperbolic cosine transformer (ChTR3D) for 3D object detection from LiDAR point clouds. The proposed ChTR3D refines proposals by applying cosh-attention in linear computation complexity to encode rich contextual relationships among points. The cosh-attention module reduces the space and time complexity of the attention operation. The traditional softmax operation is replaced by non-negative ReLU activation and hyperbolic-cosine-based operator with re-weighting mechanism. Extensive experiments on the widely used KITTI dataset demonstrate that, compared with vanilla attention, the cosh-attention significantly improves the inference speed with competitive performance. Experiment results show that, among two-stage state-of-the-art methods using point-level features, the proposed ChTR3D is the fastest one.

随着LIDAR传感器在自动驾驶中的流行率，3D对象跟踪受到了越来越多的关注。在点云序列中，3D对象跟踪旨在预测给定对象模板中连续帧中对象的位置和方向。在变压器成功的驱动下，我们提出了点跟踪变压器（PTTR），它有效地预测了高质量的3D跟踪，借助变压器操作，以粗到1的方式导致。 PTTR由三个新型设计组成。 1）我们设计的关系意识采样代替随机抽样，以在亚采样过程中保留与给定模板相关的点。 2）我们提出了一个点关系变压器，以进行有效的特征聚合和模板和搜索区域之间的特征匹配。 3）基于粗糙跟踪结果，我们采用了一个新颖的预测改进模块，通过局部特征池获得最终的完善预测。此外，以捕获对象运动的鸟眼视图（BEV）的有利特性（BEV）的良好属性，我们进一步设计了一个名为PTTR ++的更高级的框架，该框架既包含了点的视图和BEV表示）产生高质量跟踪结果的影响。 PTTR ++实质上提高了PTTR顶部的跟踪性能，并具有低计算开销。多个数据集的广泛实验表明，我们提出的方法达到了卓越的3D跟踪准确性和效率。

Despite the tremendous progress of Masked Autoencoders (MAE) in developing vision tasks such as image and video, exploring MAE in large-scale 3D point clouds remains challenging due to the inherent irregularity. In contrast to previous 3D MAE frameworks, which either design a complex decoder to infer masked information from maintained regions or adopt sophisticated masking strategies, we instead propose a much simpler paradigm. The core idea is to apply a \textbf{G}enerative \textbf{D}ecoder for MAE (GD-MAE) to automatically merges the surrounding context to restore the masked geometric knowledge in a hierarchical fusion manner. In doing so, our approach is free from introducing the heuristic design of decoders and enjoys the flexibility of exploring various masking strategies. The corresponding part costs less than \textbf{12\%} latency compared with conventional methods, while achieving better performance. We demonstrate the efficacy of the proposed method on several large-scale benchmarks: Waymo, KITTI, and ONCE. Consistent improvement on downstream detection tasks illustrates strong robustness and generalization capability. Not only our method reveals state-of-the-art results, but remarkably, we achieve comparable accuracy even with \textbf{20\%} of the labeled data on the Waymo dataset. The code will be released at \url{https://github.com/Nightmare-n/GD-MAE}.