在本文中，我们提出了一种基于相机和激光雷达传感器的3D对象检测和跟踪的新的联合对象检测和跟踪（Jodt）框架。所提出的方法称为3D Depectrack，使得检测器和跟踪器能够协作以产生相机和LIDAR数据的时空表示，然后执行3D对象检测和跟踪。检测器通过通过相机和激光乐融合获得的空间特征的加权时间聚集构建时空特征。然后，检测器使用从Roadklet的信息重新配置初始检测结果，从而保持到先前的时间步长。基于由探测器产生的时空特征，跟踪器使用图形神经网络（GNN）将检测到的对象与先前跟踪的对象相关联。我们通过基于规则的边缘修剪和关注的边缘门控的组合设计了一个完全连接的GNN，它利用空间和时间对象上下文来提高跟踪性能。在基准和NUSCENES基准上进行的实验表明，所提出的3D Depectrack在基线方法上的检测和跟踪性能方面实现了显着的改进，并通过检测器和跟踪器之间的协作实现现有方法的最新性能。

多任务学习的最新研究揭示了解决单个神经网络中相关问题的好处。 3D对象检测和多对象跟踪（MOT）是两个严重的相互交织的问题，可以预测并关联整个时间的对象实例位置。但是，3D MOT中的大多数先前作品都将检测器视为先前的分离管道，不一致地将检测器的输出作为跟踪器的输入。在这项工作中，我们提出了Minkowski Tracker，这是一种稀疏的时空R-CNN，可以共同解决对象检测和跟踪。受基于区域的CNN（R-CNN）的启发，我们建议将跟踪作为对象检测器R-CNN的第二阶段，该跟踪预测了轨道的分配概率。首先，Minkowski Tracker将4D点云作为输入，以生成时空鸟的视图（BEV）特征通过4D稀疏卷积编码器网络。然后，我们提出的TrackAlign聚集了BEV功能的轨道区域（ROI）功能。最后，Minkowski Tracker根据ROI功能预测的检测到追踪匹配概率更新了跟踪及其置信得分。我们在大规模实验中显示，我们方法的总体性能增益是由于四个因素：1。4D编码器的时间推理提高了检测性能2.对象检测的多任务学习和MOT共同增强了彼此3.检测到轨道比赛得分学习隐式运动模型以增强轨道分配4.检测到轨道匹配分数提高了轨道置信度得分的质量。结果，Minkowski Tracker在没有手工设计的运动模型的情况下实现了Nuscenes数据集跟踪任务上的最新性能。

Point cloud learning has lately attracted increasing attention due to its wide applications in many areas, such as computer vision, autonomous driving, and robotics. As a dominating technique in AI, deep learning has been successfully used to solve various 2D vision problems. However, deep learning on point clouds is still in its infancy due to the unique challenges faced by the processing of point clouds with deep neural networks. Recently, deep learning on point clouds has become even thriving, with numerous methods being proposed to address different problems in this area. To stimulate future research, this paper presents a comprehensive review of recent progress in deep learning methods for point clouds. It covers three major tasks, including 3D shape classification, 3D object detection and tracking, and 3D point cloud segmentation. It also presents comparative results on several publicly available datasets, together with insightful observations and inspiring future research directions.

Most scanning LiDAR sensors generate a sequence of point clouds in real-time. While conventional 3D object detectors use a set of unordered LiDAR points acquired over a fixed time interval, recent studies have revealed that substantial performance improvement can be achieved by exploiting the spatio-temporal context present in a sequence of LiDAR point sets. In this paper, we propose a novel 3D object detection architecture, which can encode LiDAR point cloud sequences acquired by multiple successive scans. The encoding process of the point cloud sequence is performed on two different time scales. We first design a short-term motion-aware voxel encoding that captures the short-term temporal changes of point clouds driven by the motion of objects in each voxel. We also propose long-term motion-guided bird's eye view (BEV) feature enhancement that adaptively aligns and aggregates the BEV feature maps obtained by the short-term voxel encoding by utilizing the dynamic motion context inferred from the sequence of the feature maps. The experiments conducted on the public nuScenes benchmark demonstrate that the proposed 3D object detector offers significant improvements in performance compared to the baseline methods and that it sets a state-of-the-art performance for certain 3D object detection categories. Code is available at https://github.com/HYjhkoh/MGTANet.git

In this paper, we propose a novel 3D object detector that can exploit both LIDAR as well as cameras to perform very accurate localization. Towards this goal, we design an end-to-end learnable architecture that exploits continuous convolutions to fuse image and LIDAR feature maps at different levels of resolution. Our proposed continuous fusion layer encode both discrete-state image features as well as continuous geometric information. This enables us to design a novel, reliable and efficient end-to-end learnable 3D object detector based on multiple sensors. Our experimental evaluation on both KITTI as well as a large scale 3D object detection benchmark shows significant improvements over the state of the art.

近年来，自主驾驶LIDAR数据的3D对象检测一直在迈出卓越的进展。在最先进的方法中，已经证明了将点云进行编码为鸟瞰图（BEV）是有效且有效的。与透视图不同，BEV在物体之间保留丰富的空间和距离信息;虽然在BEV中相同类型的更远物体不会较小，但它们包含稀疏点云特征。这一事实使用共享卷积神经网络削弱了BEV特征提取。为了解决这一挑战，我们提出了范围感知注意网络（RAANET），提取更强大的BEV功能并产生卓越的3D对象检测。范围感知的注意力（RAA）卷曲显着改善了近距离的特征提取。此外，我们提出了一种新的辅助损耗，用于密度估计，以进一步增强覆盖物体的Raanet的检测精度。值得注意的是，我们提出的RAA卷积轻量级，并兼容，以集成到用于BEV检测的任何CNN架构中。 Nuscenes DataSet上的广泛实验表明，我们的提出方法优于基于LIDAR的3D对象检测的最先进的方法，具有16 Hz的实时推断速度，为LITE版本为22 Hz。该代码在匿名GitHub存储库HTTPS://github.com/Anonymous0522 / ange上公开提供。

目前，现有的最先进的3D对象检测器位于两阶段范例中。这些方法通常包括两个步骤：1）利用区域提案网络以自下而上的方式提出少数高质量的提案。 2）调整拟议区域的语义特征的大小和汇集，以总结Roi-Wise表示进一步改进。注意，步骤2中的这些ROI-WISE表示在馈送到遵循检测标题之后，在步骤2中的循环表示作为不相关的条目。然而，我们观察由步骤1所产生的这些提案，以某种方式从地面真理偏移，在局部邻居中兴起潜在的概率。在该提案在很大程度上用于由于坐标偏移而导致其边界信息的情况下出现挑战，而现有网络缺乏相应的信息补偿机制。在本文中，我们向点云进行了3D对象检测的$ BADET $。具体地，而不是以先前的工作独立地将每个提议进行独立地改进每个提议，我们将每个提议代表作为在给定的截止阈值内的图形构造的节点，局部邻域图形式的提案，具有明确利用的对象的边界相关性。此外，我们设计了轻量级区域特征聚合模块，以充分利用Voxel-Wise，Pixel-Wise和Point-Wise特征，具有扩展的接收领域，以实现更多信息ROI-WISE表示。我们在广泛使用的基提数据集中验证了坏人，并且具有高度挑战的Nuscenes数据集。截至4月17日，2021年，我们的坏账在基蒂3D检测排行榜上实现了Par表演，并在Kitti Bev检测排行榜上排名在$ 1 ^ {st} $ in $ superge $难度。源代码可在https://github.com/rui-qian/badet中获得。

人的大脑可以毫不费力地识别和定位对象，而基于激光雷达点云的当前3D对象检测方法仍然报告了较低的性能，以检测闭塞和远处的对象：点云的外观由于遮挡而变化很大，并且在沿线的固有差异沿点固有差异变化。传感器的距离。因此，设计功能表示对此类点云至关重要。受到人类联想识别的启发，我们提出了一个新颖的3D检测框架，该框架通过域的适应来使对象完整特征。我们弥合感知域之间的差距，其中特征是从具有亚最佳表示的真实场景中得出的，以及概念域，其中功能是从由不批准对象组成的增强场景中提取的，并具有丰富的详细信息。研究了一种可行的方法，可以在没有外部数据集的情况下构建概念场景。我们进一步介绍了一个基于注意力的重新加权模块，该模块可适应地增强更翔实区域的特征。该网络的功能增强能力将被利用，而无需在推理过程中引入额外的成本，这是各种3D检测框架中的插件。我们以准确性和速度都在Kitti 3D检测基准上实现了新的最先进性能。关于Nuscenes和Waymo数据集的实验也验证了我们方法的多功能性。

两阶段探测器在3D对象检测中已广受欢迎。大多数两阶段的3D检测器都使用网格点，体素电网或第二阶段的ROI特征提取的采样关键点。但是，这种方法在处理不均匀分布和稀疏的室外点方面效率低下。本文在三个方面解决了这个问题。 1）动态点聚集。我们建议补丁搜索以快速在本地区域中为每个3D提案搜索点。然后，将最远的体素采样采样用于均匀采样点。特别是，体素尺寸沿距离变化，以适应点的不均匀分布。 2）Ro-Graph Poling。我们在采样点上构建本地图，以通过迭代消息传递更好地模型上下文信息和地雷关系。 3）视觉功能增强。我们引入了一种简单而有效的融合策略，以补偿具有有限语义提示的稀疏激光雷达点。基于这些模块，我们将图形R-CNN构建为第二阶段，可以将其应用于现有的一阶段检测器，以始终如一地提高检测性能。广泛的实验表明，图R-CNN的表现优于最新的3D检测模型，而Kitti和Waymo Open DataSet的差距很大。我们在Kitti Bev汽车检测排行榜上排名第一。代码将在\ url {https://github.com/nightmare-n/graphrcnn}上找到。

来自LIDAR或相机传感器的3D对象检测任务对于自动驾驶至关重要。先锋尝试多模式融合的尝试补充了稀疏的激光雷达点云，其中包括图像的丰富语义纹理信息，以额外的网络设计和开销为代价。在这项工作中，我们提出了一个名为SPNET的新型语义传递框架，以通过丰富的上下文绘画的指导来提高现有基于激光雷达的3D检测模型的性能，在推理过程中没有额外的计算成本。我们的关键设计是首先通过训练语义绘制的教师模型来利用地面真实标签中潜在的指导性语义知识，然后引导纯LIDAR网络通过不同的粒度传播模块来学习语义绘制的表示：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类：类别：类别：类别：类别：类别：类别：类别： - 通过，像素的传递和实例传递。实验结果表明，所提出的SPNET可以与大多数现有的3D检测框架无缝合作，其中AP增益为1〜5％，甚至在KITTI测试基准上实现了新的最新3D检测性能。代码可在以下网址获得：https：//github.com/jb892/sp​​net。

一方面，在最近的文献中，许多3D多对象跟踪（MOT）的作品集中在跟踪准确性和被忽视的计算速度上，通常是通过设计相当复杂的成本功能和功能提取器来进行的。另一方面，某些方法以跟踪准确性为代价过多地关注计算速度。鉴于这些问题，本文提出了一种强大而快速的基于相机融合的MOT方法，该方法在准确性和速度之间取决于良好的权衡。依靠相机和激光雷达传感器的特性，设计并嵌入了提出的MOT方法中的有效的深层关联机制。该关联机制在对象远处并仅由摄像机检测到2D域中的对象，并在对象出现在LIDAR的视野中以实现平滑融合时获得的2D轨迹进行更新，并更新2D轨迹。 2D和3D轨迹。基于典型数据集的广泛实验表明，就跟踪准确性和处理速度而言，我们提出的方法在最先进的MOT方法上具有明显的优势。我们的代码可公开用于社区的利益。

3D多对象跟踪（MOT）是自动驾驶汽车的关键问题，需要在动态环境中执行信息良好的运动计划。特别是对于密集的占领场景，将现有曲目与新检测相关联仍然具有挑战性，因为现有系统倾向于省略关键的上下文信息。我们提出的解决方案InterTrack引入了3D MOT的相互作用变压器，以生成数据关联的区分对象表示。我们为每个轨道和检测提取状态和形状特征，并通过注意力有效地汇总全局信息。然后，我们对每个轨道/检测功能对进行学习的回归以估计亲和力，并使用强大的两阶段数据关联和轨道管理方法来生成最终轨道。我们在Nuscenes 3D MOT基准上验证了我们的方法，在那里我们观察到了显着的改进，尤其是在物理大小和聚类对象的类别上。从提交开始时，InterTrack在使用CenterPoint检测的方法中排名第1位AMOTA。

移动对象（DATMO）的检测和跟踪是自动驾驶环境感知的重要组成部分。虽然使用环绕视图摄像机的3D检测器只是蓬勃发展，但越来越多的趋势是使用不同的基于变压器的方法从透视图的2D特征图中学习3D空间中的查询。本文提出了稀疏的R-CNN 3D（SRCN3D），这是一种新颖的两阶段全横向卷积映射管道，用于环绕视图摄像机检测和跟踪。 SRCN3D采用了级联结构，具有固定数量的提案盒和提案潜在功能的双轨更新。预计提案框可以透视视图，以汇总感兴趣的区域（ROI）本地特征。基于此，提案功能通过动态实例交互式头部进行完善，然后生成分类，并应用于原始边界框。与先前的艺术相比，我们的稀疏功能采样模块仅利用本地2D功能来调整每个相应的3D提案盒，从而导致完整的稀疏范式。提案功能和外观特征均在数据关联过程中采用多刺激性3D多对象跟踪方法。 Nuscenes数据集的广泛实验证明了我们提出的SRCN3D检测器和跟踪器的有效性。代码可在https://github.com/synsin0/srcn3d上找到。

它得到了很好的认识到，从深度感知的LIDAR点云和语义富有的立体图像中融合互补信息将有利于3D对象检测。然而，探索稀疏3D点和密集2D像素之间固有的不自然相互作用并不重要。为了简化这种困难，最近的建议通常将3D点投影到2D图像平面上以对图像数据进行采样，然后聚合点处的数据。然而，这种方法往往遭受点云和RGB图像的分辨率之间的不匹配，导致次优性能。具体地，作为多模态数据聚合位置的稀疏点导致高分辨率图像的严重信息丢失，这反过来破坏了多传感器融合的有效性。在本文中，我们呈现VPFNET - 一种新的架构，可以在“虚拟”点处巧妙地对齐和聚合点云和图像数据。特别地，它们的密度位于3D点和2D像素的密度之间，虚拟点可以很好地桥接两个传感器之间的分辨率间隙，从而保持更多信息以进行处理。此外，我们还研究了可以应用于点云和RGB图像的数据增强技术，因为数据增强对迄今为止对3D对象探测器的贡献不可忽略。我们对Kitti DataSet进行了广泛的实验，与最先进的方法相比，观察到了良好的性能。值得注意的是，我们的VPFNET在KITTI测试集上实现了83.21 \％中等3D AP和91.86 \％适度的BEV AP，自2021年5月21日起排名第一。网络设计也考虑了计算效率 - 我们可以实现FPS 15对单个NVIDIA RTX 2080TI GPU。该代码将用于复制和进一步调查。

与LIDAR相比，相机和雷达传感器在成本，可靠性和维护方面具有显着优势。现有的融合方法通常融合了结果级别的单个模式的输出，称为后期融合策略。这可以通过使用现成的单传感器检测算法受益，但是晚融合无法完全利用传感器的互补特性，因此尽管相机雷达融合的潜力很大，但性能有限。在这里，我们提出了一种新颖的提案级早期融合方法，该方法有效利用了相机和雷达的空间和上下文特性，用于3D对象检测。我们的融合框架首先将图像建议与极坐标系中的雷达点相关联，以有效处理坐标系和空间性质之间的差异。将其作为第一阶段，遵循连续的基于交叉注意的特征融合层在相机和雷达之间自适应地交换时尚信息，从而导致强大而专心的融合。我们的摄像机雷达融合方法可在Nuscenes测试集上获得最新的41.1％地图，而NDS则达到52.3％，比仅摄像机的基线高8.7和10.8点，并在竞争性能上提高竞争性能LIDAR方法。

3D object detection from LiDAR point cloud is a challenging problem in 3D scene understanding and has many practical applications. In this paper, we extend our preliminary work PointRCNN to a novel and strong point-cloud-based 3D object detection framework, the part-aware and aggregation neural network (Part-A 2 net). The whole framework consists of the part-aware stage and the part-aggregation stage. Firstly, the part-aware stage for the first time fully utilizes free-of-charge part supervisions derived from 3D ground-truth boxes to simultaneously predict high quality 3D proposals and accurate intra-object part locations. The predicted intra-object part locations within the same proposal are grouped by our new-designed RoI-aware point cloud pooling module, which results in an effective representation to encode the geometry-specific features of each 3D proposal. Then the part-aggregation stage learns to re-score the box and refine the box location by exploring the spatial relationship of the pooled intra-object part locations. Extensive experiments are conducted to demonstrate the performance improvements from each component of our proposed framework. Our Part-A 2 net outperforms all existing 3D detection methods and achieves new state-of-the-art on KITTI 3D object detection dataset by utilizing only the LiDAR point cloud data. Code is available at https://github.com/sshaoshuai/PointCloudDet3D.

In this paper we propose to exploit multiple related tasks for accurate multi-sensor 3D object detection. Towards this goal we present an end-to-end learnable architecture that reasons about 2D and 3D object detection as well as ground estimation and depth completion. Our experiments show that all these tasks are complementary and help the network learn better representations by fusing information at various levels. Importantly, our approach leads the KITTI benchmark on 2D, 3D and bird's eye view object detection, while being real-time. * Equal contribution.† Work done as part of Uber AI Residency program.

从点云的准确3D对象检测已成为自动驾驶中的重要组成部分。但是，前面的作品中的体积表示和投影方法无法在本地点集之间建立关系。在本文中，我们提出了稀疏的Voxel-Graph注意网络（SVGA-Net），一种新型端到端培训网络，主要包含Voxel-Traph模块和稀疏 - 致密的回归模块，以实现RAW的可比3D检测任务LIDAR数据。具体地，SVGA-NET通过所有体素构建每个分割的3D球形体素和全局KNN图中的本地完整图。本地和全局图作为增强提取特征的注意机制。此外，新颖的稀疏 - 密集的回归模块通过不同级别的特征映射聚合来增强3D盒估计精度。 KITTI检测基准测试的实验证明将图形表示扩展到3D对象检测的效率，并且所提出的SVGA-NET可以实现体面的检测精度。

基于最新的激光痛的3D对象检测方法依赖于监督学习和大型标记数据集。但是，注释LiDAR数据是资源消耗的，仅取决于监督的学习限制了训练有素的模型的适用性。自我监督的培训策略可以通过学习下游3D视觉任务的通用点云主链模型来减轻这些问题。在此背景下，我们显示了自我监督的多帧流程表示与单帧3D检测假设之间的关系。我们的主要贡献利用了流动和运动表示，并将自我保护的主链与有监督的3D检测头结合在一起。首先，自我监督的场景流估计模型通过循环一致性进行了训练。然后，该模型的点云编码器用作单帧3D对象检测头模型的骨干。第二个3D对象检测模型学会利用运动表示来区分表现出不同运动模式的动态对象。 Kitti和Nuscenes基准的实验表明，提出的自我监管的预训练可显着提高3D检测性能。 https://github.com/emecercelik/ssl-3d-detection.git

Aiming at highly accurate object detection for connected and automated vehicles (CAVs), this paper presents a Deep Neural Network based 3D object detection model that leverages a three-stage feature extractor by developing a novel LIDAR-Camera fusion scheme. The proposed feature extractor extracts high-level features from two input sensory modalities and recovers the important features discarded during the convolutional process. The novel fusion scheme effectively fuses features across sensory modalities and convolutional layers to find the best representative global features. The fused features are shared by a two-stage network: the region proposal network (RPN) and the detection head (DH). The RPN generates high-recall proposals, and the DH produces final detection results. The experimental results show the proposed model outperforms more recent research on the KITTI 2D and 3D detection benchmark, particularly for distant and highly occluded instances.