伪LIDAR表示的建议显着缩小了基于视觉的基于视觉激光痛的3D对象检测之间的差距。但是，当前的研究仅专注于通过利用复杂且耗时的神经网络来推动伪LIDAR的准确性提高。很少探索伪LIDAR代表的深刻特征来获得促进机会。在本文中，我们深入研究伪激光雷达表示，并认为3D对象检测的性能并不完全取决于高精度立体声深度估计。我们证明，即使对于不可靠的深度估计，通过适当的数据处理和精炼，它也可以达到可比的3D对象检测准确性。有了这一发现，我们进一步表明了使用伪大部分系统中快速但不准确的立体声匹配算法来实现低潜伏期响应的可能性。在实验中，我们开发了一个具有功能较低的立体声匹配预测指标的系统，并采用了提出的改进方案来提高准确性。对KITTI基准测试的评估表明，所提出的系统仅使用23毫秒的计算来实现最先进方法的竞争精度，这表明它是部署到真实CAR-HOLD应用程序的合适候选者。

3D object detection is an essential task in autonomous driving. Recent techniques excel with highly accurate detection rates, provided the 3D input data is obtained from precise but expensive LiDAR technology. Approaches based on cheaper monocular or stereo imagery data have, until now, resulted in drastically lower accuracies -a gap that is commonly attributed to poor image-based depth estimation. However, in this paper we argue that it is not the quality of the data but its representation that accounts for the majority of the difference. Taking the inner workings of convolutional neural networks into consideration, we propose to convert image-based depth maps to pseudo-LiDAR representations -essentially mimicking the LiDAR signal. With this representation we can apply different existing LiDAR-based detection algorithms. On the popular KITTI benchmark, our approach achieves impressive improvements over the existing state-of-the-art in image-based performance -raising the detection accuracy of objects within the 30m range from the previous state-of-the-art of 22% to an unprecedented 74%. At the time of submission our algorithm holds the highest entry on the KITTI 3D object detection leaderboard for stereo-image-based approaches. Our code is publicly available at https: //github.com/mileyan/pseudo_lidar.

大多数自治车辆都配备了LIDAR传感器和立体声相机。前者非常准确，但产生稀疏数据，而后者是密集的，具有丰富的纹理和颜色信息，但难以提取来自的强大的3D表示。在本文中，我们提出了一种新的数据融合算法，将准确的点云与致密的，但不太精确的点云组合在立体对。我们开发一个框架，将该算法集成到各种3D对象检测方法中。我们的框架从两个RGB图像中的2D检测开始，计算截肢和它们的交叉点，从立体声图像创建伪激光雷达数据，并填补了LIDAR数据缺少密集伪激光器的交叉区域的部分要点。我们训练多个3D对象检测方法，并表明我们的融合策略一致地提高了探测器的性能。

对于许多应用程序，包括自动驾驶，机器人抓握和增强现实，单眼3D对象检测是一项基本但非常重要的任务。现有的领先方法倾向于首先估算输入图像的深度，并基于点云检测3D对象。该例程遭受了深度估计和对象检测之间固有的差距。此外，预测误差积累也会影响性能。在本文中，提出了一种名为MonopCN的新方法。引入单频道的洞察力是，我们建议在训练期间模拟基于点云的探测器的特征学习行为。因此，在推理期间，学习的特征和预测将与基于点云的检测器相似。为了实现这一目标，我们建议一个场景级仿真模块，一个ROI级别的仿真模块和一个响应级仿真模块，这些模块逐渐用于检测器的完整特征学习和预测管道。我们将我们的方法应用于著名的M3D-RPN检测器和CADDN检测器，并在Kitti和Waymo Open数据集上进行了广泛的实验。结果表明，我们的方法始终提高不同边缘的不同单眼探测器的性能，而无需更改网络体系结构。我们的方法最终达到了最先进的性能。

快速的基于立体声的3D对象探测器最近在推理时间感到很大进展。然而，它们的精确度远远落后于高精度的方法。我们认为主要原因是快速立体声方法中缺失或差的3D几何特征表示。为了解决这个问题，我们提出了一个有效的几何特征生成网络（EGFN）。我们的EGFN的关键是一种有效且有效的3D几何特征表示（EGFR）模块。在EGFR模块中，首先生成轻量级成本体积特征，然后将其有效地转换为3D空间，并且最后进行图像和3D空间中的多尺度特征，以获得3D几何特征：增强的轻量级voxel特色。此外，我们介绍了一种新的多尺度知识蒸馏策略，以指导多尺度3D几何特征学习。公共基准测试集的实验结果表明，建议的EGFN优于Yolostsereo3D，先进的快速方法，在Map $ 5.16 \％上的$ _ {3d} $以仅需12毫秒的成本，因此实现了更好的权衡立体声3D对象检测的准确性和效率。我们的代码将公开提供。

Compared to typical multi-sensor systems, monocular 3D object detection has attracted much attention due to its simple configuration. However, there is still a significant gap between LiDAR-based and monocular-based methods. In this paper, we find that the ill-posed nature of monocular imagery can lead to depth ambiguity. Specifically, objects with different depths can appear with the same bounding boxes and similar visual features in the 2D image. Unfortunately, the network cannot accurately distinguish different depths from such non-discriminative visual features, resulting in unstable depth training. To facilitate depth learning, we propose a simple yet effective plug-and-play module, One Bounding Box Multiple Objects (OBMO). Concretely, we add a set of suitable pseudo labels by shifting the 3D bounding box along the viewing frustum. To constrain the pseudo-3D labels to be reasonable, we carefully design two label scoring strategies to represent their quality. In contrast to the original hard depth labels, such soft pseudo labels with quality scores allow the network to learn a reasonable depth range, boosting training stability and thus improving final performance. Extensive experiments on KITTI and Waymo benchmarks show that our method significantly improves state-of-the-art monocular 3D detectors by a significant margin (The improvements under the moderate setting on KITTI validation set are $\mathbf{1.82\sim 10.91\%}$ mAP in BEV and $\mathbf{1.18\sim 9.36\%}$ mAP in 3D}. Codes have been released at https://github.com/mrsempress/OBMO.

它得到了很好的认识到，从深度感知的LIDAR点云和语义富有的立体图像中融合互补信息将有利于3D对象检测。然而，探索稀疏3D点和密集2D像素之间固有的不自然相互作用并不重要。为了简化这种困难，最近的建议通常将3D点投影到2D图像平面上以对图像数据进行采样，然后聚合点处的数据。然而，这种方法往往遭受点云和RGB图像的分辨率之间的不匹配，导致次优性能。具体地，作为多模态数据聚合位置的稀疏点导致高分辨率图像的严重信息丢失，这反过来破坏了多传感器融合的有效性。在本文中，我们呈现VPFNET - 一种新的架构，可以在“虚拟”点处巧妙地对齐和聚合点云和图像数据。特别地，它们的密度位于3D点和2D像素的密度之间，虚拟点可以很好地桥接两个传感器之间的分辨率间隙，从而保持更多信息以进行处理。此外，我们还研究了可以应用于点云和RGB图像的数据增强技术，因为数据增强对迄今为止对3D对象探测器的贡献不可忽略。我们对Kitti DataSet进行了广泛的实验，与最先进的方法相比，观察到了良好的性能。值得注意的是，我们的VPFNET在KITTI测试集上实现了83.21 \％中等3D AP和91.86 \％适度的BEV AP，自2021年5月21日起排名第一。网络设计也考虑了计算效率 - 我们可以实现FPS 15对单个NVIDIA RTX 2080TI GPU。该代码将用于复制和进一步调查。

基于摄像头的3D对象探测器由于其更广泛的部署而欢迎其比LIDAR传感器较低。我们首先重新访问先前的立体声检测器DSGN，以表示代表3D几何和语义的立体音量构建方式。我们抛光立体声建模，并提出高级版本DSGN ++，旨在在三个主要方面增强整个2d到3D管道的有效信息流。首先，为了有效地将2D信息提高到立体声音量，我们提出了深度扫地（DPS），以允许较密集的连接并提取深度引导的特征。其次，为了掌握不同间距的功能，我们提出了一个新颖的立体声音量 - 双视立体声卷（DSV），该卷（DSV）集成了前视图和顶部视图功能，并重建了相机frustum中的子素深度。第三，随着前景区域在3D空间中的占主导地位，我们提出了一种多模式数据编辑策略-Stereo-lidar拷贝性 - 可确保跨模式对齐并提高数据效率。没有铃铛和哨子，在流行的Kitti基准测试中的各种模式设置中进行了广泛的实验表明，我们的方法始终优于所有类别的基于相机的3D检测器。代码可从https://github.com/chenyilun95/dsgn2获得。

在鸟眼中学习强大的表现（BEV），以进行感知任务，这是趋势和吸引行业和学术界的广泛关注。大多数自动驾驶算法的常规方法在正面或透视视图中执行检测，细分，跟踪等。随着传感器配置变得越来越复杂，从不同的传感器中集成了多源信息，并在统一视图中代表功能至关重要。 BEV感知继承了几个优势，因为代表BEV中的周围场景是直观和融合友好的。对于BEV中的代表对象，对于随后的模块，如计划和/或控制是最可取的。 BEV感知的核心问题在于（a）如何通过从透视视图到BEV来通过视图转换来重建丢失的3D信息； （b）如何在BEV网格中获取地面真理注释； （c）如何制定管道以合并来自不同来源和视图的特征； （d）如何适应和概括算法作为传感器配置在不同情况下各不相同。在这项调查中，我们回顾了有关BEV感知的最新工作，并对不同解决方案进行了深入的分析。此外，还描述了该行业的BEV方法的几种系统设计。此外，我们推出了一套完整的实用指南，以提高BEV感知任务的性能，包括相机，激光雷达和融合输入。最后，我们指出了该领域的未来研究指示。我们希望该报告能阐明社区，并鼓励对BEV感知的更多研究。我们保留一个活跃的存储库来收集最新的工作，并在https://github.com/openperceptionx/bevperception-survey-recipe上提供一包技巧的工具箱。

已经尝试通过融合立体声摄像机图像和激光镜传感器数据或使用LIDAR进行预训练，而仅用于测试的单眼图像来检测3D对象，但是由于精确度较低而仅尝试使用单眼图像序列的尝试较少。另外，当仅使用单眼图像的深度预测时，只能预测尺度不一致的深度，这就是研究人员不愿单独使用单眼图像的原因。因此，我们提出了一种通过仅使用单眼图像序列来预测绝对深度和检测3D对象的方法，通过启用检测网络和深度预测网络的端到端学习。结果，所提出的方法超过了Kitti 3D数据集中性能的其他现有方法。即使在训练期间一起使用单眼图像和3D激光雷达以提高性能，与使用相同输入的其他方法相比，我们的展览也是最佳性能。此外，端到端学习不仅可以改善深度预测性能，而且还可以实现绝对深度预测，因为我们的网络利用了这样一个事实，即3D对象（例如汽车）的大小由大约大小确定。

单眼3D对象检测是自动驾驶和计算机视觉社区中的一项挑战。作为一种常见的做法，大多数以前的作品都使用手动注释的3D盒标签，其中注释过程很昂贵。在本文中，我们发现在单眼3D检测中，精确和仔细注释的标签可能是不必要的，这是一个有趣且违反直觉的发现。与使用地面真相标签相比，使用随机干扰的粗糙标签，检测器可以达到非常接近的精度。我们深入研究了这种潜在的机制，然后从经验上发现：关于标签精度，与标签的其他部分相比，标签中的3D位置部分是优选的。由上面的结论和考虑到精确的LIDAR 3D测量的动机，我们提出了一个简单有效的框架，称为LiDAR Point Cloud引导的单眼3D对象检测（LPCG）。该框架能够降低注释成本或大大提高检测准确性，而无需引入额外的注释成本。具体而言，它从未标记的LIDAR点云生成伪标签。得益于3D空间中精确的LIDAR 3D测量值，由于其3D位置信息是精确的，因此，此类伪标签可以替换单眼3D检测器训练中手动注释的标签。可以将LPCG应用于任何单眼3D检测器中，以完全使用自动驾驶系统中的大量未标记数据。结果，在KITTI基准测试中，我们在单眼3D和BEV（Bird's-eye-tive）检测中都获得了明显差的检测。在Waymo基准测试中，我们使用10％标记数据的方法使用100％标记的数据获得了与基线探测器的可比精度。这些代码在https://github.com/spengliang/lpcg上发布。

由于LIDAR传感器捕获的精确深度信息缺乏准确的深度信息，单眼3D对象检测是一个关键而挑战的自主驾驶任务。在本文中，我们提出了一种立体引导的单目3D对象检测网络，称为SGM3D，其利用立体图像提取的鲁棒3D特征来增强从单眼图像中学到的特征。我们创新地研究了多粒度域适配模块（MG-DA）以利用网络的能力，以便仅基于单手套提示产生立体模拟功能。利用粗均衡特征级以及精细锚级域适配，以引导单眼分支。我们介绍了一个基于IOO匹配的对齐模块（iou-ma），用于立体声和单眼域之间的对象级域适应，以减轻先前阶段中的不匹配。我们对最具挑战性的基蒂和Lyft数据集进行了广泛的实验，并实现了新的最先进的性能。此外，我们的方法可以集成到许多其他单眼的方法中以提高性能而不引入任何额外的计算成本。

LiDAR-based 3D Object detectors have achieved impressive performances in many benchmarks, however, multisensors fusion-based techniques are promising to further improve the results. PointPainting, as a recently proposed framework, can add the semantic information from the 2D image into the 3D LiDAR point by the painting operation to boost the detection performance. However, due to the limited resolution of 2D feature maps, severe boundary-blurring effect happens during re-projection of 2D semantic segmentation into the 3D point clouds. To well handle this limitation, a general multimodal fusion framework MSF has been proposed to fuse the semantic information from both the 2D image and 3D points scene parsing results. Specifically, MSF includes three main modules. First, SOTA off-the-shelf 2D/3D semantic segmentation approaches are employed to generate the parsing results for 2D images and 3D point clouds. The 2D semantic information is further re-projected into the 3D point clouds with calibrated parameters. To handle the misalignment between the 2D and 3D parsing results, an AAF module is proposed to fuse them by learning an adaptive fusion score. Then the point cloud with the fused semantic label is sent to the following 3D object detectors. Furthermore, we propose a DFF module to aggregate deep features in different levels to boost the final detection performance. The effectiveness of the framework has been verified on two public large-scale 3D object detection benchmarks by comparing with different baselines. The experimental results show that the proposed fusion strategies can significantly improve the detection performance compared to the methods using only point clouds and the methods using only 2D semantic information. Most importantly, the proposed approach significantly outperforms other approaches and sets new SOTA results on the nuScenes testing benchmark.

鉴于其经济性与多传感器设置相比，从单眼输入中感知的3D对象对于机器人系统至关重要。它非常困难，因为单个图像无法提供预测绝对深度值的任何线索。通过双眼方法进行3D对象检测，我们利用了相机自我运动提供的强几何结构来进行准确的对象深度估计和检测。我们首先对此一般的两视案例进行了理论分析，并注意两个挑战：1）来自多个估计的累积错误，这些估计使直接预测棘手； 2）由静态摄像机和歧义匹配引起的固有难题。因此，我们建立了具有几何感知成本量的立体声对应关系，作为深度估计的替代方案，并以单眼理解进一步补偿了它，以解决第二个问题。我们的框架（DFM）命名为深度（DFM），然后使用已建立的几何形状将2D图像特征提升到3D空间并检测到其3D对象。我们还提出了一个无姿势的DFM，以使其在摄像头不可用时可用。我们的框架在Kitti基准测试上的优于最先进的方法。详细的定量和定性分析也验证了我们的理论结论。该代码将在https://github.com/tai-wang/depth-from-motion上发布。

最近，融合了激光雷达点云和相机图像，提高了3D对象检测的性能和稳健性，因为这两种方式自然具有强烈的互补性。在本文中，我们通过引入新型级联双向融合〜（CB融合）模块和多模态一致性〜（MC）损耗来提出用于多模态3D对象检测的EPNet ++。更具体地说，所提出的CB融合模块提高点特征的丰富语义信息，以级联双向交互融合方式具有图像特征，导致更全面且辨别的特征表示。 MC损失明确保证预测分数之间的一致性，以获得更全面且可靠的置信度分数。基蒂，JRDB和Sun-RGBD数据集的实验结果展示了通过最先进的方法的EPNet ++的优越性。此外，我们强调一个关键但很容易被忽视的问题，这是探讨稀疏场景中的3D探测器的性能和鲁棒性。广泛的实验存在，EPNet ++优于现有的SOTA方法，在高稀疏点云壳中具有显着的边距，这可能是降低LIDAR传感器的昂贵成本的可用方向。代码将来会发布。

In this paper we propose to exploit multiple related tasks for accurate multi-sensor 3D object detection. Towards this goal we present an end-to-end learnable architecture that reasons about 2D and 3D object detection as well as ground estimation and depth completion. Our experiments show that all these tasks are complementary and help the network learn better representations by fusing information at various levels. Importantly, our approach leads the KITTI benchmark on 2D, 3D and bird's eye view object detection, while being real-time. * Equal contribution.† Work done as part of Uber AI Residency program.

具有多传感器的3D对象检测对于自主驾驶和机器人技术的准确可靠感知系统至关重要。现有的3D探测器通过采用两阶段范式来显着提高准确性，这仅依靠激光点云进行3D提案的细化。尽管令人印象深刻，但点云的稀疏性，尤其是对于遥远的点，使得仅激光雷达的完善模块难以准确识别和定位对象。要解决这个问题，我们提出了一种新颖的多模式两阶段方法FusionRcnn，有效，有效地融合了感兴趣区域（ROI）的点云和摄像头图像。 FusionRcnn自适应地整合了LiDAR的稀疏几何信息和统一注意机制中相机的密集纹理信息。具体而言，它首先利用RoiPooling获得具有统一大小的图像集，并通过在ROI提取步骤中的建议中采样原始点来获取点设置；然后利用模式内的自我注意力来增强域特异性特征，此后通过精心设计的跨注意事项融合了来自两种模态的信息。FusionRCNN从根本上是插件，并支持不同的单阶段方法与不同的单阶段方法。几乎没有建筑变化。对Kitti和Waymo基准测试的广泛实验表明，我们的方法显着提高了流行探测器的性能。可取，FusionRCNN在Waymo上的FusionRCNN显着提高了强大的第二基线，而Waymo上的MAP则超过6.14％，并且优于竞争两阶段方法的表现。代码将很快在https://github.com/xxlbigbrother/fusion-rcnn上发布。

由于经过验证的2D检测技术的适用性，大多数当前点云检测器都广泛采用了鸟类视图（BEV）。但是，现有方法通过简单地沿高度尺寸折叠的体素或点特征来获得BEV特征，从而导致3D空间信息的重丢失。为了减轻信息丢失，我们提出了一个基于多级特征降低降低策略的新颖点云检测网络，称为MDRNET。在MDRNET中，空间感知的维度降低（SDR）旨在在体素至BEV特征转换过程中动态关注对象的宝贵部分。此外，提出了多级空间残差（MSR），以融合BEV特征图中的多级空间信息。关于Nuscenes的广泛实验表明，该提出的方法的表现优于最新方法。该代码将在出版时提供。

基于LIDAR的传感驱动器电流自主车辆。尽管进展迅速，但目前的激光雷达传感器在分辨率和成本方面仍然落后于传统彩色相机背后的二十年。对于自主驾驶，这意味着靠近传感器的大物体很容易可见，但远方或小物体仅包括一个测量或两个。这是一个问题，尤其是当这些对象结果驾驶危险时。另一方面，在车载RGB传感器中清晰可见这些相同的对象。在这项工作中，我们提出了一种将RGB传感器无缝熔化成基于LIDAR的3D识别方法。我们的方法采用一组2D检测来生成密集的3D虚拟点，以增加否则稀疏的3D点云。这些虚拟点自然地集成到任何基于标准的LIDAR的3D探测器以及常规激光雷达测量。由此产生的多模态检测器简单且有效。大规模NUSCENES数据集的实验结果表明，我们的框架通过显着的6.6地图改善了强大的中心点基线，并且优于竞争融合方法。代码和更多可视化可在https://tianweiy.github.io/mvp/上获得

In this work, we study 3D object detection from RGB-D data in both indoor and outdoor scenes. While previous methods focus on images or 3D voxels, often obscuring natural 3D patterns and invariances of 3D data, we directly operate on raw point clouds by popping up RGB-D scans. However, a key challenge of this approach is how to efficiently localize objects in point clouds of large-scale scenes (region proposal). Instead of solely relying on 3D proposals, our method leverages both mature 2D object detectors and advanced 3D deep learning for object localization, achieving efficiency as well as high recall for even small objects. Benefited from learning directly in raw point clouds, our method is also able to precisely estimate 3D bounding boxes even under strong occlusion or with very sparse points. Evaluated on KITTI and SUN RGB-D 3D detection benchmarks, our method outperforms the state of the art by remarkable margins while having real-time capability. * Majority of the work done as an intern at Nuro, Inc. depth to point cloud 2D region (from CNN) to 3D frustum 3D box (from PointNet)