单眼3D对象检测是自动驾驶和计算机视觉社区中的一项挑战。作为一种常见的做法，大多数以前的作品都使用手动注释的3D盒标签，其中注释过程很昂贵。在本文中，我们发现在单眼3D检测中，精确和仔细注释的标签可能是不必要的，这是一个有趣且违反直觉的发现。与使用地面真相标签相比，使用随机干扰的粗糙标签，检测器可以达到非常接近的精度。我们深入研究了这种潜在的机制，然后从经验上发现：关于标签精度，与标签的其他部分相比，标签中的3D位置部分是优选的。由上面的结论和考虑到精确的LIDAR 3D测量的动机，我们提出了一个简单有效的框架，称为LiDAR Point Cloud引导的单眼3D对象检测（LPCG）。该框架能够降低注释成本或大大提高检测准确性，而无需引入额外的注释成本。具体而言，它从未标记的LIDAR点云生成伪标签。得益于3D空间中精确的LIDAR 3D测量值，由于其3D位置信息是精确的，因此，此类伪标签可以替换单眼3D检测器训练中手动注释的标签。可以将LPCG应用于任何单眼3D检测器中，以完全使用自动驾驶系统中的大量未标记数据。结果，在KITTI基准测试中，我们在单眼3D和BEV（Bird's-eye-tive）检测中都获得了明显差的检测。在Waymo基准测试中，我们使用10％标记数据的方法使用100％标记的数据获得了与基线探测器的可比精度。这些代码在https://github.com/spengliang/lpcg上发布。

Compared to typical multi-sensor systems, monocular 3D object detection has attracted much attention due to its simple configuration. However, there is still a significant gap between LiDAR-based and monocular-based methods. In this paper, we find that the ill-posed nature of monocular imagery can lead to depth ambiguity. Specifically, objects with different depths can appear with the same bounding boxes and similar visual features in the 2D image. Unfortunately, the network cannot accurately distinguish different depths from such non-discriminative visual features, resulting in unstable depth training. To facilitate depth learning, we propose a simple yet effective plug-and-play module, One Bounding Box Multiple Objects (OBMO). Concretely, we add a set of suitable pseudo labels by shifting the 3D bounding box along the viewing frustum. To constrain the pseudo-3D labels to be reasonable, we carefully design two label scoring strategies to represent their quality. In contrast to the original hard depth labels, such soft pseudo labels with quality scores allow the network to learn a reasonable depth range, boosting training stability and thus improving final performance. Extensive experiments on KITTI and Waymo benchmarks show that our method significantly improves state-of-the-art monocular 3D detectors by a significant margin (The improvements under the moderate setting on KITTI validation set are $\mathbf{1.82\sim 10.91\%}$ mAP in BEV and $\mathbf{1.18\sim 9.36\%}$ mAP in 3D}. Codes have been released at https://github.com/mrsempress/OBMO.

由于其低成本和设置简单性，单眼3D检测引起了社区的广泛关注。它以RGB图像为输入，并预测3D空间中的3D框。最具挑战性的子任务在于实例深度估计。以前的工作通常使用直接估计方法。但是，在本文中，我们指出RGB图像的实例深度是非直觉的。它是由视觉深度线索和实例属性线索结合在一起的，因此很难在网络中直接学习。因此，我们建议将实例深度重新调整为实例视觉表面深度（视觉深度）和实例属性深度（属性深度）的组合。视觉深度与对象的外观和图像上的位置有关。相比之下，属性深度依赖于对象的固有属性，这些属性与图像上的对象仿射转换不变。相应地，我们将3D位置的不确定性分解为视觉深度不确定性和属性深度不确定性。通过结合不同类型的深度和相关的不确定性，我们可以获得最终的实例深度。此外，单眼3D检测中的数据增强通常由于身体性质而受到限制，从而阻碍了性能的提高。根据提出的实例深度分解策略，我们可以缓解此问题。对Kitti进行了评估，我们的方法实现了新的最新结果，并且广泛的消融研究验证了我们方法中每个组件的有效性。这些代码在https://github.com/spengliang/did-m3d上发布。

基于图像的3D检测是自主驾驶感知系统的必不可少的组成部分。但是，它仍然受到不满意的表现，这是有限的培训数据的主要原因之一。不幸的是，在3D空间中注释对象是极度时间/资源消耗的，这使得很难任意扩展训练集。在这项工作中，我们专注于半监督的方式，并探索更便宜的替代方案（即伪标记）的可行性，以利用未标记的数据。为此，我们进行了广泛的实验，以研究伪标签是否可以在不同环境下为基线模型提供有效的监督。实验结果不仅证明了基于图像的3D检测的伪标记机制的有效性（例如，在单眼设置下，我们在没有铃铛和哨声的Kitti-3D测试集上实现了20.23 AP，用于中等水平，从6.03 AP），但还显示了几个有趣且值得注意的发现（例如，经过伪标签训练的模型的性能要比基于相同培训数据的地面真相注释训练的表现更好）。我们希望这项工作可以在半监督环境下为基于图像的3D检测社区提供见解。代码，伪标签和预培训模型将公开可用。

3D object detection is an essential task in autonomous driving. Recent techniques excel with highly accurate detection rates, provided the 3D input data is obtained from precise but expensive LiDAR technology. Approaches based on cheaper monocular or stereo imagery data have, until now, resulted in drastically lower accuracies -a gap that is commonly attributed to poor image-based depth estimation. However, in this paper we argue that it is not the quality of the data but its representation that accounts for the majority of the difference. Taking the inner workings of convolutional neural networks into consideration, we propose to convert image-based depth maps to pseudo-LiDAR representations -essentially mimicking the LiDAR signal. With this representation we can apply different existing LiDAR-based detection algorithms. On the popular KITTI benchmark, our approach achieves impressive improvements over the existing state-of-the-art in image-based performance -raising the detection accuracy of objects within the 30m range from the previous state-of-the-art of 22% to an unprecedented 74%. At the time of submission our algorithm holds the highest entry on the KITTI 3D object detection leaderboard for stereo-image-based approaches. Our code is publicly available at https: //github.com/mileyan/pseudo_lidar.

对于许多应用程序，包括自动驾驶，机器人抓握和增强现实，单眼3D对象检测是一项基本但非常重要的任务。现有的领先方法倾向于首先估算输入图像的深度，并基于点云检测3D对象。该例程遭受了深度估计和对象检测之间固有的差距。此外，预测误差积累也会影响性能。在本文中，提出了一种名为MonopCN的新方法。引入单频道的洞察力是，我们建议在训练期间模拟基于点云的探测器的特征学习行为。因此，在推理期间，学习的特征和预测将与基于点云的检测器相似。为了实现这一目标，我们建议一个场景级仿真模块，一个ROI级别的仿真模块和一个响应级仿真模块，这些模块逐渐用于检测器的完整特征学习和预测管道。我们将我们的方法应用于著名的M3D-RPN检测器和CADDN检测器，并在Kitti和Waymo Open数据集上进行了广泛的实验。结果表明，我们的方法始终提高不同边缘的不同单眼探测器的性能，而无需更改网络体系结构。我们的方法最终达到了最先进的性能。

单眼3D对象检测是自动驾驶的重要感知任务。但是，对大型标记数据的高度依赖使其在模型优化过程中昂贵且耗时。为了减少对人类注释的过度依赖，我们提出了混合教学，这是一个有效的半监督学习框架，适用于在训练阶段采用标签和未标记的图像。教学首先通过自我训练生成用于未标记图像的伪标记。然后，通过将实例级图像贴片合并到空背景或标记的图像中，对学生模型进行了更密集和精确的标签的混合图像训练。这是第一个打破图像级限制并将高质量的伪标签从多帧放入一个图像进行半监督训练的图像。此外，由于置信度评分和本地化质量之间的错位，很难仅使用基于置信度的标准将高质量的伪标签与嘈杂的预测区分开。为此，我们进一步引入了一个基于不确定性的过滤器，以帮助选择可靠的伪框来进行上述混合操作。据我们所知，这是单眼3D对象检测的第一个统一SSL框架。在KITTI数据集上的各种标签比下，混合教学始终通过大幅度的边缘改善了单支持者和GUPNET。例如，我们的方法在仅使用10％标记的数据时，在验证集上对GUPNET基线的改进约为 +6.34％ap@0.7。此外，通过利用完整的训练套件和Kitti的另外48K RAW图像，它可以进一步提高单声道 +4.65％的ap@0.7，以提高汽车检测，达到18.54％ap@0.7基于Kitti测试排行榜的方法。代码和预估计的模型将在https://github.com/yanglei18/mix-teaching上发布。

尽管收集了越来越多的数据集用于培训3D对象检测模型，但在LiDar扫描上注释3D盒仍然需要大量的人类努力。为了自动化注释并促进了各种自定义数据集的生产，我们提出了一个端到端的多模式变压器（MTRANS）自动标签器，该标签既利用LIDAR扫描和图像，以生成来自弱2D边界盒的精确的3D盒子注释。为了减轻阻碍现有自动标签者的普遍稀疏性问题，MTRAN通过基于2D图像信息生成新的3D点来致密稀疏点云。凭借多任务设计，MTRANS段段前景/背景片段，使LIDAR POINT CLUENS云密布，并同时回归3D框。实验结果验证了MTRAN对提高生成标签质量的有效性。通过丰富稀疏点云，我们的方法分别在Kitti中度和硬样品上获得了4.48 \％和4.03 \％更好的3D AP，而不是最先进的自动标签器。也可以扩展Mtrans以提高3D对象检测的准确性，从而在Kitti硬样品上产生了显着的89.45 \％AP。代码位于\ url {https://github.com/cliu2/mtrans}。

3D object detection is vital as it would enable us to capture objects' sizes, orientation, and position in the world. As a result, we would be able to use this 3D detection in real-world applications such as Augmented Reality (AR), self-driving cars, and robotics which perceive the world the same way we do as humans. Monocular 3D Object Detection is the task to draw 3D bounding box around objects in a single 2D RGB image. It is localization task but without any extra information like depth or other sensors or multiple images. Monocular 3D object detection is an important yet challenging task. Beyond the significant progress in image-based 2D object detection, 3D understanding of real-world objects is an open challenge that has not been explored extensively thus far. In addition to the most closely related studies.

伪LIDAR表示的建议显着缩小了基于视觉的基于视觉激光痛的3D对象检测之间的差距。但是，当前的研究仅专注于通过利用复杂且耗时的神经网络来推动伪LIDAR的准确性提高。很少探索伪LIDAR代表的深刻特征来获得促进机会。在本文中，我们深入研究伪激光雷达表示，并认为3D对象检测的性能并不完全取决于高精度立体声深度估计。我们证明，即使对于不可靠的深度估计，通过适当的数据处理和精炼，它也可以达到可比的3D对象检测准确性。有了这一发现，我们进一步表明了使用伪大部分系统中快速但不准确的立体声匹配算法来实现低潜伏期响应的可能性。在实验中，我们开发了一个具有功能较低的立体声匹配预测指标的系统，并采用了提出的改进方案来提高准确性。对KITTI基准测试的评估表明，所提出的系统仅使用23毫秒的计算来实现最先进方法的竞争精度，这表明它是部署到真实CAR-HOLD应用程序的合适候选者。

它得到了很好的认识到，从深度感知的LIDAR点云和语义富有的立体图像中融合互补信息将有利于3D对象检测。然而，探索稀疏3D点和密集2D像素之间固有的不自然相互作用并不重要。为了简化这种困难，最近的建议通常将3D点投影到2D图像平面上以对图像数据进行采样，然后聚合点处的数据。然而，这种方法往往遭受点云和RGB图像的分辨率之间的不匹配，导致次优性能。具体地，作为多模态数据聚合位置的稀疏点导致高分辨率图像的严重信息丢失，这反过来破坏了多传感器融合的有效性。在本文中，我们呈现VPFNET - 一种新的架构，可以在“虚拟”点处巧妙地对齐和聚合点云和图像数据。特别地，它们的密度位于3D点和2D像素的密度之间，虚拟点可以很好地桥接两个传感器之间的分辨率间隙，从而保持更多信息以进行处理。此外，我们还研究了可以应用于点云和RGB图像的数据增强技术，因为数据增强对迄今为止对3D对象探测器的贡献不可忽略。我们对Kitti DataSet进行了广泛的实验，与最先进的方法相比，观察到了良好的性能。值得注意的是，我们的VPFNET在KITTI测试集上实现了83.21 \％中等3D AP和91.86 \％适度的BEV AP，自2021年5月21日起排名第一。网络设计也考虑了计算效率 - 我们可以实现FPS 15对单个NVIDIA RTX 2080TI GPU。该代码将用于复制和进一步调查。

由于LIDAR传感器捕获的精确深度信息缺乏准确的深度信息，单眼3D对象检测是一个关键而挑战的自主驾驶任务。在本文中，我们提出了一种立体引导的单目3D对象检测网络，称为SGM3D，其利用立体图像提取的鲁棒3D特征来增强从单眼图像中学到的特征。我们创新地研究了多粒度域适配模块（MG-DA）以利用网络的能力，以便仅基于单手套提示产生立体模拟功能。利用粗均衡特征级以及精细锚级域适配，以引导单眼分支。我们介绍了一个基于IOO匹配的对齐模块（iou-ma），用于立体声和单眼域之间的对象级域适应，以减轻先前阶段中的不匹配。我们对最具挑战性的基蒂和Lyft数据集进行了广泛的实验，并实现了新的最先进的性能。此外，我们的方法可以集成到许多其他单眼的方法中以提高性能而不引入任何额外的计算成本。

低成本单眼的3D对象检测在自主驾驶中起着基本作用，而其精度仍然远非令人满意。在本文中，我们挖掘了3D对象检测任务，并将其重构为对象本地化和外观感知的子任务，这有​​利于整个任务的互惠信息的深度挖掘。我们介绍了一个名为DFR-Net的动态特征反射网络，其中包含两种新的独立模块：（i）首先将任务特征分开的外观定位特征反射模块（ALFR），然后自相互反映互核特征; （ii）通过自学习方式自适应地重建各个子任务的培训过程的动态内部交易模块（DIT）。关于挑战基蒂数据集的广泛实验证明了DFR网的有效性和泛化。我们在基蒂测试集中的所有单眼3D对象探测器中排名第一（直到2021年3月16日）。所提出的方法在许多尖端的3D检测框架中也容易在较忽略的成本下以忽略的成本来播放。该代码将公开可用。

基于LIDAR的传感驱动器电流自主车辆。尽管进展迅速，但目前的激光雷达传感器在分辨率和成本方面仍然落后于传统彩色相机背后的二十年。对于自主驾驶，这意味着靠近传感器的大物体很容易可见，但远方或小物体仅包括一个测量或两个。这是一个问题，尤其是当这些对象结果驾驶危险时。另一方面，在车载RGB传感器中清晰可见这些相同的对象。在这项工作中，我们提出了一种将RGB传感器无缝熔化成基于LIDAR的3D识别方法。我们的方法采用一组2D检测来生成密集的3D虚拟点，以增加否则稀疏的3D点云。这些虚拟点自然地集成到任何基于标准的LIDAR的3D探测器以及常规激光雷达测量。由此产生的多模态检测器简单且有效。大规模NUSCENES数据集的实验结果表明，我们的框架通过显着的6.6地图改善了强大的中心点基线，并且优于竞争融合方法。代码和更多可视化可在https://tianweiy.github.io/mvp/上获得

In this work, we study 3D object detection from RGB-D data in both indoor and outdoor scenes. While previous methods focus on images or 3D voxels, often obscuring natural 3D patterns and invariances of 3D data, we directly operate on raw point clouds by popping up RGB-D scans. However, a key challenge of this approach is how to efficiently localize objects in point clouds of large-scale scenes (region proposal). Instead of solely relying on 3D proposals, our method leverages both mature 2D object detectors and advanced 3D deep learning for object localization, achieving efficiency as well as high recall for even small objects. Benefited from learning directly in raw point clouds, our method is also able to precisely estimate 3D bounding boxes even under strong occlusion or with very sparse points. Evaluated on KITTI and SUN RGB-D 3D detection benchmarks, our method outperforms the state of the art by remarkable margins while having real-time capability. * Majority of the work done as an intern at Nuro, Inc. depth to point cloud 2D region (from CNN) to 3D frustum 3D box (from PointNet)

来自LIDAR或相机传感器的3D对象检测任务对于自动驾驶至关重要。先锋尝试多模式融合的尝试补充了稀疏的激光雷达点云，其中包括图像的丰富语义纹理信息，以额外的网络设计和开销为代价。在这项工作中，我们提出了一个名为SPNET的新型语义传递框架，以通过丰富的上下文绘画的指导来提高现有基于激光雷达的3D检测模型的性能，在推理过程中没有额外的计算成本。我们的关键设计是首先通过训练语义绘制的教师模型来利用地面真实标签中潜在的指导性语义知识，然后引导纯LIDAR网络通过不同的粒度传播模块来学习语义绘制的表示：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类：类别：类别：类别：类别：类别：类别：类别： - 通过，像素的传递和实例传递。实验结果表明，所提出的SPNET可以与大多数现有的3D检测框架无缝合作，其中AP增益为1〜5％，甚至在KITTI测试基准上实现了新的最新3D检测性能。代码可在以下网址获得：https：//github.com/jb892/sp​​net。

大多数自治车辆都配备了LIDAR传感器和立体声相机。前者非常准确，但产生稀疏数据，而后者是密集的，具有丰富的纹理和颜色信息，但难以提取来自的强大的3D表示。在本文中，我们提出了一种新的数据融合算法，将准确的点云与致密的，但不太精确的点云组合在立体对。我们开发一个框架，将该算法集成到各种3D对象检测方法中。我们的框架从两个RGB图像中的2D检测开始，计算截肢和它们的交叉点，从立体声图像创建伪激光雷达数据，并填补了LIDAR数据缺少密集伪激光器的交叉区域的部分要点。我们训练多个3D对象检测方法，并表明我们的融合策略一致地提高了探测器的性能。

自动驾驶汽车必须在3D中检测其他车辆和行人，以计划安全路线并避免碰撞。基于深度学习的最先进的3D对象探测器已显示出有希望的准确性，但容易过度拟合域特质，使它们在新环境中失败 - 如果自动驾驶汽车旨在自动操作，则是一个严重的问题。在本文中，我们提出了一种新颖的学习方法，该方法通过在目标域中的伪标记上微调检测器，从而大大减少这一差距，我们的方法在车辆停放时会根据先前记录的驾驶序列的重播而生成的差距。在这些重播中，随着时间的推移会跟踪对象，并且检测被插值和外推 - 至关重要的是利用未来的信息来捕获硬病例。我们在五个自动驾驶数据集上显示，对这些伪标签上的对象检测器进行微调大大减少了域间隙到新的驾驶环境，从而极大地提高了准确性和检测可靠性。

在本文中，我们提出了激光雷达蒸馏，以弥合由不同的激光束引起的3D对象检测的域间隙。在许多现实世界中，大规模生产的机器人和车辆使用的激光点通常比大型公共数据集的光束少。此外，随着LIDARS升级到具有不同光束量的其他产品模型，使用先前版本的高分辨率传感器捕获的标记数据变得具有挑战性。尽管域自适应3D检测最近取得了进展，但大多数方法都难以消除梁诱导的域间隙。我们发现，在训练过程中，必须将源域的点云密度与目标域的点云密度保持一致。受到这一发现的启发，我们提出了一个渐进式框架，以减轻光束诱导的域移位。在每次迭代中，我们首先通过下采样高光束点云来产生低光束伪激光雷达。然后，使用教师学生的框架来将丰富的信息从数据中提取更多的信息。 Waymo，Nuscenes和Kitti数据集的大量实验具有三个不同的基于激光雷达的探测器，这证明了我们激光蒸馏的有效性。值得注意的是，我们的方法不会增加推理的任何额外计算成本。

基于摄像头的3D对象探测器由于其更广泛的部署而欢迎其比LIDAR传感器较低。我们首先重新访问先前的立体声检测器DSGN，以表示代表3D几何和语义的立体音量构建方式。我们抛光立体声建模，并提出高级版本DSGN ++，旨在在三个主要方面增强整个2d到3D管道的有效信息流。首先，为了有效地将2D信息提高到立体声音量，我们提出了深度扫地（DPS），以允许较密集的连接并提取深度引导的特征。其次，为了掌握不同间距的功能，我们提出了一个新颖的立体声音量 - 双视立体声卷（DSV），该卷（DSV）集成了前视图和顶部视图功能，并重建了相机frustum中的子素深度。第三，随着前景区域在3D空间中的占主导地位，我们提出了一种多模式数据编辑策略-Stereo-lidar拷贝性 - 可确保跨模式对齐并提高数据效率。没有铃铛和哨子，在流行的Kitti基准测试中的各种模式设置中进行了广泛的实验表明，我们的方法始终优于所有类别的基于相机的3D检测器。代码可从https://github.com/chenyilun95/dsgn2获得。