最先进的对象探测器在许多应用中都有效。通常，基于准确度指标（例如平均平均精度）对其性能进行评估。在本文中，我们考虑了在自动驾驶（AD）的背景下3D对象探测器的安全性。特别是，我们提出了对AD中对象探测器的基本安全要求，并将其提出为规范。在配方过程中，我们发现图像上使用预计的2D边界框的抽象3D对象和鸟类视图平面可以为拟议的安全要求提供必要且充分的条件。然后，我们利用分析并根据地面相交的措施以及预测和地面真理之间的距离比率得出定性和定量安全指标。最后，为了持续改进，我们制定了安全损失，可用于优化对象探测器以提高安全分数。我们对MMDetection3D库和Nuscenes数据集的公共模型进行了实验，证明了我们的考虑和建议的有效性。

3D对象检测是安全关键型机器人应用（如自主驾驶）的关键模块。对于这些应用，我们最关心检测如何影响自我代理人的行为和安全性（Egocentric观点）。直观地，当它更有可能干扰自我代理商的运动轨迹时，我们寻求更准确的对象几何描述。然而，基于箱交叉口（IOU）的电流检测指标是以对象为中心的，并且不设计用于捕获物体和自助代理之间的时空关系。为了解决这个问题，我们提出了一种新的EnoCentric测量来评估3D对象检测，即支持距离误差（SDE）。我们基于SDE的分析显示，EPECENTIC检测质量由边界框的粗糙几何形状界定。鉴于SDE将从更准确的几何描述中受益的洞察力，我们建议将物体代表为Amodal轮廓，特别是Amodal星形多边形，并设计简单的模型，椋鸟，预测这种轮廓。我们对大型Waymo公开数据集的实验表明，与IOU相比，SDE更好地反映了检测质量对自我代理人安全的影响;恒星的估计轮廓始终如一地改善最近的3D对象探测器的Enocentric检测质量。

在鸟眼中学习强大的表现（BEV），以进行感知任务，这是趋势和吸引行业和学术界的广泛关注。大多数自动驾驶算法的常规方法在正面或透视视图中执行检测，细分，跟踪等。随着传感器配置变得越来越复杂，从不同的传感器中集成了多源信息，并在统一视图中代表功能至关重要。 BEV感知继承了几个优势，因为代表BEV中的周围场景是直观和融合友好的。对于BEV中的代表对象，对于随后的模块，如计划和/或控制是最可取的。 BEV感知的核心问题在于（a）如何通过从透视视图到BEV来通过视图转换来重建丢失的3D信息； （b）如何在BEV网格中获取地面真理注释； （c）如何制定管道以合并来自不同来源和视图的特征； （d）如何适应和概括算法作为传感器配置在不同情况下各不相同。在这项调查中，我们回顾了有关BEV感知的最新工作，并对不同解决方案进行了深入的分析。此外，还描述了该行业的BEV方法的几种系统设计。此外，我们推出了一套完整的实用指南，以提高BEV感知任务的性能，包括相机，激光雷达和融合输入。最后，我们指出了该领域的未来研究指示。我们希望该报告能阐明社区，并鼓励对BEV感知的更多研究。我们保留一个活跃的存储库来收集最新的工作，并在https://github.com/openperceptionx/bevperception-survey-recipe上提供一包技巧的工具箱。

我们调查在机器学习功能安全的论点中实现了足够严格的问题。通过考虑基于DNN的2D边界箱检测算法的已知弱点，我们通过将其与安全目标相关联锐化不精确的行人定位的度量。锐化导致在标准非最大抑制后引入保守的后处理器作为反措施。然后，我们提出了一个半正式的保证案，以争论后处理器的有效性，这进一步翻译成正式证明论证健全的义务。应用定理证明不仅发现引入缺失的索赔和数学概念的需要，而且还揭示了在半形式论证中使用的Dempster-Shafer规则的限制。

现有检测方法通常使用参数化边界框（Bbox）进行建模和检测（水平）对象，并将其他旋转角参数用于旋转对象。我们认为，这种机制在建立有效的旋转检测回归损失方面具有根本的局限性，尤其是对于高精度检测而言，高精度检测（例如0.75）。取而代之的是，我们建议将旋转的对象建模为高斯分布。一个直接的优势是，我们关于两个高斯人之间距离的新回归损失，例如kullback-leibler Divergence（KLD）可以很好地对齐实际检测性能度量标准，这在现有方法中无法很好地解决。此外，两个瓶颈，即边界不连续性和正方形的问题也消失了。我们还提出了一种有效的基于高斯度量的标签分配策略，以进一步提高性能。有趣的是，通过在基于高斯的KLD损失下分析Bbox参数的梯度，我们表明这些参数通过可解释的物理意义进行了动态更新，这有助于解释我们方法的有效性，尤其是对于高精度检测。我们使用量身定制的算法设计将方法从2-D扩展到3-D，以处理标题估计，并在十二个公共数据集（2-D/3-D，空中/文本/脸部图像）上进行了各种基本检测器的实验结果。展示其优越性。

We address the problem of real-time 3D object detection from point clouds in the context of autonomous driving. Computation speed is critical as detection is a necessary component for safety. Existing approaches are, however, expensive in computation due to high dimensionality of point clouds. We utilize the 3D data more efficiently by representing the scene from the Bird's Eye View (BEV), and propose PIXOR, a proposal-free, single-stage detector that outputs oriented 3D object estimates decoded from pixelwise neural network predictions. The input representation, network architecture, and model optimization are especially designed to balance high accuracy and real-time efficiency. We validate PIXOR on two datasets: the KITTI BEV object detection benchmark, and a large-scale 3D vehicle detection benchmark. In both datasets we show that the proposed detector surpasses other state-of-the-art methods notably in terms of Average Precision (AP), while still runs at > 28 FPS.

Compared to typical multi-sensor systems, monocular 3D object detection has attracted much attention due to its simple configuration. However, there is still a significant gap between LiDAR-based and monocular-based methods. In this paper, we find that the ill-posed nature of monocular imagery can lead to depth ambiguity. Specifically, objects with different depths can appear with the same bounding boxes and similar visual features in the 2D image. Unfortunately, the network cannot accurately distinguish different depths from such non-discriminative visual features, resulting in unstable depth training. To facilitate depth learning, we propose a simple yet effective plug-and-play module, One Bounding Box Multiple Objects (OBMO). Concretely, we add a set of suitable pseudo labels by shifting the 3D bounding box along the viewing frustum. To constrain the pseudo-3D labels to be reasonable, we carefully design two label scoring strategies to represent their quality. In contrast to the original hard depth labels, such soft pseudo labels with quality scores allow the network to learn a reasonable depth range, boosting training stability and thus improving final performance. Extensive experiments on KITTI and Waymo benchmarks show that our method significantly improves state-of-the-art monocular 3D detectors by a significant margin (The improvements under the moderate setting on KITTI validation set are $\mathbf{1.82\sim 10.91\%}$ mAP in BEV and $\mathbf{1.18\sim 9.36\%}$ mAP in 3D}. Codes have been released at https://github.com/mrsempress/OBMO.

人发现是在人居住环境中导航的移动机器人的至关重要任务。激光雷达传感器在此任务中很有希望，这要归功于其准确的深度测量和较大的视野。存在两种类型的LIDAR传感器：扫描单个平面的2D LIDAR传感器和3D激光雷达传感器，它们扫描多个平面，从而形成体积。他们如何比较人检测任务？为了回答这一点，我们使用公共大规模的Jackrabbot数据集以及最先进的2D和3D激光雷达的人检测器（分别是DR-SPAAM和CenterPoint）进行了一系列实验。我们的实验包括多个方面，从基本性能和速度比较到对距离和场景混乱的本地化精度和鲁棒性的更详细分析。这些实验的见解突出了2D和3D激光雷达传感器的优势和劣势作为人检测的来源，并且对于设计将与周围人类密切运行的移动机器人特别有价值（例如，服务或社交机器人）。

In this paper, we propose a novel 3D object detector that can exploit both LIDAR as well as cameras to perform very accurate localization. Towards this goal, we design an end-to-end learnable architecture that exploits continuous convolutions to fuse image and LIDAR feature maps at different levels of resolution. Our proposed continuous fusion layer encode both discrete-state image features as well as continuous geometric information. This enables us to design a novel, reliable and efficient end-to-end learnable 3D object detector based on multiple sensors. Our experimental evaluation on both KITTI as well as a large scale 3D object detection benchmark shows significant improvements over the state of the art.

Figure 1: Results obtained from our single image, monocular 3D object detection network MonoDIS on a KITTI3D test image with corresponding birds-eye view, showing its ability to estimate size and orientation of objects at different scales.

对障碍的看法仍然是自动驾驶汽车的关键安全问题。现实世界中的碰撞表明，导致致命碰撞的自治缺陷源于障碍物的存在。开源自主驾驶实现显示了具有复杂相互依存的深神经网络的感知管道。这些网络无法完全验证，使其不适合安全至关重要的任务。在这项工作中，我们介绍了现有的基于LIDAR的经典障碍物检测算法的安全验证。我们对该障碍检测算法的功能建立了严格的界限。考虑到安全标准，这种界限允许确定可以可靠地满足标准的激光雷达传感器属性。对于基于神经网络的感知系统，此类分析尚未实现。我们对障碍检测系统进行了严格的分析，并基于现实世界传感器数据提供了经验结果。

We present AVOD, an Aggregate View Object Detection network for autonomous driving scenarios. The proposed neural network architecture uses LIDAR point clouds and RGB images to generate features that are shared by two subnetworks: a region proposal network (RPN) and a second stage detector network. The proposed RPN uses a novel architecture capable of performing multimodal feature fusion on high resolution feature maps to generate reliable 3D object proposals for multiple object classes in road scenes. Using these proposals, the second stage detection network performs accurate oriented 3D bounding box regression and category classification to predict the extents, orientation, and classification of objects in 3D space. Our proposed architecture is shown to produce state of the art results on the KITTI 3D object detection benchmark [1] while running in real time with a low memory footprint, making it a suitable candidate for deployment on autonomous vehicles. Code is at: https://github.com/kujason/avod

以视觉为中心的BEV感知由于其固有的优点，最近受到行业和学术界的关注，包括展示世界自然代表和融合友好。随着深度学习的快速发展，已经提出了许多方法来解决以视觉为中心的BEV感知。但是，最近没有针对这个小说和不断发展的研究领域的调查。为了刺激其未来的研究，本文对以视觉为中心的BEV感知及其扩展进行了全面调查。它收集并组织了最近的知识，并对常用算法进行了系统的综述和摘要。它还为几项BEV感知任务提供了深入的分析和比较结果，从而促进了未来作品的比较并激发了未来的研究方向。此外，还讨论了经验实现细节并证明有利于相关算法的开发。

多传感器融合对于准确可靠的自主驾驶系统至关重要。最近的方法基于点级融合：通过相机功能增强激光雷达点云。但是，摄像头投影抛弃了相机功能的语义密度，阻碍了此类方法的有效性，尤其是对于面向语义的任务（例如3D场景分割）。在本文中，我们用BevFusion打破了这个根深蒂固的惯例，这是一个有效且通用的多任务多任务融合框架。它统一了共享鸟类视图（BEV）表示空间中的多模式特征，该空间很好地保留了几何信息和语义信息。为了实现这一目标，我们通过优化的BEV池进行诊断和提高视图转换中的钥匙效率瓶颈，从而将延迟降低了40倍以上。 BevFusion从根本上是任务不合时宜的，并且无缝支持不同的3D感知任务，几乎没有建筑变化。它在Nuscenes上建立了新的最新技术，在3D对象检测上获得了1.3％的MAP和NDS，而BEV MAP分段中的MIOU高13.6％，计算成本较低1.9倍。可以在https://github.com/mit-han-lab/bevfusion上获得复制我们结果的代码。

近年来，自主驾驶LIDAR数据的3D对象检测一直在迈出卓越的进展。在最先进的方法中，已经证明了将点云进行编码为鸟瞰图（BEV）是有效且有效的。与透视图不同，BEV在物体之间保留丰富的空间和距离信息;虽然在BEV中相同类型的更远物体不会较小，但它们包含稀疏点云特征。这一事实使用共享卷积神经网络削弱了BEV特征提取。为了解决这一挑战，我们提出了范围感知注意网络（RAANET），提取更强大的BEV功能并产生卓越的3D对象检测。范围感知的注意力（RAA）卷曲显着改善了近距离的特征提取。此外，我们提出了一种新的辅助损耗，用于密度估计，以进一步增强覆盖物体的Raanet的检测精度。值得注意的是，我们提出的RAA卷积轻量级，并兼容，以集成到用于BEV检测的任何CNN架构中。 Nuscenes DataSet上的广泛实验表明，我们的提出方法优于基于LIDAR的3D对象检测的最先进的方法，具有16 Hz的实时推断速度，为LITE版本为22 Hz。该代码在匿名GitHub存储库HTTPS://github.com/Anonymous0522 / ange上公开提供。

流行的对象检测度量平均精度（3D AP）依赖于预测的边界框和地面真相边界框之间的结合。但是，基于摄像机的深度估计的精度有限，这可能会导致其他合理的预测，这些预测遭受了如此纵向定位错误，被视为假阳性和假阴性。因此，我们提出了流行的3D AP指标的变体，这些变体旨在在深度估计误差方面更具允许性。具体而言，我们新颖的纵向误差耐受度指标，Let-3D-AP和Let-3D-APL，允许预测的边界框的纵向定位误差，最高为给定的公差。所提出的指标已在Waymo Open DataSet 3D摄像头仅检测挑战中使用。我们认为，它们将通过提供更有信息的性能信号来促进仅相机3D检测领域的进步。

Surround-view fisheye perception under valet parking scenes is fundamental and crucial in autonomous driving. Environmental conditions in parking lots perform differently from the common public datasets, such as imperfect light and opacity, which substantially impacts on perception performance. Most existing networks based on public datasets may generalize suboptimal results on these valet parking scenes, also affected by the fisheye distortion. In this article, we introduce a new large-scale fisheye dataset called Fisheye Parking Dataset(FPD) to promote the research in dealing with diverse real-world surround-view parking cases. Notably, our compiled FPD exhibits excellent characteristics for different surround-view perception tasks. In addition, we also propose our real-time distortion-insensitive multi-task framework Fisheye Perception Network (FPNet), which improves the surround-view fisheye BEV perception by enhancing the fisheye distortion operation and multi-task lightweight designs. Extensive experiments validate the effectiveness of our approach and the dataset's exceptional generalizability.

Figure 1: We introduce datasets for 3D tracking and motion forecasting with rich maps for autonomous driving. Our 3D tracking dataset contains sequences of LiDAR measurements, 360 • RGB video, front-facing stereo (middle-right), and 6-dof localization. All sequences are aligned with maps containing lane center lines (magenta), driveable region (orange), and ground height. Sequences are annotated with 3D cuboid tracks (green). A wider map view is shown in the bottom-right.

在过去的几年中，360 {\ deg}摄像机在过去几年中越来越受欢迎。在本文中，我们提出了两种基本技术-360 {\ deg}图像中的对象检测的视野IOU（fov-iou）和360Augmentation。尽管大多数专为透视图像设计的对象检测神经网络适用于EquiretectAffular投影（ERP）格式的360 {\ deg}图像，但由于ERP图像中的失真，它们的性能会恶化。我们的方法可以很容易地与现有的透视对象检测器集成在一起，并显着改善了性能。 FOV-iou计算球形图像中两个视野边界框的交叉点，该框可用于训练，推理和评估，而360augmentation是一种数据增强技术，特定于360 {\ deg}对象检测任务随机旋转球形图像并由于球体对平面投影而解决偏差。我们在具有不同类型的透视对象检测器的360室数据集上进行了广泛的实验，并显示了我们方法的一致有效性。

我们提出了一个简单而有效的完全卷积的一阶段3D对象检测器，用于自主驾驶场景的LIDAR点云，称为FCOS-LIDAR。与使用鸟眼视图（BEV）的主要方法不同，我们提出的检测器从激光雷达点的范围视图（RV，又称范围图像）中检测对象。由于范围视图的紧凑性和与LIDAR传感器在自动驾驶汽车上的采样过程的兼容性，因此可以通过仅利用Vanilla 2D卷积来实现基于范围视图的对象检测器，而脱离了基于BEV的方法，这些方法通常涉及复杂的方法体素化操作和稀疏卷积。我们首次表明，仅具有标准2D卷积的基于RV的3D检测器就可以实现与基于BEV的最新检测器相当的性能，同时更快，更简单。更重要的是，几乎所有以前的基于范围视图的检测器都只关注单帧点云，因为将多帧点云融合到单个范围视图中是具有挑战性的。在这项工作中，我们通过新颖的范围视图投影机制解决了这个具有挑战性的问题，并首次展示了基于范围视图的检测器融合多帧点云的好处。关于Nuscenes的广泛实验表明了我们提出的方法的优越性，我们认为我们的工作可以有力证明基于RV的3D检测器可以与当前基于BEV的主流探测器相比。