过去几年目睹了提高自治车辆激光器的感知性能的兴趣越来越兴趣。虽然大多数现有的工作都侧重于开发新的深度学习算法或模型架构，但我们研究了物理设计的视角，即多个激光雷达的不同放置如何影响基于学习的感知的问题。为此，我们介绍了一种易于计算的信息理论代理度量，以定量和快速评估不同类型对象的3D检测的激光雷达放置。我们还在现实的Carla模拟器中提供了一个新的数据收集，检测模型培训和评估框架，以评估不同的多激光雷达配置。通过自动驾驶公司设计灵感的多种普遍的展示，我们通过广泛的实验表明了我们在基提上不同代表算法的替代公制和对象检测性能之间的相关性，验证了我们激光雷达展示率评估方法的有效性。我们的结果表明，在基于3D点云的对象检测中，传感器放置是不可忽略的，这将在具有挑战性的3D对象检测设置方面有助于平均精度的5％〜10％。我们认为这是第一次定量调查激光雷达放置对感知性能的影响的研究之一。

Recently, Vehicle-to-Everything(V2X) cooperative perception has attracted increasing attention. Infrastructure sensors play a critical role in this research field, however, how to find the optimal placement of infrastructure sensors is rarely studied. In this paper, we investigate the problem of infrastructure sensor placement and propose a pipeline that can efficiently and effectively find optimal installation positions for infrastructure sensors in a realistic simulated environment. To better simulate and evaluate LiDAR placement, we establish a Realistic LiDAR Simulation library that can simulate the unique characteristics of different popular LiDARs and produce high-fidelity LiDAR point clouds in the CARLA simulator. Through simulating point cloud data in different LiDAR placements, we can evaluate the perception accuracy of these placements using multiple detection models. Then, we analyze the correlation between the point cloud distribution and perception accuracy by calculating the density and uniformity of regions of interest. Experiments show that the placement of infrastructure LiDAR can heavily affect the accuracy of perception. We also analyze the correlation between perception performance in the region of interest and LiDAR point cloud distribution and validate that density and uniformity can be indicators of performance.

Utilizing the latest advances in Artificial Intelligence (AI), the computer vision community is now witnessing an unprecedented evolution in all kinds of perception tasks, particularly in object detection. Based on multiple spatially separated perception nodes, Cooperative Perception (CP) has emerged to significantly advance the perception of automated driving. However, current cooperative object detection methods mainly focus on ego-vehicle efficiency without considering the practical issues of system-wide costs. In this paper, we introduce VINet, a unified deep learning-based CP network for scalable, lightweight, and heterogeneous cooperative 3D object detection. VINet is the first CP method designed from the standpoint of large-scale system-level implementation and can be divided into three main phases: 1) Global Pre-Processing and Lightweight Feature Extraction which prepare the data into global style and extract features for cooperation in a lightweight manner; 2) Two-Stream Fusion which fuses the features from scalable and heterogeneous perception nodes; and 3) Central Feature Backbone and 3D Detection Head which further process the fused features and generate cooperative detection results. A cooperative perception platform is designed and developed for CP dataset acquisition and several baselines are compared during the experiments. The experimental analysis shows that VINet can achieve remarkable improvements for pedestrians and cars with 2x less system-wide computational costs and 12x less system-wide communicational costs.

用于流量操作和控制的现有数据收集方法通常依赖于基于基础架构的环路探测器或探测器车辆轨迹。连接和自动化的车辆（CAVS）不仅可以报告有关自己的数据，而且可以提供所有检测到的周围车辆的状态。从多个CAVS以及基础设施传感器（例如Lidar）的感知数据集成，即使在非常低的渗透率下也可以提供更丰富的信息。本文旨在开发合作数据收集系统，该系统集成了来自基础架构和CAVS的LiDar Point Cloud数据，以为各种运输应用创建合作感知环境。最新的3D检测模型用于在合并点云中检测车辆。我们在与Carla和Sumo的共模拟平台中测试了具有最大压力自适应信号控制模型的提出的合作感知环境。结果表明，CAV和基础设施传感器的渗透率非常低，足以实现可比性的性能，而连接车辆（CV）的渗透率为30％或更高。我们还显示了不同CAV渗透率下的等效CV渗透率（E-CVPR），以证明合作感知环境的数据收集效率。

在鸟眼中学习强大的表现（BEV），以进行感知任务，这是趋势和吸引行业和学术界的广泛关注。大多数自动驾驶算法的常规方法在正面或透视视图中执行检测，细分，跟踪等。随着传感器配置变得越来越复杂，从不同的传感器中集成了多源信息，并在统一视图中代表功能至关重要。 BEV感知继承了几个优势，因为代表BEV中的周围场景是直观和融合友好的。对于BEV中的代表对象，对于随后的模块，如计划和/或控制是最可取的。 BEV感知的核心问题在于（a）如何通过从透视视图到BEV来通过视图转换来重建丢失的3D信息； （b）如何在BEV网格中获取地面真理注释； （c）如何制定管道以合并来自不同来源和视图的特征； （d）如何适应和概括算法作为传感器配置在不同情况下各不相同。在这项调查中，我们回顾了有关BEV感知的最新工作，并对不同解决方案进行了深入的分析。此外，还描述了该行业的BEV方法的几种系统设计。此外，我们推出了一套完整的实用指南，以提高BEV感知任务的性能，包括相机，激光雷达和融合输入。最后，我们指出了该领域的未来研究指示。我们希望该报告能阐明社区，并鼓励对BEV感知的更多研究。我们保留一个活跃的存储库来收集最新的工作，并在https://github.com/openperceptionx/bevperception-survey-recipe上提供一包技巧的工具箱。

它得到了很好的认识到，从深度感知的LIDAR点云和语义富有的立体图像中融合互补信息将有利于3D对象检测。然而，探索稀疏3D点和密集2D像素之间固有的不自然相互作用并不重要。为了简化这种困难，最近的建议通常将3D点投影到2D图像平面上以对图像数据进行采样，然后聚合点处的数据。然而，这种方法往往遭受点云和RGB图像的分辨率之间的不匹配，导致次优性能。具体地，作为多模态数据聚合位置的稀疏点导致高分辨率图像的严重信息丢失，这反过来破坏了多传感器融合的有效性。在本文中，我们呈现VPFNET - 一种新的架构，可以在“虚拟”点处巧妙地对齐和聚合点云和图像数据。特别地，它们的密度位于3D点和2D像素的密度之间，虚拟点可以很好地桥接两个传感器之间的分辨率间隙，从而保持更多信息以进行处理。此外，我们还研究了可以应用于点云和RGB图像的数据增强技术，因为数据增强对迄今为止对3D对象探测器的贡献不可忽略。我们对Kitti DataSet进行了广泛的实验，与最先进的方法相比，观察到了良好的性能。值得注意的是，我们的VPFNET在KITTI测试集上实现了83.21 \％中等3D AP和91.86 \％适度的BEV AP，自2021年5月21日起排名第一。网络设计也考虑了计算效率 - 我们可以实现FPS 15对单个NVIDIA RTX 2080TI GPU。该代码将用于复制和进一步调查。

车辆到所有（V2X）通信技术使车辆与附近环境中许多其他实体之间的协作可以从根本上改善自动驾驶的感知系统。但是，缺乏公共数据集极大地限制了协作感知的研究进度。为了填补这一空白，我们提出了V2X-SIM，这是一个针对V2X辅助自动驾驶的全面模拟多代理感知数据集。 V2X-SIM提供：（1）\ hl {Multi-Agent}传感器记录来自路边单元（RSU）和多种能够协作感知的车辆，（2）多模式传感器流，可促进多模式感知和多模式感知和（3）支持各种感知任务的各种基础真理。同时，我们在三个任务（包括检测，跟踪和细分）上为最先进的协作感知算法提供了一个开源测试台，并为最先进的协作感知算法提供了基准。 V2X-SIM试图在现实数据集广泛使用之前刺激自动驾驶的协作感知研究。我们的数据集和代码可在\ url {https://ai4ce.github.io/v2x-sim/}上获得。

采用车辆到车辆通信以提高自动驾驶技术中的感知性能，最近引起了相当大的关注;然而，对于基准测试算法的合适开放数据集已经难以开发和评估合作感知技术。为此，我们介绍了用于车辆到车辆的第一个大型开放模拟数据集。它包含超过70个有趣的场景，11,464帧和232,913帧的注释3D车辆边界盒，从卡拉的8个城镇和洛杉矶的数码镇。然后，我们构建了一个全面的基准，共有16种实施模型来评估若干信息融合策略〜（即早期，晚期和中间融合），最先进的激光雷达检测算法。此外，我们提出了一种新的细心中间融合管线，以从多个连接的车辆汇总信息。我们的实验表明，拟议的管道可以很容易地与现有的3D LIDAR探测器集成，即使具有大的压缩速率也可以实现出色的性能。为了鼓励更多的研究人员来调查车辆到车辆的感知，我们将释放数据集，基准方法以及HTTPS：//mobility-lab.seas.ucla.edu/opv2v2v/中的所有相关代码。

具有自动化和连通性的赋予，连接和自动化的车辆旨在成为合作驾驶自动化的革命性推动者。然而，骑士需要对周围环境的高保真感知信息，但从各种车载传感器以及车辆到所有的通信（v2x）通信中都可以昂贵。因此，通过具有成本效益的平台基于高保真传感器的真实感知信息对于启用与CDA相关的研究（例如合作决策或控制）至关重要。大多数针对CAVS的最先进的交通模拟研究都通过直接呼吁对象的内在属性来依赖情况 - 意识信息，这阻碍了CDA算法评估的可靠性和保真度。在这项研究中，\ textit {网络移动镜（CMM）}共模拟平台设计用于通过提供真实感知信息来启用CDA。 \ textit {cmm}共模拟平台可以通过高保真传感器感知系统和具有实时重建系统的网络世界模仿现实世界。具体而言，现实世界的模拟器主要负责模拟交通环境，传感器以及真实的感知过程。 Mirror-World Simulator负责重建对象，并将其信息作为模拟器的内在属性，以支持CD​​A算法的开发和评估。为了说明拟议的共模拟平台的功能，将基于路边的激光雷达的车辆感知系统原型作为研究案例。特定的流量环境和CDA任务是为实验设计的，其结果得到了证明和分析以显示平台的性能。

与2D对象检测不同，其中所有ROI功能来自网格像素，3D点云对象检测的ROI特征提取更加多样化。在本文中，我们首先比较和分析两个最先进模型PV-RCNN和Voxel-RCNN之间的结构和性能的差异。然后，我们发现两种模型之间的性能差距不来自点信息，而是结构信息。 Voxel特征包含更多结构信息，因为它们会进行量化而不是向下采样到点云，以便它们基本上可以包含整个点云的完整信息。体素特征中的强大结构信息使得探测器在我们的实验中具有更高的性能，即使体素功能没有准确的位置信息，也可以在我们的实验中进行更高的性能。然后，我们建议结构信息是3D对象检测的关键。基于上述结论，我们提出了一种自我关注的ROI特征提取器（SARFE），以增强从3D提案中提取的特征的结构信息。 SARFE是一种即插即用模块，可以轻松使用现有的3D探测器。我们的SARFE在Kitti DataSet和Waymo Open DataSet上进行评估。通过新引进的SARFE，我们通过在Kitti DataSet上的骑自行车者中的大型余量来提高最先进的3D探测器的性能，同时保持实时能力。

We present a novel and high-performance 3D object detection framework, named PointVoxel-RCNN (PV-RCNN), for accurate 3D object detection from point clouds. Our proposed method deeply integrates both 3D voxel Convolutional Neural Network (CNN) and PointNet-based set abstraction to learn more discriminative point cloud features. It takes advantages of efficient learning and high-quality proposals of the 3D voxel CNN and the flexible receptive fields of the PointNet-based networks. Specifically, the proposed framework summarizes the 3D scene with a 3D voxel CNN into a small set of keypoints via a novel voxel set abstraction module to save follow-up computations and also to encode representative scene features. Given the highquality 3D proposals generated by the voxel CNN, the RoIgrid pooling is proposed to abstract proposal-specific features from the keypoints to the RoI-grid points via keypoint set abstraction with multiple receptive fields. Compared with conventional pooling operations, the RoI-grid feature points encode much richer context information for accurately estimating object confidences and locations. Extensive experiments on both the KITTI dataset and the Waymo Open dataset show that our proposed PV-RCNN surpasses state-of-the-art 3D detection methods with remarkable margins by using only point clouds. Code is available at https://github.com/open-mmlab/OpenPCDet.

LIDAR的准确3D对象检测对于自动驾驶至关重要。现有的研究全都基于平坦的假设。但是，实际的道路可能会在陡峭的部分中很复杂，从而打破了前提。在这种情况下，当前方法由于难以正确检测到倾斜的地形上的物体而受到性能降解。在这项工作中，我们提出了DET6D，这是第一个没有空间和姿势局限性的自由度3D对象检测器，以改善地形鲁棒性。我们通过建立在整个空间范围内检测对象的能力来选择基于点的框架。为了预测包括音高和滚动在内的全程姿势，我们设计了一个利用当地地面约束的地面方向分支。鉴于长尾非平板场景数据收集和6D姿势注释的难度，我们提出了斜坡，这是一种数据增强方法，用于从平面场景中记录的现有数据集中合成非平板地形。各种数据集的实验证明了我们方法在不同地形上的有效性和鲁棒性。我们进一步进行了扩展实验，以探索网络如何预测两个额外的姿势。提出的模块是现有基于点的框架的插件。该代码可在https://github.com/hitsz-nrsl/de6d上找到。

自动驾驶技术的加速开发对获得大量高质量数据的需求更大。标签，现实世界数据代表性是培训深度学习网络的燃料，对于改善自动驾驶感知算法至关重要。在本文中，我们介绍了PANDASET，由完整的高精度自动车辆传感器套件生产的第一个数据集，具有无需成本商业许可证。使用一个360 {\ DEG}机械纺丝利达，一个前置，远程LIDAR和6个摄像机收集数据集。DataSet包含100多个场景，每个场景为8秒，为目标分类提供28种类型的标签和37种类型的语义分割标签。我们提供仅限LIDAR 3D对象检测的基线，LIDAR-Camera Fusion 3D对象检测和LIDAR点云分割。有关Pandaset和开发套件的更多详细信息，请参阅https://scale.com/open-datasets/pandaset。

Object detection in point clouds is an important aspect of many robotics applications such as autonomous driving. In this paper we consider the problem of encoding a point cloud into a format appropriate for a downstream detection pipeline. Recent literature suggests two types of encoders; fixed encoders tend to be fast but sacrifice accuracy, while encoders that are learned from data are more accurate, but slower. In this work we propose PointPillars, a novel encoder which utilizes PointNets to learn a representation of point clouds organized in vertical columns (pillars). While the encoded features can be used with any standard 2D convolutional detection architecture, we further propose a lean downstream network. Extensive experimentation shows that PointPillars outperforms previous encoders with respect to both speed and accuracy by a large margin. Despite only using lidar, our full detection pipeline significantly outperforms the state of the art, even among fusion methods, with respect to both the 3D and bird's eye view KITTI benchmarks. This detection performance is achieved while running at 62 Hz: a 2 -4 fold runtime improvement. A faster version of our method matches the state of the art at 105 Hz. These benchmarks suggest that PointPillars is an appropriate encoding for object detection in point clouds.

Surround-view fisheye perception under valet parking scenes is fundamental and crucial in autonomous driving. Environmental conditions in parking lots perform differently from the common public datasets, such as imperfect light and opacity, which substantially impacts on perception performance. Most existing networks based on public datasets may generalize suboptimal results on these valet parking scenes, also affected by the fisheye distortion. In this article, we introduce a new large-scale fisheye dataset called Fisheye Parking Dataset(FPD) to promote the research in dealing with diverse real-world surround-view parking cases. Notably, our compiled FPD exhibits excellent characteristics for different surround-view perception tasks. In addition, we also propose our real-time distortion-insensitive multi-task framework Fisheye Perception Network (FPNet), which improves the surround-view fisheye BEV perception by enhancing the fisheye distortion operation and multi-task lightweight designs. Extensive experiments validate the effectiveness of our approach and the dataset's exceptional generalizability.

伪LIDAR表示的建议显着缩小了基于视觉的基于视觉激光痛的3D对象检测之间的差距。但是，当前的研究仅专注于通过利用复杂且耗时的神经网络来推动伪LIDAR的准确性提高。很少探索伪LIDAR代表的深刻特征来获得促进机会。在本文中，我们深入研究伪激光雷达表示，并认为3D对象检测的性能并不完全取决于高精度立体声深度估计。我们证明，即使对于不可靠的深度估计，通过适当的数据处理和精炼，它也可以达到可比的3D对象检测准确性。有了这一发现，我们进一步表明了使用伪大部分系统中快速但不准确的立体声匹配算法来实现低潜伏期响应的可能性。在实验中，我们开发了一个具有功能较低的立体声匹配预测指标的系统，并采用了提出的改进方案来提高准确性。对KITTI基准测试的评估表明，所提出的系统仅使用23毫秒的计算来实现最先进方法的竞争精度，这表明它是部署到真实CAR-HOLD应用程序的合适候选者。

这项工作旨在通过使用路边激光射击环境的3D感知来应对自动驾驶的挑战。我们设计了一个3D对象检测模型，该模型可以实时检测路边激光雷达的交通参与者。我们的模型使用现有的3D检测器作为基线并提高其准确性。为了证明我们提出的模块的有效性，我们在三个不同的车辆和基础设施数据集上训练和评估模型。为了显示我们探测器的域适应能力，我们在来自中国的基础架构数据集上训练它，并在德国记录的其他数据集上进行转移学习。我们为检测器中每个模块进行几套实验和消融研究，这些实验表明我们的模型的表现优于基线，而推理速度为45 Hz（22 ms）。我们对基于激光雷达的3D探测器做出了重大贡献，可用于智能城市应用程序，以提供连接和自动化的车辆具有深远的视野。连接到路边传感器的车辆可以获取有关拐角处其他车辆的信息，以改善其道路和操纵计划并提高道路交通安全性。

We address the problem of real-time 3D object detection from point clouds in the context of autonomous driving. Computation speed is critical as detection is a necessary component for safety. Existing approaches are, however, expensive in computation due to high dimensionality of point clouds. We utilize the 3D data more efficiently by representing the scene from the Bird's Eye View (BEV), and propose PIXOR, a proposal-free, single-stage detector that outputs oriented 3D object estimates decoded from pixelwise neural network predictions. The input representation, network architecture, and model optimization are especially designed to balance high accuracy and real-time efficiency. We validate PIXOR on two datasets: the KITTI BEV object detection benchmark, and a large-scale 3D vehicle detection benchmark. In both datasets we show that the proposed detector surpasses other state-of-the-art methods notably in terms of Average Precision (AP), while still runs at > 28 FPS.

激光器传感器的进步提供了支持3D场景了解的丰富的3D数据。然而，由于遮挡和信号未命中，LIDAR点云实际上是2.5D，因为它们仅覆盖部分底层形状，这对3D感知构成了根本挑战。为了解决挑战，我们提出了一种基于新的LIDAR的3D对象检测模型，被称为窗帘检测器（BTCDET）后面，该模型学习物体形状前沿并估计在点云中部分封闭（窗帘）的完整物体形状。 BTCDET首先识别受遮挡和信号未命中的影响的区域。在这些区域中，我们的模型预测了占用的概率，指示区域是否包含对象形状。与此概率图集成，BTCDET可以产生高质量的3D提案。最后，占用概率也集成到提案细化模块中以生成最终边界框。关于基蒂数据集的广泛实验和Waymo Open DataSet展示了BTCDET的有效性。特别是，对于Kitti基准测试的汽车和骑自行车者的3D检测，BTCDET通过显着的边缘超越所有公布的最先进的方法。代码已发布（https://github.com/xharlie/btcdet}（https：//github.com/xharlie/btcdet）。

In this paper we propose to exploit multiple related tasks for accurate multi-sensor 3D object detection. Towards this goal we present an end-to-end learnable architecture that reasons about 2D and 3D object detection as well as ground estimation and depth completion. Our experiments show that all these tasks are complementary and help the network learn better representations by fusing information at various levels. Importantly, our approach leads the KITTI benchmark on 2D, 3D and bird's eye view object detection, while being real-time. * Equal contribution.† Work done as part of Uber AI Residency program.