车辆到所有（V2X）通信技术使车辆与附近环境中许多其他实体之间的协作可以从根本上改善自动驾驶的感知系统。但是，缺乏公共数据集极大地限制了协作感知的研究进度。为了填补这一空白，我们提出了V2X-SIM，这是一个针对V2X辅助自动驾驶的全面模拟多代理感知数据集。 V2X-SIM提供：（1）\ hl {Multi-Agent}传感器记录来自路边单元（RSU）和多种能够协作感知的车辆，（2）多模式传感器流，可促进多模式感知和多模式感知和（3）支持各种感知任务的各种基础真理。同时，我们在三个任务（包括检测，跟踪和细分）上为最先进的协作感知算法提供了一个开源测试台，并为最先进的协作感知算法提供了基准。 V2X-SIM试图在现实数据集广泛使用之前刺激自动驾驶的协作感知研究。我们的数据集和代码可在\ url {https://ai4ce.github.io/v2x-sim/}上获得。

采用车辆到车辆通信以提高自动驾驶技术中的感知性能，最近引起了相当大的关注;然而，对于基准测试算法的合适开放数据集已经难以开发和评估合作感知技术。为此，我们介绍了用于车辆到车辆的第一个大型开放模拟数据集。它包含超过70个有趣的场景，11,464帧和232,913帧的注释3D车辆边界盒，从卡拉的8个城镇和洛杉矶的数码镇。然后，我们构建了一个全面的基准，共有16种实施模型来评估若干信息融合策略〜（即早期，晚期和中间融合），最先进的激光雷达检测算法。此外，我们提出了一种新的细心中间融合管线，以从多个连接的车辆汇总信息。我们的实验表明，拟议的管道可以很容易地与现有的3D LIDAR探测器集成，即使具有大的压缩速率也可以实现出色的性能。为了鼓励更多的研究人员来调查车辆到车辆的感知，我们将释放数据集，基准方法以及HTTPS：//mobility-lab.seas.ucla.edu/opv2v2v/中的所有相关代码。

为了促进更好的性能带宽权衡，以实现多种代理人的感知，我们提出了一种新颖的蒸馏协作图（光盘），以模拟代理商之间的培训，姿势感知和适应性协作。我们的主要新科特迪斯在两个方面。首先，我们提出了一位教师学生框架通过知识蒸馏训练光盘。教师模型采用与全面查看输入的早期合作;学生模型基于中间协作与单视图输入。我们的框架通过在学生模型中约束协作后的特征地图来列进讨论，以匹配教师模型的对应关系。其次，我们提出了矩阵值的边缘重量。在这样的矩阵中，每个元素将互及的间歇注意力反映在特定空间区域，允许代理自适应地突出显示信息区域。在推论期间，我们只需要使用名为Distilled Collaboration Network的学生模型（Disconet）。归因于师生框架，具有共享Disconet的多个代理商可以协作地与整体视图进行假设教师模型的表现。我们的方法在V2X-SIM 1.0上验证了我们使用Carla和Sumo Co-Simulation合成的大规模多代理感知数据集。我们在多代理3D对象检测中的定量和定性实验表明，Disconet不仅可以实现比最先进的协作的感知方法更好的性能带宽权衡，而且还带来了更直接的设计理由。我们的代码可在https://github.com/ai4ce/disconet上找到。

多代理协作感知可以通过使代理商能够通过交流相互共享互补信息来显着升级感知表现。它不可避免地会导致感知表现与沟通带宽之间的基本权衡。为了解决这个瓶颈问题，我们提出了一个空间置信度图，该图反映了感知信息的空间异质性。它使代理只能在空间上共享稀疏而感知的关键信息，从而有助于沟通。基于这张新型的空间置信度图，我们提出了2Comm，即沟通有效的协作感知框架。其中2Comm具有两个不同的优势：i）它考虑了实用的压缩，并使用较少的沟通来通过专注于感知至关重要的领域来实现更高的感知表现； ii）它可以通过动态调整涉及通信的空间区域来处理不同的通信带宽。要评估2comm的位置，我们考虑了在现实世界和模拟方案中使用两种模式（相机/激光镜头）和两种代理类型（CAR/无人机）的3D对象检测：OPV2V，v2x-sim，dair-v2x和我们的原始的Coperception-uavs。其中2comm始终优于先前的方法；例如，它实现了超过$ 100,000 \ times $较低的通信量，并且在OPV2V上仍然优于脱颖而出和v2x-vit。我们的代码可在https://github.com/mediabrain-sjtu/where2comm上找到。

感知是自动驾驶系统的关键模块之一，最近取得了长足的进步。但是，单个车辆的能力有限，导致感知表现的瓶颈。为了突破个人感知的局限性，已经提出了协作感知，使车辆能够共享信息以了解超出视线和视野的环境。在本文中，我们对有关有前途的协作感知技术的相关工作进行了评论，包括介绍基本概念，推广协作模式并总结协作感知的关键成分和应用。最后，我们讨论了该研究领域的公开挑战和问题，并提供了一些潜在的方向。

Bird's Eye View（BEV）语义分割在自动驾驶的空间传感中起着至关重要的作用。尽管最近的文献在BEV MAP的理解上取得了重大进展，但它们都是基于基于摄像头的系统，这些系统难以处理遮挡并检测复杂的交通场景中的遥远对象。车辆到车辆（V2V）通信技术使自动驾驶汽车能够共享感应信息，与单代理系统相比，可以显着改善感知性能和范围。在本文中，我们提出了Cobevt，这是可以合作生成BEV MAP预测的第一个通用多代理多机构感知框架。为了有效地从基础变压器体系结构中的多视图和多代理数据融合相机功能，我们设计了融合的轴向注意力或传真模块，可以捕获跨视图和代理的局部和全局空间交互。 V2V感知数据集OPV2V的广泛实验表明，COBEVT实现了合作BEV语义分段的最新性能。此外，COBEVT被证明可以推广到其他任务，包括1）具有单代理多摄像机的BEV分割和2）具有多代理激光雷达系统的3D对象检测，并实现具有实时性能的最新性能时间推理速度。

车辆到所有（V2X）网络已使自主驾驶中的合作感达到了协作感，这是对独立情报的根本缺陷的有前途的解决方案，包括盲区和远距离感知。但是，缺乏数据集严重阻碍了协作感知算法的发展。在这项工作中，我们发布了海豚：用于协作感知的数据集，可以使和谐且相互联系的自动驾驶，这是一个新的模拟大规模的各种大规模的各种赛车多模式多模式自动驾驶数据集，该数据集为互连为互连的开创性基准平台提供自动驾驶。海豚在六个维度上优于当前数据集：从车辆和道路侧单元（RSU）（RSUS）的临时图像和点云，启用车辆到车辆（V2V）和车辆到基础设施（V2I）的协作感知； 6具有动态天气条件的典型场景使各种互连的自动驾驶数据集最多；精心选择的观点，提供关键区域和每个对象的全部覆盖范围； 42376帧和292549个对象，以及相应的3D注释，地理位置和校准，构成了最大的协作知觉数据集；全高清图像和64线激光雷达构建高分辨率数据，并具有足够的详细信息；组织良好的API和开源代码可确保海豚的可扩展性。我们还构建了2D检测，3D检测和关于海豚的多视图协作任务的基准。实验结果表明，通过V2X通信的原始融合方案可以帮助提高精度，并在RSU存在时减少昂贵的LiDAR设备的必要性，这可能会加速相互联系的自动驾驶车辆的普及。现在可以在https://dolphins-dataset.net/上获得海豚。

感知环境是实现合作驾驶自动化（CDA）的最基本关键之一，该关键被认为是解决当代运输系统的安全性，流动性和可持续性问题的革命性解决方案。尽管目前在计算机视觉的物体感知领域正在发生前所未有的进化，但由于不可避免的物理遮挡和单辆车的接受程度有限，最先进的感知方法仍在与复杂的现实世界流量环境中挣扎系统。基于多个空间分离的感知节点，合作感知（CP）诞生是为了解锁驱动自动化的感知瓶颈。在本文中，我们全面审查和分析了CP的研究进度，据我们所知，这是第一次提出统一的CP框架。审查了基于不同类型的传感器的CP系统的体系结构和分类学，以显示对CP系统的工作流程和不同结构的高级描述。对节点结构，传感器模式和融合方案进行了审查和分析，并使用全面的文献进行了详细的解释。提出了分层CP框架，然后对现有数据集和模拟器进行审查，以勾勒出CP的整体景观。讨论重点介绍了当前的机会，开放挑战和预期的未来趋势。

在鸟眼中学习强大的表现（BEV），以进行感知任务，这是趋势和吸引行业和学术界的广泛关注。大多数自动驾驶算法的常规方法在正面或透视视图中执行检测，细分，跟踪等。随着传感器配置变得越来越复杂，从不同的传感器中集成了多源信息，并在统一视图中代表功能至关重要。 BEV感知继承了几个优势，因为代表BEV中的周围场景是直观和融合友好的。对于BEV中的代表对象，对于随后的模块，如计划和/或控制是最可取的。 BEV感知的核心问题在于（a）如何通过从透视视图到BEV来通过视图转换来重建丢失的3D信息； （b）如何在BEV网格中获取地面真理注释； （c）如何制定管道以合并来自不同来源和视图的特征； （d）如何适应和概括算法作为传感器配置在不同情况下各不相同。在这项调查中，我们回顾了有关BEV感知的最新工作，并对不同解决方案进行了深入的分析。此外，还描述了该行业的BEV方法的几种系统设计。此外，我们推出了一套完整的实用指南，以提高BEV感知任务的性能，包括相机，激光雷达和融合输入。最后，我们指出了该领域的未来研究指示。我们希望该报告能阐明社区，并鼓励对BEV感知的更多研究。我们保留一个活跃的存储库来收集最新的工作，并在https://github.com/openperceptionx/bevperception-survey-recipe上提供一包技巧的工具箱。

在本文中，我们调查了车辆到所有（V2X）通信的应用，以提高自动驾驶汽车的感知性能。我们使用新型视觉变压器提供了一个与V2X通信的强大合作感知框架。具体而言，我们建立了一个整体关注模型，即V2X-VIT，以有效地融合跨道路代理（即车辆和基础设施）的信息。 V2X-VIT由异质多代理自我注意和多尺度窗口自我注意的交替层组成，该层捕获了代理间的相互作用和全面的空间关系。这些关键模块在统一的变压器体系结构中设计，以应对常见的V2X挑战，包括异步信息共享，姿势错误和V2X组件的异质性。为了验证我们的方法，我们使用Carla和OpenCDA创建了一个大规模的V2X感知数据集。广泛的实验结果表明，V2X-VIT设置了3D对象检测的新最先进的性能，即使在恶劣的嘈杂环境下，也可以实现强大的性能。该代码可在https://github.com/derrickxunu/v2x-vit上获得。

自动驾驶技术的加速开发对获得大量高质量数据的需求更大。标签，现实世界数据代表性是培训深度学习网络的燃料，对于改善自动驾驶感知算法至关重要。在本文中，我们介绍了PANDASET，由完整的高精度自动车辆传感器套件生产的第一个数据集，具有无需成本商业许可证。使用一个360 {\ DEG}机械纺丝利达，一个前置，远程LIDAR和6个摄像机收集数据集。DataSet包含100多个场景，每个场景为8秒，为目标分类提供28种类型的标签和37种类型的语义分割标签。我们提供仅限LIDAR 3D对象检测的基线，LIDAR-Camera Fusion 3D对象检测和LIDAR点云分割。有关Pandaset和开发套件的更多详细信息，请参阅https://scale.com/open-datasets/pandaset。

Deep learning has been widely used in the perception (e.g., 3D object detection) of intelligent vehicle driving. Due to the beneficial Vehicle-to-Vehicle (V2V) communication, the deep learning based features from other agents can be shared to the ego vehicle so as to improve the perception of the ego vehicle. It is named as Cooperative Perception in the V2V research, whose algorithms have been dramatically advanced recently. However, all the existing cooperative perception algorithms assume the ideal V2V communication without considering the possible lossy shared features because of the Lossy Communication (LC) which is common in the complex real-world driving scenarios. In this paper, we first study the side effect (e.g., detection performance drop) by the lossy communication in the V2V Cooperative Perception, and then we propose a novel intermediate LC-aware feature fusion method to relieve the side effect of lossy communication by a LC-aware Repair Network (LCRN) and enhance the interaction between the ego vehicle and other vehicles by a specially designed V2V Attention Module (V2VAM) including intra-vehicle attention of ego vehicle and uncertainty-aware inter-vehicle attention. The extensive experiment on the public cooperative perception dataset OPV2V (based on digital-twin CARLA simulator) demonstrates that the proposed method is quite effective for the cooperative point cloud based 3D object detection under lossy V2V communication.

以视觉为中心的BEV感知由于其固有的优点，最近受到行业和学术界的关注，包括展示世界自然代表和融合友好。随着深度学习的快速发展，已经提出了许多方法来解决以视觉为中心的BEV感知。但是，最近没有针对这个小说和不断发展的研究领域的调查。为了刺激其未来的研究，本文对以视觉为中心的BEV感知及其扩展进行了全面调查。它收集并组织了最近的知识，并对常用算法进行了系统的综述和摘要。它还为几项BEV感知任务提供了深入的分析和比较结果，从而促进了未来作品的比较并激发了未来的研究方向。此外，还讨论了经验实现细节并证明有利于相关算法的开发。

The research community has increasing interest in autonomous driving research, despite the resource intensity of obtaining representative real world data. Existing selfdriving datasets are limited in the scale and variation of the environments they capture, even though generalization within and between operating regions is crucial to the overall viability of the technology. In an effort to help align the research community's contributions with real-world selfdriving problems, we introduce a new large-scale, high quality, diverse dataset. Our new dataset consists of 1150 scenes that each span 20 seconds, consisting of well synchronized and calibrated high quality LiDAR and camera data captured across a range of urban and suburban geographies. It is 15x more diverse than the largest cam-era+LiDAR dataset available based on our proposed geographical coverage metric. We exhaustively annotated this data with 2D (camera image) and 3D (LiDAR) bounding boxes, with consistent identifiers across frames. Finally, we provide strong baselines for 2D as well as 3D detection and tracking tasks. We further study the effects of dataset size and generalization across geographies on 3D detection methods. Find data, code and more up-to-date information at http://www.waymo.com/open.

Camera and lidar are important sensor modalities for robotics in general and self-driving cars in particular. The sensors provide complementary information offering an opportunity for tight sensor-fusion. Surprisingly, lidar-only methods outperform fusion methods on the main benchmark datasets, suggesting a gap in the literature. In this work, we propose PointPainting: a sequential fusion method to fill this gap. PointPainting works by projecting lidar points into the output of an image-only semantic segmentation network and appending the class scores to each point. The appended (painted) point cloud can then be fed to any lidaronly method. Experiments show large improvements on three different state-of-the art methods, Point-RCNN, Vox-elNet and PointPillars on the KITTI and nuScenes datasets. The painted version of PointRCNN represents a new state of the art on the KITTI leaderboard for the bird's-eye view detection task. In ablation, we study how the effects of Painting depends on the quality and format of the semantic segmentation output, and demonstrate how latency can be minimized through pipelining.

Autonomous driving requires efficient reasoning about the location and appearance of the different agents in the scene, which aids in downstream tasks such as object detection, object tracking, and path planning. The past few years have witnessed a surge in approaches that combine the different taskbased modules of the classic self-driving stack into an End-toEnd(E2E) trainable learning system. These approaches replace perception, prediction, and sensor fusion modules with a single contiguous module with shared latent space embedding, from which one extracts a human-interpretable representation of the scene. One of the most popular representations is the Birds-eye View (BEV), which expresses the location of different traffic participants in the ego vehicle frame from a top-down view. However, a BEV does not capture the chromatic appearance information of the participants. To overcome this limitation, we propose a novel representation that captures various traffic participants appearance and occupancy information from an array of monocular cameras covering 360 deg field of view (FOV). We use a learned image embedding of all camera images to generate a BEV of the scene at any instant that captures both appearance and occupancy of the scene, which can aid in downstream tasks such as object tracking and executing language-based commands. We test the efficacy of our approach on synthetic dataset generated from CARLA. The code, data set, and results can be found at https://rebrand.ly/APP OCC-results.

下一代高分辨率汽车雷达（4D雷达）可以提供额外的高程测量和较密集的点云，从而在自动驾驶中具有3D传感的巨大潜力。在本文中，我们介绍了一个名为TJ4Dradset的数据集，其中包括4D雷达点用于自动驾驶研究。该数据集是在各种驾驶场景中收集的，连续44个序列中总共有7757个同步帧，这些序列用3D边界框和轨道ID很好地注释。我们为数据集提供了基于4D雷达的3D对象检测基线，以证明4D雷达点云的深度学习方法的有效性。可以通过以下链接访问数据集：https：//github.com/tjradarlab/tj4dradset。

Figure 1: We introduce datasets for 3D tracking and motion forecasting with rich maps for autonomous driving. Our 3D tracking dataset contains sequences of LiDAR measurements, 360 • RGB video, front-facing stereo (middle-right), and 6-dof localization. All sequences are aligned with maps containing lane center lines (magenta), driveable region (orange), and ground height. Sequences are annotated with 3D cuboid tracks (green). A wider map view is shown in the bottom-right.

环绕视图相机是用于自动驾驶的主要传感器，用于近场感知。它是主要用于停车可视化和自动停车的商用车中最常用的传感器之一。四个带有190 {\ deg}视场覆盖车辆周围360 {\ deg}的鱼眼相机。由于其高径向失真，标准算法不容易扩展。以前，我们发布了第一个名为Woodscape的公共鱼眼环境视图数据集。在这项工作中，我们发布了环绕视图数据集的合成版本，涵盖了其许多弱点并扩展了它。首先，不可能获得像素光流和深度的地面真相。其次，为了采样不同的框架，木景没有同时注释的所有四个相机。但是，这意味着不能设计多相机算法以在新数据集中启用的鸟眼空间中获得统一的输出。我们在Carla模拟器中实现了环绕式鱼眼的几何预测，与木观的配置相匹配并创建了Synwoodscape。

多传感器融合对于准确可靠的自主驾驶系统至关重要。最近的方法基于点级融合：通过相机功能增强激光雷达点云。但是，摄像头投影抛弃了相机功能的语义密度，阻碍了此类方法的有效性，尤其是对于面向语义的任务（例如3D场景分割）。在本文中，我们用BevFusion打破了这个根深蒂固的惯例，这是一个有效且通用的多任务多任务融合框架。它统一了共享鸟类视图（BEV）表示空间中的多模式特征，该空间很好地保留了几何信息和语义信息。为了实现这一目标，我们通过优化的BEV池进行诊断和提高视图转换中的钥匙效率瓶颈，从而将延迟降低了40倍以上。 BevFusion从根本上是任务不合时宜的，并且无缝支持不同的3D感知任务，几乎没有建筑变化。它在Nuscenes上建立了新的最新技术，在3D对象检测上获得了1.3％的MAP和NDS，而BEV MAP分段中的MIOU高13.6％，计算成本较低1.9倍。可以在https://github.com/mit-han-lab/bevfusion上获得复制我们结果的代码。