多代理协作感知可以通过使代理商能够通过交流相互共享互补信息来显着升级感知表现。它不可避免地会导致感知表现与沟通带宽之间的基本权衡。为了解决这个瓶颈问题，我们提出了一个空间置信度图，该图反映了感知信息的空间异质性。它使代理只能在空间上共享稀疏而感知的关键信息，从而有助于沟通。基于这张新型的空间置信度图，我们提出了2Comm，即沟通有效的协作感知框架。其中2Comm具有两个不同的优势：i）它考虑了实用的压缩，并使用较少的沟通来通过专注于感知至关重要的领域来实现更高的感知表现； ii）它可以通过动态调整涉及通信的空间区域来处理不同的通信带宽。要评估2comm的位置，我们考虑了在现实世界和模拟方案中使用两种模式（相机/激光镜头）和两种代理类型（CAR/无人机）的3D对象检测：OPV2V，v2x-sim，dair-v2x和我们的原始的Coperception-uavs。其中2comm始终优于先前的方法；例如，它实现了超过$ 100,000 \ times $较低的通信量，并且在OPV2V上仍然优于脱颖而出和v2x-vit。我们的代码可在https://github.com/mediabrain-sjtu/where2comm上找到。

为了促进更好的性能带宽权衡，以实现多种代理人的感知，我们提出了一种新颖的蒸馏协作图（光盘），以模拟代理商之间的培训，姿势感知和适应性协作。我们的主要新科特迪斯在两个方面。首先，我们提出了一位教师学生框架通过知识蒸馏训练光盘。教师模型采用与全面查看输入的早期合作;学生模型基于中间协作与单视图输入。我们的框架通过在学生模型中约束协作后的特征地图来列进讨论，以匹配教师模型的对应关系。其次，我们提出了矩阵值的边缘重量。在这样的矩阵中，每个元素将互及的间歇注意力反映在特定空间区域，允许代理自适应地突出显示信息区域。在推论期间，我们只需要使用名为Distilled Collaboration Network的学生模型（Disconet）。归因于师生框架，具有共享Disconet的多个代理商可以协作地与整体视图进行假设教师模型的表现。我们的方法在V2X-SIM 1.0上验证了我们使用Carla和Sumo Co-Simulation合成的大规模多代理感知数据集。我们在多代理3D对象检测中的定量和定性实验表明，Disconet不仅可以实现比最先进的协作的感知方法更好的性能带宽权衡，而且还带来了更直接的设计理由。我们的代码可在https://github.com/ai4ce/disconet上找到。

车辆到所有（V2X）通信技术使车辆与附近环境中许多其他实体之间的协作可以从根本上改善自动驾驶的感知系统。但是，缺乏公共数据集极大地限制了协作感知的研究进度。为了填补这一空白，我们提出了V2X-SIM，这是一个针对V2X辅助自动驾驶的全面模拟多代理感知数据集。 V2X-SIM提供：（1）\ hl {Multi-Agent}传感器记录来自路边单元（RSU）和多种能够协作感知的车辆，（2）多模式传感器流，可促进多模式感知和多模式感知和（3）支持各种感知任务的各种基础真理。同时，我们在三个任务（包括检测，跟踪和细分）上为最先进的协作感知算法提供了一个开源测试台，并为最先进的协作感知算法提供了基准。 V2X-SIM试图在现实数据集广泛使用之前刺激自动驾驶的协作感知研究。我们的数据集和代码可在\ url {https://ai4ce.github.io/v2x-sim/}上获得。

协作感知最近显示出具有对单一主体感知的感知能力的巨大潜力。现有的协作感知方法通常考虑理想的交流环境。但是，实际上，通信系统不可避免地遭受了延迟问题，从而导致潜在的性能降解和安全关键应用程序（例如自动驾驶）的高风险。从机器学习的角度来看，为了减轻不可避免的沟通潜伏期造成的效果，我们提出了第一个延迟感知的协作感知系统，该系统积极采用从多个代理到同一时间戳的异步感知特征，从而促进了协作的稳健性和有效性。为了实现此类特征级别的同步，我们提出了一个新型的延迟补偿模块，称为Syncnet，该模块利用特征注意的共生估计和时间调制技术。实验结果表明，在最新的协作感知数据集V2X-SIM上，我们的方法优于最先进的协作感知方法15.6％。

在本文中，我们调查了车辆到所有（V2X）通信的应用，以提高自动驾驶汽车的感知性能。我们使用新型视觉变压器提供了一个与V2X通信的强大合作感知框架。具体而言，我们建立了一个整体关注模型，即V2X-VIT，以有效地融合跨道路代理（即车辆和基础设施）的信息。 V2X-VIT由异质多代理自我注意和多尺度窗口自我注意的交替层组成，该层捕获了代理间的相互作用和全面的空间关系。这些关键模块在统一的变压器体系结构中设计，以应对常见的V2X挑战，包括异步信息共享，姿势错误和V2X组件的异质性。为了验证我们的方法，我们使用Carla和OpenCDA创建了一个大规模的V2X感知数据集。广泛的实验结果表明，V2X-VIT设置了3D对象检测的新最先进的性能，即使在恶劣的嘈杂环境下，也可以实现强大的性能。该代码可在https://github.com/derrickxunu/v2x-vit上获得。

配备摄像机的无人机可以显着增强人类在3D空间中具有显着的可操作性，从而使人类感知世界的能力。具有讽刺意味的是，无人机的对象检测始终是在2D图像空间中进行的，这从根本上限制了其理解3D场景的能力。此外，由于缺乏变形模型，无法直接应用于为自动驾驶开发的现有3D对象检测方法，这对于具有敏感变形和小物体的遥远空中透视至关重要。为了填补空白，这项工作提出了一个名为DVDET的双视检测系统，以在2D图像空间和3D物理空间中实现空中单眼对象检测。为了解决严重的视图变形问题，我们提出了一个可训练的可训练的可训练的转换模块，该模块可以从无人机的角度正确地扭曲信息到BEV。与汽车的单眼方法相比，我们的转换包括一个可学习的可变形网络，可显式修改严重的偏差。为了应对数据集挑战，我们提出了一个名为AM3D-SIM的新的大规模模拟数据集，该数据集由AirSim和Carla的共模制成，以及一个名为AM3D-REAL的新的现实世界空中数据集，由DJI Matrice 300 RTK收集，在两个数据集中，都提供了3D对象检测的高质量注释。广泛的实验表明，i）空中单眼3D对象检测是可行的； ii）在仿真数据集中预先训练的模型受益于现实世界的性能，iii）DVDET也有益于汽车的单眼3D对象检测。为了鼓励更多的研究人员调查该领域，我们将在https://sjtu-magic.github.io/dataset/am3d/中发布数据集和相关代码。

Bird's Eye View（BEV）语义分割在自动驾驶的空间传感中起着至关重要的作用。尽管最近的文献在BEV MAP的理解上取得了重大进展，但它们都是基于基于摄像头的系统，这些系统难以处理遮挡并检测复杂的交通场景中的遥远对象。车辆到车辆（V2V）通信技术使自动驾驶汽车能够共享感应信息，与单代理系统相比，可以显着改善感知性能和范围。在本文中，我们提出了Cobevt，这是可以合作生成BEV MAP预测的第一个通用多代理多机构感知框架。为了有效地从基础变压器体系结构中的多视图和多代理数据融合相机功能，我们设计了融合的轴向注意力或传真模块，可以捕获跨视图和代理的局部和全局空间交互。 V2V感知数据集OPV2V的广泛实验表明，COBEVT实现了合作BEV语义分段的最新性能。此外，COBEVT被证明可以推广到其他任务，包括1）具有单代理多摄像机的BEV分割和2）具有多代理激光雷达系统的3D对象检测，并实现具有实时性能的最新性能时间推理速度。

以视觉为中心的BEV感知由于其固有的优点，最近受到行业和学术界的关注，包括展示世界自然代表和融合友好。随着深度学习的快速发展，已经提出了许多方法来解决以视觉为中心的BEV感知。但是，最近没有针对这个小说和不断发展的研究领域的调查。为了刺激其未来的研究，本文对以视觉为中心的BEV感知及其扩展进行了全面调查。它收集并组织了最近的知识，并对常用算法进行了系统的综述和摘要。它还为几项BEV感知任务提供了深入的分析和比较结果，从而促进了未来作品的比较并激发了未来的研究方向。此外，还讨论了经验实现细节并证明有利于相关算法的开发。

采用车辆到车辆通信以提高自动驾驶技术中的感知性能，最近引起了相当大的关注;然而，对于基准测试算法的合适开放数据集已经难以开发和评估合作感知技术。为此，我们介绍了用于车辆到车辆的第一个大型开放模拟数据集。它包含超过70个有趣的场景，11,464帧和232,913帧的注释3D车辆边界盒，从卡拉的8个城镇和洛杉矶的数码镇。然后，我们构建了一个全面的基准，共有16种实施模型来评估若干信息融合策略〜（即早期，晚期和中间融合），最先进的激光雷达检测算法。此外，我们提出了一种新的细心中间融合管线，以从多个连接的车辆汇总信息。我们的实验表明，拟议的管道可以很容易地与现有的3D LIDAR探测器集成，即使具有大的压缩速率也可以实现出色的性能。为了鼓励更多的研究人员来调查车辆到车辆的感知，我们将释放数据集，基准方法以及HTTPS：//mobility-lab.seas.ucla.edu/opv2v2v/中的所有相关代码。

感知是自动驾驶系统的关键模块之一，最近取得了长足的进步。但是，单个车辆的能力有限，导致感知表现的瓶颈。为了突破个人感知的局限性，已经提出了协作感知，使车辆能够共享信息以了解超出视线和视野的环境。在本文中，我们对有关有前途的协作感知技术的相关工作进行了评论，包括介绍基本概念，推广协作模式并总结协作感知的关键成分和应用。最后，我们讨论了该研究领域的公开挑战和问题，并提供了一些潜在的方向。

感知环境是实现合作驾驶自动化（CDA）的最基本关键之一，该关键被认为是解决当代运输系统的安全性，流动性和可持续性问题的革命性解决方案。尽管目前在计算机视觉的物体感知领域正在发生前所未有的进化，但由于不可避免的物理遮挡和单辆车的接受程度有限，最先进的感知方法仍在与复杂的现实世界流量环境中挣扎系统。基于多个空间分离的感知节点，合作感知（CP）诞生是为了解锁驱动自动化的感知瓶颈。在本文中，我们全面审查和分析了CP的研究进度，据我们所知，这是第一次提出统一的CP框架。审查了基于不同类型的传感器的CP系统的体系结构和分类学，以显示对CP系统的工作流程和不同结构的高级描述。对节点结构，传感器模式和融合方案进行了审查和分析，并使用全面的文献进行了详细的解释。提出了分层CP框架，然后对现有数据集和模拟器进行审查，以勾勒出CP的整体景观。讨论重点介绍了当前的机会，开放挑战和预期的未来趋势。

在鸟眼中学习强大的表现（BEV），以进行感知任务，这是趋势和吸引行业和学术界的广泛关注。大多数自动驾驶算法的常规方法在正面或透视视图中执行检测，细分，跟踪等。随着传感器配置变得越来越复杂，从不同的传感器中集成了多源信息，并在统一视图中代表功能至关重要。 BEV感知继承了几个优势，因为代表BEV中的周围场景是直观和融合友好的。对于BEV中的代表对象，对于随后的模块，如计划和/或控制是最可取的。 BEV感知的核心问题在于（a）如何通过从透视视图到BEV来通过视图转换来重建丢失的3D信息； （b）如何在BEV网格中获取地面真理注释； （c）如何制定管道以合并来自不同来源和视图的特征； （d）如何适应和概括算法作为传感器配置在不同情况下各不相同。在这项调查中，我们回顾了有关BEV感知的最新工作，并对不同解决方案进行了深入的分析。此外，还描述了该行业的BEV方法的几种系统设计。此外，我们推出了一套完整的实用指南，以提高BEV感知任务的性能，包括相机，激光雷达和融合输入。最后，我们指出了该领域的未来研究指示。我们希望该报告能阐明社区，并鼓励对BEV感知的更多研究。我们保留一个活跃的存储库来收集最新的工作，并在https://github.com/openperceptionx/bevperception-survey-recipe上提供一包技巧的工具箱。

Deep learning has been widely used in the perception (e.g., 3D object detection) of intelligent vehicle driving. Due to the beneficial Vehicle-to-Vehicle (V2V) communication, the deep learning based features from other agents can be shared to the ego vehicle so as to improve the perception of the ego vehicle. It is named as Cooperative Perception in the V2V research, whose algorithms have been dramatically advanced recently. However, all the existing cooperative perception algorithms assume the ideal V2V communication without considering the possible lossy shared features because of the Lossy Communication (LC) which is common in the complex real-world driving scenarios. In this paper, we first study the side effect (e.g., detection performance drop) by the lossy communication in the V2V Cooperative Perception, and then we propose a novel intermediate LC-aware feature fusion method to relieve the side effect of lossy communication by a LC-aware Repair Network (LCRN) and enhance the interaction between the ego vehicle and other vehicles by a specially designed V2V Attention Module (V2VAM) including intra-vehicle attention of ego vehicle and uncertainty-aware inter-vehicle attention. The extensive experiment on the public cooperative perception dataset OPV2V (based on digital-twin CARLA simulator) demonstrates that the proposed method is quite effective for the cooperative point cloud based 3D object detection under lossy V2V communication.

现有的多代理感知系统假设每个代理都使用具有相同参数和体系结构的相同模型。由于置信度得分不匹配，因此可以通过不同的感知模型来降低性能。在这项工作中，我们提出了一个模型不足的多代理感知框架，以减少由模型差异造成的负面影响，而无需共享模型信息。具体而言，我们提出了一个可以消除预测置信度得分偏置的置信校准器。每个代理商在标准的公共数据库中独立执行此类校准，以保护知识产权。我们还提出了一个相应的边界盒聚合算法，该算法考虑了相邻框的置信度得分和空间协议。我们的实验阐明了不同试剂的模型校准的必要性，结果表明，提出的框架改善了异质剂的基线3D对象检测性能。

Utilizing the latest advances in Artificial Intelligence (AI), the computer vision community is now witnessing an unprecedented evolution in all kinds of perception tasks, particularly in object detection. Based on multiple spatially separated perception nodes, Cooperative Perception (CP) has emerged to significantly advance the perception of automated driving. However, current cooperative object detection methods mainly focus on ego-vehicle efficiency without considering the practical issues of system-wide costs. In this paper, we introduce VINet, a unified deep learning-based CP network for scalable, lightweight, and heterogeneous cooperative 3D object detection. VINet is the first CP method designed from the standpoint of large-scale system-level implementation and can be divided into three main phases: 1) Global Pre-Processing and Lightweight Feature Extraction which prepare the data into global style and extract features for cooperation in a lightweight manner; 2) Two-Stream Fusion which fuses the features from scalable and heterogeneous perception nodes; and 3) Central Feature Backbone and 3D Detection Head which further process the fused features and generate cooperative detection results. A cooperative perception platform is designed and developed for CP dataset acquisition and several baselines are compared during the experiments. The experimental analysis shows that VINet can achieve remarkable improvements for pedestrians and cars with 2x less system-wide computational costs and 12x less system-wide communicational costs.

In this paper, we propose a novel 3D object detector that can exploit both LIDAR as well as cameras to perform very accurate localization. Towards this goal, we design an end-to-end learnable architecture that exploits continuous convolutions to fuse image and LIDAR feature maps at different levels of resolution. Our proposed continuous fusion layer encode both discrete-state image features as well as continuous geometric information. This enables us to design a novel, reliable and efficient end-to-end learnable 3D object detector based on multiple sensors. Our experimental evaluation on both KITTI as well as a large scale 3D object detection benchmark shows significant improvements over the state of the art.

人的大脑可以毫不费力地识别和定位对象，而基于激光雷达点云的当前3D对象检测方法仍然报告了较低的性能，以检测闭塞和远处的对象：点云的外观由于遮挡而变化很大，并且在沿线的固有差异沿点固有差异变化。传感器的距离。因此，设计功能表示对此类点云至关重要。受到人类联想识别的启发，我们提出了一个新颖的3D检测框架，该框架通过域的适应来使对象完整特征。我们弥合感知域之间的差距，其中特征是从具有亚最佳表示的真实场景中得出的，以及概念域，其中功能是从由不批准对象组成的增强场景中提取的，并具有丰富的详细信息。研究了一种可行的方法，可以在没有外部数据集的情况下构建概念场景。我们进一步介绍了一个基于注意力的重新加权模块，该模块可适应地增强更翔实区域的特征。该网络的功能增强能力将被利用，而无需在推理过程中引入额外的成本，这是各种3D检测框架中的插件。我们以准确性和速度都在Kitti 3D检测基准上实现了新的最先进性能。关于Nuscenes和Waymo数据集的实验也验证了我们方法的多功能性。

最近，融合了激光雷达点云和相机图像，提高了3D对象检测的性能和稳健性，因为这两种方式自然具有强烈的互补性。在本文中，我们通过引入新型级联双向融合〜（CB融合）模块和多模态一致性〜（MC）损耗来提出用于多模态3D对象检测的EPNet ++。更具体地说，所提出的CB融合模块提高点特征的丰富语义信息，以级联双向交互融合方式具有图像特征，导致更全面且辨别的特征表示。 MC损失明确保证预测分数之间的一致性，以获得更全面且可靠的置信度分数。基蒂，JRDB和Sun-RGBD数据集的实验结果展示了通过最先进的方法的EPNet ++的优越性。此外，我们强调一个关键但很容易被忽视的问题，这是探讨稀疏场景中的3D探测器的性能和鲁棒性。广泛的实验存在，EPNet ++优于现有的SOTA方法，在高稀疏点云壳中具有显着的边距，这可能是降低LIDAR传感器的昂贵成本的可用方向。代码将来会发布。

车辆到设施通信技术的最新进展使自动驾驶汽车能够共享感官信息以获得更好的感知性能。随着自动驾驶汽车和智能基础设施的快速增长，V2X感知系统将很快在大规模部署，这引发了一个关键的问题：我们如何在现实世界部署之前在挑战性的交通情况下评估和改善其性能？收集多样化的大型现实世界测试场景似乎是最简单的解决方案，但昂贵且耗时，而且收藏量只能涵盖有限的情况。为此，我们提出了第一个开放的对抗场景生成器V2XP-ASG，该发电机可以为现代基于激光雷达的多代理感知系统产生现实，具有挑战性的场景。 V2XP-ASG学会了构建对抗性协作图，并以对抗性和合理的方式同时扰动多个代理的姿势。该实验表明，V2XP-ASG可以有效地确定各种V2X感知系统的具有挑战性的场景。同时，通过对有限数量的挑战场景进行培训，V2X感知系统的准确性可以进一步提高12.3％，而正常场景的准确性可以进一步提高4％。

我们提出了DeepFusion，这是一种模块化的多模式结构，可在不同组合中以3D对象检测为融合激光雷达，相机和雷达。专门的功能提取器可以利用每种模式，并且可以轻松交换，从而使该方法变得简单而灵活。提取的特征被转化为鸟眼视图，作为融合的共同表示。在特征空间中融合方式之前，先进行空间和语义对齐。最后，检测头利用丰富的多模式特征，以改善3D检测性能。 LIDAR相机，激光摄像头雷达和摄像头融合的实验结果显示了我们融合方法的灵活性和有效性。在此过程中，我们研究了高达225米的遥远汽车检测的很大程度上未开发的任务，显示了激光摄像机融合的好处。此外，我们研究了3D对象检测的LIDAR点所需的密度，并在对不利天气条件的鲁棒性示例中说明了含义。此外，对我们的摄像头融合的消融研究突出了准确深度估计的重要性。