车辆到设施通信技术的最新进展使自动驾驶汽车能够共享感官信息以获得更好的感知性能。随着自动驾驶汽车和智能基础设施的快速增长，V2X感知系统将很快在大规模部署，这引发了一个关键的问题：我们如何在现实世界部署之前在挑战性的交通情况下评估和改善其性能？收集多样化的大型现实世界测试场景似乎是最简单的解决方案，但昂贵且耗时，而且收藏量只能涵盖有限的情况。为此，我们提出了第一个开放的对抗场景生成器V2XP-ASG，该发电机可以为现代基于激光雷达的多代理感知系统产生现实，具有挑战性的场景。 V2XP-ASG学会了构建对抗性协作图，并以对抗性和合理的方式同时扰动多个代理的姿势。该实验表明，V2XP-ASG可以有效地确定各种V2X感知系统的具有挑战性的场景。同时，通过对有限数量的挑战场景进行培训，V2X感知系统的准确性可以进一步提高12.3％，而正常场景的准确性可以进一步提高4％。

由于自动驾驶系统变得更好，模拟自动堆栈可能失败的方案变得更加重要。传统上，这些方案对于一些关于将地理演奏器状态作为输入的规划模块而产生的一些场景。这不会缩放，无法识别所有可能的自主义故障，例如由于遮挡引起的感知故障。在本文中，我们提出了对基于LIDAR的自治系统产生了安全性临界情景的促进框架。鉴于初始交通方案，Advsim以物理卓越的方式修改演员的轨迹，并更新LIDAR传感器数据以匹配扰动的世界。重要的是，通过直接模拟传感器数据，我们获得对完整自主堆栈的安全关键的对抗方案。我们的实验表明，我们的方法是一般的，可以识别成千上万的语义有意义的安全关键方案，适用于各种现代自动驾驶系统。此外，我们表明，通过使用Advsim产生的情景训练，可以进一步改善这些系统的稳健性和安全性。

采用车辆到车辆通信以提高自动驾驶技术中的感知性能，最近引起了相当大的关注;然而，对于基准测试算法的合适开放数据集已经难以开发和评估合作感知技术。为此，我们介绍了用于车辆到车辆的第一个大型开放模拟数据集。它包含超过70个有趣的场景，11,464帧和232,913帧的注释3D车辆边界盒，从卡拉的8个城镇和洛杉矶的数码镇。然后，我们构建了一个全面的基准，共有16种实施模型来评估若干信息融合策略〜（即早期，晚期和中间融合），最先进的激光雷达检测算法。此外，我们提出了一种新的细心中间融合管线，以从多个连接的车辆汇总信息。我们的实验表明，拟议的管道可以很容易地与现有的3D LIDAR探测器集成，即使具有大的压缩速率也可以实现出色的性能。为了鼓励更多的研究人员来调查车辆到车辆的感知，我们将释放数据集，基准方法以及HTTPS：//mobility-lab.seas.ucla.edu/opv2v2v/中的所有相关代码。

在本文中，我们调查了车辆到所有（V2X）通信的应用，以提高自动驾驶汽车的感知性能。我们使用新型视觉变压器提供了一个与V2X通信的强大合作感知框架。具体而言，我们建立了一个整体关注模型，即V2X-VIT，以有效地融合跨道路代理（即车辆和基础设施）的信息。 V2X-VIT由异质多代理自我注意和多尺度窗口自我注意的交替层组成，该层捕获了代理间的相互作用和全面的空间关系。这些关键模块在统一的变压器体系结构中设计，以应对常见的V2X挑战，包括异步信息共享，姿势错误和V2X组件的异质性。为了验证我们的方法，我们使用Carla和OpenCDA创建了一个大规模的V2X感知数据集。广泛的实验结果表明，V2X-VIT设置了3D对象检测的新最先进的性能，即使在恶劣的嘈杂环境下，也可以实现强大的性能。该代码可在https://github.com/derrickxunu/v2x-vit上获得。

现有的多代理感知系统假设每个代理都使用具有相同参数和体系结构的相同模型。由于置信度得分不匹配，因此可以通过不同的感知模型来降低性能。在这项工作中，我们提出了一个模型不足的多代理感知框架，以减少由模型差异造成的负面影响，而无需共享模型信息。具体而言，我们提出了一个可以消除预测置信度得分偏置的置信校准器。每个代理商在标准的公共数据库中独立执行此类校准，以保护知识产权。我们还提出了一个相应的边界盒聚合算法，该算法考虑了相邻框的置信度得分和空间协议。我们的实验阐明了不同试剂的模型校准的必要性，结果表明，提出的框架改善了异质剂的基线3D对象检测性能。

车辆到所有（V2X）通信技术使车辆与附近环境中许多其他实体之间的协作可以从根本上改善自动驾驶的感知系统。但是，缺乏公共数据集极大地限制了协作感知的研究进度。为了填补这一空白，我们提出了V2X-SIM，这是一个针对V2X辅助自动驾驶的全面模拟多代理感知数据集。 V2X-SIM提供：（1）\ hl {Multi-Agent}传感器记录来自路边单元（RSU）和多种能够协作感知的车辆，（2）多模式传感器流，可促进多模式感知和多模式感知和（3）支持各种感知任务的各种基础真理。同时，我们在三个任务（包括检测，跟踪和细分）上为最先进的协作感知算法提供了一个开源测试台，并为最先进的协作感知算法提供了基准。 V2X-SIM试图在现实数据集广泛使用之前刺激自动驾驶的协作感知研究。我们的数据集和代码可在\ url {https://ai4ce.github.io/v2x-sim/}上获得。

Deep learning has been widely used in the perception (e.g., 3D object detection) of intelligent vehicle driving. Due to the beneficial Vehicle-to-Vehicle (V2V) communication, the deep learning based features from other agents can be shared to the ego vehicle so as to improve the perception of the ego vehicle. It is named as Cooperative Perception in the V2V research, whose algorithms have been dramatically advanced recently. However, all the existing cooperative perception algorithms assume the ideal V2V communication without considering the possible lossy shared features because of the Lossy Communication (LC) which is common in the complex real-world driving scenarios. In this paper, we first study the side effect (e.g., detection performance drop) by the lossy communication in the V2V Cooperative Perception, and then we propose a novel intermediate LC-aware feature fusion method to relieve the side effect of lossy communication by a LC-aware Repair Network (LCRN) and enhance the interaction between the ego vehicle and other vehicles by a specially designed V2V Attention Module (V2VAM) including intra-vehicle attention of ego vehicle and uncertainty-aware inter-vehicle attention. The extensive experiment on the public cooperative perception dataset OPV2V (based on digital-twin CARLA simulator) demonstrates that the proposed method is quite effective for the cooperative point cloud based 3D object detection under lossy V2V communication.

感知是自动驾驶系统的关键模块之一，最近取得了长足的进步。但是，单个车辆的能力有限，导致感知表现的瓶颈。为了突破个人感知的局限性，已经提出了协作感知，使车辆能够共享信息以了解超出视线和视野的环境。在本文中，我们对有关有前途的协作感知技术的相关工作进行了评论，包括介绍基本概念，推广协作模式并总结协作感知的关键成分和应用。最后，我们讨论了该研究领域的公开挑战和问题，并提供了一些潜在的方向。

为了促进更好的性能带宽权衡，以实现多种代理人的感知，我们提出了一种新颖的蒸馏协作图（光盘），以模拟代理商之间的培训，姿势感知和适应性协作。我们的主要新科特迪斯在两个方面。首先，我们提出了一位教师学生框架通过知识蒸馏训练光盘。教师模型采用与全面查看输入的早期合作;学生模型基于中间协作与单视图输入。我们的框架通过在学生模型中约束协作后的特征地图来列进讨论，以匹配教师模型的对应关系。其次，我们提出了矩阵值的边缘重量。在这样的矩阵中，每个元素将互及的间歇注意力反映在特定空间区域，允许代理自适应地突出显示信息区域。在推论期间，我们只需要使用名为Distilled Collaboration Network的学生模型（Disconet）。归因于师生框架，具有共享Disconet的多个代理商可以协作地与整体视图进行假设教师模型的表现。我们的方法在V2X-SIM 1.0上验证了我们使用Carla和Sumo Co-Simulation合成的大规模多代理感知数据集。我们在多代理3D对象检测中的定量和定性实验表明，Disconet不仅可以实现比最先进的协作的感知方法更好的性能带宽权衡，而且还带来了更直接的设计理由。我们的代码可在https://github.com/ai4ce/disconet上找到。

多代理协作感知可以通过使代理商能够通过交流相互共享互补信息来显着升级感知表现。它不可避免地会导致感知表现与沟通带宽之间的基本权衡。为了解决这个瓶颈问题，我们提出了一个空间置信度图，该图反映了感知信息的空间异质性。它使代理只能在空间上共享稀疏而感知的关键信息，从而有助于沟通。基于这张新型的空间置信度图，我们提出了2Comm，即沟通有效的协作感知框架。其中2Comm具有两个不同的优势：i）它考虑了实用的压缩，并使用较少的沟通来通过专注于感知至关重要的领域来实现更高的感知表现； ii）它可以通过动态调整涉及通信的空间区域来处理不同的通信带宽。要评估2comm的位置，我们考虑了在现实世界和模拟方案中使用两种模式（相机/激光镜头）和两种代理类型（CAR/无人机）的3D对象检测：OPV2V，v2x-sim，dair-v2x和我们的原始的Coperception-uavs。其中2comm始终优于先前的方法；例如，它实现了超过$ 100,000 \ times $较低的通信量，并且在OPV2V上仍然优于脱颖而出和v2x-vit。我们的代码可在https://github.com/mediabrain-sjtu/where2comm上找到。

Bird's Eye View（BEV）语义分割在自动驾驶的空间传感中起着至关重要的作用。尽管最近的文献在BEV MAP的理解上取得了重大进展，但它们都是基于基于摄像头的系统，这些系统难以处理遮挡并检测复杂的交通场景中的遥远对象。车辆到车辆（V2V）通信技术使自动驾驶汽车能够共享感应信息，与单代理系统相比，可以显着改善感知性能和范围。在本文中，我们提出了Cobevt，这是可以合作生成BEV MAP预测的第一个通用多代理多机构感知框架。为了有效地从基础变压器体系结构中的多视图和多代理数据融合相机功能，我们设计了融合的轴向注意力或传真模块，可以捕获跨视图和代理的局部和全局空间交互。 V2V感知数据集OPV2V的广泛实验表明，COBEVT实现了合作BEV语义分段的最新性能。此外，COBEVT被证明可以推广到其他任务，包括1）具有单代理多摄像机的BEV分割和2）具有多代理激光雷达系统的3D对象检测，并实现具有实时性能的最新性能时间推理速度。

Utilizing the latest advances in Artificial Intelligence (AI), the computer vision community is now witnessing an unprecedented evolution in all kinds of perception tasks, particularly in object detection. Based on multiple spatially separated perception nodes, Cooperative Perception (CP) has emerged to significantly advance the perception of automated driving. However, current cooperative object detection methods mainly focus on ego-vehicle efficiency without considering the practical issues of system-wide costs. In this paper, we introduce VINet, a unified deep learning-based CP network for scalable, lightweight, and heterogeneous cooperative 3D object detection. VINet is the first CP method designed from the standpoint of large-scale system-level implementation and can be divided into three main phases: 1) Global Pre-Processing and Lightweight Feature Extraction which prepare the data into global style and extract features for cooperation in a lightweight manner; 2) Two-Stream Fusion which fuses the features from scalable and heterogeneous perception nodes; and 3) Central Feature Backbone and 3D Detection Head which further process the fused features and generate cooperative detection results. A cooperative perception platform is designed and developed for CP dataset acquisition and several baselines are compared during the experiments. The experimental analysis shows that VINet can achieve remarkable improvements for pedestrians and cars with 2x less system-wide computational costs and 12x less system-wide communicational costs.

Recently, Vehicle-to-Everything(V2X) cooperative perception has attracted increasing attention. Infrastructure sensors play a critical role in this research field, however, how to find the optimal placement of infrastructure sensors is rarely studied. In this paper, we investigate the problem of infrastructure sensor placement and propose a pipeline that can efficiently and effectively find optimal installation positions for infrastructure sensors in a realistic simulated environment. To better simulate and evaluate LiDAR placement, we establish a Realistic LiDAR Simulation library that can simulate the unique characteristics of different popular LiDARs and produce high-fidelity LiDAR point clouds in the CARLA simulator. Through simulating point cloud data in different LiDAR placements, we can evaluate the perception accuracy of these placements using multiple detection models. Then, we analyze the correlation between the point cloud distribution and perception accuracy by calculating the density and uniformity of regions of interest. Experiments show that the placement of infrastructure LiDAR can heavily affect the accuracy of perception. We also analyze the correlation between perception performance in the region of interest and LiDAR point cloud distribution and validate that density and uniformity can be indicators of performance.

自治车辆的评估和改善规划需要可扩展的长尾交通方案。有用的是，这些情景必须是现实的和挑战性的，但不能安全地开车。在这项工作中，我们介绍努力，一种自动生成具有挑战性的场景的方法，导致给定的计划者产生不良行为，如冲突。为了维护情景合理性，关键的想法是利用基于图形的条件VAE的形式利用学习的交通运动模型。方案生成在该流量模型的潜在空间中制定了优化，通过扰乱初始的真实世界的场景来产生与给定计划者碰撞的轨迹。随后的优化用于找到“解决方案”的场景，确保改进给定的计划者是有用的。进一步的分析基于碰撞类型的群集生成的场景。我们攻击两名策划者并展示争取在这两种情况下成功地产生了现实，具有挑战性的情景。我们另外“关闭循环”并使用这些方案优化基于规则的策划器的超参数。

协作感知最近显示出具有对单一主体感知的感知能力的巨大潜力。现有的协作感知方法通常考虑理想的交流环境。但是，实际上，通信系统不可避免地遭受了延迟问题，从而导致潜在的性能降解和安全关键应用程序（例如自动驾驶）的高风险。从机器学习的角度来看，为了减轻不可避免的沟通潜伏期造成的效果，我们提出了第一个延迟感知的协作感知系统，该系统积极采用从多个代理到同一时间戳的异步感知特征，从而促进了协作的稳健性和有效性。为了实现此类特征级别的同步，我们提出了一个新型的延迟补偿模块，称为Syncnet，该模块利用特征注意的共生估计和时间调制技术。实验结果表明，在最新的协作感知数据集V2X-SIM上，我们的方法优于最先进的协作感知方法15.6％。

Making safe and human-like decisions is an essential capability of autonomous driving systems and learning-based behavior planning is a promising pathway toward this objective. Distinguished from existing learning-based methods that directly output decisions, this work introduces a predictive behavior planning framework that learns to predict and evaluate from human driving data. Concretely, a behavior generation module first produces a diverse set of candidate behaviors in the form of trajectory proposals. Then the proposed conditional motion prediction network is employed to forecast other agents' future trajectories conditioned on each trajectory proposal. Given the candidate plans and associated prediction results, we learn a scoring module to evaluate the plans using maximum entropy inverse reinforcement learning (IRL). We conduct comprehensive experiments to validate the proposed framework on a large-scale real-world urban driving dataset. The results reveal that the conditional prediction model is able to forecast multiple possible future trajectories given a candidate behavior and the prediction results are reactive to different plans. Moreover, the IRL-based scoring module can properly evaluate the trajectory proposals and select close-to-human ones. The proposed framework outperforms other baseline methods in terms of similarity to human driving trajectories. Moreover, we find that the conditional prediction model can improve both prediction and planning performance compared to the non-conditional model, and learning the scoring module is critical to correctly evaluating the candidate plans to align with human drivers.

合作感允许连接的自动驾驶汽车（CAV）与附近的其他骑士相互作用，以增强对周围物体的感知以提高安全性和可靠性。它可以弥补常规车辆感知的局限性，例如盲点，低分辨率和天气影响。合作感知中间融合方法的有效特征融合模型可以改善特征选择和信息聚集，以进一步提高感知精度。我们建议具有可训练的特征选择模块的自适应特征融合模型。我们提出的模型之一是通过空间自适应特征融合（S-Adafusion）在OPV2V数据集的两个子集上的所有其他最先进的模型：默认的Carla Towns用于车辆检测和用于域适应的Culver City。此外，先前的研究仅测试了合作感的车辆检测。但是，行人在交通事故中更有可能受到重伤。我们使用CODD数据集评估了车辆和行人检测的合作感的性能。与CODD数据集中的车辆和行人检测相比，我们的架构达到的平均精度（AP）高。实验表明，与常规感知过程相比，合作感也可以提高行人检测准确性。

以视觉为中心的BEV感知由于其固有的优点，最近受到行业和学术界的关注，包括展示世界自然代表和融合友好。随着深度学习的快速发展，已经提出了许多方法来解决以视觉为中心的BEV感知。但是，最近没有针对这个小说和不断发展的研究领域的调查。为了刺激其未来的研究，本文对以视觉为中心的BEV感知及其扩展进行了全面调查。它收集并组织了最近的知识，并对常用算法进行了系统的综述和摘要。它还为几项BEV感知任务提供了深入的分析和比较结果，从而促进了未来作品的比较并激发了未来的研究方向。此外，还讨论了经验实现细节并证明有利于相关算法的开发。

轨迹预测对于自动驾驶汽车（AV）是必不可少的，以计划正确且安全的驾驶行为。尽管许多先前的作品旨在达到更高的预测准确性，但很少有人研究其方法的对抗性鲁棒性。为了弥合这一差距，我们建议研究数据驱动的轨迹预测系统的对抗性鲁棒性。我们设计了一个基于优化的对抗攻击框架，该框架利用精心设计的可区分动态模型来生成逼真的对抗轨迹。从经验上讲，我们基于最先进的预测模型的对抗性鲁棒性，并表明我们的攻击使通用指标和计划感知指标的预测错误增加了50％以上和37％。我们还表明，我们的攻击可以导致AV在模拟中驶离道路或碰撞到其他车辆中。最后，我们演示了如何使用对抗训练计划来减轻对抗性攻击。

已经证明了现代自动驾驶感知系统在处理互补输入之类的利用图像时，已被证明可以改善互补投入。在孤立中，已发现2D图像非常容易受到对抗性攻击的影响。然而，有有限的研究与图像特征融合的多模态模型的对抗鲁棒性。此外，现有的作品不考虑跨输入方式一致的物理上可实现的扰动。在本文中，我们通过将对抗物体放在主车辆的顶部上展示多传感器检测的实际敏感性。我们专注于身体上可实现的和输入 - 不可行的攻击，因为它们是在实践中执行的可行性，并且表明单个通用对手可以隐藏来自最先进的多模态探测器的不同主机。我们的实验表明，成功的攻击主要是由易于损坏的图像特征引起的。此外，我们发现，在将图像特征中的现代传感器融合方法中，对抗攻击可以利用投影过程来在3D中跨越区域产生误报。朝着更强大的多模态感知系统，我们表明，具有特征剥夺的对抗训练可以显着提高对这种攻击的鲁棒性。然而，我们发现标准的对抗性防御仍然努力防止由3D LIDAR点和2D像素之间不准确的关联引起的误报。