共享连接和自动驾驶汽车（CAV）之间的信息从根本上改善了自动驾驶的协作对象检测的性能。但是，由于实际挑战，骑士仍然存在不确定性的对象检测，这将影响自动驾驶中的后来模块，例如计划和控制。因此，不确定性定量对于诸如CAV等安全至关重要系统至关重要。我们的工作是第一个估计协作对象检测的不确定性的工作。我们提出了一种新型的不确定性量化方法，称为Double-M量化，该方法通过直接建模到边界框的每个角落的多变量高斯分布来定制移动块引导（MBB）算法。我们的方法基于离线双M训练过程，通过一个推理通过了一个推理，同时捕获了认知的不确定性和差异不确定性。它可以与不同的协作对象检测器一起使用。通过对综合协作感知数据集进行的实验，我们表明，与最先进的不确定性量化方法相比，我们的双M方法在不确定性评分和3％的准确度上提高了4倍以上。我们的代码在https://coperception.github.io/double-m-quantification上公开。

车辆到所有（V2X）通信技术使车辆与附近环境中许多其他实体之间的协作可以从根本上改善自动驾驶的感知系统。但是，缺乏公共数据集极大地限制了协作感知的研究进度。为了填补这一空白，我们提出了V2X-SIM，这是一个针对V2X辅助自动驾驶的全面模拟多代理感知数据集。 V2X-SIM提供：（1）\ hl {Multi-Agent}传感器记录来自路边单元（RSU）和多种能够协作感知的车辆，（2）多模式传感器流，可促进多模式感知和多模式感知和（3）支持各种感知任务的各种基础真理。同时，我们在三个任务（包括检测，跟踪和细分）上为最先进的协作感知算法提供了一个开源测试台，并为最先进的协作感知算法提供了基准。 V2X-SIM试图在现实数据集广泛使用之前刺激自动驾驶的协作感知研究。我们的数据集和代码可在\ url {https://ai4ce.github.io/v2x-sim/}上获得。

为了促进更好的性能带宽权衡，以实现多种代理人的感知，我们提出了一种新颖的蒸馏协作图（光盘），以模拟代理商之间的培训，姿势感知和适应性协作。我们的主要新科特迪斯在两个方面。首先，我们提出了一位教师学生框架通过知识蒸馏训练光盘。教师模型采用与全面查看输入的早期合作;学生模型基于中间协作与单视图输入。我们的框架通过在学生模型中约束协作后的特征地图来列进讨论，以匹配教师模型的对应关系。其次，我们提出了矩阵值的边缘重量。在这样的矩阵中，每个元素将互及的间歇注意力反映在特定空间区域，允许代理自适应地突出显示信息区域。在推论期间，我们只需要使用名为Distilled Collaboration Network的学生模型（Disconet）。归因于师生框架，具有共享Disconet的多个代理商可以协作地与整体视图进行假设教师模型的表现。我们的方法在V2X-SIM 1.0上验证了我们使用Carla和Sumo Co-Simulation合成的大规模多代理感知数据集。我们在多代理3D对象检测中的定量和定性实验表明，Disconet不仅可以实现比最先进的协作的感知方法更好的性能带宽权衡，而且还带来了更直接的设计理由。我们的代码可在https://github.com/ai4ce/disconet上找到。

由于许多安全性系统（例如手术机器人和自动驾驶汽车）在不稳定的环境中运行，具有传感器噪声和不完整的数据，因此希望对象探测器将本地化不确定性考虑在内。但是，基于锚的对象检测的现有不确定性估计方法存在几个局限性。 1）它们对具有不同特征和尺度的异质对象性质的不确定性进行建模，例如位置（中心点）和尺度（宽度，高度），这可能很难估算。 2）它们将框偏移型为高斯分布，这与遵循Dirac Delta分布的地面真相边界框不兼容。 3）由于基于锚的方法对锚定超参数敏感，因此它们的定位不确定性也可能对选择超参数的选择高度敏感。为了应对这些局限性，我们提出了一种称为UAD的新定位不确定性估计方法，用于无锚对象检测。我们的方法捕获了均匀的四个方向（左，右，顶部，底部）的四个方向的不确定性，因此它可以判断哪个方向不确定，并在[0，1]中提供不确定性的定量值。为了实现这种不确定性估计，我们设计了一种新的不确定性损失，负功率对数可能性损失，以通过加权其IOU加权可能性损失来衡量本地化不确定性，从而减轻了模型错误指定问题。此外，我们提出了反映分类评分的估计不确定性的不确定性感知局灶性损失。可可数据集的实验结果表明，我们的方法在不牺牲计算效率的情况下显着提高了最高1.8点的FCO。

由遮挡，信号丢失或手动注释错误引起的3D边界框的地面真相注释的固有歧义可能会使训练过程中的深3D对象检测器混淆，从而使检测准确性恶化。但是，现有方法在某种程度上忽略了此类问题，并将标签视为确定性。在本文中，我们提出了GLENET，这是一个从条件变异自动编码器改编的生成标签不确定性估计框架，以建模典型的3D对象与其潜在的潜在基边界框之间具有潜在变量的一对一关系。 Glenet产生的标签不确定性是一个插件模块，可以方便地集成到现有的深3D检测器中，以构建概率检测器并监督本地化不确定性的学习。此外，我们提出了概率探测器中的不确定性质量估计量架构，以指导对IOU分支的培训，并预测了本地化不确定性。我们将提出的方法纳入各种流行的3D检测器中，并观察到它们的性能显着提高到Waymo Open DataSet和Kitti数据集中的当前最新技术。

Radar, the only sensor that could provide reliable perception capability in all weather conditions at an affordable cost, has been widely accepted as a key supplement to camera and LiDAR in modern advanced driver assistance systems (ADAS) and autonomous driving systems. Recent state-of-the-art works reveal that fusion of radar and LiDAR can lead to robust detection in adverse weather, such as fog. However, these methods still suffer from low accuracy of bounding box estimations. This paper proposes a bird's-eye view (BEV) fusion learning for an anchor box-free object detection system, which uses the feature derived from the radar range-azimuth heatmap and the LiDAR point cloud to estimate the possible objects. Different label assignment strategies have been designed to facilitate the consistency between the classification of foreground or background anchor points and the corresponding bounding box regressions. Furthermore, the performance of the proposed object detector can be further enhanced by employing a novel interactive transformer module. We demonstrated the superior performance of the proposed methods in this paper using the recently published Oxford Radar RobotCar (ORR) dataset. We showed that the accuracy of our system significantly outperforms the other state-of-the-art methods by a large margin.

协作感知最近显示出具有对单一主体感知的感知能力的巨大潜力。现有的协作感知方法通常考虑理想的交流环境。但是，实际上，通信系统不可避免地遭受了延迟问题，从而导致潜在的性能降解和安全关键应用程序（例如自动驾驶）的高风险。从机器学习的角度来看，为了减轻不可避免的沟通潜伏期造成的效果，我们提出了第一个延迟感知的协作感知系统，该系统积极采用从多个代理到同一时间戳的异步感知特征，从而促进了协作的稳健性和有效性。为了实现此类特征级别的同步，我们提出了一个新型的延迟补偿模块，称为Syncnet，该模块利用特征注意的共生估计和时间调制技术。实验结果表明，在最新的协作感知数据集V2X-SIM上，我们的方法优于最先进的协作感知方法15.6％。

多代理协作感知可以通过使代理商能够通过交流相互共享互补信息来显着升级感知表现。它不可避免地会导致感知表现与沟通带宽之间的基本权衡。为了解决这个瓶颈问题，我们提出了一个空间置信度图，该图反映了感知信息的空间异质性。它使代理只能在空间上共享稀疏而感知的关键信息，从而有助于沟通。基于这张新型的空间置信度图，我们提出了2Comm，即沟通有效的协作感知框架。其中2Comm具有两个不同的优势：i）它考虑了实用的压缩，并使用较少的沟通来通过专注于感知至关重要的领域来实现更高的感知表现； ii）它可以通过动态调整涉及通信的空间区域来处理不同的通信带宽。要评估2comm的位置，我们考虑了在现实世界和模拟方案中使用两种模式（相机/激光镜头）和两种代理类型（CAR/无人机）的3D对象检测：OPV2V，v2x-sim，dair-v2x和我们的原始的Coperception-uavs。其中2comm始终优于先前的方法；例如，它实现了超过$ 100,000 \ times $较低的通信量，并且在OPV2V上仍然优于脱颖而出和v2x-vit。我们的代码可在https://github.com/mediabrain-sjtu/where2comm上找到。

现有的多代理感知系统假设每个代理都使用具有相同参数和体系结构的相同模型。由于置信度得分不匹配，因此可以通过不同的感知模型来降低性能。在这项工作中，我们提出了一个模型不足的多代理感知框架，以减少由模型差异造成的负面影响，而无需共享模型信息。具体而言，我们提出了一个可以消除预测置信度得分偏置的置信校准器。每个代理商在标准的公共数据库中独立执行此类校准，以保护知识产权。我们还提出了一个相应的边界盒聚合算法，该算法考虑了相邻框的置信度得分和空间协议。我们的实验阐明了不同试剂的模型校准的必要性，结果表明，提出的框架改善了异质剂的基线3D对象检测性能。

采用车辆到车辆通信以提高自动驾驶技术中的感知性能，最近引起了相当大的关注;然而，对于基准测试算法的合适开放数据集已经难以开发和评估合作感知技术。为此，我们介绍了用于车辆到车辆的第一个大型开放模拟数据集。它包含超过70个有趣的场景，11,464帧和232,913帧的注释3D车辆边界盒，从卡拉的8个城镇和洛杉矶的数码镇。然后，我们构建了一个全面的基准，共有16种实施模型来评估若干信息融合策略〜（即早期，晚期和中间融合），最先进的激光雷达检测算法。此外，我们提出了一种新的细心中间融合管线，以从多个连接的车辆汇总信息。我们的实验表明，拟议的管道可以很容易地与现有的3D LIDAR探测器集成，即使具有大的压缩速率也可以实现出色的性能。为了鼓励更多的研究人员来调查车辆到车辆的感知，我们将释放数据集，基准方法以及HTTPS：//mobility-lab.seas.ucla.edu/opv2v2v/中的所有相关代码。

近年来，自主驾驶LIDAR数据的3D对象检测一直在迈出卓越的进展。在最先进的方法中，已经证明了将点云进行编码为鸟瞰图（BEV）是有效且有效的。与透视图不同，BEV在物体之间保留丰富的空间和距离信息;虽然在BEV中相同类型的更远物体不会较小，但它们包含稀疏点云特征。这一事实使用共享卷积神经网络削弱了BEV特征提取。为了解决这一挑战，我们提出了范围感知注意网络（RAANET），提取更强大的BEV功能并产生卓越的3D对象检测。范围感知的注意力（RAA）卷曲显着改善了近距离的特征提取。此外，我们提出了一种新的辅助损耗，用于密度估计，以进一步增强覆盖物体的Raanet的检测精度。值得注意的是，我们提出的RAA卷积轻量级，并兼容，以集成到用于BEV检测的任何CNN架构中。 Nuscenes DataSet上的广泛实验表明，我们的提出方法优于基于LIDAR的3D对象检测的最先进的方法，具有16 Hz的实时推断速度，为LITE版本为22 Hz。该代码在匿名GitHub存储库HTTPS://github.com/Anonymous0522 / ange上公开提供。

部署到开放世界中，对象探测器容易出现开放式错误，训练数据集中不存在的对象类的假阳性检测。我们提出了GMM-DET，一种用于从对象探测器中提取认知不确定性的实时方法，以识别和拒绝开放式错误。 GMM-DID列达探测器以产生与特定于类高斯混合模型建模的结构化的Logit空间。在测试时间时，通过所有高斯混合模型下的低对数概率识别开放式错误。我们测试了两个常见的探测器架构，更快的R-CNN和RETINANET，跨越了三种不同的数据集，跨越机器人和计算机视觉。我们的结果表明，GMM-DET始终如一地优于识别和拒绝开放式检测的现有不确定性技术，特别是在安全关键应用程序所需的低差错率操作点。 GMM-DET保持对象检测性能，并仅引入最小的计算开销。我们还介绍一种用于将现有对象检测数据集转换为特定的开放式数据集的方法，以评估对象检测中的开放式性能。

3D对象检测是安全关键型机器人应用（如自主驾驶）的关键模块。对于这些应用，我们最关心检测如何影响自我代理人的行为和安全性（Egocentric观点）。直观地，当它更有可能干扰自我代理商的运动轨迹时，我们寻求更准确的对象几何描述。然而，基于箱交叉口（IOU）的电流检测指标是以对象为中心的，并且不设计用于捕获物体和自助代理之间的时空关系。为了解决这个问题，我们提出了一种新的EnoCentric测量来评估3D对象检测，即支持距离误差（SDE）。我们基于SDE的分析显示，EPECENTIC检测质量由边界框的粗糙几何形状界定。鉴于SDE将从更准确的几何描述中受益的洞察力，我们建议将物体代表为Amodal轮廓，特别是Amodal星形多边形，并设计简单的模型，椋鸟，预测这种轮廓。我们对大型Waymo公开数据集的实验表明，与IOU相比，SDE更好地反映了检测质量对自我代理人安全的影响;恒星的估计轮廓始终如一地改善最近的3D对象探测器的Enocentric检测质量。

We present AVOD, an Aggregate View Object Detection network for autonomous driving scenarios. The proposed neural network architecture uses LIDAR point clouds and RGB images to generate features that are shared by two subnetworks: a region proposal network (RPN) and a second stage detector network. The proposed RPN uses a novel architecture capable of performing multimodal feature fusion on high resolution feature maps to generate reliable 3D object proposals for multiple object classes in road scenes. Using these proposals, the second stage detection network performs accurate oriented 3D bounding box regression and category classification to predict the extents, orientation, and classification of objects in 3D space. Our proposed architecture is shown to produce state of the art results on the KITTI 3D object detection benchmark [1] while running in real time with a low memory footprint, making it a suitable candidate for deployment on autonomous vehicles. Code is at: https://github.com/kujason/avod

We address the problem of real-time 3D object detection from point clouds in the context of autonomous driving. Computation speed is critical as detection is a necessary component for safety. Existing approaches are, however, expensive in computation due to high dimensionality of point clouds. We utilize the 3D data more efficiently by representing the scene from the Bird's Eye View (BEV), and propose PIXOR, a proposal-free, single-stage detector that outputs oriented 3D object estimates decoded from pixelwise neural network predictions. The input representation, network architecture, and model optimization are especially designed to balance high accuracy and real-time efficiency. We validate PIXOR on two datasets: the KITTI BEV object detection benchmark, and a large-scale 3D vehicle detection benchmark. In both datasets we show that the proposed detector surpasses other state-of-the-art methods notably in terms of Average Precision (AP), while still runs at > 28 FPS.

不利天气条件可能会对基于激光雷达的对象探测器产生负面影响。在这项工作中，我们专注于在寒冷天气条件下的车辆气体排气凝结现象。这种日常效果会影响对象大小，取向并引入幽灵对象检测的估计，从而损害了最先进的对象检测器状态的可靠性。我们建议通过使用数据增强和新颖的培训损失项来解决此问题。为了有效地训练深层神经网络，需要大量标记的数据。如果天气不利，此过程可能非常费力且昂贵。我们分为两个步骤解决此问题：首先，我们根据3D表面重建和采样提出了一种气排气数据生成方法，该方法使我们能够从一小群标记的数据池中生成大量的气体排气云。其次，我们引入了一个点云增强过程，该过程可用于在良好天气条件下记录的数据集中添加气体排气。最后，我们制定了一个新的训练损失术语，该损失术语利用增强点云来通过惩罚包括噪声的预测来增加对象检测的鲁棒性。与其他作品相反，我们的方法可以与基于网格的检测器和基于点的检测器一起使用。此外，由于我们的方法不需要任何网络体系结构更改，因此推理时间保持不变。实际数据的实验结果表明，我们提出的方法大大提高了对气体排气和嘈杂数据的鲁棒性。

估计神经网络的不确定性在安全关键环境中起着基本作用。在对自主驾驶的感知中，测量不确定性意味着向下游任务提供额外的校准信息，例如路径规划，可以将其用于安全导航。在这项工作中，我们提出了一种用于对象检测的新型采样的不确定性估计方法。我们称之为特定网络，它是第一个为每个输出信号提供单独的不确定性：Objectness，类，位置和大小。为实现这一点，我们提出了一种不确定性感知的热图，并利用检测器提供的相邻边界框在推理时间。我们分别评估了不同不确定性估计的检测性能和质量，也具有具有挑战性的域名样本：BDD100K和肾上腺素训练在基蒂培训。此外，我们提出了一种新的指标来评估位置和大小的不确定性。当转移到看不见的数据集时，某些基本上概括了比以前的方法和集合更好，同时是实时和提供高质量和全面的不确定性估计。

Deep learning has been widely used in the perception (e.g., 3D object detection) of intelligent vehicle driving. Due to the beneficial Vehicle-to-Vehicle (V2V) communication, the deep learning based features from other agents can be shared to the ego vehicle so as to improve the perception of the ego vehicle. It is named as Cooperative Perception in the V2V research, whose algorithms have been dramatically advanced recently. However, all the existing cooperative perception algorithms assume the ideal V2V communication without considering the possible lossy shared features because of the Lossy Communication (LC) which is common in the complex real-world driving scenarios. In this paper, we first study the side effect (e.g., detection performance drop) by the lossy communication in the V2V Cooperative Perception, and then we propose a novel intermediate LC-aware feature fusion method to relieve the side effect of lossy communication by a LC-aware Repair Network (LCRN) and enhance the interaction between the ego vehicle and other vehicles by a specially designed V2V Attention Module (V2VAM) including intra-vehicle attention of ego vehicle and uncertainty-aware inter-vehicle attention. The extensive experiment on the public cooperative perception dataset OPV2V (based on digital-twin CARLA simulator) demonstrates that the proposed method is quite effective for the cooperative point cloud based 3D object detection under lossy V2V communication.

合作感允许连接的自动驾驶汽车（CAV）与附近的其他骑士相互作用，以增强对周围物体的感知以提高安全性和可靠性。它可以弥补常规车辆感知的局限性，例如盲点，低分辨率和天气影响。合作感知中间融合方法的有效特征融合模型可以改善特征选择和信息聚集，以进一步提高感知精度。我们建议具有可训练的特征选择模块的自适应特征融合模型。我们提出的模型之一是通过空间自适应特征融合（S-Adafusion）在OPV2V数据集的两个子集上的所有其他最先进的模型：默认的Carla Towns用于车辆检测和用于域适应的Culver City。此外，先前的研究仅测试了合作感的车辆检测。但是，行人在交通事故中更有可能受到重伤。我们使用CODD数据集评估了车辆和行人检测的合作感的性能。与CODD数据集中的车辆和行人检测相比，我们的架构达到的平均精度（AP）高。实验表明，与常规感知过程相比，合作感也可以提高行人检测准确性。

在本文中，我们调查了车辆到所有（V2X）通信的应用，以提高自动驾驶汽车的感知性能。我们使用新型视觉变压器提供了一个与V2X通信的强大合作感知框架。具体而言，我们建立了一个整体关注模型，即V2X-VIT，以有效地融合跨道路代理（即车辆和基础设施）的信息。 V2X-VIT由异质多代理自我注意和多尺度窗口自我注意的交替层组成，该层捕获了代理间的相互作用和全面的空间关系。这些关键模块在统一的变压器体系结构中设计，以应对常见的V2X挑战，包括异步信息共享，姿势错误和V2X组件的异质性。为了验证我们的方法，我们使用Carla和OpenCDA创建了一个大规模的V2X感知数据集。广泛的实验结果表明，V2X-VIT设置了3D对象检测的新最先进的性能，即使在恶劣的嘈杂环境下，也可以实现强大的性能。该代码可在https://github.com/derrickxunu/v2x-vit上获得。