随着点云上的3D对象检测依赖于点之间的几何关系，非标准对象形状可以妨碍方法的检测能力。然而，在安全关键环境中，在分销外和长尾样品上的鲁棒性是对规避危险问题的基础，例如损坏或稀有汽车的误读。在这项工作中，我们通过在训练期间考虑到变形的点云来大大改善3D对象探测器的概括到域名数据。我们通过3D-VFIEL实现这一点：一种新的方法，可以通过越野时代的载体衡量物体。我们的方法将3D点限制以沿着传感器视图幻灯片幻灯片，而既不添加也不添加它们中的任何一个。所获得的载体是可转移的，独立于样的和保持形状平滑度和闭塞。通过在训练期间使用这些载体场产生的变形来增强正常样本，我们显着改善了对不同形状物体的鲁棒性，例如损坏/变形汽车，即使仅在基蒂训练。为此，我们提出并分享开源Crashd：现实损坏和稀有汽车的合成数据集，具有各种碰撞情景。在Kitti，Waymo，我们的Crashd和Sun RGB-D上进行了广泛的实验，表明了我们对室内和室外场景的域外数据，不同型号和传感器，即LIDAR和TOF相机的技术的高度普遍性。我们的crashd数据集可在https://crashd-cars.github.io上获得。

Deep learning-based 3D object detectors have made significant progress in recent years and have been deployed in a wide range of applications. It is crucial to understand the robustness of detectors against adversarial attacks when employing detectors in security-critical applications. In this paper, we make the first attempt to conduct a thorough evaluation and analysis of the robustness of 3D detectors under adversarial attacks. Specifically, we first extend three kinds of adversarial attacks to the 3D object detection task to benchmark the robustness of state-of-the-art 3D object detectors against attacks on KITTI and Waymo datasets, subsequently followed by the analysis of the relationship between robustness and properties of detectors. Then, we explore the transferability of cross-model, cross-task, and cross-data attacks. We finally conduct comprehensive experiments of defense for 3D detectors, demonstrating that simple transformations like flipping are of little help in improving robustness when the strategy of transformation imposed on input point cloud data is exposed to attackers. Our findings will facilitate investigations in understanding and defending the adversarial attacks against 3D object detectors to advance this field.

已经证明了现代自动驾驶感知系统在处理互补输入之类的利用图像时，已被证明可以改善互补投入。在孤立中，已发现2D图像非常容易受到对抗性攻击的影响。然而，有有限的研究与图像特征融合的多模态模型的对抗鲁棒性。此外，现有的作品不考虑跨输入方式一致的物理上可实现的扰动。在本文中，我们通过将对抗物体放在主车辆的顶部上展示多传感器检测的实际敏感性。我们专注于身体上可实现的和输入 - 不可行的攻击，因为它们是在实践中执行的可行性，并且表明单个通用对手可以隐藏来自最先进的多模态探测器的不同主机。我们的实验表明，成功的攻击主要是由易于损坏的图像特征引起的。此外，我们发现，在将图像特征中的现代传感器融合方法中，对抗攻击可以利用投影过程来在3D中跨越区域产生误报。朝着更强大的多模态感知系统，我们表明，具有特征剥夺的对抗训练可以显着提高对这种攻击的鲁棒性。然而，我们发现标准的对抗性防御仍然努力防止由3D LIDAR点和2D像素之间不准确的关联引起的误报。

In this work, we study 3D object detection from RGB-D data in both indoor and outdoor scenes. While previous methods focus on images or 3D voxels, often obscuring natural 3D patterns and invariances of 3D data, we directly operate on raw point clouds by popping up RGB-D scans. However, a key challenge of this approach is how to efficiently localize objects in point clouds of large-scale scenes (region proposal). Instead of solely relying on 3D proposals, our method leverages both mature 2D object detectors and advanced 3D deep learning for object localization, achieving efficiency as well as high recall for even small objects. Benefited from learning directly in raw point clouds, our method is also able to precisely estimate 3D bounding boxes even under strong occlusion or with very sparse points. Evaluated on KITTI and SUN RGB-D 3D detection benchmarks, our method outperforms the state of the art by remarkable margins while having real-time capability. * Majority of the work done as an intern at Nuro, Inc. depth to point cloud 2D region (from CNN) to 3D frustum 3D box (from PointNet)

不同制造商和激光雷达传感器模型之间的采样差异导致对象的不一致表示。当在其他类型的楣上测试为一个激光雷达培训的3D探测器时，这导致性能下降。 LIDAR制造业的显着进展使机械，固态和最近可调节的扫描图案LIDARS的进展带来了进展。对于后者，现有工作通常需要微调模型，每次调整扫描模式，这是不可行的。我们通过提出一种小型无监督的多目标域适配框架，明确地处理采样差异，参见，用于在固定和灵活的扫描图案Lidars上传送最先进的3D探测器的性能，而无需微调模型通过最终用户。我们的方法在将其传递到检测网络之前，将底层几何形状插值并将其从不同LIDAR的对象的扫描模式正常化。我们展示了在公共数据集上看到的有效性，实现最先进的结果，并另外为新颖的高分辨率LIDAR提供定量结果，以证明我们框架的行业应用。此数据集和我们的代码将公开可用。

自动驾驶数据集通常是倾斜的，特别是，缺乏距自工载体远距离的物体的训练数据。随着检测到的对象的距离增加，数据的不平衡导致性能下降。在本文中，我们提出了模式识的地面真相抽样，一种数据增强技术，该技术基于LIDAR的特征缩小对象的点云。具体地，我们模拟了用于深度的物体的自然发散点模式变化，以模拟更远的距离。因此，网络具有更多样化的训练示例，并且可以更有效地概括地检测更远的物体。我们评估了使用点删除或扰动方法的现有数据增强技术，并发现我们的方法优于所有这些。此外，我们建议使用相等的元素AP箱，以评估跨距离的3D对象探测器的性能。我们在距离大于25米的距离上的Kitti验证分裂上提高了PV-RCNN对车载PV-RCNN的性能。

基于LIDAR的传感驱动器电流自主车辆。尽管进展迅速，但目前的激光雷达传感器在分辨率和成本方面仍然落后于传统彩色相机背后的二十年。对于自主驾驶，这意味着靠近传感器的大物体很容易可见，但远方或小物体仅包括一个测量或两个。这是一个问题，尤其是当这些对象结果驾驶危险时。另一方面，在车载RGB传感器中清晰可见这些相同的对象。在这项工作中，我们提出了一种将RGB传感器无缝熔化成基于LIDAR的3D识别方法。我们的方法采用一组2D检测来生成密集的3D虚拟点，以增加否则稀疏的3D点云。这些虚拟点自然地集成到任何基于标准的LIDAR的3D探测器以及常规激光雷达测量。由此产生的多模态检测器简单且有效。大规模NUSCENES数据集的实验结果表明，我们的框架通过显着的6.6地图改善了强大的中心点基线，并且优于竞争融合方法。代码和更多可视化可在https://tianweiy.github.io/mvp/上获得

使用3D激光点云数据的对象检测和语义分割需要昂贵的注释。我们提出了一种数据增强方法，该方法多次利用已经注释的数据。我们提出了一个重用真实数据的增强框架，自动在场景中找到合适的位置要增加，并明确地处理遮挡。由于使用真实数据，新插入的物体在增强中的扫描点维持了激光雷达的物理特征，例如强度和射线表。该管道证明在训练3D对象检测和语义分割的最佳模型中具有竞争力。新的增强为稀有和基本类别提供了显着的性能增长，尤其是在Kitti对象检测中“硬”行人级的平均精度增益为6.65％，或者2.14表示在Semantickitti细分挑战中获得的iOU在艺术状态下的增益。

自动驾驶汽车必须在3D中检测其他车辆和行人，以计划安全路线并避免碰撞。基于深度学习的最先进的3D对象探测器已显示出有希望的准确性，但容易过度拟合域特质，使它们在新环境中失败 - 如果自动驾驶汽车旨在自动操作，则是一个严重的问题。在本文中，我们提出了一种新颖的学习方法，该方法通过在目标域中的伪标记上微调检测器，从而大大减少这一差距，我们的方法在车辆停放时会根据先前记录的驾驶序列的重播而生成的差距。在这些重播中，随着时间的推移会跟踪对象，并且检测被插值和外推 - 至关重要的是利用未来的信息来捕获硬病例。我们在五个自动驾驶数据集上显示，对这些伪标签上的对象检测器进行微调大大减少了域间隙到新的驾驶环境，从而极大地提高了准确性和检测可靠性。

不利天气条件可能会对基于激光雷达的对象探测器产生负面影响。在这项工作中，我们专注于在寒冷天气条件下的车辆气体排气凝结现象。这种日常效果会影响对象大小，取向并引入幽灵对象检测的估计，从而损害了最先进的对象检测器状态的可靠性。我们建议通过使用数据增强和新颖的培训损失项来解决此问题。为了有效地训练深层神经网络，需要大量标记的数据。如果天气不利，此过程可能非常费力且昂贵。我们分为两个步骤解决此问题：首先，我们根据3D表面重建和采样提出了一种气排气数据生成方法，该方法使我们能够从一小群标记的数据池中生成大量的气体排气云。其次，我们引入了一个点云增强过程，该过程可用于在良好天气条件下记录的数据集中添加气体排气。最后，我们制定了一个新的训练损失术语，该损失术语利用增强点云来通过惩罚包括噪声的预测来增加对象检测的鲁棒性。与其他作品相反，我们的方法可以与基于网格的检测器和基于点的检测器一起使用。此外，由于我们的方法不需要任何网络体系结构更改，因此推理时间保持不变。实际数据的实验结果表明，我们提出的方法大大提高了对气体排气和嘈杂数据的鲁棒性。

自动化驾驶系统（广告）开辟了汽车行业的新领域，为未来的运输提供了更高的效率和舒适体验的新可能性。然而，在恶劣天气条件下的自主驾驶已经存在，使自动车辆（AVS）长时间保持自主车辆（AVS）或更高的自主权。本文评估了天气在分析和统计方式中为广告传感器带来的影响和挑战，并对恶劣天气条件进行了解决方案。彻底报道了关于对每种天气的感知增强的最先进技术。外部辅助解决方案如V2X技术，当前可用的数据集，模拟器和天气腔室的实验设施中的天气条件覆盖范围明显。通过指出各种主要天气问题，自主驾驶场目前正在面临，近年来审查硬件和计算机科学解决方案，这项调查概述了在不利的天气驾驶条件方面的障碍和方向的障碍和方向。

虽然在驾驶场景中自我监督的单眼深度估计已经取得了可比性的性能，但违反了静态世界假设的行为仍然可以导致交通参与者的错误深度预测，造成潜在的安全问题。在本文中，我们呈现R4DYN，这是一种新颖的技术，用于在自我监督深度估计框架之上使用成本高效的雷达数据。特别是，我们展示如何在培训期间使用雷达，以及额外的输入，以增强推理时间的估计稳健性。由于汽车雷达很容易获得，这允许从各种现有车辆中收集培训数据。此外，通过过滤和扩展信号以使其与基于学习的方法兼容，我们地满地雷达固有问题，例如噪声和稀疏性。通过R4DYN，我们能够克服自我监督深度估计的一个主要限制，即交通参与者的预测。我们大大提高了动态物体的估计，例如汽车在挑战的NUSCENES数据集中达到37％，因此证明雷达是用于自主车辆中单眼深度估计的有价值的额外传感器。

使用三维（3D）图像传感器的智能监视一直在智能城市的背景下引起人们的注意。在智能监控中，实施了3D图像传感器获取的点云数据的对象检测，以检测移动物体（例如车辆和行人）以确保道路上的安全性。但是，由于光检测和范围（LIDAR）单元用作3D图像传感器或3D图像传感器的安装位置，因此点云数据的特征是多元化的。尽管迄今已研究了从点云数据进行对象检测的各种深度学习（DL）模型，但尚无研究考虑如何根据点云数据的功能使用多个DL模型。在这项工作中，我们提出了一个基于功能的模型选择框架，该框架通过使用多种DL方法并利用两种人工技术生成的伪不完整的训练数据来创建各种DL模型：采样和噪声添加。它根据在真实环境中获取的点云数据的功能，为对象检测任务选择最合适的DL模型。为了证明提出的框架的有效性，我们使用从KITTI数据集创建的基准数据集比较了多个DL模型的性能，并比较了通过真实室外实验获得的对象检测的示例结果。根据情况，DL模型之间的检测准确性高达32％，这证实了根据情况选择适当的DL模型的重要性。

Modeling perception sensors is key for simulation based testing of automated driving functions. Beyond weather conditions themselves, sensors are also subjected to object dependent environmental influences like tire spray caused by vehicles moving on wet pavement. In this work, a novel modeling approach for spray in lidar data is introduced. The model conforms to the Open Simulation Interface (OSI) standard and is based on the formation of detection clusters within a spray plume. The detections are rendered with a simple custom ray casting algorithm without the need of a fluid dynamics simulation or physics engine. The model is subsequently used to generate training data for object detection algorithms. It is shown that the model helps to improve detection in real-world spray scenarios significantly. Furthermore, a systematic real-world data set is recorded and published for analysis, model calibration and validation of spray effects in active perception sensors. Experiments are conducted on a test track by driving over artificially watered pavement with varying vehicle speeds, vehicle types and levels of pavement wetness. All models and data of this work are available open source.

Camera and lidar are important sensor modalities for robotics in general and self-driving cars in particular. The sensors provide complementary information offering an opportunity for tight sensor-fusion. Surprisingly, lidar-only methods outperform fusion methods on the main benchmark datasets, suggesting a gap in the literature. In this work, we propose PointPainting: a sequential fusion method to fill this gap. PointPainting works by projecting lidar points into the output of an image-only semantic segmentation network and appending the class scores to each point. The appended (painted) point cloud can then be fed to any lidaronly method. Experiments show large improvements on three different state-of-the art methods, Point-RCNN, Vox-elNet and PointPillars on the KITTI and nuScenes datasets. The painted version of PointRCNN represents a new state of the art on the KITTI leaderboard for the bird's-eye view detection task. In ablation, we study how the effects of Painting depends on the quality and format of the semantic segmentation output, and demonstrate how latency can be minimized through pipelining.

估计神经网络的不确定性在安全关键环境中起着基本作用。在对自主驾驶的感知中，测量不确定性意味着向下游任务提供额外的校准信息，例如路径规划，可以将其用于安全导航。在这项工作中，我们提出了一种用于对象检测的新型采样的不确定性估计方法。我们称之为特定网络，它是第一个为每个输出信号提供单独的不确定性：Objectness，类，位置和大小。为实现这一点，我们提出了一种不确定性感知的热图，并利用检测器提供的相邻边界框在推理时间。我们分别评估了不同不确定性估计的检测性能和质量，也具有具有挑战性的域名样本：BDD100K和肾上腺素训练在基蒂培训。此外，我们提出了一种新的指标来评估位置和大小的不确定性。当转移到看不见的数据集时，某些基本上概括了比以前的方法和集合更好，同时是实时和提供高质量和全面的不确定性估计。

由于全景分割为输入中的每个像素提供了一个预测，因此，非标准和看不见的对象系统地导致了错误的输出。但是，在关键的环境中，针对分发样本的鲁棒性和角案件对于避免危险行为至关重要，例如忽略动物或道路上的货物丢失。由于驾驶数据集不能包含足够的数据点来正确采样基础分布的长尾巴，因此方法必须处理未知和看不见的方案才能安全部署。以前的方法是通过重新识别已经看到未标记的对象来针对此问题的一部分。在这项工作中，我们扩大了提出整体分割的范围：一项任务，以识别和将看不见的对象分为实例，而无需从未知数中学习，同时执行已知类别的全面分割。我们用U3HS解决了这个新问题，U3HS首先将未知数视为高度不确定的区域，然后将相应的实例感知嵌入到各个对象中。通过这样做，这是第一次使用未知对象进行综合分割，我们的U3HS未接受未知数据的训练，因此使对象类型的设置不受限制，并允许对整体场景理解。在两个公共数据集上进行了广泛的实验和比较，即CityScapes和作为转移的丢失和发现，证明了U3HS在挑战性的整体分段任务中的有效性，并具有竞争性的封闭式全盘分段性能。

Our dataset provides dense annotations for each scan of all sequences from the KITTI Odometry Benchmark [19]. Here, we show multiple scans aggregated using pose information estimated by a SLAM approach.

人的大脑可以毫不费力地识别和定位对象，而基于激光雷达点云的当前3D对象检测方法仍然报告了较低的性能，以检测闭塞和远处的对象：点云的外观由于遮挡而变化很大，并且在沿线的固有差异沿点固有差异变化。传感器的距离。因此，设计功能表示对此类点云至关重要。受到人类联想识别的启发，我们提出了一个新颖的3D检测框架，该框架通过域的适应来使对象完整特征。我们弥合感知域之间的差距，其中特征是从具有亚最佳表示的真实场景中得出的，以及概念域，其中功能是从由不批准对象组成的增强场景中提取的，并具有丰富的详细信息。研究了一种可行的方法，可以在没有外部数据集的情况下构建概念场景。我们进一步介绍了一个基于注意力的重新加权模块，该模块可适应地增强更翔实区域的特征。该网络的功能增强能力将被利用，而无需在推理过程中引入额外的成本，这是各种3D检测框架中的插件。我们以准确性和速度都在Kitti 3D检测基准上实现了新的最先进性能。关于Nuscenes和Waymo数据集的实验也验证了我们方法的多功能性。

Robust detection and tracking of objects is crucial for the deployment of autonomous vehicle technology. Image based benchmark datasets have driven development in computer vision tasks such as object detection, tracking and segmentation of agents in the environment. Most autonomous vehicles, however, carry a combination of cameras and range sensors such as lidar and radar. As machine learning based methods for detection and tracking become more prevalent, there is a need to train and evaluate such methods on datasets containing range sensor data along with images. In this work we present nuTonomy scenes (nuScenes), the first dataset to carry the full autonomous vehicle sensor suite: 6 cameras, 5 radars and 1 lidar, all with full 360 degree field of view. nuScenes comprises 1000 scenes, each 20s long and fully annotated with 3D bounding boxes for 23 classes and 8 attributes. It has 7x as many annotations and 100x as many images as the pioneering KITTI dataset. We define novel 3D detection and tracking metrics. We also provide careful dataset analysis as well as baselines for lidar and image based detection and tracking. Data, development kit and more information are available online 1 .