Sensor visibility is crucial for safety-critical applications in automotive, robotics, smart infrastructure and others: In addition to object detection and occupancy mapping, visibility describes where a sensor can potentially measure or is blind. This knowledge can enhance functional safety and perception algorithms or optimize sensor topologies. Despite its significance, to the best of our knowledge, neither a common definition of visibility nor performance metrics exist yet. We close this gap and provide a definition of visibility, derived from a use case review. We introduce metrics and a framework to assess the performance of visibility estimators. Our metrics are verified with labeled real-world and simulation data from infrastructure radars and cameras: The framework easily identifies false visible or false invisible estimations which are safety-critical. Applying our metrics, we enhance the radar and camera visibility estimators by modeling the 3D elevation of sensor and objects. This refinement outperforms the conventional planar 2D approach in trustfulness and thus safety.

我们的运输世界正在迅速转变，自治水平不断提高。但是，为了获得全自动车辆的许可以供广泛的公众使用，有必要确保整个系统的安全性，这仍然是一个挑战。这尤其适用于基于AI的感知系统，这些系统必须处理各种环境条件和道路使用者，与此同时，应强调地检测所有相关的对象（即不应发生检测失误）。然而，有限的培训和验证数据可以证明无故障操作几乎无法实现，因为感知系统可能会暴露于公共道路上的新事物或未知的物体或条件。因此，需要针对基于AI的感知系统的新安全方法。因此，我们在本文中提出了一种新型的层次监视方法，能够从主要感知系统验证对象列表，可以可靠地检测检测失误，同时具有非常低的错误警报率。

自主车辆的环境感知受其物理传感器范围和算法性能的限制，以及通过降低其对正在进行的交通状况的理解的闭塞。这不仅构成了对安全和限制驾驶速度的重大威胁，而且它也可能导致不方便的动作。智能基础设施系统可以帮助缓解这些问题。智能基础设施系统可以通过在当前交通情况的数字模型的形式提供关于其周围环境的额外详细信息，填补了车辆的感知中的差距并扩展了其视野。数字双胞胎。然而，这种系统的详细描述和工作原型表明其可行性稀缺。在本文中，我们提出了一种硬件和软件架构，可实现这样一个可靠的智能基础架构系统。我们在现实世界中实施了该系统，并展示了它能够创建一个准确的延伸高速公路延伸的数字双胞胎，从而提高了自主车辆超越其车载传感器的极限的感知。此外，我们通过使用空中图像和地球观测方法来评估数字双胞胎的准确性和可靠性，用于产生地面真理数据。

检测障碍对于安全有效的自动驾驶至关重要。为此，我们提出了NVRadarnet，这是一种深神经网络（DNN），它使用汽车雷达传感器检测动态障碍物和可驱动的自由空间。该网络利用从多个雷达传感器的时间积累的数据来检测动态障碍，并在自上而下的鸟类视图（BEV）中计算其方向。该网络还可以回归可驱动的自由空间，以检测未分类的障碍。我们的DNN是第一个使用稀疏雷达信号的同类DNN，以实时从雷达数据实时执行障碍物和自由空间检测。在实际的自动驾驶场景中，该网络已成功地用于我们的自动驾驶汽车。该网络在嵌入式GPU上的运行速度快于实时时间，并且在地理区域显示出良好的概括。

自治车辆必须推理城市环境中的空间闭塞，以确保安全性而不会过于谨慎。前工作探索了观察到的道路代理人的社会行为的闭塞推动，因此将人们视为传感器。从代理行为推断出占用是一种固有的多模式问题;驾驶员可以同样地表现出与它们之前的不同占用模式类似（例如，驾驶员可以以恒定速度或在开放的道路上移动）。然而，过去的工作不考虑这种多层性，从而忽略了在驾驶员行为及其环境之间的关系中模拟了这种梯级不确定性的来源。我们提出了一种遮挡推理方法，其特征是观察人员的行为作为传感器测量，并将它们与标准传感器套件的熔断器融合。为了捕获炼泥的不确定性，我们用离散的潜在空间训练一个条件变形AutoEncoder，以学习从观察到的驾驶员轨迹到驾驶员前方视图的占用网格表示的多模式映射。我们的方法处理多代理场景，使用证据理论将来自多个观察到的驱动因素的测量结果组合以解决传感器融合问题。我们的方法在真实的数据集中验证，表现出基线，并展示实时能力的性能。我们的代码可在https://github.com/sisl/multiagentvarizingalocclusionInferience获得。

自动化驾驶系统（广告）开辟了汽车行业的新领域，为未来的运输提供了更高的效率和舒适体验的新可能性。然而，在恶劣天气条件下的自主驾驶已经存在，使自动车辆（AVS）长时间保持自主车辆（AVS）或更高的自主权。本文评估了天气在分析和统计方式中为广告传感器带来的影响和挑战，并对恶劣天气条件进行了解决方案。彻底报道了关于对每种天气的感知增强的最先进技术。外部辅助解决方案如V2X技术，当前可用的数据集，模拟器和天气腔室的实验设施中的天气条件覆盖范围明显。通过指出各种主要天气问题，自主驾驶场目前正在面临，近年来审查硬件和计算机科学解决方案，这项调查概述了在不利的天气驾驶条件方面的障碍和方向的障碍和方向。

Modeling perception sensors is key for simulation based testing of automated driving functions. Beyond weather conditions themselves, sensors are also subjected to object dependent environmental influences like tire spray caused by vehicles moving on wet pavement. In this work, a novel modeling approach for spray in lidar data is introduced. The model conforms to the Open Simulation Interface (OSI) standard and is based on the formation of detection clusters within a spray plume. The detections are rendered with a simple custom ray casting algorithm without the need of a fluid dynamics simulation or physics engine. The model is subsequently used to generate training data for object detection algorithms. It is shown that the model helps to improve detection in real-world spray scenarios significantly. Furthermore, a systematic real-world data set is recorded and published for analysis, model calibration and validation of spray effects in active perception sensors. Experiments are conducted on a test track by driving over artificially watered pavement with varying vehicle speeds, vehicle types and levels of pavement wetness. All models and data of this work are available open source.

虽然自动车辆安全验证过程的最明显的部分涉及规划和控制系统，但它通常被忽视，后者的安全性至关重要地取决于前面环境感知的容错。现代感知系统具有复杂且经常基于机器学习的组件，具有各种故障模式，可以危及整体安全性。同时，由于资源约束，例如冗余执行的验证并不总是可行的。在本文中，我们解决了可行和高效的感知监视器的需求，并提出了一种轻质方法，有助于保护感知系统的完整性，同时保持额外的计算开销最小值。与现有解决方案相比，通过传感器检查的良好平衡组合来实现监视器 - 在此处使用LIDAR信息和对象运动历史上的合理性检查。它旨在检测自动化车辆环境中对象的距离和速度中的相关误差。结合适当的规划系统，这种监视器可以帮助安全自动化驱动可行。

对障碍的看法仍然是自动驾驶汽车的关键安全问题。现实世界中的碰撞表明，导致致命碰撞的自治缺陷源于障碍物的存在。开源自主驾驶实现显示了具有复杂相互依存的深神经网络的感知管道。这些网络无法完全验证，使其不适合安全至关重要的任务。在这项工作中，我们介绍了现有的基于LIDAR的经典障碍物检测算法的安全验证。我们对该障碍检测算法的功能建立了严格的界限。考虑到安全标准，这种界限允许确定可以可靠地满足标准的激光雷达传感器属性。对于基于神经网络的感知系统，此类分析尚未实现。我们对障碍检测系统进行了严格的分析，并基于现实世界传感器数据提供了经验结果。

Robust detection and tracking of objects is crucial for the deployment of autonomous vehicle technology. Image based benchmark datasets have driven development in computer vision tasks such as object detection, tracking and segmentation of agents in the environment. Most autonomous vehicles, however, carry a combination of cameras and range sensors such as lidar and radar. As machine learning based methods for detection and tracking become more prevalent, there is a need to train and evaluate such methods on datasets containing range sensor data along with images. In this work we present nuTonomy scenes (nuScenes), the first dataset to carry the full autonomous vehicle sensor suite: 6 cameras, 5 radars and 1 lidar, all with full 360 degree field of view. nuScenes comprises 1000 scenes, each 20s long and fully annotated with 3D bounding boxes for 23 classes and 8 attributes. It has 7x as many annotations and 100x as many images as the pioneering KITTI dataset. We define novel 3D detection and tracking metrics. We also provide careful dataset analysis as well as baselines for lidar and image based detection and tracking. Data, development kit and more information are available online 1 .

预测环境的未来占用状态对于实现自动驾驶汽车的明智决定很重要。占用预测中的常见挑战包括消失的动态对象和模糊的预测，尤其是对于长期预测范围。在这项工作中，我们提出了一个双独沟的神经网络体系结构，以预测占用状态的时空演化。一个插脚致力于预测移动的自我车辆将如何观察到静态环境。另一个插脚预测环境中的动态对象将如何移动。在现实Waymo开放数据集上进行的实验表明，两个插脚的融合输出能够保留动态对象并减少预测中比基线模型更长的预测时间范围。

摄像机是自动化驱动系统中的主要传感器。它们提供高信息密度，并对检测为人类视野提供的道路基础设施线索最优。环绕式摄像机系统通常包括具有190 {\ DEG} +视野的四个鱼眼相机，覆盖在车辆周围的整个360 {\ DEG}集中在近场传感上。它们是低速，高精度和近距离传感应用的主要传感器，如自动停车，交通堵塞援助和低速应急制动。在这项工作中，我们提供了对这种视觉系统的详细调查，在可以分解为四个模块化组件的架构中，设置调查即可识别，重建，重建和重组。我们共同称之为4R架构。我们讨论每个组件如何完成特定方面，并提供一个位置论证，即它们可以协同组织以形成用于低速自动化的完整感知系统。我们通过呈现来自以前的作品的结果，并通过向此类系统提出架构提案来支持此参数。定性结果在视频中呈现在HTTPS://youtu.be/ae8bcof7777uy中。

我们提出了一种自动生成语义标签的方法，以实现汽车范围多普勒（RD）雷达光谱的真实记录。当训练神经网络从雷达数据中识别对象识别时，需要此类标签。自动标记方法除了雷达频谱之外，还取决于相机和激光雷达数据的同时记录。通过将雷达光谱翘曲到相机图像中，可以将最新的对象识别算法应用于相机图像中相关对象（例如汽车）。翘曲操作设计为完全可区分，它允许通过翘曲操作在相机图像上计算出的梯度到雷达数据上运行的神经网络。随着翘曲操作依赖于准确的场景流估计，我们进一步提出了一种新颖的场景流估计算法，该算法利用了相机，激光雷达和雷达传感器的信息。将所提出的场景流估计方法与最新场景流量算法进行比较，并且优于大约30％的W.R.T.平均平均误差。通过评估通过提出的框架以实现到达方向估计的训练的神经网络的性能，可以验证自动标签生成的整体框架的整体框架的可行性。

自动驾驶应用中使用的激光雷达传感器会受到不利天气条件的负面影响。一种常见但有研究的效果是在寒冷的天气中凝结车辆气体的凝结。这种日常现象会严重影响雷达测量值的质量，从而通过创建像幽灵对象检测之类的人工制品，从而导致不太准确的环境感知。在文献中，使用基于学习的方法来实现雨水和雾之类的不利天气影响的语义分割。但是，这样的方法需要大量标记的数据，这可能非常昂贵且艰辛。我们通过提出两步方法来检测冷凝车气排气的方法来解决这个问题。首先，我们在场景中为每辆车确定其排放区域，并在存在的情况下检测气体排气。然后，通过对可能存在气体排气的空间区域进行建模来检测到孤立的云。我们测试了实际城市数据的方法，表明我们的方法可以可靠地检测到不同情况下的气体排气，从而吸引了离线预标和在线应用程序（例如幽灵对象检测）的吸引力。

The last decade witnessed increasingly rapid progress in self-driving vehicle technology, mainly backed up by advances in the area of deep learning and artificial intelligence. The objective of this paper is to survey the current state-of-the-art on deep learning technologies used in autonomous driving. We start by presenting AI-based self-driving architectures, convolutional and recurrent neural networks, as well as the deep reinforcement learning paradigm. These methodologies form a base for the surveyed driving scene perception, path planning, behavior arbitration and motion control algorithms. We investigate both the modular perception-planning-action pipeline, where each module is built using deep learning methods, as well as End2End systems, which directly map sensory information to steering commands. Additionally, we tackle current challenges encountered in designing AI architectures for autonomous driving, such as their safety, training data sources and computational hardware. The comparison presented in this survey helps to gain insight into the strengths and limitations of deep learning and AI approaches for autonomous driving and assist with design choices. 1

本文提出了一种新颖的方法，用于在具有复杂拓扑结构的地下领域的搜索和救援行动中自动合作。作为CTU-Cras-Norlab团队的一部分，拟议的系统在DARPA SubT决赛的虚拟轨道中排名第二。与专门为虚拟轨道开发的获奖解决方案相反，该建议的解决方案也被证明是在现实世界竞争极为严峻和狭窄的环境中飞行的机上实体无人机的强大系统。提出的方法可以使无缝模拟转移的无人机团队完全自主和分散的部署，并证明了其优于不同环境可飞行空间的移动UGV团队的优势。该论文的主要贡献存在于映射和导航管道中。映射方法采用新颖的地图表示形式 - 用于有效的风险意识长距离计划，面向覆盖范围和压缩的拓扑范围的LTVMAP领域，以允许在低频道通信下进行多机器人合作。这些表示形式与新的方法一起在导航中使用，以在一般的3D环境中可见性受限的知情搜索，而对环境结构没有任何假设，同时将深度探索与传感器覆盖的剥削保持平衡。所提出的解决方案还包括一条视觉感知管道，用于在没有专用GPU的情况下在5 Hz处进行四个RGB流中感兴趣的对象的板上检测和定位。除了参与DARPA SubT外，在定性和定量评估的各种环境中，在不同的环境中进行了广泛的实验验证，UAV系统的性能得到了支持。

The research community has increasing interest in autonomous driving research, despite the resource intensity of obtaining representative real world data. Existing selfdriving datasets are limited in the scale and variation of the environments they capture, even though generalization within and between operating regions is crucial to the overall viability of the technology. In an effort to help align the research community's contributions with real-world selfdriving problems, we introduce a new large-scale, high quality, diverse dataset. Our new dataset consists of 1150 scenes that each span 20 seconds, consisting of well synchronized and calibrated high quality LiDAR and camera data captured across a range of urban and suburban geographies. It is 15x more diverse than the largest cam-era+LiDAR dataset available based on our proposed geographical coverage metric. We exhaustively annotated this data with 2D (camera image) and 3D (LiDAR) bounding boxes, with consistent identifiers across frames. Finally, we provide strong baselines for 2D as well as 3D detection and tracking tasks. We further study the effects of dataset size and generalization across geographies on 3D detection methods. Find data, code and more up-to-date information at http://www.waymo.com/open.

在过去的几年中，自动驾驶的感知系统在其表现方面取得了重大进步。但是，这些系统在极端天气条件下努力表现出稳健性，因为在这些条件下，传感器和相机等传感器套件中的主要传感器都会下降。为了解决此问题，摄像机雷达融合系统为所有可靠的高质量感知提供了独特的机会。相机提供丰富的语义信息，而雷达可以通过遮挡和在所有天气条件下工作。在这项工作中，我们表明，当摄像机输入降解时，最新的融合方法的性能很差，这实际上导致失去了他们设定的全天可靠性。与这些方法相反，我们提出了一种新方法RadSegnet，该方法使用了独立信息提取的新设计理念，并在所有情况下都可以在所有情况下真正实现可靠性，包括遮挡和不利天气。我们在基准ASTYX数据集上开发并验证了我们的系统，并在辐射数据集上进一步验证了这些结果。与最先进的方法相比，Radsegnet在ASTYX上提高了27％，辐射增长了41.46％，平均精度得分，并且在不利天气条件下的性能明显更好

根据一般静态障碍物检测的要求，本文提出了无人接地车辆局部静态环境的紧凑型矢量化表示方法。首先，通过融合LiDAR和IMU的数据，获得了高频姿势信息。然后，通过二维（2D）障碍物点的生成，提出了具有固定尺寸的网格图维护过程。最后，通过多个凸多边形描述了局部静态环境，该多边形实现了基于双阈值的边界简化和凸多边形分割。我们提出的方法已应用于公园的一个实用无人驾驶项目中，典型场景的定性实验结果验证了有效性和鲁棒性。此外，定量评估表明，与传统的基于网格地图的方法相比，使用较少的点信息（减少约60％）来代表局部静态环境。此外，运行时间（15ms）的性能表明，所提出的方法可用于实时局部静态环境感知。可以在https://github.com/ghm0819/cvr_lse上访问相应的代码。

Figure 1: We introduce datasets for 3D tracking and motion forecasting with rich maps for autonomous driving. Our 3D tracking dataset contains sequences of LiDAR measurements, 360 • RGB video, front-facing stereo (middle-right), and 6-dof localization. All sequences are aligned with maps containing lane center lines (magenta), driveable region (orange), and ground height. Sequences are annotated with 3D cuboid tracks (green). A wider map view is shown in the bottom-right.