雷达通过在不同天气条件下实现远程传感来显示自动驾驶的巨大潜力。但由于雷达噪声，雷达也是一种特别具有挑战性的感应模型。最近的作品通过利用LIDAR标签监督对雷达图像中的自由和占用空间进行了巨大的进展。但是，仍有几个未解决的问题。首先，结果的感测距离受激光雷达的感测范围的限制。其次，由于两个传感器之间的物理感知差异，LIDAR将结果的性能退化。例如，LIDAR可见的一些物体对雷达是看不见的，并且由于雷达的穿透能力，在雷达图像中可以在雷达扫描中可见一些物体。这些感测的差异分别导致假阳性和穿透能力变性。在本文中，我们提出了培训数据预处理和极地滑动窗口推断，以解决问题。数据预处理旨在减少LIDAR扫描中雷达隐形测量引起的效果。极性滑动窗推断旨在通过将近距离训练的网络应用于远程区域来解决有限的感测范围问题。我们建议使用极性表示来降低远程和近距离数据之间的形状不一致。我们发现将近距离训练的网络扩展到极地空间中的远程区域推理，而不是在笛卡尔空间中的4.2倍。此外，极性滑动窗推理可以通过改变推理区域的观点来保留雷达穿透能力，这使得一些遮挡的测量似乎对掠夺网络不被封闭。

在过去的几年中，自动驾驶的感知系统在其表现方面取得了重大进步。但是，这些系统在极端天气条件下努力表现出稳健性，因为在这些条件下，传感器和相机等传感器套件中的主要传感器都会下降。为了解决此问题，摄像机雷达融合系统为所有可靠的高质量感知提供了独特的机会。相机提供丰富的语义信息，而雷达可以通过遮挡和在所有天气条件下工作。在这项工作中，我们表明，当摄像机输入降解时，最新的融合方法的性能很差，这实际上导致失去了他们设定的全天可靠性。与这些方法相反，我们提出了一种新方法RadSegnet，该方法使用了独立信息提取的新设计理念，并在所有情况下都可以在所有情况下真正实现可靠性，包括遮挡和不利天气。我们在基准ASTYX数据集上开发并验证了我们的系统，并在辐射数据集上进一步验证了这些结果。与最先进的方法相比，Radsegnet在ASTYX上提高了27％，辐射增长了41.46％，平均精度得分，并且在不利天气条件下的性能明显更好

检测障碍对于安全有效的自动驾驶至关重要。为此，我们提出了NVRadarnet，这是一种深神经网络（DNN），它使用汽车雷达传感器检测动态障碍物和可驱动的自由空间。该网络利用从多个雷达传感器的时间积累的数据来检测动态障碍，并在自上而下的鸟类视图（BEV）中计算其方向。该网络还可以回归可驱动的自由空间，以检测未分类的障碍。我们的DNN是第一个使用稀疏雷达信号的同类DNN，以实时从雷达数据实时执行障碍物和自由空间检测。在实际的自动驾驶场景中，该网络已成功地用于我们的自动驾驶汽车。该网络在嵌入式GPU上的运行速度快于实时时间，并且在地理区域显示出良好的概括。

Radar, the only sensor that could provide reliable perception capability in all weather conditions at an affordable cost, has been widely accepted as a key supplement to camera and LiDAR in modern advanced driver assistance systems (ADAS) and autonomous driving systems. Recent state-of-the-art works reveal that fusion of radar and LiDAR can lead to robust detection in adverse weather, such as fog. However, these methods still suffer from low accuracy of bounding box estimations. This paper proposes a bird's-eye view (BEV) fusion learning for an anchor box-free object detection system, which uses the feature derived from the radar range-azimuth heatmap and the LiDAR point cloud to estimate the possible objects. Different label assignment strategies have been designed to facilitate the consistency between the classification of foreground or background anchor points and the corresponding bounding box regressions. Furthermore, the performance of the proposed object detector can be further enhanced by employing a novel interactive transformer module. We demonstrated the superior performance of the proposed methods in this paper using the recently published Oxford Radar RobotCar (ORR) dataset. We showed that the accuracy of our system significantly outperforms the other state-of-the-art methods by a large margin.

我们提出了DeepFusion，这是一种模块化的多模式结构，可在不同组合中以3D对象检测为融合激光雷达，相机和雷达。专门的功能提取器可以利用每种模式，并且可以轻松交换，从而使该方法变得简单而灵活。提取的特征被转化为鸟眼视图，作为融合的共同表示。在特征空间中融合方式之前，先进行空间和语义对齐。最后，检测头利用丰富的多模式特征，以改善3D检测性能。 LIDAR相机，激光摄像头雷达和摄像头融合的实验结果显示了我们融合方法的灵活性和有效性。在此过程中，我们研究了高达225米的遥远汽车检测的很大程度上未开发的任务，显示了激光摄像机融合的好处。此外，我们研究了3D对象检测的LIDAR点所需的密度，并在对不利天气条件的鲁棒性示例中说明了含义。此外，对我们的摄像头融合的消融研究突出了准确深度估计的重要性。

我们的运输世界正在迅速转变，自治水平不断提高。但是，为了获得全自动车辆的许可以供广泛的公众使用，有必要确保整个系统的安全性，这仍然是一个挑战。这尤其适用于基于AI的感知系统，这些系统必须处理各种环境条件和道路使用者，与此同时，应强调地检测所有相关的对象（即不应发生检测失误）。然而，有限的培训和验证数据可以证明无故障操作几乎无法实现，因为感知系统可能会暴露于公共道路上的新事物或未知的物体或条件。因此，需要针对基于AI的感知系统的新安全方法。因此，我们在本文中提出了一种新型的层次监视方法，能够从主要感知系统验证对象列表，可以可靠地检测检测失误，同时具有非常低的错误警报率。

自动驾驶汽车的主要挑战是在看不见的动态环境中导航。将移动对象与静态对象分开对于导航，姿势估计以及了解其他交通参与者在不久的将来可能如何移动至关重要。在这项工作中，我们解决了区分当前移动物体（如行人行人或驾驶汽车）的3D激光雷达点的问题，从非移动物体（如墙壁）中获得的点，但还停放了汽车。我们的方法采用了一系列观察到的激光扫描，并将它们变成素化的稀疏4D点云。我们应用计算有效的稀疏4D旋转来共同提取空间和时间特征，并预测序列中所有点的移动对象置信得分。我们制定了一种退化的地平线策略，使我们能够在线预测移动对象，并根据新观察结果对GO进行预测。我们使用二进制贝叶斯过滤器递归整合了扫描的新预测，从而产生了更强的估计。我们在Semantickitti移动对象细分挑战中评估我们的方法，并显示出比现有方法更准确的预测。由于我们的方法仅在随着时间的推移随时间范围的几何信息上运行，因此它可以很好地概括为新的，看不见的环境，我们在阿波罗数据集中评估了这些环境。

自动驾驶应用中使用的激光雷达传感器会受到不利天气条件的负面影响。一种常见但有研究的效果是在寒冷的天气中凝结车辆气体的凝结。这种日常现象会严重影响雷达测量值的质量，从而通过创建像幽灵对象检测之类的人工制品，从而导致不太准确的环境感知。在文献中，使用基于学习的方法来实现雨水和雾之类的不利天气影响的语义分割。但是，这样的方法需要大量标记的数据，这可能非常昂贵且艰辛。我们通过提出两步方法来检测冷凝车气排气的方法来解决这个问题。首先，我们在场景中为每辆车确定其排放区域，并在存在的情况下检测气体排气。然后，通过对可能存在气体排气的空间区域进行建模来检测到孤立的云。我们测试了实际城市数据的方法，表明我们的方法可以可靠地检测到不同情况下的气体排气，从而吸引了离线预标和在线应用程序（例如幽灵对象检测）的吸引力。

不利天气条件可能会对基于激光雷达的对象探测器产生负面影响。在这项工作中，我们专注于在寒冷天气条件下的车辆气体排气凝结现象。这种日常效果会影响对象大小，取向并引入幽灵对象检测的估计，从而损害了最先进的对象检测器状态的可靠性。我们建议通过使用数据增强和新颖的培训损失项来解决此问题。为了有效地训练深层神经网络，需要大量标记的数据。如果天气不利，此过程可能非常费力且昂贵。我们分为两个步骤解决此问题：首先，我们根据3D表面重建和采样提出了一种气排气数据生成方法，该方法使我们能够从一小群标记的数据池中生成大量的气体排气云。其次，我们引入了一个点云增强过程，该过程可用于在良好天气条件下记录的数据集中添加气体排气。最后，我们制定了一个新的训练损失术语，该损失术语利用增强点云来通过惩罚包括噪声的预测来增加对象检测的鲁棒性。与其他作品相反，我们的方法可以与基于网格的检测器和基于点的检测器一起使用。此外，由于我们的方法不需要任何网络体系结构更改，因此推理时间保持不变。实际数据的实验结果表明，我们提出的方法大大提高了对气体排气和嘈杂数据的鲁棒性。

与使用可见光乐队（384 $ \ sim $ 769 THz）和使用红外乐队（361 $ \ sim $ 331 THz）的RGB摄像机不同，雷达使用相对较长的波长无线电（77 $ \ sim $ 81 GHz），从而产生强大不良风雨的测量。不幸的是，与现有的相机和LIDAR数据集相比，现有的雷达数据集仅包含相对较少的样品。这可能会阻碍基于雷达的感知的复杂数据驱动的深度学习技术的发展。此外，大多数现有的雷达数据集仅提供3D雷达张量（3DRT）数据，该数据包含沿多普勒，范围和方位角尺寸的功率测量值。由于没有高程信息，因此要估算3DRT对象的3D边界框是一个挑战。在这项工作中，我们介绍了Kaist-Radar（K-Radar），这是一种新型的大规模对象检测数据集和基准测试，其中包含35K帧的4D雷达张量（4DRT）数据，并具有沿多普勒，范围，Azimuth和Apipation的功率测量值尺寸，以及小心注释的3D边界盒在道路上的物体​​标签。 K-Radar包括在各种道路结构（城市，郊区道路，小巷和高速公路）上进行挑战的驾驶条件，例如不良风雨（雾，雨和雪）。除4DRT外，我们还提供了精心校准的高分辨率激光雷，周围的立体声摄像头和RTK-GPS的辅助测量。我们还提供基于4DRT的对象检测基线神经网络（基线NNS），并表明高度信息对于3D对象检测至关重要。通过将基线NN与类似结构的激光雷达神经网络进行比较，我们证明了4D雷达是不利天气条件的更强大的传感器。所有代码均可在https://github.com/kaist-avelab/k-radar上找到。

由于其不利风格，例如雾，下雨和下雪，汽车MMWVEAVE雷达已广泛用于汽车行业中的广泛应用于汽车行业。另一方面，其大波长也造成了对环境感知的根本挑战。最近的进展对其固有的缺点，即多路径反射和MMWAVE雷达点云的稀疏性取得了突破。然而，MM波信号的较低频率对车辆的移动性比视觉和激光信号的迁移率更敏感。这项工作侧重于频移的问题，即多普勒效应扭曲了雷达测距测量及其对公制定位的影响。我们提出了一种新的基于雷达的公制定位框架，通过恢复多普勒失真来获得更准确的位置估计。具体而言，我们首先设计一种新算法，明确地补偿了雷达扫描的多普勒失真，然后模拟了多普勒补偿点云的测量不确定性，以进一步优化度量定位。使用公共NUSCENES数据集和CARLA模拟器的广泛实验表明，我们的方法分别以19.2 \％和13.5 \％的改进优于最先进的方法，分别在翻译和旋转误差方面的改进。

Sensor visibility is crucial for safety-critical applications in automotive, robotics, smart infrastructure and others: In addition to object detection and occupancy mapping, visibility describes where a sensor can potentially measure or is blind. This knowledge can enhance functional safety and perception algorithms or optimize sensor topologies. Despite its significance, to the best of our knowledge, neither a common definition of visibility nor performance metrics exist yet. We close this gap and provide a definition of visibility, derived from a use case review. We introduce metrics and a framework to assess the performance of visibility estimators. Our metrics are verified with labeled real-world and simulation data from infrastructure radars and cameras: The framework easily identifies false visible or false invisible estimations which are safety-critical. Applying our metrics, we enhance the radar and camera visibility estimators by modeling the 3D elevation of sensor and objects. This refinement outperforms the conventional planar 2D approach in trustfulness and thus safety.

在辅助和自动驾驶系统的各种传感器中，即使在不利的天气或照明条件下，汽车雷达也被认为是一种健壮且低成本的解决方案。随着雷达技术的最新发展和开源的注释数据集，带有雷达信号的语义分割变得非常有前途。但是，现有的方法在计算上是昂贵的，或者通过平均将其减少到2D平面，从原始3D雷达信号中丢弃了大量的有价值的信息。在这项工作中，我们引入了Erase-Net，这是一个有效的雷达分割网络，以语义上的原始雷达信号。我们方法的核心是新型的检测到原始雷达信号的段方法。它首先检测每个对象的中心点，然后提取紧凑的雷达信号表示，最后执行语义分割。我们表明，与最新技术（SOTA）技术相比，我们的方法可以在雷达语义分割任务上实现卓越的性能。此外，我们的方法需要减少20倍的计算资源。最后，我们表明所提出的擦除网络可以被40％压缩而不会造成大幅损失，这比SOTA网络大得多，这使其成为实用汽车应用的更有希望的候选人。

This paper presents an accurate, highly efficient, and learning-free method for large-scale odometry estimation using spinning radar, empirically found to generalize well across very diverse environments -- outdoors, from urban to woodland, and indoors in warehouses and mines - without changing parameters. Our method integrates motion compensation within a sweep with one-to-many scan registration that minimizes distances between nearby oriented surface points and mitigates outliers with a robust loss function. Extending our previous approach CFEAR, we present an in-depth investigation on a wider range of data sets, quantifying the importance of filtering, resolution, registration cost and loss functions, keyframe history, and motion compensation. We present a new solving strategy and configuration that overcomes previous issues with sparsity and bias, and improves our state-of-the-art by 38%, thus, surprisingly, outperforming radar SLAM and approaching lidar SLAM. The most accurate configuration achieves 1.09% error at 5Hz on the Oxford benchmark, and the fastest achieves 1.79% error at 160Hz.

与LIDAR相比，相机和雷达传感器在成本，可靠性和维护方面具有显着优势。现有的融合方法通常融合了结果级别的单个模式的输出，称为后期融合策略。这可以通过使用现成的单传感器检测算法受益，但是晚融合无法完全利用传感器的互补特性，因此尽管相机雷达融合的潜力很大，但性能有限。在这里，我们提出了一种新颖的提案级早期融合方法，该方法有效利用了相机和雷达的空间和上下文特性，用于3D对象检测。我们的融合框架首先将图像建议与极坐标系中的雷达点相关联，以有效处理坐标系和空间性质之间的差异。将其作为第一阶段，遵循连续的基于交叉注意的特征融合层在相机和雷达之间自适应地交换时尚信息，从而导致强大而专心的融合。我们的摄像机雷达融合方法可在Nuscenes测试集上获得最新的41.1％地图，而NDS则达到52.3％，比仅摄像机的基线高8.7和10.8点，并在竞争性能上提高竞争性能LIDAR方法。

下一代高分辨率汽车雷达（4D雷达）可以提供额外的高程测量和较密集的点云，从而在自动驾驶中具有3D传感的巨大潜力。在本文中，我们介绍了一个名为TJ4Dradset的数据集，其中包括4D雷达点用于自动驾驶研究。该数据集是在各种驾驶场景中收集的，连续44个序列中总共有7757个同步帧，这些序列用3D边界框和轨道ID很好地注释。我们为数据集提供了基于4D雷达的3D对象检测基线，以证明4D雷达点云的深度学习方法的有效性。可以通过以下链接访问数据集：https：//github.com/tjradarlab/tj4dradset。

了解场景是自主导航车辆的关键，以及在线将周围环境分段为移动和非移动物体的能力是这项任务的中央成分。通常，基于深度学习的方法用于执行移动对象分段（MOS）。然而，这些网络的性能强烈取决于标记培训数据的多样性和数量，可以获得昂贵的信息。在本文中，我们提出了一种自动数据标记管道，用于3D LIDAR数据，以节省广泛的手动标记工作，并通过自动生成标记的训练数据来提高现有的基于学习的MOS系统的性能。我们所提出的方法通过批量处理数据来实现数据。首先利用基于占用的动态对象拆除以粗略地检测可能的动态物体。其次，它提取了提案中的段，并使用卡尔曼滤波器跟踪它们。基于跟踪的轨迹，它标记了实际移动的物体，如驾驶汽车和行人。相反，非移动物体，例如，停放的汽车，灯，道路或建筑物被标记为静态。我们表明，这种方法允许我们高效地标记LIDAR数据，并将我们的结果与其他标签生成方法的结果进行比较。我们还使用自动生成的标签培训深度神经网络，并与在同一数据上的手动标签上接受过的手动标签的培训相比，实现了类似的性能，以及使用我们方法生成的标签的其他数据集时更好的性能。此外，我们使用不同的传感器评估我们在多个数据集上的方法，我们的实验表明我们的方法可以在各种环境中生成标签。

预测环境的未来占用状态对于实现自动驾驶汽车的明智决定很重要。占用预测中的常见挑战包括消失的动态对象和模糊的预测，尤其是对于长期预测范围。在这项工作中，我们提出了一个双独沟的神经网络体系结构，以预测占用状态的时空演化。一个插脚致力于预测移动的自我车辆将如何观察到静态环境。另一个插脚预测环境中的动态对象将如何移动。在现实Waymo开放数据集上进行的实验表明，两个插脚的融合输出能够保留动态对象并减少预测中比基线模型更长的预测时间范围。

自动化驾驶系统（广告）开辟了汽车行业的新领域，为未来的运输提供了更高的效率和舒适体验的新可能性。然而，在恶劣天气条件下的自主驾驶已经存在，使自动车辆（AVS）长时间保持自主车辆（AVS）或更高的自主权。本文评估了天气在分析和统计方式中为广告传感器带来的影响和挑战，并对恶劣天气条件进行了解决方案。彻底报道了关于对每种天气的感知增强的最先进技术。外部辅助解决方案如V2X技术，当前可用的数据集，模拟器和天气腔室的实验设施中的天气条件覆盖范围明显。通过指出各种主要天气问题，自主驾驶场目前正在面临，近年来审查硬件和计算机科学解决方案，这项调查概述了在不利的天气驾驶条件方面的障碍和方向的障碍和方向。

本文提出了一种使用对象检测网络在汽车雷达数据上学习对象的笛卡尔速度的方法。提出的方法是在为速度生成自己的训练信号方面进行的。标签仅用于单帧，定向边界框（OBB）。不需要昂贵的笛卡尔速度或连续序列的标签。一般的想法是在不使用单帧OBB标签的情况下预先培训对象检测网络，然后利用网络的OBB预测未标记的数据进行速度训练。详细说明，使用预测的速度以及未标记框架的更新OBB之间的距离和标记框架的OBB预测之间的距离，将网络对未标记帧的OBB预测更新为标记帧的时间戳，用于生成一个自我的预测。监督速度的训练信号。检测网络体系结构由一个模块扩展，以说明多次扫描的时间关系和一个模块，以明确表示雷达的径向速度测量值。仅首次训练的两步方法使用OBB检测，然后使用训练OBB检测和速度。此外，由雷达径向速度测量产生的伪标记的预训练引导Bootstraps本文的自我监督方法。公开可用的Nuscenes数据集进行的实验表明，所提出的方法几乎达到了完全监督培训的速度估计性能，但不需要昂贵的速度标签。此外，我们优于基线方法，该方法仅使用径向速度测量作为标签。