LIDAR数据的实时语义分割对于自动驾驶车辆至关重要，这通常配备有嵌入式平台并具有有限的计算资源。直接在点云上运行的方法使用复杂的空间聚合操作，这非常昂贵，难以优化嵌入式平台。因此，它们不适用于嵌入式系统的实时应用。作为替代方案，基于投影的方法更有效并且可以在嵌入式平台上运行。然而，目前基于最先进的投影的方法不会达到与基于点的方法相同的准确性并使用数百万个参数。因此，我们提出了一种基于投影的方法，称为多尺度交互网络（Minet），这是非常有效和准确的。该网络使用具有不同尺度的多个路径并余额尺度之间的计算资源。尺度之间的额外密集相互作用避免了冗余计算并使网络高效。在准确度，参数数量和运行时，所提出的网络以基于点为基础的基于图像和基于投影的方法。此外，网络处理在嵌入式平台上每秒超过24个扫描，该嵌入式平台高于激光雷达传感器的帧。因此，网络适用于自动车辆。

许多基于点的语义分割方法是为室内场景设计的，但如果它们被应用于户外环境中的LIDAR传感器捕获的点云，则他们挣扎。为了使这些方法更有效和坚固，使得它们可以处理LIDAR数据，我们介绍了重新建立基于3D点的操作的一般概念，使得它们可以在投影空间中运行。虽然我们通过三个基于点的方法显示了重新计算的版本速度快300到400倍，但实现了更高的准确性，但我们还证明了重新制定基于3D点的操作的概念允许设计统一益处的新架构基于点和基于图像的方法。作为示例，我们介绍一种网络，该网络将基于重新的3D点的操作集成到2D编码器 - 解码器架构中，该架构融合来自不同2D尺度的信息。我们评估了四个具有挑战性的语义LIDAR点云分割的方法，并显示利用基于2D图像的操作的重新推出的基于3D点的操作实现了所有四个数据集的非常好的结果。

准确的移动对象细分是自动驾驶的重要任务。它可以为许多下游任务提供有效的信息，例如避免碰撞，路径计划和静态地图构建。如何有效利用时空信息是3D激光雷达移动对象分割（LIDAR-MOS）的关键问题。在这项工作中，我们提出了一个新型的深神经网络，利用了时空信息和不同的LiDAR扫描表示方式，以提高LIDAR-MOS性能。具体而言，我们首先使用基于图像图像的双分支结构来分别处理可以从顺序的LiDAR扫描获得的空间和时间信息，然后使用运动引导的注意模块组合它们。我们还通过3D稀疏卷积使用点完善模块来融合LIDAR范围图像和点云表示的信息，并减少对象边界上的伪像。我们验证了我们提出的方法对Semantickitti的LiDAR-MOS基准的有效性。我们的方法在LiDar-Mos IOU方面大大优于最先进的方法。从设计的粗到精细体系结构中受益，我们的方法以传感器框架速率在线运行。我们方法的实现可作为开源可用：https：//github.com/haomo-ai/motionseg3d。

LIDAR传感器对于自动驾驶汽车和智能机器人的感知系统至关重要。为了满足现实世界应用程序中的实时要求，有必要有效地分割激光扫描。以前的大多数方法将3D点云直接投影到2D球形范围图像上，以便它们可以利用有效的2D卷积操作进行图像分割。尽管取得了令人鼓舞的结果，但在球形投影中，邻里信息尚未保存得很好。此外，在单个扫描分割任务中未考虑时间信息。为了解决这些问题，我们提出了一种新型的语义分割方法，用于元素rangeseg的激光雷达序列，其中引入了新的范围残差图像表示以捕获空间时间信息。具体而言，使用元内核来提取元特征，从而减少了2D范围图像坐标输入和3D笛卡尔坐标输出之间的不一致。有效的U-NET主链用于获得多尺度功能。此外，特征聚合模块（FAM）增强了范围通道的作用，并在不同级别上汇总特征。我们已经进行了广泛的实验，以评估semantickitti和semanticposs。有希望的结果表明，我们提出的元rangeseg方法比现有方法更有效。我们的完整实施可在https://github.com/songw-zju/meta-rangeseg上公开获得。

Perception in autonomous vehicles is often carried out through a suite of different sensing modalities. Given the massive amount of openly available labeled RGB data and the advent of high-quality deep learning algorithms for image-based recognition, high-level semantic perception tasks are pre-dominantly solved using high-resolution cameras. As a result of that, other sensor modalities potentially useful for this task are often ignored. In this paper, we push the state of the art in LiDAR-only semantic segmentation forward in order to provide another independent source of semantic information to the vehicle. Our approach can accurately perform full semantic segmentation of LiDAR point clouds at sensor frame rate. We exploit range images as an intermediate representation in combination with a Convolutional Neural Network (CNN) exploiting the rotating LiDAR sensor model. To obtain accurate results, we propose a novel postprocessing algorithm that deals with problems arising from this intermediate representation such as discretization errors and blurry CNN outputs. We implemented and thoroughly evaluated our approach including several comparisons to the state of the art. Our experiments show that our approach outperforms state-of-the-art approaches, while still running online on a single embedded GPU. The code can be accessed at https://github.com/PRBonn/lidar-bonnetal.

准确而快速的场景理解是自动驾驶的挑战性任务之一，它需要充分利用LiDar Point云进行语义细分。在本文中，我们提出了一个\ textbf {concise}和\ textbf {有效}基于图像的语义分割网络，名为\ textbf {cenet}。为了提高学习能力的描述能力并降低计算和时间复杂性，我们的CENET将卷积与较大的内核大小而不是MLP相结合。定量和定性实验是根据公开可用的基准测试和Semanticposs进行的，这表明我们的管道与最先进的模型相比，我们的管道取得了更好的MIOU和推理性能。该代码将在https://github.com/huixiancheng/cenet上找到。

点云的Panoptic分割是一种重要的任务，使自动车辆能够使用高精度可靠的激光雷达传感器来理解其附近。现有的自上而下方法通过将独立的任务特定网络或转换方法从图像域转换为忽略激光雷达数据的复杂性，因此通常会导致次优性性能来解决这个问题。在本文中，我们提出了新的自上而下的高效激光乐光线分割（有效的LID）架构，该架构解决了分段激光雷达云中的多种挑战，包括距离依赖性稀疏性，严重的闭塞，大规模变化和重新投影误差。高效地板包括一种新型共享骨干，可以通过加强的几何变换建模容量进行编码，并聚合语义丰富的范围感知多尺度特征。它结合了新的不变语义和实例分段头以及由我们提出的Panoptic外围损耗功能监督的Panoptic Fusion模块。此外，我们制定了正则化的伪标签框架，通过对未标记数据的培训进行进一步提高高效性的性能。我们在两个大型LIDAR数据集中建议模型基准：NUSCENES，我们还提供了地面真相注释和Semantickitti。值得注意的是，高效地将在两个数据集上设置新的最先进状态。

最近，通过单一或多个表示提出了许多方法，以提高点云语义分割的性能。但是，这些作品在性能，效率和记忆消耗中没有保持良好的平衡。为了解决这些问题，我们提出了Drinet ++，通过增强点云的点云与Voxel-Point原理来扩展Drinet。为了提高效率和性能，Drinet ++主要由两个模块组成：稀疏功能编码器和稀疏几何功能增强。稀疏特征编码器提取每个点的本地上下文信息，稀疏几何特征增强功能通过多尺度稀疏投影和细心的多尺度融合增强了稀疏点云​​的几何特性。此外，我们提出了在培训阶段的深度稀疏监督，以帮助收敛并减轻内存消耗问题。我们的Drinet ++在Semantickitti和Nuscenes数据集中实现了最先进的户外点云分段，同时运行得更快，更耗费较少的内存。

随着相机和激光雷达传感器捕获用于自主驾驶的互补信息，已经做出了巨大的努力，通过多模式数据融合来开发语义分割算法。但是，基于融合的方法需要配对的数据，即具有严格的点对像素映射的激光点云和相机图像，因为培训和推理的输入都严重阻碍了在实际情况下的应用。因此，在这项工作中，我们建议通过充分利用具有丰富外观的2D图像来提高对点云上的代表性学习的2D先验辅助语义分割（2DPass），以增强对点云的表示。实际上，通过利用辅助模态融合和多尺度融合到单个知识蒸馏（MSFSKD），2DAPS从多模式数据中获取更丰富的语义和结构信息，然后在线蒸馏到纯3D网络。结果，配备了2DAPS，我们的基线仅使用点云输入显示出显着的改进。具体而言，它在两个大规模的基准（即Semantickitti和Nuscenes）上实现了最先进的方法，其中包括TOP-1的semantickitti的单扫描和多次扫描竞赛。

从预期的观点（例如范围视图（RV）和Bird's-eye-view（BEV））进行了云云语义细分。不同的视图捕获了点云的不同信息，因此彼此互补。但是，最近基于投影的点云语义分割方法通常会利用一种香草后期的融合策略来预测不同观点，因此未能从表示学习过程中从几何学角度探索互补信息。在本文中，我们引入了一个几何流动网络（GFNET），以探索以融合方式对准不同视图之间的几何对应关系。具体而言，我们设计了一个新颖的几何流量模块（GFM），以双向对齐并根据端到端学习方案下的几何关系跨不同观点传播互补信息。我们对两个广泛使用的基准数据集（Semantickitti和Nuscenes）进行了广泛的实验，以证明我们的GFNET对基于项目的点云语义分割的有效性。具体而言，GFNET不仅显着提高了每个单独观点的性能，而且还可以在所有基于投影的模型中取得最新的结果。代码可在\ url {https://github.com/haibo-qiu/gfnet}中获得。

语义分割是将类标签分配给图像中每个像素的问题，并且是自动车辆视觉堆栈的重要组成部分，可促进场景的理解和对象检测。但是，许多表现最高的语义分割模型非常复杂且笨拙，因此不适合在计算资源有限且低延迟操作的板载自动驾驶汽车平台上部署。在这项调查中，我们彻底研究了旨在通过更紧凑，更有效的模型来解决这种未对准的作品，该模型能够在低内存嵌入式系统上部署，同时满足实时推理的限制。我们讨论了该领域中最杰出的作品，根据其主要贡献将它们置于分类法中，最后我们评估了在一致的硬件和软件设置下，所讨论模型的推理速度，这些模型代表了具有高端的典型研究环境GPU和使用低内存嵌入式GPU硬件的现实部署方案。我们的实验结果表明，许多作品能够在资源受限的硬件上实时性能，同时说明延迟和准确性之间的一致权衡。

在鸟眼中学习强大的表现（BEV），以进行感知任务，这是趋势和吸引行业和学术界的广泛关注。大多数自动驾驶算法的常规方法在正面或透视视图中执行检测，细分，跟踪等。随着传感器配置变得越来越复杂，从不同的传感器中集成了多源信息，并在统一视图中代表功能至关重要。 BEV感知继承了几个优势，因为代表BEV中的周围场景是直观和融合友好的。对于BEV中的代表对象，对于随后的模块，如计划和/或控制是最可取的。 BEV感知的核心问题在于（a）如何通过从透视视图到BEV来通过视图转换来重建丢失的3D信息； （b）如何在BEV网格中获取地面真理注释； （c）如何制定管道以合并来自不同来源和视图的特征； （d）如何适应和概括算法作为传感器配置在不同情况下各不相同。在这项调查中，我们回顾了有关BEV感知的最新工作，并对不同解决方案进行了深入的分析。此外，还描述了该行业的BEV方法的几种系统设计。此外，我们推出了一套完整的实用指南，以提高BEV感知任务的性能，包括相机，激光雷达和融合输入。最后，我们指出了该领域的未来研究指示。我们希望该报告能阐明社区，并鼓励对BEV感知的更多研究。我们保留一个活跃的存储库来收集最新的工作，并在https://github.com/openperceptionx/bevperception-survey-recipe上提供一包技巧的工具箱。

Semantic segmentation works on the computer vision algorithm for assigning each pixel of an image into a class. The task of semantic segmentation should be performed with both accuracy and efficiency. Most of the existing deep FCNs yield to heavy computations and these networks are very power hungry, unsuitable for real-time applications on portable devices. This project analyzes current semantic segmentation models to explore the feasibility of applying these models for emergency response during catastrophic events. We compare the performance of real-time semantic segmentation models with non-real-time counterparts constrained by aerial images under oppositional settings. Furthermore, we train several models on the Flood-Net dataset, containing UAV images captured after Hurricane Harvey, and benchmark their execution on special classes such as flooded buildings vs. non-flooded buildings or flooded roads vs. non-flooded roads. In this project, we developed a real-time UNet based model and deployed that network on Jetson AGX Xavier module.

大规模发光点云的快速有效语义分割是自主驾驶中的一个基本问题。为了实现这一目标，现有的基于点的方法主要选择采用随机抽样策略来处理大规模点云。但是，我们的数量和定性研究发现，随机抽样可能不适合自主驾驶场景，因为LiDAR点遵循整个空间的不均匀甚至长尾巴分布，这阻止了模型从从中捕获足够的信息，从而从中捕获了足够的信息不同的距离范围并降低了模型的学习能力。为了减轻这个问题，我们提出了一种新的极性缸平衡的随机抽样方法，该方法使下采样的点云能够保持更平衡的分布并改善不同空间分布下的分割性能。此外，引入了采样一致性损失，以进一步提高分割性能并降低模型在不同采样方法下的方差。广泛的实验证实，我们的方法在Semantickitti和Semanticposs基准测试中都产生了出色的性能，分别提高了2.8％和4.0％。

语义细分是农业机器人了解自然果园周围环境的一项基本任务。 LIDAR技术的最新发展使机器人能够在非结构化果园中获得准确的范围测量。与RGB图像相比，3D点云具有几何特性。通过将LIDAR和相机组合在一起，可以获得有关几何和纹理的丰富信息。在这项工作中，我们提出了一种基于深度学习的分割方法，以对来自激光镜像相机视觉传感器的融合数据进行准确的语义分割。在这项工作中探索和解决了两个关键问题。第一个是如何有效地从多传感器数据中融合纹理和几何特征。第二个是如何在严重失衡类条件下有效训练3D分割网络的方法。此外，详细介绍了果园中3D分割的实现，包括LiDAR-CAMERA数据融合，数据收集和标签，网络培训和模型推断。在实验中，我们在处理从苹果园获得的高度非结构化和嘈杂的点云时，全面分析了网络设置。总体而言，我们提出的方法在高分辨率点云（100k-200k点）上的水果分割时达到了86.2％MIOU。实验结果表明，所提出的方法可以在真实的果园环境中进行准确的分割。

自动驾驶汽车的主要挑战是在看不见的动态环境中导航。将移动对象与静态对象分开对于导航，姿势估计以及了解其他交通参与者在不久的将来可能如何移动至关重要。在这项工作中，我们解决了区分当前移动物体（如行人行人或驾驶汽车）的3D激光雷达点的问题，从非移动物体（如墙壁）中获得的点，但还停放了汽车。我们的方法采用了一系列观察到的激光扫描，并将它们变成素化的稀疏4D点云。我们应用计算有效的稀疏4D旋转来共同提取空间和时间特征，并预测序列中所有点的移动对象置信得分。我们制定了一种退化的地平线策略，使我们能够在线预测移动对象，并根据新观察结果对GO进行预测。我们使用二进制贝叶斯过滤器递归整合了扫描的新预测，从而产生了更强的估计。我们在Semantickitti移动对象细分挑战中评估我们的方法，并显示出比现有方法更准确的预测。由于我们的方法仅在随着时间的推移随时间范围的几何信息上运行，因此它可以很好地概括为新的，看不见的环境，我们在阿波罗数据集中评估了这些环境。

Scene understanding is crucial for autonomous robots in dynamic environments for making future state predictions, avoiding collisions, and path planning. Camera and LiDAR perception made tremendous progress in recent years, but face limitations under adverse weather conditions. To leverage the full potential of multi-modal sensor suites, radar sensors are essential for safety critical tasks and are already installed in most new vehicles today. In this paper, we address the problem of semantic segmentation of moving objects in radar point clouds to enhance the perception of the environment with another sensor modality. Instead of aggregating multiple scans to densify the point clouds, we propose a novel approach based on the self-attention mechanism to accurately perform sparse, single-scan segmentation. Our approach, called Gaussian Radar Transformer, includes the newly introduced Gaussian transformer layer, which replaces the softmax normalization by a Gaussian function to decouple the contribution of individual points. To tackle the challenge of the transformer to capture long-range dependencies, we propose our attentive up- and downsampling modules to enlarge the receptive field and capture strong spatial relations. We compare our approach to other state-of-the-art methods on the RadarScenes data set and show superior segmentation quality in diverse environments, even without exploiting temporal information.

语义分割是自主车辆了解周围场景的关键技术。当代模型的吸引力表现通常以牺牲重计算和冗长的推理时间为代价，这对于自行车来说是无法忍受的。在低分辨率图像上使用轻量级架构（编码器 - 解码器或双路）或推理，最近的方法实现了非常快的场景解析，即使在单个1080TI GPU上以100多件FPS运行。然而，这些实时方法与基于扩张骨架的模型之间的性能仍有显着差距。为了解决这个问题，我们提出了一家专门为实时语义细分设计的高效底座。所提出的深层双分辨率网络（DDRNET）由两个深部分支组成，之间进行多个双边融合。此外，我们设计了一个名为Deep聚合金字塔池（DAPPM）的新上下文信息提取器，以基于低分辨率特征映射放大有效的接收字段和熔丝多尺度上下文。我们的方法在城市景观和Camvid数据集上的准确性和速度之间实现了新的最先进的权衡。特别是，在单一的2080Ti GPU上，DDRNET-23-Slim在Camvid测试组上的Citycapes试验组102 FPS上的102 FPS，74.7％Miou。通过广泛使用的测试增强，我们的方法优于最先进的模型，需要计算得多。 CODES和培训的型号在线提供。

Point cloud learning has lately attracted increasing attention due to its wide applications in many areas, such as computer vision, autonomous driving, and robotics. As a dominating technique in AI, deep learning has been successfully used to solve various 2D vision problems. However, deep learning on point clouds is still in its infancy due to the unique challenges faced by the processing of point clouds with deep neural networks. Recently, deep learning on point clouds has become even thriving, with numerous methods being proposed to address different problems in this area. To stimulate future research, this paper presents a comprehensive review of recent progress in deep learning methods for point clouds. It covers three major tasks, including 3D shape classification, 3D object detection and tracking, and 3D point cloud segmentation. It also presents comparative results on several publicly available datasets, together with insightful observations and inspiring future research directions.

3D点云的卷积经过广泛研究，但在几何深度学习中却远非完美。卷积的传统智慧在3D点之间表现出特征对应关系，这是对差的独特特征学习的内在限制。在本文中，我们提出了自适应图卷积（AGCONV），以供点云分析的广泛应用。 AGCONV根据其动态学习的功能生成自适应核。与使用固定/各向同性核的解决方案相比，AGCONV提高了点云卷积的灵活性，有效，精确地捕获了不同语义部位的点之间的不同关系。与流行的注意力体重方案不同，AGCONV实现了卷积操作内部的适应性，而不是简单地将不同的权重分配给相邻点。广泛的评估清楚地表明，我们的方法优于各种基准数据集中的点云分类和分割的最新方法。同时，AGCONV可以灵活地采用更多的点云分析方法来提高其性能。为了验证其灵活性和有效性，我们探索了基于AGCONV的完成，DeNoing，Upsmpling，注册和圆圈提取的范式，它们与竞争对手相当甚至优越。我们的代码可在https://github.com/hrzhou2/adaptconv-master上找到。