随着相机和激光雷达传感器捕获用于自主驾驶的互补信息，已经做出了巨大的努力，通过多模式数据融合来开发语义分割算法。但是，基于融合的方法需要配对的数据，即具有严格的点对像素映射的激光点云和相机图像，因为培训和推理的输入都严重阻碍了在实际情况下的应用。因此，在这项工作中，我们建议通过充分利用具有丰富外观的2D图像来提高对点云上的代表性学习的2D先验辅助语义分割（2DPass），以增强对点云的表示。实际上，通过利用辅助模态融合和多尺度融合到单个知识蒸馏（MSFSKD），2DAPS从多模式数据中获取更丰富的语义和结构信息，然后在线蒸馏到纯3D网络。结果，配备了2DAPS，我们的基线仅使用点云输入显示出显着的改进。具体而言，它在两个大规模的基准（即Semantickitti和Nuscenes）上实现了最先进的方法，其中包括TOP-1的semantickitti的单扫描和多次扫描竞赛。

在鸟眼中学习强大的表现（BEV），以进行感知任务，这是趋势和吸引行业和学术界的广泛关注。大多数自动驾驶算法的常规方法在正面或透视视图中执行检测，细分，跟踪等。随着传感器配置变得越来越复杂，从不同的传感器中集成了多源信息，并在统一视图中代表功能至关重要。 BEV感知继承了几个优势，因为代表BEV中的周围场景是直观和融合友好的。对于BEV中的代表对象，对于随后的模块，如计划和/或控制是最可取的。 BEV感知的核心问题在于（a）如何通过从透视视图到BEV来通过视图转换来重建丢失的3D信息； （b）如何在BEV网格中获取地面真理注释； （c）如何制定管道以合并来自不同来源和视图的特征； （d）如何适应和概括算法作为传感器配置在不同情况下各不相同。在这项调查中，我们回顾了有关BEV感知的最新工作，并对不同解决方案进行了深入的分析。此外，还描述了该行业的BEV方法的几种系统设计。此外，我们推出了一套完整的实用指南，以提高BEV感知任务的性能，包括相机，激光雷达和融合输入。最后，我们指出了该领域的未来研究指示。我们希望该报告能阐明社区，并鼓励对BEV感知的更多研究。我们保留一个活跃的存储库来收集最新的工作，并在https://github.com/openperceptionx/bevperception-survey-recipe上提供一包技巧的工具箱。

弱监督的点云语义分割方法需要1 \％或更少的标签，希望实现与完全监督的方法几乎相同的性能，这些方法最近引起了广泛的研究关注。该框架中的一个典型解决方案是使用自我训练或伪标记来从点云本身挖掘监督，但忽略了图像中的关键信息。实际上，在激光雷达场景中广泛存在相机，而这种互补信息对于3D应用似乎非常重要。在本文中，我们提出了一种用于3D分割的新型交叉模式弱监督的方法，并结合了来自未标记图像的互补信息。基本上，我们设计了一个配备有效标签策略的双分支网络，以最大程度地发挥标签的力量，并直接实现2D到3D知识转移。之后，我们以期望最大（EM）的视角建立了一个跨模式的自我训练框架，该框架在伪标签估计和更新参数之间进行了迭代。在M-Step中，我们提出了一个跨模式关联学习，通过增强3D点和2D超级像素之间的周期矛盾性，从图像中挖掘互补的监督。在E-Step中，伪标签的自我校准机制被得出过滤噪声标签，从而为网络提供了更准确的标签，以进行全面训练。广泛的实验结果表明，我们的方法甚至优于最先进的竞争对手，而少于1 \％的主动选择注释。

最近，通过单一或多个表示提出了许多方法，以提高点云语义分割的性能。但是，这些作品在性能，效率和记忆消耗中没有保持良好的平衡。为了解决这些问题，我们提出了Drinet ++，通过增强点云的点云与Voxel-Point原理来扩展Drinet。为了提高效率和性能，Drinet ++主要由两个模块组成：稀疏功能编码器和稀疏几何功能增强。稀疏特征编码器提取每个点的本地上下文信息，稀疏几何特征增强功能通过多尺度稀疏投影和细心的多尺度融合增强了稀疏点云​​的几何特性。此外，我们提出了在培训阶段的深度稀疏监督，以帮助收敛并减轻内存消耗问题。我们的Drinet ++在Semantickitti和Nuscenes数据集中实现了最先进的户外点云分段，同时运行得更快，更耗费较少的内存。

LIDAR传感器对于自动驾驶汽车和智能机器人的感知系统至关重要。为了满足现实世界应用程序中的实时要求，有必要有效地分割激光扫描。以前的大多数方法将3D点云直接投影到2D球形范围图像上，以便它们可以利用有效的2D卷积操作进行图像分割。尽管取得了令人鼓舞的结果，但在球形投影中，邻里信息尚未保存得很好。此外，在单个扫描分割任务中未考虑时间信息。为了解决这些问题，我们提出了一种新型的语义分割方法，用于元素rangeseg的激光雷达序列，其中引入了新的范围残差图像表示以捕获空间时间信息。具体而言，使用元内核来提取元特征，从而减少了2D范围图像坐标输入和3D笛卡尔坐标输出之间的不一致。有效的U-NET主链用于获得多尺度功能。此外，特征聚合模块（FAM）增强了范围通道的作用，并在不同级别上汇总特征。我们已经进行了广泛的实验，以评估semantickitti和semanticposs。有希望的结果表明，我们提出的元rangeseg方法比现有方法更有效。我们的完整实施可在https://github.com/songw-zju/meta-rangeseg上公开获得。

LiDAR-based 3D Object detectors have achieved impressive performances in many benchmarks, however, multisensors fusion-based techniques are promising to further improve the results. PointPainting, as a recently proposed framework, can add the semantic information from the 2D image into the 3D LiDAR point by the painting operation to boost the detection performance. However, due to the limited resolution of 2D feature maps, severe boundary-blurring effect happens during re-projection of 2D semantic segmentation into the 3D point clouds. To well handle this limitation, a general multimodal fusion framework MSF has been proposed to fuse the semantic information from both the 2D image and 3D points scene parsing results. Specifically, MSF includes three main modules. First, SOTA off-the-shelf 2D/3D semantic segmentation approaches are employed to generate the parsing results for 2D images and 3D point clouds. The 2D semantic information is further re-projected into the 3D point clouds with calibrated parameters. To handle the misalignment between the 2D and 3D parsing results, an AAF module is proposed to fuse them by learning an adaptive fusion score. Then the point cloud with the fused semantic label is sent to the following 3D object detectors. Furthermore, we propose a DFF module to aggregate deep features in different levels to boost the final detection performance. The effectiveness of the framework has been verified on two public large-scale 3D object detection benchmarks by comparing with different baselines. The experimental results show that the proposed fusion strategies can significantly improve the detection performance compared to the methods using only point clouds and the methods using only 2D semantic information. Most importantly, the proposed approach significantly outperforms other approaches and sets new SOTA results on the nuScenes testing benchmark.

从预期的观点（例如范围视图（RV）和Bird's-eye-view（BEV））进行了云云语义细分。不同的视图捕获了点云的不同信息，因此彼此互补。但是，最近基于投影的点云语义分割方法通常会利用一种香草后期的融合策略来预测不同观点，因此未能从表示学习过程中从几何学角度探索互补信息。在本文中，我们引入了一个几何流动网络（GFNET），以探索以融合方式对准不同视图之间的几何对应关系。具体而言，我们设计了一个新颖的几何流量模块（GFM），以双向对齐并根据端到端学习方案下的几何关系跨不同观点传播互补信息。我们对两个广泛使用的基准数据集（Semantickitti和Nuscenes）进行了广泛的实验，以证明我们的GFNET对基于项目的点云语义分割的有效性。具体而言，GFNET不仅显着提高了每个单独观点的性能，而且还可以在所有基于投影的模型中取得最新的结果。代码可在\ url {https://github.com/haibo-qiu/gfnet}中获得。

当标签稀缺时，域的适应性是使学习能够学习的重要任务。尽管大多数作品仅着眼于图像模式，但有许多重要的多模式数据集。为了利用多模式的域适应性，我们提出了跨模式学习，在这种学习中，我们通过相互模仿在两种模式的预测之间执行一致性。我们限制了我们的网络，以对未标记的目标域数据进行正确预测，并在标记的数据和跨模式的一致预测中进行预测。在无监督和半监督的域适应设置中进行的实验证明了这种新型域适应策略的有效性。具体而言，我们评估了从2D图像，3D点云或两者都从3D语义分割的任务进行评估。我们利用最近的驾驶数据集生产各种域名适应场景，包括场景布局，照明，传感器设置和天气以及合成到现实的设置的变化。我们的方法在所有适应方案上都显着改善了以前的单模式适应基线。我们的代码可在https://github.com/valeoai/xmuda_journal上公开获取

最近，融合了激光雷达点云和相机图像，提高了3D对象检测的性能和稳健性，因为这两种方式自然具有强烈的互补性。在本文中，我们通过引入新型级联双向融合〜（CB融合）模块和多模态一致性〜（MC）损耗来提出用于多模态3D对象检测的EPNet ++。更具体地说，所提出的CB融合模块提高点特征的丰富语义信息，以级联双向交互融合方式具有图像特征，导致更全面且辨别的特征表示。 MC损失明确保证预测分数之间的一致性，以获得更全面且可靠的置信度分数。基蒂，JRDB和Sun-RGBD数据集的实验结果展示了通过最先进的方法的EPNet ++的优越性。此外，我们强调一个关键但很容易被忽视的问题，这是探讨稀疏场景中的3D探测器的性能和鲁棒性。广泛的实验存在，EPNet ++优于现有的SOTA方法，在高稀疏点云壳中具有显着的边距，这可能是降低LIDAR传感器的昂贵成本的可用方向。代码将来会发布。

以视觉为中心的BEV感知由于其固有的优点，最近受到行业和学术界的关注，包括展示世界自然代表和融合友好。随着深度学习的快速发展，已经提出了许多方法来解决以视觉为中心的BEV感知。但是，最近没有针对这个小说和不断发展的研究领域的调查。为了刺激其未来的研究，本文对以视觉为中心的BEV感知及其扩展进行了全面调查。它收集并组织了最近的知识，并对常用算法进行了系统的综述和摘要。它还为几项BEV感知任务提供了深入的分析和比较结果，从而促进了未来作品的比较并激发了未来的研究方向。此外，还讨论了经验实现细节并证明有利于相关算法的开发。

Point cloud learning has lately attracted increasing attention due to its wide applications in many areas, such as computer vision, autonomous driving, and robotics. As a dominating technique in AI, deep learning has been successfully used to solve various 2D vision problems. However, deep learning on point clouds is still in its infancy due to the unique challenges faced by the processing of point clouds with deep neural networks. Recently, deep learning on point clouds has become even thriving, with numerous methods being proposed to address different problems in this area. To stimulate future research, this paper presents a comprehensive review of recent progress in deep learning methods for point clouds. It covers three major tasks, including 3D shape classification, 3D object detection and tracking, and 3D point cloud segmentation. It also presents comparative results on several publicly available datasets, together with insightful observations and inspiring future research directions.

准确的移动对象细分是自动驾驶的重要任务。它可以为许多下游任务提供有效的信息，例如避免碰撞，路径计划和静态地图构建。如何有效利用时空信息是3D激光雷达移动对象分割（LIDAR-MOS）的关键问题。在这项工作中，我们提出了一个新型的深神经网络，利用了时空信息和不同的LiDAR扫描表示方式，以提高LIDAR-MOS性能。具体而言，我们首先使用基于图像图像的双分支结构来分别处理可以从顺序的LiDAR扫描获得的空间和时间信息，然后使用运动引导的注意模块组合它们。我们还通过3D稀疏卷积使用点完善模块来融合LIDAR范围图像和点云表示的信息，并减少对象边界上的伪像。我们验证了我们提出的方法对Semantickitti的LiDAR-MOS基准的有效性。我们的方法在LiDar-Mos IOU方面大大优于最先进的方法。从设计的粗到精细体系结构中受益，我们的方法以传感器框架速率在线运行。我们方法的实现可作为开源可用：https：//github.com/haomo-ai/motionseg3d。

由于缺乏大规模标记的3D数据集，大多数3D神经网络都是从划痕训练。在本文中，我们通过利用来自丰富的2D数据集学习的2D网络来介绍一种新的3D预预测方法。我们提出了通过将像素级和点级别特征映射到同一嵌入空间中的对比度的像素到点知识转移来有效地利用2D信息。由于2D和3D网络之间的异构性质，我们介绍了后投影功能以对准2D和3D之间的功能以使转移成为可能。此外，我们设计了一个上采样功能投影层，以增加高级2D特征图的空间分辨率，这使得能够学习细粒度的3D表示。利用普雷累染的2D网络，所提出的预介绍过程不需要额外的2D或3D标记数据，进一步缓解了昂贵的3D数据注释成本。据我们所知，我们是第一个利用现有的2D培训的权重，以预先rain 3D深度神经网络。我们的密集实验表明，使用2D知识预订的3D模型可以通过各种真实世界3D下游任务进行3D网络的性能。

来自LIDAR或相机传感器的3D对象检测任务对于自动驾驶至关重要。先锋尝试多模式融合的尝试补充了稀疏的激光雷达点云，其中包括图像的丰富语义纹理信息，以额外的网络设计和开销为代价。在这项工作中，我们提出了一个名为SPNET的新型语义传递框架，以通过丰富的上下文绘画的指导来提高现有基于激光雷达的3D检测模型的性能，在推理过程中没有额外的计算成本。我们的关键设计是首先通过训练语义绘制的教师模型来利用地面真实标签中潜在的指导性语义知识，然后引导纯LIDAR网络通过不同的粒度传播模块来学习语义绘制的表示：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类：类别：类别：类别：类别：类别：类别：类别： - 通过，像素的传递和实例传递。实验结果表明，所提出的SPNET可以与大多数现有的3D检测框架无缝合作，其中AP增益为1〜5％，甚至在KITTI测试基准上实现了新的最新3D检测性能。代码可在以下网址获得：https：//github.com/jb892/sp​​net。

激光镜头和相机是两个用于自动驾驶中3D感知的互补传感器。激光点云具有准确的空间和几何信息，而RGB图像为上下文推理提供了纹理和颜色数据。为了共同利用激光雷达和相机，现有的融合方法倾向于基于校准，即一对一的映射，将每个3D点与一个投影图像像素对齐。但是，这些方法的性能高度依赖于校准质量，这对传感器的时间和空间同步敏感。因此，我们提出了一个动态的交叉注意（DCA）模块，具有新型的一对一的交叉模式映射，该模块从初始投影对邻域的最初投影中学习了多个偏移，从而发展了对校准误差的耐受性。此外，提出了A \ textIt {动态查询增强}来感知与模型无关的校准，从而进一步增强了DCA对初始未对准的耐受性。名为“动态跨注意网络”（DCAN）的整个融合体系结构利用了多级图像特征，并适应了点云的多个表示，这使DCA可以用作插件融合模块。对Nuscenes和Kitti的广泛实验证明了DCA的有效性。拟议的DCAN在Nuscenes检测挑战上优于最先进的方法。

许多基于点的语义分割方法是为室内场景设计的，但如果它们被应用于户外环境中的LIDAR传感器捕获的点云，则他们挣扎。为了使这些方法更有效和坚固，使得它们可以处理LIDAR数据，我们介绍了重新建立基于3D点的操作的一般概念，使得它们可以在投影空间中运行。虽然我们通过三个基于点的方法显示了重新计算的版本速度快300到400倍，但实现了更高的准确性，但我们还证明了重新制定基于3D点的操作的概念允许设计统一益处的新架构基于点和基于图像的方法。作为示例，我们介绍一种网络，该网络将基于重新的3D点的操作集成到2D编码器 - 解码器架构中，该架构融合来自不同2D尺度的信息。我们评估了四个具有挑战性的语义LIDAR点云分割的方法，并显示利用基于2D图像的操作的重新推出的基于3D点的操作实现了所有四个数据集的非常好的结果。

点云是用于在自动车辆中的感知的关键模态，提供对周围环境的坚固几何理解的手段。然而，尽管传感器从自主车辆自然是季度自然的，但仍然有限地探讨了3D Sem-TIC分割的利用点云序列。在本文中，我们提出了一种新颖的稀疏时间本地注意力（StELA）模块，其聚合在先前点云帧中的本地邻域中中间特征，以向解码器提供丰富的时间上下文。使用稀疏的本地邻居使我们的方法能够更灵活地收集比直接匹配点特征的方法，比在整个点云框架上执行昂贵的全球关注的那些。我们在Semantickitti DataSet上实现了64.3％的竞争Miou，并在我们的消融研究中表现出对单一帧基线的显着改进。

When using LiDAR semantic segmentation models for safety-critical applications such as autonomous driving, it is essential to understand and improve their robustness with respect to a large range of LiDAR corruptions. In this paper, we aim to comprehensively analyze the robustness of LiDAR semantic segmentation models under various corruptions. To rigorously evaluate the robustness and generalizability of current approaches, we propose a new benchmark called SemanticKITTI-C, which features 16 out-of-domain LiDAR corruptions in three groups, namely adverse weather, measurement noise and cross-device discrepancy. Then, we systematically investigate 11 LiDAR semantic segmentation models, especially spanning different input representations (e.g., point clouds, voxels, projected images, and etc.), network architectures and training schemes. Through this study, we obtain two insights: 1) We find out that the input representation plays a crucial role in robustness. Specifically, under specific corruptions, different representations perform variously. 2) Although state-of-the-art methods on LiDAR semantic segmentation achieve promising results on clean data, they are less robust when dealing with noisy data. Finally, based on the above observations, we design a robust LiDAR segmentation model (RLSeg) which greatly boosts the robustness with simple but effective modifications. It is promising that our benchmark, comprehensive analysis, and observations can boost future research in robust LiDAR semantic segmentation for safety-critical applications.

现有的最佳3D对象检测器通常依赖于多模式融合策略。但是，由于忽略了特定于模式的有用信息，因此从根本上限制了该设计，并最终阻碍了模型性能。为了解决这一局限性，在这项工作中，我们介绍了一种新型的模式相互作用策略，在该策略中，在整个过程中学习和维护单个单模式表示，以使其在物体检测过程中被利用其独特特征。为了实现这一建议的策略，我们设计了一个深层互动体系结构，其特征是多模式代表性交互编码器和多模式预测交互解码器。大规模Nuscenes数据集的实验表明，我们所提出的方法经常超过所有先前的艺术。至关重要的是，我们的方法在竞争激烈的Nuscenes对象检测排行榜上排名第一。

大型预训练的变压器是现代语义分割基准的顶部，但具有高计算成本和冗长的培训。为了提高这种约束，我们从综合知识蒸馏的角度来研究有效的语义分割，并考虑弥合多源知识提取和特定于变压器特定的斑块嵌入之间的差距。我们提出了基于变压器的知识蒸馏（TransKD）框架，该框架通过蒸馏出大型教师变压器的特征地图和补丁嵌入来学习紧凑的学生变形金刚，绕过长期的预训练过程并将FLOPS降低> 85.0％。具体而言，我们提出了两个基本和两个优化模块：（1）交叉选择性融合（CSF）可以通过通道注意和层次变压器内的特征图蒸馏之间的知识转移； （2）嵌入对齐（PEA）在斑块过程中执行尺寸转换，以促进贴片嵌入蒸馏； （3）全局本地上下文混合器（GL-MIXER）提取了代表性嵌入的全局和局部信息； （4）嵌入助手（EA）是一种嵌入方法，可以无缝地桥接老师和学生模型，并具有老师的渠道数量。关于CityScapes，ACDC和NYUV2数据集的实验表明，TransKD的表现优于最先进的蒸馏框架，并竞争了耗时的预训练方法。代码可在https://github.com/ruipingl/transkd上找到。