Domain adaptation for Cross-LiDAR 3D detection is challenging due to the large gap on the raw data representation with disparate point densities and point arrangements. By exploring domain-invariant 3D geometric characteristics and motion patterns, we present an unsupervised domain adaptation method that overcomes above difficulties. First, we propose the Spatial Geometry Alignment module to extract similar 3D shape geometric features of the same object class to align two domains, while eliminating the effect of distinct point distributions. Second, we present Temporal Motion Alignment module to utilize motion features in sequential frames of data to match two domains. Prototypes generated from two modules are incorporated into the pseudo-label reweighting procedure and contribute to our effective self-training framework for the target domain. Extensive experiments show that our method achieves state-of-the-art performance on cross-device datasets, especially for the datasets with large gaps captured by mechanical scanning LiDARs and solid-state LiDARs in various scenes. Project homepage is at https://github.com/4DVLab/CL3D.git

3D对象检测网络往往偏向于培训的数据。在不同位置，条件或传感器中捕获的数据集的评估比训练（源）数据的数据集导致模型性能下降，由于测试（或目标）数据分布的间隙。目前用于域适配的方法可以在训练期间采用访问源数据，这可能由于隐私或内存问题而无法使用，或者需要将一系列激光乐框架作为输入。我们提出了一种单一帧方法，用于提供的基于LIDAR的3D对象探测器的无源无监督域，它使用类原型来减轻逻辑标签噪声的效果。解决在存在嘈杂标签中的传统特征聚合方法对原型计算的限制，我们利用变压器模块识别对应于不正确，过于自信的注释的异常值ROI，并计算分级类原型。在迭代培训策略下，与嘈杂的伪标签相关的损失是下降的，因此在自我培训过程中精制。为了验证我们提出的方法的有效性，我们研究了与大型标签的数据集（例如Waymo Open DataSet和Nuscenes）培训的网络相关联的域移位，并在更小的标签差的数据集（如KITTI）上进行评估反之亦然。我们在最近的两个对象探测器上展示了我们的方法，实现了Out-执行其他域适应工作的结果。

LiDAR-based 3D object detection is an indispensable task in advanced autonomous driving systems. Though impressive detection results have been achieved by superior 3D detectors, they suffer from significant performance degeneration when facing unseen domains, such as different LiDAR configurations, different cities, and weather conditions. The mainstream approaches tend to solve these challenges by leveraging unsupervised domain adaptation (UDA) techniques. However, these UDA solutions just yield unsatisfactory 3D detection results when there is a severe domain shift, e.g., from Waymo (64-beam) to nuScenes (32-beam). To address this, we present a novel Semi-Supervised Domain Adaptation method for 3D object detection (SSDA3D), where only a few labeled target data is available, yet can significantly improve the adaptation performance. In particular, our SSDA3D includes an Inter-domain Adaptation stage and an Intra-domain Generalization stage. In the first stage, an Inter-domain Point-CutMix module is presented to efficiently align the point cloud distribution across domains. The Point-CutMix generates mixed samples of an intermediate domain, thus encouraging to learn domain-invariant knowledge. Then, in the second stage, we further enhance the model for better generalization on the unlabeled target set. This is achieved by exploring Intra-domain Point-MixUp in semi-supervised learning, which essentially regularizes the pseudo label distribution. Experiments from Waymo to nuScenes show that, with only 10% labeled target data, our SSDA3D can surpass the fully-supervised oracle model with 100% target label. Our code is available at https://github.com/yinjunbo/SSDA3D.

在本文中，我们提出了激光雷达蒸馏，以弥合由不同的激光束引起的3D对象检测的域间隙。在许多现实世界中，大规模生产的机器人和车辆使用的激光点通常比大型公共数据集的光束少。此外，随着LIDARS升级到具有不同光束量的其他产品模型，使用先前版本的高分辨率传感器捕获的标记数据变得具有挑战性。尽管域自适应3D检测最近取得了进展，但大多数方法都难以消除梁诱导的域间隙。我们发现，在训练过程中，必须将源域的点云密度与目标域的点云密度保持一致。受到这一发现的启发，我们提出了一个渐进式框架，以减轻光束诱导的域移位。在每次迭代中，我们首先通过下采样高光束点云来产生低光束伪激光雷达。然后，使用教师学生的框架来将丰富的信息从数据中提取更多的信息。 Waymo，Nuscenes和Kitti数据集的大量实验具有三个不同的基于激光雷达的探测器，这证明了我们激光蒸馏的有效性。值得注意的是，我们的方法不会增加推理的任何额外计算成本。

不同制造商和激光雷达传感器模型之间的采样差异导致对象的不一致表示。当在其他类型的楣上测试为一个激光雷达培训的3D探测器时，这导致性能下降。 LIDAR制造业的显着进展使机械，固态和最近可调节的扫描图案LIDARS的进展带来了进展。对于后者，现有工作通常需要微调模型，每次调整扫描模式，这是不可行的。我们通过提出一种小型无监督的多目标域适配框架，明确地处理采样差异，参见，用于在固定和灵活的扫描图案Lidars上传送最先进的3D探测器的性能，而无需微调模型通过最终用户。我们的方法在将其传递到检测网络之前，将底层几何形状插值并将其从不同LIDAR的对象的扫描模式正常化。我们展示了在公共数据集上看到的有效性，实现最先进的结果，并另外为新颖的高分辨率LIDAR提供定量结果，以证明我们框架的行业应用。此数据集和我们的代码将公开可用。

Depth estimation is usually ill-posed and ambiguous for monocular camera-based 3D multi-person pose estimation. Since LiDAR can capture accurate depth information in long-range scenes, it can benefit both the global localization of individuals and the 3D pose estimation by providing rich geometry features. Motivated by this, we propose a monocular camera and single LiDAR-based method for 3D multi-person pose estimation in large-scale scenes, which is easy to deploy and insensitive to light. Specifically, we design an effective fusion strategy to take advantage of multi-modal input data, including images and point cloud, and make full use of temporal information to guide the network to learn natural and coherent human motions. Without relying on any 3D pose annotations, our method exploits the inherent geometry constraints of point cloud for self-supervision and utilizes 2D keypoints on images for weak supervision. Extensive experiments on public datasets and our newly collected dataset demonstrate the superiority and generalization capability of our proposed method.

人的大脑可以毫不费力地识别和定位对象，而基于激光雷达点云的当前3D对象检测方法仍然报告了较低的性能，以检测闭塞和远处的对象：点云的外观由于遮挡而变化很大，并且在沿线的固有差异沿点固有差异变化。传感器的距离。因此，设计功能表示对此类点云至关重要。受到人类联想识别的启发，我们提出了一个新颖的3D检测框架，该框架通过域的适应来使对象完整特征。我们弥合感知域之间的差距，其中特征是从具有亚最佳表示的真实场景中得出的，以及概念域，其中功能是从由不批准对象组成的增强场景中提取的，并具有丰富的详细信息。研究了一种可行的方法，可以在没有外部数据集的情况下构建概念场景。我们进一步介绍了一个基于注意力的重新加权模块，该模块可适应地增强更翔实区域的特征。该网络的功能增强能力将被利用，而无需在推理过程中引入额外的成本，这是各种3D检测框架中的插件。我们以准确性和速度都在Kitti 3D检测基准上实现了新的最先进性能。关于Nuscenes和Waymo数据集的实验也验证了我们方法的多功能性。

Segmentation of lidar data is a task that provides rich, point-wise information about the environment of robots or autonomous vehicles. Currently best performing neural networks for lidar segmentation are fine-tuned to specific datasets. Switching the lidar sensor without retraining on a big set of annotated data from the new sensor creates a domain shift, which causes the network performance to drop drastically. In this work we propose a new method for lidar domain adaption, in which we use annotated panoptic lidar datasets and recreate the recorded scenes in the structure of a different lidar sensor. We narrow the domain gap to the target data by recreating panoptic data from one domain in another and mixing the generated data with parts of (pseudo) labeled target domain data. Our method improves the nuScenes to SemanticKITTI unsupervised domain adaptation performance by 15.2 mean Intersection over Union points (mIoU) and by 48.3 mIoU in our semi-supervised approach. We demonstrate a similar improvement for the SemanticKITTI to nuScenes domain adaptation by 21.8 mIoU and 51.5 mIoU, respectively. We compare our method with two state of the art approaches for semantic lidar segmentation domain adaptation with a significant improvement for unsupervised and semi-supervised domain adaptation. Furthermore we successfully apply our proposed method to two entirely unlabeled datasets of two state of the art lidar sensors Velodyne Alpha Prime and InnovizTwo, and train well performing semantic segmentation networks for both.

无监督的域对点云语义分割的适应性引起了极大的关注，因为它在没有标记的数据中学习有效性。大多数现有方法都使用全局级特征对齐方式将知识从源域转移到目标域，这可能会导致特征空间的语义歧义。在本文中，我们提出了一个基于图形的框架，以探索两个域之间的局部特征对齐，可以在适应过程中保留语义歧视。具体而言，为了提取本地级特征，我们首先在两个域上动态构建本地特征图，并使用来自源域的图形构建存储库。特别是，我们使用最佳传输来生成图形匹配对。然后，基于分配矩阵，我们可以将两个域之间的特征分布与基于图的本地特征损失对齐。此外，我们考虑了不同类别的特征之间的相关性，并制定了类别引导的对比损失，以指导分割模型以学习目标域上的区分特征。对不同的合成到现实和真实域的适应情景进行了广泛的实验表明，我们的方法可以实现最先进的性能。

LIDAR语义分割提供有关环境的3D语义信息，在其决策过程中为智能系统提供基本提示。深度神经网络正在实现这项任务的大型公共基准的最先进结果。不幸的是，找到概括井或适应其他域的模型，其中数据分布不同，仍然是一个重大挑战。这项工作解决了LIDAR语义分段模型的无监督域适应问题。我们的方法将新颖的想法结合在最新的最先进的方法之上，并产生了新的最先进的结果。我们提出了简单但有效的策略，以通过对齐输入空间的数据分布来减少域移位。此外，我们提出了一种基于学习的方法，使目标域的语义类的分布对准到源域。呈现的消融研究表明，每个部分如何促成最终表现。我们的策略显示在三个不同的域上运行的比较以前的域适应方法。

自动驾驶汽车必须在3D中检测其他车辆和行人，以计划安全路线并避免碰撞。基于深度学习的最先进的3D对象探测器已显示出有希望的准确性，但容易过度拟合域特质，使它们在新环境中失败 - 如果自动驾驶汽车旨在自动操作，则是一个严重的问题。在本文中，我们提出了一种新颖的学习方法，该方法通过在目标域中的伪标记上微调检测器，从而大大减少这一差距，我们的方法在车辆停放时会根据先前记录的驾驶序列的重播而生成的差距。在这些重播中，随着时间的推移会跟踪对象，并且检测被插值和外推 - 至关重要的是利用未来的信息来捕获硬病例。我们在五个自动驾驶数据集上显示，对这些伪标签上的对象检测器进行微调大大减少了域间隙到新的驾驶环境，从而极大地提高了准确性和检测可靠性。

Vision-Centric Bird-Eye-View (BEV) perception has shown promising potential and attracted increasing attention in autonomous driving. Recent works mainly focus on improving efficiency or accuracy but neglect the domain shift problem, resulting in severe degradation of transfer performance. With extensive observations, we figure out the significant domain gaps existing in the scene, weather, and day-night changing scenarios and make the first attempt to solve the domain adaption problem for multi-view 3D object detection. Since BEV perception approaches are usually complicated and contain several components, the domain shift accumulation on multi-latent spaces makes BEV domain adaptation challenging. In this paper, we propose a novel Multi-level Multi-space Alignment Teacher-Student ($M^{2}ATS$) framework to ease the domain shift accumulation, which consists of a Depth-Aware Teacher (DAT) and a Multi-space Feature Aligned (MFA) student model. Specifically, DAT model adopts uncertainty guidance to sample reliable depth information in target domain. After constructing domain-invariant BEV perception, it then transfers pixel and instance-level knowledge to student model. To further alleviate the domain shift at the global level, MFA student model is introduced to align task-relevant multi-space features of two domains. To verify the effectiveness of $M^{2}ATS$, we conduct BEV 3D object detection experiments on four cross domain scenarios and achieve state-of-the-art performance (e.g., +12.6% NDS and +9.1% mAP on Day-Night). Code and dataset will be released.

3D点云语义细分对于自动驾驶至关重要。文献中的大多数方法都忽略了一个重要方面，即在处理动态场景时如何处理域转移。这可能会极大地阻碍自动驾驶车辆的导航能力。本文推进了该研究领域的最新技术。我们的第一个贡献包括分析点云细分中的新的未开发的方案，即无源的在线无监督域改编（SF-OUDA）。我们在实验上表明，最新的方法具有相当有限的能力，可以使预训练的深网模型以在线方式看不到域。我们的第二个贡献是一种依赖于自适应自我训练和几何传播的方法，以在线调整预训练的源模型，而无需源数据或目标标签。我们的第三个贡献是在一个充满挑战的设置中研究sf-ouda，其中源数据是合成的，目标数据是现实世界中捕获的点云。我们将最近的Synlidar数据集用作合成源，并引入了两个新的合成（源）数据集，这些数据集可以刺激未来的综合自动驾驶研究。我们的实验显示了我们分割方法对数千个现实点云的有效性。代码和合成数据集可在https://github.com/saltoricristiano/gipso-sfouda上找到。

作为一种流行的几何表示，点云在3D视觉中引起了很多关注，导致自动驾驶和机器人中的许多应用。在点云上学习一个重要的尚未解决的问题是，如果使用不同的过程或使用不同的传感器捕获，则相同对象的点云可以具有显着的几何变化。这些不一致地诱导域间隙，使得在一个域上培训的神经网络可能无法概括他人。减少域间隙的典型技术是执行逆势训练，以便特征空间中的点云可以对齐。然而，对抗性训练易于落入退化的局部最小值，导致负适应性收益。在这里，我们提出了一种简单而有效的方法，可以通过采用学习几何感知含义的自我监督任务来提出对点云的无监督域适应的方法，这在一次拍摄中扮演两个关键角色。首先，通过对下游任务的隐式表示保留点云中的几何信息。更重要的是，可以在隐式空间中有效地学习域特定变体。我们还提出了一种自适应策略，以计算由于在实践中缺乏形状模型而计算任意点云的无符号距离场。当结合任务丢失时，所提出的优先表现出最先进的无监督域适应方法，依赖于对抗域对齐和更复杂的自我监督任务。我们的方法在PointDA-10和Graspnet数据集上进行评估。代码和培训的型号将公开可用。

通过新兴的大规模自动驾驶数据集和深度学习技术的快速发展，单眼3D对象检测（MONO3D）取得了巨大的改进。但是，由于严重的域间隙（例如，视野（FOV），像素大小和数据集中的对象大小）引起的，MONO3D检测器的泛化难度，导致对看不见的域的性能急剧下降。为了解决这些问题，我们将位置不变的变换和多尺度训练与像素大小的深度策略相结合，以构建有效的统一摄像机将军（CGP）。它充分考虑了不同摄像机捕获的图像的FOV和像素大小的差异。此外，当通过详尽的系统研究交叉描述时，我们进一步研究了定量指标的障碍。我们发现预测的大小偏见会导致巨大的失败。因此，我们提出了2d-3d几何符合对象缩放策略（GCO），以通过实例级级增强来弥合差距。我们称为DGMono3D的方法在所有评估的数据集上都能达到出色的性能，并且即使没有在目标域上使用数据，也超过了无监督域的适应方案。

基于面具的预训练在没有手动注释的监督的情况下，在图像，视频和语言中进行自我监督的学习取得了巨大的成功。但是，作为信息冗余数据，尚未在3D对象检测的字段中进行研究。由于3D对象检测中的点云是大规模的，因此无法重建输入点云。在本文中，我们提出了一个蒙版素分类网络，用于预训练大规模点云。我们的关键思想是将点云分为体素表示，并分类体素是否包含点云。这种简单的策略使网络是对物体形状的体素意识，从而改善了3D对象检测的性能。广泛的实验显示了我们在三个流行数据集（Kitti，Waymo和Nuscenes）上使用3D对象检测器（第二，Centerpoint和PV-RCNN）的预训练模型的效果。代码可在https：//github.com/chaytonmin/voxel-mae上公开获得。

最近，融合了激光雷达点云和相机图像，提高了3D对象检测的性能和稳健性，因为这两种方式自然具有强烈的互补性。在本文中，我们通过引入新型级联双向融合〜（CB融合）模块和多模态一致性〜（MC）损耗来提出用于多模态3D对象检测的EPNet ++。更具体地说，所提出的CB融合模块提高点特征的丰富语义信息，以级联双向交互融合方式具有图像特征，导致更全面且辨别的特征表示。 MC损失明确保证预测分数之间的一致性，以获得更全面且可靠的置信度分数。基蒂，JRDB和Sun-RGBD数据集的实验结果展示了通过最先进的方法的EPNet ++的优越性。此外，我们强调一个关键但很容易被忽视的问题，这是探讨稀疏场景中的3D探测器的性能和鲁棒性。广泛的实验存在，EPNet ++优于现有的SOTA方法，在高稀疏点云壳中具有显着的边距，这可能是降低LIDAR传感器的昂贵成本的可用方向。代码将来会发布。

在鸟眼中学习强大的表现（BEV），以进行感知任务，这是趋势和吸引行业和学术界的广泛关注。大多数自动驾驶算法的常规方法在正面或透视视图中执行检测，细分，跟踪等。随着传感器配置变得越来越复杂，从不同的传感器中集成了多源信息，并在统一视图中代表功能至关重要。 BEV感知继承了几个优势，因为代表BEV中的周围场景是直观和融合友好的。对于BEV中的代表对象，对于随后的模块，如计划和/或控制是最可取的。 BEV感知的核心问题在于（a）如何通过从透视视图到BEV来通过视图转换来重建丢失的3D信息； （b）如何在BEV网格中获取地面真理注释； （c）如何制定管道以合并来自不同来源和视图的特征； （d）如何适应和概括算法作为传感器配置在不同情况下各不相同。在这项调查中，我们回顾了有关BEV感知的最新工作，并对不同解决方案进行了深入的分析。此外，还描述了该行业的BEV方法的几种系统设计。此外，我们推出了一套完整的实用指南，以提高BEV感知任务的性能，包括相机，激光雷达和融合输入。最后，我们指出了该领域的未来研究指示。我们希望该报告能阐明社区，并鼓励对BEV感知的更多研究。我们保留一个活跃的存储库来收集最新的工作，并在https://github.com/openperceptionx/bevperception-survey-recipe上提供一包技巧的工具箱。

对象检测的域适应性（DAOD）最近由于其检测目标对象而没有任何注释而引起了很多关注。为了解决该问题，以前的作品着重于通过对抗训练在两阶段检测器中从部分级别（例如图像级，实例级，RPN级）提取的对齐功能。但是，对象检测管道中的个体级别相互密切相关，并且尚未考虑此层次之间的关系。为此，我们为DAOD介绍了一个新的框架，该框架具有三个提出的组件：多尺度意识不确定性注意力（MUA），可转移的区域建议网络（TRPN）和动态实例采样（DIS）。使用这些模块，我们试图在训练过程中减少负转移效应，同时最大化可传递性以及两个领域的可区分性。最后，我们的框架隐含地学习了域不变区域，以通过利用可转移信息并通过协作利用其域信息来增强不同检测级别之间的互补性。通过消融研究和实验，我们表明所提出的模块以协同方式有助于性能提高，以证明我们方法的有效性。此外，我们的模型在各种基准测试方面达到了新的最新性能。

激光器传感器的进步提供了支持3D场景了解的丰富的3D数据。然而，由于遮挡和信号未命中，LIDAR点云实际上是2.5D，因为它们仅覆盖部分底层形状，这对3D感知构成了根本挑战。为了解决挑战，我们提出了一种基于新的LIDAR的3D对象检测模型，被称为窗帘检测器（BTCDET）后面，该模型学习物体形状前沿并估计在点云中部分封闭（窗帘）的完整物体形状。 BTCDET首先识别受遮挡和信号未命中的影响的区域。在这些区域中，我们的模型预测了占用的概率，指示区域是否包含对象形状。与此概率图集成，BTCDET可以产生高质量的3D提案。最后，占用概率也集成到提案细化模块中以生成最终边界框。关于基蒂数据集的广泛实验和Waymo Open DataSet展示了BTCDET的有效性。特别是，对于Kitti基准测试的汽车和骑自行车者的3D检测，BTCDET通过显着的边缘超越所有公布的最先进的方法。代码已发布（https://github.com/xharlie/btcdet}（https：//github.com/xharlie/btcdet）。