Paris-Carla-3d是由移动激光器和相机系统构建的几个浓彩色点云的数据集。数据由两组具有来自开源Carla模拟器（700百万分）的合成数据和在巴黎市中获取的真实数据（6000万分），因此Paris-Carla-3d的名称。此数据集的一个优点是在开源Carla模拟器中模拟了相同的LIDAR和相机平台，因为用于生产真实数据的开源Carla Simulator。此外，使用Carla的语义标记的手动注释在真实数据上执行，允许将转移方法从合成到实际数据进行测试。该数据集的目的是提供一个具有挑战性的数据集，以评估和改进户外环境3D映射的困难视觉任务的方法：语义分段，实例分段和场景完成。对于每项任务，我们描述了评估协议以及建立基线的实验。

场景完成是从场景的部分扫描中完成缺失几何形状的任务。大多数以前的方法使用3D网格上的截断签名距离函数（T-SDF）计算出隐式表示，作为神经网络的输入。截断限制，但不会删除由非关闭表面符号引入的模棱两可的案例。作为替代方案，我们提出了一个未签名的距离函数（UDF），称为未签名的加权欧几里得距离（UWED）作为场景完成神经网络的输入表示。 UWED作为几何表示是简单而有效的，并且可以在任何点云上计算，而与通常的签名距离函数（SDF）相比，UWED不需要正常的计算。为了获得明确的几何形状，我们提出了一种从常规网格上离散的UDF值提取点云的方法。我们比较了从RGB-D和LIDAR传感器收集的室内和室外点云上的场景完成任务的不同SDF和UDFS，并使用建议的UWED功能显示了改进的完成。

Our dataset provides dense annotations for each scan of all sequences from the KITTI Odometry Benchmark [19]. Here, we show multiple scans aggregated using pose information estimated by a SLAM approach.

LIDAR传感器提供有关周围场景的丰富3D信息，并且对于自动驾驶汽车的任务（例如语义细分，对象检测和跟踪）变得越来越重要。模拟激光雷达传感器的能力将加速自动驾驶汽车的测试，验证和部署，同时降低成本并消除现实情况下的测试风险。为了解决以高保真度模拟激光雷达数据的问题，我们提出了一条管道，该管道利用移动映射系统获得的现实世界点云。基于点的几何表示，更具体地说，已经证明了它们能够在非常大点云中准确对基础表面进行建模的能力。我们引入了一种自适应夹层生成方法，该方法可以准确地对基础3D几何形状进行建模，尤其是对于薄结构。我们还通过在GPU上铸造Ray铸造的同时，在有效处理大点云的同时，我们还开发了更快的时间激光雷达模拟。我们在现实世界中测试了激光雷达的模拟，与基本的碎片和网格划分技术相比，表现出定性和定量结果，证明了我们的建模技术的优势。

这项工作通过创建具有准确而完整的动态场景的新颖户外数据集来解决语义场景完成（SSC）数据中的差距。我们的数据集是由每个时间步骤的随机采样视图形成的，该步骤可监督无需遮挡或痕迹的场景的普遍性。我们通过利用最新的3D深度学习体系结构来使用时间信息来创建最新的开源网络中的SSC基准，并构建基准实时密集的局部语义映射算法MotionsC。我们的网络表明，提出的数据集可以在存在动态对象的情况下量化和监督准确的场景完成，这可以导致改进的动态映射算法的开发。所有软件均可在https://github.com/umich-curly/3dmapping上找到。

随着商业深度传感器和3D扫描仪的最近可用性和可承受能力，越来越多的3D（即RGBD，点云）数据集已被宣传以促进3D计算机视觉的研究。但是，现有的数据集覆盖相对较小的区域或具有有限的语义注释。对城市规模3D场景的细粒度理解仍处于起步阶段。在本文中，我们介绍了Sensaturban，一个城市规模的UAV摄影测量点云数据集，包括从三个英国城市收集的近30亿积分，占地7.6公里^ 2。 DataSet中的每个点已标记为具有细粒度的语义注释，导致数据集是上一个现有最大摄影测量点云数据集的三倍的三倍。除了诸如道路和植被等诸如道路和植被的常见类别之外，我们的数据集还包含包括轨道，桥梁和河流的城市水平类别。基于此数据集，我们进一步构建了基准，以评估最先进的分段算法的性能。特别是，我们提供了全面的分析，确定了限制城市规模点云理解的几个关键挑战。数据集可在http://point-cloud-analysis.cs.ox.ac.uk中获取。

具有丰富注释的高质量结构化数据是处理道路场景的智能车辆系统中的关键组件。但是，数据策展和注释需要大量投资并产生低多样性的情况。最近对合成数据的兴趣日益增长，提出了有关此类系统改进范围的问题，以及产生大量和变化的模拟数据所需的手动工作量。这项工作提出了一条合成数据生成管道，该管道利用现有数据集（如Nuscenes）来解决模拟数据集中存在的困难和域间隙。我们表明，使用现有数据集的注释和视觉提示，我们可以促进自动化的多模式数据生成，模仿具有高保真性的真实场景属性，以及以物理意义的方式使样本多样化的机制。我们通过提供定性和定量实验，并通过使用真实和合成数据来证明MIOU指标的改进，以实现CityScapes和Kitti-Step数据集的语义分割。所有相关代码和数据均在GitHub（https://github.com/shubham1810/trove_toolkit）上发布。

本文报告了一个动态语义映射框架，该框架将3D场景流量测量纳入封闭形式的贝叶斯推理模型中。环境中动态对象的存在可能会导致当前映射算法中的伪影和痕迹，从而导致后方地图不一致。我们利用深度学习利用最新的语义细分和3D流量估计，以提供MAP推断的测量。我们开发了一个贝叶斯模型，该模型以流量传播，并渗透3D连续（即可以在任意分辨率下查询）语义占用率图优于其静态对应物的语义占用图。使用公开数据集的广泛实验表明，所提出的框架对其前身和深度神经网络的输入测量有所改善。

We propose a new self-supervised method for pre-training the backbone of deep perception models operating on point clouds. The core idea is to train the model on a pretext task which is the reconstruction of the surface on which the 3D points are sampled, and to use the underlying latent vectors as input to the perception head. The intuition is that if the network is able to reconstruct the scene surface, given only sparse input points, then it probably also captures some fragments of semantic information, that can be used to boost an actual perception task. This principle has a very simple formulation, which makes it both easy to implement and widely applicable to a large range of 3D sensors and deep networks performing semantic segmentation or object detection. In fact, it supports a single-stream pipeline, as opposed to most contrastive learning approaches, allowing training on limited resources. We conducted extensive experiments on various autonomous driving datasets, involving very different kinds of lidars, for both semantic segmentation and object detection. The results show the effectiveness of our method to learn useful representations without any annotation, compared to existing approaches. Code is available at \href{https://github.com/valeoai/ALSO}{github.com/valeoai/ALSO}

环绕视图相机是用于自动驾驶的主要传感器，用于近场感知。它是主要用于停车可视化和自动停车的商用车中最常用的传感器之一。四个带有190 {\ deg}视场覆盖车辆周围360 {\ deg}的鱼眼相机。由于其高径向失真，标准算法不容易扩展。以前，我们发布了第一个名为Woodscape的公共鱼眼环境视图数据集。在这项工作中，我们发布了环绕视图数据集的合成版本，涵盖了其许多弱点并扩展了它。首先，不可能获得像素光流和深度的地面真相。其次，为了采样不同的框架，木景没有同时注释的所有四个相机。但是，这意味着不能设计多相机算法以在新数据集中启用的鸟眼空间中获得统一的输出。我们在Carla模拟器中实现了环绕式鱼眼的几何预测，与木观的配置相匹配并创建了Synwoodscape。

3D autonomous driving semantic segmentation using deep learning has become, a well-studied subject, providing methods that can reach very high performance. Nonetheless, because of the limited size of the training datasets, these models cannot see every type of object and scenes found in real-world applications. The ability to be reliable in these various unknown environments is called domain generalization. Despite its importance, domain generalization is relatively unexplored in the case of 3D autonomous driving semantic segmentation. To fill this gap, this paper presents the first benchmark for this application by testing state-of-the-art methods and discussing the difficulty of tackling LiDAR domain shifts. We also propose the first method designed to address this domain generalization, which we call 3DLabelProp. This method relies on leveraging the geometry and sequentiality of the LiDAR data to enhance its generalization performances by working on partially accumulated point clouds. It reaches a mIoU of 52.6% on SemanticPOSS while being trained only on SemanticKITTI, making it state-of-the-art method for generalization (+7.4% better than the second best method). The code for this method will be available on Github.

Segmenting humans in 3D indoor scenes has become increasingly important with the rise of human-centered robotics and AR/VR applications. In this direction, we explore the tasks of 3D human semantic-, instance- and multi-human body-part segmentation. Few works have attempted to directly segment humans in point clouds (or depth maps), which is largely due to the lack of training data on humans interacting with 3D scenes. We address this challenge and propose a framework for synthesizing virtual humans in realistic 3D scenes. Synthetic point cloud data is attractive since the domain gap between real and synthetic depth is small compared to images. Our analysis of different training schemes using a combination of synthetic and realistic data shows that synthetic data for pre-training improves performance in a wide variety of segmentation tasks and models. We further propose the first end-to-end model for 3D multi-human body-part segmentation, called Human3D, that performs all the above segmentation tasks in a unified manner. Remarkably, Human3D even outperforms previous task-specific state-of-the-art methods. Finally, we manually annotate humans in test scenes from EgoBody to compare the proposed training schemes and segmentation models.

本文提供了来自RGBD图像和LIDAR点云的3D数据平面分割的EVOPS数据集。我们已经设计了两种注释方法（RGBD和LIDAR）在著名和广泛使用的数据集上进行SLAM评估，我们提供了一套完整的基准测试工具，包括点，飞机和细分指标。数据包括由高质量分段平面组成的不同选定场景上的10K RGBD和7K LIDAR帧的总数。该实验报告了在我们的注释数据上进行RGBD平面分割的SOTA方法的质量。我们还为LIDAR点云中的平面分割提供了可学习的基线。所有标记的数据和基准工具均已在https://evops.netlify.app/上公开提供。

Segmentation of lidar data is a task that provides rich, point-wise information about the environment of robots or autonomous vehicles. Currently best performing neural networks for lidar segmentation are fine-tuned to specific datasets. Switching the lidar sensor without retraining on a big set of annotated data from the new sensor creates a domain shift, which causes the network performance to drop drastically. In this work we propose a new method for lidar domain adaption, in which we use annotated panoptic lidar datasets and recreate the recorded scenes in the structure of a different lidar sensor. We narrow the domain gap to the target data by recreating panoptic data from one domain in another and mixing the generated data with parts of (pseudo) labeled target domain data. Our method improves the nuScenes to SemanticKITTI unsupervised domain adaptation performance by 15.2 mean Intersection over Union points (mIoU) and by 48.3 mIoU in our semi-supervised approach. We demonstrate a similar improvement for the SemanticKITTI to nuScenes domain adaptation by 21.8 mIoU and 51.5 mIoU, respectively. We compare our method with two state of the art approaches for semantic lidar segmentation domain adaptation with a significant improvement for unsupervised and semi-supervised domain adaptation. Furthermore we successfully apply our proposed method to two entirely unlabeled datasets of two state of the art lidar sensors Velodyne Alpha Prime and InnovizTwo, and train well performing semantic segmentation networks for both.

Panoptic现场了解和跟踪动态代理对于机器人和自动化车辆至关重要，以在城市环境中导航。由于LiDAR提供了方案的精确照明和几何描绘，使用LIDAR点云执行这些任务提供可靠的预测。然而，现有数据集缺乏城市场景类型的多样性，并且具有有限数量的动态对象实例，其阻碍了这些任务的学习以及开发方法的可信基准。在本文中，我们介绍了大规模的Panoptic Nuscenes基准数据集，它扩展了我们流行的NUSCENES DataSet，具有用于语义分割，Panoptic分段和Panoptic跟踪任务的Pock-Wise Trountruth annotations。为了便于比较，我们为我们提出的数据集提供了几个任务的强大基线。此外，我们分析了Panoptic跟踪的现有度量标准的缺点，并提出了一种解决问题的小说实例的Pat度量。我们提供详尽的实验，展示了Panoptic Nuscenes与现有数据集相比的效用，并在Nuscenes.org提供的在线评估服务器。我们认为，此扩展将加快新颖的现场了解动态城市环境的新方法研究。

视频分析的图像分割在不同的研究领域起着重要作用，例如智能城市，医疗保健，计算机视觉和地球科学以及遥感应用。在这方面，最近致力于发展新的细分策略;最新的杰出成就之一是Panoptic细分。后者是由语义和实例分割的融合引起的。明确地，目前正在研究Panoptic细分，以帮助获得更多对视频监控，人群计数，自主驾驶，医学图像分析的图像场景的更细致的知识，以及一般对场景更深入的了解。为此，我们介绍了本文的首次全面审查现有的Panoptic分段方法，以获得作者的知识。因此，基于所采用的算法，应用场景和主要目标的性质，执行现有的Panoptic技术的明确定义分类。此外，讨论了使用伪标签注释新数据集的Panoptic分割。继续前进，进行消融研究，以了解不同观点的Panoptic方法。此外，讨论了适合于Panoptic分割的评估度量，并提供了现有解决方案性能的比较，以告知最先进的并识别其局限性和优势。最后，目前对主题技术面临的挑战和吸引不久的将来吸引相当兴趣的未来趋势，可以成为即将到来的研究研究的起点。提供代码的文件可用于：https：//github.com/elharroussomar/awesome-panoptic-egation

对于与行人一起运行的移动机器人，对地面基础设施（例如道路和街道交叉路口）进行了牢固的分类。尽管许多语义分割数据集可用于自动驾驶汽车，但在此类数据集中训练的模型在部署在行人空间中的机器人上时表现出较大的域间隙。从行人角度录制的手动注释图像既昂贵又耗时。为了克服这一挑战，我们提出了TrackletMapper，这是一个注释地面类型的框架，例如人行道，道路和街道交叉点，而无需进行人类注销的数据。为此，我们将机器人自我trajectory和其他交通参与者的路径投射到自我视图相机图像中，为多种类型的接地表面创建稀疏的语义注释，从中可以从中训练地面分段模型。我们进一步表明，该模型可以通过汇总地面图并将其投影到相机图像中，从而自行启动，从而获得额外的性能优势，从而与稀疏的踪迹注释相比，创建了一组密集的训练注释。我们在定性和定量上证明了我们在一个新型的大型数据集上，用于在行人区域运营的移动机器人。代码和数据集将在http://trackletmapper.cs.uni-freiburg.de上提供。

本文提出了一个统一的神经网络结构，用于联合3D对象检测和点云分段。我们利用检测和分割标签的丰富监督，而不是使用其中一个。另外，基于广泛应用于3D场景和对象理解的隐式功能，提出了基于单级对象检测器的扩展。扩展分支从对象检测模块作为输入采用最终特征映射，并产生隐式功能，为其对应的体素中心产生每个点的语义分布。我们展示了我们在NUSCENES-LIDARSEG上的结构的表现，这是一个大型户外数据集。我们的解决方案在与对象检测解决方案相比，在3D对象检测和点云分割中实现了针对现有的方法的竞争结果。通过实验验证了所提出的方法的有效弱监管语义分割的能力。

Monoscene提出了3D语义场景完成（SSC）框架，其中从单眼RGB图像推断出场景的密集几何和语义。与SSC文献不同，依赖于2.5或3D输入，我们解决了2D到3D场景重建的复杂问题，同时联合推断了其语义。我们的框架依赖于由光学系统启发的新型2D-3D功能投影的连续2D和3D UNETS，并在强制执行时期 - 语义一致性之前引入3D上下文关系。随着建筑贡献，我们介绍了新的全球场景和本地截肢损失。实验表明，我们在所有指标和数据集上表达了文献，同时甚至在相机视野之外的幻觉风景。我们的代码和培训的型号可在https://github.com/cv-rits/monoscene获得

在鸟眼中学习强大的表现（BEV），以进行感知任务，这是趋势和吸引行业和学术界的广泛关注。大多数自动驾驶算法的常规方法在正面或透视视图中执行检测，细分，跟踪等。随着传感器配置变得越来越复杂，从不同的传感器中集成了多源信息，并在统一视图中代表功能至关重要。 BEV感知继承了几个优势，因为代表BEV中的周围场景是直观和融合友好的。对于BEV中的代表对象，对于随后的模块，如计划和/或控制是最可取的。 BEV感知的核心问题在于（a）如何通过从透视视图到BEV来通过视图转换来重建丢失的3D信息； （b）如何在BEV网格中获取地面真理注释； （c）如何制定管道以合并来自不同来源和视图的特征； （d）如何适应和概括算法作为传感器配置在不同情况下各不相同。在这项调查中，我们回顾了有关BEV感知的最新工作，并对不同解决方案进行了深入的分析。此外，还描述了该行业的BEV方法的几种系统设计。此外，我们推出了一套完整的实用指南，以提高BEV感知任务的性能，包括相机，激光雷达和融合输入。最后，我们指出了该领域的未来研究指示。我们希望该报告能阐明社区，并鼓励对BEV感知的更多研究。我们保留一个活跃的存储库来收集最新的工作，并在https://github.com/openperceptionx/bevperception-survey-recipe上提供一包技巧的工具箱。