本文提供了来自RGBD图像和LIDAR点云的3D数据平面分割的EVOPS数据集。我们已经设计了两种注释方法（RGBD和LIDAR）在著名和广泛使用的数据集上进行SLAM评估，我们提供了一套完整的基准测试工具，包括点，飞机和细分指标。数据包括由高质量分段平面组成的不同选定场景上的10K RGBD和7K LIDAR帧的总数。该实验报告了在我们的注释数据上进行RGBD平面分割的SOTA方法的质量。我们还为LIDAR点云中的平面分割提供了可学习的基线。所有标记的数据和基准工具均已在https://evops.netlify.app/上公开提供。

Paris-Carla-3d是由移动激光器和相机系统构建的几个浓彩色点云的数据集。数据由两组具有来自开源Carla模拟器（700百万分）的合成数据和在巴黎市中获取的真实数据（6000万分），因此Paris-Carla-3d的名称。此数据集的一个优点是在开源Carla模拟器中模拟了相同的LIDAR和相机平台，因为用于生产真实数据的开源Carla Simulator。此外，使用Carla的语义标记的手动注释在真实数据上执行，允许将转移方法从合成到实际数据进行测试。该数据集的目的是提供一个具有挑战性的数据集，以评估和改进户外环境3D映射的困难视觉任务的方法：语义分段，实例分段和场景完成。对于每项任务，我们描述了评估协议以及建立基线的实验。

了解场景是自主导航车辆的关键，以及在线将周围环境分段为移动和非移动物体的能力是这项任务的中央成分。通常，基于深度学习的方法用于执行移动对象分段（MOS）。然而，这些网络的性能强烈取决于标记培训数据的多样性和数量，可以获得昂贵的信息。在本文中，我们提出了一种自动数据标记管道，用于3D LIDAR数据，以节省广泛的手动标记工作，并通过自动生成标记的训练数据来提高现有的基于学习的MOS系统的性能。我们所提出的方法通过批量处理数据来实现数据。首先利用基于占用的动态对象拆除以粗略地检测可能的动态物体。其次，它提取了提案中的段，并使用卡尔曼滤波器跟踪它们。基于跟踪的轨迹，它标记了实际移动的物体，如驾驶汽车和行人。相反，非移动物体，例如，停放的汽车，灯，道路或建筑物被标记为静态。我们表明，这种方法允许我们高效地标记LIDAR数据，并将我们的结果与其他标签生成方法的结果进行比较。我们还使用自动生成的标签培训深度神经网络，并与在同一数据上的手动标签上接受过的手动标签的培训相比，实现了类似的性能，以及使用我们方法生成的标签的其他数据集时更好的性能。此外，我们使用不同的传感器评估我们在多个数据集上的方法，我们的实验表明我们的方法可以在各种环境中生成标签。

具有丰富注释的高质量结构化数据是处理道路场景的智能车辆系统中的关键组件。但是，数据策展和注释需要大量投资并产生低多样性的情况。最近对合成数据的兴趣日益增长，提出了有关此类系统改进范围的问题，以及产生大量和变化的模拟数据所需的手动工作量。这项工作提出了一条合成数据生成管道，该管道利用现有数据集（如Nuscenes）来解决模拟数据集中存在的困难和域间隙。我们表明，使用现有数据集的注释和视觉提示，我们可以促进自动化的多模式数据生成，模仿具有高保真性的真实场景属性，以及以物理意义的方式使样本多样化的机制。我们通过提供定性和定量实验，并通过使用真实和合成数据来证明MIOU指标的改进，以实现CityScapes和Kitti-Step数据集的语义分割。所有相关代码和数据均在GitHub（https://github.com/shubham1810/trove_toolkit）上发布。

Our dataset provides dense annotations for each scan of all sequences from the KITTI Odometry Benchmark [19]. Here, we show multiple scans aggregated using pose information estimated by a SLAM approach.

Panoptic现场了解和跟踪动态代理对于机器人和自动化车辆至关重要，以在城市环境中导航。由于LiDAR提供了方案的精确照明和几何描绘，使用LIDAR点云执行这些任务提供可靠的预测。然而，现有数据集缺乏城市场景类型的多样性，并且具有有限数量的动态对象实例，其阻碍了这些任务的学习以及开发方法的可信基准。在本文中，我们介绍了大规模的Panoptic Nuscenes基准数据集，它扩展了我们流行的NUSCENES DataSet，具有用于语义分割，Panoptic分段和Panoptic跟踪任务的Pock-Wise Trountruth annotations。为了便于比较，我们为我们提出的数据集提供了几个任务的强大基线。此外，我们分析了Panoptic跟踪的现有度量标准的缺点，并提出了一种解决问题的小说实例的Pat度量。我们提供详尽的实验，展示了Panoptic Nuscenes与现有数据集相比的效用，并在Nuscenes.org提供的在线评估服务器。我们认为，此扩展将加快新颖的现场了解动态城市环境的新方法研究。

Panoptic图像分割是计算机视觉任务，即在图像中查找像素组并为其分配语义类别和对象实例标识符。由于其在机器人技术和自动驾驶中的关键应用，图像细分的研究变得越来越流行。因此，研究社区依靠公开可用的基准数据集来推进计算机视觉中的最新技术。但是，由于将图像标记为高昂的成本，因此缺乏适合全景分割的公开地面真相标签。高标签成本还使得将现有数据集扩展到视频域和多相机设置是一项挑战。因此，我们介绍了Waymo Open DataSet：全景视频全景分割数据集，这是一个大型数据集，它提供了用于自主驾驶的高质量的全景分割标签。我们使用公开的Waymo打开数据集生成数据集，利用各种相机图像集。随着时间的推移，我们的标签是一致的，用于视频处理，并且在车辆上安装的多个摄像头保持一致，以了解全景的理解。具体而言，我们为28个语义类别和2,860个时间序列提供标签，这些标签由在三个不同地理位置驾驶的自动驾驶汽车上安装的五个摄像机捕获，从而导致总共标记为100k标记的相机图像。据我们所知，这使我们的数据集比现有的数据集大量数据集大的数量级。我们进一步提出了一个新的基准，用于全景视频全景分割，并根据DeepLab模型家族建立许多强大的基准。我们将公开制作基准和代码。在https://waymo.com/open上找到数据集。

Segmenting humans in 3D indoor scenes has become increasingly important with the rise of human-centered robotics and AR/VR applications. In this direction, we explore the tasks of 3D human semantic-, instance- and multi-human body-part segmentation. Few works have attempted to directly segment humans in point clouds (or depth maps), which is largely due to the lack of training data on humans interacting with 3D scenes. We address this challenge and propose a framework for synthesizing virtual humans in realistic 3D scenes. Synthetic point cloud data is attractive since the domain gap between real and synthetic depth is small compared to images. Our analysis of different training schemes using a combination of synthetic and realistic data shows that synthetic data for pre-training improves performance in a wide variety of segmentation tasks and models. We further propose the first end-to-end model for 3D multi-human body-part segmentation, called Human3D, that performs all the above segmentation tasks in a unified manner. Remarkably, Human3D even outperforms previous task-specific state-of-the-art methods. Finally, we manually annotate humans in test scenes from EgoBody to compare the proposed training schemes and segmentation models.

视频分析的图像分割在不同的研究领域起着重要作用，例如智能城市，医疗保健，计算机视觉和地球科学以及遥感应用。在这方面，最近致力于发展新的细分策略;最新的杰出成就之一是Panoptic细分。后者是由语义和实例分割的融合引起的。明确地，目前正在研究Panoptic细分，以帮助获得更多对视频监控，人群计数，自主驾驶，医学图像分析的图像场景的更细致的知识，以及一般对场景更深入的了解。为此，我们介绍了本文的首次全面审查现有的Panoptic分段方法，以获得作者的知识。因此，基于所采用的算法，应用场景和主要目标的性质，执行现有的Panoptic技术的明确定义分类。此外，讨论了使用伪标签注释新数据集的Panoptic分割。继续前进，进行消融研究，以了解不同观点的Panoptic方法。此外，讨论了适合于Panoptic分割的评估度量，并提供了现有解决方案性能的比较，以告知最先进的并识别其局限性和优势。最后，目前对主题技术面临的挑战和吸引不久的将来吸引相当兴趣的未来趋势，可以成为即将到来的研究研究的起点。提供代码的文件可用于：https：//github.com/elharroussomar/awesome-panoptic-egation

本文介绍了在线本地化和彩色网格重建（OLCMR）ROS感知体系结构，用于地面探索机器人，旨在在具有挑战性的未知环境中执行强大的同时定位和映射（SLAM），并实时提供相关的彩色3D网格表示。它旨在被远程人类操作员使用在任务或之后或之后轻松地可视化映射的环境，或作为在勘探机器人技术领域进行进一步研究的开发基础。该体系结构主要由精心挑选的基于激光雷达的SLAM算法的开源ROS实现以及使用点云和RGB摄像机图像投影到3D空间中的彩色表面重建过程。在较新的大学手持式LIDAR-VISION参考数据集上评估了整体表演，并在分别在城市和乡村户外环境中分别在代表性的车轮机器人上收集的两个实验轨迹。索引术语：现场机器人，映射，猛击，彩色表面重建

准确的移动对象细分是自动驾驶的重要任务。它可以为许多下游任务提供有效的信息，例如避免碰撞，路径计划和静态地图构建。如何有效利用时空信息是3D激光雷达移动对象分割（LIDAR-MOS）的关键问题。在这项工作中，我们提出了一个新型的深神经网络，利用了时空信息和不同的LiDAR扫描表示方式，以提高LIDAR-MOS性能。具体而言，我们首先使用基于图像图像的双分支结构来分别处理可以从顺序的LiDAR扫描获得的空间和时间信息，然后使用运动引导的注意模块组合它们。我们还通过3D稀疏卷积使用点完善模块来融合LIDAR范围图像和点云表示的信息，并减少对象边界上的伪像。我们验证了我们提出的方法对Semantickitti的LiDAR-MOS基准的有效性。我们的方法在LiDar-Mos IOU方面大大优于最先进的方法。从设计的粗到精细体系结构中受益，我们的方法以传感器框架速率在线运行。我们方法的实现可作为开源可用：https：//github.com/haomo-ai/motionseg3d。

传统的LIDAR射测（LO）系统主要利用从经过的环境获得的几何信息来注册激光扫描并估算Lidar Ego-Motion，而在动态或非结构化环境中可能不可靠。本文提出了Inten-loam，一种低饮用和健壮的激光镜和映射方法，该方法完全利用激光扫描的隐式信息（即几何，强度和时间特征）。扫描点被投影到圆柱形图像上，这些图像有助于促进各种特征的有效和适应性提取，即地面，梁，立面和反射器。我们提出了一种新型基于强度的点登记算法，并将其纳入LIDAR的探光仪，从而使LO系统能够使用几何和强度特征点共同估计LIDAR EGO-MOTION。为了消除动态对象的干扰，我们提出了一种基于时间的动态对象删除方法，以在MAP更新之前过滤它们。此外，使用与时间相关的体素网格滤波器组织并缩减了本地地图，以维持当前扫描和静态局部图之间的相似性。在模拟和实际数据集上进行了广泛的实验。结果表明，所提出的方法在正常驾驶方案中实现了类似或更高的精度W.R.T，在非结构化环境中，最先进的方法优于基于几何的LO。

单眼相机传感器对于智能车辆操作和自动驾驶帮助至关重要，并且在交通控制基础设施中也很大程度上使用。但是，校准单眼摄像机很耗时，通常需要大量的手动干预。在这项工作中，我们提出了一种外部摄像机校准方法，该方法通过利用来自图像和点云的语义分割信息来自动化参数估计。我们的方法依赖于对摄像头姿势的粗略初始测量，并建立在具有高精度定位的车辆上的雷达传感器上，以捕获相机环境的点云。之后，通过执行语义分段传感器数据的激光镜头到相机的注册来获得相机和世界坐标空间之间的映射。我们在模拟和现实世界中评估了我们的方法，以证明校准结果中的低误差测量值。我们的方法适用于基础设施传感器和车辆传感器，而它不需要摄像机平台的运动。

由于大规模数据集的可用性，通常在特定位置和良好的天气条件下收集的大规模数据集，近年来，自动驾驶汽车的感知进展已加速。然而，为了达到高安全要求，这些感知系统必须在包括雪和雨在内的各种天气条件下进行稳健运行。在本文中，我们提出了一个新数据集，以通过新颖的数据收集过程启用强大的自动驾驶 - 在不同场景（Urban，Highway，乡村，校园），天气，雪，雨，阳光下，沿着15公里的路线反复记录数据），时间（白天/晚上）以及交通状况（行人，骑自行车的人和汽车）。该数据集包括来自摄像机和激光雷达传感器的图像和点云，以及高精度GPS/ins以在跨路线上建立对应关系。该数据集包括使用Amodal掩码捕获部分遮挡和3D边界框的道路和对象注释。我们通过分析基准在道路和对象，深度估计和3D对象检测中的性能来证明该数据集的独特性。重复的路线为对象发现，持续学习和异常检测打开了新的研究方向。链接到ITHACA365：https：//ithaca365.mae.cornell.edu/

电线杆和建筑物边缘经常是城市道路上可观察到的对象，为各种计算机视觉任务提供了可靠的提示。为了重复提取它们作为特征并在离散激光镜头框架之间进行注册，我们提出了第一个基于学习的功能分割和LIDAR点云中3D线的描述模型。为了训练我们的模型，而无需耗时和乏味的数据标记过程，我们首先生成了目标线基本外观的合成原始图，并构建一个迭代线自动标记的过程，以逐步完善真实激光扫描的线路标签。我们的分割模型可以在任意规模的扰动下提取线，我们使用共享的EDGECONV编码层共同训练两个分割和描述符头。基于模型，我们可以在没有初始转换提示的情况下构建一个高度可用的全局注册模块，用于点云注册。实验表明，我们基于线的注册方法对基于最先进的方法的方法具有很高的竞争力。我们的代码可在https://github.com/zxrzju/superline3d.git上找到。

完全自主移动机器人的现实部署取决于能够处理动态环境的强大的大满贯（同时本地化和映射）系统，其中对象在机器人的前面移动以及不断变化的环境，在此之后移动或更换对象。机器人已经绘制了现场。本文介绍了更换式SLAM，这是一种在动态和不断变化的环境中强大的视觉猛烈抨击的方法。这是通过使用与长期数据关联算法结合的贝叶斯过滤器来实现的。此外，它采用了一种有效的算法，用于基于对象检测的动态关键点过滤，该对象检测正确识别了不动态的边界框中的特征，从而阻止了可能导致轨道丢失的功能的耗竭。此外，开发了一个新的数据集，其中包含RGB-D数据，专门针对评估对象级别的变化环境，称为PUC-USP数据集。使用移动机器人，RGB-D摄像头和运动捕获系统创建了六个序列。这些序列旨在捕获可能导致跟踪故障或地图损坏的不同情况。据我们所知，更换 - 峰是第一个对动态和不断变化的环境既有坚固耐用的视觉大满贯系统，又不假设给定的相机姿势或已知地图，也能够实时运行。使用基准数据集对所提出的方法进行了评估，并将其与其他最先进的方法进行了比较，证明是高度准确的。

Conventional sensor-based localization relies on high-precision maps, which are generally built using specialized mapping techniques involving high labor and computational costs. In the architectural, engineering and construction industry, Building Information Models (BIM) are available and can provide informative descriptions of environments. This paper explores an effective way to localize a mobile 3D LiDAR sensor on BIM-generated maps considering both geometric and semantic properties. First, original BIM elements are converted to semantically augmented point cloud maps using categories and locations. After that, a coarse-to-fine semantic localization is performed to align laser points to the map based on iterative closest point registration. The experimental results show that the semantic localization can track the pose successfully with only one LiDAR sensor, thus demonstrating the feasibility of the proposed mapping-free localization framework. The results also show that using semantic information can help reduce localization errors on BIM-generated maps.

Segmentation of lidar data is a task that provides rich, point-wise information about the environment of robots or autonomous vehicles. Currently best performing neural networks for lidar segmentation are fine-tuned to specific datasets. Switching the lidar sensor without retraining on a big set of annotated data from the new sensor creates a domain shift, which causes the network performance to drop drastically. In this work we propose a new method for lidar domain adaption, in which we use annotated panoptic lidar datasets and recreate the recorded scenes in the structure of a different lidar sensor. We narrow the domain gap to the target data by recreating panoptic data from one domain in another and mixing the generated data with parts of (pseudo) labeled target domain data. Our method improves the nuScenes to SemanticKITTI unsupervised domain adaptation performance by 15.2 mean Intersection over Union points (mIoU) and by 48.3 mIoU in our semi-supervised approach. We demonstrate a similar improvement for the SemanticKITTI to nuScenes domain adaptation by 21.8 mIoU and 51.5 mIoU, respectively. We compare our method with two state of the art approaches for semantic lidar segmentation domain adaptation with a significant improvement for unsupervised and semi-supervised domain adaptation. Furthermore we successfully apply our proposed method to two entirely unlabeled datasets of two state of the art lidar sensors Velodyne Alpha Prime and InnovizTwo, and train well performing semantic segmentation networks for both.

随着自动驾驶行业正在缓慢成熟，视觉地图本地化正在迅速成为尽可能准确定位汽车的标准方法。由于相机或激光镜等视觉传感器返回的丰富数据，研究人员能够构建具有各种细节的不同类型的地图，并使用它们来实现高水平的车辆定位准确性和在城市环境中的稳定性。与流行的SLAM方法相反，视觉地图本地化依赖于预先构建的地图，并且仅通过避免误差积累或漂移来提高定位准确性。我们将视觉地图定位定义为两个阶段的过程。在位置识别的阶段，通过将视觉传感器输出与一组地理标记的地图区域进行比较，可以确定车辆在地图中的初始位置。随后，在MAP指标定位的阶段，通过连续将视觉传感器的输出与正在遍历的MAP的当前区域进行对齐，对车辆在地图上移动时进行了跟踪。在本文中，我们调查，讨论和比较两个阶段的基于激光雷达，基于摄像头和跨模式的视觉图本地化的最新方法，以突出每种方法的优势。

移动机器人应该意识到他们的情况，包括对周围环境的深刻理解，以及对自己的状态的估计，成功地做出智能决策并在真实环境中自动执行任务。 3D场景图是一个新兴的研究领域，建议在包含几何，语义和关系/拓扑维度的联合模型中表示环境。尽管3D场景图已经与SLAM技术相结合，以提供机器人的情境理解，但仍需要进一步的研究才能有效地部署它们在板载移动机器人。为此，我们在本文中介绍了一个小说，实时的在线构建情境图（S-Graph），该图在单个优化图中结合在一起，环境的表示与上述三个维度以及机器人姿势一起。我们的方法利用了从3D激光扫描提取的轨道读数和平面表面，以实时构造和优化三层S图，其中包括（1）机器人跟踪层，其中机器人姿势已注册，（2）衡量标准。语义层具有诸如平面壁和（3）我们的新颖拓扑层之类的特征，从而使用高级特征（例如走廊和房间）来限制平面墙。我们的建议不仅证明了机器人姿势估计的最新结果，而且还以度量的环境模型做出了贡献