本文报告了一个动态语义映射框架，该框架将3D场景流量测量纳入封闭形式的贝叶斯推理模型中。环境中动态对象的存在可能会导致当前映射算法中的伪影和痕迹，从而导致后方地图不一致。我们利用深度学习利用最新的语义细分和3D流量估计，以提供MAP推断的测量。我们开发了一个贝叶斯模型，该模型以流量传播，并渗透3D连续（即可以在任意分辨率下查询）语义占用率图优于其静态对应物的语义占用图。使用公开数据集的广泛实验表明，所提出的框架对其前身和深度神经网络的输入测量有所改善。

这项工作通过创建具有准确而完整的动态场景的新颖户外数据集来解决语义场景完成（SSC）数据中的差距。我们的数据集是由每个时间步骤的随机采样视图形成的，该步骤可监督无需遮挡或痕迹的场景的普遍性。我们通过利用最新的3D深度学习体系结构来使用时间信息来创建最新的开源网络中的SSC基准，并构建基准实时密集的局部语义映射算法MotionsC。我们的网络表明，提出的数据集可以在存在动态对象的情况下量化和监督准确的场景完成，这可以导致改进的动态映射算法的开发。所有软件均可在https://github.com/umich-curly/3dmapping上找到。

机器人的感知目前处于在有效的潜在空间中运行的现代方法与数学建立的经典方法之间的跨道路，并提供了可解释的，可信赖的结果。在本文中，我们引入了卷积的贝叶斯内核推理（Convbki）层，该层在可分离的卷积层中明确执行贝叶斯推断，以同时提高效率，同时保持可靠性。我们将层应用于3D语义映射的任务，在该任务中，我们可以实时学习激光雷达传感器信息的语义几何概率分布。我们根据KITTI数据集的最新语义映射算法评估我们的网络，并通过类似的语义结果证明了延迟的提高。

Our dataset provides dense annotations for each scan of all sequences from the KITTI Odometry Benchmark [19]. Here, we show multiple scans aggregated using pose information estimated by a SLAM approach.

保持最新的地图以反映现场的最新变化非常重要，尤其是在涉及在延长环境中操作的机器人重复遍历的情况。未发现的变化可能会导致地图质量恶化，导致本地化差，操作效率低下和机器人丢失。体积方法，例如截断的签名距离功能（TSDF），由于其实时生产致密而详细的地图，尽管在随着时间的推移随着时间的流逝而变化的地图更新仍然是一个挑战，但由于它们的实时生产而迅速获得了吸引力。我们提出了一个框架，该框架引入了一种新颖的概率对象状态表示，以跟踪对象在半静态场景中的姿势变化。该表示为每个对象共同对平稳性评分和TSDF变更度量进行建模。同时加入几何信息和语义信息的贝叶斯更新规则被得出以实现一致的在线地图维护。为了与最先进的方法一起广泛评估我们的方法，我们在仓库环境中发布了一个新颖的现实数据集。我们还评估了公共Toycar数据集。我们的方法优于半静态环境重建质量的最先进方法。

了解场景是自主导航车辆的关键，以及在线将周围环境分段为移动和非移动物体的能力是这项任务的中央成分。通常，基于深度学习的方法用于执行移动对象分段（MOS）。然而，这些网络的性能强烈取决于标记培训数据的多样性和数量，可以获得昂贵的信息。在本文中，我们提出了一种自动数据标记管道，用于3D LIDAR数据，以节省广泛的手动标记工作，并通过自动生成标记的训练数据来提高现有的基于学习的MOS系统的性能。我们所提出的方法通过批量处理数据来实现数据。首先利用基于占用的动态对象拆除以粗略地检测可能的动态物体。其次，它提取了提案中的段，并使用卡尔曼滤波器跟踪它们。基于跟踪的轨迹，它标记了实际移动的物体，如驾驶汽车和行人。相反，非移动物体，例如，停放的汽车，灯，道路或建筑物被标记为静态。我们表明，这种方法允许我们高效地标记LIDAR数据，并将我们的结果与其他标签生成方法的结果进行比较。我们还使用自动生成的标签培训深度神经网络，并与在同一数据上的手动标签上接受过的手动标签的培训相比，实现了类似的性能，以及使用我们方法生成的标签的其他数据集时更好的性能。此外，我们使用不同的传感器评估我们在多个数据集上的方法，我们的实验表明我们的方法可以在各种环境中生成标签。

自动驾驶汽车的主要挑战是在看不见的动态环境中导航。将移动对象与静态对象分开对于导航，姿势估计以及了解其他交通参与者在不久的将来可能如何移动至关重要。在这项工作中，我们解决了区分当前移动物体（如行人行人或驾驶汽车）的3D激光雷达点的问题，从非移动物体（如墙壁）中获得的点，但还停放了汽车。我们的方法采用了一系列观察到的激光扫描，并将它们变成素化的稀疏4D点云。我们应用计算有效的稀疏4D旋转来共同提取空间和时间特征，并预测序列中所有点的移动对象置信得分。我们制定了一种退化的地平线策略，使我们能够在线预测移动对象，并根据新观察结果对GO进行预测。我们使用二进制贝叶斯过滤器递归整合了扫描的新预测，从而产生了更强的估计。我们在Semantickitti移动对象细分挑战中评估我们的方法，并显示出比现有方法更准确的预测。由于我们的方法仅在随着时间的推移随时间范围的几何信息上运行，因此它可以很好地概括为新的，看不见的环境，我们在阿波罗数据集中评估了这些环境。

我们提出了一种生成，预测和使用时空占用网格图（SOGM）的方法，该方法嵌入了真实动态场景的未来语义信息。我们提出了一个自动标记的过程，该过程从嘈杂的真实导航数据中创建SOGM。我们使用3D-2D馈电体系结构，经过训练，可以预测SOGM的未来时间步骤，并给定3D激光镜框架作为输入。我们的管道完全是自我监督的，从而为真正的机器人提供了终身学习。该网络由一个3D后端组成，该后端提取丰富的特征并实现了激光镜框架的语义分割，以及一个2D前端，可预测SOGM表示中嵌入的未来信息，从而有可能捕获房地产的复杂性和不确定性世界多代理，多未来的互动。我们还设计了一个导航系统，该导航系统在计划中使用这些预测的SOGM在计划中，之后它们已转变为时空风险图（SRMS）。我们验证导航系统在模拟中的能力，在真实的机器人上对其进行验证，在各种情况下对真实数据进行研究SOGM预测，并提供一种新型的室内3D LIDAR数据集，该数据集在我们的实验中收集，其中包括我们的自动注释。

视觉同时定位和映射（VSLAM）在计算机视觉和机器人社区中取得了巨大进展，并已成功用于许多领域，例如自主机器人导航和AR/VR。但是，VSLAM无法在动态和复杂的环境中实现良好的定位。许多出版物报告说，通过与VSLAM结合语义信息，语义VSLAM系统具有近年来解决上述问题的能力。然而，尚无关于语义VSLAM的全面调查。为了填补空白，本文首先回顾了语义VSLAM的发展，并明确着眼于其优势和差异。其次，我们探讨了语义VSLAM的三个主要问题：语义信息的提取和关联，语义信息的应用以及语义VSLAM的优势。然后，我们收集和分析已广泛用于语义VSLAM系统的当前最新SLAM数据集。最后，我们讨论未来的方向，该方向将为语义VSLAM的未来发展提供蓝图。

In this work, we address the problem of unsupervised moving object segmentation (MOS) in 4D LiDAR data recorded from a stationary sensor, where no ground truth annotations are involved. Deep learning-based state-of-the-art methods for LiDAR MOS strongly depend on annotated ground truth data, which is expensive to obtain and scarce in existence. To close this gap in the stationary setting, we propose a novel 4D LiDAR representation based on multivariate time series that relaxes the problem of unsupervised MOS to a time series clustering problem. More specifically, we propose modeling the change in occupancy of a voxel by a multivariate occupancy time series (MOTS), which captures spatio-temporal occupancy changes on the voxel level and its surrounding neighborhood. To perform unsupervised MOS, we train a neural network in a self-supervised manner to encode MOTS into voxel-level feature representations, which can be partitioned by a clustering algorithm into moving or stationary. Experiments on stationary scenes from the Raw KITTI dataset show that our fully unsupervised approach achieves performance that is comparable to that of supervised state-of-the-art approaches.

Paris-Carla-3d是由移动激光器和相机系统构建的几个浓彩色点云的数据集。数据由两组具有来自开源Carla模拟器（700百万分）的合成数据和在巴黎市中获取的真实数据（6000万分），因此Paris-Carla-3d的名称。此数据集的一个优点是在开源Carla模拟器中模拟了相同的LIDAR和相机平台，因为用于生产真实数据的开源Carla Simulator。此外，使用Carla的语义标记的手动注释在真实数据上执行，允许将转移方法从合成到实际数据进行测试。该数据集的目的是提供一个具有挑战性的数据集，以评估和改进户外环境3D映射的困难视觉任务的方法：语义分段，实例分段和场景完成。对于每项任务，我们描述了评估协议以及建立基线的实验。

结合同时定位和映射（SLAM）估计和动态场景建模可以高效地在动态环境中获得机器人自主权。机器人路径规划和障碍避免任务依赖于场景中动态对象运动的准确估计。本文介绍了VDO-SLAM，这是一种强大的视觉动态对象感知SLAM系统，用于利用语义信息，使得能够在场景中进行准确的运动估计和跟踪动态刚性物体，而无需任何先前的物体形状或几何模型的知识。所提出的方法识别和跟踪环境中的动态对象和静态结构，并将这些信息集成到统一的SLAM框架中。这导致机器人轨迹的高度准确估计和对象的全部SE（3）运动以及环境的时空地图。该系统能够从对象的SE（3）运动中提取线性速度估计，为复杂的动态环境中的导航提供重要功能。我们展示了所提出的系统对许多真实室内和室外数据集的性能，结果表明了对最先进的算法的一致和实质性的改进。可以使用源代码的开源版本。

Maps play a key role in rapidly developing area of autonomous driving. We survey the literature for different map representations and find that while the world is three-dimensional, it is common to rely on 2D map representations in order to meet real-time constraints. We believe that high levels of situation awareness require a 3D representation as well as the inclusion of semantic information. We demonstrate that our recently presented hierarchical 3D grid mapping framework UFOMap meets the real-time constraints. Furthermore, we show how it can be used to efficiently support more complex functions such as calculating the occluded parts of space and accumulating the output from a semantic segmentation network.

当机器人在城市环境中导航时，大量动态物体的出现将使空间结构多样化。因此，在线删除动态对象至关重要。在本文中，我们为高度动态的城市环境介绍了一个新颖的在线拆除框架。该框架由扫描到图的前端和地图对后端模块组成。前端和后端都深入整合了基于可见性的方法和基于地图的方法。该实验在高度动态的模拟方案和现实世界数据集中验证了框架。

在自动驾驶汽车和移动机器人上使用的多光束liDAR传感器可获得3D范围扫描的序列（“帧”）。由于有限的角度扫描分辨率和阻塞，每个框架都稀疏地覆盖了场景。稀疏性限制了语义分割或表面重建等下游过程的性能。幸运的是，当传感器移动时，帧将从一系列不同的观点捕获。这提供了互补的信息，当积累在公共场景坐标框架中时，会产生更密集的采样和对基础3D场景的更完整覆盖。但是，扫描场景通常包含移动对象。这些对象上的点不能仅通过撤消扫描仪的自我运动来正确对齐。在本文中，我们将多帧点云积累作为3D扫描序列的中级表示，并开发了一种利用室外街道场景的感应偏见的方法，包括其几何布局和对象级刚性。与最新的场景流估计器相比，我们提出的方法旨在使所有3D点在共同的参考框架中对齐，以正确地积累各个对象上的点。我们的方法大大减少了几个基准数据集上的对齐错误。此外，累积的点云使诸如表面重建之类的高级任务受益。

准确的移动对象细分是自动驾驶的重要任务。它可以为许多下游任务提供有效的信息，例如避免碰撞，路径计划和静态地图构建。如何有效利用时空信息是3D激光雷达移动对象分割（LIDAR-MOS）的关键问题。在这项工作中，我们提出了一个新型的深神经网络，利用了时空信息和不同的LiDAR扫描表示方式，以提高LIDAR-MOS性能。具体而言，我们首先使用基于图像图像的双分支结构来分别处理可以从顺序的LiDAR扫描获得的空间和时间信息，然后使用运动引导的注意模块组合它们。我们还通过3D稀疏卷积使用点完善模块来融合LIDAR范围图像和点云表示的信息，并减少对象边界上的伪像。我们验证了我们提出的方法对Semantickitti的LiDAR-MOS基准的有效性。我们的方法在LiDar-Mos IOU方面大大优于最先进的方法。从设计的粗到精细体系结构中受益，我们的方法以传感器框架速率在线运行。我们方法的实现可作为开源可用：https：//github.com/haomo-ai/motionseg3d。

了解3D场景是自治代理的关键先决条件。最近，LIDAR和其他传感器已经以点云帧的时间序列形式提供了大量数据。在这项工作中，我们提出了一种新的问题 - 顺序场景流量估计（SSFE） - 该旨在预测给定序列中所有点云的3D场景流。这与先前研究的场景流程估计问题不同，这侧重于两个框架。我们介绍SPCM-NET架构，通过计算相邻点云之间的多尺度时空相关性，然后通过订单不变的复制单元计算多级时空相关性来解决这个问题。我们的实验评估证实，与仅使用两个框架相比，点云序列的复发处理导致SSFE明显更好。另外，我们证明可以有效地修改该方法，用于顺序点云预测（SPF），一种需要预测未来点云帧的相关问题。我们的实验结果是使用SSFE和SPF的新基准进行评估，包括合成和实时数据集。以前，场景流估计的数据集仅限于两个帧。我们为这些数据集提供非琐碎的扩展，用于多帧估计和预测。由于难以获得现实世界数据集的地面真理运动，我们使用自我监督的培训和评估指标。我们认为，该基准将在该领域的未来研究中关键。将可访问基准和型号的所有代码。

尽管在移动机器人技术中常用的2D占用图可以在室内环境中进行安全导航，但为了让机器人理解和与其环境互动及其代表3D几何和语义环境信息的居民。语义信息对于有效解释人类归因于空间不同部分的含义至关重要，而3D几何形状对于安全性和高级理解很重要。我们提出了一条管道，该管道可以生成用于机器人应用的室内环境的多层表示。提出的表示形式包括3D度量语义层，2D占用层和对象实例层，其中已知对象被通过新型模型匹配方法获得的近似模型代替。将度量层和对象实例层组合在一起以形成对环境的增强表示形式。实验表明，当任务完成场景中对象的一部分时，提出的形状匹配方法优于最先进的深度学习方法。如F1得分分析所示，管道性能从模拟到现实世界都很好，使用蒙版R-CNN作为主要瓶颈具有语义分割精度。最后，我们还在真正的机器人平台上演示了多层地图如何用于提高导航安全性。

The last decade witnessed increasingly rapid progress in self-driving vehicle technology, mainly backed up by advances in the area of deep learning and artificial intelligence. The objective of this paper is to survey the current state-of-the-art on deep learning technologies used in autonomous driving. We start by presenting AI-based self-driving architectures, convolutional and recurrent neural networks, as well as the deep reinforcement learning paradigm. These methodologies form a base for the surveyed driving scene perception, path planning, behavior arbitration and motion control algorithms. We investigate both the modular perception-planning-action pipeline, where each module is built using deep learning methods, as well as End2End systems, which directly map sensory information to steering commands. Additionally, we tackle current challenges encountered in designing AI architectures for autonomous driving, such as their safety, training data sources and computational hardware. The comparison presented in this survey helps to gain insight into the strengths and limitations of deep learning and AI approaches for autonomous driving and assist with design choices. 1

现代计算机视觉已超越了互联网照片集的领域，并进入了物理世界，通过非结构化的环境引导配备摄像头的机器人和自动驾驶汽车。为了使这些体现的代理与现实世界对象相互作用，相机越来越多地用作深度传感器，重建了各种下游推理任务的环境。机器学习辅助的深度感知或深度估计会预测图像中每个像素的距离。尽管已经在深入估算中取得了令人印象深刻的进步，但仍然存在重大挑战：（1）地面真相深度标签很难大规模收集，（2）通常认为相机信息是已知的，但通常是不可靠的，并且（3）限制性摄像机假设很常见，即使在实践中使用了各种各样的相机类型和镜头。在本论文中，我们专注于放松这些假设，并描述将相机变成真正通用深度传感器的最终目标的贡献。