在多个会话中处理环境图的能力对于长时间运行的机器人至关重要。具体而言，自主代理人希望检测不同会话的地图之间的变化，以便对当前环境产生无冲突的理解。在本文中，我们研究了基于新的地图表示的变化检测问题，称为平面签名距离场（PlanesDF），其中密集的地图表示为平面的集合及其SDF体积中的相关几何成分。给定的源场和目标场景的点云，我们提出了一种基于三步的平面变更检测方法：（1）平面DF卷在每个场景中实例化并使用平面姿势在场景中注册；通过高度投影和连接的组件分析提取2D高度图和对象图。 （2）比较高度图并与对象图相交，以生成2D更改位置掩码，以用于源场景中更改的对象候选者。 （3）使用SDF衍生的每个对象候选者进行更改掩码细化的功能进行3D几何验证。我们在合成数据集和现实世界数据集上评估我们的方法，并通过更改对象检测的任务来证明其有效性。

对环境变化进行推理的能力对于长时间运行的机器人至关重要。期望代理在操作过程中捕获变化，以便可以采取行动以确保工作会议的平稳进展。但是，由于低观测重叠和漂移对象关联，不同的视角和累积的本地化错误使机器人可以轻松地检测周围世界的变化。在本文中，基于最近提出的类别级神经描述符字段（NDFS），我们开发了一种对象级在线变更检测方法，该方法可用于部分重叠观测和嘈杂的本地化结果。利用形状的完成功能和NDF的SE（3） - 均衡性，我们表示具有紧凑形状代码的对象，从部分观测中编码完整的对象形状。然后，基于从NDF恢复的对象中心以快速查询对象社区的对象中心，将对象组织在空间树结构中。通过通过形状代码相似性与对象关联并比较局部对象 - 邻居空间布局，我们提出的方法证明了对低观察重叠和本地化噪声的鲁棒性。与多种基线方法相比，我们对合成和现实世界序列进行实验，并获得改进的变化检测结果。项目网页：https：//yilundu.github.io/ndf_change

保持最新的地图以反映现场的最新变化非常重要，尤其是在涉及在延长环境中操作的机器人重复遍历的情况。未发现的变化可能会导致地图质量恶化，导致本地化差，操作效率低下和机器人丢失。体积方法，例如截断的签名距离功能（TSDF），由于其实时生产致密而详细的地图，尽管在随着时间的推移随着时间的流逝而变化的地图更新仍然是一个挑战，但由于它们的实时生产而迅速获得了吸引力。我们提出了一个框架，该框架引入了一种新颖的概率对象状态表示，以跟踪对象在半静态场景中的姿势变化。该表示为每个对象共同对平稳性评分和TSDF变更度量进行建模。同时加入几何信息和语义信息的贝叶斯更新规则被得出以实现一致的在线地图维护。为了与最先进的方法一起广泛评估我们的方法，我们在仓库环境中发布了一个新颖的现实数据集。我们还评估了公共Toycar数据集。我们的方法优于半静态环境重建质量的最先进方法。

在本文中，我们提出了一种从3D点云生成分层的体积拓扑图的方法。我们的地图中有三个基本的分层级别：$ Storey - Region - 卷$。我们的方法的优点在输入和输出中反映。在输入方面，我们接受多层点云和建筑结构，倾斜的屋顶或天花板。在输出方面，我们可以使用不同维度的度量信息来生成结果，适用于不同的机器人应用。算法通过从3D Voxel占用映射生成$卷$来生成体积表示。然后，我们加入$段落$ s（$卷$之间的连接），将小$卷$组合成一个大多数$地区$，并使用2D分段方法进行更好的拓扑表示。我们在几个可自由的数据集中评估我们的方法。实验突出了我们的方法的优势。

Figure 1: Example output from our system, generated in real-time with a handheld Kinect depth camera and no other sensing infrastructure. Normal maps (colour) and Phong-shaded renderings (greyscale) from our dense reconstruction system are shown. On the left for comparison is an example of the live, incomplete, and noisy data from the Kinect sensor (used as input to our system).

In this work, we present a dense tracking and mapping system named Vox-Fusion, which seamlessly fuses neural implicit representations with traditional volumetric fusion methods. Our approach is inspired by the recently developed implicit mapping and positioning system and further extends the idea so that it can be freely applied to practical scenarios. Specifically, we leverage a voxel-based neural implicit surface representation to encode and optimize the scene inside each voxel. Furthermore, we adopt an octree-based structure to divide the scene and support dynamic expansion, enabling our system to track and map arbitrary scenes without knowing the environment like in previous works. Moreover, we proposed a high-performance multi-process framework to speed up the method, thus supporting some applications that require real-time performance. The evaluation results show that our methods can achieve better accuracy and completeness than previous methods. We also show that our Vox-Fusion can be used in augmented reality and virtual reality applications. Our source code is publicly available at https://github.com/zju3dv/Vox-Fusion.

通常，非刚性登记的问题是匹配在两个不同点拍摄的动态对象的两个不同扫描。这些扫描可以进行刚性动作和非刚性变形。由于模型的新部分可能进入视图，而其他部件在两个扫描之间堵塞，则重叠区域是两个扫描的子集。在最常规的设置中，没有给出先前的模板形状，并且没有可用的标记或显式特征点对应关系。因此，这种情况是局部匹配问题，其考虑了随后的扫描在具有大量重叠区域的情况下进行的扫描经历的假设[28]。本文在环境中寻址的问题是同时在环境中映射变形对象和本地化摄像机。

场景完成是从场景的部分扫描中完成缺失几何形状的任务。大多数以前的方法使用3D网格上的截断签名距离函数（T-SDF）计算出隐式表示，作为神经网络的输入。截断限制，但不会删除由非关闭表面符号引入的模棱两可的案例。作为替代方案，我们提出了一个未签名的距离函数（UDF），称为未签名的加权欧几里得距离（UWED）作为场景完成神经网络的输入表示。 UWED作为几何表示是简单而有效的，并且可以在任何点云上计算，而与通常的签名距离函数（SDF）相比，UWED不需要正常的计算。为了获得明确的几何形状，我们提出了一种从常规网格上离散的UDF值提取点云的方法。我们比较了从RGB-D和LIDAR传感器收集的室内和室外点云上的场景完成任务的不同SDF和UDFS，并使用建议的UWED功能显示了改进的完成。

AR/VR应用程序和机器人需要知道场景何时更改。一个示例是从场景中移动，添加或删除对象时。我们提出了仅基于场景更改的3D对象发现方法。我们的方法不需要编码有关对象的任何假设，而是通过利用其连贯的动作来发现对象。最初将变化视为深度图的差异，并在对象进行刚性运动时被分割为对象。图切割优化将不断变化的标签传播到几何一致的区域。实验表明，我们的方法在针对竞争基线的3RSCAN数据集上实现了最先进的性能。我们方法的源代码可以在https://github.com/katadam/objectscanmove上找到。

传统的LIDAR射测（LO）系统主要利用从经过的环境获得的几何信息来注册激光扫描并估算Lidar Ego-Motion，而在动态或非结构化环境中可能不可靠。本文提出了Inten-loam，一种低饮用和健壮的激光镜和映射方法，该方法完全利用激光扫描的隐式信息（即几何，强度和时间特征）。扫描点被投影到圆柱形图像上，这些图像有助于促进各种特征的有效和适应性提取，即地面，梁，立面和反射器。我们提出了一种新型基于强度的点登记算法，并将其纳入LIDAR的探光仪，从而使LO系统能够使用几何和强度特征点共同估计LIDAR EGO-MOTION。为了消除动态对象的干扰，我们提出了一种基于时间的动态对象删除方法，以在MAP更新之前过滤它们。此外，使用与时间相关的体素网格滤波器组织并缩减了本地地图，以维持当前扫描和静态局部图之间的相似性。在模拟和实际数据集上进行了广泛的实验。结果表明，所提出的方法在正常驾驶方案中实现了类似或更高的精度W.R.T，在非结构化环境中，最先进的方法优于基于几何的LO。

虚拟内容创建和互动在现代3D应用中起着重要作用，例如AR和VR。从真实场景中恢复详细的3D模型可以显着扩大其应用程序的范围，并在计算机视觉和计算机图形社区中进行了数十年的研究。我们提出了基于体素的隐式表面表示Vox-Surf。我们的Vox-Surf将空间分为有限的体素。每个体素将几何形状和外观信息存储在其角顶点。 Vox-Surf得益于从体素表示继承的稀疏性，几乎适用于任何情况，并且可以轻松地从多个视图图像中训练。我们利用渐进式训练程序逐渐提取重要体素，以进一步优化，以便仅保留有效的体素，从而大大减少了采样点的数量并增加了渲染速度。细素还可以视为碰撞检测的边界量。该实验表明，与其他方法相比，Vox-Surf表示可以学习精致的表面细节和准确的颜色，并以更少的记忆力和更快的渲染速度来学习。我们还表明，Vox-Surf在场景编辑和AR应用中可能更实用。

神经隐式功能最近显示了来自多个视图的表面重建的有希望的结果。但是，当重建无限或复杂的场景时，当前的方法仍然遭受过度复杂性和稳健性不佳。在本文中，我们介绍了RegSDF，这表明适当的点云监督和几何正规化足以产生高质量和健壮的重建结果。具体而言，RegSDF将额外的定向点云作为输入，并优化了可区分渲染框架内的签名距离字段和表面灯场。我们还介绍了这两个关键的正规化。第一个是在给定嘈杂和不完整输入的整个距离字段中平稳扩散签名距离值的Hessian正则化。第二个是最小的表面正则化，可紧凑并推断缺失的几何形状。大量实验是在DTU，BlendenDMV以及储罐和寺庙数据集上进行的。与最近的神经表面重建方法相比，RegSDF即使对于具有复杂拓扑和非结构化摄像头轨迹的开放场景，RegSDF也能够重建表面。

尽管在移动机器人技术中常用的2D占用图可以在室内环境中进行安全导航，但为了让机器人理解和与其环境互动及其代表3D几何和语义环境信息的居民。语义信息对于有效解释人类归因于空间不同部分的含义至关重要，而3D几何形状对于安全性和高级理解很重要。我们提出了一条管道，该管道可以生成用于机器人应用的室内环境的多层表示。提出的表示形式包括3D度量语义层，2D占用层和对象实例层，其中已知对象被通过新型模型匹配方法获得的近似模型代替。将度量层和对象实例层组合在一起以形成对环境的增强表示形式。实验表明，当任务完成场景中对象的一部分时，提出的形状匹配方法优于最先进的深度学习方法。如F1得分分析所示，管道性能从模拟到现实世界都很好，使用蒙版R-CNN作为主要瓶颈具有语义分割精度。最后，我们还在真正的机器人平台上演示了多层地图如何用于提高导航安全性。

我们呈现梯度-SDF，这是三维几何形象的新颖表示，这些表达结合了暗示和显式表示的优势。通过在符号距离字段以及其梯度向量字段中存储每个体素以及其梯度矢量字段，我们通过最初配制的显式表面的方法增强隐式表示的能力。作为具体示例，我们示出了（1）梯度-SDF允许我们使用像哈希映射等有效存储方案的深度图像执行直接SDF跟踪，并且（2）梯度-SDF表示使我们能够执行光度束调节直接在Voxel表示中（不转换为点云或网格），自然地是几何和相机的完全隐含的优化，易于几何上采样。实验结果证实，这导致重建明显更敏锐。由于仍然遵守整体SDF体素结构，所提出的梯度-SDF同样适用于（GPU）并行化作为相关方法。

3D场景图最近已成为3D环境的强大高级表示。一个3D场景图将环境描述为一个分层图，其中节点在多个级别的抽象和边缘表示概念之间的关系。尽管3D场景图可以用作机器人的高级“心理模型”，但如何实时建立如此丰富的代表仍然是未知的领域。本文描述了一个实时空间感知系统，这是一套算法，可实时从传感器数据构建3D场景图。我们的第一个贡献是开发实时算法，以在机器人探索环境时逐步构建场景图的层。这些算法在当前机器人位置构建了本地欧几里得签名的距离功能（ESDF），从ESDF中提取位置的拓扑图，然后使用受社区检测技术启发的方法将其分为房间。我们的第二个贡献是研究3D场景图中的循环闭合检测和优化。我们表明，3D场景图允许定义层次描述符以进行循环闭合检测；我们的描述符捕获场景图中跨层的统计信息，从低级视觉外观到有关对象和位置的摘要统计信息。然后，我们提出了第一种算法来优化3D场景图，以响应循环封闭。我们的方法依靠嵌入式变形图同时校正场景图的所有层。我们将提出的空间感知系统实施到一个名为Hydra的体系结构中，该体系结合了快速的早期和中级感知过程与较慢的高级感知。我们在模拟和真实数据上评估了Hydra，并证明它能够以与批处理离线方法相当的准确性重建3D场景图，尽管在线运行。

许多手持或混合现实设备与单个传感器一起用于3D重建，尽管它们通常包含多个传感器。多传感器深度融合能够实质上提高3D重建方法的鲁棒性和准确性，但是现有技术不够强大，无法处理具有不同值范围以及噪声范围以及噪声和离群统计数据的传感器。为此，我们介绍了Senfunet，这是一种深度融合方法，它可以学习传感器特定的噪声和离群统计数据，并以在线方式将深度框架的数据流组合在一起。我们的方法融合了多传感器深度流，而不论时间同步和校准如何，并且在很少的训练数据中概括了。我们在现实世界中和scene3D数据集以及副本数据集上使用各种传感器组合进行实验。实验表明，我们的融合策略表现优于传统和最新的在线深度融合方法。此外，多个传感器的组合比使用单个传感器更加可靠的离群处理和更精确的表面重建。源代码和数据可在https://github.com/tfy14esa/senfunet上获得。

我们提出了GO-SURF，这是一种直接特征网格优化方法，可从RGB-D序列进行准确和快速的表面重建。我们用学习的分层特征素网格对基础场景进行建模，该网络封装了多级几何和外观本地信息。特征向量被直接优化，使得三线性插值后，由两个浅MLP解码为签名的距离和辐射度值，并通过表面体积渲染渲染，合成和观察到的RGB/DEPTH值之间的差异最小化。我们的监督信号-RGB，深度和近似SDF可以直接从输入图像中获得，而无需融合或后处理。我们制定了一种新型的SDF梯度正则化项，该项鼓励表面平滑度和孔填充，同时保持高频细节。 GO-SURF可以优化$ 1 $ - $ 2 $ K框架的序列，价格为$ 15 $ - $ 45 $分钟，$ \ times60 $的速度超过了NeuralRGB-D，这是基于MLP表示的最相关的方法，同时保持PAR性能在PAR上的性能标准基准。项目页面：https：//jingwenwang95.github.io/go_surf/

尽管常规机器人系统中的每个不同任务都需要专用的场景表示形式，但本文表明，统一表示形式可以直接用于多个关键任务。我们提出了用于映射，进程和计划（LOG-GPIS-MOP）的log-gaussian过程隐式表面：基于统一表示形式的表面重建，本地化和导航的概率框架。我们的框架将对数转换应用于高斯过程隐式表面（GPIS）公式，以恢复全局表示，该表示可以准确地捕获具有梯度的欧几里得距离场，同时又是隐式表面。通过直接估计距离字段及其通过LOG-GPIS推断的梯度，提出的增量进程技术计算出传入帧的最佳比对，并在全球范围内融合以生成MAP。同时，基于优化的计划者使用相同的LOG-GPIS表面表示计算安全的无碰撞路径。我们根据最先进的方法验证了2D和3D和3D和基准测试的模拟和真实数据集的拟议框架。我们的实验表明，LOG-GPIS-MOP在顺序的音程，表面映射和避免障碍物中产生竞争结果。

LIDAR传感器提供有关周围场景的丰富3D信息，并且对于自动驾驶汽车的任务（例如语义细分，对象检测和跟踪）变得越来越重要。模拟激光雷达传感器的能力将加速自动驾驶汽车的测试，验证和部署，同时降低成本并消除现实情况下的测试风险。为了解决以高保真度模拟激光雷达数据的问题，我们提出了一条管道，该管道利用移动映射系统获得的现实世界点云。基于点的几何表示，更具体地说，已经证明了它们能够在非常大点云中准确对基础表面进行建模的能力。我们引入了一种自适应夹层生成方法，该方法可以准确地对基础3D几何形状进行建模，尤其是对于薄结构。我们还通过在GPU上铸造Ray铸造的同时，在有效处理大点云的同时，我们还开发了更快的时间激光雷达模拟。我们在现实世界中测试了激光雷达的模拟，与基本的碎片和网格划分技术相比，表现出定性和定量结果，证明了我们的建模技术的优势。