In this paper, we present an evolved version of the Situational Graphs, which jointly models in a single optimizable factor graph, a SLAM graph, as a set of robot keyframes, containing its associated measurements and robot poses, and a 3D scene graph, as a high-level representation of the environment that encodes its different geometric elements with semantic attributes and the relational information between those elements. Our proposed S-Graphs+ is a novel four-layered factor graph that includes: (1) a keyframes layer with robot pose estimates, (2) a walls layer representing wall surfaces, (3) a rooms layer encompassing sets of wall planes, and (4) a floors layer gathering the rooms within a given floor level. The above graph is optimized in real-time to obtain a robust and accurate estimate of the robot's pose and its map, simultaneously constructing and leveraging the high-level information of the environment. To extract such high-level information, we present novel room and floor segmentation algorithms utilizing the mapped wall planes and free-space clusters. We tested S-Graphs+ on multiple datasets including, simulations of distinct indoor environments, on real datasets captured over several construction sites and office environments, and on a real public dataset of indoor office environments. S-Graphs+ outperforms relevant baselines in the majority of the datasets while extending the robot situational awareness by a four-layered scene model. Moreover, we make the algorithm available as a docker file.

移动机器人应该意识到他们的情况，包括对周围环境的深刻理解，以及对自己的状态的估计，成功地做出智能决策并在真实环境中自动执行任务。 3D场景图是一个新兴的研究领域，建议在包含几何，语义和关系/拓扑维度的联合模型中表示环境。尽管3D场景图已经与SLAM技术相结合，以提供机器人的情境理解，但仍需要进一步的研究才能有效地部署它们在板载移动机器人。为此，我们在本文中介绍了一个小说，实时的在线构建情境图（S-Graph），该图在单个优化图中结合在一起，环境的表示与上述三个维度以及机器人姿势一起。我们的方法利用了从3D激光扫描提取的轨道读数和平面表面，以实时构造和优化三层S图，其中包括（1）机器人跟踪层，其中机器人姿势已注册，（2）衡量标准。语义层具有诸如平面壁和（3）我们的新颖拓扑层之类的特征，从而使用高级特征（例如走廊和房间）来限制平面墙。我们的建议不仅证明了机器人姿势估计的最新结果，而且还以度量的环境模型做出了贡献

建筑行业的机器人可以使用高精度数据捕获来通过不断监视工作进度来降低成本。准确的数据捕获需要在环境中精确的移动机器人定位。在本文中，我们介绍了有关机器人本地化的新颖作品，该工作以墙壁和房间的形式提取了从建筑计划中提取几何，语义以及拓扑信息，并创建了情境图的拓扑和度量语言层（S-图）在环境中导航之前。当机器人在施工环境中导航时，它使用机器人的探光仪和从3D LIDAR测量中提取的平面壁的形式的感觉观测来估算其依靠粒子过滤器方法的姿势，并利用先前构建的情境图和它可用的几何，语义和拓扑信息。我们在将其与基于传统几何的本地化技术进行比较时，在实际持续的施工站点上捕获的模拟和真实数据集中验证了我们的方法。

3D场景图最近已成为3D环境的强大高级表示。一个3D场景图将环境描述为一个分层图，其中节点在多个级别的抽象和边缘表示概念之间的关系。尽管3D场景图可以用作机器人的高级“心理模型”，但如何实时建立如此丰富的代表仍然是未知的领域。本文描述了一个实时空间感知系统，这是一套算法，可实时从传感器数据构建3D场景图。我们的第一个贡献是开发实时算法，以在机器人探索环境时逐步构建场景图的层。这些算法在当前机器人位置构建了本地欧几里得签名的距离功能（ESDF），从ESDF中提取位置的拓扑图，然后使用受社区检测技术启发的方法将其分为房间。我们的第二个贡献是研究3D场景图中的循环闭合检测和优化。我们表明，3D场景图允许定义层次描述符以进行循环闭合检测；我们的描述符捕获场景图中跨层的统计信息，从低级视觉外观到有关对象和位置的摘要统计信息。然后，我们提出了第一种算法来优化3D场景图，以响应循环封闭。我们的方法依靠嵌入式变形图同时校正场景图的所有层。我们将提出的空间感知系统实施到一个名为Hydra的体系结构中，该体系结合了快速的早期和中级感知过程与较慢的高级感知。我们在模拟和真实数据上评估了Hydra，并证明它能够以与批处理离线方法相当的准确性重建3D场景图，尽管在线运行。

Conventional sensor-based localization relies on high-precision maps, which are generally built using specialized mapping techniques involving high labor and computational costs. In the architectural, engineering and construction industry, Building Information Models (BIM) are available and can provide informative descriptions of environments. This paper explores an effective way to localize a mobile 3D LiDAR sensor on BIM-generated maps considering both geometric and semantic properties. First, original BIM elements are converted to semantically augmented point cloud maps using categories and locations. After that, a coarse-to-fine semantic localization is performed to align laser points to the map based on iterative closest point registration. The experimental results show that the semantic localization can track the pose successfully with only one LiDAR sensor, thus demonstrating the feasibility of the proposed mapping-free localization framework. The results also show that using semantic information can help reduce localization errors on BIM-generated maps.

Integration of multiple sensor modalities and deep learning into Simultaneous Localization And Mapping (SLAM) systems are areas of significant interest in current research. Multi-modality is a stepping stone towards achieving robustness in challenging environments and interoperability of heterogeneous multi-robot systems with varying sensor setups. With maplab 2.0, we provide a versatile open-source platform that facilitates developing, testing, and integrating new modules and features into a fully-fledged SLAM system. Through extensive experiments, we show that maplab 2.0's accuracy is comparable to the state-of-the-art on the HILTI 2021 benchmark. Additionally, we showcase the flexibility of our system with three use cases: i) large-scale (approx. 10 km) multi-robot multi-session (23 missions) mapping, ii) integration of non-visual landmarks, and iii) incorporating a semantic object-based loop closure module into the mapping framework. The code is available open-source at https://github.com/ethz-asl/maplab.

在未知和大规模的地下环境中，与一组异质的移动机器人团队进行搜救，需要高精度的本地化和映射。在复杂和感知衰落的地下环境中，这一至关重要的需求面临许多挑战，因为在船上感知系统需要在非警官条件下运作（由于黑暗和灰尘，坚固而泥泞的地形以及自我的存在以及自我的存在，都需要运作。 - 类似和模棱两可的场景）。在灾难响应方案和缺乏有关环境的先前信息的情况下，机器人必须依靠嘈杂的传感器数据并执行同时定位和映射（SLAM）来构建环境的3D地图，并定位自己和潜在的幸存者。为此，本文报告了Team Costar在DARPA Subterranean Challenge的背景下开发的多机器人大满贯系统。我们通过合并一个可适应不同的探针源和激光镜配置的单机器人前端界面来扩展以前的工作，即LAMP，这是一种可伸缩的多机前端，以支持大型大型和内部旋转循环闭合检测检测规模环境和多机器人团队，以及基于渐变的非凸度的稳健后端，配备了异常弹性姿势图优化。我们提供了有关多机器人前端和后端的详细消融研究，并评估美国跨矿山，发电厂和洞穴收集的挑战现实世界中的整体系统性能。我们还发布了我们的多机器人后端数据集（以及相应的地面真相），可以作为大规模地下大满贯的具有挑战性的基准。

本文提出了Kimera-Multi，第一个多机器人系统，（i）是强大的，并且能够识别和拒绝由感知混叠产生的不正确和内部机器人循环闭合，（ii）完全分布，仅依赖于本地（点对点）通信实现分布式本地化和映射，（iii）实时构建环境的全球一致的度量标准三维网状模型，其中网格的面部用语义标签注释。 Kimera-Multi由配备有视觉惯性传感器的机器人团队实现。每个机器人都构建了局部轨迹估计和使用Kimera的本地网格。当通信可用时，机器人基于一种基于新型分布式刻度非凸性算法发起分布式地点识别和鲁棒姿态图优化协议。所提出的协议允许机器人通过利用机器人间循环闭合而鲁棒到异常值来改善其局部轨迹估计。最后，每个机器人使用其改进的轨迹估计来使用网格变形技术来校正本地网格。我们在光逼真模拟，SLAM基准测试数据集中展示了Kimera-Multi，以及使用地机器人收集的靠户外数据集。真实和模拟实验都涉及长轨迹（例如，每个机器人高达800米）。实验表明，在鲁棒性和准确性方面，kimera-multi（i）优于现有技术，（ii）在完全分布的同时实现与集中式大满贯系统相当的估计误差，（iii）在通信带宽方面是显着的（iv）产生精确的公制语义3D网格，并且（v）是模块化的，也可以用于标准3D重建（即，没有语义标签）或轨迹估计（即，不重建3D网格）。

本文通过讨论参加了为期三年的SubT竞赛的六支球队的不同大满贯策略和成果，报道了地下大满贯的现状。特别是，本文有四个主要目标。首先，我们审查团队采用的算法，架构和系统；特别重点是以激光雷达以激光雷达为中心的SLAM解决方案（几乎所有竞争中所有团队的首选方法），异质的多机器人操作（包括空中机器人和地面机器人）和现实世界的地下操作（从存在需要处理严格的计算约束的晦涩之处）。我们不会回避讨论不同SubT SLAM系统背后的肮脏细节，这些系统通常会从技术论文中省略。其次，我们通过强调当前的SLAM系统的可能性以及我们认为与一些良好的系统工程有关的范围来讨论该领域的成熟度。第三，我们概述了我们认为是基本的开放问题，这些问题可能需要进一步的研究才能突破。最后，我们提供了在SubT挑战和相关工作期间生产的开源SLAM实现和数据集的列表，并构成了研究人员和从业人员的有用资源。

激光雷达传感器是在未知环境中同时定位和映射（SLAM）的强大工具，但是它们产生的原始点云是密集的，计算量昂贵，并且不适合下游自治任务（例如运动计划）直接使用。为了与运动计划集成，希望大满贯管道生成轻量级的几何图表示。这样的表示也特别适合人造环境，通常可以将其视为在笛卡尔网格上建造的所谓“曼哈顿世界”。在这项工作中，我们为曼哈顿世界环境提出了一种3D激光雷达大满贯算法，该算法从点云中提取平面特征，以实现轻便，实时的定位和映射。我们的方法生成基于平面的地图，其记忆占其位置的记忆力明显少得多，并且适合于快速碰撞检查运动计划。通过利用曼哈顿世界的假设，我们靶向正交平面的提取，以生成比现有基于平面的LIDAR SLAM方法更结构化和组织的地图。我们证明了我们在高保真的AirSim模拟器以及配备有速蛋白底激光片的地面漫游车的现实实验中。在这两种情况下，我们都能够以匹配10 Hz的传感器速率的速率生成高质量的图和轨迹估计值。

Lidar-based SLAM systems perform well in a wide range of circumstances by relying on the geometry of the environment. However, even mature and reliable approaches struggle when the environment contains structureless areas such as long hallways. To allow the use of lidar-based SLAM in such environments, we propose to add reflector markers in specific locations that would otherwise be difficult. We present an algorithm to reliably detect these markers and two approaches to fuse the detected markers with geometry-based scan matching. The performance of the proposed methods is demonstrated on real-world datasets from several industrial environments.

在本文中，我们提出了一种从3D点云生成分层的体积拓扑图的方法。我们的地图中有三个基本的分层级别：$ Storey - Region - 卷$。我们的方法的优点在输入和输出中反映。在输入方面，我们接受多层点云和建筑结构，倾斜的屋顶或天花板。在输出方面，我们可以使用不同维度的度量信息来生成结果，适用于不同的机器人应用。算法通过从3D Voxel占用映射生成$卷$来生成体积表示。然后，我们加入$段落$ s（$卷$之间的连接），将小$卷$组合成一个大多数$地区$，并使用2D分段方法进行更好的拓扑表示。我们在几个可自由的数据集中评估我们的方法。实验突出了我们的方法的优势。

在不同情况下，已经探索了相对旋转和翻译估计任务的最小解决方案，通常依赖于所谓的共同可见度图。但是，如何在没有重叠的两个框架之间建立直接旋转关系仍然是一个公开主题，如果解决了，它可以大大提高视觉尾声的准确性。在本文中，提出了一种新的最小解决方案，以通过利用新的图形结构来求解两个图像之间没有重叠区域的相对旋转估计，我们将其称为扩展性图（E-Graph）。与共同可见度图不同，高级标志（包括消失方向和平面正常）存储在我们的电子图纸中，这些图形在几何上可扩展。基于电子图表，旋转估计问题变得更简单，更优雅，因为它可以处理纯粹的旋转运动，并且需要更少的假设，例如曼哈顿/亚特兰大世界，平面/垂直运动。最后，我们将旋转估计策略嵌入完整的相机跟踪和映射系统中，该系统获得了6-DOF相机姿势和密集的3D网格模型。对公共基准测试的广泛实验表明，所提出的方法实现了最新的跟踪性能。

结合同时定位和映射（SLAM）估计和动态场景建模可以高效地在动态环境中获得机器人自主权。机器人路径规划和障碍避免任务依赖于场景中动态对象运动的准确估计。本文介绍了VDO-SLAM，这是一种强大的视觉动态对象感知SLAM系统，用于利用语义信息，使得能够在场景中进行准确的运动估计和跟踪动态刚性物体，而无需任何先前的物体形状或几何模型的知识。所提出的方法识别和跟踪环境中的动态对象和静态结构，并将这些信息集成到统一的SLAM框架中。这导致机器人轨迹的高度准确估计和对象的全部SE（3）运动以及环境的时空地图。该系统能够从对象的SE（3）运动中提取线性速度估计，为复杂的动态环境中的导航提供重要功能。我们展示了所提出的系统对许多真实室内和室外数据集的性能，结果表明了对最先进的算法的一致和实质性的改进。可以使用源代码的开源版本。

完全自主移动机器人的现实部署取决于能够处理动态环境的强大的大满贯（同时本地化和映射）系统，其中对象在机器人的前面移动以及不断变化的环境，在此之后移动或更换对象。机器人已经绘制了现场。本文介绍了更换式SLAM，这是一种在动态和不断变化的环境中强大的视觉猛烈抨击的方法。这是通过使用与长期数据关联算法结合的贝叶斯过滤器来实现的。此外，它采用了一种有效的算法，用于基于对象检测的动态关键点过滤，该对象检测正确识别了不动态的边界框中的特征，从而阻止了可能导致轨道丢失的功能的耗竭。此外，开发了一个新的数据集，其中包含RGB-D数据，专门针对评估对象级别的变化环境，称为PUC-USP数据集。使用移动机器人，RGB-D摄像头和运动捕获系统创建了六个序列。这些序列旨在捕获可能导致跟踪故障或地图损坏的不同情况。据我们所知，更换 - 峰是第一个对动态和不断变化的环境既有坚固耐用的视觉大满贯系统，又不假设给定的相机姿势或已知地图，也能够实时运行。使用基准数据集对所提出的方法进行了评估，并将其与其他最先进的方法进行了比较，证明是高度准确的。

尽管常规机器人系统中的每个不同任务都需要专用的场景表示形式，但本文表明，统一表示形式可以直接用于多个关键任务。我们提出了用于映射，进程和计划（LOG-GPIS-MOP）的log-gaussian过程隐式表面：基于统一表示形式的表面重建，本地化和导航的概率框架。我们的框架将对数转换应用于高斯过程隐式表面（GPIS）公式，以恢复全局表示，该表示可以准确地捕获具有梯度的欧几里得距离场，同时又是隐式表面。通过直接估计距离字段及其通过LOG-GPIS推断的梯度，提出的增量进程技术计算出传入帧的最佳比对，并在全球范围内融合以生成MAP。同时，基于优化的计划者使用相同的LOG-GPIS表面表示计算安全的无碰撞路径。我们根据最先进的方法验证了2D和3D和3D和基准测试的模拟和真实数据集的拟议框架。我们的实验表明，LOG-GPIS-MOP在顺序的音程，表面映射和避免障碍物中产生竞争结果。

大多数现实世界情景的环境，如商场和超市始终变化。预构建的地图，不会占这些变化的内容容易过时。因此，有必要具有环境的最新模型，以促进机器人的长期运行。为此，本文呈现了一般终身同时定位和映射（SLAM）框架。我们的框架使用多个会话映射表示，并利用一个有效的地图更新策略，包括地图建筑，姿势图形细化和稀疏化。为了减轻内存使用情况的无限性增加，我们提出了一种基于Chow-Liu最大相互信息生成树的地图修剪方法。在真正的超市环境中，通过一个月的机器人部署全面验证了拟议的SLAM框架。此外，我们释放了从室内和户外变化环境中收集的数据集，希望加速在社区中的终身猛烈的Slam研究。我们的数据集可在https://github.com/sanduan168/lifelong-slam-dataset中获得。

尽管在移动机器人技术中常用的2D占用图可以在室内环境中进行安全导航，但为了让机器人理解和与其环境互动及其代表3D几何和语义环境信息的居民。语义信息对于有效解释人类归因于空间不同部分的含义至关重要，而3D几何形状对于安全性和高级理解很重要。我们提出了一条管道，该管道可以生成用于机器人应用的室内环境的多层表示。提出的表示形式包括3D度量语义层，2D占用层和对象实例层，其中已知对象被通过新型模型匹配方法获得的近似模型代替。将度量层和对象实例层组合在一起以形成对环境的增强表示形式。实验表明，当任务完成场景中对象的一部分时，提出的形状匹配方法优于最先进的深度学习方法。如F1得分分析所示，管道性能从模拟到现实世界都很好，使用蒙版R-CNN作为主要瓶颈具有语义分割精度。最后，我们还在真正的机器人平台上演示了多层地图如何用于提高导航安全性。

在本文中，我们提出了一个与RGB，深度，IMU和结构化平面信息融合的紧密耦合的大满贯系统。传统的基于稀疏点的大满贯系统始终保持大量地图点以建模环境。大量的地图点使我们具有很高的计算复杂性，因此很难在移动设备上部署。另一方面，平面是人造环境中的常见结构，尤其是在室内环境中。我们通常可以使用少量飞机代表大型场景。因此，本文的主要目的是降低基于稀疏点的大满贯的高复杂性。我们构建了一个轻巧的后端地图，该地图由几个平面和地图点组成，以相等或更高的精度实现有效的捆绑捆绑调整（BA）。我们使用统计约束来消除优化中众多平面点的参数，并降低BA的复杂性。我们将同构和点对平面约束的参数和测量分开，并压缩测量部分，以进一步有效地提高BA的速度。我们还将平面信息集成到整个系统中，以实现强大的平面特征提取，数据关联和全球一致的平面重建。最后，我们进行消融研究，并用模拟和真实环境数据中的类似方法比较我们的方法。我们的系统在准确性和效率方面具有明显的优势。即使平面参数参与了优化，我们也可以使用平面结构有效地简化后端图。全局捆绑捆绑调整的速度几乎是基于稀疏点的SLAM算法的2倍。

This paper presents ORB-SLAM, a feature-based monocular SLAM system that operates in real time, in small and large, indoor and outdoor environments. The system is robust to severe motion clutter, allows wide baseline loop closing and relocalization, and includes full automatic initialization. Building on excellent algorithms of recent years, we designed from scratch a novel system that uses the same features for all SLAM tasks: tracking, mapping, relocalization, and loop closing. A survival of the fittest strategy that selects the points and keyframes of the reconstruction leads to excellent robustness and generates a compact and trackable map that only grows if the scene content changes, allowing lifelong operation. We present an exhaustive evaluation in 27 sequences from the most popular datasets. ORB-SLAM achieves unprecedented performance with respect to other state-of-the-art monocular SLAM approaches. For the benefit of the community, we make the source code public.