3D场景图最近已成为3D环境的强大高级表示。一个3D场景图将环境描述为一个分层图，其中节点在多个级别的抽象和边缘表示概念之间的关系。尽管3D场景图可以用作机器人的高级“心理模型”，但如何实时建立如此丰富的代表仍然是未知的领域。本文描述了一个实时空间感知系统，这是一套算法，可实时从传感器数据构建3D场景图。我们的第一个贡献是开发实时算法，以在机器人探索环境时逐步构建场景图的层。这些算法在当前机器人位置构建了本地欧几里得签名的距离功能（ESDF），从ESDF中提取位置的拓扑图，然后使用受社区检测技术启发的方法将其分为房间。我们的第二个贡献是研究3D场景图中的循环闭合检测和优化。我们表明，3D场景图允许定义层次描述符以进行循环闭合检测；我们的描述符捕获场景图中跨层的统计信息，从低级视觉外观到有关对象和位置的摘要统计信息。然后，我们提出了第一种算法来优化3D场景图，以响应循环封闭。我们的方法依靠嵌入式变形图同时校正场景图的所有层。我们将提出的空间感知系统实施到一个名为Hydra的体系结构中，该体系结合了快速的早期和中级感知过程与较慢的高级感知。我们在模拟和真实数据上评估了Hydra，并证明它能够以与批处理离线方法相当的准确性重建3D场景图，尽管在线运行。

本文提出了Kimera-Multi，第一个多机器人系统，（i）是强大的，并且能够识别和拒绝由感知混叠产生的不正确和内部机器人循环闭合，（ii）完全分布，仅依赖于本地（点对点）通信实现分布式本地化和映射，（iii）实时构建环境的全球一致的度量标准三维网状模型，其中网格的面部用语义标签注释。 Kimera-Multi由配备有视觉惯性传感器的机器人团队实现。每个机器人都构建了局部轨迹估计和使用Kimera的本地网格。当通信可用时，机器人基于一种基于新型分布式刻度非凸性算法发起分布式地点识别和鲁棒姿态图优化协议。所提出的协议允许机器人通过利用机器人间循环闭合而鲁棒到异常值来改善其局部轨迹估计。最后，每个机器人使用其改进的轨迹估计来使用网格变形技术来校正本地网格。我们在光逼真模拟，SLAM基准测试数据集中展示了Kimera-Multi，以及使用地机器人收集的靠户外数据集。真实和模拟实验都涉及长轨迹（例如，每个机器人高达800米）。实验表明，在鲁棒性和准确性方面，kimera-multi（i）优于现有技术，（ii）在完全分布的同时实现与集中式大满贯系统相当的估计误差，（iii）在通信带宽方面是显着的（iv）产生精确的公制语义3D网格，并且（v）是模块化的，也可以用于标准3D重建（即，没有语义标签）或轨迹估计（即，不重建3D网格）。

移动机器人应该意识到他们的情况，包括对周围环境的深刻理解，以及对自己的状态的估计，成功地做出智能决策并在真实环境中自动执行任务。 3D场景图是一个新兴的研究领域，建议在包含几何，语义和关系/拓扑维度的联合模型中表示环境。尽管3D场景图已经与SLAM技术相结合，以提供机器人的情境理解，但仍需要进一步的研究才能有效地部署它们在板载移动机器人。为此，我们在本文中介绍了一个小说，实时的在线构建情境图（S-Graph），该图在单个优化图中结合在一起，环境的表示与上述三个维度以及机器人姿势一起。我们的方法利用了从3D激光扫描提取的轨道读数和平面表面，以实时构造和优化三层S图，其中包括（1）机器人跟踪层，其中机器人姿势已注册，（2）衡量标准。语义层具有诸如平面壁和（3）我们的新颖拓扑层之类的特征，从而使用高级特征（例如走廊和房间）来限制平面墙。我们的建议不仅证明了机器人姿势估计的最新结果，而且还以度量的环境模型做出了贡献

本文通过讨论参加了为期三年的SubT竞赛的六支球队的不同大满贯策略和成果，报道了地下大满贯的现状。特别是，本文有四个主要目标。首先，我们审查团队采用的算法，架构和系统；特别重点是以激光雷达以激光雷达为中心的SLAM解决方案（几乎所有竞争中所有团队的首选方法），异质的多机器人操作（包括空中机器人和地面机器人）和现实世界的地下操作（从存在需要处理严格的计算约束的晦涩之处）。我们不会回避讨论不同SubT SLAM系统背后的肮脏细节，这些系统通常会从技术论文中省略。其次，我们通过强调当前的SLAM系统的可能性以及我们认为与一些良好的系统工程有关的范围来讨论该领域的成熟度。第三，我们概述了我们认为是基本的开放问题，这些问题可能需要进一步的研究才能突破。最后，我们提供了在SubT挑战和相关工作期间生产的开源SLAM实现和数据集的列表，并构成了研究人员和从业人员的有用资源。

In this paper, we present an evolved version of the Situational Graphs, which jointly models in a single optimizable factor graph, a SLAM graph, as a set of robot keyframes, containing its associated measurements and robot poses, and a 3D scene graph, as a high-level representation of the environment that encodes its different geometric elements with semantic attributes and the relational information between those elements. Our proposed S-Graphs+ is a novel four-layered factor graph that includes: (1) a keyframes layer with robot pose estimates, (2) a walls layer representing wall surfaces, (3) a rooms layer encompassing sets of wall planes, and (4) a floors layer gathering the rooms within a given floor level. The above graph is optimized in real-time to obtain a robust and accurate estimate of the robot's pose and its map, simultaneously constructing and leveraging the high-level information of the environment. To extract such high-level information, we present novel room and floor segmentation algorithms utilizing the mapped wall planes and free-space clusters. We tested S-Graphs+ on multiple datasets including, simulations of distinct indoor environments, on real datasets captured over several construction sites and office environments, and on a real public dataset of indoor office environments. S-Graphs+ outperforms relevant baselines in the majority of the datasets while extending the robot situational awareness by a four-layered scene model. Moreover, we make the algorithm available as a docker file.

Integration of multiple sensor modalities and deep learning into Simultaneous Localization And Mapping (SLAM) systems are areas of significant interest in current research. Multi-modality is a stepping stone towards achieving robustness in challenging environments and interoperability of heterogeneous multi-robot systems with varying sensor setups. With maplab 2.0, we provide a versatile open-source platform that facilitates developing, testing, and integrating new modules and features into a fully-fledged SLAM system. Through extensive experiments, we show that maplab 2.0's accuracy is comparable to the state-of-the-art on the HILTI 2021 benchmark. Additionally, we showcase the flexibility of our system with three use cases: i) large-scale (approx. 10 km) multi-robot multi-session (23 missions) mapping, ii) integration of non-visual landmarks, and iii) incorporating a semantic object-based loop closure module into the mapping framework. The code is available open-source at https://github.com/ethz-asl/maplab.

本文提出了一种新颖的方法，用于在具有复杂拓扑结构的地下领域的搜索和救援行动中自动合作。作为CTU-Cras-Norlab团队的一部分，拟议的系统在DARPA SubT决赛的虚拟轨道中排名第二。与专门为虚拟轨道开发的获奖解决方案相反，该建议的解决方案也被证明是在现实世界竞争极为严峻和狭窄的环境中飞行的机上实体无人机的强大系统。提出的方法可以使无缝模拟转移的无人机团队完全自主和分散的部署，并证明了其优于不同环境可飞行空间的移动UGV团队的优势。该论文的主要贡献存在于映射和导航管道中。映射方法采用新颖的地图表示形式 - 用于有效的风险意识长距离计划，面向覆盖范围和压缩的拓扑范围的LTVMAP领域，以允许在低频道通信下进行多机器人合作。这些表示形式与新的方法一起在导航中使用，以在一般的3D环境中可见性受限的知情搜索，而对环境结构没有任何假设，同时将深度探索与传感器覆盖的剥削保持平衡。所提出的解决方案还包括一条视觉感知管道，用于在没有专用GPU的情况下在5 Hz处进行四个RGB流中感兴趣的对象的板上检测和定位。除了参与DARPA SubT外，在定性和定量评估的各种环境中，在不同的环境中进行了广泛的实验验证，UAV系统的性能得到了支持。

本文介绍了Cerberus机器人系统系统，该系统赢得了DARPA Subterranean挑战最终活动。出席机器人自主权。由于其几何复杂性，降解的感知条件以及缺乏GPS支持，严峻的导航条件和拒绝通信，地下设置使自动操作变得特别要求。为了应对这一挑战，我们开发了Cerberus系统，该系统利用了腿部和飞行机器人的协同作用，再加上可靠的控制，尤其是为了克服危险的地形，多模式和多机器人感知，以在传感器退化，以及在传感器退化的条件下进行映射以及映射通过统一的探索路径计划和本地运动计划，反映机器人特定限制的弹性自主权。 Cerberus基于其探索各种地下环境及其高级指挥和控制的能力，表现出有效的探索，对感兴趣的对象的可靠检测以及准确的映射。在本文中，我们报告了DARPA地下挑战赛的初步奔跑和最终奖项的结果，并讨论了为社区带来利益的教训所面临的亮点和挑战。

保持最新的地图以反映现场的最新变化非常重要，尤其是在涉及在延长环境中操作的机器人重复遍历的情况。未发现的变化可能会导致地图质量恶化，导致本地化差，操作效率低下和机器人丢失。体积方法，例如截断的签名距离功能（TSDF），由于其实时生产致密而详细的地图，尽管在随着时间的推移随着时间的流逝而变化的地图更新仍然是一个挑战，但由于它们的实时生产而迅速获得了吸引力。我们提出了一个框架，该框架引入了一种新颖的概率对象状态表示，以跟踪对象在半静态场景中的姿势变化。该表示为每个对象共同对平稳性评分和TSDF变更度量进行建模。同时加入几何信息和语义信息的贝叶斯更新规则被得出以实现一致的在线地图维护。为了与最先进的方法一起广泛评估我们的方法，我们在仓库环境中发布了一个新颖的现实数据集。我们还评估了公共Toycar数据集。我们的方法优于半静态环境重建质量的最先进方法。

本文使用基于实例分割和图形匹配的LIDAR点云进行了极强和轻量级的定位。我们将3D点云建模为在语义上识别的组件的完全连接图，每个顶点对应于对象实例并编码其形状。跨图的最佳顶点关联允许通过测量相似性进行完整的6度自由（DOF）姿势估计和放置识别。这种表示非常简洁，将地图的大小缩合为25倍，而最先进的图像仅需要3KB代表1.4MB激光扫描。我们验证了系统在Semantickitti数据集中的功效，在该数据集中，我们获得了新的最新识别，平均召回了88.4％的召回，而下一个最接近的竞争对手则为64.9％。我们还显示了准确的度量姿势估计性能 - 估计中位误差为10 cm和0.33度的6 -DOF姿势。

This paper presents ORB-SLAM, a feature-based monocular SLAM system that operates in real time, in small and large, indoor and outdoor environments. The system is robust to severe motion clutter, allows wide baseline loop closing and relocalization, and includes full automatic initialization. Building on excellent algorithms of recent years, we designed from scratch a novel system that uses the same features for all SLAM tasks: tracking, mapping, relocalization, and loop closing. A survival of the fittest strategy that selects the points and keyframes of the reconstruction leads to excellent robustness and generates a compact and trackable map that only grows if the scene content changes, allowing lifelong operation. We present an exhaustive evaluation in 27 sequences from the most popular datasets. ORB-SLAM achieves unprecedented performance with respect to other state-of-the-art monocular SLAM approaches. For the benefit of the community, we make the source code public.

在本文中，我们提出了一种从3D点云生成分层的体积拓扑图的方法。我们的地图中有三个基本的分层级别：$ Storey - Region - 卷$。我们的方法的优点在输入和输出中反映。在输入方面，我们接受多层点云和建筑结构，倾斜的屋顶或天花板。在输出方面，我们可以使用不同维度的度量信息来生成结果，适用于不同的机器人应用。算法通过从3D Voxel占用映射生成$卷$来生成体积表示。然后，我们加入$段落$ s（$卷$之间的连接），将小$卷$组合成一个大多数$地区$，并使用2D分段方法进行更好的拓扑表示。我们在几个可自由的数据集中评估我们的方法。实验突出了我们的方法的优势。

近年来我们目睹了巨大进展的动机，本文提出了对协作同时定位和映射（C-SLAM）主题的科学文献的调查，也称为多机器人猛击。随着地平线上的自动驾驶车队和工业应用中的多机器人系统的兴起，我们相信合作猛击将很快成为未来机器人应用的基石。在本调查中，我们介绍了C-Slam的基本概念，并呈现了彻底的文献综述。我们还概述了C-Slam在鲁棒性，通信和资源管理方面的主要挑战和限制。我们通过探索该地区目前的趋势和有前途的研究途径得出结论。

尽管在移动机器人技术中常用的2D占用图可以在室内环境中进行安全导航，但为了让机器人理解和与其环境互动及其代表3D几何和语义环境信息的居民。语义信息对于有效解释人类归因于空间不同部分的含义至关重要，而3D几何形状对于安全性和高级理解很重要。我们提出了一条管道，该管道可以生成用于机器人应用的室内环境的多层表示。提出的表示形式包括3D度量语义层，2D占用层和对象实例层，其中已知对象被通过新型模型匹配方法获得的近似模型代替。将度量层和对象实例层组合在一起以形成对环境的增强表示形式。实验表明，当任务完成场景中对象的一部分时，提出的形状匹配方法优于最先进的深度学习方法。如F1得分分析所示，管道性能从模拟到现实世界都很好，使用蒙版R-CNN作为主要瓶颈具有语义分割精度。最后，我们还在真正的机器人平台上演示了多层地图如何用于提高导航安全性。

在未知和大规模的地下环境中，与一组异质的移动机器人团队进行搜救，需要高精度的本地化和映射。在复杂和感知衰落的地下环境中，这一至关重要的需求面临许多挑战，因为在船上感知系统需要在非警官条件下运作（由于黑暗和灰尘，坚固而泥泞的地形以及自我的存在以及自我的存在，都需要运作。 - 类似和模棱两可的场景）。在灾难响应方案和缺乏有关环境的先前信息的情况下，机器人必须依靠嘈杂的传感器数据并执行同时定位和映射（SLAM）来构建环境的3D地图，并定位自己和潜在的幸存者。为此，本文报告了Team Costar在DARPA Subterranean Challenge的背景下开发的多机器人大满贯系统。我们通过合并一个可适应不同的探针源和激光镜配置的单机器人前端界面来扩展以前的工作，即LAMP，这是一种可伸缩的多机前端，以支持大型大型和内部旋转循环闭合检测检测规模环境和多机器人团队，以及基于渐变的非凸度的稳健后端，配备了异常弹性姿势图优化。我们提供了有关多机器人前端和后端的详细消融研究，并评估美国跨矿山，发电厂和洞穴收集的挑战现实世界中的整体系统性能。我们还发布了我们的多机器人后端数据集（以及相应的地面真相），可以作为大规模地下大满贯的具有挑战性的基准。

This paper presents ORB-SLAM3, the first system able to perform visual, visual-inertial and multi-map SLAM with monocular, stereo and RGB-D cameras, using pin-hole and fisheye lens models.The first main novelty is a feature-based tightly-integrated visual-inertial SLAM system that fully relies on Maximum-a-Posteriori (MAP) estimation, even during the IMU initialization phase. The result is a system that operates robustly in real time, in small and large, indoor and outdoor environments, and is two to ten times more accurate than previous approaches.The second main novelty is a multiple map system that relies on a new place recognition method with improved recall. Thanks to it, ORB-SLAM3 is able to survive to long periods of poor visual information: when it gets lost, it starts a new map that will be seamlessly merged with previous maps when revisiting mapped areas. Compared with visual odometry systems that only use information from the last few seconds, ORB-SLAM3 is the first system able to reuse in all the algorithm stages all previous information. This allows to include in bundle adjustment co-visible keyframes, that provide high parallax observations boosting accuracy, even if they are widely separated in time or if they come from a previous mapping session.Our experiments show that, in all sensor configurations, ORB-SLAM3 is as robust as the best systems available in the literature, and significantly more accurate. Notably, our stereo-inertial SLAM achieves an average accuracy of 3.5 cm in the EuRoC drone and 9 mm under quick hand-held motions in the room of TUM-VI dataset, a setting representative of AR/VR scenarios. For the benefit of the community we make public the source code.

我们介绍了一种简单而有效的方法，可以使用本地3D深度描述符（L3DS）同时定位和映射解决循环闭合检测。 L3DS正在采用深度学习算法从数据从数据中学到的点云提取的斑块的紧凑型表示。通过在通过其估计的相对姿势向循环候选点云登记之后计算对应于相互最近邻接描述符的点之间的度量误差，提出了一种用于循环检测的新颖重叠度量。这种新方法使我们能够在小重叠的情况下精确地检测环并估计六个自由度。我们将基于L3D的循环闭合方法与最近的LIDAR数据的方法进行比较，实现最先进的环路闭合检测精度。此外，我们嵌入了我们在最近的基于边缘的SLAM系统中的循环闭合方法，并对现实世界RGBD-TUM和合成ICL数据集进行了评估。与其原始环路闭合策略相比，我们的方法能够实现更好的本地化准确性。

多机器人大满贯系统在受GPS污染的环境中需要循环封闭以维护无漂移的集中式地图。随着越来越多的机器人和环境大小，检查和计算所有循环闭合候选者的转换变得不可行。在这项工作中，我们描述了一个循环闭合模块，该模块能够优先考虑哪个循环闭合以根据基础姿势图，与已知信标的接近性以及点云的特性进行计算。我们在DARPA地下挑战和许多具有挑战性的地下数据集中验证该系统，并证明该系统能够生成和保持低误差的地图。我们发现，我们提出的技术能够选择有效的循环封闭，与探空量解决方案相比，与没有优先级排序的基线版本相比，中位误差的平均值减少了51％，中位误差的平均误差和平均值减少了75％。我们还发现，与处理四个半小时内每个可能的循环封闭的系统相比，我们提出的系统能够在一小时的任务时间内找到较低的错误。可以找到此工作的代码和数据集https://github.com/nebula-autonomy/lamp

While the capabilities of autonomous systems have been steadily improving in recent years, these systems still struggle to rapidly explore previously unknown environments without the aid of GPS-assisted navigation. The DARPA Subterranean (SubT) Challenge aimed to fast track the development of autonomous exploration systems by evaluating their performance in real-world underground search-and-rescue scenarios. Subterranean environments present a plethora of challenges for robotic systems, such as limited communications, complex topology, visually-degraded sensing, and harsh terrain. The presented solution enables long-term autonomy with minimal human supervision by combining a powerful and independent single-agent autonomy stack, with higher level mission management operating over a flexible mesh network. The autonomy suite deployed on quadruped and wheeled robots was fully independent, freeing the human supervision to loosely supervise the mission and make high-impact strategic decisions. We also discuss lessons learned from fielding our system at the SubT Final Event, relating to vehicle versatility, system adaptability, and re-configurable communications.

For Lifelong SLAM, one has to deal with temporary localization failures, e.g., induced by kidnapping. We achieve this by starting a new map and merging it with the previous map as soon as relocalization succeeds. Since relocalization methods are fallible, it can happen that such a merge is invalid, e.g., due to perceptual aliasing. To address this issue, we propose methods to detect and undo invalid merges. These methods compare incoming scans with scans that were previously merged into the current map and consider how well they agree with each other. Evaluation of our methods takes place using a dataset that consists of multiple flat and office environments, as well as the public MIT Stata Center dataset. We show that methods based on a change detection algorithm and on comparison of gridmaps perform well in both environments and can be run in real-time with a reasonable computational cost.