建筑行业的机器人可以使用高精度数据捕获来通过不断监视工作进度来降低成本。准确的数据捕获需要在环境中精确的移动机器人定位。在本文中，我们介绍了有关机器人本地化的新颖作品，该工作以墙壁和房间的形式提取了从建筑计划中提取几何，语义以及拓扑信息，并创建了情境图的拓扑和度量语言层（S-图）在环境中导航之前。当机器人在施工环境中导航时，它使用机器人的探光仪和从3D LIDAR测量中提取的平面壁的形式的感觉观测来估算其依靠粒子过滤器方法的姿势，并利用先前构建的情境图和它可用的几何，语义和拓扑信息。我们在将其与基于传统几何的本地化技术进行比较时，在实际持续的施工站点上捕获的模拟和真实数据集中验证了我们的方法。

移动机器人应该意识到他们的情况，包括对周围环境的深刻理解，以及对自己的状态的估计，成功地做出智能决策并在真实环境中自动执行任务。 3D场景图是一个新兴的研究领域，建议在包含几何，语义和关系/拓扑维度的联合模型中表示环境。尽管3D场景图已经与SLAM技术相结合，以提供机器人的情境理解，但仍需要进一步的研究才能有效地部署它们在板载移动机器人。为此，我们在本文中介绍了一个小说，实时的在线构建情境图（S-Graph），该图在单个优化图中结合在一起，环境的表示与上述三个维度以及机器人姿势一起。我们的方法利用了从3D激光扫描提取的轨道读数和平面表面，以实时构造和优化三层S图，其中包括（1）机器人跟踪层，其中机器人姿势已注册，（2）衡量标准。语义层具有诸如平面壁和（3）我们的新颖拓扑层之类的特征，从而使用高级特征（例如走廊和房间）来限制平面墙。我们的建议不仅证明了机器人姿势估计的最新结果，而且还以度量的环境模型做出了贡献

In this paper, we present an evolved version of the Situational Graphs, which jointly models in a single optimizable factor graph, a SLAM graph, as a set of robot keyframes, containing its associated measurements and robot poses, and a 3D scene graph, as a high-level representation of the environment that encodes its different geometric elements with semantic attributes and the relational information between those elements. Our proposed S-Graphs+ is a novel four-layered factor graph that includes: (1) a keyframes layer with robot pose estimates, (2) a walls layer representing wall surfaces, (3) a rooms layer encompassing sets of wall planes, and (4) a floors layer gathering the rooms within a given floor level. The above graph is optimized in real-time to obtain a robust and accurate estimate of the robot's pose and its map, simultaneously constructing and leveraging the high-level information of the environment. To extract such high-level information, we present novel room and floor segmentation algorithms utilizing the mapped wall planes and free-space clusters. We tested S-Graphs+ on multiple datasets including, simulations of distinct indoor environments, on real datasets captured over several construction sites and office environments, and on a real public dataset of indoor office environments. S-Graphs+ outperforms relevant baselines in the majority of the datasets while extending the robot situational awareness by a four-layered scene model. Moreover, we make the algorithm available as a docker file.

Conventional sensor-based localization relies on high-precision maps, which are generally built using specialized mapping techniques involving high labor and computational costs. In the architectural, engineering and construction industry, Building Information Models (BIM) are available and can provide informative descriptions of environments. This paper explores an effective way to localize a mobile 3D LiDAR sensor on BIM-generated maps considering both geometric and semantic properties. First, original BIM elements are converted to semantically augmented point cloud maps using categories and locations. After that, a coarse-to-fine semantic localization is performed to align laser points to the map based on iterative closest point registration. The experimental results show that the semantic localization can track the pose successfully with only one LiDAR sensor, thus demonstrating the feasibility of the proposed mapping-free localization framework. The results also show that using semantic information can help reduce localization errors on BIM-generated maps.

自我定位是一种基本功能，移动机器人导航系统集成到使用地图从一个点转移到另一点。因此，任何提高本地化精度的增强对于执行精致的灵活性任务至关重要。本文描述了一个新的位置，该位置使用Monte Carlo定位（MCL）算法维护几个颗粒人群，始终选择最佳的粒子作为系统的输出。作为新颖性，我们的工作包括一种多尺度匹配匹配算法，以创建新的MCL群体和一个确定最可靠的指标。它还贡献了最新的实现，从错误的估计或未知的初始位置增加了恢复时间。在与NAV2完全集成的模块中评估了所提出的方法，并与当前的最新自适应ACML溶液进行了比较，从而获得了良好的精度和恢复时间。

The field of autonomous mobile robots has undergone dramatic advancements over the past decades. Despite achieving important milestones, several challenges are yet to be addressed. Aggregating the achievements of the robotic community as survey papers is vital to keep the track of current state-of-the-art and the challenges that must be tackled in the future. This paper tries to provide a comprehensive review of autonomous mobile robots covering topics such as sensor types, mobile robot platforms, simulation tools, path planning and following, sensor fusion methods, obstacle avoidance, and SLAM. The urge to present a survey paper is twofold. First, autonomous navigation field evolves fast so writing survey papers regularly is crucial to keep the research community well-aware of the current status of this field. Second, deep learning methods have revolutionized many fields including autonomous navigation. Therefore, it is necessary to give an appropriate treatment of the role of deep learning in autonomous navigation as well which is covered in this paper. Future works and research gaps will also be discussed.

同时本地化和映射（SLAM）是自动移动机器人中的基本问题之一，在该机器人需要重建以前看不见的环境的同时，同时在地图上进行了本身。特别是，Visual-Slam使用移动机器人中的各种传感器来收集和感测地图的表示。传统上，基于几何模型的技术被用来解决大满贯问题，在充满挑战的环境下，该问题往往容易出错。诸如深度学习技术之类的计算机视觉方面的最新进展提供了一种数据驱动的方法来解决视觉范围问题。这篇综述总结了使用各种基于学习的方法的视觉 - 峰领域的最新进展。我们首先提供了基于几何模型的方法的简洁概述，然后进行有关SLAM当前范式的技术评论。然后，我们介绍了从移动机器人那里收集感官输入并执行场景理解的各种基于学习的方法。讨论并将基于深度学习的语义理解中的当前范式讨论并置于视觉峰的背景下。最后，我们讨论了在视觉 - 峰中基于学习的方法方向上的挑战和进一步的机会。

在本文中，我们评估了八种流行和开源的3D激光雷达和视觉大满贯（同时定位和映射）算法，即壤土，乐高壤土，lio sam，hdl graph，orb slam3，basalt vio和svo2。我们已经设计了室内和室外的实验，以研究以下项目的影响：i）传感器安装位置的影响，ii）地形类型和振动的影响，iii）运动的影响（线性和角速速度的变化）。我们根据相对和绝对姿势误差比较它们的性能。我们还提供了他们所需的计算资源的比较。我们通过我们的多摄像机和多大摄像机室内和室外数据集进行彻底分析和讨论结果，并确定环境案例的最佳性能系统。我们希望我们的发现可以帮助人们根据目标环境选择一个适合其需求的传感器和相应的SLAM算法组合。

在给定地图中的强大定位是大多数自主机器人的关键组成部分。在本文中，我们解决了在室内环境中定位的问题，该问题在室内环境中发生了变化，而突出结构在不同时间点构建的地图中没有对应关系的问题。为了克服地图与由于这种变化引起的观察到的环境之间的差异，我们利用了人类可读的本地化提示来协助定位。这些提示很容易在大多数设施中获得，并且可以通过使用文本斑点来使用RGB摄像机图像来检测。我们使用在2D激光扫描和相机数据上运行的粒子过滤器将这些线索集成到蒙特卡洛本地化框架中。这样，我们为人类行走具有结构性变化和动态的环境提供了强大的本地化解决方案。我们在办公室环境中评估了有关多个挑战室内场景的本地化框架。实验表明，我们的方法对结构变化具有鲁棒性，并且可以在板载计算机上运行。我们（按照纸质接受）发布了方法的开源实现，该实现使用了现成的文本斑点，并用ROS包装器编写了C ++。

强大而准确的本地化是移动自主系统的基本要求。类似杆状的物体，例如交通标志，杆子和灯，由于其局部独特性和长期稳定性，经常使用地标在城市环境中定位。在本文中，我们基于在线运行并且几乎没有计算需求的几何特征，提出了一种新颖，准确，快速的杆提取方法。我们的方法直接对3D LIDAR扫描生成的范围图像执行所有计算，该图像避免了显式处理3D点云，并为每次扫描启用快速的极点提取。我们进一步使用提取的杆子作为伪标签来训练深层神经网络，以基于图像的极点分割。我们测试了我们的几何和基于学习的极点提取方法，用于在不同的扫描仪，路线和季节性变化的不同数据集上定位。实验结果表明，我们的方法表现优于其他最先进的方法。此外，通过从多个数据集提取的伪极标签增强，我们基于学习的方法可以跨不同的数据集运行，并且与基于几何的方法相比，可以实现更好的本地化结果。我们向公众发布了杆数据集，以评估杆的性能以及我们的方法的实施。

尽管在移动机器人技术中常用的2D占用图可以在室内环境中进行安全导航，但为了让机器人理解和与其环境互动及其代表3D几何和语义环境信息的居民。语义信息对于有效解释人类归因于空间不同部分的含义至关重要，而3D几何形状对于安全性和高级理解很重要。我们提出了一条管道，该管道可以生成用于机器人应用的室内环境的多层表示。提出的表示形式包括3D度量语义层，2D占用层和对象实例层，其中已知对象被通过新型模型匹配方法获得的近似模型代替。将度量层和对象实例层组合在一起以形成对环境的增强表示形式。实验表明，当任务完成场景中对象的一部分时，提出的形状匹配方法优于最先进的深度学习方法。如F1得分分析所示，管道性能从模拟到现实世界都很好，使用蒙版R-CNN作为主要瓶颈具有语义分割精度。最后，我们还在真正的机器人平台上演示了多层地图如何用于提高导航安全性。

Integration of multiple sensor modalities and deep learning into Simultaneous Localization And Mapping (SLAM) systems are areas of significant interest in current research. Multi-modality is a stepping stone towards achieving robustness in challenging environments and interoperability of heterogeneous multi-robot systems with varying sensor setups. With maplab 2.0, we provide a versatile open-source platform that facilitates developing, testing, and integrating new modules and features into a fully-fledged SLAM system. Through extensive experiments, we show that maplab 2.0's accuracy is comparable to the state-of-the-art on the HILTI 2021 benchmark. Additionally, we showcase the flexibility of our system with three use cases: i) large-scale (approx. 10 km) multi-robot multi-session (23 missions) mapping, ii) integration of non-visual landmarks, and iii) incorporating a semantic object-based loop closure module into the mapping framework. The code is available open-source at https://github.com/ethz-asl/maplab.

我们使用从环境物体中提取的语义标志物，用于具有固定固定单眼相机的地面机器人，提出了一种视觉教学和重复（VTR）算法。所提出的算法对摄像机/机器人的起始姿势的变化具有鲁棒性，其中姿势定义为平面位置以及垂直轴周围的方向。 VTR由一个教学阶段组成，其中机器人在规定的路径中移动，以及一个重复阶段，在该阶段中，机器人试图从相同或其他姿势开始重复相同的路径。大多数可用的VTR算法是姿势依赖性的，并且从远离教学阶段的初始姿势开始时，在重复阶段无法表现良好。为了实现更强大的姿势独立性，关键是在教学阶段生成包含摄像头轨迹和周围物体位置的环境的3D语义图。对于特定的实现，我们使用Orb-Slam收集相机姿势和环境的3D点云，而Yolov3则检测环境中的对象。然后，我们组合两个输出以构建语义图。在重复阶段，我们基于检测到的对象和存储的语义映射重新定位机器人。然后，机器人能够朝教学路径移动，并在向前和向后重复。我们已经在不同的情况下测试了所提出的算法，并将其与两项最相关的研究进行了比较。另外，我们将算法与两种基于图像的重新定位方法进行了比较。一个纯粹基于球形 - 萨克，另一个纯粹是结合了超级胶水和兰萨克。结果表明，我们的算法在姿势变化和环境改变方面更加强大。我们的代码和数据可在以下github页面上获得：https：//github.com/mmahdavian/semantic_visual_teach_repeat。

视觉同时定位和映射（VSLAM）在计算机视觉和机器人社区中取得了巨大进展，并已成功用于许多领域，例如自主机器人导航和AR/VR。但是，VSLAM无法在动态和复杂的环境中实现良好的定位。许多出版物报告说，通过与VSLAM结合语义信息，语义VSLAM系统具有近年来解决上述问题的能力。然而，尚无关于语义VSLAM的全面调查。为了填补空白，本文首先回顾了语义VSLAM的发展，并明确着眼于其优势和差异。其次，我们探讨了语义VSLAM的三个主要问题：语义信息的提取和关联，语义信息的应用以及语义VSLAM的优势。然后，我们收集和分析已广泛用于语义VSLAM系统的当前最新SLAM数据集。最后，我们讨论未来的方向，该方向将为语义VSLAM的未来发展提供蓝图。

迭代最接近的点（ICP）算法是三维表面配准的几何比喻对齐的最重要算法之一，该算法经常用于计算机视觉任务，包括同时定位和映射（SLAM）任务。在本文中，我们说明了ICP算法的理论原理，如何在表面注册任务中使用以及ICP算法变体的传统分类学。随着SLAM成为一个受欢迎的话题，我们还根据每种SLAM任务的特征，包括SLAM任务是否在线，以及地标是否作为特征作为特征作为功能，我们还介绍了ICP算法的大满贯分类。大满贯任务。我们通过比较几个最新的研究论文并分析其实施细节来综合每种SLAM任务。

本文提出了一种新颖的方法，用于在具有复杂拓扑结构的地下领域的搜索和救援行动中自动合作。作为CTU-Cras-Norlab团队的一部分，拟议的系统在DARPA SubT决赛的虚拟轨道中排名第二。与专门为虚拟轨道开发的获奖解决方案相反，该建议的解决方案也被证明是在现实世界竞争极为严峻和狭窄的环境中飞行的机上实体无人机的强大系统。提出的方法可以使无缝模拟转移的无人机团队完全自主和分散的部署，并证明了其优于不同环境可飞行空间的移动UGV团队的优势。该论文的主要贡献存在于映射和导航管道中。映射方法采用新颖的地图表示形式 - 用于有效的风险意识长距离计划，面向覆盖范围和压缩的拓扑范围的LTVMAP领域，以允许在低频道通信下进行多机器人合作。这些表示形式与新的方法一起在导航中使用，以在一般的3D环境中可见性受限的知情搜索，而对环境结构没有任何假设，同时将深度探索与传感器覆盖的剥削保持平衡。所提出的解决方案还包括一条视觉感知管道，用于在没有专用GPU的情况下在5 Hz处进行四个RGB流中感兴趣的对象的板上检测和定位。除了参与DARPA SubT外，在定性和定量评估的各种环境中，在不同的环境中进行了广泛的实验验证，UAV系统的性能得到了支持。

在这项研究中，我们提出了一种新型的视觉定位方法，以根据RGB摄像机的可视数据准确估计机器人在3D激光镜头内的六个自由度（6-DOF）姿势。使用基于先进的激光雷达的同时定位和映射（SLAM）算法，可获得3D地图，能够收集精确的稀疏图。将从相机图像中提取的功能与3D地图的点进行了比较，然后解决了几何优化问题，以实现精确的视觉定位。我们的方法允许使用配备昂贵激光雷达的侦察兵机器人一次 - 用于映射环境，并且仅使用RGB摄像头的多个操作机器人 - 执行任务任务，其本地化精度高于常见的基于相机的解决方案。该方法在Skolkovo科学技术研究所（Skoltech）收集的自定义数据集上进行了测试。在评估本地化准确性的过程中，我们设法达到了厘米级的准确性；中间翻译误差高达1.3厘米。仅使用相机实现的确切定位使使用自动移动机器人可以解决需要高度本地化精度的最复杂的任务。

Reliability is a key factor for realizing safety guarantee of full autonomous robot systems. In this paper, we focus on reliability in mobile robot localization. Monte Carlo localization (MCL) is widely used for mobile robot localization. However, it is still difficult to guarantee its safety because there are no methods determining reliability for MCL estimate. This paper presents a novel localization framework that enables robust localization, reliability estimation, and quick re-localization, simultaneously. The presented method can be implemented using similar estimation manner to that of MCL. The method can increase localization robustness to environment changes by estimating known and unknown obstacles while performing localization; however, localization failure of course occurs by unanticipated errors. The method also includes a reliability estimation function that enables us to know whether localization has failed. Additionally, the method can seamlessly integrate a global localization method via importance sampling. Consequently, quick re-localization from failures can be realized while mitigating noisy influence of global localization. Through three types of experiments, we show that reliable MCL that performs robust localization, self-failure detection, and quick failure recovery can be realized.

3D场景图最近已成为3D环境的强大高级表示。一个3D场景图将环境描述为一个分层图，其中节点在多个级别的抽象和边缘表示概念之间的关系。尽管3D场景图可以用作机器人的高级“心理模型”，但如何实时建立如此丰富的代表仍然是未知的领域。本文描述了一个实时空间感知系统，这是一套算法，可实时从传感器数据构建3D场景图。我们的第一个贡献是开发实时算法，以在机器人探索环境时逐步构建场景图的层。这些算法在当前机器人位置构建了本地欧几里得签名的距离功能（ESDF），从ESDF中提取位置的拓扑图，然后使用受社区检测技术启发的方法将其分为房间。我们的第二个贡献是研究3D场景图中的循环闭合检测和优化。我们表明，3D场景图允许定义层次描述符以进行循环闭合检测；我们的描述符捕获场景图中跨层的统计信息，从低级视觉外观到有关对象和位置的摘要统计信息。然后，我们提出了第一种算法来优化3D场景图，以响应循环封闭。我们的方法依靠嵌入式变形图同时校正场景图的所有层。我们将提出的空间感知系统实施到一个名为Hydra的体系结构中，该体系结合了快速的早期和中级感知过程与较慢的高级感知。我们在模拟和真实数据上评估了Hydra，并证明它能够以与批处理离线方法相当的准确性重建3D场景图，尽管在线运行。

去中心化的国家估计是GPS贬低的地区自动空中群体系统中最基本的组成部分之一，但它仍然是一个极具挑战性的研究主题。本文提出了Omni-swarm，一种分散的全向视觉惯性-UWB状态估计系统，用于解决这一研究利基市场。为了解决可观察性，复杂的初始化，准确性不足和缺乏全球一致性的问题，我们在Omni-warm中引入了全向感知前端。它由立体宽型摄像机和超宽带传感器，视觉惯性探测器，基于多无人机地图的本地化以及视觉无人机跟踪算法组成。前端的测量值与后端的基于图的优化融合在一起。所提出的方法可实现厘米级的相对状态估计精度，同时确保空中群中的全球一致性，这是实验结果证明的。此外，在没有任何外部设备的情况下，可以在全面的无人机间碰撞方面支持，表明全旋转的潜力是自动空中群的基础。