同时定位和映射（SLAM）对于自主机器人（例如自动驾驶汽车，自动无人机），3D映射系统和AR/VR应用至关重要。这项工作提出了一个新颖的LIDAR惯性 - 视觉融合框架，称为R $^3 $ LIVE ++，以实现强大而准确的状态估计，同时可以随时重建光线体图。 R $^3 $ LIVE ++由LIDAR惯性探针（LIO）和视觉惯性探测器（VIO）组成，均为实时运行。 LIO子系统利用从激光雷达的测量值重建几何结构（即3D点的位置），而VIO子系统同时从输入图像中同时恢复了几何结构的辐射信息。 r $^3 $ live ++是基于r $^3 $ live开发的，并通过考虑相机光度校准（例如，非线性响应功能和镜头渐滴）和相机的在线估计，进一步提高了本地化和映射的准确性和映射接触时间。我们对公共和私人数据集进行了更广泛的实验，以将我们提出的系统与其他最先进的SLAM系统进行比较。定量和定性结果表明，我们所提出的系统在准确性和鲁棒性方面对其他系统具有显着改善。此外，为了证明我们的工作的可扩展性，{我们基于重建的辐射图开发了多个应用程序，例如高动态范围（HDR）成像，虚拟环境探索和3D视频游戏。}最后，分享我们的发现和我们的发现和为社区做出贡献，我们在GitHub上公开提供代码，硬件设计和数据集：github.com/hku-mars/r3live

我们提出了一种准确而坚固的多模态传感器融合框架，Metroloc，朝着最极端的场景之一，大规模地铁车辆本地化和映射。 Metroloc在以IMU为中心的状态估计器上构建，以较轻耦合的方法紧密地耦合光检测和测距（LIDAR），视觉和惯性信息。所提出的框架由三个子模块组成：IMU Odometry，LiDar - 惯性内径术（LIO）和视觉惯性内径（VIO）。 IMU被视为主要传感器，从LIO和VIO实现了从LIO和VIO的观察，以限制加速度计和陀螺仪偏差。与以前的点LIO方法相比，我们的方法通过将线路和平面特征引入运动估计来利用更多几何信息。 VIO还通过使用两条线和点来利用环境结构信息。我们所提出的方法在具有维护车辆的长期地铁环境中广泛测试。实验结果表明，该系统比使用实时性能的最先进的方法更准确和强大。此外，我们开发了一系列虚拟现实（VR）应用，以实现高效，经济，互动的轨道车辆状态和轨道基础设施监控，已经部署到室外测试铁路。

本文提出了一种有效的概率自适应体素映射方法，用于激光雷达的探光法。该地图是体素的集合；每个都包含一个平面（或边缘）功能，该特征可以实现环境的概率表示以及新的LIDAR扫描的准确配置。我们进一步分析了对粗到1的体素映射的需求，然后使用哈希表和动手组织的新型体素图来有效地构建和更新地图。我们将提出的体素图应用于迭代的扩展卡尔曼滤波器，并为姿势估计构建最大后验概率问题。与其他最先进的方法相比，开放Kitti数据集的实验显示了我们方法的高精度和效率。在具有非重复扫描激光雷达的非结构化环境上进行的室外实验进一步验证了我们的映射方法对不同环境和LIDAR扫描模式的适应性。我们的代码和数据集在GitHub上开源

A monocular visual-inertial system (VINS), consisting of a camera and a low-cost inertial measurement unit (IMU), forms the minimum sensor suite for metric six degreesof-freedom (DOF) state estimation. However, the lack of direct distance measurement poses significant challenges in terms of IMU processing, estimator initialization, extrinsic calibration, and nonlinear optimization. In this work, we present VINS-Mono: a robust and versatile monocular visual-inertial state estimator. Our approach starts with a robust procedure for estimator initialization and failure recovery. A tightly-coupled, nonlinear optimization-based method is used to obtain high accuracy visual-inertial odometry by fusing pre-integrated IMU measurements and feature observations. A loop detection module, in combination with our tightly-coupled formulation, enables relocalization with minimum computation overhead. We additionally perform four degrees-of-freedom pose graph optimization to enforce global consistency. We validate the performance of our system on public datasets and real-world experiments and compare against other state-of-the-art algorithms. We also perform onboard closed-loop autonomous flight on the MAV platform and port the algorithm to an iOS-based demonstration. We highlight that the proposed work is a reliable, complete, and versatile system that is applicable for different applications that require high accuracy localization. We open source our implementations for both PCs 1 and iOS mobile devices 2 .

在本文中，我们评估了八种流行和开源的3D激光雷达和视觉大满贯（同时定位和映射）算法，即壤土，乐高壤土，lio sam，hdl graph，orb slam3，basalt vio和svo2。我们已经设计了室内和室外的实验，以研究以下项目的影响：i）传感器安装位置的影响，ii）地形类型和振动的影响，iii）运动的影响（线性和角速速度的变化）。我们根据相对和绝对姿势误差比较它们的性能。我们还提供了他们所需的计算资源的比较。我们通过我们的多摄像机和多大摄像机室内和室外数据集进行彻底分析和讨论结果，并确定环境案例的最佳性能系统。我们希望我们的发现可以帮助人们根据目标环境选择一个适合其需求的传感器和相应的SLAM算法组合。

对于大多数LIDAR惯性进程，精确的初始状态，包括LiDAR和6轴IMU之间的时间偏移和外部转换，起着重要作用，通常被视为先决条件。但是，这种信息可能不会始终在定制的激光惯性系统中获得。在本文中，我们提出了liinit：一个完整​​的实时激光惯性系统初始化过程，该过程校准了激光雷达和imus之间的时间偏移和外部参数，以及通过对齐从激光雷达估计的状态来校准重力矢量和IMU偏置通过IMU测量的测量。我们将提出的方法实现为初始化模块，如果启用了，该模块会自动检测到收集的数据的激发程度并校准，即直接偏移，外部偏移，外部，重力向量和IMU偏置，然后是这样的。用作实时激光惯性射测系统的高质量初始状态值。用不同类型的LIDAR和LIDAR惯性组合进行的实验表明我们初始化方法的鲁棒性，适应性和效率。我们的LIDAR惯性初始化过程LIINIT和测试数据的实现在GitHub上开源，并集成到最先进的激光辐射射击轨道测定系统FastLiO2中。

本文通过讨论参加了为期三年的SubT竞赛的六支球队的不同大满贯策略和成果，报道了地下大满贯的现状。特别是，本文有四个主要目标。首先，我们审查团队采用的算法，架构和系统；特别重点是以激光雷达以激光雷达为中心的SLAM解决方案（几乎所有竞争中所有团队的首选方法），异质的多机器人操作（包括空中机器人和地面机器人）和现实世界的地下操作（从存在需要处理严格的计算约束的晦涩之处）。我们不会回避讨论不同SubT SLAM系统背后的肮脏细节，这些系统通常会从技术论文中省略。其次，我们通过强调当前的SLAM系统的可能性以及我们认为与一些良好的系统工程有关的范围来讨论该领域的成熟度。第三，我们概述了我们认为是基本的开放问题，这些问题可能需要进一步的研究才能突破。最后，我们提供了在SubT挑战和相关工作期间生产的开源SLAM实现和数据集的列表，并构成了研究人员和从业人员的有用资源。

组合多个传感器使机器人能够最大程度地提高其对环境的感知意识，并增强其对外部干扰的鲁棒性，对机器人导航至关重要。本文提出了可融合的基准测试，这是一个完整的多传感器数据集，具有多种移动机器人序列。本文提出了三项贡献。我们首先推进便携式和通用的多传感器套件，可提供丰富的感官测量值：10Hz激光镜点云，20Hz立体声框架图像，来自立体声事件相机的高速率和异步事件，来自IMU的200Hz惯性读数以及10Hz GPS信号。传感器已经在硬件中暂时同步。该设备轻巧，独立，并为移动机器人提供插件支持。其次，我们通过收集17个序列来构建数据集，该序列通过利用多个机器人平台进行数据收集来涵盖校园上各种环境。一些序列对现有的SLAM算法具有挑战性。第三，我们为将本地化和映射绩效评估提供了基础真理。我们还评估最新的大满贯方法并确定其局限性。该数据集将发布由原始传感器的设置，地面真相，校准数据和评估算法组成：https：//ram-lab.com/file/site/site/multi-sensor-dataset。

We propose a framework for tightly-coupled lidar inertial odometry via smoothing and mapping, LIO-SAM, that achieves highly accurate, real-time mobile robot trajectory estimation and map-building. LIO-SAM formulates lidar-inertial odometry atop a factor graph, allowing a multitude of relative and absolute measurements, including loop closures, to be incorporated from different sources as factors into the system. The estimated motion from inertial measurement unit (IMU) pre-integration de-skews point clouds and produces an initial guess for lidar odometry optimization. The obtained lidar odometry solution is used to estimate the bias of the IMU. To ensure high performance in real-time, we marginalize old lidar scans for pose optimization, rather than matching lidar scans to a global map. Scan-matching at a local scale instead of a global scale significantly improves the real-time performance of the system, as does the selective introduction of keyframes, and an efficient sliding window approach that registers a new keyframe to a fixed-size set of prior "sub-keyframes." The proposed method is extensively evaluated on datasets gathered from three platforms over various scales and environments.

我们在本文中介绍Raillomer，实现实时准确和鲁棒的内径测量和轨道车辆的测绘。 Raillomer从两个Lidars，IMU，火车车程和全球导航卫星系统（GNSS）接收器接收测量。作为前端，来自IMU / Royomer缩放组的估计动作De-Skews DeSoised Point云并为框架到框架激光轨道测量产生初始猜测。作为后端，配制了基于滑动窗口的因子图以共同优化多模态信息。另外，我们利用来自提取的轨道轨道和结构外观描述符的平面约束，以进一步改善对重复结构的系统鲁棒性。为了确保全局常见和更少的模糊映射结果，我们开发了一种两级映射方法，首先以本地刻度执行扫描到地图，然后利用GNSS信息来注册模块。该方法在聚集的数据集上广泛评估了多次范围内的数据集，并且表明Raillomer即使在大或退化的环境中也能提供排入量级定位精度。我们还将Raillomer集成到互动列车状态和铁路监控系统原型设计中，已经部署到实验货量交通铁路。

视觉惯性化学测定法吸引了自主驾驶和机器人技术领域的广泛关注。视场（FOV）的大小在视觉播音（VO）和视觉惯性二次测量法（VO）中起着重要作用，作为大型FOV，可以感知各种周围的场景元素和特征。但是，当摄像机的字段到达负半平面时，就不能简单地使用[u，v，1]^t来表示图像特征点。为了解决这个问题，我们建议LF-VIO，这是一个具有极大FOV的相机的实时VIO框架。我们利用具有单位长度的三维矢量来表示特征点，并设计一系列算法来克服这一挑战。为了解决带有地位的位置和姿势的全景视觉探针数据集的稀缺性，我们介绍了Palvio数据集，该数据集用具有360 {\ deg} x的整个FOV的全景环形镜头（PAL）系统收集（40 {\ deg}） -120 {\ deg}）和IMU传感器。有了全面的实验，在已建立的Palvio基准和公共Fisheye摄像机数据集上验证了建议的LF-VIO，其FOV为360 {\ deg} x（0 {\ deg} -93.5 {\ deg}）。 LF-VIO优于最先进的视觉惯性 - 调节法。我们的数据集和代码可在https://github.com/flysoaryun/lf-vio上公开提供。

This paper presents ORB-SLAM3, the first system able to perform visual, visual-inertial and multi-map SLAM with monocular, stereo and RGB-D cameras, using pin-hole and fisheye lens models.The first main novelty is a feature-based tightly-integrated visual-inertial SLAM system that fully relies on Maximum-a-Posteriori (MAP) estimation, even during the IMU initialization phase. The result is a system that operates robustly in real time, in small and large, indoor and outdoor environments, and is two to ten times more accurate than previous approaches.The second main novelty is a multiple map system that relies on a new place recognition method with improved recall. Thanks to it, ORB-SLAM3 is able to survive to long periods of poor visual information: when it gets lost, it starts a new map that will be seamlessly merged with previous maps when revisiting mapped areas. Compared with visual odometry systems that only use information from the last few seconds, ORB-SLAM3 is the first system able to reuse in all the algorithm stages all previous information. This allows to include in bundle adjustment co-visible keyframes, that provide high parallax observations boosting accuracy, even if they are widely separated in time or if they come from a previous mapping session.Our experiments show that, in all sensor configurations, ORB-SLAM3 is as robust as the best systems available in the literature, and significantly more accurate. Notably, our stereo-inertial SLAM achieves an average accuracy of 3.5 cm in the EuRoC drone and 9 mm under quick hand-held motions in the room of TUM-VI dataset, a setting representative of AR/VR scenarios. For the benefit of the community we make public the source code.

农业行业不断寻求农业生产中涉及的不同过程的自动化，例如播种，收获和杂草控制。使用移动自主机器人执行这些任务引起了极大的兴趣。耕地面向同时定位和映射（SLAM）系统（移动机器人技术的关键）面临着艰巨的挑战，这是由于视觉上的难度，这是由于高度重复的场景而引起的。近年来，已经开发了几种视觉惯性遗传（VIO）和SLAM系统。事实证明，它们在室内和室外城市环境中具有很高的准确性。但是，在农业领域未正确评估它们。在这项工作中，我们从可耕地上的准确性和处理时间方面评估了最相关的最新VIO系统，以便更好地了解它们在这些环境中的行为。特别是，该评估是在我们的车轮机器人记录的大豆领域记录的传感器数据集中进行的，该田间被公开发行为Rosario数据集。评估表明，环境的高度重复性外观，崎terrain的地形产生的强振动以及由风引起的叶子的运动，暴露了当前最新的VIO和SLAM系统的局限性。我们分析了系统故障并突出观察到的缺点，包括初始化故障，跟踪损失和对IMU饱和的敏感性。最后，我们得出的结论是，即使某些系统（例如Orb-Slam3和S-MSCKF）在其他系统方面表现出良好的结果，但应采取更多改进，以使其在某些申请中的农业领域可靠，例如作物行的土壤耕作和农药喷涂。 。

我们提供了一种基于因子图优化的多摄像性视觉惯性内径系统，该系统通过同时使用所有相机估计运动，同时保留固定的整体特征预算。我们专注于在挑战环境中的运动跟踪，例如狭窄的走廊，具有侵略性动作的黑暗空间，突然的照明变化。这些方案导致传统的单眼或立体声测量失败。在理论上，使用额外的相机跟踪运动，但它会导致额外的复杂性和计算负担。为了克服这些挑战，我们介绍了两种新的方法来改善多相机特征跟踪。首先，除了从一体相机移动到另一个相机时，我们连续地跟踪特征的代替跟踪特征。这提高了准确性并实现了更紧凑的因子图表示。其次，我们选择跨摄像机的跟踪功能的固定预算，以降低反向结束优化时间。我们发现，使用较小的信息性功能可以保持相同的跟踪精度。我们所提出的方法使用由IMU和四个摄像机（前立体网和两个侧面）组成的硬件同步装置进行广泛测试，包括：地下矿，大型开放空间，以及带狭窄楼梯和走廊的建筑室内设计。与立体声最新的视觉惯性内径测量方法相比，我们的方法将漂移率，相对姿势误差，高达80％的翻译和旋转39％降低。

束调整（BA）是指同时确定传感器姿势和场景几何形状的问题，这是机器人视觉中的一个基本问题。本文为LIDAR传感器提供了一种有效且一致的捆绑捆绑调整方法。该方法采用边缘和平面特征来表示场景几何形状，并直接最大程度地减少从每个原始点到各自几何特征的天然欧几里得距离。该公式的一个不错的属性是几何特征可以在分析上解决，从而大大降低了数值优化的维度。为了更有效地表示和解决最终的优化问题，本文提出了一个新颖的概念{\ it point clusters}，该概念编码了通过一组紧凑的参数集与同一特征相关联的所有原始点，{\ it点群集坐标} 。我们根据点簇坐标得出BA优化的封闭形式的衍生物，并显示其理论属性，例如零空间和稀疏性。基于这些理论结果，本文开发了有效的二阶BA求解器。除了估计LiDAR姿势外，求解器还利用二阶信息来估计测量噪声引起的姿势不确定性，从而导致对LIDAR姿势的一致估计。此外，由于使用点群集的使用，开发的求解器从根本上避免了在优化的所有步骤中列出每个原始点（由于数量大量而非常耗时）：成本评估，衍生品评估和不确定性评估。我们的方法的实施是开源的，以使机器人界及其他地区受益。

高保真大满贯系统的开发过程取决于它们对可靠数据集的验证。为了实现这一目标，我们提出了IBiscape，这是一种模拟基准，其中包括来自异质传感器的数据同步和获取API：立体声 - RGB/DVS，深度，IMU和GPS，以及地面真相场景场景细分和车辆自我摄入量。我们的基准是建立在卡拉模拟器上的，后端是虚幻的引擎，呈现出模拟现实世界的高动态风景。此外，我们提供34个适用于自动驾驶汽车导航的多模式数据集，包括用于场景理解等情况，例如事故等，以及基于与API集成的动态天气模拟类别的广泛框架质量。我们还将第一个校准目标引入了Carla图，以解决CARLA模拟DVS和RGB摄像机的未知失真参数问题。最后，使用IBISCAPE序列，我们评估了四个ORB-SLAM 3系统（单眼RGB，立体RGB，立体声视觉惯性（SVI）和RGB-D）的性能和玄武岩视觉惯性轴测计（VIO）系统，这些系统在模拟的大型大型序列上收集的各种序列 - 规模动态环境。关键字：基准，多模式，数据集，探针，校准，DVS，SLAM

在本文中，我们提出了一个紧密耦合的视觉惯性对象级多效性动态大满贯系统。即使在极其动态的场景中，它也可以为摄像机姿势，速度，IMU偏见并构建一个密集的3D重建对象级映射图。我们的系统可以通过稳健的传感器和对象跟踪，可以强牢固地跟踪和重建任意对象的几何形状，其语义和运动的几何形状，其语义和运动的几何形状，并通过逐步融合相关的颜色，深度，语义和前景对象概率概率。此外，当对象在视野视野外丢失或移动时，我们的系统可以在重新观察时可靠地恢复其姿势。我们通过定量和定性测试现实世界数据序列来证明我们方法的鲁棒性和准确性。

在本文中，我们提出了一个与RGB，深度，IMU和结构化平面信息融合的紧密耦合的大满贯系统。传统的基于稀疏点的大满贯系统始终保持大量地图点以建模环境。大量的地图点使我们具有很高的计算复杂性，因此很难在移动设备上部署。另一方面，平面是人造环境中的常见结构，尤其是在室内环境中。我们通常可以使用少量飞机代表大型场景。因此，本文的主要目的是降低基于稀疏点的大满贯的高复杂性。我们构建了一个轻巧的后端地图，该地图由几个平面和地图点组成，以相等或更高的精度实现有效的捆绑捆绑调整（BA）。我们使用统计约束来消除优化中众多平面点的参数，并降低BA的复杂性。我们将同构和点对平面约束的参数和测量分开，并压缩测量部分，以进一步有效地提高BA的速度。我们还将平面信息集成到整个系统中，以实现强大的平面特征提取，数据关联和全球一致的平面重建。最后，我们进行消融研究，并用模拟和真实环境数据中的类似方法比较我们的方法。我们的系统在准确性和效率方面具有明显的优势。即使平面参数参与了优化，我们也可以使用平面结构有效地简化后端图。全局捆绑捆绑调整的速度几乎是基于稀疏点的SLAM算法的2倍。

事件摄像机最近在高动力或具有挑战性的照明情况下具有强大的常规摄像头的潜力，因此摄影机最近变得越来越受欢迎。通过同时定位和映射（SLAM）给出了可能受益于事件摄像机的重要问题。但是，为了确保在包含事件的多传感器大满贯上进展，需要新颖的基准序列。我们的贡献是使用包含基于事件的立体声摄像机，常规立体声摄像机，多个深度传感器和惯性测量单元的多传感器设置捕获的第一组基准数据集。该设置是完全硬件同步的，并且经过了准确的外部校准。所有序列都均均均均由高度准确的外部参考设备（例如运动捕获系统）捕获的地面真相数据。各个序列都包括小型和大型环境，并涵盖动态视觉传感器针对的特定挑战。

同时本地化和映射（SLAM）正在现实世界应用中部署，但是在许多常见情况下，许多最先进的解决方案仍然在困难。进步的SLAM研究的关键是高质量数据集的可用性以及公平透明的基准测试。为此，我们创建了Hilti-Oxford数据集，以将最新的SLAM系统推向其极限。该数据集面临着各种挑战，从稀疏和常规的建筑工地到17世纪的新古典建筑，并具有细节和弯曲的表面。为了鼓励多模式的大满贯方法，我们设计了一个具有激光雷达，五个相机和IMU（惯性测量单元）的数据收集平台。为了对精度和鲁棒性至关重要的任务进行基准测试量算法，我们实施了一种新颖的地面真相收集方法，使我们的数据集能够以毫米精度准确地测量SLAM姿势错误。为了进一步确保准确性，我们平台的外部设备通过微米精确的扫描仪进行了验证，并使用硬件时间同步在线管理时间校准。我们数据集的多模式和多样性吸引了大量的学术和工业研究人员进入第二版《希尔蒂·斯拉姆挑战赛》，该挑战于2022年6月结束。挑战的结果表明，尽管前三名团队可以实现准确性在某些序列中的2厘米或更高的速度中，性能以更困难的序列下降。