尽管数十年来，同时定位和映射（SLAM）一直是一个积极的研究主题，但由于特征不足或其固有的估计漂移，在许多平民环境中，当前的最新方法仍然遭受不稳定或不准确性的困扰。为了解决这些问题，我们提出了一个梳理SLAM和先前基于图的本地化的导航系统。具体而言，我们考虑了线条和平面特征的其他集成，这些特征在平民环境中无处不在，在结构上更突出，以确保功能充足和本地化的鲁棒性。更重要的是，我们将一般的先验地图信息纳入SLAM以限制其漂移并提高准确性。为了避免在先前的信息和局部观察之间进行严格的关联，我们将先验知识的参数化为低维结构先验，定义为不同几何原始原始人之间的相对距离/角度。本地化被公式化为基于图的优化问题，其中包含基于滑动窗口的变量和因素，包括IMU，异质特征和结构先验。我们还得出了不同因素的雅各布人的分析表达式，以避免自动分化开销。为了进一步减轻结合结构先验因素的计算负担，根据所谓的信息增益采用了选择机制，以仅将最有效的结构先验纳入图表优化中。最后，对综合数据，公共数据集以及更重要的是，对所提出的框架进行了广泛的测试。结果表明，所提出的方案可以有效地提高平民应用中自动驾驶机器人的本地化的准确性和鲁棒性。

我们提出了一种准确而坚固的多模态传感器融合框架，Metroloc，朝着最极端的场景之一，大规模地铁车辆本地化和映射。 Metroloc在以IMU为中心的状态估计器上构建，以较轻耦合的方法紧密地耦合光检测和测距（LIDAR），视觉和惯性信息。所提出的框架由三个子模块组成：IMU Odometry，LiDar - 惯性内径术（LIO）和视觉惯性内径（VIO）。 IMU被视为主要传感器，从LIO和VIO实现了从LIO和VIO的观察，以限制加速度计和陀螺仪偏差。与以前的点LIO方法相比，我们的方法通过将线路和平面特征引入运动估计来利用更多几何信息。 VIO还通过使用两条线和点来利用环境结构信息。我们所提出的方法在具有维护车辆的长期地铁环境中广泛测试。实验结果表明，该系统比使用实时性能的最先进的方法更准确和强大。此外，我们开发了一系列虚拟现实（VR）应用，以实现高效，经济，互动的轨道车辆状态和轨道基础设施监控，已经部署到室外测试铁路。

在本文中，我们介绍了全球导航卫星系统（GNSS）辅助激光乐队 - 视觉惯性方案RAILTOMER-V，用于准确且坚固的铁路车辆本地化和映射。 Raillomer-V在因子图上制定，由两个子系统组成：辅助LiDar惯性系统（OLIS）和距离的内径综合视觉惯性系统（OVI）。两个子系统都利用了铁路上的典型几何结构。提取的轨道轨道的平面约束用于补充OLI中的旋转和垂直误差。此外，线特征和消失点被利用以限制卵巢中的旋转漂移。拟议的框架在800公里的数据集中广泛评估，聚集在一年以上的一般速度和高速铁路，日夜。利用各个传感器的所有测量的紧密耦合集成，我们的框架准确到了长期的任务，并且足够强大地避免了退行的情景（铁路隧道）。此外，可以使用车载计算机实现实时性能。

我们在本文中介绍Raillomer，实现实时准确和鲁棒的内径测量和轨道车辆的测绘。 Raillomer从两个Lidars，IMU，火车车程和全球导航卫星系统（GNSS）接收器接收测量。作为前端，来自IMU / Royomer缩放组的估计动作De-Skews DeSoised Point云并为框架到框架激光轨道测量产生初始猜测。作为后端，配制了基于滑动窗口的因子图以共同优化多模态信息。另外，我们利用来自提取的轨道轨道和结构外观描述符的平面约束，以进一步改善对重复结构的系统鲁棒性。为了确保全局常见和更少的模糊映射结果，我们开发了一种两级映射方法，首先以本地刻度执行扫描到地图，然后利用GNSS信息来注册模块。该方法在聚集的数据集上广泛评估了多次范围内的数据集，并且表明Raillomer即使在大或退化的环境中也能提供排入量级定位精度。我们还将Raillomer集成到互动列车状态和铁路监控系统原型设计中，已经部署到实验货量交通铁路。

同时定位和映射（SLAM）对于自主机器人（例如自动驾驶汽车，自动无人机），3D映射系统和AR/VR应用至关重要。这项工作提出了一个新颖的LIDAR惯性 - 视觉融合框架，称为R $^3 $ LIVE ++，以实现强大而准确的状态估计，同时可以随时重建光线体图。 R $^3 $ LIVE ++由LIDAR惯性探针（LIO）和视觉惯性探测器（VIO）组成，均为实时运行。 LIO子系统利用从激光雷达的测量值重建几何结构（即3D点的位置），而VIO子系统同时从输入图像中同时恢复了几何结构的辐射信息。 r $^3 $ live ++是基于r $^3 $ live开发的，并通过考虑相机光度校准（例如，非线性响应功能和镜头渐滴）和相机的在线估计，进一步提高了本地化和映射的准确性和映射接触时间。我们对公共和私人数据集进行了更广泛的实验，以将我们提出的系统与其他最先进的SLAM系统进行比较。定量和定性结果表明，我们所提出的系统在准确性和鲁棒性方面对其他系统具有显着改善。此外，为了证明我们的工作的可扩展性，{我们基于重建的辐射图开发了多个应用程序，例如高动态范围（HDR）成像，虚拟环境探索和3D视频游戏。}最后，分享我们的发现和我们的发现和为社区做出贡献，我们在GitHub上公开提供代码，硬件设计和数据集：github.com/hku-mars/r3live

A monocular visual-inertial system (VINS), consisting of a camera and a low-cost inertial measurement unit (IMU), forms the minimum sensor suite for metric six degreesof-freedom (DOF) state estimation. However, the lack of direct distance measurement poses significant challenges in terms of IMU processing, estimator initialization, extrinsic calibration, and nonlinear optimization. In this work, we present VINS-Mono: a robust and versatile monocular visual-inertial state estimator. Our approach starts with a robust procedure for estimator initialization and failure recovery. A tightly-coupled, nonlinear optimization-based method is used to obtain high accuracy visual-inertial odometry by fusing pre-integrated IMU measurements and feature observations. A loop detection module, in combination with our tightly-coupled formulation, enables relocalization with minimum computation overhead. We additionally perform four degrees-of-freedom pose graph optimization to enforce global consistency. We validate the performance of our system on public datasets and real-world experiments and compare against other state-of-the-art algorithms. We also perform onboard closed-loop autonomous flight on the MAV platform and port the algorithm to an iOS-based demonstration. We highlight that the proposed work is a reliable, complete, and versatile system that is applicable for different applications that require high accuracy localization. We open source our implementations for both PCs 1 and iOS mobile devices 2 .

Accurate and safety-quantifiable localization is of great significance for safety-critical autonomous systems, such as unmanned ground vehicles (UGV) and unmanned aerial vehicles (UAV). The visual odometry-based method can provide accurate positioning in a short period but is subjected to drift over time. Moreover, the quantification of the safety of the localization solution (the error is bounded by a certain value) is still a challenge. To fill the gaps, this paper proposes a safety-quantifiable line feature-based visual localization method with a prior map. The visual-inertial odometry provides a high-frequency local pose estimation which serves as the initial guess for the visual localization. By obtaining a visual line feature pair association, a foot point-based constraint is proposed to construct the cost function between the 2D lines extracted from the real-time image and the 3D lines extracted from the high-precision prior 3D point cloud map. Moreover, a global navigation satellite systems (GNSS) receiver autonomous integrity monitoring (RAIM) inspired method is employed to quantify the safety of the derived localization solution. Among that, an outlier rejection (also well-known as fault detection and exclusion) strategy is employed via the weighted sum of squares residual with a Chi-squared probability distribution. A protection level (PL) scheme considering multiple outliers is derived and utilized to quantify the potential error bound of the localization solution in both position and rotation domains. The effectiveness of the proposed safety-quantifiable localization system is verified using the datasets collected in the UAV indoor and UGV outdoor environments.

在本文中，我们提出了一个与RGB，深度，IMU和结构化平面信息融合的紧密耦合的大满贯系统。传统的基于稀疏点的大满贯系统始终保持大量地图点以建模环境。大量的地图点使我们具有很高的计算复杂性，因此很难在移动设备上部署。另一方面，平面是人造环境中的常见结构，尤其是在室内环境中。我们通常可以使用少量飞机代表大型场景。因此，本文的主要目的是降低基于稀疏点的大满贯的高复杂性。我们构建了一个轻巧的后端地图，该地图由几个平面和地图点组成，以相等或更高的精度实现有效的捆绑捆绑调整（BA）。我们使用统计约束来消除优化中众多平面点的参数，并降低BA的复杂性。我们将同构和点对平面约束的参数和测量分开，并压缩测量部分，以进一步有效地提高BA的速度。我们还将平面信息集成到整个系统中，以实现强大的平面特征提取，数据关联和全球一致的平面重建。最后，我们进行消融研究，并用模拟和真实环境数据中的类似方法比较我们的方法。我们的系统在准确性和效率方面具有明显的优势。即使平面参数参与了优化，我们也可以使用平面结构有效地简化后端图。全局捆绑捆绑调整的速度几乎是基于稀疏点的SLAM算法的2倍。

We propose a framework for tightly-coupled lidar inertial odometry via smoothing and mapping, LIO-SAM, that achieves highly accurate, real-time mobile robot trajectory estimation and map-building. LIO-SAM formulates lidar-inertial odometry atop a factor graph, allowing a multitude of relative and absolute measurements, including loop closures, to be incorporated from different sources as factors into the system. The estimated motion from inertial measurement unit (IMU) pre-integration de-skews point clouds and produces an initial guess for lidar odometry optimization. The obtained lidar odometry solution is used to estimate the bias of the IMU. To ensure high performance in real-time, we marginalize old lidar scans for pose optimization, rather than matching lidar scans to a global map. Scan-matching at a local scale instead of a global scale significantly improves the real-time performance of the system, as does the selective introduction of keyframes, and an efficient sliding window approach that registers a new keyframe to a fixed-size set of prior "sub-keyframes." The proposed method is extensively evaluated on datasets gathered from three platforms over various scales and environments.

束调整（BA）是指同时确定传感器姿势和场景几何形状的问题，这是机器人视觉中的一个基本问题。本文为LIDAR传感器提供了一种有效且一致的捆绑捆绑调整方法。该方法采用边缘和平面特征来表示场景几何形状，并直接最大程度地减少从每个原始点到各自几何特征的天然欧几里得距离。该公式的一个不错的属性是几何特征可以在分析上解决，从而大大降低了数值优化的维度。为了更有效地表示和解决最终的优化问题，本文提出了一个新颖的概念{\ it point clusters}，该概念编码了通过一组紧凑的参数集与同一特征相关联的所有原始点，{\ it点群集坐标} 。我们根据点簇坐标得出BA优化的封闭形式的衍生物，并显示其理论属性，例如零空间和稀疏性。基于这些理论结果，本文开发了有效的二阶BA求解器。除了估计LiDAR姿势外，求解器还利用二阶信息来估计测量噪声引起的姿势不确定性，从而导致对LIDAR姿势的一致估计。此外，由于使用点群集的使用，开发的求解器从根本上避免了在优化的所有步骤中列出每个原始点（由于数量大量而非常耗时）：成本评估，衍生品评估和不确定性评估。我们的方法的实施是开源的，以使机器人界及其他地区受益。

随着线提供额外的约束，利用线特征可以有助于提高基于点的单眼视觉惯性内径（VIO）系统的定位精度。此外，在人工环境中，一些直线彼此平行。在本文中，我们设计了一种基于点和直线的VIO系统，它将直线分成结构直线（即彼此平行的直线）和非结构直线。另外，与使用四个参数表示3D直线的正交表示不同，我们仅使用两个参数来最小化结构直线和非结构直线的表示。此外，我们设计了一种基于采样点的直线匹配策略，提高了直线匹配的效率和成功率。我们的方法的有效性在EUROC和TUM VI基准的公共数据集上验证，与其他最先进的算法相比。

精确和实时轨道车辆本地化以及铁路环境监测对于铁路安全至关重要。在这封信中，我们提出了一种基于多激光器的同时定位和映射（SLAM）系统，用于铁路应用。我们的方法从测量开始预处理，以便去噪并同步多个LIDAR输入。根据LIDAR放置使用不同的帧到框架注册方法。此外，我们利用来自提取的轨道轨道的平面约束来提高系统精度。本地地图进一步与利用绝对位置测量的全局地图对齐。考虑到不可避免的金属磨损和螺杆松动，在手术期间唤醒了在线外在细化。在收集3000公里的数据集上广泛验证了所提出的方法。结果表明，所提出的系统与大规模环境的有效映射一起实现了精确且稳健的本地化。我们的系统已应用于运费交通铁路以监控任务。

我们提供了一种基于因子图优化的多摄像性视觉惯性内径系统，该系统通过同时使用所有相机估计运动，同时保留固定的整体特征预算。我们专注于在挑战环境中的运动跟踪，例如狭窄的走廊，具有侵略性动作的黑暗空间，突然的照明变化。这些方案导致传统的单眼或立体声测量失败。在理论上，使用额外的相机跟踪运动，但它会导致额外的复杂性和计算负担。为了克服这些挑战，我们介绍了两种新的方法来改善多相机特征跟踪。首先，除了从一体相机移动到另一个相机时，我们连续地跟踪特征的代替跟踪特征。这提高了准确性并实现了更紧凑的因子图表示。其次，我们选择跨摄像机的跟踪功能的固定预算，以降低反向结束优化时间。我们发现，使用较小的信息性功能可以保持相同的跟踪精度。我们所提出的方法使用由IMU和四个摄像机（前立体网和两个侧面）组成的硬件同步装置进行广泛测试，包括：地下矿，大型开放空间，以及带狭窄楼梯和走廊的建筑室内设计。与立体声最新的视觉惯性内径测量方法相比，我们的方法将漂移率，相对姿势误差，高达80％的翻译和旋转39％降低。

传统的LIDAR射测（LO）系统主要利用从经过的环境获得的几何信息来注册激光扫描并估算Lidar Ego-Motion，而在动态或非结构化环境中可能不可靠。本文提出了Inten-loam，一种低饮用和健壮的激光镜和映射方法，该方法完全利用激光扫描的隐式信息（即几何，强度和时间特征）。扫描点被投影到圆柱形图像上，这些图像有助于促进各种特征的有效和适应性提取，即地面，梁，立面和反射器。我们提出了一种新型基于强度的点登记算法，并将其纳入LIDAR的探光仪，从而使LO系统能够使用几何和强度特征点共同估计LIDAR EGO-MOTION。为了消除动态对象的干扰，我们提出了一种基于时间的动态对象删除方法，以在MAP更新之前过滤它们。此外，使用与时间相关的体素网格滤波器组织并缩减了本地地图，以维持当前扫描和静态局部图之间的相似性。在模拟和实际数据集上进行了广泛的实验。结果表明，所提出的方法在正常驾驶方案中实现了类似或更高的精度W.R.T，在非结构化环境中，最先进的方法优于基于几何的LO。

The field of autonomous mobile robots has undergone dramatic advancements over the past decades. Despite achieving important milestones, several challenges are yet to be addressed. Aggregating the achievements of the robotic community as survey papers is vital to keep the track of current state-of-the-art and the challenges that must be tackled in the future. This paper tries to provide a comprehensive review of autonomous mobile robots covering topics such as sensor types, mobile robot platforms, simulation tools, path planning and following, sensor fusion methods, obstacle avoidance, and SLAM. The urge to present a survey paper is twofold. First, autonomous navigation field evolves fast so writing survey papers regularly is crucial to keep the research community well-aware of the current status of this field. Second, deep learning methods have revolutionized many fields including autonomous navigation. Therefore, it is necessary to give an appropriate treatment of the role of deep learning in autonomous navigation as well which is covered in this paper. Future works and research gaps will also be discussed.

事件摄像机是运动激活的传感器，可捕获像素级照明的变化，而不是具有固定帧速率的强度图像。与标准摄像机相比，它可以在高速运动和高动态范围场景中提供可靠的视觉感知。但是，当相机和场景之间的相对运动受到限制时，例如在静态状态下，事件摄像机仅输出一点信息甚至噪音。尽管标准相机可以在大多数情况下，尤其是在良好的照明条件下提供丰富的感知信息。这两个相机完全是互补的。在本文中，我们提出了一种具有鲁棒性，高智能和实时优化的基于事件的视觉惯性镜（VIO）方法，具有事件角度，基于线的事件功能和基于点的图像功能。提出的方法旨在利用人为场景中的自然场景和基于线路的功能中的基于点的功能，以通过设计良好设计的功能管理提供更多其他结构或约束信息。公共基准数据集中的实验表明，与基于图像或基于事件的VIO相比，我们的方法可以实现卓越的性能。最后，我们使用我们的方法演示了机上闭环自动驾驶四极管飞行和大规模室外实验。评估的视频在我们的项目网站上介绍：https：//b23.tv/oe3qm6j

We propose a real-time method for odometry and mapping using range measurements from a 2-axis lidar moving in 6-DOF. The problem is hard because the range measurements are received at different times, and errors in motion estimation can cause mis-registration of the resulting point cloud. To date, coherent 3D maps can be built by off-line batch methods, often using loop closure to correct for drift over time. Our method achieves both low-drift and low-computational complexity without the need for high accuracy ranging or inertial measurements.The key idea in obtaining this level of performance is the division of the complex problem of simultaneous localization and mapping, which seeks to optimize a large number of variables simultaneously, by two algorithms. One algorithm performs odometry at a high frequency but low fidelity to estimate velocity of the lidar. Another algorithm runs at a frequency of an order of magnitude lower for fine matching and registration of the point cloud. Combination of the two algorithms allows the method to map in real-time. The method has been evaluated by a large set of experiments as well as on the KITTI odometry benchmark. The results indicate that the method can achieve accuracy at the level of state of the art offline batch methods.

在本文中，我们评估了八种流行和开源的3D激光雷达和视觉大满贯（同时定位和映射）算法，即壤土，乐高壤土，lio sam，hdl graph，orb slam3，basalt vio和svo2。我们已经设计了室内和室外的实验，以研究以下项目的影响：i）传感器安装位置的影响，ii）地形类型和振动的影响，iii）运动的影响（线性和角速速度的变化）。我们根据相对和绝对姿势误差比较它们的性能。我们还提供了他们所需的计算资源的比较。我们通过我们的多摄像机和多大摄像机室内和室外数据集进行彻底分析和讨论结果，并确定环境案例的最佳性能系统。我们希望我们的发现可以帮助人们根据目标环境选择一个适合其需求的传感器和相应的SLAM算法组合。

In recent years, aerial swarm technology has developed rapidly. In order to accomplish a fully autonomous aerial swarm, a key technology is decentralized and distributed collaborative SLAM (CSLAM) for aerial swarms, which estimates the relative pose and the consistent global trajectories. In this paper, we propose $D^2$SLAM: a decentralized and distributed ($D^2$) collaborative SLAM algorithm. This algorithm has high local accuracy and global consistency, and the distributed architecture allows it to scale up. $D^2$SLAM covers swarm state estimation in two scenarios: near-field state estimation for high real-time accuracy at close range and far-field state estimation for globally consistent trajectories estimation at the long-range between UAVs. Distributed optimization algorithms are adopted as the backend to achieve the $D^2$ goal. $D^2$SLAM is robust to transient loss of communication, network delays, and other factors. Thanks to the flexible architecture, $D^2$SLAM has the potential of applying in various scenarios.

在过去的几十年，光探测和测距（LIDAR）技术已被广泛研究作为自我定位与地图强大的替代方案。这些典型地接近状态自运动估计作为非线性优化问题取决于当前点云和地图之间建立的对应关系，无论其范围，局部或全局的。本文提出LiODOM，对于姿态估计和地图建设的新的激光雷达仅里程计和绘图方法中，基于最小化从一组加权点 - 线对应的衍生与本地地图损失函数从该组可用的抽象点云。此外，该工作场所特别强调赋予其快速数据关联的相关地图表示。为了有效地代表了环境，我们提出了一个数据结构与哈希方案相结合，可以快速进入地图的任何部分。 LiODOM通过在公共数据集的一组实验中，对于其媲美针对其它解决方案的装置验证。它的性能上，主板还报告了一个空中平台。