准确可靠的传感器校准对于在自主驾驶中融合激光雷达和惯性测量至关重要。本文提出了一种新型的3D-LIDAR和姿势传感器的新型三阶段外部校准方法，用于自主驾驶。第一阶段可以通过点云表面特征快速校准传感器之间的外部参数，以便可以将外部参数从大的初始误差范围缩小到很小的时间范围。第二阶段可以基于激光映射空间占用率进一步校准外部参数，同时消除运动失真。在最后阶段，校正了由自动驾驶汽车的平面运动引起的Z轴误差，并最终获得了精确的外部参数。具体而言，该方法利用了道路场景的自然特征，使其独立且易于在大规模条件下应用。现实世界数据集的实验结果证明了我们方法的可靠性和准确性。这些代码是在GitHub网站上开源的。据我们所知，这是第一个专门为自动驾驶设计的开源代码，用于校准激光雷达和姿势传感器外部参数。代码链接是https://github.com/opencalib/lidar2ins。

基于传感器的环境感知是自主驾驶系统的关键步骤，多个传感器之间的准确校准起着至关重要的作用。为了校准激光雷达和相机，现有方法通常是先校准相机的固有，然后校准激光雷达和相机的外部。如果在第一阶段无法正确校准摄像机的固有效果，则可以准确地校准激光镜相机外部校准并不容易。由于相机的复杂内部结构以及缺乏对摄像机内在校准的有效定量评估方法，因此在实际校准中，由于摄像机内在参数的微小误差，外部参数校准的准确性通常会降低。为此，我们提出了一种新型的基于目标的关节校准方法，用于摄像机内在和激光摄像机外部参数。首先，我们设计了一个新颖的校准板图案，在棋盘上增加了四个圆形孔，以定位激光姿势。随后，在棋盘板的再投影约束和圆形孔特征下定义的成本函数旨在求解相机的内在参数，失真因子和激光相机外部外部参数。最后，定量和定性实验是在实际和模拟环境中进行的，结果表明该方法可以达到准确性和鲁棒性能。开源代码可在https://github.com/opencalib/jointcalib上获得。

最近，多传感器融合已在自动化领域取得了重大进展，以提高导航和位置性能。作为融合算法的先决条件，对多传感器的外部校准的需求正在增长。为了计算外部参数，许多研究专门用于两步法，该方法将各个校准成对整合。由于失去了所有传感器的约束，因此效率低下且无效。关于减轻此负担，本文中提出了一种基于优化的IMU/LIDAR/摄像机共校准方法。首先，分别进行了IMU/相机和IMU/LIDAR在线校准。然后，棋盘中的角和表面特征点与粗糙的结果相关联，并构建了相机/LIDAR约束。最后，构建共校准优化以完善所有外部参数。我们评估了拟议方案在仿真中的性能，结果表明我们所提出的方法优于两步方法。

虽然相机和激光雷达在大多数辅助和自主驾驶系统中广泛使用，但仅提出了少数作品来将用于在线传感器数据融合的摄像机和镜头的时间同步和外部校准相关联。时间和空间校准技术正面临缺乏相关性和实时的挑战。在本文中，我们介绍了姿势估计模型和环境鲁棒线的提取，以提高数据融合和即时在线校正能力的相关性。考虑到相邻力矩之间的点云匹配的对应关系，动态目标旨在寻求最佳政策。搜索优化过程旨在以计算精度和效率提供准确的参数。为了证明这种方法的好处，我们以基础真实价值在基蒂基准上进行评估。在在线实验中，与时间校准中的软同步方法相比，我们的方法提高了准确性38.5％。在空间校准时，我们的方法会在0.4秒内自动纠正干扰误差，并达到0.3度的精度。这项工作可以促进传感器融合的研究和应用。

确定多个激光痛和相机之间的外在参数对于自主机器人至关重要，尤其是对于固态激光痛，每个LIDAR单元具有很小的视野（FOV）（FOV），并且通常集体使用多个单元。对于360 $^\ circ $机械旋转激光盆，提出了大多数外部校准方法，其中假定FOV与其他LIDAR或相机传感器重叠。很少有研究工作集中在校准小型FOV激光痛和摄像头，也没有提高校准速度。在这项工作中，我们考虑了小型FOV激光痛和相机之间外部校准的问题，目的是缩短总校准时间并进一步提高校准精度。我们首先在LIDAR特征点的提取和匹配中实现自适应体素化技术。这样的过程可以避免在激光痛外校准中冗余创建$ k $ d树，并以比现有方法更可靠和快速提取激光雷达特征点。然后，我们将多个LIDAR外部校准制成LIDAR束调节（BA）问题。通过将成本函数得出最高为二阶，可以进一步提高非线性最小平方问题的求解时间和精度。我们提出的方法已在四个无目标场景和两种类型的固态激光雷达中收集的数据进行了验证，这些扫描模式，密度和FOV完全不同。在八个初始设置下，我们工作的鲁棒性也得到了验证，每个设置包含100个独立试验。与最先进的方法相比，我们的工作提高了激光雷达外部校准的校准速度15倍，激光摄像机外部校准（由50个独立试验产生的平均），同时保持准确，同时保持准确。

精确和实时轨道车辆本地化以及铁路环境监测对于铁路安全至关重要。在这封信中，我们提出了一种基于多激光器的同时定位和映射（SLAM）系统，用于铁路应用。我们的方法从测量开始预处理，以便去噪并同步多个LIDAR输入。根据LIDAR放置使用不同的帧到框架注册方法。此外，我们利用来自提取的轨道轨道的平面约束来提高系统精度。本地地图进一步与利用绝对位置测量的全局地图对齐。考虑到不可避免的金属磨损和螺杆松动，在手术期间唤醒了在线外在细化。在收集3000公里的数据集上广泛验证了所提出的方法。结果表明，所提出的系统与大规模环境的有效映射一起实现了精确且稳健的本地化。我们的系统已应用于运费交通铁路以监控任务。

标记级别的高清地图（HD地图）对自动驾驶汽车具有重要意义，尤其是在大规模，外观改变的情况下，自动驾驶汽车依靠标记来定位和车道来安全驾驶。在本文中，我们提出了一个高度可行的框架，用于使用简单的传感器设置（一个或多个单眼摄像机）自动构建标记级别的高清图。我们优化标记角的位置，以适合标记分割的结果，并同时优化相应摄像机的反视角映射（IPM）矩阵，以获得从前视图图像到鸟类视图（BEV）的准确转换。在定量评估中，构建的高清图几乎达到了百厘厘米级的准确性。优化的IPM矩阵的准确性与手动校准相似。该方法还可以概括以通过增加可识别标记的类型来从更广泛的意义上构建高清图。

对于大多数LIDAR惯性进程，精确的初始状态，包括LiDAR和6轴IMU之间的时间偏移和外部转换，起着重要作用，通常被视为先决条件。但是，这种信息可能不会始终在定制的激光惯性系统中获得。在本文中，我们提出了liinit：一个完整​​的实时激光惯性系统初始化过程，该过程校准了激光雷达和imus之间的时间偏移和外部参数，以及通过对齐从激光雷达估计的状态来校准重力矢量和IMU偏置通过IMU测量的测量。我们将提出的方法实现为初始化模块，如果启用了，该模块会自动检测到收集的数据的激发程度并校准，即直接偏移，外部偏移，外部，重力向量和IMU偏置，然后是这样的。用作实时激光惯性射测系统的高质量初始状态值。用不同类型的LIDAR和LIDAR惯性组合进行的实验表明我们初始化方法的鲁棒性，适应性和效率。我们的LIDAR惯性初始化过程LIINIT和测试数据的实现在GitHub上开源，并集成到最先进的激光辐射射击轨道测定系统FastLiO2中。

当视野中有许多移动对象时，基于静态场景假设的SLAM系统会引入重大估计错误。跟踪和维护语义对象有益于场景理解，并为计划和控制模块提供丰富的决策信息。本文介绍了MLO，这是一种多对象的激光雷达探光仪，该镜像仅使用激光雷达传感器跟踪自我运动和语义对象。为了实现对多个对象的准确和强大的跟踪，我们提出了一个最小二乘估计器，该估计器融合了3D边界框和几何点云，用于对象状态更新。通过分析跟踪列表中的对象运动状态，映射模块使用静态对象和环境特征来消除累积错误。同时，它在MAP坐标中提供了连续的对象轨迹。我们的方法在公共Kitti数据集的不同情况下进行了定性和定量评估。实验结果表明，在高度动态，非结构化和未知的语义场景中，MLO的自我定位精度比最先进的系统更好。同时，与基于滤波的方法相比，具有语义几何融合的多目标跟踪方法在跟踪准确性和一致性方面也具有明显的优势。

我们在本文中介绍Raillomer，实现实时准确和鲁棒的内径测量和轨道车辆的测绘。 Raillomer从两个Lidars，IMU，火车车程和全球导航卫星系统（GNSS）接收器接收测量。作为前端，来自IMU / Royomer缩放组的估计动作De-Skews DeSoised Point云并为框架到框架激光轨道测量产生初始猜测。作为后端，配制了基于滑动窗口的因子图以共同优化多模态信息。另外，我们利用来自提取的轨道轨道和结构外观描述符的平面约束，以进一步改善对重复结构的系统鲁棒性。为了确保全局常见和更少的模糊映射结果，我们开发了一种两级映射方法，首先以本地刻度执行扫描到地图，然后利用GNSS信息来注册模块。该方法在聚集的数据集上广泛评估了多次范围内的数据集，并且表明Raillomer即使在大或退化的环境中也能提供排入量级定位精度。我们还将Raillomer集成到互动列车状态和铁路监控系统原型设计中，已经部署到实验货量交通铁路。

传统的LIDAR射测（LO）系统主要利用从经过的环境获得的几何信息来注册激光扫描并估算Lidar Ego-Motion，而在动态或非结构化环境中可能不可靠。本文提出了Inten-loam，一种低饮用和健壮的激光镜和映射方法，该方法完全利用激光扫描的隐式信息（即几何，强度和时间特征）。扫描点被投影到圆柱形图像上，这些图像有助于促进各种特征的有效和适应性提取，即地面，梁，立面和反射器。我们提出了一种新型基于强度的点登记算法，并将其纳入LIDAR的探光仪，从而使LO系统能够使用几何和强度特征点共同估计LIDAR EGO-MOTION。为了消除动态对象的干扰，我们提出了一种基于时间的动态对象删除方法，以在MAP更新之前过滤它们。此外，使用与时间相关的体素网格滤波器组织并缩减了本地地图，以维持当前扫描和静态局部图之间的相似性。在模拟和实际数据集上进行了广泛的实验。结果表明，所提出的方法在正常驾驶方案中实现了类似或更高的精度W.R.T，在非结构化环境中，最先进的方法优于基于几何的LO。

For an autonomous vehicle, the ability to sense its surroundings and to build an overall representation of the environment by fusing different sensor data streams is fundamental. To this end, the poses of all sensors need to be accurately determined. Traditional calibration methods are based on: 1) using targets specifically designed for calibration purposes in controlled environments, 2) optimizing a quality metric of the point clouds collected while traversing an unknown but static environment, or 3) optimizing the match among per-sensor incremental motion observations along a motion path fulfilling special requirements. In real scenarios, however, the online applicability of these methods can be limited, as they are typically highly dynamic, contain degenerate paths, and require fast computations. In this paper, we propose an approach that tackles some of these challenges by formulating the calibration problem as a joint but structured optimization problem of all sensor calibrations that takes as input a summary of the point cloud information consisting of ground points and pole detections. We demonstrate the efficiency and quality of the results of the proposed approach in a set of experiments with LiDAR simulation and real data from an urban trip.

我们提出了一种准确而坚固的多模态传感器融合框架，Metroloc，朝着最极端的场景之一，大规模地铁车辆本地化和映射。 Metroloc在以IMU为中心的状态估计器上构建，以较轻耦合的方法紧密地耦合光检测和测距（LIDAR），视觉和惯性信息。所提出的框架由三个子模块组成：IMU Odometry，LiDar - 惯性内径术（LIO）和视觉惯性内径（VIO）。 IMU被视为主要传感器，从LIO和VIO实现了从LIO和VIO的观察，以限制加速度计和陀螺仪偏差。与以前的点LIO方法相比，我们的方法通过将线路和平面特征引入运动估计来利用更多几何信息。 VIO还通过使用两条线和点来利用环境结构信息。我们所提出的方法在具有维护车辆的长期地铁环境中广泛测试。实验结果表明，该系统比使用实时性能的最先进的方法更准确和强大。此外，我们开发了一系列虚拟现实（VR）应用，以实现高效，经济，互动的轨道车辆状态和轨道基础设施监控，已经部署到室外测试铁路。

旋转激光雷达数据对于3D感知任务普遍存在，但尚未研究其圆柱形图像形式。传统方法将扫描视为点云，并且它们依赖于昂贵的欧几里德3D最近邻居搜索数据关联或依赖于投影范围图像以进行进一步处理。我们重新审视LIDAR扫描形成，并呈现来自原始扫描数据的圆柱形范围图像表示，配备有效校准的球形投射模型。通过我们的配方，我们1）收集一个LIDAR数据的大型数据集，包括室内和室外序列，伴随着伪接地的真理姿势;2）评估综合性和现实世界转型的序列上的投影和常规登记方法;3）将最先进的RGB-D算法转移到LIDAR，其运行高达180 Hz的注册和150 Hz以进行密集的重建。数据集和工具将被释放。

In this paper, we introduce a novel approach for ground plane normal estimation of wheeled vehicles. In practice, the ground plane is dynamically changed due to braking and unstable road surface. As a result, the vehicle pose, especially the pitch angle, is oscillating from subtle to obvious. Thus, estimating ground plane normal is meaningful since it can be encoded to improve the robustness of various autonomous driving tasks (e.g., 3D object detection, road surface reconstruction, and trajectory planning). Our proposed method only uses odometry as input and estimates accurate ground plane normal vectors in real time. Particularly, it fully utilizes the underlying connection between the ego pose odometry (ego-motion) and its nearby ground plane. Built on that, an Invariant Extended Kalman Filter (IEKF) is designed to estimate the normal vector in the sensor's coordinate. Thus, our proposed method is simple yet efficient and supports both camera- and inertial-based odometry algorithms. Its usability and the marked improvement of robustness are validated through multiple experiments on public datasets. For instance, we achieve state-of-the-art accuracy on KITTI dataset with the estimated vector error of 0.39{\deg}. Our code is available at github.com/manymuch/ground_normal_filter.

在本文中，我们介绍了全球导航卫星系统（GNSS）辅助激光乐队 - 视觉惯性方案RAILTOMER-V，用于准确且坚固的铁路车辆本地化和映射。 Raillomer-V在因子图上制定，由两个子系统组成：辅助LiDar惯性系统（OLIS）和距离的内径综合视觉惯性系统（OVI）。两个子系统都利用了铁路上的典型几何结构。提取的轨道轨道的平面约束用于补充OLI中的旋转和垂直误差。此外，线特征和消失点被利用以限制卵巢中的旋转漂移。拟议的框架在800公里的数据集中广泛评估，聚集在一年以上的一般速度和高速铁路，日夜。利用各个传感器的所有测量的紧密耦合集成，我们的框架准确到了长期的任务，并且足够强大地避免了退行的情景（铁路隧道）。此外，可以使用车载计算机实现实时性能。

同时定位和映射（SLAM）对于自主机器人（例如自动驾驶汽车，自动无人机），3D映射系统和AR/VR应用至关重要。这项工作提出了一个新颖的LIDAR惯性 - 视觉融合框架，称为R $^3 $ LIVE ++，以实现强大而准确的状态估计，同时可以随时重建光线体图。 R $^3 $ LIVE ++由LIDAR惯性探针（LIO）和视觉惯性探测器（VIO）组成，均为实时运行。 LIO子系统利用从激光雷达的测量值重建几何结构（即3D点的位置），而VIO子系统同时从输入图像中同时恢复了几何结构的辐射信息。 r $^3 $ live ++是基于r $^3 $ live开发的，并通过考虑相机光度校准（例如，非线性响应功能和镜头渐滴）和相机的在线估计，进一步提高了本地化和映射的准确性和映射接触时间。我们对公共和私人数据集进行了更广泛的实验，以将我们提出的系统与其他最先进的SLAM系统进行比较。定量和定性结果表明，我们所提出的系统在准确性和鲁棒性方面对其他系统具有显着改善。此外，为了证明我们的工作的可扩展性，{我们基于重建的辐射图开发了多个应用程序，例如高动态范围（HDR）成像，虚拟环境探索和3D视频游戏。}最后，分享我们的发现和我们的发现和为社区做出贡献，我们在GitHub上公开提供代码，硬件设计和数据集：github.com/hku-mars/r3live

通过实现复杂场景实现长期漂移相机姿势估计的目标，我们提出了一种全球定位框架，融合了多层的视觉，惯性和全球导航卫星系统（GNSS）测量。不同于以前的松散和紧密耦合的方法，所提出的多层融合允许我们彻底校正视觉测量仪的漂移，并在GNSS降解时保持可靠的定位。特别地，通过融合GNSS的速度，在紧紧地集成的情况下，解决视觉测量测量测量测量率和偏差估计中的尺度漂移和偏差估计的问题的问题，惯性测量单元（IMU）的预集成以及紧密相机测量的情况下 - 耦合的方式。在外层中实现全局定位，其中局部运动进一步与GNSS位置和基于长期时期的过程以松散耦合的方式融合。此外，提出了一种专用的初始化方法，以保证所有状态变量和参数的快速准确估计。我们为室内和室外公共数据集提供了拟议框架的详尽测试。平均本地化误差减少了63％，而初始化精度与最先进的工程相比，促销率为69％。我们已将算法应用于增强现实（AR）导航，人群采购高精度地图更新等大型应用。

近年来，自动路滚轮作为一种流行的建筑机器人，吸引了行业和研究界的兴趣。然而，当涉及突破退变问题的隧道时，为机器人提供准确的定位结果，仍然是一个具有挑战性的问题。在本文中，我们的目的是通过基于优化来解决激光雷达和UWB测量来处理这个问题。在所提出的定位方法中，将受到限制的非变性的指示，将引入UWB重建的协方差以提高本地化的准确性。除此之外，还介绍了一种可以提取隧道内壁的特征以辅助定位的方法。为了评估所提出的方法的有效性，进行了真正的公路滚轮的三个实验，结果表明，我们的方法可以实现比现有方法更好的性能，并且可以应用于隧道内部工作的自动路滚轮。最后，我们讨论了在实际应用中部署系统的可行性，并提出了一些建议。

移动机器人应用需要有关平台上各个传感器的几何位置的精确信息。此信息由外部校准参数给出，该参数定义了传感器如何相对于固定参考坐标系的旋转和翻译。错误的校准参数对典型的机器人估计任务有负面影响，例如大满贯。在这项工作中，我们提出了一种新方法，用于在机器人操作过程中连续估计校准参数。参数估计基于点云的匹配，这些点云是由传感器从多个静态观点获取的。因此，我们的方法不需要任何特殊的校准目标，并且适用于可以将测量值转换为点云的任何传感器。我们通过校准由2个LIDAR传感器，3个相机和一个成像雷达传感器组成的多传感器系统来证明我们方法的适用性。