Accurate and robust extrinsic calibration is necessary for deploying autonomous systems which need multiple sensors for perception. In this paper, we present a robust system for real-time extrinsic calibration of multiple lidars in vehicle base frame without the need for any fiducial markers or features. We base our approach on matching absolute GNSS and estimated lidar poses in real-time. Comparing rotation components allows us to improve the robustness of the solution than traditional least-square approach comparing translation components only. Additionally, instead of comparing all corresponding poses, we select poses comprising maximum mutual information based on our novel observability criteria. This allows us to identify a subset of the poses helpful for real-time calibration. We also provide stopping criteria for ensuring calibration completion. To validate our approach extensive tests were carried out on data collected using Scania test vehicles (7 sequences for a total of ~ 6.5 Km). The results presented in this paper show that our approach is able to accurately determine the extrinsic calibration for various combinations of sensor setups.

对于大多数LIDAR惯性进程，精确的初始状态，包括LiDAR和6轴IMU之间的时间偏移和外部转换，起着重要作用，通常被视为先决条件。但是，这种信息可能不会始终在定制的激光惯性系统中获得。在本文中，我们提出了liinit：一个完整​​的实时激光惯性系统初始化过程，该过程校准了激光雷达和imus之间的时间偏移和外部参数，以及通过对齐从激光雷达估计的状态来校准重力矢量和IMU偏置通过IMU测量的测量。我们将提出的方法实现为初始化模块，如果启用了，该模块会自动检测到收集的数据的激发程度并校准，即直接偏移，外部偏移，外部，重力向量和IMU偏置，然后是这样的。用作实时激光惯性射测系统的高质量初始状态值。用不同类型的LIDAR和LIDAR惯性组合进行的实验表明我们初始化方法的鲁棒性，适应性和效率。我们的LIDAR惯性初始化过程LIINIT和测试数据的实现在GitHub上开源，并集成到最先进的激光辐射射击轨道测定系统FastLiO2中。

准确可靠的传感器校准对于在自主驾驶中融合激光雷达和惯性测量至关重要。本文提出了一种新型的3D-LIDAR和姿势传感器的新型三阶段外部校准方法，用于自主驾驶。第一阶段可以通过点云表面特征快速校准传感器之间的外部参数，以便可以将外部参数从大的初始误差范围缩小到很小的时间范围。第二阶段可以基于激光映射空间占用率进一步校准外部参数，同时消除运动失真。在最后阶段，校正了由自动驾驶汽车的平面运动引起的Z轴误差，并最终获得了精确的外部参数。具体而言，该方法利用了道路场景的自然特征，使其独立且易于在大规模条件下应用。现实世界数据集的实验结果证明了我们方法的可靠性和准确性。这些代码是在GitHub网站上开源的。据我们所知，这是第一个专门为自动驾驶设计的开源代码，用于校准激光雷达和姿势传感器外部参数。代码链接是https://github.com/opencalib/lidar2ins。

确定多个激光痛和相机之间的外在参数对于自主机器人至关重要，尤其是对于固态激光痛，每个LIDAR单元具有很小的视野（FOV）（FOV），并且通常集体使用多个单元。对于360 $^\ circ $机械旋转激光盆，提出了大多数外部校准方法，其中假定FOV与其他LIDAR或相机传感器重叠。很少有研究工作集中在校准小型FOV激光痛和摄像头，也没有提高校准速度。在这项工作中，我们考虑了小型FOV激光痛和相机之间外部校准的问题，目的是缩短总校准时间并进一步提高校准精度。我们首先在LIDAR特征点的提取和匹配中实现自适应体素化技术。这样的过程可以避免在激光痛外校准中冗余创建$ k $ d树，并以比现有方法更可靠和快速提取激光雷达特征点。然后，我们将多个LIDAR外部校准制成LIDAR束调节（BA）问题。通过将成本函数得出最高为二阶，可以进一步提高非线性最小平方问题的求解时间和精度。我们提出的方法已在四个无目标场景和两种类型的固态激光雷达中收集的数据进行了验证，这些扫描模式，密度和FOV完全不同。在八个初始设置下，我们工作的鲁棒性也得到了验证，每个设置包含100个独立试验。与最先进的方法相比，我们的工作提高了激光雷达外部校准的校准速度15倍，激光摄像机外部校准（由50个独立试验产生的平均），同时保持准确，同时保持准确。

A monocular visual-inertial system (VINS), consisting of a camera and a low-cost inertial measurement unit (IMU), forms the minimum sensor suite for metric six degreesof-freedom (DOF) state estimation. However, the lack of direct distance measurement poses significant challenges in terms of IMU processing, estimator initialization, extrinsic calibration, and nonlinear optimization. In this work, we present VINS-Mono: a robust and versatile monocular visual-inertial state estimator. Our approach starts with a robust procedure for estimator initialization and failure recovery. A tightly-coupled, nonlinear optimization-based method is used to obtain high accuracy visual-inertial odometry by fusing pre-integrated IMU measurements and feature observations. A loop detection module, in combination with our tightly-coupled formulation, enables relocalization with minimum computation overhead. We additionally perform four degrees-of-freedom pose graph optimization to enforce global consistency. We validate the performance of our system on public datasets and real-world experiments and compare against other state-of-the-art algorithms. We also perform onboard closed-loop autonomous flight on the MAV platform and port the algorithm to an iOS-based demonstration. We highlight that the proposed work is a reliable, complete, and versatile system that is applicable for different applications that require high accuracy localization. We open source our implementations for both PCs 1 and iOS mobile devices 2 .

我们提出了一种雷达惯性内径测量的方法，其使用连续时间框架来熔断来自多个汽车雷达的熔丝测量和惯性测量单元（IMU）。不利的天气条件对雷达传感器的操作性能不同，与相机和激光器传感器不同，对雷达传感器的操作性能没有显着影响。雷达在这种情况下的鲁棒性和乘客车辆雷达的普遍普遍激励我们来看看雷达用于自我运动估计。连续时间轨迹表示不仅应用于实现异构和异步多传感器融合的框架，还应用于通过能够计算封闭形式的姿势及其衍生物来实现高效优化，并且在任何特定时间沿着弹道。我们将我们的连续时间估计与来自离散时间雷达 - 惯性内径型方法的方法进行比较，并表明我们的连续时间方法优于离散时间方法。据我们所知，这是第一次将连续时间框架应用于雷达惯性内径术。

敏捷飞行或穿越不规则地形的激进运动会导致激光扫描中的运动失真，从而降低状态估计和映射。存在一些减轻这种效果的方法，但是对于资源受限的移动机器人来说，它们仍然太简单或计算成本高。为此，本文介绍了直接的激光惯性进程（DLIO），这是一种轻巧的激光惯性射击算法，采用新的粗到精细方法来构建连续的时间轨迹进行精确运动校正。我们方法的关键在于构建一组分析方程，这些方程仅通过时间来参数化，从而实现快速和可行的点。此方法之所以可行，仅仅是因为我们新颖的非线性几何观察者具有强大的收敛性能，该观察者提供了可证明正确的状态估计值来初始化敏感的IMU整合步骤。此外，通过同时执行运动校正和前期，并直接将每次扫描注册到地图并绕过扫描到扫描，DLIO的凝结体系结构在计算上的计算效率比当前最新的ART高20％精度提高12％。我们通过多种公共基准和自收集的数据集进行了广泛的测试，证明了DLIO的出色本地化精度，地图质量和较低的计算开销，与四种最先进的算法相比。

束调整（BA）是指同时确定传感器姿势和场景几何形状的问题，这是机器人视觉中的一个基本问题。本文为LIDAR传感器提供了一种有效且一致的捆绑捆绑调整方法。该方法采用边缘和平面特征来表示场景几何形状，并直接最大程度地减少从每个原始点到各自几何特征的天然欧几里得距离。该公式的一个不错的属性是几何特征可以在分析上解决，从而大大降低了数值优化的维度。为了更有效地表示和解决最终的优化问题，本文提出了一个新颖的概念{\ it point clusters}，该概念编码了通过一组紧凑的参数集与同一特征相关联的所有原始点，{\ it点群集坐标} 。我们根据点簇坐标得出BA优化的封闭形式的衍生物，并显示其理论属性，例如零空间和稀疏性。基于这些理论结果，本文开发了有效的二阶BA求解器。除了估计LiDAR姿势外，求解器还利用二阶信息来估计测量噪声引起的姿势不确定性，从而导致对LIDAR姿势的一致估计。此外，由于使用点群集的使用，开发的求解器从根本上避免了在优化的所有步骤中列出每个原始点（由于数量大量而非常耗时）：成本评估，衍生品评估和不确定性评估。我们的方法的实施是开源的，以使机器人界及其他地区受益。

For an autonomous vehicle, the ability to sense its surroundings and to build an overall representation of the environment by fusing different sensor data streams is fundamental. To this end, the poses of all sensors need to be accurately determined. Traditional calibration methods are based on: 1) using targets specifically designed for calibration purposes in controlled environments, 2) optimizing a quality metric of the point clouds collected while traversing an unknown but static environment, or 3) optimizing the match among per-sensor incremental motion observations along a motion path fulfilling special requirements. In real scenarios, however, the online applicability of these methods can be limited, as they are typically highly dynamic, contain degenerate paths, and require fast computations. In this paper, we propose an approach that tackles some of these challenges by formulating the calibration problem as a joint but structured optimization problem of all sensor calibrations that takes as input a summary of the point cloud information consisting of ground points and pole detections. We demonstrate the efficiency and quality of the results of the proposed approach in a set of experiments with LiDAR simulation and real data from an urban trip.

频率调制连续波（FMCW）LIDAR是一种最近新兴的技术，可通过多普勒效应效率进行每次返回的瞬时相对径向速度测量。在这封信中，我们使用这些多普勒速度测量值从FMCW激光雷达（FMCW Lidar）介绍了第一个连续的一次性绕线算法算法，以帮助几何变性环境中的探测率。我们应用现有的连续时间框架，该框架使用高斯工艺回归有效地估算车辆轨迹，以补偿由于任何机械驱动的激光雷达（FMCW和非FMCW）的扫描性质而引起的运动失真。我们在几个现实世界数据集上评估了我们提出的算法，包括我们收集的公开可用数据集和数据集。我们的算法优于也使用多普勒速度测量值的唯一现有方法，我们研究了包括此额外信息在内的困难条件，可大大提高性能。我们还证明了在标称条件下使用多普勒速度测量值的情况下，仅在有和不使用多普勒速度测量的情况下，仅激光射击的前进量的最新性能。该项目的代码可以在以下网址找到：https：//github.com/utiasasrl/steam_icp。

最近，多传感器融合已在自动化领域取得了重大进展，以提高导航和位置性能。作为融合算法的先决条件，对多传感器的外部校准的需求正在增长。为了计算外部参数，许多研究专门用于两步法，该方法将各个校准成对整合。由于失去了所有传感器的约束，因此效率低下且无效。关于减轻此负担，本文中提出了一种基于优化的IMU/LIDAR/摄像机共校准方法。首先，分别进行了IMU/相机和IMU/LIDAR在线校准。然后，棋盘中的角和表面特征点与粗糙的结果相关联，并构建了相机/LIDAR约束。最后，构建共校准优化以完善所有外部参数。我们评估了拟议方案在仿真中的性能，结果表明我们所提出的方法优于两步方法。

We propose a framework for tightly-coupled lidar inertial odometry via smoothing and mapping, LIO-SAM, that achieves highly accurate, real-time mobile robot trajectory estimation and map-building. LIO-SAM formulates lidar-inertial odometry atop a factor graph, allowing a multitude of relative and absolute measurements, including loop closures, to be incorporated from different sources as factors into the system. The estimated motion from inertial measurement unit (IMU) pre-integration de-skews point clouds and produces an initial guess for lidar odometry optimization. The obtained lidar odometry solution is used to estimate the bias of the IMU. To ensure high performance in real-time, we marginalize old lidar scans for pose optimization, rather than matching lidar scans to a global map. Scan-matching at a local scale instead of a global scale significantly improves the real-time performance of the system, as does the selective introduction of keyframes, and an efficient sliding window approach that registers a new keyframe to a fixed-size set of prior "sub-keyframes." The proposed method is extensively evaluated on datasets gathered from three platforms over various scales and environments.

恶劣天气的可靠运行对于部署安全自治车辆（AVS）至关重要。通过熔化来自标准AV传感器套件（即，Lidars，Cameras）的数据，可以实现鲁棒性和可靠性，其中天气强壮的传感器，例如毫米波雷达。批判性地，精确的传感器数据融合需要了解传感器对之间的刚体变换，这可以通过外部校准的过程来确定。已经为2D（平面）雷达传感器设计了许多外部校准算法 - 然而，最近开发的低成本3D毫米波雷达被设定为在许多应用中取代其2D对应物。在本文中，我们提出了一种连续时间3D雷达 - 相机外在校准算法，其利用雷达速度测量，并且与大多数现有技术不同，不需要专门的雷达逆向反射器存在于环境中。我们推出了我们配方的可观察性性质，并通过合成和现实世界实验证明了我们的算法的功效。

我们提供了一种基于因子图优化的多摄像性视觉惯性内径系统，该系统通过同时使用所有相机估计运动，同时保留固定的整体特征预算。我们专注于在挑战环境中的运动跟踪，例如狭窄的走廊，具有侵略性动作的黑暗空间，突然的照明变化。这些方案导致传统的单眼或立体声测量失败。在理论上，使用额外的相机跟踪运动，但它会导致额外的复杂性和计算负担。为了克服这些挑战，我们介绍了两种新的方法来改善多相机特征跟踪。首先，除了从一体相机移动到另一个相机时，我们连续地跟踪特征的代替跟踪特征。这提高了准确性并实现了更紧凑的因子图表示。其次，我们选择跨摄像机的跟踪功能的固定预算，以降低反向结束优化时间。我们发现，使用较小的信息性功能可以保持相同的跟踪精度。我们所提出的方法使用由IMU和四个摄像机（前立体网和两个侧面）组成的硬件同步装置进行广泛测试，包括：地下矿，大型开放空间，以及带狭窄楼梯和走廊的建筑室内设计。与立体声最新的视觉惯性内径测量方法相比，我们的方法将漂移率，相对姿势误差，高达80％的翻译和旋转39％降低。

我们为腿部机器人提供了一个开源视觉惯性训练率（VILO）状态估计解决方案Cerberus，该机器人使用一组标准传感器（包括立体声摄像机，IMU，联合编码器，，imu，联合编码器）实时实时估算各个地形的位置和接触传感器。除了估计机器人状态外，我们还执行在线运动学参数校准并接触离群值拒绝以大大减少位置漂移。在各种室内和室外环境中进行的硬件实验验证了Cerberus中的运动学参数可以将估计的漂移降低到长距离高速运动中的1％以下。我们的漂移结果比文献中报道的相同的一组传感器组比任何其他状态估计方法都要好。此外，即使机器人经历了巨大的影响和摄像头遮挡，我们的状态估计器也表现良好。状态估计器的实现以及用于计算我们结果的数据集，可在https://github.com/shuoyangrobotics/cerberus上获得。

在这项工作中，研究了使用板载探测仪和机器人间距离测量值的4个自由度（3D位置和标题）机器人对机器人相对框架转换估计的问题。首先，我们对问题进行了理论分析，即CRAMER-RAO下限（CRLB），Fisher Information Matrix（FIM）及其决定因素的推导和解释。其次，我们提出了基于优化的方法来解决该问题，包括二次约束二次编程（QCQP）和相应的半决赛编程（SDP）放松。此外，我们解决了以前的工作中忽略的实际问题，例如对超宽带（UWB）和轨道仪传感器之间的空间偏移的核算，拒绝UWB异常值并在开始操作之前检查单数配置。最后，对空中机器人进行的广泛的模拟和现实生活实验表明，所提出的QCQP和SDP方法的表现优于最先进的方法，尤其是在几何差或大的测量噪声条件下。通常，QCQP方法以计算时间为代价提供了最佳结果，而SDP方法运行得更快，并且在大多数情况下非常准确。

理想情况下，机器人应该以最大化关于其内部系统和外部操作环境的状态所获得的知识的方式移动。轨迹设计是一个具有挑战性的问题，从各种角度来看，从信息理论分析到基于倾斜的方法。最近，已经提出了基于可观察性的指标来找到能够快速准确的状态和参数估计的轨迹。这些方法的活力和功效尚未在文献中众所周知。在本文中，我们比较了两个最先进的方法，以便可观察性感知轨迹优化，并寻求增加重要的理论澄清和对其整体效力的宝贵讨论。为了评估，我们使用逼真的物理模拟器检查传感器到传感器外部自校准的代表性任务。我们还研究了这些算法的灵敏度，以改变易欣欣传感器测量的信息内容。

我们在本文中介绍Raillomer，实现实时准确和鲁棒的内径测量和轨道车辆的测绘。 Raillomer从两个Lidars，IMU，火车车程和全球导航卫星系统（GNSS）接收器接收测量。作为前端，来自IMU / Royomer缩放组的估计动作De-Skews DeSoised Point云并为框架到框架激光轨道测量产生初始猜测。作为后端，配制了基于滑动窗口的因子图以共同优化多模态信息。另外，我们利用来自提取的轨道轨道和结构外观描述符的平面约束，以进一步改善对重复结构的系统鲁棒性。为了确保全局常见和更少的模糊映射结果，我们开发了一种两级映射方法，首先以本地刻度执行扫描到地图，然后利用GNSS信息来注册模块。该方法在聚集的数据集上广泛评估了多次范围内的数据集，并且表明Raillomer即使在大或退化的环境中也能提供排入量级定位精度。我们还将Raillomer集成到互动列车状态和铁路监控系统原型设计中，已经部署到实验货量交通铁路。

在本文中，我们提出了用于滚动快门摄像机的概率连续时间视觉惯性频道（VIO）。连续的时轨迹公式自然促进异步高频IMU数据和运动延伸的滚动快门图像的融合。为了防止棘手的计算负载，提出的VIO是滑动窗口和基于密钥帧的。我们建议概率地将控制点边缘化，以保持滑动窗口中恒定的密钥帧数。此外，可以在我们的连续时间VIO中在线校准滚动快门相机的线曝光时间差（线延迟）。为了广泛检查我们的连续时间VIO的性能，对公共可用的WHU-RSVI，TUM-RSVI和Sensetime-RSVI Rolling快门数据集进行了实验。结果表明，提出的连续时间VIO显着优于现有的最新VIO方法。本文的代码库也将通过\ url {https://github.com/april-zju/ctrl-vio}开源。

众所周知，在ADAS应用中，需要良好的估计车辆的姿势。本文提出了一种鉴定的2.5D内径术，由此由横摆率传感器和四轮速度传感器衍生的平面内径测量由悬架的线性模型增强。虽然平面内径术的核心是在文献中已经理解的横摆率模型，但我们通过拟合二次传入信号，实现内插，推断和车辆位置的更精细的整合来增强这一点。我们通过DGPS / IMU参考的实验结果表明，该模型提供了与现有方法相比的高精度的内径估计。利用返回车辆参考点高度变化的传感器改变悬架配置，我们定义了车辆悬架的平面模型，从而增加了内径模型。我们提出了一个实验框架和评估标准，通过该标准评估了内径术的良好和与现有方法进行了比较。该测距模型旨在支持众所周知的低速环绕式摄像头系统。因此，我们介绍了一些应用程序结果，该应用结果显示使用所提出的内径术来查看和计算机视觉应用程序的性能提升