有了来自多个输入模式的信息，基于传感器融合的算法通常在机器人技术中表现出其单模式的表现。带有互补语义和深度信息的相机和激光镜头是复杂驾驶环境中检测任务的典型选择。但是，对于大多数摄像头融合算法，传感器套件的校准将极大地影响性能。更具体地说，检测算法通常需要多个传感器之间的准确几何关系作为输入，并且通常假定这些传感器的内容是同时捕获的。准备此类传感器套件涉及精心设计的校准钻机和准确的同步机制，并且制备过程通常是离线进行的。在这项工作中，提出了一个基于分割的框架，以共同估计摄像机套件校准中的几何和时间参数。首先将语义分割掩码应用于传感器模式，并通过像素双向损失优化校准参数。我们专门合并了来自光流的速度信息，以进行时间参数。由于仅在分割级别进行监督，因此在框架内不需要校准标签。提出的算法在KITTI数据集上进行了测试，结果显示了几何和时间参数的准确实时校准。

同时定位和映射（SLAM）对于自主机器人（例如自动驾驶汽车，自动无人机），3D映射系统和AR/VR应用至关重要。这项工作提出了一个新颖的LIDAR惯性 - 视觉融合框架，称为R $^3 $ LIVE ++，以实现强大而准确的状态估计，同时可以随时重建光线体图。 R $^3 $ LIVE ++由LIDAR惯性探针（LIO）和视觉惯性探测器（VIO）组成，均为实时运行。 LIO子系统利用从激光雷达的测量值重建几何结构（即3D点的位置），而VIO子系统同时从输入图像中同时恢复了几何结构的辐射信息。 r $^3 $ live ++是基于r $^3 $ live开发的，并通过考虑相机光度校准（例如，非线性响应功能和镜头渐滴）和相机的在线估计，进一步提高了本地化和映射的准确性和映射接触时间。我们对公共和私人数据集进行了更广泛的实验，以将我们提出的系统与其他最先进的SLAM系统进行比较。定量和定性结果表明，我们所提出的系统在准确性和鲁棒性方面对其他系统具有显着改善。此外，为了证明我们的工作的可扩展性，{我们基于重建的辐射图开发了多个应用程序，例如高动态范围（HDR）成像，虚拟环境探索和3D视频游戏。}最后，分享我们的发现和我们的发现和为社区做出贡献，我们在GitHub上公开提供代码，硬件设计和数据集：github.com/hku-mars/r3live

基于传感器的环境感知是自主驾驶系统的关键步骤，多个传感器之间的准确校准起着至关重要的作用。为了校准激光雷达和相机，现有方法通常是先校准相机的固有，然后校准激光雷达和相机的外部。如果在第一阶段无法正确校准摄像机的固有效果，则可以准确地校准激光镜相机外部校准并不容易。由于相机的复杂内部结构以及缺乏对摄像机内在校准的有效定量评估方法，因此在实际校准中，由于摄像机内在参数的微小误差，外部参数校准的准确性通常会降低。为此，我们提出了一种新型的基于目标的关节校准方法，用于摄像机内在和激光摄像机外部参数。首先，我们设计了一个新颖的校准板图案，在棋盘上增加了四个圆形孔，以定位激光姿势。随后，在棋盘板的再投影约束和圆形孔特征下定义的成本函数旨在求解相机的内在参数，失真因子和激光相机外部外部参数。最后，定量和定性实验是在实际和模拟环境中进行的，结果表明该方法可以达到准确性和鲁棒性能。开源代码可在https://github.com/opencalib/jointcalib上获得。

单眼相机传感器对于智能车辆操作和自动驾驶帮助至关重要，并且在交通控制基础设施中也很大程度上使用。但是，校准单眼摄像机很耗时，通常需要大量的手动干预。在这项工作中，我们提出了一种外部摄像机校准方法，该方法通过利用来自图像和点云的语义分割信息来自动化参数估计。我们的方法依赖于对摄像头姿势的粗略初始测量，并建立在具有高精度定位的车辆上的雷达传感器上，以捕获相机环境的点云。之后，通过执行语义分段传感器数据的激光镜头到相机的注册来获得相机和世界坐标空间之间的映射。我们在模拟和现实世界中评估了我们的方法，以证明校准结果中的低误差测量值。我们的方法适用于基础设施传感器和车辆传感器，而它不需要摄像机平台的运动。

虽然相机和激光雷达在大多数辅助和自主驾驶系统中广泛使用，但仅提出了少数作品来将用于在线传感器数据融合的摄像机和镜头的时间同步和外部校准相关联。时间和空间校准技术正面临缺乏相关性和实时的挑战。在本文中，我们介绍了姿势估计模型和环境鲁棒线的提取，以提高数据融合和即时在线校正能力的相关性。考虑到相邻力矩之间的点云匹配的对应关系，动态目标旨在寻求最佳政策。搜索优化过程旨在以计算精度和效率提供准确的参数。为了证明这种方法的好处，我们以基础真实价值在基蒂基准上进行评估。在在线实验中，与时间校准中的软同步方法相比，我们的方法提高了准确性38.5％。在空间校准时，我们的方法会在0.4秒内自动纠正干扰误差，并达到0.3度的精度。这项工作可以促进传感器融合的研究和应用。

In this paper, we introduce a novel approach for ground plane normal estimation of wheeled vehicles. In practice, the ground plane is dynamically changed due to braking and unstable road surface. As a result, the vehicle pose, especially the pitch angle, is oscillating from subtle to obvious. Thus, estimating ground plane normal is meaningful since it can be encoded to improve the robustness of various autonomous driving tasks (e.g., 3D object detection, road surface reconstruction, and trajectory planning). Our proposed method only uses odometry as input and estimates accurate ground plane normal vectors in real time. Particularly, it fully utilizes the underlying connection between the ego pose odometry (ego-motion) and its nearby ground plane. Built on that, an Invariant Extended Kalman Filter (IEKF) is designed to estimate the normal vector in the sensor's coordinate. Thus, our proposed method is simple yet efficient and supports both camera- and inertial-based odometry algorithms. Its usability and the marked improvement of robustness are validated through multiple experiments on public datasets. For instance, we achieve state-of-the-art accuracy on KITTI dataset with the estimated vector error of 0.39{\deg}. Our code is available at github.com/manymuch/ground_normal_filter.

当视野中有许多移动对象时，基于静态场景假设的SLAM系统会引入重大估计错误。跟踪和维护语义对象有益于场景理解，并为计划和控制模块提供丰富的决策信息。本文介绍了MLO，这是一种多对象的激光雷达探光仪，该镜像仅使用激光雷达传感器跟踪自我运动和语义对象。为了实现对多个对象的准确和强大的跟踪，我们提出了一个最小二乘估计器，该估计器融合了3D边界框和几何点云，用于对象状态更新。通过分析跟踪列表中的对象运动状态，映射模块使用静态对象和环境特征来消除累积错误。同时，它在MAP坐标中提供了连续的对象轨迹。我们的方法在公共Kitti数据集的不同情况下进行了定性和定量评估。实验结果表明，在高度动态，非结构化和未知的语义场景中，MLO的自我定位精度比最先进的系统更好。同时，与基于滤波的方法相比，具有语义几何融合的多目标跟踪方法在跟踪准确性和一致性方面也具有明显的优势。

在这项研究中，我们提出了一种新型的视觉定位方法，以根据RGB摄像机的可视数据准确估计机器人在3D激光镜头内的六个自由度（6-DOF）姿势。使用基于先进的激光雷达的同时定位和映射（SLAM）算法，可获得3D地图，能够收集精确的稀疏图。将从相机图像中提取的功能与3D地图的点进行了比较，然后解决了几何优化问题，以实现精确的视觉定位。我们的方法允许使用配备昂贵激光雷达的侦察兵机器人一次 - 用于映射环境，并且仅使用RGB摄像头的多个操作机器人 - 执行任务任务，其本地化精度高于常见的基于相机的解决方案。该方法在Skolkovo科学技术研究所（Skoltech）收集的自定义数据集上进行了测试。在评估本地化准确性的过程中，我们设法达到了厘米级的准确性；中间翻译误差高达1.3厘米。仅使用相机实现的确切定位使使用自动移动机器人可以解决需要高度本地化精度的最复杂的任务。

结合同时定位和映射（SLAM）估计和动态场景建模可以高效地在动态环境中获得机器人自主权。机器人路径规划和障碍避免任务依赖于场景中动态对象运动的准确估计。本文介绍了VDO-SLAM，这是一种强大的视觉动态对象感知SLAM系统，用于利用语义信息，使得能够在场景中进行准确的运动估计和跟踪动态刚性物体，而无需任何先前的物体形状或几何模型的知识。所提出的方法识别和跟踪环境中的动态对象和静态结构，并将这些信息集成到统一的SLAM框架中。这导致机器人轨迹的高度准确估计和对象的全部SE（3）运动以及环境的时空地图。该系统能够从对象的SE（3）运动中提取线性速度估计，为复杂的动态环境中的导航提供重要功能。我们展示了所提出的系统对许多真实室内和室外数据集的性能，结果表明了对最先进的算法的一致和实质性的改进。可以使用源代码的开源版本。

传统的LIDAR射测（LO）系统主要利用从经过的环境获得的几何信息来注册激光扫描并估算Lidar Ego-Motion，而在动态或非结构化环境中可能不可靠。本文提出了Inten-loam，一种低饮用和健壮的激光镜和映射方法，该方法完全利用激光扫描的隐式信息（即几何，强度和时间特征）。扫描点被投影到圆柱形图像上，这些图像有助于促进各种特征的有效和适应性提取，即地面，梁，立面和反射器。我们提出了一种新型基于强度的点登记算法，并将其纳入LIDAR的探光仪，从而使LO系统能够使用几何和强度特征点共同估计LIDAR EGO-MOTION。为了消除动态对象的干扰，我们提出了一种基于时间的动态对象删除方法，以在MAP更新之前过滤它们。此外，使用与时间相关的体素网格滤波器组织并缩减了本地地图，以维持当前扫描和静态局部图之间的相似性。在模拟和实际数据集上进行了广泛的实验。结果表明，所提出的方法在正常驾驶方案中实现了类似或更高的精度W.R.T，在非结构化环境中，最先进的方法优于基于几何的LO。

准确可靠的传感器校准对于在自主驾驶中融合激光雷达和惯性测量至关重要。本文提出了一种新型的3D-LIDAR和姿势传感器的新型三阶段外部校准方法，用于自主驾驶。第一阶段可以通过点云表面特征快速校准传感器之间的外部参数，以便可以将外部参数从大的初始误差范围缩小到很小的时间范围。第二阶段可以基于激光映射空间占用率进一步校准外部参数，同时消除运动失真。在最后阶段，校正了由自动驾驶汽车的平面运动引起的Z轴误差，并最终获得了精确的外部参数。具体而言，该方法利用了道路场景的自然特征，使其独立且易于在大规模条件下应用。现实世界数据集的实验结果证明了我们方法的可靠性和准确性。这些代码是在GitHub网站上开源的。据我们所知，这是第一个专门为自动驾驶设计的开源代码，用于校准激光雷达和姿势传感器外部参数。代码链接是https://github.com/opencalib/lidar2ins。

LIDAR点云失真来自移动物体是自动驾驶中的一个重要问题，最近对新兴激光器的出现更加苛刻，这具有前后扫描模式。准确地估计移动物体速度不仅提供跟踪功能，而且还可以通过更准确的移动物体描述来校正点云失真。由于LIDAR测量飞行时间距离但具有稀疏角度分辨率，因此测量在径向测量中精确，但缺乏角度。另一方面，相机提供了密集的角度分辨率。本文提出了基于高斯的激光乐乐和相机融合来估计完整的速度并校正激光雷达失真。提供概率的卡尔曼滤波器框架以跟踪移动物体，估计它们的速度，并同时纠正点云扭曲。框架在真正的道路数据上进行评估，融合方法优于传统的ICP和点云的方法。完整的工作框架是开放的（https://github.com/isee-technology/lidar-with-velocity），以加速新兴激光灯的采用。

多模式传感器的融合在自动驾驶和智能机器人中变得越来越流行，因为它可以比任何单个传感器提供更丰富的信息，从而在复杂的环境中增强可靠性。多传感器外部校准是传感器融合的关键因素之一。但是，由于传感器方式的种类以及对校准目标和人工的需求，这种校准很困难。在本文中，我们通过关注立体相机，热摄像机和激光传感器之间的外部转换，展示了一个新的无目标跨模式校准框架。具体而言，立体声和激光器之间的校准是通过最小化登记误差在3D空间中进行的，而通过优化边缘特征的对齐方式来估计其他两个传感器的热外部传感器。我们的方法不需要专门的目标，并且可以在没有人类相互作用的情况下进行一次镜头进行多传感器校准。实验结果表明，校准框架是准确且适用于一般场景的。

本文首先提出了一个有效的3D点云学习架构，名为PWCLO-NET的LIDAR ODOMORY。在该架构中，提出了3D点云的投影感知表示来将原始的3D点云组织成有序数据表单以实现效率。 LIDAR ODOMOMERY任务的金字塔，翘曲和成本量（PWC）结构是为估计和优化在分层和高效的粗良好方法中的姿势。建立一个投影感知的细心成本卷，以直接关联两个离散点云并获得嵌入运动模式。然后，提出了一种可训练的嵌入掩模来称量局部运动模式以回归整体姿势和过滤异常值点。可训练的姿势经线细化模块迭代地与嵌入式掩码进行分层优化，使姿势估计对异常值更加强大。整个架构是全能优化的端到端，实现成本和掩码的自适应学习，并且涉及点云采样和分组的所有操作都是通过投影感知的3D特征学习方法加速。在Kitti Ocomatry DataSet上证明了我们的激光乐队内径架构的卓越性能和有效性。我们的方法优于基于学习的所有基于学习的方法，甚至基于几何的方法，在大多数基于Kitti Odomatry数据集的序列上具有映射优化的遗传。

在现有方法中，LIDAR的探测器显示出卓越的性能，但视觉探测器仍被广泛用于其价格优势。从惯例上讲，视觉检验的任务主要依赖于连续图像的输入。但是，探测器网络学习图像提供的异性几何信息非常复杂。在本文中，将伪LIDAR的概念引入了探测器中以解决此问题。伪LIDAR点云背面项目由图像生成的深度图中的3D点云，这改变了图像表示的方式。与立体声图像相比，立体声匹配网络生成的伪lidar点云可以得到显式的3D坐标。由于在3D空间中发生了6个自由度（DOF）姿势转换，因此伪宽点云提供的3D结构信息比图像更直接。与稀疏的激光雷达相比，伪驱动器具有较密集的点云。为了充分利用伪LIDAR提供的丰富点云信息，采用了投射感知的探测管道。以前的大多数基于激光雷达的算法从点云中采样了8192点，作为探视网络的输入。投影感知的密集探测管道采用从图像产生的所有伪lidar点云，除了误差点作为网络的输入。在图像中充分利用3D几何信息时，图像中的语义信息也用于探视任务中。 2D-3D的融合是在仅基于图像的进程中实现的。 Kitti数据集的实验证明了我们方法的有效性。据我们所知，这是使用伪LIDAR的第一种视觉探光法。

作为许多自主驾驶和机器人活动的基本组成部分，如自我运动估计，障碍避免和场景理解，单眼深度估计（MDE）引起了计算机视觉和机器人社区的极大关注。在过去的几十年中，已经开发了大量方法。然而，据我们所知，对MDE没有全面调查。本文旨在通过审查1970年至2021年之间发布的197个相关条款来弥补这一差距。特别是，我们为涵盖各种方法的MDE提供了全面的调查，介绍了流行的绩效评估指标并汇总公开的数据集。我们还总结了一些代表方法的可用开源实现，并比较了他们的表演。此外，我们在一些重要的机器人任务中审查了MDE的应用。最后，我们通过展示一些有希望的未来研究方向来结束本文。预计本调查有助于读者浏览该研究领域。

在本文中，我们介绍了一种新的端到端学习的LIDAR重新定位框架，被称为Pointloc，其仅使用单点云直接姿势作为输入，不需要预先构建的地图。与RGB基于图像的重建化相比，LIDAR帧可以提供有关场景的丰富和强大的几何信息。然而，LIDAR点云是无序的并且非结构化，使得难以为此任务应用传统的深度学习回归模型。我们通过提出一种具有自我关注的小说点风格架构来解决这个问题，从而有效地估计660 {\ DEG} LIDAR输入框架的6-DOF姿势。关于最近发布的巨大恐怖雷达机器人数据集和现实世界机器人实验的扩展实验表明ProposedMethod可以实现准确的重定位化性能。

事件摄像机最近在高动力或具有挑战性的照明情况下具有强大的常规摄像头的潜力，因此摄影机最近变得越来越受欢迎。通过同时定位和映射（SLAM）给出了可能受益于事件摄像机的重要问题。但是，为了确保在包含事件的多传感器大满贯上进展，需要新颖的基准序列。我们的贡献是使用包含基于事件的立体声摄像机，常规立体声摄像机，多个深度传感器和惯性测量单元的多传感器设置捕获的第一组基准数据集。该设置是完全硬件同步的，并且经过了准确的外部校准。所有序列都均均均均由高度准确的外部参考设备（例如运动捕获系统）捕获的地面真相数据。各个序列都包括小型和大型环境，并涵盖动态视觉传感器针对的特定挑战。

现代计算机视觉已超越了互联网照片集的领域，并进入了物理世界，通过非结构化的环境引导配备摄像头的机器人和自动驾驶汽车。为了使这些体现的代理与现实世界对象相互作用，相机越来越多地用作深度传感器，重建了各种下游推理任务的环境。机器学习辅助的深度感知或深度估计会预测图像中每个像素的距离。尽管已经在深入估算中取得了令人印象深刻的进步，但仍然存在重大挑战：（1）地面真相深度标签很难大规模收集，（2）通常认为相机信息是已知的，但通常是不可靠的，并且（3）限制性摄像机假设很常见，即使在实践中使用了各种各样的相机类型和镜头。在本论文中，我们专注于放松这些假设，并描述将相机变成真正通用深度传感器的最终目标的贡献。

Conventional sensor-based localization relies on high-precision maps, which are generally built using specialized mapping techniques involving high labor and computational costs. In the architectural, engineering and construction industry, Building Information Models (BIM) are available and can provide informative descriptions of environments. This paper explores an effective way to localize a mobile 3D LiDAR sensor on BIM-generated maps considering both geometric and semantic properties. First, original BIM elements are converted to semantically augmented point cloud maps using categories and locations. After that, a coarse-to-fine semantic localization is performed to align laser points to the map based on iterative closest point registration. The experimental results show that the semantic localization can track the pose successfully with only one LiDAR sensor, thus demonstrating the feasibility of the proposed mapping-free localization framework. The results also show that using semantic information can help reduce localization errors on BIM-generated maps.