本文提出了一种准确且可扩展的方法，用于在3D先前的环境图上进行基准标签定位。所提出的方法包括三个步骤：1）基于视觉探针的标志性大满贯，以估算基准标签之间的相对姿势，2）基于几何匹配的基于几何匹配的全局标签映射映射映射通过最大集合查找和3）基于直接摄像机的标签姿势改进 - 与标准化信息距离的映射对齐。通过基于仿真的评估，提出的方法获得了98 \％的全局标签映射注册成功率和平均标签姿势估计精度的精度。实际环境中的实验结果表明，它可以在25分钟内将超过110个基准标签定位在数据记录和后处理中。

我们提出了一种准确而坚固的多模态传感器融合框架，Metroloc，朝着最极端的场景之一，大规模地铁车辆本地化和映射。 Metroloc在以IMU为中心的状态估计器上构建，以较轻耦合的方法紧密地耦合光检测和测距（LIDAR），视觉和惯性信息。所提出的框架由三个子模块组成：IMU Odometry，LiDar - 惯性内径术（LIO）和视觉惯性内径（VIO）。 IMU被视为主要传感器，从LIO和VIO实现了从LIO和VIO的观察，以限制加速度计和陀螺仪偏差。与以前的点LIO方法相比，我们的方法通过将线路和平面特征引入运动估计来利用更多几何信息。 VIO还通过使用两条线和点来利用环境结构信息。我们所提出的方法在具有维护车辆的长期地铁环境中广泛测试。实验结果表明，该系统比使用实时性能的最先进的方法更准确和强大。此外，我们开发了一系列虚拟现实（VR）应用，以实现高效，经济，互动的轨道车辆状态和轨道基础设施监控，已经部署到室外测试铁路。

Precise geolocalization is crucial for unmanned aerial vehicles (UAVs). However, most current deployed UAVs rely on the global navigation satellite systems (GNSS) or high precision inertial navigation systems (INS) for geolocalization. In this paper, we propose to use a lightweight visual-inertial system with a 2D georeference map to obtain accurate and consecutive geodetic positions for UAVs. The proposed system firstly integrates a micro inertial measurement unit (MIMU) and a monocular camera as odometry to consecutively estimate the navigation states and reconstruct the 3D position of the observed visual features in the local world frame. To obtain the geolocation, the visual features tracked by the odometry are further registered to the 2D georeferenced map. While most conventional methods perform image-level aerial image registration, we propose to align the reconstructed points to the map points in the geodetic frame; this helps to filter out the large portion of outliers and decouples the negative effects from the horizontal angles. The registered points are then used to relocalize the vehicle in the geodetic frame. Finally, a pose graph is deployed to fuse the geolocation from the aerial image registration and the local navigation result from the visual-inertial odometry (VIO) to achieve consecutive and drift-free geolocalization performance. We have validated the proposed method by installing the sensors to a UAV body rigidly and have conducted two flights in different environments with unknown initials. The results show that the proposed method can achieve less than 4m position error in flight at 100m high and less than 9m position error in flight about 300m high.

我们在本文中介绍Raillomer，实现实时准确和鲁棒的内径测量和轨道车辆的测绘。 Raillomer从两个Lidars，IMU，火车车程和全球导航卫星系统（GNSS）接收器接收测量。作为前端，来自IMU / Royomer缩放组的估计动作De-Skews DeSoised Point云并为框架到框架激光轨道测量产生初始猜测。作为后端，配制了基于滑动窗口的因子图以共同优化多模态信息。另外，我们利用来自提取的轨道轨道和结构外观描述符的平面约束，以进一步改善对重复结构的系统鲁棒性。为了确保全局常见和更少的模糊映射结果，我们开发了一种两级映射方法，首先以本地刻度执行扫描到地图，然后利用GNSS信息来注册模块。该方法在聚集的数据集上广泛评估了多次范围内的数据集，并且表明Raillomer即使在大或退化的环境中也能提供排入量级定位精度。我们还将Raillomer集成到互动列车状态和铁路监控系统原型设计中，已经部署到实验货量交通铁路。

本地化和导航是基本的机器人任务，需要准确，最新的地图才能完成这些任务，众包数据可检测地图更改，提出了吸引人的解决方案。收集和处理众包数据需要低成本的传感器和算法，但是现有的方法依赖于昂贵的传感器或计算昂贵的算法。此外，没有现有数据集来评估点云更改检测。因此，本文提出了一个使用低成本传感器（如立体声摄像机和IMU）来检测点云图中的变化的新型框架。此外，我们创建了一个数据集和相应的指标，借助高保真模拟器虚幻引擎4.实验表明，我们的视觉框架可以有效地检测数据集中的变化。

在这项工作中，我们探讨了对物体在看不见的世界中同时本地化和映射中的使用，并提出了一个对象辅助系统（OA-Slam）。更确切地说，我们表明，与低级点相比，物体的主要好处在于它们的高级语义和歧视力。相反，要点比代表对象（Cuboid或椭圆形）的通用粗模型具有更好的空间定位精度。我们表明，将点和对象组合非常有趣，可以解决相机姿势恢复的问题。我们的主要贡献是：（1）我们使用高级对象地标提高了SLAM系统的重新定位能力； （2）我们构建了一个能够使用3D椭圆形识别，跟踪和重建对象的自动系统； （3）我们表明，基于对象的本地化可用于重新初始化或恢复相机跟踪。我们的全自动系统允许对象映射和增强姿势跟踪恢复，我们认为这可以极大地受益于AR社区。我们的实验表明，可以从经典方法失败的视点重新定位相机。我们证明，尽管跟踪损失损失，但这种本地化使SLAM系统仍可以继续工作，而这种损失可能会经常发生在不理会的用户中。我们的代码和测试数据在gitlab.inria.fr/tangram/oa-slam上发布。

在这项研究中，我们提出了一种新型的视觉定位方法，以根据RGB摄像机的可视数据准确估计机器人在3D激光镜头内的六个自由度（6-DOF）姿势。使用基于先进的激光雷达的同时定位和映射（SLAM）算法，可获得3D地图，能够收集精确的稀疏图。将从相机图像中提取的功能与3D地图的点进行了比较，然后解决了几何优化问题，以实现精确的视觉定位。我们的方法允许使用配备昂贵激光雷达的侦察兵机器人一次 - 用于映射环境，并且仅使用RGB摄像头的多个操作机器人 - 执行任务任务，其本地化精度高于常见的基于相机的解决方案。该方法在Skolkovo科学技术研究所（Skoltech）收集的自定义数据集上进行了测试。在评估本地化准确性的过程中，我们设法达到了厘米级的准确性；中间翻译误差高达1.3厘米。仅使用相机实现的确切定位使使用自动移动机器人可以解决需要高度本地化精度的最复杂的任务。

这项工作描述了使用配备有单个向上的鱼眼相机和背光的移动校准机器人，该机器人的自动注册（约40个）固定网络（约40个）的固定，天花板安装的环境相机（约800平方米）的自动注册（约800平方米） Aruco标记以容易检测。 Fisheye摄像头用于进行视觉进程（VO），Aruco标记有助于在环境摄像机中轻松检测校准机器人。此外，鱼眼摄像机还能够检测到环境相机。这个双向双向检测限制了环境摄像机的姿势以解决优化问题。这种方法可用于自动注册用于监视，自动停车或机器人应用的大型多摄像机系统。这种基于VO的多机登记方法是使用现实世界实验进行了广泛验证的，并且还与使用LIDAR的类似方法进行了比较，该方法使用LIDAR（一种昂贵，更重，更重，饥饿的传感器）。

在面对低纹理的场景时，视觉测距算法倾向于降解 - 从例如时。人造环境 - 往往难以找到足够数量的点特征。替代的几何视觉提示，例如可以在这些场景中找到的线，这可能会特别有用。此外，这些场景通常存在结构规律，例如并行性或正交性，并持有曼哈顿世界的假设。在这些场所，在这项工作中，我们介绍了MSC-VO，这是一个RGB-D基的视觉测量方法，它结合了点和线条特征和利用，如果存在，那些结构规律和场景的曼哈顿轴。在我们的方法中，这些结构约束最初用于精确地估计提取线的3D位置。这些约束也与估计的曼哈顿轴相结合，并通过本地地图优化将相机姿势改进的点和线路的重新注入误差。这种组合使我们的方法能够在不存在上述约束的情况下操作，允许该方法用于更广泛的方案。此外，我们提出了一种新颖的多视图曼哈顿轴估计程序，主要依赖于线特征。使用几个公共数据集进行评估MSC-VO，优于其他最先进的解决方案，并且即使使用一些SLAM方法也是有利的。

本文提出了一个新颖的框架，用于在参考图中对车辆的实时定位和自负跟踪。核心想法是映射车辆观察到的语义对象，并将其注册到参考图中的相应对象。尽管最近的几项作品利用语义信息进行了跨视图本地化，但这项工作的主要贡献是一种视图不变的公式，该方法使该方法直接适用于可检测到对象的任何观点配置。另一个独特的特征是，由于适用于极端异常相群方案的数据关联方案，环境/对象变化的鲁棒性（例如，关联离群值90％）。为了展示我们的框架，我们考虑了仅使用汽车作为对象将地面车辆定位在参考对象图中的示例。虽然仅使用立体声摄像头用于接地车辆，但我们考虑使用立体声摄像机和激光扫描从地面观点构建了先验地图，并在不同日期捕获的地理参与的空中图像以证明框架对不同方式，观点和观点和观点和观点，观点和观点的稳健性，环境变化。对Kitti数据集的评估表明，在3.7 km的轨迹上，本地化发生在36秒内，其次是在激光雷达参考图中的平均位置误差为8.5 m，在空中对象图中的平均位置误差为8.5 m，其中77％对象是离群值，在71秒内实现定位，平均位置误差为7.9 m。

来自运动（SFM）技术的结构越来越多地用于从包括环境监测的许多域中的图像中创建3D地图。然而，SFM技术通常在视觉重复环境中被混淆，因为它们依赖于全局不同的图像特征。同时定位和映射（SLAM）技术在视觉重复环境中提供了潜在的解决方案，因为它们使用本地特征匹配，但是SLAM接近最佳地用广角相机，通常不适合记录环境系统的环境系统。我们通过提出双摄像机SLAM方法来解决这个问题，该方法使用前向广角相机进行定位，以及用于文档的向下的面对较窄的角度，高分辨率相机。使用前向相机视频获取的视频帧使用标准的SLAM方法处理，该方法通过环境提供成像系统的轨迹，然后用于指导文档相机图像的登记。随后从文档摄像机图像由单眼摄像机图像产生的零碎地图随后缩放并与定位相机轨迹对齐，最后经过全局优化过程以产生统一的精细地图。具有多种最先进的SFM方法的实验比较显示了基于地面控制点标记的选择样本在重复环境系统中执行的双相机液化方法。

现代视觉惯性导航系统（VINS）面临着实际部署中的一个关键挑战：他们需要在高度动态的环境中可靠且强大地运行。当前最佳解决方案仅根据对象类别的语义将动态对象过滤为异常值。这样的方法不缩放，因为它需要语义分类器来包含所有可能移动的对象类;这很难定义，更不用说部署。另一方面，许多现实世界的环境以墙壁和地面等平面形式表现出强大的结构规律，这也是至关重要的。我们呈现RP-VIO，一种单眼视觉惯性内径系统，可以利用这些平面的简单几何形状，以改善充满活力环境的鲁棒性和准确性。由于现有数据集具有有限数量的动态元素，因此我们还提供了一种高动态的光致态度合成数据集，用于更有效地对现代VINS系统的功能的评估。我们评估我们在该数据集中的方法，以及来自标准数据集的三个不同序列，包括两个真实的动态序列，并在最先进的单眼视觉惯性内径系统上显示出鲁棒性和准确性的显着提高。我们还显示在模拟中，通过简单的动态特征掩蔽方法改进。我们的代码和数据集是公开可用的。

在本文中，我们提出了一个与RGB，深度，IMU和结构化平面信息融合的紧密耦合的大满贯系统。传统的基于稀疏点的大满贯系统始终保持大量地图点以建模环境。大量的地图点使我们具有很高的计算复杂性，因此很难在移动设备上部署。另一方面，平面是人造环境中的常见结构，尤其是在室内环境中。我们通常可以使用少量飞机代表大型场景。因此，本文的主要目的是降低基于稀疏点的大满贯的高复杂性。我们构建了一个轻巧的后端地图，该地图由几个平面和地图点组成，以相等或更高的精度实现有效的捆绑捆绑调整（BA）。我们使用统计约束来消除优化中众多平面点的参数，并降低BA的复杂性。我们将同构和点对平面约束的参数和测量分开，并压缩测量部分，以进一步有效地提高BA的速度。我们还将平面信息集成到整个系统中，以实现强大的平面特征提取，数据关联和全球一致的平面重建。最后，我们进行消融研究，并用模拟和真实环境数据中的类似方法比较我们的方法。我们的系统在准确性和效率方面具有明显的优势。即使平面参数参与了优化，我们也可以使用平面结构有效地简化后端图。全局捆绑捆绑调整的速度几乎是基于稀疏点的SLAM算法的2倍。

在不同情况下，已经探索了相对旋转和翻译估计任务的最小解决方案，通常依赖于所谓的共同可见度图。但是，如何在没有重叠的两个框架之间建立直接旋转关系仍然是一个公开主题，如果解决了，它可以大大提高视觉尾声的准确性。在本文中，提出了一种新的最小解决方案，以通过利用新的图形结构来求解两个图像之间没有重叠区域的相对旋转估计，我们将其称为扩展性图（E-Graph）。与共同可见度图不同，高级标志（包括消失方向和平面正常）存储在我们的电子图纸中，这些图形在几何上可扩展。基于电子图表，旋转估计问题变得更简单，更优雅，因为它可以处理纯粹的旋转运动，并且需要更少的假设，例如曼哈顿/亚特兰大世界，平面/垂直运动。最后，我们将旋转估计策略嵌入完整的相机跟踪和映射系统中，该系统获得了6-DOF相机姿势和密集的3D网格模型。对公共基准测试的广泛实验表明，所提出的方法实现了最新的跟踪性能。

由直觉的激励，即在相应的3D点云中定位2D图像的关键步骤正在建立它们之间的2d-3d对应关系，我们提出了第一个基于特征的密度通信框架，以解决图像到点云注册问题，称为Corri2p，由三个模块组成，即特征嵌入，对称重叠区域检测和通过已建立的对应关系构成估计。具体而言，给定一对2D图像和3D点云，我们首先将它们转换为高维特征空间，并将结果特征馈入对称重叠区域检测器，以确定图像和点云相互重叠的区域。然后，我们使用重叠区域的功能在RANSAC内运行EPNP之前以估算相机的姿势，以建立2D-3D对应关系。 Kitti和Nuscenes数据集的实验结果表明，我们的Corri2p优于最先进的图像到点云注册方法。我们将公开提供代码。

随着线提供额外的约束，利用线特征可以有助于提高基于点的单眼视觉惯性内径（VIO）系统的定位精度。此外，在人工环境中，一些直线彼此平行。在本文中，我们设计了一种基于点和直线的VIO系统，它将直线分成结构直线（即彼此平行的直线）和非结构直线。另外，与使用四个参数表示3D直线的正交表示不同，我们仅使用两个参数来最小化结构直线和非结构直线的表示。此外，我们设计了一种基于采样点的直线匹配策略，提高了直线匹配的效率和成功率。我们的方法的有效性在EUROC和TUM VI基准的公共数据集上验证，与其他最先进的算法相比。

激光雷达传感器是在未知环境中同时定位和映射（SLAM）的强大工具，但是它们产生的原始点云是密集的，计算量昂贵，并且不适合下游自治任务（例如运动计划）直接使用。为了与运动计划集成，希望大满贯管道生成轻量级的几何图表示。这样的表示也特别适合人造环境，通常可以将其视为在笛卡尔网格上建造的所谓“曼哈顿世界”。在这项工作中，我们为曼哈顿世界环境提出了一种3D激光雷达大满贯算法，该算法从点云中提取平面特征，以实现轻便，实时的定位和映射。我们的方法生成基于平面的地图，其记忆占其位置的记忆力明显少得多，并且适合于快速碰撞检查运动计划。通过利用曼哈顿世界的假设，我们靶向正交平面的提取，以生成比现有基于平面的LIDAR SLAM方法更结构化和组织的地图。我们证明了我们在高保真的AirSim模拟器以及配备有速蛋白底激光片的地面漫游车的现实实验中。在这两种情况下，我们都能够以匹配10 Hz的传感器速率的速率生成高质量的图和轨迹估计值。

同时定位和映射（SLAM）对于自主机器人（例如自动驾驶汽车，自动无人机），3D映射系统和AR/VR应用至关重要。这项工作提出了一个新颖的LIDAR惯性 - 视觉融合框架，称为R $^3 $ LIVE ++，以实现强大而准确的状态估计，同时可以随时重建光线体图。 R $^3 $ LIVE ++由LIDAR惯性探针（LIO）和视觉惯性探测器（VIO）组成，均为实时运行。 LIO子系统利用从激光雷达的测量值重建几何结构（即3D点的位置），而VIO子系统同时从输入图像中同时恢复了几何结构的辐射信息。 r $^3 $ live ++是基于r $^3 $ live开发的，并通过考虑相机光度校准（例如，非线性响应功能和镜头渐滴）和相机的在线估计，进一步提高了本地化和映射的准确性和映射接触时间。我们对公共和私人数据集进行了更广泛的实验，以将我们提出的系统与其他最先进的SLAM系统进行比较。定量和定性结果表明，我们所提出的系统在准确性和鲁棒性方面对其他系统具有显着改善。此外，为了证明我们的工作的可扩展性，{我们基于重建的辐射图开发了多个应用程序，例如高动态范围（HDR）成像，虚拟环境探索和3D视频游戏。}最后，分享我们的发现和我们的发现和为社区做出贡献，我们在GitHub上公开提供代码，硬件设计和数据集：github.com/hku-mars/r3live

精确和实时轨道车辆本地化以及铁路环境监测对于铁路安全至关重要。在这封信中，我们提出了一种基于多激光器的同时定位和映射（SLAM）系统，用于铁路应用。我们的方法从测量开始预处理，以便去噪并同步多个LIDAR输入。根据LIDAR放置使用不同的帧到框架注册方法。此外，我们利用来自提取的轨道轨道的平面约束来提高系统精度。本地地图进一步与利用绝对位置测量的全局地图对齐。考虑到不可避免的金属磨损和螺杆松动，在手术期间唤醒了在线外在细化。在收集3000公里的数据集上广泛验证了所提出的方法。结果表明，所提出的系统与大规模环境的有效映射一起实现了精确且稳健的本地化。我们的系统已应用于运费交通铁路以监控任务。

迭代最接近的点（ICP）算法是三维表面配准的几何比喻对齐的最重要算法之一，该算法经常用于计算机视觉任务，包括同时定位和映射（SLAM）任务。在本文中，我们说明了ICP算法的理论原理，如何在表面注册任务中使用以及ICP算法变体的传统分类学。随着SLAM成为一个受欢迎的话题，我们还根据每种SLAM任务的特征，包括SLAM任务是否在线，以及地标是否作为特征作为特征作为功能，我们还介绍了ICP算法的大满贯分类。大满贯任务。我们通过比较几个最新的研究论文并分析其实施细节来综合每种SLAM任务。