在基于特征的同时定位和映射（SLAM）中，LINE具有点特征的稀疏性，使得可以映射周围环境结构。利用线特征的现有方法主要采用了使用线重新投影的测量模型。然而，在3D线映射过程中使用的方向向量不能被校正，因为线路测量模型仅在PL \“{U} CKER坐标中仅采用行的正常向量。结果，在3D期间发生的退化性等问题不能解决线映射过程。为了解决问题，本文提出了一种UV-SLAM，它是使用用于结构映射的消失点的基于不受约束的线路。本文侧重于使用结构规则而没有任何限制，如曼哈顿世界假设。为此，我们使用从线特征获得的消失点。通过图像中的线特征计算的消失点观察与通过方向向量计算的消失点估计计算的差异被定义为残差和添加到基于优化的SLAM的成本函数。此外，通过Fisher信息矩阵等级分析，我们证明了消失点测量S保证了一个独特的映射解决方案。最后，我们证明，与使用公共数据集的最先进的算法相比，本地化准确性和映射质量得到改善。

随着线提供额外的约束，利用线特征可以有助于提高基于点的单眼视觉惯性内径（VIO）系统的定位精度。此外，在人工环境中，一些直线彼此平行。在本文中，我们设计了一种基于点和直线的VIO系统，它将直线分成结构直线（即彼此平行的直线）和非结构直线。另外，与使用四个参数表示3D直线的正交表示不同，我们仅使用两个参数来最小化结构直线和非结构直线的表示。此外，我们设计了一种基于采样点的直线匹配策略，提高了直线匹配的效率和成功率。我们的方法的有效性在EUROC和TUM VI基准的公共数据集上验证，与其他最先进的算法相比。

尽管数十年来，同时定位和映射（SLAM）一直是一个积极的研究主题，但由于特征不足或其固有的估计漂移，在许多平民环境中，当前的最新方法仍然遭受不稳定或不准确性的困扰。为了解决这些问题，我们提出了一个梳理SLAM和先前基于图的本地化的导航系统。具体而言，我们考虑了线条和平面特征的其他集成，这些特征在平民环境中无处不在，在结构上更突出，以确保功能充足和本地化的鲁棒性。更重要的是，我们将一般的先验地图信息纳入SLAM以限制其漂移并提高准确性。为了避免在先前的信息和局部观察之间进行严格的关联，我们将先验知识的参数化为低维结构先验，定义为不同几何原始原始人之间的相对距离/角度。本地化被公式化为基于图的优化问题，其中包含基于滑动窗口的变量和因素，包括IMU，异质特征和结构先验。我们还得出了不同因素的雅各布人的分析表达式，以避免自动分化开销。为了进一步减轻结合结构先验因素的计算负担，根据所谓的信息增益采用了选择机制，以仅将最有效的结构先验纳入图表优化中。最后，对综合数据，公共数据集以及更重要的是，对所提出的框架进行了广泛的测试。结果表明，所提出的方案可以有效地提高平民应用中自动驾驶机器人的本地化的准确性和鲁棒性。

A monocular visual-inertial system (VINS), consisting of a camera and a low-cost inertial measurement unit (IMU), forms the minimum sensor suite for metric six degreesof-freedom (DOF) state estimation. However, the lack of direct distance measurement poses significant challenges in terms of IMU processing, estimator initialization, extrinsic calibration, and nonlinear optimization. In this work, we present VINS-Mono: a robust and versatile monocular visual-inertial state estimator. Our approach starts with a robust procedure for estimator initialization and failure recovery. A tightly-coupled, nonlinear optimization-based method is used to obtain high accuracy visual-inertial odometry by fusing pre-integrated IMU measurements and feature observations. A loop detection module, in combination with our tightly-coupled formulation, enables relocalization with minimum computation overhead. We additionally perform four degrees-of-freedom pose graph optimization to enforce global consistency. We validate the performance of our system on public datasets and real-world experiments and compare against other state-of-the-art algorithms. We also perform onboard closed-loop autonomous flight on the MAV platform and port the algorithm to an iOS-based demonstration. We highlight that the proposed work is a reliable, complete, and versatile system that is applicable for different applications that require high accuracy localization. We open source our implementations for both PCs 1 and iOS mobile devices 2 .

Accurate and safety-quantifiable localization is of great significance for safety-critical autonomous systems, such as unmanned ground vehicles (UGV) and unmanned aerial vehicles (UAV). The visual odometry-based method can provide accurate positioning in a short period but is subjected to drift over time. Moreover, the quantification of the safety of the localization solution (the error is bounded by a certain value) is still a challenge. To fill the gaps, this paper proposes a safety-quantifiable line feature-based visual localization method with a prior map. The visual-inertial odometry provides a high-frequency local pose estimation which serves as the initial guess for the visual localization. By obtaining a visual line feature pair association, a foot point-based constraint is proposed to construct the cost function between the 2D lines extracted from the real-time image and the 3D lines extracted from the high-precision prior 3D point cloud map. Moreover, a global navigation satellite systems (GNSS) receiver autonomous integrity monitoring (RAIM) inspired method is employed to quantify the safety of the derived localization solution. Among that, an outlier rejection (also well-known as fault detection and exclusion) strategy is employed via the weighted sum of squares residual with a Chi-squared probability distribution. A protection level (PL) scheme considering multiple outliers is derived and utilized to quantify the potential error bound of the localization solution in both position and rotation domains. The effectiveness of the proposed safety-quantifiable localization system is verified using the datasets collected in the UAV indoor and UGV outdoor environments.

事件摄像机是运动激活的传感器，可捕获像素级照明的变化，而不是具有固定帧速率的强度图像。与标准摄像机相比，它可以在高速运动和高动态范围场景中提供可靠的视觉感知。但是，当相机和场景之间的相对运动受到限制时，例如在静态状态下，事件摄像机仅输出一点信息甚至噪音。尽管标准相机可以在大多数情况下，尤其是在良好的照明条件下提供丰富的感知信息。这两个相机完全是互补的。在本文中，我们提出了一种具有鲁棒性，高智能和实时优化的基于事件的视觉惯性镜（VIO）方法，具有事件角度，基于线的事件功能和基于点的图像功能。提出的方法旨在利用人为场景中的自然场景和基于线路的功能中的基于点的功能，以通过设计良好设计的功能管理提供更多其他结构或约束信息。公共基准数据集中的实验表明，与基于图像或基于事件的VIO相比，我们的方法可以实现卓越的性能。最后，我们使用我们的方法演示了机上闭环自动驾驶四极管飞行和大规模室外实验。评估的视频在我们的项目网站上介绍：https：//b23.tv/oe3qm6j

通过实现复杂场景实现长期漂移相机姿势估计的目标，我们提出了一种全球定位框架，融合了多层的视觉，惯性和全球导航卫星系统（GNSS）测量。不同于以前的松散和紧密耦合的方法，所提出的多层融合允许我们彻底校正视觉测量仪的漂移，并在GNSS降解时保持可靠的定位。特别地，通过融合GNSS的速度，在紧紧地集成的情况下，解决视觉测量测量测量测量率和偏差估计中的尺度漂移和偏差估计的问题的问题，惯性测量单元（IMU）的预集成以及紧密相机测量的情况下 - 耦合的方式。在外层中实现全局定位，其中局部运动进一步与GNSS位置和基于长期时期的过程以松散耦合的方式融合。此外，提出了一种专用的初始化方法，以保证所有状态变量和参数的快速准确估计。我们为室内和室外公共数据集提供了拟议框架的详尽测试。平均本地化误差减少了63％，而初始化精度与最先进的工程相比，促销率为69％。我们已将算法应用于增强现实（AR）导航，人群采购高精度地图更新等大型应用。

在本文中，我们介绍了全球导航卫星系统（GNSS）辅助激光乐队 - 视觉惯性方案RAILTOMER-V，用于准确且坚固的铁路车辆本地化和映射。 Raillomer-V在因子图上制定，由两个子系统组成：辅助LiDar惯性系统（OLIS）和距离的内径综合视觉惯性系统（OVI）。两个子系统都利用了铁路上的典型几何结构。提取的轨道轨道的平面约束用于补充OLI中的旋转和垂直误差。此外，线特征和消失点被利用以限制卵巢中的旋转漂移。拟议的框架在800公里的数据集中广泛评估，聚集在一年以上的一般速度和高速铁路，日夜。利用各个传感器的所有测量的紧密耦合集成，我们的框架准确到了长期的任务，并且足够强大地避免了退行的情景（铁路隧道）。此外，可以使用车载计算机实现实时性能。

在本文中，提出了一种新的视觉惯性内径（VIO）的步行 - vio，采用步行运动 - 自适应腿运动约束，其提出了用身体运动改变为四足机器人的定位。四足机器人主要使用VIO，因为它们需要快速定位进行控制和路径规划。但是，由于四足功能机器主要用于室外，因此从天空或地面提取的外来特征导致跟踪故障。此外，Quadruped Robots的行走运动导致摆动，这降低了相机和惯性测量单元（IMU）引起的定位精度。为了克服这些限制，许多研究人员使用VIO与腿运动限制。然而，由于四足机器人的行走运动根据控制器，步态，四足机器人的速度等，因此在添加腿运动限制的过程中应该考虑这些因素。我们提出了通过调整腿运动约束因素来使用的VIO，无论步行运动如何。为了评估Walk-VIO，我们创建和发布二章机器人的数据集，这些机器人在仿真环境中以各种类型的行走运动移动。此外，我们通过与当前最先进的算法进行比较验证了WAWN-VIO的有效性。

Visual odometry is crucial for many robotic tasks such as autonomous exploration and path planning. Despite many progresses, existing methods are still not robust enough to dynamic illumination environments. In this paper, we present AirVO, an illumination-robust and accurate stereo visual odometry system based on point and line features. To be robust to illumination variation, we introduce the learning-based feature extraction and matching method and design a novel VO pipeline, including feature tracking, triangulation, key-frame selection, and graph optimization etc. We also employ long line features in the environment to improve the accuracy of the system. Different from the traditional line processing pipelines in visual odometry systems, we propose an illumination-robust line tracking method, where point feature tracking and distribution of point and line features are utilized to match lines. In the experiments, the proposed system is extensively evaluated in environments with dynamic illumination and the results show that it achieves superior performance to the state-of-the-art algorithms.

在本文中，我们提出了一个与RGB，深度，IMU和结构化平面信息融合的紧密耦合的大满贯系统。传统的基于稀疏点的大满贯系统始终保持大量地图点以建模环境。大量的地图点使我们具有很高的计算复杂性，因此很难在移动设备上部署。另一方面，平面是人造环境中的常见结构，尤其是在室内环境中。我们通常可以使用少量飞机代表大型场景。因此，本文的主要目的是降低基于稀疏点的大满贯的高复杂性。我们构建了一个轻巧的后端地图，该地图由几个平面和地图点组成，以相等或更高的精度实现有效的捆绑捆绑调整（BA）。我们使用统计约束来消除优化中众多平面点的参数，并降低BA的复杂性。我们将同构和点对平面约束的参数和测量分开，并压缩测量部分，以进一步有效地提高BA的速度。我们还将平面信息集成到整个系统中，以实现强大的平面特征提取，数据关联和全球一致的平面重建。最后，我们进行消融研究，并用模拟和真实环境数据中的类似方法比较我们的方法。我们的系统在准确性和效率方面具有明显的优势。即使平面参数参与了优化，我们也可以使用平面结构有效地简化后端图。全局捆绑捆绑调整的速度几乎是基于稀疏点的SLAM算法的2倍。

我们在本文中介绍Raillomer，实现实时准确和鲁棒的内径测量和轨道车辆的测绘。 Raillomer从两个Lidars，IMU，火车车程和全球导航卫星系统（GNSS）接收器接收测量。作为前端，来自IMU / Royomer缩放组的估计动作De-Skews DeSoised Point云并为框架到框架激光轨道测量产生初始猜测。作为后端，配制了基于滑动窗口的因子图以共同优化多模态信息。另外，我们利用来自提取的轨道轨道和结构外观描述符的平面约束，以进一步改善对重复结构的系统鲁棒性。为了确保全局常见和更少的模糊映射结果，我们开发了一种两级映射方法，首先以本地刻度执行扫描到地图，然后利用GNSS信息来注册模块。该方法在聚集的数据集上广泛评估了多次范围内的数据集，并且表明Raillomer即使在大或退化的环境中也能提供排入量级定位精度。我们还将Raillomer集成到互动列车状态和铁路监控系统原型设计中，已经部署到实验货量交通铁路。

视觉惯性化学测定法吸引了自主驾驶和机器人技术领域的广泛关注。视场（FOV）的大小在视觉播音（VO）和视觉惯性二次测量法（VO）中起着重要作用，作为大型FOV，可以感知各种周围的场景元素和特征。但是，当摄像机的字段到达负半平面时，就不能简单地使用[u，v，1]^t来表示图像特征点。为了解决这个问题，我们建议LF-VIO，这是一个具有极大FOV的相机的实时VIO框架。我们利用具有单位长度的三维矢量来表示特征点，并设计一系列算法来克服这一挑战。为了解决带有地位的位置和姿势的全景视觉探针数据集的稀缺性，我们介绍了Palvio数据集，该数据集用具有360 {\ deg} x的整个FOV的全景环形镜头（PAL）系统收集（40 {\ deg}） -120 {\ deg}）和IMU传感器。有了全面的实验，在已建立的Palvio基准和公共Fisheye摄像机数据集上验证了建议的LF-VIO，其FOV为360 {\ deg} x（0 {\ deg} -93.5 {\ deg}）。 LF-VIO优于最先进的视觉惯性 - 调节法。我们的数据集和代码可在https://github.com/flysoaryun/lf-vio上公开提供。

本文展示了一个视觉大满贯系统，该系统利用点和线云，同时使用嵌入式零件平面重建（PPR）模块，共同提供结构图。为了与跟踪并行构建一致的尺度地图，例如使用单个摄像机会带来挑战，以歧义性歧义重建几何原始图，并进一步引入了捆绑调整（BA）的图形优化的难度。我们通过在重建的线和飞机上提出几个运行时优化来解决这些问题。然后根据单眼框架的设计将系统用深度和立体声传感器扩展。结果表明，我们提出的SLAM紧密结合了语义功能，以增强前端跟踪和后端优化。我们在各种数据集上详尽地评估了系统，并为社区开放代码（https://github.com/peterfws/structure-plp-slam）。

在不同情况下，已经探索了相对旋转和翻译估计任务的最小解决方案，通常依赖于所谓的共同可见度图。但是，如何在没有重叠的两个框架之间建立直接旋转关系仍然是一个公开主题，如果解决了，它可以大大提高视觉尾声的准确性。在本文中，提出了一种新的最小解决方案，以通过利用新的图形结构来求解两个图像之间没有重叠区域的相对旋转估计，我们将其称为扩展性图（E-Graph）。与共同可见度图不同，高级标志（包括消失方向和平面正常）存储在我们的电子图纸中，这些图形在几何上可扩展。基于电子图表，旋转估计问题变得更简单，更优雅，因为它可以处理纯粹的旋转运动，并且需要更少的假设，例如曼哈顿/亚特兰大世界，平面/垂直运动。最后，我们将旋转估计策略嵌入完整的相机跟踪和映射系统中，该系统获得了6-DOF相机姿势和密集的3D网格模型。对公共基准测试的广泛实验表明，所提出的方法实现了最新的跟踪性能。

在面对低纹理的场景时，视觉测距算法倾向于降解 - 从例如时。人造环境 - 往往难以找到足够数量的点特征。替代的几何视觉提示，例如可以在这些场景中找到的线，这可能会特别有用。此外，这些场景通常存在结构规律，例如并行性或正交性，并持有曼哈顿世界的假设。在这些场所，在这项工作中，我们介绍了MSC-VO，这是一个RGB-D基的视觉测量方法，它结合了点和线条特征和利用，如果存在，那些结构规律和场景的曼哈顿轴。在我们的方法中，这些结构约束最初用于精确地估计提取线的3D位置。这些约束也与估计的曼哈顿轴相结合，并通过本地地图优化将相机姿势改进的点和线路的重新注入误差。这种组合使我们的方法能够在不存在上述约束的情况下操作，允许该方法用于更广泛的方案。此外，我们提出了一种新颖的多视图曼哈顿轴估计程序，主要依赖于线特征。使用几个公共数据集进行评估MSC-VO，优于其他最先进的解决方案，并且即使使用一些SLAM方法也是有利的。

在本文中，我们开发了一个健壮，有效的视觉大满贯系统，该系统利用了低阈值，基线线和闭环钥匙帧功能的空间抑制。使用ORB-SLAM2，我们的方法包括立体声匹配，框架跟踪，本地捆绑包调整以及线路和点全局捆绑捆绑调整。特别是，我们根据基线贡献了重新注射。融合系统中的线路会消耗巨大的时间，我们减少了从分布点到利用特征点的空间抑制的时间。此外，低阈值关键点在处理低纹理方面可能更有效。为了克服跟踪钥匙帧的冗余问题，提出了有效且可靠的闭环跟踪钥匙框架。所提出的SLAM在Kitti和Euroc数据集中进行了广泛的测试，表明所提出的系统在各种情况下都优于最新方法。

视觉惯性探测器和猛击算法广泛用于各种领域，例如服务机器人，无人机和自动驾驶汽车。大多数SLAM算法都是基于地标是静态的。但是，在现实世界中，存在各种动态对象，它们会降低姿势估计精度。此外，暂时的静态对象，在观察过程中是静态的，但在视线视线时移动，触发假循环封闭。为了克服这些问题，我们提出了一个新颖的视觉惯性大满贯框架，称为dynavins，它对动态对象和暂时静态对象都具有强大的态度。在我们的框架中，我们首先提出一个可靠的捆绑捆绑调整，该调整可以通过利用IMU预融合估计的姿势先验来拒绝动态对象的功能。然后，提出了一个密钥帧分组和基于多种假设的约束分组方法，以减少循环闭合中暂时静态对象的效果。随后，我们在包含许多动态对象的公共数据集中评估了我们的方法。最后，通过成功拒绝动态和暂时静态对象的效果，我们的测力量与其他最先进方法相比，我们的测力素具有有希望的性能得到证实。我们的代码可在https://github.com/url-kaist/dynavins上找到。

我们提供了一种基于因子图优化的多摄像性视觉惯性内径系统，该系统通过同时使用所有相机估计运动，同时保留固定的整体特征预算。我们专注于在挑战环境中的运动跟踪，例如狭窄的走廊，具有侵略性动作的黑暗空间，突然的照明变化。这些方案导致传统的单眼或立体声测量失败。在理论上，使用额外的相机跟踪运动，但它会导致额外的复杂性和计算负担。为了克服这些挑战，我们介绍了两种新的方法来改善多相机特征跟踪。首先，除了从一体相机移动到另一个相机时，我们连续地跟踪特征的代替跟踪特征。这提高了准确性并实现了更紧凑的因子图表示。其次，我们选择跨摄像机的跟踪功能的固定预算，以降低反向结束优化时间。我们发现，使用较小的信息性功能可以保持相同的跟踪精度。我们所提出的方法使用由IMU和四个摄像机（前立体网和两个侧面）组成的硬件同步装置进行广泛测试，包括：地下矿，大型开放空间，以及带狭窄楼梯和走廊的建筑室内设计。与立体声最新的视觉惯性内径测量方法相比，我们的方法将漂移率，相对姿势误差，高达80％的翻译和旋转39％降低。

我们提出了一种准确而坚固的多模态传感器融合框架，Metroloc，朝着最极端的场景之一，大规模地铁车辆本地化和映射。 Metroloc在以IMU为中心的状态估计器上构建，以较轻耦合的方法紧密地耦合光检测和测距（LIDAR），视觉和惯性信息。所提出的框架由三个子模块组成：IMU Odometry，LiDar - 惯性内径术（LIO）和视觉惯性内径（VIO）。 IMU被视为主要传感器，从LIO和VIO实现了从LIO和VIO的观察，以限制加速度计和陀螺仪偏差。与以前的点LIO方法相比，我们的方法通过将线路和平面特征引入运动估计来利用更多几何信息。 VIO还通过使用两条线和点来利用环境结构信息。我们所提出的方法在具有维护车辆的长期地铁环境中广泛测试。实验结果表明，该系统比使用实时性能的最先进的方法更准确和强大。此外，我们开发了一系列虚拟现实（VR）应用，以实现高效，经济，互动的轨道车辆状态和轨道基础设施监控，已经部署到室外测试铁路。