Visual odometry is crucial for many robotic tasks such as autonomous exploration and path planning. Despite many progresses, existing methods are still not robust enough to dynamic illumination environments. In this paper, we present AirVO, an illumination-robust and accurate stereo visual odometry system based on point and line features. To be robust to illumination variation, we introduce the learning-based feature extraction and matching method and design a novel VO pipeline, including feature tracking, triangulation, key-frame selection, and graph optimization etc. We also employ long line features in the environment to improve the accuracy of the system. Different from the traditional line processing pipelines in visual odometry systems, we propose an illumination-robust line tracking method, where point feature tracking and distribution of point and line features are utilized to match lines. In the experiments, the proposed system is extensively evaluated in environments with dynamic illumination and the results show that it achieves superior performance to the state-of-the-art algorithms.

在本文中，我们开发了一个健壮，有效的视觉大满贯系统，该系统利用了低阈值，基线线和闭环钥匙帧功能的空间抑制。使用ORB-SLAM2，我们的方法包括立体声匹配，框架跟踪，本地捆绑包调整以及线路和点全局捆绑捆绑调整。特别是，我们根据基线贡献了重新注射。融合系统中的线路会消耗巨大的时间，我们减少了从分布点到利用特征点的空间抑制的时间。此外，低阈值关键点在处理低纹理方面可能更有效。为了克服跟踪钥匙帧的冗余问题，提出了有效且可靠的闭环跟踪钥匙框架。所提出的SLAM在Kitti和Euroc数据集中进行了广泛的测试，表明所提出的系统在各种情况下都优于最新方法。

随着线提供额外的约束，利用线特征可以有助于提高基于点的单眼视觉惯性内径（VIO）系统的定位精度。此外，在人工环境中，一些直线彼此平行。在本文中，我们设计了一种基于点和直线的VIO系统，它将直线分成结构直线（即彼此平行的直线）和非结构直线。另外，与使用四个参数表示3D直线的正交表示不同，我们仅使用两个参数来最小化结构直线和非结构直线的表示。此外，我们设计了一种基于采样点的直线匹配策略，提高了直线匹配的效率和成功率。我们的方法的有效性在EUROC和TUM VI基准的公共数据集上验证，与其他最先进的算法相比。

事件摄像机是运动激活的传感器，可捕获像素级照明的变化，而不是具有固定帧速率的强度图像。与标准摄像机相比，它可以在高速运动和高动态范围场景中提供可靠的视觉感知。但是，当相机和场景之间的相对运动受到限制时，例如在静态状态下，事件摄像机仅输出一点信息甚至噪音。尽管标准相机可以在大多数情况下，尤其是在良好的照明条件下提供丰富的感知信息。这两个相机完全是互补的。在本文中，我们提出了一种具有鲁棒性，高智能和实时优化的基于事件的视觉惯性镜（VIO）方法，具有事件角度，基于线的事件功能和基于点的图像功能。提出的方法旨在利用人为场景中的自然场景和基于线路的功能中的基于点的功能，以通过设计良好设计的功能管理提供更多其他结构或约束信息。公共基准数据集中的实验表明，与基于图像或基于事件的VIO相比，我们的方法可以实现卓越的性能。最后，我们使用我们的方法演示了机上闭环自动驾驶四极管飞行和大规模室外实验。评估的视频在我们的项目网站上介绍：https：//b23.tv/oe3qm6j

在本文中，我们考虑了视觉同时定位和映射（SLAM）的实际应用中的问题。随着技术在广泛范围中的普及和应用，SLAM系统的可实用性已成为一个在准确性和鲁棒性之后，例如，如何保持系统的稳定性并实现低文本和低文本和中的准确姿势估计动态环境以及如何在真实场景中改善系统的普遍性和实时性能。动态对象在高度动态的环境中的影响。我们还提出了一种新型的全局灰色相似性（GGS）算法，以实现合理的钥匙扣选择和有效的环闭合检测（LCD）。受益于GGS，PLD-SLAM可以在大多数真实场景中实现实时准确的姿势估计，而无需预先训练和加载巨大的功能词典模型。为了验证拟议系统的性能，我们将其与公共数据集Kitti，Euroc MAV和我们提供的室内立体声数据集的现有最新方法（SOTA）方法进行了比较。实验表明，实验表明PLD-SLAM在大多数情况下确保稳定性和准确性，具有更好的实时性能。此外，通过分析GGS的实验结果，我们可以发现它在关键帧选择和LCD中具有出色的性能。

This paper presents ORB-SLAM, a feature-based monocular SLAM system that operates in real time, in small and large, indoor and outdoor environments. The system is robust to severe motion clutter, allows wide baseline loop closing and relocalization, and includes full automatic initialization. Building on excellent algorithms of recent years, we designed from scratch a novel system that uses the same features for all SLAM tasks: tracking, mapping, relocalization, and loop closing. A survival of the fittest strategy that selects the points and keyframes of the reconstruction leads to excellent robustness and generates a compact and trackable map that only grows if the scene content changes, allowing lifelong operation. We present an exhaustive evaluation in 27 sequences from the most popular datasets. ORB-SLAM achieves unprecedented performance with respect to other state-of-the-art monocular SLAM approaches. For the benefit of the community, we make the source code public.

在面对低纹理的场景时，视觉测距算法倾向于降解 - 从例如时。人造环境 - 往往难以找到足够数量的点特征。替代的几何视觉提示，例如可以在这些场景中找到的线，这可能会特别有用。此外，这些场景通常存在结构规律，例如并行性或正交性，并持有曼哈顿世界的假设。在这些场所，在这项工作中，我们介绍了MSC-VO，这是一个RGB-D基的视觉测量方法，它结合了点和线条特征和利用，如果存在，那些结构规律和场景的曼哈顿轴。在我们的方法中，这些结构约束最初用于精确地估计提取线的3D位置。这些约束也与估计的曼哈顿轴相结合，并通过本地地图优化将相机姿势改进的点和线路的重新注入误差。这种组合使我们的方法能够在不存在上述约束的情况下操作，允许该方法用于更广泛的方案。此外，我们提出了一种新颖的多视图曼哈顿轴估计程序，主要依赖于线特征。使用几个公共数据集进行评估MSC-VO，优于其他最先进的解决方案，并且即使使用一些SLAM方法也是有利的。

由于其对环境变化的鲁棒性，视觉猛感的间接方法是受欢迎的。 ORB-SLAM2 \ CITE {ORBSLM2}是该域中的基准方法，但是，除非选择帧作为关键帧，否则它会消耗从未被重用的描述符。轻量级和高效，因为它跟踪相邻帧之间的关键点而不计算描述符。为此，基于稀疏光流提出了一种两个级粗到微小描述符独立的Keypoint匹配方法。在第一阶段，我们通过简单但有效的运动模型预测初始关键点对应，然后通过基于金字塔的稀疏光流跟踪鲁棒地建立了对应关系。在第二阶段，我们利用运动平滑度和末端几何形状的约束来改进对应关系。特别是，我们的方法仅计算关键帧的描述符。我们在\ texit {tum}和\ texit {icl-nuim} RGB-D数据集上测试Fastorb-Slam，并将其准确性和效率与九种现有的RGB-D SLAM方法进行比较。定性和定量结果表明，我们的方法实现了最先进的准确性，并且大约是ORB-SLAM2的两倍。

结合同时定位和映射（SLAM）估计和动态场景建模可以高效地在动态环境中获得机器人自主权。机器人路径规划和障碍避免任务依赖于场景中动态对象运动的准确估计。本文介绍了VDO-SLAM，这是一种强大的视觉动态对象感知SLAM系统，用于利用语义信息，使得能够在场景中进行准确的运动估计和跟踪动态刚性物体，而无需任何先前的物体形状或几何模型的知识。所提出的方法识别和跟踪环境中的动态对象和静态结构，并将这些信息集成到统一的SLAM框架中。这导致机器人轨迹的高度准确估计和对象的全部SE（3）运动以及环境的时空地图。该系统能够从对象的SE（3）运动中提取线性速度估计，为复杂的动态环境中的导航提供重要功能。我们展示了所提出的系统对许多真实室内和室外数据集的性能，结果表明了对最先进的算法的一致和实质性的改进。可以使用源代码的开源版本。

a) Stereo input: trajectory and sparse reconstruction of an urban environment with multiple loop closures. (b) RGB-D input: keyframes and dense pointcloud of a room scene with one loop closure. The pointcloud is rendered by backprojecting the sensor depth maps from estimated keyframe poses. No fusion is performed.

作为智能机器人的一项基本任务，Visual Slam在过去几十年中取得了长足的进步。但是，在高度弱质地的环境下，强大的大满贯仍然非常具有挑战性。在本文中，我们提出了一个名为RWT-Slam的新型视觉大满贯系统，以解决这个问题。我们修改LOFTR网络，该网络能够在低纹理的场景下产生密集的点匹配以生成特征描述符。为了将新功能集成到流行的Orb-Slam框架中，我们开发了功能面具，以滤除不可靠的功能并采用KNN策略来增强匹配的鲁棒性。我们还对新的描述符进行了视觉词汇，以有效地循环结束。在TUM和Openloris等各种公共数据集以及我们自己的数据中测试了由此产生的RWT-SLAM。结果显示在高度弱质地的环境下表现非常有希望。

我们提出了一种新颖的方法，可用于快速准确的立体声视觉同时定位和映射（SLAM），独立于特征检测和匹配。通过优化3D点的规模，将单眼直接稀疏的内径术（DSO）扩展到立体声系统，以最小化立体声配置的光度误差，从而与传统立体声匹配相比产生计算有效和鲁棒的方法。我们进一步将其扩展到具有环路闭合的完整SLAM系统，以减少累积的错误。在假设前向相机运动中，我们使用从视觉径管中获得的3D点模拟LIDAR扫描，并适应LIDAR描述符以便放置识别以便于更有效地检测回路封闭件。之后，我们通过最小化潜在环封闭件的光度误差来估计使用直接对准的相对姿势。可选地，通过使用迭代最近的点（ICP）算法来实现通过直接对准的进一步改进。最后，我们优化一个姿势图，以提高全球的猛烈精度。通过避免在我们的SLAM系统中的特征检测或匹配，我们确保高计算效率和鲁棒性。与最先进的方法相比，公共数据集上的彻底实验验证展示了其有效性。

This paper presents ORB-SLAM3, the first system able to perform visual, visual-inertial and multi-map SLAM with monocular, stereo and RGB-D cameras, using pin-hole and fisheye lens models.The first main novelty is a feature-based tightly-integrated visual-inertial SLAM system that fully relies on Maximum-a-Posteriori (MAP) estimation, even during the IMU initialization phase. The result is a system that operates robustly in real time, in small and large, indoor and outdoor environments, and is two to ten times more accurate than previous approaches.The second main novelty is a multiple map system that relies on a new place recognition method with improved recall. Thanks to it, ORB-SLAM3 is able to survive to long periods of poor visual information: when it gets lost, it starts a new map that will be seamlessly merged with previous maps when revisiting mapped areas. Compared with visual odometry systems that only use information from the last few seconds, ORB-SLAM3 is the first system able to reuse in all the algorithm stages all previous information. This allows to include in bundle adjustment co-visible keyframes, that provide high parallax observations boosting accuracy, even if they are widely separated in time or if they come from a previous mapping session.Our experiments show that, in all sensor configurations, ORB-SLAM3 is as robust as the best systems available in the literature, and significantly more accurate. Notably, our stereo-inertial SLAM achieves an average accuracy of 3.5 cm in the EuRoC drone and 9 mm under quick hand-held motions in the room of TUM-VI dataset, a setting representative of AR/VR scenarios. For the benefit of the community we make public the source code.

动态对象感知的SLAM（DOS）利用对象级信息以在动态环境中启用强大的运动估计。现有方法主要集中于识别和排除优化的动态对象。在本文中，我们表明，基于功能的视觉量大系统也可以通过利用两个观察结果来受益于动态铰接式对象的存在：（1）随着时间的推移，铰接对象的每个刚性部分的3D结构保持一致； （2）同一刚性零件上的点遵循相同的运动。特别是，我们提出了Airdos，这是一种动态的对象感知系统，该系统将刚度和运动限制引入模型铰接对象。通过共同优化相机姿势，对象运动和对象3D结构，我们可以纠正摄像头姿势估计，防止跟踪损失，并为动态对象和静态场景生成4D时空图。实验表明，我们的算法改善了在挑战拥挤的城市环境中的视觉大满贯算法的鲁棒性。据我们所知，Airdos是第一个动态对象感知的大满贯系统，该系统表明可以通过合并动态铰接式对象来改善相机姿势估计。

在本文中，我们提出了一个与RGB，深度，IMU和结构化平面信息融合的紧密耦合的大满贯系统。传统的基于稀疏点的大满贯系统始终保持大量地图点以建模环境。大量的地图点使我们具有很高的计算复杂性，因此很难在移动设备上部署。另一方面，平面是人造环境中的常见结构，尤其是在室内环境中。我们通常可以使用少量飞机代表大型场景。因此，本文的主要目的是降低基于稀疏点的大满贯的高复杂性。我们构建了一个轻巧的后端地图，该地图由几个平面和地图点组成，以相等或更高的精度实现有效的捆绑捆绑调整（BA）。我们使用统计约束来消除优化中众多平面点的参数，并降低BA的复杂性。我们将同构和点对平面约束的参数和测量分开，并压缩测量部分，以进一步有效地提高BA的速度。我们还将平面信息集成到整个系统中，以实现强大的平面特征提取，数据关联和全球一致的平面重建。最后，我们进行消融研究，并用模拟和真实环境数据中的类似方法比较我们的方法。我们的系统在准确性和效率方面具有明显的优势。即使平面参数参与了优化，我们也可以使用平面结构有效地简化后端图。全局捆绑捆绑调整的速度几乎是基于稀疏点的SLAM算法的2倍。

本文展示了一个视觉大满贯系统，该系统利用点和线云，同时使用嵌入式零件平面重建（PPR）模块，共同提供结构图。为了与跟踪并行构建一致的尺度地图，例如使用单个摄像机会带来挑战，以歧义性歧义重建几何原始图，并进一步引入了捆绑调整（BA）的图形优化的难度。我们通过在重建的线和飞机上提出几个运行时优化来解决这些问题。然后根据单眼框架的设计将系统用深度和立体声传感器扩展。结果表明，我们提出的SLAM紧密结合了语义功能，以增强前端跟踪和后端优化。我们在各种数据集上详尽地评估了系统，并为社区开放代码（https://github.com/peterfws/structure-plp-slam）。

农业行业不断寻求农业生产中涉及的不同过程的自动化，例如播种，收获和杂草控制。使用移动自主机器人执行这些任务引起了极大的兴趣。耕地面向同时定位和映射（SLAM）系统（移动机器人技术的关键）面临着艰巨的挑战，这是由于视觉上的难度，这是由于高度重复的场景而引起的。近年来，已经开发了几种视觉惯性遗传（VIO）和SLAM系统。事实证明，它们在室内和室外城市环境中具有很高的准确性。但是，在农业领域未正确评估它们。在这项工作中，我们从可耕地上的准确性和处理时间方面评估了最相关的最新VIO系统，以便更好地了解它们在这些环境中的行为。特别是，该评估是在我们的车轮机器人记录的大豆领域记录的传感器数据集中进行的，该田间被公开发行为Rosario数据集。评估表明，环境的高度重复性外观，崎terrain的地形产生的强振动以及由风引起的叶子的运动，暴露了当前最新的VIO和SLAM系统的局限性。我们分析了系统故障并突出观察到的缺点，包括初始化故障，跟踪损失和对IMU饱和的敏感性。最后，我们得出的结论是，即使某些系统（例如Orb-Slam3和S-MSCKF）在其他系统方面表现出良好的结果，但应采取更多改进，以使其在某些申请中的农业领域可靠，例如作物行的土壤耕作和农药喷涂。 。

本文介绍了一种用于水下车辆机械手系统（UVMS）的新型视野映射方法，具有特定强调自然海底环境中的鲁棒映射。水下场景映射的先前方法通常会离线处理数据，而实时运行的现有水下SLAM方法通常会集中在本地化上而不是映射。我们的方法使用GPU加速SIFT功能在图形优化框架中构建一个特征映射。地图刻度由车辆安装的立体声相机的特征约束，我们通过将机械手系统的动态定位能力从手腕安装的Fisheye摄像机融合到地图中，以将其延伸到车辆安装摄像机的有限视点之外。我们的混合SLAM方法是在Costa rican Continental Shelf级别的自然深海环境中采用UVMS收集的挑战性图像序列，我们还在浅礁调查数据集中评估立体声的立体声。这些数据集的结果证明了我们的系统的高准确性，适合于在不同的自然海底环境中运营。

A monocular visual-inertial system (VINS), consisting of a camera and a low-cost inertial measurement unit (IMU), forms the minimum sensor suite for metric six degreesof-freedom (DOF) state estimation. However, the lack of direct distance measurement poses significant challenges in terms of IMU processing, estimator initialization, extrinsic calibration, and nonlinear optimization. In this work, we present VINS-Mono: a robust and versatile monocular visual-inertial state estimator. Our approach starts with a robust procedure for estimator initialization and failure recovery. A tightly-coupled, nonlinear optimization-based method is used to obtain high accuracy visual-inertial odometry by fusing pre-integrated IMU measurements and feature observations. A loop detection module, in combination with our tightly-coupled formulation, enables relocalization with minimum computation overhead. We additionally perform four degrees-of-freedom pose graph optimization to enforce global consistency. We validate the performance of our system on public datasets and real-world experiments and compare against other state-of-the-art algorithms. We also perform onboard closed-loop autonomous flight on the MAV platform and port the algorithm to an iOS-based demonstration. We highlight that the proposed work is a reliable, complete, and versatile system that is applicable for different applications that require high accuracy localization. We open source our implementations for both PCs 1 and iOS mobile devices 2 .

视觉惯性化学测定法吸引了自主驾驶和机器人技术领域的广泛关注。视场（FOV）的大小在视觉播音（VO）和视觉惯性二次测量法（VO）中起着重要作用，作为大型FOV，可以感知各种周围的场景元素和特征。但是，当摄像机的字段到达负半平面时，就不能简单地使用[u，v，1]^t来表示图像特征点。为了解决这个问题，我们建议LF-VIO，这是一个具有极大FOV的相机的实时VIO框架。我们利用具有单位长度的三维矢量来表示特征点，并设计一系列算法来克服这一挑战。为了解决带有地位的位置和姿势的全景视觉探针数据集的稀缺性，我们介绍了Palvio数据集，该数据集用具有360 {\ deg} x的整个FOV的全景环形镜头（PAL）系统收集（40 {\ deg}） -120 {\ deg}）和IMU传感器。有了全面的实验，在已建立的Palvio基准和公共Fisheye摄像机数据集上验证了建议的LF-VIO，其FOV为360 {\ deg} x（0 {\ deg} -93.5 {\ deg}）。 LF-VIO优于最先进的视觉惯性 - 调节法。我们的数据集和代码可在https://github.com/flysoaryun/lf-vio上公开提供。