循环闭合是同时定位和映射（SLAM）系统的重要组成部分。大型视野（FOV）摄像机在SLAM领域受到了广泛的关注，因为它们可以利用全景图像上更多的周围功能。在大型VIO中，用于结合位于全景镜头负面平面上的信息提示，图像特征由具有单位长度的三维矢量表示。虽然全景FOV似乎对于循环封闭是有利的，但在大角度的差异下，这些好处不能轻易实现，在大型角度差异下，循环封闭帧几乎无法通过现有方法匹配。在这项工作中，为了完全释放超宽FOV的潜力，我们建议利用VIO系统的态度信息来指导环路闭合的特征点检测。随着宽圈全景数据上的循环封闭进一步带有许多离群值，因此传统的异常拒绝方法并非直接适用。为了解决此问题，我们提出了一个基于单位长度表示的新离群拒绝方法的循环封闭框架，以提高LF-VIO的准确性。在公共Palvio数据集上，进行了一组全面的实验，并提出的LF-Vio-loop优于最先进的视觉惯性化学方法。我们的代码将在https://github.com/flysoaryun/lf-vio-loop上开放。

视觉惯性化学测定法吸引了自主驾驶和机器人技术领域的广泛关注。视场（FOV）的大小在视觉播音（VO）和视觉惯性二次测量法（VO）中起着重要作用，作为大型FOV，可以感知各种周围的场景元素和特征。但是，当摄像机的字段到达负半平面时，就不能简单地使用[u，v，1]^t来表示图像特征点。为了解决这个问题，我们建议LF-VIO，这是一个具有极大FOV的相机的实时VIO框架。我们利用具有单位长度的三维矢量来表示特征点，并设计一系列算法来克服这一挑战。为了解决带有地位的位置和姿势的全景视觉探针数据集的稀缺性，我们介绍了Palvio数据集，该数据集用具有360 {\ deg} x的整个FOV的全景环形镜头（PAL）系统收集（40 {\ deg}） -120 {\ deg}）和IMU传感器。有了全面的实验，在已建立的Palvio基准和公共Fisheye摄像机数据集上验证了建议的LF-VIO，其FOV为360 {\ deg} x（0 {\ deg} -93.5 {\ deg}）。 LF-VIO优于最先进的视觉惯性 - 调节法。我们的数据集和代码可在https://github.com/flysoaryun/lf-vio上公开提供。

A monocular visual-inertial system (VINS), consisting of a camera and a low-cost inertial measurement unit (IMU), forms the minimum sensor suite for metric six degreesof-freedom (DOF) state estimation. However, the lack of direct distance measurement poses significant challenges in terms of IMU processing, estimator initialization, extrinsic calibration, and nonlinear optimization. In this work, we present VINS-Mono: a robust and versatile monocular visual-inertial state estimator. Our approach starts with a robust procedure for estimator initialization and failure recovery. A tightly-coupled, nonlinear optimization-based method is used to obtain high accuracy visual-inertial odometry by fusing pre-integrated IMU measurements and feature observations. A loop detection module, in combination with our tightly-coupled formulation, enables relocalization with minimum computation overhead. We additionally perform four degrees-of-freedom pose graph optimization to enforce global consistency. We validate the performance of our system on public datasets and real-world experiments and compare against other state-of-the-art algorithms. We also perform onboard closed-loop autonomous flight on the MAV platform and port the algorithm to an iOS-based demonstration. We highlight that the proposed work is a reliable, complete, and versatile system that is applicable for different applications that require high accuracy localization. We open source our implementations for both PCs 1 and iOS mobile devices 2 .

事件摄像机是运动激活的传感器，可捕获像素级照明的变化，而不是具有固定帧速率的强度图像。与标准摄像机相比，它可以在高速运动和高动态范围场景中提供可靠的视觉感知。但是，当相机和场景之间的相对运动受到限制时，例如在静态状态下，事件摄像机仅输出一点信息甚至噪音。尽管标准相机可以在大多数情况下，尤其是在良好的照明条件下提供丰富的感知信息。这两个相机完全是互补的。在本文中，我们提出了一种具有鲁棒性，高智能和实时优化的基于事件的视觉惯性镜（VIO）方法，具有事件角度，基于线的事件功能和基于点的图像功能。提出的方法旨在利用人为场景中的自然场景和基于线路的功能中的基于点的功能，以通过设计良好设计的功能管理提供更多其他结构或约束信息。公共基准数据集中的实验表明，与基于图像或基于事件的VIO相比，我们的方法可以实现卓越的性能。最后，我们使用我们的方法演示了机上闭环自动驾驶四极管飞行和大规模室外实验。评估的视频在我们的项目网站上介绍：https：//b23.tv/oe3qm6j

由于其对环境变化的鲁棒性，视觉猛感的间接方法是受欢迎的。 ORB-SLAM2 \ CITE {ORBSLM2}是该域中的基准方法，但是，除非选择帧作为关键帧，否则它会消耗从未被重用的描述符。轻量级和高效，因为它跟踪相邻帧之间的关键点而不计算描述符。为此，基于稀疏光流提出了一种两个级粗到微小描述符独立的Keypoint匹配方法。在第一阶段，我们通过简单但有效的运动模型预测初始关键点对应，然后通过基于金字塔的稀疏光流跟踪鲁棒地建立了对应关系。在第二阶段，我们利用运动平滑度和末端几何形状的约束来改进对应关系。特别是，我们的方法仅计算关键帧的描述符。我们在\ texit {tum}和\ texit {icl-nuim} RGB-D数据集上测试Fastorb-Slam，并将其准确性和效率与九种现有的RGB-D SLAM方法进行比较。定性和定量结果表明，我们的方法实现了最先进的准确性，并且大约是ORB-SLAM2的两倍。

Integration of multiple sensor modalities and deep learning into Simultaneous Localization And Mapping (SLAM) systems are areas of significant interest in current research. Multi-modality is a stepping stone towards achieving robustness in challenging environments and interoperability of heterogeneous multi-robot systems with varying sensor setups. With maplab 2.0, we provide a versatile open-source platform that facilitates developing, testing, and integrating new modules and features into a fully-fledged SLAM system. Through extensive experiments, we show that maplab 2.0's accuracy is comparable to the state-of-the-art on the HILTI 2021 benchmark. Additionally, we showcase the flexibility of our system with three use cases: i) large-scale (approx. 10 km) multi-robot multi-session (23 missions) mapping, ii) integration of non-visual landmarks, and iii) incorporating a semantic object-based loop closure module into the mapping framework. The code is available open-source at https://github.com/ethz-asl/maplab.

在本文中，我们提出了一个与RGB，深度，IMU和结构化平面信息融合的紧密耦合的大满贯系统。传统的基于稀疏点的大满贯系统始终保持大量地图点以建模环境。大量的地图点使我们具有很高的计算复杂性，因此很难在移动设备上部署。另一方面，平面是人造环境中的常见结构，尤其是在室内环境中。我们通常可以使用少量飞机代表大型场景。因此，本文的主要目的是降低基于稀疏点的大满贯的高复杂性。我们构建了一个轻巧的后端地图，该地图由几个平面和地图点组成，以相等或更高的精度实现有效的捆绑捆绑调整（BA）。我们使用统计约束来消除优化中众多平面点的参数，并降低BA的复杂性。我们将同构和点对平面约束的参数和测量分开，并压缩测量部分，以进一步有效地提高BA的速度。我们还将平面信息集成到整个系统中，以实现强大的平面特征提取，数据关联和全球一致的平面重建。最后，我们进行消融研究，并用模拟和真实环境数据中的类似方法比较我们的方法。我们的系统在准确性和效率方面具有明显的优势。即使平面参数参与了优化，我们也可以使用平面结构有效地简化后端图。全局捆绑捆绑调整的速度几乎是基于稀疏点的SLAM算法的2倍。

我们提出了一种新颖的方法，可用于快速准确的立体声视觉同时定位和映射（SLAM），独立于特征检测和匹配。通过优化3D点的规模，将单眼直接稀疏的内径术（DSO）扩展到立体声系统，以最小化立体声配置的光度误差，从而与传统立体声匹配相比产生计算有效和鲁棒的方法。我们进一步将其扩展到具有环路闭合的完整SLAM系统，以减少累积的错误。在假设前向相机运动中，我们使用从视觉径管中获得的3D点模拟LIDAR扫描，并适应LIDAR描述符以便放置识别以便于更有效地检测回路封闭件。之后，我们通过最小化潜在环封闭件的光度误差来估计使用直接对准的相对姿势。可选地，通过使用迭代最近的点（ICP）算法来实现通过直接对准的进一步改进。最后，我们优化一个姿势图，以提高全球的猛烈精度。通过避免在我们的SLAM系统中的特征检测或匹配，我们确保高计算效率和鲁棒性。与最先进的方法相比，公共数据集上的彻底实验验证展示了其有效性。

Visual odometry is crucial for many robotic tasks such as autonomous exploration and path planning. Despite many progresses, existing methods are still not robust enough to dynamic illumination environments. In this paper, we present AirVO, an illumination-robust and accurate stereo visual odometry system based on point and line features. To be robust to illumination variation, we introduce the learning-based feature extraction and matching method and design a novel VO pipeline, including feature tracking, triangulation, key-frame selection, and graph optimization etc. We also employ long line features in the environment to improve the accuracy of the system. Different from the traditional line processing pipelines in visual odometry systems, we propose an illumination-robust line tracking method, where point feature tracking and distribution of point and line features are utilized to match lines. In the experiments, the proposed system is extensively evaluated in environments with dynamic illumination and the results show that it achieves superior performance to the state-of-the-art algorithms.

Precise geolocalization is crucial for unmanned aerial vehicles (UAVs). However, most current deployed UAVs rely on the global navigation satellite systems (GNSS) or high precision inertial navigation systems (INS) for geolocalization. In this paper, we propose to use a lightweight visual-inertial system with a 2D georeference map to obtain accurate and consecutive geodetic positions for UAVs. The proposed system firstly integrates a micro inertial measurement unit (MIMU) and a monocular camera as odometry to consecutively estimate the navigation states and reconstruct the 3D position of the observed visual features in the local world frame. To obtain the geolocation, the visual features tracked by the odometry are further registered to the 2D georeferenced map. While most conventional methods perform image-level aerial image registration, we propose to align the reconstructed points to the map points in the geodetic frame; this helps to filter out the large portion of outliers and decouples the negative effects from the horizontal angles. The registered points are then used to relocalize the vehicle in the geodetic frame. Finally, a pose graph is deployed to fuse the geolocation from the aerial image registration and the local navigation result from the visual-inertial odometry (VIO) to achieve consecutive and drift-free geolocalization performance. We have validated the proposed method by installing the sensors to a UAV body rigidly and have conducted two flights in different environments with unknown initials. The results show that the proposed method can achieve less than 4m position error in flight at 100m high and less than 9m position error in flight about 300m high.

随着线提供额外的约束，利用线特征可以有助于提高基于点的单眼视觉惯性内径（VIO）系统的定位精度。此外，在人工环境中，一些直线彼此平行。在本文中，我们设计了一种基于点和直线的VIO系统，它将直线分成结构直线（即彼此平行的直线）和非结构直线。另外，与使用四个参数表示3D直线的正交表示不同，我们仅使用两个参数来最小化结构直线和非结构直线的表示。此外，我们设计了一种基于采样点的直线匹配策略，提高了直线匹配的效率和成功率。我们的方法的有效性在EUROC和TUM VI基准的公共数据集上验证，与其他最先进的算法相比。

受到人类在不依赖视觉的情况下感知陌生物体表面质地的能力的启发，触觉感可以在机器人探索环境的过程中起着至关重要的作用，尤其是在某些场景中，视力难以应用或闭塞是不可避免地存在。现有的触觉表面重建方法依赖外部传感器或具有强大的先前假设，这将限制其应用程序场景并使操作更加复杂。本文提出了一种表面重建算法，该算法仅使用基于新的触觉传感器，其中不熟悉的物体的表面结构由多个触觉测量重建。与现有算法相比，提出的算法不依赖外部设备，而是专注于提高大规模对象表面的重建精度。为了使重建精度很容易受到采样压力的影响，我们提出了一种校正算法以使其适应它。从多次接触产生的多帧触觉烙印可以通过共同使用点云注册算法，基于深度学习的环闭合检测算法和姿势图优化算法来准确地重建全局对象表面。实验验证所提出的算法可以在重建交互式对象表面并为机器人提供准确的触觉信息以了解周围环境时实现毫米级的精度。

我们在本文中介绍Raillomer，实现实时准确和鲁棒的内径测量和轨道车辆的测绘。 Raillomer从两个Lidars，IMU，火车车程和全球导航卫星系统（GNSS）接收器接收测量。作为前端，来自IMU / Royomer缩放组的估计动作De-Skews DeSoised Point云并为框架到框架激光轨道测量产生初始猜测。作为后端，配制了基于滑动窗口的因子图以共同优化多模态信息。另外，我们利用来自提取的轨道轨道和结构外观描述符的平面约束，以进一步改善对重复结构的系统鲁棒性。为了确保全局常见和更少的模糊映射结果，我们开发了一种两级映射方法，首先以本地刻度执行扫描到地图，然后利用GNSS信息来注册模块。该方法在聚集的数据集上广泛评估了多次范围内的数据集，并且表明Raillomer即使在大或退化的环境中也能提供排入量级定位精度。我们还将Raillomer集成到互动列车状态和铁路监控系统原型设计中，已经部署到实验货量交通铁路。

在本文中，我们考虑了视觉同时定位和映射（SLAM）的实际应用中的问题。随着技术在广泛范围中的普及和应用，SLAM系统的可实用性已成为一个在准确性和鲁棒性之后，例如，如何保持系统的稳定性并实现低文本和低文本和中的准确姿势估计动态环境以及如何在真实场景中改善系统的普遍性和实时性能。动态对象在高度动态的环境中的影响。我们还提出了一种新型的全局灰色相似性（GGS）算法，以实现合理的钥匙扣选择和有效的环闭合检测（LCD）。受益于GGS，PLD-SLAM可以在大多数真实场景中实现实时准确的姿势估计，而无需预先训练和加载巨大的功能词典模型。为了验证拟议系统的性能，我们将其与公共数据集Kitti，Euroc MAV和我们提供的室内立体声数据集的现有最新方法（SOTA）方法进行了比较。实验表明，实验表明PLD-SLAM在大多数情况下确保稳定性和准确性，具有更好的实时性能。此外，通过分析GGS的实验结果，我们可以发现它在关键帧选择和LCD中具有出色的性能。

通过实现复杂场景实现长期漂移相机姿势估计的目标，我们提出了一种全球定位框架，融合了多层的视觉，惯性和全球导航卫星系统（GNSS）测量。不同于以前的松散和紧密耦合的方法，所提出的多层融合允许我们彻底校正视觉测量仪的漂移，并在GNSS降解时保持可靠的定位。特别地，通过融合GNSS的速度，在紧紧地集成的情况下，解决视觉测量测量测量测量率和偏差估计中的尺度漂移和偏差估计的问题的问题，惯性测量单元（IMU）的预集成以及紧密相机测量的情况下 - 耦合的方式。在外层中实现全局定位，其中局部运动进一步与GNSS位置和基于长期时期的过程以松散耦合的方式融合。此外，提出了一种专用的初始化方法，以保证所有状态变量和参数的快速准确估计。我们为室内和室外公共数据集提供了拟议框架的详尽测试。平均本地化误差减少了63％，而初始化精度与最先进的工程相比，促销率为69％。我们已将算法应用于增强现实（AR）导航，人群采购高精度地图更新等大型应用。

This paper presents ORB-SLAM, a feature-based monocular SLAM system that operates in real time, in small and large, indoor and outdoor environments. The system is robust to severe motion clutter, allows wide baseline loop closing and relocalization, and includes full automatic initialization. Building on excellent algorithms of recent years, we designed from scratch a novel system that uses the same features for all SLAM tasks: tracking, mapping, relocalization, and loop closing. A survival of the fittest strategy that selects the points and keyframes of the reconstruction leads to excellent robustness and generates a compact and trackable map that only grows if the scene content changes, allowing lifelong operation. We present an exhaustive evaluation in 27 sequences from the most popular datasets. ORB-SLAM achieves unprecedented performance with respect to other state-of-the-art monocular SLAM approaches. For the benefit of the community, we make the source code public.

A reliable pose estimator robust to environmental disturbances is desirable for mobile robots. To this end, inertial measurement units (IMUs) play an important role because they can perceive the full motion state of the vehicle independently. However, it suffers from accumulative error due to inherent noise and bias instability, especially for low-cost sensors. In our previous studies on Wheel-INS \cite{niu2021, wu2021}, we proposed to limit the error drift of the pure inertial navigation system (INS) by mounting an IMU to the wheel of the robot to take advantage of rotation modulation. However, it still drifted over a long period of time due to the lack of external correction signals. In this letter, we propose to exploit the environmental perception ability of Wheel-INS to achieve simultaneous localization and mapping (SLAM) with only one IMU. To be specific, we use the road bank angles (mirrored by the robot roll angles estimated by Wheel-INS) as terrain features to enable the loop closure with a Rao-Blackwellized particle filter. The road bank angle is sampled and stored according to the robot position in the grid maps maintained by the particles. The weights of the particles are updated according to the difference between the currently estimated roll sequence and the terrain map. Field experiments suggest the feasibility of the idea to perform SLAM in Wheel-INS using the robot roll angle estimates. In addition, the positioning accuracy is improved significantly (more than 30\%) over Wheel-INS. Source code of our implementation is publicly available (https://github.com/i2Nav-WHU/Wheel-SLAM).

农业行业不断寻求农业生产中涉及的不同过程的自动化，例如播种，收获和杂草控制。使用移动自主机器人执行这些任务引起了极大的兴趣。耕地面向同时定位和映射（SLAM）系统（移动机器人技术的关键）面临着艰巨的挑战，这是由于视觉上的难度，这是由于高度重复的场景而引起的。近年来，已经开发了几种视觉惯性遗传（VIO）和SLAM系统。事实证明，它们在室内和室外城市环境中具有很高的准确性。但是，在农业领域未正确评估它们。在这项工作中，我们从可耕地上的准确性和处理时间方面评估了最相关的最新VIO系统，以便更好地了解它们在这些环境中的行为。特别是，该评估是在我们的车轮机器人记录的大豆领域记录的传感器数据集中进行的，该田间被公开发行为Rosario数据集。评估表明，环境的高度重复性外观，崎terrain的地形产生的强振动以及由风引起的叶子的运动，暴露了当前最新的VIO和SLAM系统的局限性。我们分析了系统故障并突出观察到的缺点，包括初始化故障，跟踪损失和对IMU饱和的敏感性。最后，我们得出的结论是，即使某些系统（例如Orb-Slam3和S-MSCKF）在其他系统方面表现出良好的结果，但应采取更多改进，以使其在某些申请中的农业领域可靠，例如作物行的土壤耕作和农药喷涂。 。

循环结束是自动移动系统同时本地化和映射（SLAM）的基本组成部分。在视觉大满贯领域，单词袋（弓）在循环封闭方面取得了巨大的成功。循环搜索的弓特征也可以在随后的6-DOF环校正中使用。但是，对于3D激光雷达的猛击，最新方法可能无法实时识别循环，并且通常无法纠正完整的6-DOF回路姿势。为了解决这一限制，我们呈现了一袋新颖的单词，以实时循环在3D LIDAR大满贯中关闭，称为Bow3D。我们方法的新颖性在于，它不仅有效地识别了重新审视的环路，而且还实时纠正了完整的6型循环姿势。 BOW3D根据3D功能link3D构建单词袋，该链接有效，姿势不变，可用于准确的点对点匹配。我们将我们提出的方法嵌入了3D激光射击系统中，以评估循环闭合性能。我们在公共数据集上测试我们的方法，并将其与其他最先进的算法进行比较。在大多数情况下，BOW3D在F1 MAX和扩展精度分数方面表现出更好的性能，并具有出色的实时性能。值得注意的是，BOW3D平均需要50毫秒才能识别和纠正Kitti 00中的循环（包括4K+ 64射线激光扫描），当在使用Intel Core i7 @2.2 GHz处理器的笔记本上执行时。

在这项工作中，我们介绍了一个新颖的全球描述符，称为3D位置识别的稳定三角形描述符（STD）。对于一个三角形，其形状由侧面或包含角度的长度唯一决定。此外，三角形的形状对于刚性转换完全不变。基于此属性，我们首先设计了一种算法，以从3D点云中有效提取本地密钥点，并将这些关键点编码为三角形描述符。然后，通过匹配点云之间描述符的侧面长度（以及其他一些信息）来实现位置识别。从描述符匹配对获得的点对应关系可以在几何验证中进一步使用，从而大大提高了位置识别的准确性。在我们的实验中，我们将我们提出的系统与公共数据集（即Kitti，NCLT和Complex-ublan）和我们自我收集的数据集（即M2DP，扫描上下文）进行了广泛的比较（即M2DP，扫描上下文）（即带有非重复扫描固态激光雷达）。所有定量结果表明，性病具有更强的适应性，并且在其对应物方面的精度有了很大的提高。为了分享我们的发现并为社区做出贡献，我们在GitHub上开放代码：https：//github.com/hku-mars/std。