视觉内径（VO）估计是车辆状态估计和自主驾驶的重要信息来源。最近，基于深度学习的方法已经开始出现在文献中。但是，在驾驶的背景下，由于环境因素，摄像机放置等因素而导致的图像质量降低，单个传感器的方法通常容易出现故障。要解决这个问题，我们提出了一个深度传感器融合框架，其使用两者估计车辆运动来自多个板上摄像头的姿势和不确定性估计。我们使用混合CNN - RNN模型从一组连续图像中提取短时间形特征表示。然后，我们利用混合密度网络（MDN）来估计作为分布的混合和融合模块的6-DOF姿势，以使用来自多摄像机的MDN输出来估计最终姿势。我们在公开的大规模自动车辆数据集，Nuscenes上评估我们的方法。结果表明，与基于相机的估计相比，所提出的融合方法超越了最先进的，并提供了坚固的估计和准确的轨迹。

可视化内径（VO）用于许多应用，包括机器人和自主系统。但是，基于特征匹配的传统方法是计算昂贵的，而不是直接解决故障情况，而是依赖于启发式方法来检测失败。在这项工作中，我们提出了一种基于深度学习的VO模型，以有效地估计6 DOF姿势，以及这些估计的置信模型。我们利用CNN - RNN混合模型从图像序列学习特征表示。然后，我们采用混合密度网络（MDN），其估计相机运动作为高斯的混合，基于提取的时空表示。我们的模型使用姿势标签作为监督源，但以无人监督的方式源性不确定性。我们评估基提和NUSCENES数据集的提出模型，并报告广泛的定量和定性结果，以分析姿势和不确定性估计的性能。我们的实验表明，除了使用预测的姿态不确定性检测故障情况之外，该建议的模型还超过了最先进的性能。

运动估计方法通常采用传感器融合技术（例如Kalman滤波器）来处理单个传感器故障。最近，已经提出了基于深度学习的融合方法，提高了性能并需要更少的模型特定实现。但是，当前的深融合方法通常认为传感器是同步的，这并不总是实用的，尤其是对于低成本硬件。为了解决这一局限性，在这项工作中，我们提出了AFT-VO，这是一种新型的基于变压器的传感器融合体系结构，以估算来自多个传感器的VO。我们的框架结合了异步多视觉摄像机的预测，并说明了来自不同来源的测量值的时间差异。我们的方法首先采用混合密度网络（MDN）来估计系统中每个相机的6-DOF姿势的概率分布。然后引入了一个新型的基于变压器的融合模块AFT-VO，该模块结合了这些异步姿势估计以及它们的信心。更具体地说，我们引入了离散器和源编码技术，该技术使多源异步信号的融合。我们在流行的Nuscenes和Kitti数据集上评估了我们的方法。我们的实验表明，用于VO估计的多视图融合提供了强大而准确的轨迹，在挑战性的天气和照明条件下都超过了艺术的表现。

同时本地化和映射（SLAM）是自动移动机器人中的基本问题之一，在该机器人需要重建以前看不见的环境的同时，同时在地图上进行了本身。特别是，Visual-Slam使用移动机器人中的各种传感器来收集和感测地图的表示。传统上，基于几何模型的技术被用来解决大满贯问题，在充满挑战的环境下，该问题往往容易出错。诸如深度学习技术之类的计算机视觉方面的最新进展提供了一种数据驱动的方法来解决视觉范围问题。这篇综述总结了使用各种基于学习的方法的视觉 - 峰领域的最新进展。我们首先提供了基于几何模型的方法的简洁概述，然后进行有关SLAM当前范式的技术评论。然后，我们介绍了从移动机器人那里收集感官输入并执行场景理解的各种基于学习的方法。讨论并将基于深度学习的语义理解中的当前范式讨论并置于视觉峰的背景下。最后，我们讨论了在视觉 - 峰中基于学习的方法方向上的挑战和进一步的机会。

事件摄像机是运动激活的传感器，可捕获像素级照明的变化，而不是具有固定帧速率的强度图像。与标准摄像机相比，它可以在高速运动和高动态范围场景中提供可靠的视觉感知。但是，当相机和场景之间的相对运动受到限制时，例如在静态状态下，事件摄像机仅输出一点信息甚至噪音。尽管标准相机可以在大多数情况下，尤其是在良好的照明条件下提供丰富的感知信息。这两个相机完全是互补的。在本文中，我们提出了一种具有鲁棒性，高智能和实时优化的基于事件的视觉惯性镜（VIO）方法，具有事件角度，基于线的事件功能和基于点的图像功能。提出的方法旨在利用人为场景中的自然场景和基于线路的功能中的基于点的功能，以通过设计良好设计的功能管理提供更多其他结构或约束信息。公共基准数据集中的实验表明，与基于图像或基于事件的VIO相比，我们的方法可以实现卓越的性能。最后，我们使用我们的方法演示了机上闭环自动驾驶四极管飞行和大规模室外实验。评估的视频在我们的项目网站上介绍：https：//b23.tv/oe3qm6j

结合同时定位和映射（SLAM）估计和动态场景建模可以高效地在动态环境中获得机器人自主权。机器人路径规划和障碍避免任务依赖于场景中动态对象运动的准确估计。本文介绍了VDO-SLAM，这是一种强大的视觉动态对象感知SLAM系统，用于利用语义信息，使得能够在场景中进行准确的运动估计和跟踪动态刚性物体，而无需任何先前的物体形状或几何模型的知识。所提出的方法识别和跟踪环境中的动态对象和静态结构，并将这些信息集成到统一的SLAM框架中。这导致机器人轨迹的高度准确估计和对象的全部SE（3）运动以及环境的时空地图。该系统能够从对象的SE（3）运动中提取线性速度估计，为复杂的动态环境中的导航提供重要功能。我们展示了所提出的系统对许多真实室内和室外数据集的性能，结果表明了对最先进的算法的一致和实质性的改进。可以使用源代码的开源版本。

作为许多自主驾驶和机器人活动的基本组成部分，如自我运动估计，障碍避免和场景理解，单眼深度估计（MDE）引起了计算机视觉和机器人社区的极大关注。在过去的几十年中，已经开发了大量方法。然而，据我们所知，对MDE没有全面调查。本文旨在通过审查1970年至2021年之间发布的197个相关条款来弥补这一差距。特别是，我们为涵盖各种方法的MDE提供了全面的调查，介绍了流行的绩效评估指标并汇总公开的数据集。我们还总结了一些代表方法的可用开源实现，并比较了他们的表演。此外，我们在一些重要的机器人任务中审查了MDE的应用。最后，我们通过展示一些有希望的未来研究方向来结束本文。预计本调查有助于读者浏览该研究领域。

Event cameras that asynchronously output low-latency event streams provide great opportunities for state estimation under challenging situations. Despite event-based visual odometry having been extensively studied in recent years, most of them are based on monocular and few research on stereo event vision. In this paper, we present ESVIO, the first event-based stereo visual-inertial odometry, which leverages the complementary advantages of event streams, standard images and inertial measurements. Our proposed pipeline achieves temporal tracking and instantaneous matching between consecutive stereo event streams, thereby obtaining robust state estimation. In addition, the motion compensation method is designed to emphasize the edge of scenes by warping each event to reference moments with IMU and ESVIO back-end. We validate that both ESIO (purely event-based) and ESVIO (event with image-aided) have superior performance compared with other image-based and event-based baseline methods on public and self-collected datasets. Furthermore, we use our pipeline to perform onboard quadrotor flights under low-light environments. A real-world large-scale experiment is also conducted to demonstrate long-term effectiveness. We highlight that this work is a real-time, accurate system that is aimed at robust state estimation under challenging environments.

组合多个传感器使机器人能够最大程度地提高其对环境的感知意识，并增强其对外部干扰的鲁棒性，对机器人导航至关重要。本文提出了可融合的基准测试，这是一个完整的多传感器数据集，具有多种移动机器人序列。本文提出了三项贡献。我们首先推进便携式和通用的多传感器套件，可提供丰富的感官测量值：10Hz激光镜点云，20Hz立体声框架图像，来自立体声事件相机的高速率和异步事件，来自IMU的200Hz惯性读数以及10Hz GPS信号。传感器已经在硬件中暂时同步。该设备轻巧，独立，并为移动机器人提供插件支持。其次，我们通过收集17个序列来构建数据集，该序列通过利用多个机器人平台进行数据收集来涵盖校园上各种环境。一些序列对现有的SLAM算法具有挑战性。第三，我们为将本地化和映射绩效评估提供了基础真理。我们还评估最新的大满贯方法并确定其局限性。该数据集将发布由原始传感器的设置，地面真相，校准数据和评估算法组成：https：//ram-lab.com/file/site/site/multi-sensor-dataset。

In this paper, we present a novel visual SLAM and long-term localization benchmark for autonomous driving in challenging conditions based on the large-scale 4Seasons dataset. The proposed benchmark provides drastic appearance variations caused by seasonal changes and diverse weather and illumination conditions. While significant progress has been made in advancing visual SLAM on small-scale datasets with similar conditions, there is still a lack of unified benchmarks representative of real-world scenarios for autonomous driving. We introduce a new unified benchmark for jointly evaluating visual odometry, global place recognition, and map-based visual localization performance which is crucial to successfully enable autonomous driving in any condition. The data has been collected for more than one year, resulting in more than 300 km of recordings in nine different environments ranging from a multi-level parking garage to urban (including tunnels) to countryside and highway. We provide globally consistent reference poses with up to centimeter-level accuracy obtained from the fusion of direct stereo-inertial odometry with RTK GNSS. We evaluate the performance of several state-of-the-art visual odometry and visual localization baseline approaches on the benchmark and analyze their properties. The experimental results provide new insights into current approaches and show promising potential for future research. Our benchmark and evaluation protocols will be available at https://www.4seasons-dataset.com/.

机器人应用不断努力朝着更高的自主权努力。为了实现这一目标，高度健壮和准确的状态估计是必不可少的。事实证明，结合视觉和惯性传感器方式可以在短期应用中产生准确和局部一致的结果。不幸的是，视觉惯性状态估计器遭受长期轨迹漂移的积累。为了消除这种漂移，可以将全球测量值融合到状态估计管道中。全球测量的最著名和广泛可用的来源是全球定位系统（GPS）。在本文中，我们提出了一种新颖的方法，该方法完全结合了立体视觉惯性同时定位和映射（SLAM），包括视觉循环封闭，并在基于紧密耦合且基于优化的框架中融合了全球传感器模式。结合了测量不确定性，我们提供了一个可靠的标准来解决全球参考框架初始化问题。此外，我们提出了一个类似环路的优化方案，以补偿接收GPS信号中断电中累积的漂移。在数据集和现实世界中的实验验证表明，与现有的最新方法相比，与现有的最新方法相比，我们对GPS辍学方法的鲁棒性以及其能够估算高度准确且全球一致的轨迹的能力。

Visual perception plays an important role in autonomous driving. One of the primary tasks is object detection and identification. Since the vision sensor is rich in color and texture information, it can quickly and accurately identify various road information. The commonly used technique is based on extracting and calculating various features of the image. The recent development of deep learning-based method has better reliability and processing speed and has a greater advantage in recognizing complex elements. For depth estimation, vision sensor is also used for ranging due to their small size and low cost. Monocular camera uses image data from a single viewpoint as input to estimate object depth. In contrast, stereo vision is based on parallax and matching feature points of different views, and the application of deep learning also further improves the accuracy. In addition, Simultaneous Location and Mapping (SLAM) can establish a model of the road environment, thus helping the vehicle perceive the surrounding environment and complete the tasks. In this paper, we introduce and compare various methods of object detection and identification, then explain the development of depth estimation and compare various methods based on monocular, stereo, and RDBG sensors, next review and compare various methods of SLAM, and finally summarize the current problems and present the future development trends of vision technologies.

高保真大满贯系统的开发过程取决于它们对可靠数据集的验证。为了实现这一目标，我们提出了IBiscape，这是一种模拟基准，其中包括来自异质传感器的数据同步和获取API：立体声 - RGB/DVS，深度，IMU和GPS，以及地面真相场景场景细分和车辆自我摄入量。我们的基准是建立在卡拉模拟器上的，后端是虚幻的引擎，呈现出模拟现实世界的高动态风景。此外，我们提供34个适用于自动驾驶汽车导航的多模式数据集，包括用于场景理解等情况，例如事故等，以及基于与API集成的动态天气模拟类别的广泛框架质量。我们还将第一个校准目标引入了Carla图，以解决CARLA模拟DVS和RGB摄像机的未知失真参数问题。最后，使用IBISCAPE序列，我们评估了四个ORB-SLAM 3系统（单眼RGB，立体RGB，立体声视觉惯性（SVI）和RGB-D）的性能和玄武岩视觉惯性轴测计（VIO）系统，这些系统在模拟的大型大型序列上收集的各种序列 - 规模动态环境。关键字：基准，多模式，数据集，探针，校准，DVS，SLAM

在本文中，我们串联串联一个实时单手抄语和密集的测绘框架。对于姿势估计，串联基于关键帧的滑动窗口执行光度束调整。为了增加稳健性，我们提出了一种新颖的跟踪前端，使用从全局模型中呈现的深度图来执行密集的直接图像对齐，该模型从密集的深度预测逐渐构建。为了预测密集的深度映射，我们提出了通过分层构造具有自适应视图聚合的3D成本卷来平衡关键帧之间的不同立体声基线的3D成本卷来使用整个活动密钥帧窗口的级联视图 - 聚合MVSNet（CVA-MVSNET）。最后，将预测的深度映射融合到表示为截短的符号距离函数（TSDF）体素网格的一致的全局映射中。我们的实验结果表明，在相机跟踪方面，串联优于其他最先进的传统和学习的单眼视觉径管（VO）方法。此外，串联示出了最先进的实时3D重建性能。

Compared to regular cameras, Dynamic Vision Sensors or Event Cameras can output compact visual data based on a change in the intensity in each pixel location asynchronously. In this paper, we study the application of current image-based SLAM techniques to these novel sensors. To this end, the information in adaptively selected event windows is processed to form motion-compensated images. These images are then used to reconstruct the scene and estimate the 6-DOF pose of the camera. We also propose an inertial version of the event-only pipeline to assess its capabilities. We compare the results of different configurations of the proposed algorithm against the ground truth for sequences of two publicly available event datasets. We also compare the results of the proposed event-inertial pipeline with the state-of-the-art and show it can produce comparable or more accurate results provided the map estimate is reliable.

农业行业不断寻求农业生产中涉及的不同过程的自动化，例如播种，收获和杂草控制。使用移动自主机器人执行这些任务引起了极大的兴趣。耕地面向同时定位和映射（SLAM）系统（移动机器人技术的关键）面临着艰巨的挑战，这是由于视觉上的难度，这是由于高度重复的场景而引起的。近年来，已经开发了几种视觉惯性遗传（VIO）和SLAM系统。事实证明，它们在室内和室外城市环境中具有很高的准确性。但是，在农业领域未正确评估它们。在这项工作中，我们从可耕地上的准确性和处理时间方面评估了最相关的最新VIO系统，以便更好地了解它们在这些环境中的行为。特别是，该评估是在我们的车轮机器人记录的大豆领域记录的传感器数据集中进行的，该田间被公开发行为Rosario数据集。评估表明，环境的高度重复性外观，崎terrain的地形产生的强振动以及由风引起的叶子的运动，暴露了当前最新的VIO和SLAM系统的局限性。我们分析了系统故障并突出观察到的缺点，包括初始化故障，跟踪损失和对IMU饱和的敏感性。最后，我们得出的结论是，即使某些系统（例如Orb-Slam3和S-MSCKF）在其他系统方面表现出良好的结果，但应采取更多改进，以使其在某些申请中的农业领域可靠，例如作物行的土壤耕作和农药喷涂。 。

a) Stereo input: trajectory and sparse reconstruction of an urban environment with multiple loop closures. (b) RGB-D input: keyframes and dense pointcloud of a room scene with one loop closure. The pointcloud is rendered by backprojecting the sensor depth maps from estimated keyframe poses. No fusion is performed.

A monocular visual-inertial system (VINS), consisting of a camera and a low-cost inertial measurement unit (IMU), forms the minimum sensor suite for metric six degreesof-freedom (DOF) state estimation. However, the lack of direct distance measurement poses significant challenges in terms of IMU processing, estimator initialization, extrinsic calibration, and nonlinear optimization. In this work, we present VINS-Mono: a robust and versatile monocular visual-inertial state estimator. Our approach starts with a robust procedure for estimator initialization and failure recovery. A tightly-coupled, nonlinear optimization-based method is used to obtain high accuracy visual-inertial odometry by fusing pre-integrated IMU measurements and feature observations. A loop detection module, in combination with our tightly-coupled formulation, enables relocalization with minimum computation overhead. We additionally perform four degrees-of-freedom pose graph optimization to enforce global consistency. We validate the performance of our system on public datasets and real-world experiments and compare against other state-of-the-art algorithms. We also perform onboard closed-loop autonomous flight on the MAV platform and port the algorithm to an iOS-based demonstration. We highlight that the proposed work is a reliable, complete, and versatile system that is applicable for different applications that require high accuracy localization. We open source our implementations for both PCs 1 and iOS mobile devices 2 .

准确而健壮的本地化是移动代理的基本需求。视觉惯性进程（VIO）算法将信息从摄像机和惯性传感器中利用到估计位置和翻译。最近基于深度学习的VIO模型以数据驱动的方式提供姿势信息，而无需设计手工制作的算法，因此吸引了注意力。现有的基于学习的VIO模型依赖于经常性模型来融合多模式数据和过程传感器信号，这些模型很难训练并且不够有效。我们提出了一个基于学习的新型VIO框架，并有效地结合了视觉和惯性特征，以供各州估计。我们提出的模型也能够准确，稳健地估计，即使在具有挑战性的情况下，例如在阴天和充满水的地面上，对于传统的Vio算法而言，这很难提取视觉特征。实验验证了它在不同场景中的表现优于传统和基于学习的VIO基线。

In this paper, we present a novel method for integrating 3D LiDAR depth measurements into the existing ORB-SLAM3 by building upon the RGB-D mode. We propose and compare two methods of depth map generation: conventional computer vision methods, namely an inverse dilation operation, and a supervised deep learning-based approach. We integrate the former directly into the ORB-SLAM3 framework by adding a so-called RGB-L (LiDAR) mode that directly reads LiDAR point clouds. The proposed methods are evaluated on the KITTI Odometry dataset and compared to each other and the standard ORB-SLAM3 stereo method. We demonstrate that, depending on the environment, advantages in trajectory accuracy and robustness can be achieved. Furthermore, we demonstrate that the runtime of the ORB-SLAM3 algorithm can be reduced by more than 40 % compared to the stereo mode. The related code for the ORB-SLAM3 RGB-L mode will be available as open-source software under https://github.com/TUMFTM/ORB SLAM3 RGBL.