商业视觉惯性进程（VIO）系统已成为成本效益的，现成的六个自由度（6-DOF）自由度（6-DOF）的自我运动跟踪方法，用于估计准确且一致的相机姿势数据，此外还能够通过运动捕获或全球定位系统而无需外部定位操作。但是，从现有的结果中不清楚，哪些商业VIO平台在室内和室外机器人应用的州估计方面是最稳定，最一致和准确的。我们通过一系列室内和室外实验评估了四个受欢迎的专有VIO系统（Apple Arkit，Google Arcore，Intel Realsense T265和Stereolabs ZED 2），我们可以在其中显示它们的定位稳定性，一致性和准确性。我们将完整的结果作为研究界的基准比较。

在本文中，我们介绍了一个大型数据集，其中包含各种移动映射传感器，该传感器使用以典型的步行速度携带的手持设备收集了近2.2公里，该设备通过牛津大学的新学院近2.2公里。该数据集包括来自两个市售设备的数据 - 立体惯性摄像头和一个多光束3D激光雷达，该镜头还提供惯性测量。此外，我们使用了三脚架安装的调查级LIDAR扫描仪来捕获测试位置的详细毫米准确的3D地图（包含$ \ sim $ \ sim $ 2.9亿点）。使用地图，我们推断出每次雷达扫描的设备位置的6度自由度（DOF）地面真理，以更好地评估LIDAR和视觉定位，映射和重建系统。这个基础真理是该数据集的特殊新颖贡献，我们认为它将实现许多类似数据集缺乏的系统评估。数据集结合了建筑环境，开放空间和植被区域，以测试本地化和映射系统，例如基于视觉的导航，视觉和激光雷达大满贯，3D激光雷达重建以及基于外观的位置识别。该数据集可在以下网址获得：ori.ox.ac.uk/datasets/newer-college-dataset

在过去的几年中，同时定位和映射（SLAM）的研究取得了出色的进步。如今，SLAM系统正在从学术到现实世界的应用过渡。但是，这种过渡在准确性和鲁棒性方面提出了新的挑战。为了开发可以解决这些挑战的新的SLAM系统，需要新的包含尖端硬件和现实情况的数据集。我们提出了HILTI SLAM挑战数据集。我们的数据集包含室内序列，实验室，建筑环境以及建筑工地和停车区的室外序列。所有这些序列的特征是无特征区域和不同的照明条件，这些条件在现实世界中典型，并对在密封实验室环境中开发的算法构成了巨大的挑战。每个序列都提供了准确的稀疏地面真相，以毫米水平为毫米。用于记录数据的传感器平台包括许多视觉，激光雷达和惯性传感器，它们在空间和时间上进行了校准。该数据集的目的是促进传感器融合的研究，以开发可以在需要高准确性和鲁棒性（例如在施工环境中）部署的SLAM算法。许多学术和工业团体在HILTI SLAM挑战中的拟议数据集上测试了他们的SLAM系统。本文总结的挑战结果表明，拟议的数据集是准备在现实世界中部署的新SLAM算法开发的重要资产。

组合多个传感器使机器人能够最大程度地提高其对环境的感知意识，并增强其对外部干扰的鲁棒性，对机器人导航至关重要。本文提出了可融合的基准测试，这是一个完整的多传感器数据集，具有多种移动机器人序列。本文提出了三项贡献。我们首先推进便携式和通用的多传感器套件，可提供丰富的感官测量值：10Hz激光镜点云，20Hz立体声框架图像，来自立体声事件相机的高速率和异步事件，来自IMU的200Hz惯性读数以及10Hz GPS信号。传感器已经在硬件中暂时同步。该设备轻巧，独立，并为移动机器人提供插件支持。其次，我们通过收集17个序列来构建数据集，该序列通过利用多个机器人平台进行数据收集来涵盖校园上各种环境。一些序列对现有的SLAM算法具有挑战性。第三，我们为将本地化和映射绩效评估提供了基础真理。我们还评估最新的大满贯方法并确定其局限性。该数据集将发布由原始传感器的设置，地面真相，校准数据和评估算法组成：https：//ram-lab.com/file/site/site/multi-sensor-dataset。

在本文中，我们评估了八种流行和开源的3D激光雷达和视觉大满贯（同时定位和映射）算法，即壤土，乐高壤土，lio sam，hdl graph，orb slam3，basalt vio和svo2。我们已经设计了室内和室外的实验，以研究以下项目的影响：i）传感器安装位置的影响，ii）地形类型和振动的影响，iii）运动的影响（线性和角速速度的变化）。我们根据相对和绝对姿势误差比较它们的性能。我们还提供了他们所需的计算资源的比较。我们通过我们的多摄像机和多大摄像机室内和室外数据集进行彻底分析和讨论结果，并确定环境案例的最佳性能系统。我们希望我们的发现可以帮助人们根据目标环境选择一个适合其需求的传感器和相应的SLAM算法组合。

在本文中，我们展示了一个4.5km步行距离的多摄像头惯性数据集作为向较新的大学数据集的扩展。全局快门多摄像机设备与IMU和LIDAR同步。该数据集还提供了六程度的自由（DOF）地理位作为10Hz的LIDAR频率。描述了三个数据收集，并说明了多相机视觉惯性内径测定的示例使用。该扩展数据集包含小型和狭窄的通道，大规模开放空间以及植被区域来测试本地化和映射系统。此外，一些序列存在具有挑战性的情况，例如突然的照明变化，织地表面和侵略性运动。数据集可用于：https：//ori-drs.github.io/newer-college-dataset

A monocular visual-inertial system (VINS), consisting of a camera and a low-cost inertial measurement unit (IMU), forms the minimum sensor suite for metric six degreesof-freedom (DOF) state estimation. However, the lack of direct distance measurement poses significant challenges in terms of IMU processing, estimator initialization, extrinsic calibration, and nonlinear optimization. In this work, we present VINS-Mono: a robust and versatile monocular visual-inertial state estimator. Our approach starts with a robust procedure for estimator initialization and failure recovery. A tightly-coupled, nonlinear optimization-based method is used to obtain high accuracy visual-inertial odometry by fusing pre-integrated IMU measurements and feature observations. A loop detection module, in combination with our tightly-coupled formulation, enables relocalization with minimum computation overhead. We additionally perform four degrees-of-freedom pose graph optimization to enforce global consistency. We validate the performance of our system on public datasets and real-world experiments and compare against other state-of-the-art algorithms. We also perform onboard closed-loop autonomous flight on the MAV platform and port the algorithm to an iOS-based demonstration. We highlight that the proposed work is a reliable, complete, and versatile system that is applicable for different applications that require high accuracy localization. We open source our implementations for both PCs 1 and iOS mobile devices 2 .

In this paper, we present a novel visual SLAM and long-term localization benchmark for autonomous driving in challenging conditions based on the large-scale 4Seasons dataset. The proposed benchmark provides drastic appearance variations caused by seasonal changes and diverse weather and illumination conditions. While significant progress has been made in advancing visual SLAM on small-scale datasets with similar conditions, there is still a lack of unified benchmarks representative of real-world scenarios for autonomous driving. We introduce a new unified benchmark for jointly evaluating visual odometry, global place recognition, and map-based visual localization performance which is crucial to successfully enable autonomous driving in any condition. The data has been collected for more than one year, resulting in more than 300 km of recordings in nine different environments ranging from a multi-level parking garage to urban (including tunnels) to countryside and highway. We provide globally consistent reference poses with up to centimeter-level accuracy obtained from the fusion of direct stereo-inertial odometry with RTK GNSS. We evaluate the performance of several state-of-the-art visual odometry and visual localization baseline approaches on the benchmark and analyze their properties. The experimental results provide new insights into current approaches and show promising potential for future research. Our benchmark and evaluation protocols will be available at https://www.4seasons-dataset.com/.

本文介绍了一个多模式的室内轨道图数据集，Odombeyondvision，具有不同频谱的多个传感器，并使用不同的移动平台收集。Odombeyondvision不仅包含传统的导航传感器，例如IMUS，机械激光镜，RGBD摄像头，还包括几个新兴传感器，例如单芯片MMWave Radar，LWIR热相机和固态激光雷达。在无人机，UGV和手持式平台上的上述传感器中，我们分别记录了各种室内场景和不同照明条件的多模式探光数据及其运动轨迹。我们释放了示例雷达，雷达惯性和热惯性循环仪的实现，以证明其未来工作的结果，以对其进行比较和改进。包括工具包和文档在内的完整数据集可公开可用：https：//github.com/maps-lab/odombeyondvision。

同时定位和映射（SLAM）对于自主机器人（例如自动驾驶汽车，自动无人机），3D映射系统和AR/VR应用至关重要。这项工作提出了一个新颖的LIDAR惯性 - 视觉融合框架，称为R $^3 $ LIVE ++，以实现强大而准确的状态估计，同时可以随时重建光线体图。 R $^3 $ LIVE ++由LIDAR惯性探针（LIO）和视觉惯性探测器（VIO）组成，均为实时运行。 LIO子系统利用从激光雷达的测量值重建几何结构（即3D点的位置），而VIO子系统同时从输入图像中同时恢复了几何结构的辐射信息。 r $^3 $ live ++是基于r $^3 $ live开发的，并通过考虑相机光度校准（例如，非线性响应功能和镜头渐滴）和相机的在线估计，进一步提高了本地化和映射的准确性和映射接触时间。我们对公共和私人数据集进行了更广泛的实验，以将我们提出的系统与其他最先进的SLAM系统进行比较。定量和定性结果表明，我们所提出的系统在准确性和鲁棒性方面对其他系统具有显着改善。此外，为了证明我们的工作的可扩展性，{我们基于重建的辐射图开发了多个应用程序，例如高动态范围（HDR）成像，虚拟环境探索和3D视频游戏。}最后，分享我们的发现和我们的发现和为社区做出贡献，我们在GitHub上公开提供代码，硬件设计和数据集：github.com/hku-mars/r3live

同时本地化和映射（SLAM）正在现实世界应用中部署，但是在许多常见情况下，许多最先进的解决方案仍然在困难。进步的SLAM研究的关键是高质量数据集的可用性以及公平透明的基准测试。为此，我们创建了Hilti-Oxford数据集，以将最新的SLAM系统推向其极限。该数据集面临着各种挑战，从稀疏和常规的建筑工地到17世纪的新古典建筑，并具有细节和弯曲的表面。为了鼓励多模式的大满贯方法，我们设计了一个具有激光雷达，五个相机和IMU（惯性测量单元）的数据收集平台。为了对精度和鲁棒性至关重要的任务进行基准测试量算法，我们实施了一种新颖的地面真相收集方法，使我们的数据集能够以毫米精度准确地测量SLAM姿势错误。为了进一步确保准确性，我们平台的外部设备通过微米精确的扫描仪进行了验证，并使用硬件时间同步在线管理时间校准。我们数据集的多模式和多样性吸引了大量的学术和工业研究人员进入第二版《希尔蒂·斯拉姆挑战赛》，该挑战于2022年6月结束。挑战的结果表明，尽管前三名团队可以实现准确性在某些序列中的2厘米或更高的速度中，性能以更困难的序列下降。

With the advanced request to employ a team of robots to perform a task collaboratively, the research community has become increasingly interested in collaborative simultaneous localization and mapping. Unfortunately, existing datasets are limited in the scale and variation of the collaborative trajectories, even though generalization between inter-trajectories among different agents is crucial to the overall viability of collaborative tasks. To help align the research community's contributions with realistic multiagent ordinated SLAM problems, we propose S3E, a large-scale multimodal dataset captured by a fleet of unmanned ground vehicles along four designed collaborative trajectory paradigms. S3E consists of 7 outdoor and 5 indoor sequences that each exceed 200 seconds, consisting of well temporal synchronized and spatial calibrated high-frequency IMU, high-quality stereo camera, and 360 degree LiDAR data. Crucially, our effort exceeds previous attempts regarding dataset size, scene variability, and complexity. It has 4x as much average recording time as the pioneering EuRoC dataset. We also provide careful dataset analysis as well as baselines for collaborative SLAM and single counterparts. Data and more up-to-date details are found at https://github.com/PengYu-Team/S3E.

我们介绍了棕色行人内径数据集（BPOD），用于在头部安装的行人设置中基准测试视觉内径算法。在布朗大学校园的12个不同室内和户外地点使用同步全球和滚动快门立体声相机捕获此数据集。与现有数据集相比，BPOD包含更多图像模糊和自动旋转，这在行人内径术中很常见，但罕见的其他地方。地面真理轨迹是从沿行人路径放置的粘贴标记产生的，并且使用第三人称视频记录行人的位置。我们在BPOD上评估代表性直接，特征和基于学习的VO方法的性能。我们的结果表明，需要显着的发展来成功捕获行人轨迹。数据集的链接在这里：\ url {https://doi.org/10.26300/c1n7-7p93

农业行业不断寻求农业生产中涉及的不同过程的自动化，例如播种，收获和杂草控制。使用移动自主机器人执行这些任务引起了极大的兴趣。耕地面向同时定位和映射（SLAM）系统（移动机器人技术的关键）面临着艰巨的挑战，这是由于视觉上的难度，这是由于高度重复的场景而引起的。近年来，已经开发了几种视觉惯性遗传（VIO）和SLAM系统。事实证明，它们在室内和室外城市环境中具有很高的准确性。但是，在农业领域未正确评估它们。在这项工作中，我们从可耕地上的准确性和处理时间方面评估了最相关的最新VIO系统，以便更好地了解它们在这些环境中的行为。特别是，该评估是在我们的车轮机器人记录的大豆领域记录的传感器数据集中进行的，该田间被公开发行为Rosario数据集。评估表明，环境的高度重复性外观，崎terrain的地形产生的强振动以及由风引起的叶子的运动，暴露了当前最新的VIO和SLAM系统的局限性。我们分析了系统故障并突出观察到的缺点，包括初始化故障，跟踪损失和对IMU饱和的敏感性。最后，我们得出的结论是，即使某些系统（例如Orb-Slam3和S-MSCKF）在其他系统方面表现出良好的结果，但应采取更多改进，以使其在某些申请中的农业领域可靠，例如作物行的土壤耕作和农药喷涂。 。

通过移动激光扫描和图像构建有色点的云是测量和映射的基本工作。它也是为智能城市建造数字双胞胎的重要先决条件。但是，现有的公共数据集要么是相对较小的规模，要么缺乏准确的几何和彩色地面真理。本文记录了一个名为Polyu-BPComa的多功能数据集，该数据集可独特地定位于移动着色映射。该数据集在背包平台上包含3D激光雷达，球形成像，GNSS和IMU的资源。颜色检查器板在每个调查区域粘贴，因为目标和地面真相数据是由先进的陆地激光扫描仪（TLS）收集的。 3D几何信息和颜色信息可以分别在背包系统和TLS产生的有色点云中恢复。因此，我们提供了一个机会，可以同时为移动多感官系统对映射和着色精度进行基准测试。该数据集的尺寸约为800 GB，涵盖室内和室外环境。数据集和开发套件可在https://github.com/chenpengxin/polyu-bpcoma.git上找到。

我们建议以人为本的4D场景捕获（HSC4D）准确有效地创建一个动态的数字世界，其中包含大规模的室内场景，各种各样的人类动作以及人类与环境之间的丰富互动。 HSC4D仅使用车身安装的IMU和LIDAR，没有任何外部设备的限制和无图形地图，没有预构建的地图。考虑到IMU可以捕获人的姿势，但始终为长期使用而漂移，而LiDar对于全球本地化却是稳定的，但对于本地位置和方向而言，HSC4D使两个传感器通过联合优化和实现长期的有希望的结果相互补充。捕获。还探索了人与环境之间的关系，以使其相互作用更加现实。为了促进许多下游任务，例如AR，VR，机器人，自动驾驶等，我们提出了一个数据集，其中包含三个大型场景（1k-5k $ m^2 $），并具有准确的动态人类动作和位置。各种场景（攀岩馆，多层建筑，坡度等）以及挑战人类活动（锻炼，上下楼梯，攀岩等）展示了HSC4D的有效性和概括能力。数据集和代码可在http://www.lidarhumanmotion.net/hsc4d/上获得。

我们提供了一种基于因子图优化的多摄像性视觉惯性内径系统，该系统通过同时使用所有相机估计运动，同时保留固定的整体特征预算。我们专注于在挑战环境中的运动跟踪，例如狭窄的走廊，具有侵略性动作的黑暗空间，突然的照明变化。这些方案导致传统的单眼或立体声测量失败。在理论上，使用额外的相机跟踪运动，但它会导致额外的复杂性和计算负担。为了克服这些挑战，我们介绍了两种新的方法来改善多相机特征跟踪。首先，除了从一体相机移动到另一个相机时，我们连续地跟踪特征的代替跟踪特征。这提高了准确性并实现了更紧凑的因子图表示。其次，我们选择跨摄像机的跟踪功能的固定预算，以降低反向结束优化时间。我们发现，使用较小的信息性功能可以保持相同的跟踪精度。我们所提出的方法使用由IMU和四个摄像机（前立体网和两个侧面）组成的硬件同步装置进行广泛测试，包括：地下矿，大型开放空间，以及带狭窄楼梯和走廊的建筑室内设计。与立体声最新的视觉惯性内径测量方法相比，我们的方法将漂移率，相对姿势误差，高达80％的翻译和旋转39％降低。

去中心化的国家估计是GPS贬低的地区自动空中群体系统中最基本的组成部分之一，但它仍然是一个极具挑战性的研究主题。本文提出了Omni-swarm，一种分散的全向视觉惯性-UWB状态估计系统，用于解决这一研究利基市场。为了解决可观察性，复杂的初始化，准确性不足和缺乏全球一致性的问题，我们在Omni-warm中引入了全向感知前端。它由立体宽型摄像机和超宽带传感器，视觉惯性探测器，基于多无人机地图的本地化以及视觉无人机跟踪算法组成。前端的测量值与后端的基于图的优化融合在一起。所提出的方法可实现厘米级的相对状态估计精度，同时确保空中群中的全球一致性，这是实验结果证明的。此外，在没有任何外部设备的情况下，可以在全面的无人机间碰撞方面支持，表明全旋转的潜力是自动空中群的基础。

我们呈现HYBVIO，一种新的混合方法，用于利用基于优化的SLAM结合基于滤波的视觉惯性内径术（VIO）的混合方法。我们的方法的核心是强大的，独立的VIO，具有改进的IMU偏置建模，异常值抑制，实体性检测和特征轨道选择，可调于在嵌入式硬件上运行。使用松散耦合的SLAM模块实现了长期一致性。在学术基准中，我们的解决方案在所有类别中产生了出色的性能，特别是在实时用例中，我们优于最新的最先进。我们还展示了VIO使用自定义数据集对消费类硬件的车辆跟踪的可行性，并与当前商业诉讼替代品相比，表现出良好的性能。https://github.com/spectacularai/hybvio提供了Hybvio方法的开源实现

事件摄像机最近在高动力或具有挑战性的照明情况下具有强大的常规摄像头的潜力，因此摄影机最近变得越来越受欢迎。通过同时定位和映射（SLAM）给出了可能受益于事件摄像机的重要问题。但是，为了确保在包含事件的多传感器大满贯上进展，需要新颖的基准序列。我们的贡献是使用包含基于事件的立体声摄像机，常规立体声摄像机，多个深度传感器和惯性测量单元的多传感器设置捕获的第一组基准数据集。该设置是完全硬件同步的，并且经过了准确的外部校准。所有序列都均均均均由高度准确的外部参考设备（例如运动捕获系统）捕获的地面真相数据。各个序列都包括小型和大型环境，并涵盖动态视觉传感器针对的特定挑战。