We propose a 6D RGB-D odometry approach that finds the relative camera pose between consecutive RGB-D frames by keypoint extraction and feature matching both on the RGB and depth image planes. Furthermore, we feed the estimated pose to the highly accurate KinectFusion algorithm, which uses a fast ICP (Iterative Closest Point) to fine-tune the frame-to-frame relative pose and fuse the depth data into a global implicit surface. We evaluate our method on a publicly available RGB-D SLAM benchmark dataset by Sturm et al. The experimental results show that our proposed reconstruction method solely based on visual odometry and KinectFusion outperforms the state-of-the-art RGB-D SLAM system accuracy. Moreover, our algorithm outputs a ready-to-use polygon mesh (highly suitable for creating 3D virtual worlds) without any postprocessing steps.

Figure 1: Example output from our system, generated in real-time with a handheld Kinect depth camera and no other sensing infrastructure. Normal maps (colour) and Phong-shaded renderings (greyscale) from our dense reconstruction system are shown. On the left for comparison is an example of the live, incomplete, and noisy data from the Kinect sensor (used as input to our system).

In this paper, we present a novel benchmark for the evaluation of RGB-D SLAM systems. We recorded a large set of image sequences from a Microsoft Kinect with highly accurate and time-synchronized ground truth camera poses from a motion capture system. The sequences contain both the color and depth images in full sensor resolution (640 × 480) at video frame rate (30 Hz). The ground-truth trajectory was obtained from a motion-capture system with eight high-speed tracking cameras (100 Hz). The dataset consists of 39 sequences that were recorded in an office environment and an industrial hall. The dataset covers a large variety of scenes and camera motions. We provide sequences for debugging with slow motions as well as longer trajectories with and without loop closures. Most sequences were recorded from a handheld Kinect with unconstrained 6-DOF motions but we also provide sequences from a Kinect mounted on a Pioneer 3 robot that was manually navigated through a cluttered indoor environment. To stimulate the comparison of different approaches, we provide automatic evaluation tools both for the evaluation of drift of visual odometry systems and the global pose error of SLAM systems. The benchmark website [1] contains all data, detailed descriptions of the scenes, specifications of the data formats, sample code, and evaluation tools.

This paper presents ORB-SLAM, a feature-based monocular SLAM system that operates in real time, in small and large, indoor and outdoor environments. The system is robust to severe motion clutter, allows wide baseline loop closing and relocalization, and includes full automatic initialization. Building on excellent algorithms of recent years, we designed from scratch a novel system that uses the same features for all SLAM tasks: tracking, mapping, relocalization, and loop closing. A survival of the fittest strategy that selects the points and keyframes of the reconstruction leads to excellent robustness and generates a compact and trackable map that only grows if the scene content changes, allowing lifelong operation. We present an exhaustive evaluation in 27 sequences from the most popular datasets. ORB-SLAM achieves unprecedented performance with respect to other state-of-the-art monocular SLAM approaches. For the benefit of the community, we make the source code public.

由于其对环境变化的鲁棒性，视觉猛感的间接方法是受欢迎的。 ORB-SLAM2 \ CITE {ORBSLM2}是该域中的基准方法，但是，除非选择帧作为关键帧，否则它会消耗从未被重用的描述符。轻量级和高效，因为它跟踪相邻帧之间的关键点而不计算描述符。为此，基于稀疏光流提出了一种两个级粗到微小描述符独立的Keypoint匹配方法。在第一阶段，我们通过简单但有效的运动模型预测初始关键点对应，然后通过基于金字塔的稀疏光流跟踪鲁棒地建立了对应关系。在第二阶段，我们利用运动平滑度和末端几何形状的约束来改进对应关系。特别是，我们的方法仅计算关键帧的描述符。我们在\ texit {tum}和\ texit {icl-nuim} RGB-D数据集上测试Fastorb-Slam，并将其准确性和效率与九种现有的RGB-D SLAM方法进行比较。定性和定量结果表明，我们的方法实现了最先进的准确性，并且大约是ORB-SLAM2的两倍。

a) Stereo input: trajectory and sparse reconstruction of an urban environment with multiple loop closures. (b) RGB-D input: keyframes and dense pointcloud of a room scene with one loop closure. The pointcloud is rendered by backprojecting the sensor depth maps from estimated keyframe poses. No fusion is performed.

Three-dimensional (3D) technologies have been developing rapidly recent years, and have influenced industrial, medical, cultural, and many other fields. In this paper, we introduce an automatic 3D human head scanning-printing system, which provides a complete pipeline to scan, reconstruct, select, and finally print out physical 3D human heads. To enhance the accuracy of our system, we developed a consumer-grade composite sensor (including a gyroscope, an accelerometer, a digital compass, and a Kinect v2 depth sensor) as our sensing device. This sensing device is then mounted on a robot, which automatically rotates around the human subject with approximate 1-meter radius, to capture the full-view information. The data streams are further processed and fused into a 3D model of the subject using a tablet located on the robot. In addition, an automatic selection method, based on our specific system configurations, is proposed to select the head portion. We evaluated the accuracy of the proposed system by comparing our generated 3D head models, from both standard human head model and real human subjects, with the ones reconstructed from FastSCAN and Cyberware commercial laser scanning systems through computing and visualizing Hausdorff distances. Computational cost is also provided to further assess our proposed system.

Various datasets have been proposed for simultaneous localization and mapping (SLAM) and related problems. Existing datasets often include small environments, have incomplete ground truth, or lack important sensor data, such as depth and infrared images. We propose an easy-to-use framework for acquiring building-scale 3D reconstruction using a consumer depth camera. Unlike complex and expensive acquisition setups, our system enables crowd-sourcing, which can greatly benefit data-hungry algorithms. Compared to similar systems, we utilize raw depth maps for odometry computation and loop closure refinement which results in better reconstructions. We acquire a building-scale 3D dataset (BS3D) and demonstrate its value by training an improved monocular depth estimation model. As a unique experiment, we benchmark visual-inertial odometry methods using both color and active infrared images.

农业行业不断寻求农业生产中涉及的不同过程的自动化，例如播种，收获和杂草控制。使用移动自主机器人执行这些任务引起了极大的兴趣。耕地面向同时定位和映射（SLAM）系统（移动机器人技术的关键）面临着艰巨的挑战，这是由于视觉上的难度，这是由于高度重复的场景而引起的。近年来，已经开发了几种视觉惯性遗传（VIO）和SLAM系统。事实证明，它们在室内和室外城市环境中具有很高的准确性。但是，在农业领域未正确评估它们。在这项工作中，我们从可耕地上的准确性和处理时间方面评估了最相关的最新VIO系统，以便更好地了解它们在这些环境中的行为。特别是，该评估是在我们的车轮机器人记录的大豆领域记录的传感器数据集中进行的，该田间被公开发行为Rosario数据集。评估表明，环境的高度重复性外观，崎terrain的地形产生的强振动以及由风引起的叶子的运动，暴露了当前最新的VIO和SLAM系统的局限性。我们分析了系统故障并突出观察到的缺点，包括初始化故障，跟踪损失和对IMU饱和的敏感性。最后，我们得出的结论是，即使某些系统（例如Orb-Slam3和S-MSCKF）在其他系统方面表现出良好的结果，但应采取更多改进，以使其在某些申请中的农业领域可靠，例如作物行的土壤耕作和农药喷涂。 。

在不同情况下，已经探索了相对旋转和翻译估计任务的最小解决方案，通常依赖于所谓的共同可见度图。但是，如何在没有重叠的两个框架之间建立直接旋转关系仍然是一个公开主题，如果解决了，它可以大大提高视觉尾声的准确性。在本文中，提出了一种新的最小解决方案，以通过利用新的图形结构来求解两个图像之间没有重叠区域的相对旋转估计，我们将其称为扩展性图（E-Graph）。与共同可见度图不同，高级标志（包括消失方向和平面正常）存储在我们的电子图纸中，这些图形在几何上可扩展。基于电子图表，旋转估计问题变得更简单，更优雅，因为它可以处理纯粹的旋转运动，并且需要更少的假设，例如曼哈顿/亚特兰大世界，平面/垂直运动。最后，我们将旋转估计策略嵌入完整的相机跟踪和映射系统中，该系统获得了6-DOF相机姿势和密集的3D网格模型。对公共基准测试的广泛实验表明，所提出的方法实现了最新的跟踪性能。

在本文中，我们串联串联一个实时单手抄语和密集的测绘框架。对于姿势估计，串联基于关键帧的滑动窗口执行光度束调整。为了增加稳健性，我们提出了一种新颖的跟踪前端，使用从全局模型中呈现的深度图来执行密集的直接图像对齐，该模型从密集的深度预测逐渐构建。为了预测密集的深度映射，我们提出了通过分层构造具有自适应视图聚合的3D成本卷来平衡关键帧之间的不同立体声基线的3D成本卷来使用整个活动密钥帧窗口的级联视图 - 聚合MVSNet（CVA-MVSNET）。最后，将预测的深度映射融合到表示为截短的符号距离函数（TSDF）体素网格的一致的全局映射中。我们的实验结果表明，在相机跟踪方面，串联优于其他最先进的传统和学习的单眼视觉径管（VO）方法。此外，串联示出了最先进的实时3D重建性能。

尽管常规机器人系统中的每个不同任务都需要专用的场景表示形式，但本文表明，统一表示形式可以直接用于多个关键任务。我们提出了用于映射，进程和计划（LOG-GPIS-MOP）的log-gaussian过程隐式表面：基于统一表示形式的表面重建，本地化和导航的概率框架。我们的框架将对数转换应用于高斯过程隐式表面（GPIS）公式，以恢复全局表示，该表示可以准确地捕获具有梯度的欧几里得距离场，同时又是隐式表面。通过直接估计距离字段及其通过LOG-GPIS推断的梯度，提出的增量进程技术计算出传入帧的最佳比对，并在全球范围内融合以生成MAP。同时，基于优化的计划者使用相同的LOG-GPIS表面表示计算安全的无碰撞路径。我们根据最先进的方法验证了2D和3D和3D和基准测试的模拟和真实数据集的拟议框架。我们的实验表明，LOG-GPIS-MOP在顺序的音程，表面映射和避免障碍物中产生竞争结果。

尽管密集的视觉大满贯方法能够估计环境的密集重建，但它们的跟踪步骤缺乏稳健性，尤其是当优化初始化较差时。稀疏的视觉大满贯系统通过将惯性测量包括在紧密耦合的融合中，达到了高度的准确性和鲁棒性。受这一表演的启发，我们提出了第一个紧密耦合的密集RGB-D惯性大满贯系统。我们的系统在GPU上运行时具有实时功能。它共同优化了相机姿势，速度，IMU偏见和重力方向，同时建立了全球一致，完全密集的基于表面的3D重建环境。通过一系列关于合成和现实世界数据集的实验，我们表明我们密集的视觉惯性大满贯系统对于低纹理和低几何变化的快速运动和时期比仅相关的RGB-D仅相关的SLAM系统更强大。

结合同时定位和映射（SLAM）估计和动态场景建模可以高效地在动态环境中获得机器人自主权。机器人路径规划和障碍避免任务依赖于场景中动态对象运动的准确估计。本文介绍了VDO-SLAM，这是一种强大的视觉动态对象感知SLAM系统，用于利用语义信息，使得能够在场景中进行准确的运动估计和跟踪动态刚性物体，而无需任何先前的物体形状或几何模型的知识。所提出的方法识别和跟踪环境中的动态对象和静态结构，并将这些信息集成到统一的SLAM框架中。这导致机器人轨迹的高度准确估计和对象的全部SE（3）运动以及环境的时空地图。该系统能够从对象的SE（3）运动中提取线性速度估计，为复杂的动态环境中的导航提供重要功能。我们展示了所提出的系统对许多真实室内和室外数据集的性能，结果表明了对最先进的算法的一致和实质性的改进。可以使用源代码的开源版本。

在这项研究中，我们提出了一种新型的视觉定位方法，以根据RGB摄像机的可视数据准确估计机器人在3D激光镜头内的六个自由度（6-DOF）姿势。使用基于先进的激光雷达的同时定位和映射（SLAM）算法，可获得3D地图，能够收集精确的稀疏图。将从相机图像中提取的功能与3D地图的点进行了比较，然后解决了几何优化问题，以实现精确的视觉定位。我们的方法允许使用配备昂贵激光雷达的侦察兵机器人一次 - 用于映射环境，并且仅使用RGB摄像头的多个操作机器人 - 执行任务任务，其本地化精度高于常见的基于相机的解决方案。该方法在Skolkovo科学技术研究所（Skoltech）收集的自定义数据集上进行了测试。在评估本地化准确性的过程中，我们设法达到了厘米级的准确性；中间翻译误差高达1.3厘米。仅使用相机实现的确切定位使使用自动移动机器人可以解决需要高度本地化精度的最复杂的任务。

在面对低纹理的场景时，视觉测距算法倾向于降解 - 从例如时。人造环境 - 往往难以找到足够数量的点特征。替代的几何视觉提示，例如可以在这些场景中找到的线，这可能会特别有用。此外，这些场景通常存在结构规律，例如并行性或正交性，并持有曼哈顿世界的假设。在这些场所，在这项工作中，我们介绍了MSC-VO，这是一个RGB-D基的视觉测量方法，它结合了点和线条特征和利用，如果存在，那些结构规律和场景的曼哈顿轴。在我们的方法中，这些结构约束最初用于精确地估计提取线的3D位置。这些约束也与估计的曼哈顿轴相结合，并通过本地地图优化将相机姿势改进的点和线路的重新注入误差。这种组合使我们的方法能够在不存在上述约束的情况下操作，允许该方法用于更广泛的方案。此外，我们提出了一种新颖的多视图曼哈顿轴估计程序，主要依赖于线特征。使用几个公共数据集进行评估MSC-VO，优于其他最先进的解决方案，并且即使使用一些SLAM方法也是有利的。

In this work, we present a dense tracking and mapping system named Vox-Fusion, which seamlessly fuses neural implicit representations with traditional volumetric fusion methods. Our approach is inspired by the recently developed implicit mapping and positioning system and further extends the idea so that it can be freely applied to practical scenarios. Specifically, we leverage a voxel-based neural implicit surface representation to encode and optimize the scene inside each voxel. Furthermore, we adopt an octree-based structure to divide the scene and support dynamic expansion, enabling our system to track and map arbitrary scenes without knowing the environment like in previous works. Moreover, we proposed a high-performance multi-process framework to speed up the method, thus supporting some applications that require real-time performance. The evaluation results show that our methods can achieve better accuracy and completeness than previous methods. We also show that our Vox-Fusion can be used in augmented reality and virtual reality applications. Our source code is publicly available at https://github.com/zju3dv/Vox-Fusion.

在这项工作中，我们探讨了对物体在看不见的世界中同时本地化和映射中的使用，并提出了一个对象辅助系统（OA-Slam）。更确切地说，我们表明，与低级点相比，物体的主要好处在于它们的高级语义和歧视力。相反，要点比代表对象（Cuboid或椭圆形）的通用粗模型具有更好的空间定位精度。我们表明，将点和对象组合非常有趣，可以解决相机姿势恢复的问题。我们的主要贡献是：（1）我们使用高级对象地标提高了SLAM系统的重新定位能力； （2）我们构建了一个能够使用3D椭圆形识别，跟踪和重建对象的自动系统； （3）我们表明，基于对象的本地化可用于重新初始化或恢复相机跟踪。我们的全自动系统允许对象映射和增强姿势跟踪恢复，我们认为这可以极大地受益于AR社区。我们的实验表明，可以从经典方法失败的视点重新定位相机。我们证明，尽管跟踪损失损失，但这种本地化使SLAM系统仍可以继续工作，而这种损失可能会经常发生在不理会的用户中。我们的代码和测试数据在gitlab.inria.fr/tangram/oa-slam上发布。

通常，非刚性登记的问题是匹配在两个不同点拍摄的动态对象的两个不同扫描。这些扫描可以进行刚性动作和非刚性变形。由于模型的新部分可能进入视图，而其他部件在两个扫描之间堵塞，则重叠区域是两个扫描的子集。在最常规的设置中，没有给出先前的模板形状，并且没有可用的标记或显式特征点对应关系。因此，这种情况是局部匹配问题，其考虑了随后的扫描在具有大量重叠区域的情况下进行的扫描经历的假设[28]。本文在环境中寻址的问题是同时在环境中映射变形对象和本地化摄像机。

完全自主移动机器人的现实部署取决于能够处理动态环境的强大的大满贯（同时本地化和映射）系统，其中对象在机器人的前面移动以及不断变化的环境，在此之后移动或更换对象。机器人已经绘制了现场。本文介绍了更换式SLAM，这是一种在动态和不断变化的环境中强大的视觉猛烈抨击的方法。这是通过使用与长期数据关联算法结合的贝叶斯过滤器来实现的。此外，它采用了一种有效的算法，用于基于对象检测的动态关键点过滤，该对象检测正确识别了不动态的边界框中的特征，从而阻止了可能导致轨道丢失的功能的耗竭。此外，开发了一个新的数据集，其中包含RGB-D数据，专门针对评估对象级别的变化环境，称为PUC-USP数据集。使用移动机器人，RGB-D摄像头和运动捕获系统创建了六个序列。这些序列旨在捕获可能导致跟踪故障或地图损坏的不同情况。据我们所知，更换 - 峰是第一个对动态和不断变化的环境既有坚固耐用的视觉大满贯系统，又不假设给定的相机姿势或已知地图，也能够实时运行。使用基准数据集对所提出的方法进行了评估，并将其与其他最先进的方法进行了比较，证明是高度准确的。