循环结束是自动移动系统同时本地化和映射(SLAM)的基本组成部分。在视觉大满贯领域,单词袋(弓)在循环封闭方面取得了巨大的成功。循环搜索的弓特征也可以在随后的6-DOF环校正中使用。但是,对于3D激光雷达的猛击,最新方法可能无法实时识别循环,并且通常无法纠正完整的6-DOF回路姿势。为了解决这一限制,我们呈现了一袋新颖的单词,以实时循环在3D LIDAR大满贯中关闭,称为Bow3D。我们方法的新颖性在于,它不仅有效地识别了重新审视的环路,而且还实时纠正了完整的6型循环姿势。 BOW3D根据3D功能link3D构建单词袋,该链接有效,姿势不变,可用于准确的点对点匹配。我们将我们提出的方法嵌入了3D激光射击系统中,以评估循环闭合性能。我们在公共数据集上测试我们的方法,并将其与其他最先进的算法进行比较。在大多数情况下,BOW3D在F1 MAX和扩展精度分数方面表现出更好的性能,并具有出色的实时性能。值得注意的是,BOW3D平均需要50毫秒才能识别和纠正Kitti 00中的循环(包括4K+ 64射线激光扫描),当在使用Intel Core i7 @2.2 GHz处理器的笔记本上执行时。
translated by 谷歌翻译
特征提取和匹配是许多计算机视觉任务的基本部分,例如2D或3D对象检测,识别和注册。众所周知,2D功能提取和匹配已经取得了巨大的成功。不幸的是,在3D领域,由于描述性和效率低下,目前的方法无法支持3D激光雷达传感器在视觉任务中的广泛应用。为了解决此限制,我们提出了一种新颖的3D特征表示方法:3D激光点云的线性关键点表示,称为link3d。 Link3D的新颖性在于它完全考虑了LiDar Point Cloud的特征(例如稀疏性,场景的复杂性),并用其强大的邻居键盘来表示当前关键点,从而对当前关键点的描述提供了强烈的约束。提出的链接3D已在两个公共数据集(即Kitti,Steven VLP16)上进行了评估,实验结果表明,我们的方法在匹配性能方面的最先进表现都大大优于最先进的方法。更重要的是,Link3D显示出出色的实时性能(基于LIDAR的频率10 Hz)。 Link3D平均仅需32毫秒即可从64射线激光束收集的点云中提取功能,并且仅需大约8毫秒即可匹配两次LIDAR扫描,当时用Intel Core i7 @2.2 GHz处理器执行笔记本。此外,我们的方法可以广泛扩展到各种3D视觉应用。在本文中,我们已将Link3D应用于3D注册,LiDAR ODOMETIRE和放置识别任务,并与最先进的方法相比实现了竞争成果。
translated by 谷歌翻译
循环闭合检测是同时定位和映射(SLAM)系统的重要组成部分,这减少了随时间累积的漂移。多年来,已经提出了一些深入的学习方法来解决这项任务,但是与手工制作技术相比,他们的表现一直是SubPar,特别是在处理反向环的同时。在本文中,我们通过同时识别先前访问的位置并估计当前扫描与地图之间的6-DOF相对变换,有效地检测LIDAR点云中的LINAS点云中的环闭环的新颖LCDNET。 LCDNET由共享编码器组成,一个地方识别头提取全局描述符,以及估计两个点云之间的变换的相对姿势头。我们基于不平衡的最佳运输理论介绍一种新颖的相对姿势,我们以可分散的方式实现,以便实现端到端训练。在多个现实世界自主驾驶数据集中的LCDNET广泛评估表明我们的方法优于最先进的环路闭合检测和点云登记技术,特别是在处理反向环的同时。此外,我们将所提出的循环闭合检测方法集成到LIDAR SLAM库中,以提供完整的映射系统,并在看不见的城市中使用不同的传感器设置展示泛化能力。
translated by 谷歌翻译
我们介绍了一种简单而有效的方法,可以使用本地3D深度描述符(L3DS)同时定位和映射解决循环闭合检测。 L3DS正在采用深度学习算法从数据从数据中学到的点云提取的斑块的紧凑型表示。通过在通过其估计的相对姿势向循环候选点云登记之后计算对应于相互最近邻接描述符的点之间的度量误差,提出了一种用于循环检测的新颖重叠度量。这种新方法使我们能够在小重叠的情况下精确地检测环并估计六个自由度。我们将基于L3D的循环闭合方法与最近的LIDAR数据的方法进行比较,实现最先进的环路闭合检测精度。此外,我们嵌入了我们在最近的基于边缘的SLAM系统中的循环闭合方法,并对现实世界RGBD-TUM和合成ICL数据集进行了评估。与其原始环路闭合策略相比,我们的方法能够实现更好的本地化准确性。
translated by 谷歌翻译
位置识别技术赋予了一种大满贯算法,具有消除累积错误并自身重新定位的能力。基于点云的位置识别的现有方法通常利用以激光雷达为中心的全局描述符的匹配。这些方法具有以下两个主要缺陷:当两个点云之间的距离很远时,不能执行位置识别,并且只能计算旋转角度,而无需在x和y方向上偏移。为了解决这两个问题,我们提出了一个新颖的全球描述符,该描述符围绕主要对象构建,以这种方式,描述符不再依赖于观察位置。我们分析了该方法可以完美地解决上述两个问题的理论,并在Kitti和一些极端情况下进行了许多实验,这表明我们的方法比传统方法具有明显的优势。
translated by 谷歌翻译
在这项研究中,我们提出了一种新型的视觉定位方法,以根据RGB摄像机的可视数据准确估计机器人在3D激光镜头内的六个自由度(6-DOF)姿势。使用基于先进的激光雷达的同时定位和映射(SLAM)算法,可获得3D地图,能够收集精确的稀疏图。将从相机图像中提取的功能与3D地图的点进行了比较,然后解决了几何优化问题,以实现精确的视觉定位。我们的方法允许使用配备昂贵激光雷达的侦察兵机器人一次 - 用于映射环境,并且仅使用RGB摄像头的多个操作机器人 - 执行任务任务,其本地化精度高于常见的基于相机的解决方案。该方法在Skolkovo科学技术研究所(Skoltech)收集的自定义数据集上进行了测试。在评估本地化准确性的过程中,我们设法达到了厘米级的准确性;中间翻译误差高达1.3厘米。仅使用相机实现的确切定位使使用自动移动机器人可以解决需要高度本地化精度的最复杂的任务。
translated by 谷歌翻译
基于图形的大量系统的关键组成部分是能够检测轨迹中的环闭合以减少从探视法累积的漂移。大多数基于激光雷达的方法仅通过仅使用几何信息来实现此目标,而无视场景的语义。在这项工作中,我们介绍了Padloc,这是一种基于激光雷达的环路闭合检测和注册体系结构,其中包括共享的3D卷积特征提取主链,用于环路闭合检测的全局描述符,以及用于点云匹配和注册的新型变压器头。我们提出了多种方法,用于估计基于多样性指数的点匹配置信度。此外,为了提高前向后的一致性,我们建议使用两个共享匹配和注册头,并通过利用估计的相对转换必须相互倒数来交换其源和目标输入。此外,我们以新颖的损失函数的形式利用综合信息在培训期间,将匹配问题折叠为语义标签的分类任务,并作为实例标签的图形连接分配。我们在多个现实世界数据集上对PADLOC进行了广泛的评估,证明它可以实现最新的性能。我们的工作代码可在http://padloc.cs.uni-freiburg.de上公开获得。
translated by 谷歌翻译
由于点云数据的稀缺性质,在大规模环境中使用激光雷达识别使用激光雷达的地方是具有挑战性的。在本文中,我们提出了BVMATCH,基于LIDAR的帧到帧位置识别框架,其能够估计2D相对姿势。基于地面区域可以近似作为平面的假设,我们将地面区域统一地分散到网格和项目3D LIDAR扫描到鸟瞰图(BV)图像。我们进一步使用了一组Log-Gabor过滤器来构建一个最大索引图(MIM),用于编码图像中结构的方向信息。我们从理论上分析MIM的方向特征,并引入了一种名为鸟瞰图特征变换(BVFT)的新颖描述符。所提出的BVFT对BV图像的旋转和强度变化不敏感。利用BVFT描述符,统一LIDAR将识别和将估算任务统一到BVMATCT框架中。在三个大规模数据集上进行的实验表明,BVMATCH在召回的位置识别和姿势估计精度的召回速率方面优于最先进的方法。
translated by 谷歌翻译
在这项工作中,我们介绍了一个新颖的全球描述符,称为3D位置识别的稳定三角形描述符(STD)。对于一个三角形,其形状由侧面或包含角度的长度唯一决定。此外,三角形的形状对于刚性转换完全不变。基于此属性,我们首先设计了一种算法,以从3D点云中有效提取本地密钥点,并将这些关键点编码为三角形描述符。然后,通过匹配点云之间描述符的侧面长度(以及其他一些信息)来实现位置识别。从描述符匹配对获得的点对应关系可以在几何验证中进一步使用,从而大大提高了位置识别的准确性。在我们的实验中,我们将我们提出的系统与公共数据集(即Kitti,NCLT和Complex-ublan)和我们自我收集的数据集(即M2DP,扫描上下文)进行了广泛的比较(即M2DP,扫描上下文)(即带有非重复扫描固态激光雷达)。所有定量结果表明,性病具有更强的适应性,并且在其对应物方面的精度有了很大的提高。为了分享我们的发现并为社区做出贡献,我们在GitHub上开放代码:https://github.com/hku-mars/std。
translated by 谷歌翻译
循环闭合检测是在复杂环境中长期机器人导航的关键技术。在本文中,我们提出了一个全局描述符,称为正态分布描述符(NDD),用于3D点云循环闭合检测。描述符编码点云的概率密度分数和熵作为描述符。我们还提出了快速旋转对准过程,并将相关系数用作描述符之间的相似性。实验结果表明,我们的方法在准确性和效率上都优于最新点云描述符。源代码可用,可以集成到现有的LIDAR射测和映射(壤土)系统中。
translated by 谷歌翻译
位置识别在机器人和车辆的重新定位和循环封闭检测任务中起着至关重要的作用。本文为基于激光雷达的位置识别寻求明确定义的全球描述符。与本地描述符相比,全球描述符在城市道路场景中表现出色,但通常依赖于观点。为此,我们提出了一个简单而坚固的全局描述符,称为壁画,通过利用傅立叶变换和圆形转移技术,可以分解重新访问期间的视点差异,并实现翻译和旋转不变性。此外,还提出了一种快速的两阶段姿势估计方法,以利用从场景中提取的紧凑型2D点云来估计位置回收后的相对姿势。实验表明,在来自多个数据集的不同场景的序列上,壁画表现出比同期方法表现出更好的性能。该代码将在https://github.com/soytony/fresco上公开获取。
translated by 谷歌翻译
This paper presents ORB-SLAM, a feature-based monocular SLAM system that operates in real time, in small and large, indoor and outdoor environments. The system is robust to severe motion clutter, allows wide baseline loop closing and relocalization, and includes full automatic initialization. Building on excellent algorithms of recent years, we designed from scratch a novel system that uses the same features for all SLAM tasks: tracking, mapping, relocalization, and loop closing. A survival of the fittest strategy that selects the points and keyframes of the reconstruction leads to excellent robustness and generates a compact and trackable map that only grows if the scene content changes, allowing lifelong operation. We present an exhaustive evaluation in 27 sequences from the most popular datasets. ORB-SLAM achieves unprecedented performance with respect to other state-of-the-art monocular SLAM approaches. For the benefit of the community, we make the source code public.
translated by 谷歌翻译
基于LIDAR的位置识别是环路闭合检测和全局重川化的必要和具有挑战性的任务。我们提出了深度扫描上下文(DSC),一般和辨别的全局描述符,捕获点云的段之间的关系。与以前的方法或相邻点云的序列进行以获得更好的地方识别,我们只使用原始点云来获得竞争结果。具体而言,我们首先将点云分段为摄影云,以获取细分的质心和特征值。然后,我们介绍一个图形神经网络,将这些功能聚合到嵌入式表示中。在基提数据集上进行的广泛实验表明,DSC对场景变体具有强大,优于现有方法。
translated by 谷歌翻译
我们提出了一种新颖的方法,可用于快速准确的立体声视觉同时定位和映射(SLAM),独立于特征检测和匹配。通过优化3D点的规模,将单眼直接稀疏的内径术(DSO)扩展到立体声系统,以最小化立体声配置的光度误差,从而与传统立体声匹配相比产生计算有效和鲁棒的方法。我们进一步将其扩展到具有环路闭合的完整SLAM系统,以减少累积的错误。在假设前向相机运动中,我们使用从视觉径管中获得的3D点模拟LIDAR扫描,并适应LIDAR描述符以便放置识别以便于更有效地检测回路封闭件。之后,我们通过最小化潜在环封闭件的光度误差来估计使用直接对准的相对姿势。可选地,通过使用迭代最近的点(ICP)算法来实现通过直接对准的进一步改进。最后,我们优化一个姿势图,以提高全球的猛烈精度。通过避免在我们的SLAM系统中的特征检测或匹配,我们确保高计算效率和鲁棒性。与最先进的方法相比,公共数据集上的彻底实验验证展示了其有效性。
translated by 谷歌翻译
本文使用基于实例分割和图形匹配的LIDAR点云进行了极强和轻量级的定位。我们将3D点云建模为在语义上识别的组件的完全连接图,每个顶点对应于对象实例并编码其形状。跨图的最佳顶点关联允许通过测量相似性进行完整的6度自由(DOF)姿势估计和放置识别。这种表示非常简洁,将地图的大小缩合为25倍,而最先进的图像仅需要3KB代表1.4MB激光扫描。我们验证了系统在Semantickitti数据集中的功效,在该数据集中,我们获得了新的最新识别,平均召回了88.4%的召回,而下一个最接近的竞争对手则为64.9%。我们还显示了准确的度量姿势估计性能 - 估计中位误差为10 cm和0.33度的6 -DOF姿势。
translated by 谷歌翻译
在过去的几十年,光探测和测距(LIDAR)技术已被广泛研究作为自我定位与地图强大的替代方案。这些典型地接近状态自运动估计作为非线性优化问题取决于当前点云和地图之间建立的对应关系,无论其范围,局部或全局的。本文提出LiODOM,对于姿态估计和地图建设的新的激光雷达仅里程计和绘图方法中,基于最小化从一组加权点 - 线对应的衍生与本地地图损失函数从该组可用的抽象点云。此外,该工作场所特别强调赋予其快速数据关联的相关地图表示。为了有效地代表了环境,我们提出了一个数据结构与哈希方案相结合,可以快速进入地图的任何部分。 LiODOM通过在公共数据集的一组实验中,对于其媲美针对其它解决方案的装置验证。它的性能上,主板还报告了一个空中平台。
translated by 谷歌翻译
由于其对环境变化的鲁棒性,视觉猛感的间接方法是受欢迎的。 ORB-SLAM2 \ CITE {ORBSLM2}是该域中的基准方法,但是,除非选择帧作为关键帧,否则它会消耗从未被重用的描述符。轻量级和高效,因为它跟踪相邻帧之间的关键点而不计算描述符。为此,基于稀疏光流提出了一种两个级粗到微小描述符独立的Keypoint匹配方法。在第一阶段,我们通过简单但有效的运动模型预测初始关键点对应,然后通过基于金字塔的稀疏光流跟踪鲁棒地建立了对应关系。在第二阶段,我们利用运动平滑度和末端几何形状的约束来改进对应关系。特别是,我们的方法仅计算关键帧的描述符。我们在\ texit {tum}和\ texit {icl-nuim} RGB-D数据集上测试Fastorb-Slam,并将其准确性和效率与九种现有的RGB-D SLAM方法进行比较。定性和定量结果表明,我们的方法实现了最先进的准确性,并且大约是ORB-SLAM2的两倍。
translated by 谷歌翻译
The current LiDAR SLAM (Simultaneous Localization and Mapping) system suffers greatly from low accuracy and limited robustness when faced with complicated circumstances. From our experiments, we find that current LiDAR SLAM systems have limited performance when the noise level in the obtained point clouds is large. Therefore, in this work, we propose a general framework to tackle the problem of denoising and loop closure for LiDAR SLAM in complex environments with many noises and outliers caused by reflective materials. Current approaches for point clouds denoising are mainly designed for small-scale point clouds and can not be extended to large-scale point clouds scenes. In this work, we firstly proposed a lightweight network for large-scale point clouds denoising. Subsequently, we have also designed an efficient loop closure network for place recognition in global optimization to improve the localization accuracy of the whole system. Finally, we have demonstrated by extensive experiments and benchmark studies that our method can have a significant boost on the localization accuracy of the LiDAR SLAM system when faced with noisy point clouds, with a marginal increase in computational cost.
translated by 谷歌翻译
我们提出了人类和几何重要性SLAM(HGI-SLAM),这是一种使用显着和几何特征循环封闭的新方法。循环闭合是SLAM的关键要素,具有许多已建立的方法来解决此问题。但是,使用基于几何或显着的特征,当前方法是狭窄的。我们将他们的成功合并为一个模型,该模型仅优于两种类型的方法。我们的方法利用廉价的单眼相机,不依赖于深度传感器或LIDAR。 HGI-SLAM利用几何和显着特征,将它们处理成描述符,并将其优化为一袋单词算法。通过使用并发线程并将我们的环闭合检测与Orb-Slam2梳理,我们的系统是一个完整的SLAM框架。我们对Kitti和Euroc数据集进行了HGI循环检测和HGI-SLAM的广泛评估。我们还对我们的功能进行定性分析。我们的方法是实时运行的,并且在有机环境中保持准确的方式对巨大的观点变化是可靠的。 HGI-SLAM是一种端到端的大满贯系统,仅需要单眼视觉,并且在性能上与最先进的SLAM方法相当。
translated by 谷歌翻译
LiDAR mapping is important yet challenging in self-driving and mobile robotics. To tackle such a global point cloud registration problem, DeepMapping converts the complex map estimation into a self-supervised training of simple deep networks. Despite its broad convergence range on small datasets, DeepMapping still cannot produce satisfactory results on large-scale datasets with thousands of frames. This is due to the lack of loop closures and exact cross-frame point correspondences, and the slow convergence of its global localization network. We propose DeepMapping2 by adding two novel techniques to address these issues: (1) organization of training batch based on map topology from loop closing, and (2) self-supervised local-to-global point consistency loss leveraging pairwise registration. Our experiments and ablation studies on public datasets (KITTI, NCLT, and Nebula) demonstrate the effectiveness of our method. Our code will be released.
translated by 谷歌翻译