我们提出了一种适用于一般3D点云数据的新型可区分加权的广义最接近点(WGICP)方法,包括来自LIDAR的数据。我们的方法建立在可区分的通用ICP(GICP)的基础上,我们建议使用可区分的k-neartient(KNN)算法来增强可怜性。可区分的GICP算法提供了相对于每个输入点的输出姿势估计的梯度,这使我们能够训练神经网络以预测其在估计正确姿势时的重要性或权重。与其他基于ICP的方法相反,这些方法使用基于体素的下采样或匹配方法来降低计算成本,我们的方法直接通过仅选择具有最高权重并忽略冗余较低权重的人来直接减少GICP使用的点数。我们表明,我们的方法提高了KITTI数据集的GICP算法的准确性和速度,可用于开发更强大,更有效的SLAM系统。
translated by 谷歌翻译
本文首先提出了一个有效的3D点云学习架构,名为PWCLO-NET的LIDAR ODOMORY。在该架构中,提出了3D点云的投影感知表示来将原始的3D点云组织成有序数据表单以实现效率。 LIDAR ODOMOMERY任务的金字塔,翘曲和成本量(PWC)结构是为估计和优化在分层和高效的粗良好方法中的姿势。建立一个投影感知的细心成本卷,以直接关联两个离散点云并获得嵌入运动模式。然后,提出了一种可训练的嵌入掩模来称量局部运动模式以回归整体姿势和过滤异常值点。可训练的姿势经线细化模块迭代地与嵌入式掩码进行分层优化,使姿势估计对异常值更加强大。整个架构是全能优化的端到端,实现成本和掩码的自适应学习,并且涉及点云采样和分组的所有操作都是通过投影感知的3D特征学习方法加速。在Kitti Ocomatry DataSet上证明了我们的激光乐队内径架构的卓越性能和有效性。我们的方法优于基于学习的所有基于学习的方法,甚至基于几何的方法,在大多数基于Kitti Odomatry数据集的序列上具有映射优化的遗传。
translated by 谷歌翻译
LiDAR mapping is important yet challenging in self-driving and mobile robotics. To tackle such a global point cloud registration problem, DeepMapping converts the complex map estimation into a self-supervised training of simple deep networks. Despite its broad convergence range on small datasets, DeepMapping still cannot produce satisfactory results on large-scale datasets with thousands of frames. This is due to the lack of loop closures and exact cross-frame point correspondences, and the slow convergence of its global localization network. We propose DeepMapping2 by adding two novel techniques to address these issues: (1) organization of training batch based on map topology from loop closing, and (2) self-supervised local-to-global point consistency loss leveraging pairwise registration. Our experiments and ablation studies on public datasets (KITTI, NCLT, and Nebula) demonstrate the effectiveness of our method. Our code will be released.
translated by 谷歌翻译
循环闭合检测是同时定位和映射(SLAM)系统的重要组成部分,这减少了随时间累积的漂移。多年来,已经提出了一些深入的学习方法来解决这项任务,但是与手工制作技术相比,他们的表现一直是SubPar,特别是在处理反向环的同时。在本文中,我们通过同时识别先前访问的位置并估计当前扫描与地图之间的6-DOF相对变换,有效地检测LIDAR点云中的LINAS点云中的环闭环的新颖LCDNET。 LCDNET由共享编码器组成,一个地方识别头提取全局描述符,以及估计两个点云之间的变换的相对姿势头。我们基于不平衡的最佳运输理论介绍一种新颖的相对姿势,我们以可分散的方式实现,以便实现端到端训练。在多个现实世界自主驾驶数据集中的LCDNET广泛评估表明我们的方法优于最先进的环路闭合检测和点云登记技术,特别是在处理反向环的同时。此外,我们将所提出的循环闭合检测方法集成到LIDAR SLAM库中,以提供完整的映射系统,并在看不见的城市中使用不同的传感器设置展示泛化能力。
translated by 谷歌翻译
部分重叠点云的实时登记具有对自治车辆和多助手SLAM的合作看法的新兴应用。这些应用中点云之间的相对转换高于传统的SLAM和OCOMOTRY应用程序,这挑战了对应的识别和成功的注册。在本文中,我们提出了一种用于部分重叠点云的新颖注册方法,其中使用有效的点亮特征编码器学习对应关系,并使用基于图形的注意网络改进。这种注意网络利用关键点之间的几何关系,以改善点云中的匹配,低重叠。在推断时间下,通过通过样本共识稳健地拟合对应关系来获得相对姿态变换。在基蒂数据集和新的合成数据集上进行评估,包括低重叠点云,位移高达30米。所提出的方法在Kitti DataSet上使用最先进的方法实现了对映射性能,并且优于低重叠点云的现有方法。此外,所提出的方法可以比竞争方法更快地实现更快的推理时间,低至410ms,低至410ms。我们的代码和数据集可在https://github.com/eduardohenriquearnold/fastreg提供。
translated by 谷歌翻译
特征提取和匹配是许多计算机视觉任务的基本部分,例如2D或3D对象检测,识别和注册。众所周知,2D功能提取和匹配已经取得了巨大的成功。不幸的是,在3D领域,由于描述性和效率低下,目前的方法无法支持3D激光雷达传感器在视觉任务中的广泛应用。为了解决此限制,我们提出了一种新颖的3D特征表示方法:3D激光点云的线性关键点表示,称为link3d。 Link3D的新颖性在于它完全考虑了LiDar Point Cloud的特征(例如稀疏性,场景的复杂性),并用其强大的邻居键盘来表示当前关键点,从而对当前关键点的描述提供了强烈的约束。提出的链接3D已在两个公共数据集(即Kitti,Steven VLP16)上进行了评估,实验结果表明,我们的方法在匹配性能方面的最先进表现都大大优于最先进的方法。更重要的是,Link3D显示出出色的实时性能(基于LIDAR的频率10 Hz)。 Link3D平均仅需32毫秒即可从64射线激光束收集的点云中提取功能,并且仅需大约8毫秒即可匹配两次LIDAR扫描,当时用Intel Core i7 @2.2 GHz处理器执行笔记本。此外,我们的方法可以广泛扩展到各种3D视觉应用。在本文中,我们已将Link3D应用于3D注册,LiDAR ODOMETIRE和放置识别任务,并与最先进的方法相比实现了竞争成果。
translated by 谷歌翻译
当视野中有许多移动对象时,基于静态场景假设的SLAM系统会引入重大估计错误。跟踪和维护语义对象有益于场景理解,并为计划和控制模块提供丰富的决策信息。本文介绍了MLO,这是一种多对象的激光雷达探光仪,该镜像仅使用激光雷达传感器跟踪自我运动和语义对象。为了实现对多个对象的准确和强大的跟踪,我们提出了一个最小二乘估计器,该估计器融合了3D边界框和几何点云,用于对象状态更新。通过分析跟踪列表中的对象运动状态,映射模块使用静态对象和环境特征来消除累积错误。同时,它在MAP坐标中提供了连续的对象轨迹。我们的方法在公共Kitti数据集的不同情况下进行了定性和定量评估。实验结果表明,在高度动态,非结构化和未知的语义场景中,MLO的自我定位精度比最先进的系统更好。同时,与基于滤波的方法相比,具有语义几何融合的多目标跟踪方法在跟踪准确性和一致性方面也具有明显的优势。
translated by 谷歌翻译
在这项研究中,我们提出了一种新型的视觉定位方法,以根据RGB摄像机的可视数据准确估计机器人在3D激光镜头内的六个自由度(6-DOF)姿势。使用基于先进的激光雷达的同时定位和映射(SLAM)算法,可获得3D地图,能够收集精确的稀疏图。将从相机图像中提取的功能与3D地图的点进行了比较,然后解决了几何优化问题,以实现精确的视觉定位。我们的方法允许使用配备昂贵激光雷达的侦察兵机器人一次 - 用于映射环境,并且仅使用RGB摄像头的多个操作机器人 - 执行任务任务,其本地化精度高于常见的基于相机的解决方案。该方法在Skolkovo科学技术研究所(Skoltech)收集的自定义数据集上进行了测试。在评估本地化准确性的过程中,我们设法达到了厘米级的准确性;中间翻译误差高达1.3厘米。仅使用相机实现的确切定位使使用自动移动机器人可以解决需要高度本地化精度的最复杂的任务。
translated by 谷歌翻译
本文提出了一种有效的概率自适应体素映射方法,用于激光雷达的探光法。该地图是体素的集合;每个都包含一个平面(或边缘)功能,该特征可以实现环境的概率表示以及新的LIDAR扫描的准确配置。我们进一步分析了对粗到1的体素映射的需求,然后使用哈希表和动手组织的新型体素图来有效地构建和更新地图。我们将提出的体素图应用于迭代的扩展卡尔曼滤波器,并为姿势估计构建最大后验概率问题。与其他最先进的方法相比,开放Kitti数据集的实验显示了我们方法的高精度和效率。在具有非重复扫描激光雷达的非结构化环境上进行的室外实验进一步验证了我们的映射方法对不同环境和LIDAR扫描模式的适应性。我们的代码和数据集在GitHub上开源
translated by 谷歌翻译
传统的LIDAR射测(LO)系统主要利用从经过的环境获得的几何信息来注册激光扫描并估算Lidar Ego-Motion,而在动态或非结构化环境中可能不可靠。本文提出了Inten-loam,一种低饮用和健壮的激光镜和映射方法,该方法完全利用激光扫描的隐式信息(即几何,强度和时间特征)。扫描点被投影到圆柱形图像上,这些图像有助于促进各种特征的有效和适应性提取,即地面,梁,立面和反射器。我们提出了一种新型基于强度的点登记算法,并将其纳入LIDAR的探光仪,从而使LO系统能够使用几何和强度特征点共同估计LIDAR EGO-MOTION。为了消除动态对象的干扰,我们提出了一种基于时间的动态对象删除方法,以在MAP更新之前过滤它们。此外,使用与时间相关的体素网格滤波器组织并缩减了本地地图,以维持当前扫描和静态局部图之间的相似性。在模拟和实际数据集上进行了广泛的实验。结果表明,所提出的方法在正常驾驶方案中实现了类似或更高的精度W.R.T,在非结构化环境中,最先进的方法优于基于几何的LO。
translated by 谷歌翻译
基于图形的大量系统的关键组成部分是能够检测轨迹中的环闭合以减少从探视法累积的漂移。大多数基于激光雷达的方法仅通过仅使用几何信息来实现此目标,而无视场景的语义。在这项工作中,我们介绍了Padloc,这是一种基于激光雷达的环路闭合检测和注册体系结构,其中包括共享的3D卷积特征提取主链,用于环路闭合检测的全局描述符,以及用于点云匹配和注册的新型变压器头。我们提出了多种方法,用于估计基于多样性指数的点匹配置信度。此外,为了提高前向后的一致性,我们建议使用两个共享匹配和注册头,并通过利用估计的相对转换必须相互倒数来交换其源和目标输入。此外,我们以新颖的损失函数的形式利用综合信息在培训期间,将匹配问题折叠为语义标签的分类任务,并作为实例标签的图形连接分配。我们在多个现实世界数据集上对PADLOC进行了广泛的评估,证明它可以实现最新的性能。我们的工作代码可在http://padloc.cs.uni-freiburg.de上公开获得。
translated by 谷歌翻译
在现有方法中,LIDAR的探测器显示出卓越的性能,但视觉探测器仍被广泛用于其价格优势。从惯例上讲,视觉检验的任务主要依赖于连续图像的输入。但是,探测器网络学习图像提供的异性几何信息非常复杂。在本文中,将伪LIDAR的概念引入了探测器中以解决此问题。伪LIDAR点云背面项目由图像生成的深度图中的3D点云,这改变了图像表示的方式。与立体声图像相比,立体声匹配网络生成的伪lidar点云可以得到显式的3D坐标。由于在3D空间中发生了6个自由度(DOF)姿势转换,因此伪宽点云提供的3D结构信息比图像更直接。与稀疏的激光雷达相比,伪驱动器具有较密集的点云。为了充分利用伪LIDAR提供的丰富点云信息,采用了投射感知的探测管道。以前的大多数基于激光雷达的算法从点云中采样了8192点,作为探视网络的输入。投影感知的密集探测管道采用从图像产生的所有伪lidar点云,除了误差点作为网络的输入。在图像中充分利用3D几何信息时,图像中的语义信息也用于探视任务中。 2D-3D的融合是在仅基于图像的进程中实现的。 Kitti数据集的实验证明了我们方法的有效性。据我们所知,这是使用伪LIDAR的第一种视觉探光法。
translated by 谷歌翻译
在过去的几十年,光探测和测距(LIDAR)技术已被广泛研究作为自我定位与地图强大的替代方案。这些典型地接近状态自运动估计作为非线性优化问题取决于当前点云和地图之间建立的对应关系,无论其范围,局部或全局的。本文提出LiODOM,对于姿态估计和地图建设的新的激光雷达仅里程计和绘图方法中,基于最小化从一组加权点 - 线对应的衍生与本地地图损失函数从该组可用的抽象点云。此外,该工作场所特别强调赋予其快速数据关联的相关地图表示。为了有效地代表了环境,我们提出了一个数据结构与哈希方案相结合,可以快速进入地图的任何部分。 LiODOM通过在公共数据集的一组实验中,对于其媲美针对其它解决方案的装置验证。它的性能上,主板还报告了一个空中平台。
translated by 谷歌翻译
基于激光传感器的同时定位和映射(SLAM)已被移动机器人和自动驾驶汽车广泛采用。这些大满贯系统需要用有限的计算资源来支持准确的本地化。特别是,点云注册,即,在全球坐标框架中在多个位置收集的多个LIDAR扫描匹配和对齐的过程被视为SLAM的瓶颈步骤。在本文中,我们提出了一种功能过滤算法Pfilter,可以过滤无效的功能,因此可以大大减轻这种瓶颈。同时,由于精心策划的特征点,总体注册精度也得到了提高。我们将PFILTER集成到公认的扫描到映射激光射击轨道框架F-LOAM,并评估其在KITTI数据集中的性能。实验结果表明,pfilter可以删除本地特征图中约48.4%的点,并将扫描中的特征点平均减少19.3%,从而节省每帧的处理时间20.9%。同时,我们将准确性提高了9.4%。
translated by 谷歌翻译
如何提取重要点云特征并估计它们之间的姿势仍然是一个具有挑战性的问题,因为点云的固有缺乏结构和暧昧的顺序排列。尽管对大多数3D计算机视觉任务的基于深度学习的方法进行了重大改进,例如对象分类,对象分割和点云注册,但功能之间的一致性在现有的基于学习的流水线上仍然没有吸引力。在本文中,我们提出了一种用于复杂对准场景的新型学习的对齐网络,标题为深度特征一致性,并由三个主模块组成:多尺度图形特征合并网络,用于将几何对应集转换为高维特征,对应加权用于构建多个候选内部子集的模块,以及命名为深度特征匹配的Procrustes方法,用于给出闭合方案来估计相对姿势。作为深度特征匹配模块的最重要步骤,构造每个Inlier子集的特征一致性矩阵以获得其主要向量作为相应子集的含义似然性。我们全面地验证了我们在3DMATCH数据集和基提ODOMOTRY数据集中的方法的鲁棒性和有效性。对于大型室内场景,3DMATCH数据集上的注册结果表明,我们的方法优于最先进的传统和基于学习的方法。对于Kitti户外场景,我们的方法仍然能够降低转换错误。我们还在交叉数据集中探讨其强大的泛化能力。
translated by 谷歌翻译
电线杆和建筑物边缘经常是城市道路上可观察到的对象,为各种计算机视觉任务提供了可靠的提示。为了重复提取它们作为特征并在离散激光镜头框架之间进行注册,我们提出了第一个基于学习的功能分割和LIDAR点云中3D线的描述模型。为了训练我们的模型,而无需耗时和乏味的数据标记过程,我们首先生成了目标线基本外观的合成原始图,并构建一个迭代线自动标记的过程,以逐步完善真实激光扫描的线路标签。我们的分割模型可以在任意规模的扰动下提取线,我们使用共享的EDGECONV编码层共同训练两个分割和描述符头。基于模型,我们可以在没有初始转换提示的情况下构建一个高度可用的全局注册模块,用于点云注册。实验表明,我们基于线的注册方法对基于最先进的方法的方法具有很高的竞争力。我们的代码可在https://github.com/zxrzju/superline3d.git上找到。
translated by 谷歌翻译
循环结束是自动移动系统同时本地化和映射(SLAM)的基本组成部分。在视觉大满贯领域,单词袋(弓)在循环封闭方面取得了巨大的成功。循环搜索的弓特征也可以在随后的6-DOF环校正中使用。但是,对于3D激光雷达的猛击,最新方法可能无法实时识别循环,并且通常无法纠正完整的6-DOF回路姿势。为了解决这一限制,我们呈现了一袋新颖的单词,以实时循环在3D LIDAR大满贯中关闭,称为Bow3D。我们方法的新颖性在于,它不仅有效地识别了重新审视的环路,而且还实时纠正了完整的6型循环姿势。 BOW3D根据3D功能link3D构建单词袋,该链接有效,姿势不变,可用于准确的点对点匹配。我们将我们提出的方法嵌入了3D激光射击系统中,以评估循环闭合性能。我们在公共数据集上测试我们的方法,并将其与其他最先进的算法进行比较。在大多数情况下,BOW3D在F1 MAX和扩展精度分数方面表现出更好的性能,并具有出色的实时性能。值得注意的是,BOW3D平均需要50毫秒才能识别和纠正Kitti 00中的循环(包括4K+ 64射线激光扫描),当在使用Intel Core i7 @2.2 GHz处理器的笔记本上执行时。
translated by 谷歌翻译
我们介绍了一种简单而有效的方法,可以使用本地3D深度描述符(L3DS)同时定位和映射解决循环闭合检测。 L3DS正在采用深度学习算法从数据从数据中学到的点云提取的斑块的紧凑型表示。通过在通过其估计的相对姿势向循环候选点云登记之后计算对应于相互最近邻接描述符的点之间的度量误差,提出了一种用于循环检测的新颖重叠度量。这种新方法使我们能够在小重叠的情况下精确地检测环并估计六个自由度。我们将基于L3D的循环闭合方法与最近的LIDAR数据的方法进行比较,实现最先进的环路闭合检测精度。此外,我们嵌入了我们在最近的基于边缘的SLAM系统中的循环闭合方法,并对现实世界RGBD-TUM和合成ICL数据集进行了评估。与其原始环路闭合策略相比,我们的方法能够实现更好的本地化准确性。
translated by 谷歌翻译
视觉径图旨在使用视觉传感器捕获的信息跟踪对象的增量运动。在这项工作中,我们研究了点云测量问题,其中仅使用LIDAR(光检测和测距)获得的点云扫描来估计对象的运动轨迹。提出了一种轻量点云测距溶液,并命名为绿点云机径(GPCO)方法。 GPCO是一种无监督的学习方法,可以通过匹配连续点云扫描的特征来预测对象运动。它由三个步骤组成。首先,使用几何特征感知点采样方案来选择来自大点云的判别点。其次,视图被划分为围绕对象的四个区域,并且尖端++方法用于提取点特征。第三,建立点对应,以估计两个连续扫描之间的对象运动。进行了基准数据集的实验,以证明GPCO方法的有效性。据观察,GPCO以准确性的准确性越优于深度学习方法,而模型规模明显较小,培训时间较少。
translated by 谷歌翻译
The current LiDAR SLAM (Simultaneous Localization and Mapping) system suffers greatly from low accuracy and limited robustness when faced with complicated circumstances. From our experiments, we find that current LiDAR SLAM systems have limited performance when the noise level in the obtained point clouds is large. Therefore, in this work, we propose a general framework to tackle the problem of denoising and loop closure for LiDAR SLAM in complex environments with many noises and outliers caused by reflective materials. Current approaches for point clouds denoising are mainly designed for small-scale point clouds and can not be extended to large-scale point clouds scenes. In this work, we firstly proposed a lightweight network for large-scale point clouds denoising. Subsequently, we have also designed an efficient loop closure network for place recognition in global optimization to improve the localization accuracy of the whole system. Finally, we have demonstrated by extensive experiments and benchmark studies that our method can have a significant boost on the localization accuracy of the LiDAR SLAM system when faced with noisy point clouds, with a marginal increase in computational cost.
translated by 谷歌翻译