特征提取和匹配是许多计算机视觉任务的基本部分，例如2D或3D对象检测，识别和注册。众所周知，2D功能提取和匹配已经取得了巨大的成功。不幸的是，在3D领域，由于描述性和效率低下，目前的方法无法支持3D激光雷达传感器在视觉任务中的广泛应用。为了解决此限制，我们提出了一种新颖的3D特征表示方法：3D激光点云的线性关键点表示，称为link3d。 Link3D的新颖性在于它完全考虑了LiDar Point Cloud的特征（例如稀疏性，场景的复杂性），并用其强大的邻居键盘来表示当前关键点，从而对当前关键点的描述提供了强烈的约束。提出的链接3D已在两个公共数据集（即Kitti，Steven VLP16）上进行了评估，实验结果表明，我们的方法在匹配性能方面的最先进表现都大大优于最先进的方法。更重要的是，Link3D显示出出色的实时性能（基于LIDAR的频率10 Hz）。 Link3D平均仅需32毫秒即可从64射线激光束收集的点云中提取功能，并且仅需大约8毫秒即可匹配两次LIDAR扫描，当时用Intel Core i7 @2.2 GHz处理器执行笔记本。此外，我们的方法可以广泛扩展到各种3D视觉应用。在本文中，我们已将Link3D应用于3D注册，LiDAR ODOMETIRE和放置识别任务，并与最先进的方法相比实现了竞争成果。
translated by 谷歌翻译
循环结束是自动移动系统同时本地化和映射（SLAM）的基本组成部分。在视觉大满贯领域，单词袋（弓）在循环封闭方面取得了巨大的成功。循环搜索的弓特征也可以在随后的6-DOF环校正中使用。但是，对于3D激光雷达的猛击，最新方法可能无法实时识别循环，并且通常无法纠正完整的6-DOF回路姿势。为了解决这一限制，我们呈现了一袋新颖的单词，以实时循环在3D LIDAR大满贯中关闭，称为Bow3D。我们方法的新颖性在于，它不仅有效地识别了重新审视的环路，而且还实时纠正了完整的6型循环姿势。 BOW3D根据3D功能link3D构建单词袋，该链接有效，姿势不变，可用于准确的点对点匹配。我们将我们提出的方法嵌入了3D激光射击系统中，以评估循环闭合性能。我们在公共数据集上测试我们的方法，并将其与其他最先进的算法进行比较。在大多数情况下，BOW3D在F1 MAX和扩展精度分数方面表现出更好的性能，并具有出色的实时性能。值得注意的是，BOW3D平均需要50毫秒才能识别和纠正Kitti 00中的循环（包括4K+ 64射线激光扫描），当在使用Intel Core i7 @2.2 GHz处理器的笔记本上执行时。
translated by 谷歌翻译
点云注册是许多应用程序（例如本地化，映射，跟踪和重建）的基本任务。成功的注册依赖于提取鲁棒和歧视性的几何特征。现有的基于学习的方法需要高计算能力来同时处理大量原始点。尽管这些方法取得了令人信服的结果，但由于高计算成本，它们很难在现实情况下应用。在本文中，我们介绍了一个框架，该框架使用图形注意网络有效地从经济上提取密集的特征，以进行点云匹配和注册（DFGAT）。 DFGAT的检测器负责在大型原始数据集中找到高度可靠的关键点。 DFGAT的描述符将这些关键点与邻居相结合，以提取不变的密度特征，以准备匹配。图形注意力网络使用了丰富点云之间关系的注意机制。最后，我们将其视为最佳运输问题，并使用Sinkhorn算法找到正匹配和负面匹配。我们对KITTI数据集进行了彻底的测试，并评估了该方法的有效性。结果表明，与其他最先进的方法相比，使用有效紧凑的关键点选择和描述可以实现最佳性能匹配指标，并达到99.88％注册的最高成功率。
translated by 谷歌翻译
循环闭合检测是同时定位和映射（SLAM）系统的重要组成部分，这减少了随时间累积的漂移。多年来，已经提出了一些深入的学习方法来解决这项任务，但是与手工制作技术相比，他们的表现一直是SubPar，特别是在处理反向环的同时。在本文中，我们通过同时识别先前访问的位置并估计当前扫描与地图之间的6-DOF相对变换，有效地检测LIDAR点云中的LINAS点云中的环闭环的新颖LCDNET。 LCDNET由共享编码器组成，一个地方识别头提取全局描述符，以及估计两个点云之间的变换的相对姿势头。我们基于不平衡的最佳运输理论介绍一种新颖的相对姿势，我们以可分散的方式实现，以便实现端到端训练。在多个现实世界自主驾驶数据集中的LCDNET广泛评估表明我们的方法优于最先进的环路闭合检测和点云登记技术，特别是在处理反向环的同时。此外，我们将所提出的循环闭合检测方法集成到LIDAR SLAM库中，以提供完整的映射系统，并在看不见的城市中使用不同的传感器设置展示泛化能力。
translated by 谷歌翻译
位置识别技术赋予了一种大满贯算法，具有消除累积错误并自身重新定位的能力。基于点云的位置识别的现有方法通常利用以激光雷达为中心的全局描述符的匹配。这些方法具有以下两个主要缺陷：当两个点云之间的距离很远时，不能执行位置识别，并且只能计算旋转角度，而无需在x和y方向上偏移。为了解决这两个问题，我们提出了一个新颖的全球描述符，该描述符围绕主要对象构建，以这种方式，描述符不再依赖于观察位置。我们分析了该方法可以完美地解决上述两个问题的理论，并在Kitti和一些极端情况下进行了许多实验，这表明我们的方法比传统方法具有明显的优势。
translated by 谷歌翻译
我们介绍了一种简单而有效的方法，可以使用本地3D深度描述符（L3DS）同时定位和映射解决循环闭合检测。 L3DS正在采用深度学习算法从数据从数据中学到的点云提取的斑块的紧凑型表示。通过在通过其估计的相对姿势向循环候选点云登记之后计算对应于相互最近邻接描述符的点之间的度量误差，提出了一种用于循环检测的新颖重叠度量。这种新方法使我们能够在小重叠的情况下精确地检测环并估计六个自由度。我们将基于L3D的循环闭合方法与最近的LIDAR数据的方法进行比较，实现最先进的环路闭合检测精度。此外，我们嵌入了我们在最近的基于边缘的SLAM系统中的循环闭合方法，并对现实世界RGBD-TUM和合成ICL数据集进行了评估。与其原始环路闭合策略相比，我们的方法能够实现更好的本地化准确性。
translated by 谷歌翻译
基于图形的大量系统的关键组成部分是能够检测轨迹中的环闭合以减少从探视法累积的漂移。大多数基于激光雷达的方法仅通过仅使用几何信息来实现此目标，而无视场景的语义。在这项工作中，我们介绍了Padloc，这是一种基于激光雷达的环路闭合检测和注册体系结构，其中包括共享的3D卷积特征提取主链，用于环路闭合检测的全局描述符，以及用于点云匹配和注册的新型变压器头。我们提出了多种方法，用于估计基于多样性指数的点匹配置信度。此外，为了提高前向后的一致性，我们建议使用两个共享匹配和注册头，并通过利用估计的相对转换必须相互倒数来交换其源和目标输入。此外，我们以新颖的损失函数的形式利用综合信息在培训期间，将匹配问题折叠为语义标签的分类任务，并作为实例标签的图形连接分配。我们在多个现实世界数据集上对PADLOC进行了广泛的评估，证明它可以实现最新的性能。我们的工作代码可在http://padloc.cs.uni-freiburg.de上公开获得。
translated by 谷歌翻译
由于点云数据的稀缺性质，在大规模环境中使用激光雷达识别使用激光雷达的地方是具有挑战性的。在本文中，我们提出了BVMATCH，基于LIDAR的帧到帧位置识别框架，其能够估计2D相对姿势。基于地面区域可以近似作为平面的假设，我们将地面区域统一地分散到网格和项目3D LIDAR扫描到鸟瞰图（BV）图像。我们进一步使用了一组Log-Gabor过滤器来构建一个最大索引图（MIM），用于编码图像中结构的方向信息。我们从理论上分析MIM的方向特征，并引入了一种名为鸟瞰图特征变换（BVFT）的新颖描述符。所提出的BVFT对BV图像的旋转和强度变化不敏感。利用BVFT描述符，统一LIDAR将识别和将估算任务统一到BVMATCT框架中。在三个大规模数据集上进行的实验表明，BVMATCH在召回的位置识别和姿势估计精度的召回速率方面优于最先进的方法。
translated by 谷歌翻译
电线杆和建筑物边缘经常是城市道路上可观察到的对象，为各种计算机视觉任务提供了可靠的提示。为了重复提取它们作为特征并在离散激光镜头框架之间进行注册，我们提出了第一个基于学习的功能分割和LIDAR点云中3D线的描述模型。为了训练我们的模型，而无需耗时和乏味的数据标记过程，我们首先生成了目标线基本外观的合成原始图，并构建一个迭代线自动标记的过程，以逐步完善真实激光扫描的线路标签。我们的分割模型可以在任意规模的扰动下提取线，我们使用共享的EDGECONV编码层共同训练两个分割和描述符头。基于模型，我们可以在没有初始转换提示的情况下构建一个高度可用的全局注册模块，用于点云注册。实验表明，我们基于线的注册方法对基于最先进的方法的方法具有很高的竞争力。我们的代码可在https://github.com/zxrzju/superline3d.git上找到。
translated by 谷歌翻译
本文首先提出了一个有效的3D点云学习架构，名为PWCLO-NET的LIDAR ODOMORY。在该架构中，提出了3D点云的投影感知表示来将原始的3D点云组织成有序数据表单以实现效率。 LIDAR ODOMOMERY任务的金字塔，翘曲和成本量（PWC）结构是为估计和优化在分层和高效的粗良好方法中的姿势。建立一个投影感知的细心成本卷，以直接关联两个离散点云并获得嵌入运动模式。然后，提出了一种可训练的嵌入掩模来称量局部运动模式以回归整体姿势和过滤异常值点。可训练的姿势经线细化模块迭代地与嵌入式掩码进行分层优化，使姿势估计对异常值更加强大。整个架构是全能优化的端到端，实现成本和掩码的自适应学习，并且涉及点云采样和分组的所有操作都是通过投影感知的3D特征学习方法加速。在Kitti Ocomatry DataSet上证明了我们的激光乐队内径架构的卓越性能和有效性。我们的方法优于基于学习的所有基于学习的方法，甚至基于几何的方法，在大多数基于Kitti Odomatry数据集的序列上具有映射优化的遗传。
translated by 谷歌翻译
在这项工作中，我们介绍了一个新颖的全球描述符，称为3D位置识别的稳定三角形描述符（STD）。对于一个三角形，其形状由侧面或包含角度的长度唯一决定。此外，三角形的形状对于刚性转换完全不变。基于此属性，我们首先设计了一种算法，以从3D点云中有效提取本地密钥点，并将这些关键点编码为三角形描述符。然后，通过匹配点云之间描述符的侧面长度（以及其他一些信息）来实现位置识别。从描述符匹配对获得的点对应关系可以在几何验证中进一步使用，从而大大提高了位置识别的准确性。在我们的实验中，我们将我们提出的系统与公共数据集（即Kitti，NCLT和Complex-ublan）和我们自我收集的数据集（即M2DP，扫描上下文）进行了广泛的比较（即M2DP，扫描上下文）（即带有非重复扫描固态激光雷达）。所有定量结果表明，性病具有更强的适应性，并且在其对应物方面的精度有了很大的提高。为了分享我们的发现并为社区做出贡献，我们在GitHub上开放代码：https：//github.com/hku-mars/std。
translated by 谷歌翻译
传统的LIDAR射测（LO）系统主要利用从经过的环境获得的几何信息来注册激光扫描并估算Lidar Ego-Motion，而在动态或非结构化环境中可能不可靠。本文提出了Inten-loam，一种低饮用和健壮的激光镜和映射方法，该方法完全利用激光扫描的隐式信息（即几何，强度和时间特征）。扫描点被投影到圆柱形图像上，这些图像有助于促进各种特征的有效和适应性提取，即地面，梁，立面和反射器。我们提出了一种新型基于强度的点登记算法，并将其纳入LIDAR的探光仪，从而使LO系统能够使用几何和强度特征点共同估计LIDAR EGO-MOTION。为了消除动态对象的干扰，我们提出了一种基于时间的动态对象删除方法，以在MAP更新之前过滤它们。此外，使用与时间相关的体素网格滤波器组织并缩减了本地地图，以维持当前扫描和静态局部图之间的相似性。在模拟和实际数据集上进行了广泛的实验。结果表明，所提出的方法在正常驾驶方案中实现了类似或更高的精度W.R.T，在非结构化环境中，最先进的方法优于基于几何的LO。
translated by 谷歌翻译
在这项研究中，我们提出了一种新型的视觉定位方法，以根据RGB摄像机的可视数据准确估计机器人在3D激光镜头内的六个自由度（6-DOF）姿势。使用基于先进的激光雷达的同时定位和映射（SLAM）算法，可获得3D地图，能够收集精确的稀疏图。将从相机图像中提取的功能与3D地图的点进行了比较，然后解决了几何优化问题，以实现精确的视觉定位。我们的方法允许使用配备昂贵激光雷达的侦察兵机器人一次 - 用于映射环境，并且仅使用RGB摄像头的多个操作机器人 - 执行任务任务，其本地化精度高于常见的基于相机的解决方案。该方法在Skolkovo科学技术研究所（Skoltech）收集的自定义数据集上进行了测试。在评估本地化准确性的过程中，我们设法达到了厘米级的准确性；中间翻译误差高达1.3厘米。仅使用相机实现的确切定位使使用自动移动机器人可以解决需要高度本地化精度的最复杂的任务。
translated by 谷歌翻译
基于LIDAR的位置识别是环路闭合检测和全局重川化的必要和具有挑战性的任务。我们提出了深度扫描上下文（DSC），一般和辨别的全局描述符，捕获点云的段之间的关系。与以前的方法或相邻点云的序列进行以获得更好的地方识别，我们只使用原始点云来获得竞争结果。具体而言，我们首先将点云分段为摄影云，以获取细分的质心和特征值。然后，我们介绍一个图形神经网络，将这些功能聚合到嵌入式表示中。在基提数据集上进行的广泛实验表明，DSC对场景变体具有强大，优于现有方法。
translated by 谷歌翻译
本文使用基于实例分割和图形匹配的LIDAR点云进行了极强和轻量级的定位。我们将3D点云建模为在语义上识别的组件的完全连接图，每个顶点对应于对象实例并编码其形状。跨图的最佳顶点关联允许通过测量相似性进行完整的6度自由（DOF）姿势估计和放置识别。这种表示非常简洁，将地图的大小缩合为25倍，而最先进的图像仅需要3KB代表1.4MB激光扫描。我们验证了系统在Semantickitti数据集中的功效，在该数据集中，我们获得了新的最新识别，平均召回了88.4％的召回，而下一个最接近的竞争对手则为64.9％。我们还显示了准确的度量姿势估计性能 - 估计中位误差为10 cm和0.33度的6 -DOF姿势。
translated by 谷歌翻译
循环闭合检测是在复杂环境中长期机器人导航的关键技术。在本文中，我们提出了一个全局描述符，称为正态分布描述符（NDD），用于3D点云循环闭合检测。描述符编码点云的概率密度分数和熵作为描述符。我们还提出了快速旋转对准过程，并将相关系数用作描述符之间的相似性。实验结果表明，我们的方法在准确性和效率上都优于最新点云描述符。源代码可用，可以集成到现有的LIDAR射测和映射（壤土）系统中。
translated by 谷歌翻译
位置识别在机器人和车辆的重新定位和循环封闭检测任务中起着至关重要的作用。本文为基于激光雷达的位置识别寻求明确定义的全球描述符。与本地描述符相比，全球描述符在城市道路场景中表现出色，但通常依赖于观点。为此，我们提出了一个简单而坚固的全局描述符，称为壁画，通过利用傅立叶变换和圆形转移技术，可以分解重新访问期间的视点差异，并实现翻译和旋转不变性。此外，还提出了一种快速的两阶段姿势估计方法，以利用从场景中提取的紧凑型2D点云来估计位置回收后的相对姿势。实验表明，在来自多个数据集的不同场景的序列上，壁画表现出比同期方法表现出更好的性能。该代码将在https://github.com/soytony/fresco上公开获取。
translated by 谷歌翻译
由于激光雷达扫描数据的大规模，噪音和数据不完整，注册Urban Point Clouds是一项艰巨的任务。在本文中，我们提出了SARNET，这是一个新型的语义增强注册网络，旨在在城市规模上实现有效的城市点云的注册。与以前仅在点级空间中构建对应关系的方法不同，我们的方法完全利用语义特征来提高注册精度。具体而言，我们提取具有高级语义分割网络的每点语义标签，并构建先前的语义零件到部分对应关系。然后，我们将语义信息纳入基于学习的注册管道中，该管道由三个核心模块组成：基于语义的最远点采样模块，以有效地滤除异常值和动态对象；一个语义增强的特征提取模块，用于学习更多的判别点描述符；语义改制的转换估计模块，该模块利用先前的语义匹配作为掩码，通过减少错误匹配以更好地收敛来完善点对应关系。我们通过使用来自城市场景的大区域的现实世界数据并将其与替代方法进行比较，从而广泛评估所提出的SARNET。该代码可在https://github.com/wintercodeforeverything/sarnet上找到。
translated by 谷歌翻译
最近的3D注册方法可以有效处理大规模或部分重叠的点对。然而，尽管具有实用性，但在空间尺度和密度方面与不平衡对匹配。我们提出了一种新颖的3D注册方法，称为uppnet，用于不平衡点对。我们提出了一个层次结构框架，通过逐渐减少搜索空间，可以有效地找到近距离的对应关系。我们的方法预测目标点的子区域可能与查询点重叠。以下超点匹配模块和细粒度的细化模块估计两个点云之间的准确对应关系。此外，我们应用几何约束来完善满足空间兼容性的对应关系。对应性预测是对端到端训练的，我们的方法可以通过单个前向通行率预测适当的刚体转换，并给定点云对。为了验证提出方法的疗效，我们通过增强Kitti LiDAR数据集创建Kitti-UPP数据集。该数据集的实验表明，所提出的方法显着优于最先进的成对点云注册方法，而当目标点云大约为10 $ \ times $ higation时，注册召回率的提高了78％。比查询点云大约比查询点云更密集。
translated by 谷歌翻译
最近的高精度亚次光学光学扫描仪的开发允许将3D键盘检测器和功能描述符在海底环境中的点云扫描上利用。但是，文献缺乏一项全面的调查，无法确定在这些挑战和新颖的环境中使用的检测器和描述符的最佳组合。本文旨在使用使用商业水下激光扫描仪收集的具有挑战性的现场数据集确定最佳的检测器/描述符对。此外，研究表明，合并纹理信息扩展几何特征为合成数据集的特征匹配增添了鲁棒性。本文还提出了一种与水下激光扫描融合图像以产生有色点云的新方法，该方法用于研究6D点云描述符的有效性。
translated by 谷歌翻译