点云注册是许多任务的基本步骤。在本文中,我们提出了一个名为detarnet的神经网络,将$ t $和旋转降序,以克服Point云注册的相互干扰导致的性能下降。首先,提出了一种基于暹罗网络的渐进和相干特征漂移(PCFD)模块以对准高维特征空间中的源点和目标点,并准确地从对准过程恢复转换。然后,我们提出了一种共识编码单元(CEU),以构建一组推定的对应关系的更区别特征。之后,采用空间和信道注意力(SCA)块来构建用于寻找良好通信的分类网络。最后,通过奇异值分解(SVD)获得旋转。以这种方式,所提出的网络对翻译和旋转的估计进行了解耦,导致它们两个的更好的性能。实验结果表明,拟议的Detarnet在室内和室外场景中提高了登记性能。我们的代码将在\ url {https://github.com/zhichen902/detarnet}中获得。
translated by 谷歌翻译
如何提取重要点云特征并估计它们之间的姿势仍然是一个具有挑战性的问题,因为点云的固有缺乏结构和暧昧的顺序排列。尽管对大多数3D计算机视觉任务的基于深度学习的方法进行了重大改进,例如对象分类,对象分割和点云注册,但功能之间的一致性在现有的基于学习的流水线上仍然没有吸引力。在本文中,我们提出了一种用于复杂对准场景的新型学习的对齐网络,标题为深度特征一致性,并由三个主模块组成:多尺度图形特征合并网络,用于将几何对应集转换为高维特征,对应加权用于构建多个候选内部子集的模块,以及命名为深度特征匹配的Procrustes方法,用于给出闭合方案来估计相对姿势。作为深度特征匹配模块的最重要步骤,构造每个Inlier子集的特征一致性矩阵以获得其主要向量作为相应子集的含义似然性。我们全面地验证了我们在3DMATCH数据集和基提ODOMOTRY数据集中的方法的鲁棒性和有效性。对于大型室内场景,3DMATCH数据集上的注册结果表明,我们的方法优于最先进的传统和基于学习的方法。对于Kitti户外场景,我们的方法仍然能够降低转换错误。我们还在交叉数据集中探讨其强大的泛化能力。
translated by 谷歌翻译
由于激光雷达扫描数据的大规模,噪音和数据不完整,注册Urban Point Clouds是一项艰巨的任务。在本文中,我们提出了SARNET,这是一个新型的语义增强注册网络,旨在在城市规模上实现有效的城市点云的注册。与以前仅在点级空间中构建对应关系的方法不同,我们的方法完全利用语义特征来提高注册精度。具体而言,我们提取具有高级语义分割网络的每点语义标签,并构建先前的语义零件到部分对应关系。然后,我们将语义信息纳入基于学习的注册管道中,该管道由三个核心模块组成:基于语义的最远点采样模块,以有效地滤除异常值和动态对象;一个语义增强的特征提取模块,用于学习更多的判别点描述符;语义改制的转换估计模块,该模块利用先前的语义匹配作为掩码,通过减少错误匹配以更好地收敛来完善点对应关系。我们通过使用来自城市场景的大区域的现实世界数据并将其与替代方法进行比较,从而广泛评估所提出的SARNET。该代码可在https://github.com/wintercodeforeverything/sarnet上找到。
translated by 谷歌翻译
3D point cloud registration is a fundamental problem in computer vision and robotics. Recently, learning-based point cloud registration methods have made great progress. However, these methods are sensitive to outliers, which lead to more incorrect correspondences. In this paper, we propose a novel deep graph matching-based framework for point cloud registration. Specifically, we first transform point clouds into graphs and extract deep features for each point. Then, we develop a module based on deep graph matching to calculate a soft correspondence matrix. By using graph matching, not only the local geometry of each point but also its structure and topology in a larger range are considered in establishing correspondences, so that more correct correspondences are found. We train the network with a loss directly defined on the correspondences, and in the test stage the soft correspondences are transformed into hard one-to-one correspondences so that registration can be performed by a correspondence-based solver. Furthermore, we introduce a transformer-based method to generate edges for graph construction, which further improves the quality of the correspondences. Extensive experiments on object-level and scene-level benchmark datasets show that the proposed method achieves state-of-the-art performance. The code is available at: \href{https://github.com/fukexue/RGM}{https://github.com/fukexue/RGM}.
translated by 谷歌翻译
在这项工作中,我们解决了从点云数据估算对象的6D姿势的任务。尽管最近基于学习的方法解决此任务的方法在合成数据集上表现出了很大的成功,但我们观察到它们在存在现实世界数据的情况下失败了。因此,我们分析了这些故障的原因,我们将其追溯到源云和目标点云的特征分布之间的差,以及广泛使用的SVD损耗函数对两个点之间旋转范围的敏感性云。我们通过基于点对应的负模可能性引入损失函数来解决新的归一化策略,匹配归一化以及第二个挑战。我们的两个贡献是一般的,可以应用于许多现有的基于学习的3D对象注册框架,我们通过在其中两个DCP和IDAM中实现它们来说明它们。我们对现实的TUD-L,LineMod和canluded-LineMod数据集的实验证明了我们策略的好处。它们允许首次基于学习的3D对象注册方法在现实世界中获得有意义的结果。因此,我们希望它们是点云注册方法未来开发的关键。
translated by 谷歌翻译
生成一组高质量的对应关系或匹配是点云注册中最关键的步骤之一。本文通过共同考虑点对立的结构匹配来提出学习框架COTREG,以预测3D点云登记的对应关系。具体地,我们将这两个匹配转换为基于Wasserstein距离和基于Gromov-Wasserstein距离的优化。因此,建立对应关系的任务可以自然地重塑成耦合的最佳运输问题。此外,我们设计一个网络,以预测点云的每个点的置信度,其提供重叠区域信息以产生对应关系。我们的对应预测管道可以很容易地集成到基于学习的特征,如FCGF或FPFH等传统描述符。我们在3DMATCH,KITTI,3DCSR和ModelNet40基准上进行了全面的实验,显示了所提出的方法的最先进的性能。
translated by 谷歌翻译
部分重叠点云的实时登记具有对自治车辆和多助手SLAM的合作看法的新兴应用。这些应用中点云之间的相对转换高于传统的SLAM和OCOMOTRY应用程序,这挑战了对应的识别和成功的注册。在本文中,我们提出了一种用于部分重叠点云的新颖注册方法,其中使用有效的点亮特征编码器学习对应关系,并使用基于图形的注意网络改进。这种注意网络利用关键点之间的几何关系,以改善点云中的匹配,低重叠。在推断时间下,通过通过样本共识稳健地拟合对应关系来获得相对姿态变换。在基蒂数据集和新的合成数据集上进行评估,包括低重叠点云,位移高达30米。所提出的方法在Kitti DataSet上使用最先进的方法实现了对映射性能,并且优于低重叠点云的现有方法。此外,所提出的方法可以比竞争方法更快地实现更快的推理时间,低至410ms,低至410ms。我们的代码和数据集可在https://github.com/eduardohenriquearnold/fastreg提供。
translated by 谷歌翻译
配对点云之间的低空区域使被捕获的特征非常自信,导致尖端模型以质量较差的云登记。除了传统的智慧之外,我们还提出了一个有趣的问题:是否有可能在两个低重叠点云之间利用中间却又错位的图像来增强尖端注册模型的性能?为了回答它,我们提出了一个被称为Imlovenet的低重叠点云对的未对准图像支持的注册网络。 Imlovenet首先学习跨不同模态的三重深特征,然后将这些特征导出到两个阶段分类器中,以逐步获得两个点云之间的高信心重叠区域。因此,软对应关系在预测的重叠区域中得到了很好的确定,从而导致了准确的刚性转换。 Imlovenet易于实现,但有效,因为1)未对准的图像为两个低重叠点云提供了更清晰的重叠信息,以更好地定位重叠零件; 2)它包含某些几何知识,以提取更好的深度特征; 3)它不需要成像设备的外部参数,相对于3D点云的参考框架。对各种基准的广泛定性和定量评估证明了我们的iMlovenet比最新方法的有效性和优越性。
translated by 谷歌翻译
最近的3D注册方法可以有效处理大规模或部分重叠的点对。然而,尽管具有实用性,但在空间尺度和密度方面与不平衡对匹配。我们提出了一种新颖的3D注册方法,称为uppnet,用于不平衡点对。我们提出了一个层次结构框架,通过逐渐减少搜索空间,可以有效地找到近距离的对应关系。我们的方法预测目标点的子区域可能与查询点重叠。以下超点匹配模块和细粒度的细化模块估计两个点云之间的准确对应关系。此外,我们应用几何约束来完善满足空间兼容性的对应关系。对应性预测是对端到端训练的,我们的方法可以通过单个前向通行率预测适当的刚体转换,并给定点云对。为了验证提出方法的疗效,我们通过增强Kitti LiDAR数据集创建Kitti-UPP数据集。该数据集的实验表明,所提出的方法显着优于最先进的成对点云注册方法,而当目标点云大约为10 $ \ times $ higation时,注册召回率的提高了78%。比查询点云大约比查询点云更密集。
translated by 谷歌翻译
准确和高效的点云注册是一个挑战,因为噪音和大量积分影响了对应搜索。这一挑战仍然是一个剩余的研究问题,因为大多数现有方法都依赖于对应搜索。为了解决这一挑战,我们通过调查深生成的神经网络来点云注册来提出新的数据驱动登记算法。给定两个点云,动机是直接生成对齐的点云,这在许多应用中非常有用,如3D匹配和搜索。我们设计了一个端到端的生成神经网络,用于对齐点云生成以实现这种动机,包含三种新组件。首先,提出了一种点多感知层(MLP)混频器(PointMixer)网络以便在自点云中有效地维护全局和局部结构信息。其次,提出了一种特征交互模块来融合来自交叉点云的信息。第三,提出了一种并行和差分样本共识方法来基于所生成的登记结果计算输入点云的变换矩阵。所提出的生成神经网络通过维持数据分布和结构相似度,在GAN框架中训练。 ModelNet40和7Scene数据集的实验表明,所提出的算法实现了最先进的准确性和效率。值得注意的是,与基于最先进的对应的算法相比,我们的方法减少了注册错误(CD)的$ 2 \次数为$ 12 \倍运行时间。
translated by 谷歌翻译
成功的点云注册依赖于在强大的描述符上建立的准确对应关系。但是,现有的神经描述符要么利用旋转变化的主链,其性能在较大的旋转下下降,要么编码局部几何形状,而局部几何形状不太明显。为了解决这个问题,我们介绍Riga以学习由设计和全球了解的旋转不变的描述符。从稀疏局部区域的点对特征(PPF)中,旋转不变的局部几何形状被编码为几何描述符。随后,全球对3D结构和几何环境的认识都以旋转不变的方式合并。更具体地说,整个框架的3D结构首先由我们的全球PPF签名表示,从中学到了结构描述符,以帮助几何描述符感知本地区域以外的3D世界。然后将整个场景的几何上下文全局汇总到描述符中。最后,将稀疏区域的描述插值到密集的点描述符,从中提取对应关系进行注册。为了验证我们的方法,我们对对象和场景级数据进行了广泛的实验。在旋转较大的情况下,Riga就模型Net40的相对旋转误差而超过了最先进的方法8 \度,并将特征匹配的回忆提高了3DLOMATCH上的至少5个百分点。
translated by 谷歌翻译
我们提出了一种基于学习的刚性和可变形场景的基于学习方法的方法。LePard的关键特征是利用点云匹配的3D位置知识的以下方法:1)将点云表示分为特征空间和3D位置空间的架构。2)一种位置编码方法,其通过向量的点产品明确地明确地揭示了3D相对距离信息。3)修改交叉点云相对位置的重新定位技术。消融研究证明了上述技术的有效性。对于刚性点云匹配,Lepard在3DMatch / 3DLomatch基准上为93.6%/ 69.0%的注册召回设置了新的最先进的。在可变形的情况下,Lepard达到+ 27.1%/ + 34.8%的非刚性特征匹配召回,而不是我们新建的4dmatch / 4dlomatch基准测试的现有技术。
translated by 谷歌翻译
在模板和搜索区域之间学习强大的功能匹配对于3D暹罗跟踪至关重要。暹罗功能匹配的核心是如何在模板和搜索区域之间的相应点上分配高特征相似性,以进行精确的对象本地化。在本文中,我们提出了一个新颖的点云登记驱动的暹罗跟踪框架,直觉是空间对齐相应点(通过3D注册)倾向于实现一致的特征表示。具体而言,我们的方法由两个模块组成,包括特定于特定的非局部注册模块和一个注册辅助的sindhorn模板 - 特征聚合模块。登记模块在模板和搜索区域之间的精确空间对齐中进行目标。提出了跟踪特异性的空间距离约束,以优化非局部模块中的交叉注意权重,以进行判别特征学习。然后,我们使用加权SVD来计算模板和搜索区域之间的刚性转换,并对齐它们以实现所需的空间对齐相应点。对于特征聚合模型,我们将转换模板和搜索区域之间的特征匹配作为最佳传输问题,并利用Sinkhorn优化来搜索异常型匹配匹配解决方案。同样,建造了登记辅助空间距离图,以改善无法区分的区域(例如光滑的表面)的匹配鲁棒性。最后,在获得的功能匹配地图的指导下,我们将目标信息从模板中汇总到搜索区域中以构建特定于目标的特征,然后将其馈送到一个类似中心点的检测头中以进行对象定位。关于Kitti,Nuscenes和Waymo数据集的广泛实验验证了我们提出的方法的有效性。
translated by 谷歌翻译
多实体点云注册是估计目标点云中源点云实例的多个姿势的问题。解决此问题是具有挑战性的,因为一个实例的嵌入对应关系构成了所有其他实例的异常值。现有方法通常依赖于耗时的假设抽样或具有利用空间一致性的特征,从而导致性能有限。在本文中,我们提出了PointClm,这是一个基于对比的学习构成点云注册的框架。我们首先利用对比度学习来学习投入推定的对应关系的完善的深层表示。然后,基于这些表示形式,我们提出了一个异常的修剪策略和聚类策略,以有效地删除异常值并将其余对应关系分配给正确实例。我们的方法的表现优于合成数据集和真实数据集的最新方法。
translated by 谷歌翻译
基于学习的3D点云注册的任务已经取得了很大的进展,即使在部分到部分匹配方案中,现有方法也在ModelNET40等标准基准上产生未完成的结果。不幸的是,这些方法仍然在实际数据存在下挣扎。在这项工作中,我们确定了这些失败的来源,分析了它们背后的原因,并提出解决它们的解决方案。我们将我们的调查结果总结为一系列准则,并通过将它们应用于不同的基线方法,DCP和IDAM来证明其有效性。简而言之,我们的指导方针改善了它们的培训融合和测试准确性。最终,这转换为最佳实践的3D注册网络(BPNET),构成了一种能够在真实数据中处理先前未经操作的基于学习的方法。尽管仅对合成数据进行培训,但我们的模型将推广到实际数据,而无需任何微调,达到使用商业传感器获得的看不见物体的点云达到高达67%的准确性。
translated by 谷歌翻译
由直觉的激励,即在相应的3D点云中定位2D图像的关键步骤正在建立它们之间的2d-3d对应关系,我们提出了第一个基于特征的密度通信框架,以解决图像到点云注册问题,称为Corri2p,由三个模块组成,即特征嵌入,对称重叠区域检测和通过已建立的对应关系构成估计。具体而言,给定一对2D图像和3D点云,我们首先将它们转换为高维特征空间,并将结果特征馈入对称重叠区域检测器,以确定图像和点云相互重叠的区域。然后,我们使用重叠区域的功能在RANSAC内运行EPNP之前以估算相机的姿势,以建立2D-3D对应关系。 Kitti和Nuscenes数据集的实验结果表明,我们的Corri2p优于最先进的图像到点云注册方法。我们将公开提供代码。
translated by 谷歌翻译
本文首先提出了一个有效的3D点云学习架构,名为PWCLO-NET的LIDAR ODOMORY。在该架构中,提出了3D点云的投影感知表示来将原始的3D点云组织成有序数据表单以实现效率。 LIDAR ODOMOMERY任务的金字塔,翘曲和成本量(PWC)结构是为估计和优化在分层和高效的粗良好方法中的姿势。建立一个投影感知的细心成本卷,以直接关联两个离散点云并获得嵌入运动模式。然后,提出了一种可训练的嵌入掩模来称量局部运动模式以回归整体姿势和过滤异常值点。可训练的姿势经线细化模块迭代地与嵌入式掩码进行分层优化,使姿势估计对异常值更加强大。整个架构是全能优化的端到端,实现成本和掩码的自适应学习,并且涉及点云采样和分组的所有操作都是通过投影感知的3D特征学习方法加速。在Kitti Ocomatry DataSet上证明了我们的激光乐队内径架构的卓越性能和有效性。我们的方法优于基于学习的所有基于学习的方法,甚至基于几何的方法,在大多数基于Kitti Odomatry数据集的序列上具有映射优化的遗传。
translated by 谷歌翻译
3D点云的卷积经过广泛研究,但在几何深度学习中却远非完美。卷积的传统智慧在3D点之间表现出特征对应关系,这是对差的独特特征学习的内在限制。在本文中,我们提出了自适应图卷积(AGCONV),以供点云分析的广泛应用。 AGCONV根据其动态学习的功能生成自适应核。与使用固定/各向同性核的解决方案相比,AGCONV提高了点云卷积的灵活性,有效,精确地捕获了不同语义部位的点之间的不同关系。与流行的注意力体重方案不同,AGCONV实现了卷积操作内部的适应性,而不是简单地将不同的权重分配给相邻点。广泛的评估清楚地表明,我们的方法优于各种基准数据集中的点云分类和分割的最新方法。同时,AGCONV可以灵活地采用更多的点云分析方法来提高其性能。为了验证其灵活性和有效性,我们探索了基于AGCONV的完成,DeNoing,Upsmpling,注册和圆圈提取的范式,它们与竞争对手相当甚至优越。我们的代码可在https://github.com/hrzhou2/adaptconv-master上找到。
translated by 谷歌翻译
Point Cloud Registration is the problem of aligning the corresponding points of two 3D point clouds referring to the same object. The challenges include dealing with noise and partial match of real-world 3D scans. For non-rigid objects, there is an additional challenge of accounting for deformations in the object shape that happen to the object in between the two 3D scans. In this project, we study the problem of non-rigid point cloud registration for use cases in the Augmented/Mixed Reality domain. We focus our attention on a special class of non-rigid deformations that happen in rigid objects with parts that move relative to one another about joints, for example, robots with hands and machines with hinges. We propose an efficient and robust point-cloud registration workflow for such objects and evaluate it on real-world data collected using Microsoft Hololens 2, a leading Mixed Reality Platform.
translated by 谷歌翻译
最近的基于变压器的方法通过利用变压器的优势在秩序 - 不变性和建模依赖性依赖于聚合信息来实现高级云注册的高级性能。然而,它们仍然遭受模糊的特征提取,对噪音和异常值的敏感性。原因是:(1)采用CNNS由于其本地接受领域而无法模拟全球关系,导致易受噪声的提取特征; (2)变压器的浅宽度和位置编码缺乏由于效率低下的信息相互作用导致模糊的特征提取; (3)遗漏几何兼容性导致入世与异常值之间的分类不准确。为了满足以上限制,提出了一种用于点云注册的新型变压器网络,命名为深度交互式变换器(DIT),它包含:(1)点云结构提取器(PSE)来模拟全球关系,并通过变压器检索结构信息编码器; (2)深窄点特征变压器(PFT),以便于与位置编码的两个点云相互作用,使得变压器可以建立综合关联,直接学习点之间的相对位置; (3)基于几何匹配的对应置信置信度评估(GMCCE)方法来测量空间一致性,并通过设计三角形描述符来估计inlier置信度。在清洁,嘈杂,部分重叠点云注册的广泛实验表明我们的方法优于最先进的方法。
translated by 谷歌翻译