最近的基于变压器的方法通过利用变压器的优势在秩序 - 不变性和建模依赖性依赖于聚合信息来实现高级云注册的高级性能。然而,它们仍然遭受模糊的特征提取,对噪音和异常值的敏感性。原因是:(1)采用CNNS由于其本地接受领域而无法模拟全球关系,导致易受噪声的提取特征; (2)变压器的浅宽度和位置编码缺乏由于效率低下的信息相互作用导致模糊的特征提取; (3)遗漏几何兼容性导致入世与异常值之间的分类不准确。为了满足以上限制,提出了一种用于点云注册的新型变压器网络,命名为深度交互式变换器(DIT),它包含:(1)点云结构提取器(PSE)来模拟全球关系,并通过变压器检索结构信息编码器; (2)深窄点特征变压器(PFT),以便于与位置编码的两个点云相互作用,使得变压器可以建立综合关联,直接学习点之间的相对位置; (3)基于几何匹配的对应置信置信度评估(GMCCE)方法来测量空间一致性,并通过设计三角形描述符来估计inlier置信度。在清洁,嘈杂,部分重叠点云注册的广泛实验表明我们的方法优于最先进的方法。
translated by 谷歌翻译
刚性变换相关的点云的注册是计算机视觉中的基本问题之一。然而,仍然缺乏在存在噪声存在下对准稀疏和不同采样的观察的实际情况的解决方案。我们在这种情况下接近注册,融合封闭形式的通用Mani-折叠嵌入(UME)方法和深神经网络。这两者组合成一个统一的框架,名为Deepume,训练的端到端并以无人监督的方式。为了在存在大转换的情况下成功提供全球解决方案,我们采用So(3) - 识别的坐标系来学习点云的联合重采样策略等(3) - variant功能。然后通过用于转换估计的几何UME方法来利用这些特征。使用度量进行优化的Dewume参数,旨在克服在对称形状的注册中出现的歧义问题,当考虑嘈杂的场景时。我们表明,我们的混合方法在各种场景中优于最先进的注册方法,并概括到未操作数据集。我们的代码公开提供。
translated by 谷歌翻译
点云注册是许多任务的基本步骤。在本文中,我们提出了一个名为detarnet的神经网络,将$ t $和旋转降序,以克服Point云注册的相互干扰导致的性能下降。首先,提出了一种基于暹罗网络的渐进和相干特征漂移(PCFD)模块以对准高维特征空间中的源点和目标点,并准确地从对准过程恢复转换。然后,我们提出了一种共识编码单元(CEU),以构建一组推定的对应关系的更区别特征。之后,采用空间和信道注意力(SCA)块来构建用于寻找良好通信的分类网络。最后,通过奇异值分解(SVD)获得旋转。以这种方式,所提出的网络对翻译和旋转的估计进行了解耦,导致它们两个的更好的性能。实验结果表明,拟议的Detarnet在室内和室外场景中提高了登记性能。我们的代码将在\ url {https://github.com/zhichen902/detarnet}中获得。
translated by 谷歌翻译
生成一组高质量的对应关系或匹配是点云注册中最关键的步骤之一。本文通过共同考虑点对立的结构匹配来提出学习框架COTREG,以预测3D点云登记的对应关系。具体地,我们将这两个匹配转换为基于Wasserstein距离和基于Gromov-Wasserstein距离的优化。因此,建立对应关系的任务可以自然地重塑成耦合的最佳运输问题。此外,我们设计一个网络,以预测点云的每个点的置信度,其提供重叠区域信息以产生对应关系。我们的对应预测管道可以很容易地集成到基于学习的特征,如FCGF或FPFH等传统描述符。我们在3DMATCH,KITTI,3DCSR和ModelNet40基准上进行了全面的实验,显示了所提出的方法的最先进的性能。
translated by 谷歌翻译
我们提出了一种基于学习的刚性和可变形场景的基于学习方法的方法。LePard的关键特征是利用点云匹配的3D位置知识的以下方法:1)将点云表示分为特征空间和3D位置空间的架构。2)一种位置编码方法,其通过向量的点产品明确地明确地揭示了3D相对距离信息。3)修改交叉点云相对位置的重新定位技术。消融研究证明了上述技术的有效性。对于刚性点云匹配,Lepard在3DMatch / 3DLomatch基准上为93.6%/ 69.0%的注册召回设置了新的最先进的。在可变形的情况下,Lepard达到+ 27.1%/ + 34.8%的非刚性特征匹配召回,而不是我们新建的4dmatch / 4dlomatch基准测试的现有技术。
translated by 谷歌翻译
本文提出了一种可对应的点云旋转登记的方法。我们学习为每个点云嵌入保留所以(3)-equivariance属性的特征空间中的嵌入,通过最近的Quifariant神经网络的开发启用。所提出的形状登记方法通过用隐含形状模型结合等分性的特征学习来实现三个主要优点。首先,由于网络架构中类似于PointNet的网络体系结构中的置换不变性,因此删除了数据关联的必要性。其次,由于SO(3)的性能,可以使用喇叭的方法以闭合形式来解决特征空间中的注册。第三,由于注册和隐含形状重建的联合培训,注册对点云中的噪声强大。实验结果显示出优异的性能与现有的无对应的深层登记方法相比。
translated by 谷歌翻译
点云识别是工业机器人和自主驾驶中的重要任务。最近,几个点云处理模型已经实现了最先进的表演。然而,这些方法缺乏旋转稳健性,并且它们的性能严重降低了随机旋转,未能扩展到具有不同方向的现实情景。为此,我们提出了一种名为基于自行轮廓的转换(SCT)的方法,该方法可以灵活地集成到针对任意旋转的各种现有点云识别模型中。 SCT通过引入轮廓感知的转换(CAT)提供有效的旋转和翻译不变性,该转换(CAT)线性地将点数的笛卡尔坐标转换为翻译和旋转 - 不变表示。我们证明猫是一种基于理论分析的旋转和翻译不变的转换。此外,提出了帧对准模块来增强通过捕获轮廓并将基于自平台的帧转换为帧内帧来增强鉴别特征提取。广泛的实验结果表明,SCT在合成和现实世界基准的有效性和效率的任意旋转下表现出最先进的方法。此外,稳健性和一般性评估表明SCT是稳健的,适用于各种点云处理模型,它突出了工业应用中SCT的优势。
translated by 谷歌翻译
如何提取重要点云特征并估计它们之间的姿势仍然是一个具有挑战性的问题,因为点云的固有缺乏结构和暧昧的顺序排列。尽管对大多数3D计算机视觉任务的基于深度学习的方法进行了重大改进,例如对象分类,对象分割和点云注册,但功能之间的一致性在现有的基于学习的流水线上仍然没有吸引力。在本文中,我们提出了一种用于复杂对准场景的新型学习的对齐网络,标题为深度特征一致性,并由三个主模块组成:多尺度图形特征合并网络,用于将几何对应集转换为高维特征,对应加权用于构建多个候选内部子集的模块,以及命名为深度特征匹配的Procrustes方法,用于给出闭合方案来估计相对姿势。作为深度特征匹配模块的最重要步骤,构造每个Inlier子集的特征一致性矩阵以获得其主要向量作为相应子集的含义似然性。我们全面地验证了我们在3DMATCH数据集和基提ODOMOTRY数据集中的方法的鲁棒性和有效性。对于大型室内场景,3DMATCH数据集上的注册结果表明,我们的方法优于最先进的传统和基于学习的方法。对于Kitti户外场景,我们的方法仍然能够降低转换错误。我们还在交叉数据集中探讨其强大的泛化能力。
translated by 谷歌翻译
准确和高效的点云注册是一个挑战,因为噪音和大量积分影响了对应搜索。这一挑战仍然是一个剩余的研究问题,因为大多数现有方法都依赖于对应搜索。为了解决这一挑战,我们通过调查深生成的神经网络来点云注册来提出新的数据驱动登记算法。给定两个点云,动机是直接生成对齐的点云,这在许多应用中非常有用,如3D匹配和搜索。我们设计了一个端到端的生成神经网络,用于对齐点云生成以实现这种动机,包含三种新组件。首先,提出了一种点多感知层(MLP)混频器(PointMixer)网络以便在自点云中有效地维护全局和局部结构信息。其次,提出了一种特征交互模块来融合来自交叉点云的信息。第三,提出了一种并行和差分样本共识方法来基于所生成的登记结果计算输入点云的变换矩阵。所提出的生成神经网络通过维持数据分布和结构相似度,在GAN框架中训练。 ModelNet40和7Scene数据集的实验表明,所提出的算法实现了最先进的准确性和效率。值得注意的是,与基于最先进的对应的算法相比,我们的方法减少了注册错误(CD)的$ 2 \次数为$ 12 \倍运行时间。
translated by 谷歌翻译
这项工作调查了鲁棒优化运输(OT)的形状匹配。具体而言,我们表明最近的OT溶解器改善了基于优化和深度学习方法的点云登记,以实惠的计算成本提高了准确性。此手稿从现代OT理论的实际概述开始。然后,我们为使用此框架进行形状匹配的主要困难提供解决方案。最后,我们展示了在广泛的具有挑战性任务上的运输增强的注册模型的性能:部分形状的刚性注册;基蒂数据集的场景流程估计;肺血管树的非参数和肺部血管树。我们基于OT的方法在准确性和可扩展性方面实现了基蒂的最先进的结果,并为挑战性的肺登记任务。我们还释放了PVT1010,这是一个新的公共数据集,1,010对肺血管树,具有密集的采样点。此数据集提供了具有高度复杂形状和变形的点云登记算法的具有挑战性用例。我们的工作表明,强大的OT可以为各种注册模型进行快速预订和微调,从而为计算机视觉工具箱提供新的键方法。我们的代码和数据集可在线提供:https://github.com/uncbiag/robot。
translated by 谷歌翻译
变换同步是从给定的一组相对运动中恢复绝对变换的问题。尽管有其有用,但由于嘈杂和异常相对运动的影响,问题仍然具有挑战性,以及模拟分析并抑制它们高保真的难度。在这项工作中,我们避免了手工强大的损失功能,并建议使用图形神经网络(GNN)来学习转换同步。与使用复杂的多阶段管道的先前作品不同,我们使用迭代方法,其中每个步骤由单个重量共享消息传递层组成,通过预测切线空间中的增量更新,从前一个迭代中改进绝对姿势。为了减少异常值的影响,在聚合之前将加权消息。我们的迭代方法减轻了对明确初始化步骤的需求,并使用身份初始姿势进行良好。虽然我们的方法很简单,但我们表明它通过SO(3)和SE(3)同步的实验来对现有的手工和学习的同步方法进行有利的。
translated by 谷歌翻译
部分重叠点云的实时登记具有对自治车辆和多助手SLAM的合作看法的新兴应用。这些应用中点云之间的相对转换高于传统的SLAM和OCOMOTRY应用程序,这挑战了对应的识别和成功的注册。在本文中,我们提出了一种用于部分重叠点云的新颖注册方法,其中使用有效的点亮特征编码器学习对应关系,并使用基于图形的注意网络改进。这种注意网络利用关键点之间的几何关系,以改善点云中的匹配,低重叠。在推断时间下,通过通过样本共识稳健地拟合对应关系来获得相对姿态变换。在基蒂数据集和新的合成数据集上进行评估,包括低重叠点云,位移高达30米。所提出的方法在Kitti DataSet上使用最先进的方法实现了对映射性能,并且优于低重叠点云的现有方法。此外,所提出的方法可以比竞争方法更快地实现更快的推理时间,低至410ms,低至410ms。我们的代码和数据集可在https://github.com/eduardohenriquearnold/fastreg提供。
translated by 谷歌翻译
我们为3D点云提出了一种自我监督的胶囊架构。我们通过置换等级的注意力计算对象的胶囊分解,并通过用对随机旋转对象的对进行自我监督处理。我们的主要思想是将注意力掩码汇总为语义关键点,并使用这些来监督满足胶囊不变性/设备的分解。这不仅能够培训语义一致的分解,而且还允许我们学习一个能够以对客观的推理的规范化操作。培训我们的神经网络,我们既不需要分类标签也没有手动对齐训练数据集。然而,通过以自我监督方式学习以对象形式的表示,我们的方法在3D点云重建,规范化和无监督的分类上表现出最先进的。
translated by 谷歌翻译
基于学习的3D点云注册的任务已经取得了很大的进展,即使在部分到部分匹配方案中,现有方法也在ModelNET40等标准基准上产生未完成的结果。不幸的是,这些方法仍然在实际数据存在下挣扎。在这项工作中,我们确定了这些失败的来源,分析了它们背后的原因,并提出解决它们的解决方案。我们将我们的调查结果总结为一系列准则,并通过将它们应用于不同的基线方法,DCP和IDAM来证明其有效性。简而言之,我们的指导方针改善了它们的培训融合和测试准确性。最终,这转换为最佳实践的3D注册网络(BPNET),构成了一种能够在真实数据中处理先前未经操作的基于学习的方法。尽管仅对合成数据进行培训,但我们的模型将推广到实际数据,而无需任何微调,达到使用商业传感器获得的看不见物体的点云达到高达67%的准确性。
translated by 谷歌翻译
学习地区内部背景和区域间关系是加强点云分析的特征表示的两项有效策略。但是,在现有方法中没有完全强调的统一点云表示的两种策略。为此,我们提出了一种名为点关系感知网络(PRA-NET)的小说框架,其由区域内结构学习(ISL)模块和区域间关系学习(IRL)模块组成。ISL模块可以通过可差的区域分区方案和基于代表的基于点的策略自适应和有效地将本地结构信息动态地集成到点特征中,而IRL模块可自适应和有效地捕获区域间关系。在涵盖形状分类,关键点估计和部分分割的几个3D基准测试中的广泛实验已经验证了PRA-Net的有效性和泛化能力。代码将在https://github.com/xiwuchen/pra-net上获得。
translated by 谷歌翻译
在点云序列中,3D对象跟踪目的是在给定模板点云的情况下预测当前搜索点云中的对象的位置和方向。通过变压器的成功,我们提出了点跟踪变压器(PTTR),其有效地在变压器操作的帮助下以粗良好的方式预测高质量的3D跟踪结果。 PTTR由三种新颖的设计组成。 1)除了随机抽样中,我们设计关系感知采样,以保护在子采样期间给定模板的相关点。 2)此外,我们提出了一种由自我关注和跨关注模块组成的点关系变压器(PRT)。全局自我关注操作捕获远程依赖性,以便分别增强搜索区域和模板的编码点特征。随后,我们通过横向关注匹配两组点特征来生成粗略跟踪结果。 3)基于粗略跟踪结果,我们采用了一种新颖的预测细化模块来获得最终精制预测。此外,我们根据Waymo Open DataSet创建一个大型点云单个对象跟踪基准。广泛的实验表明,PTTR以准确性和效率达到优越的点云跟踪。
translated by 谷歌翻译
本文提出了一种新颖的自我监督方法,可以从嘈杂的点云数据重建人类形状和姿势。依靠大量数据集与地面真实的注释,最近基于学习的方法预测点云上的每个顶点的对应关系;倒角距离通常用于最小化变形模板模型和输入点云之间的距离。然而,倒角距离对噪声和异常值非常敏感,因此可以不可靠地分配通信。为了解决这些问题,我们在高斯混合模型下从参数人模型产生的输入点云的概率分布。通过更新给定输入的模板模型的后验概率,我们通过更新模板模型的后视概率来代替明确地对准对应关系,而不是显式对准的对应关系。进一步推导出一种新颖的自我监督损失,这惩罚了变形模板和在后后概率上的输入点云之间的差异。我们的方法非常灵活,适用于完整点云和不完整的云,包括甚至是单个深度图像作为输入。与以前的自我监督方法相比,我们的方法显示了处理大量噪声和异常值的能力。在各种公共合成数据集以及非常嘈杂的真实数据集(即CMU Panoptic)上进行了广泛的实验,证明了我们对最先进的方法的方法的卓越性能。
translated by 谷歌翻译
点云分析没有姿势前导者在真实应用中非常具有挑战性,因为点云的方向往往是未知的。在本文中,我们提出了一个全新的点集学习框架prin,即点亮旋转不变网络,专注于点云分析中的旋转不变特征提取。我们通过密度意识的自适应采样构建球形信号,以处理球形空间中的扭曲点分布。提出了球形Voxel卷积和点重新采样以提取每个点的旋转不变特征。此外,我们将Prin扩展到称为Sprin的稀疏版本,直接在稀疏点云上运行。 Prin和Sprin都可以应用于从对象分类,部分分割到3D特征匹配和标签对齐的任务。结果表明,在随机旋转点云的数据集上,Sprin比无任何数据增强的最先进方法表现出更好的性能。我们还为我们的方法提供了彻底的理论证明和分析,以实现我们的方法实现的点明智的旋转不变性。我们的代码可在https://github.com/qq456cvb/sprin上找到。
translated by 谷歌翻译
我们解决了目标点云中源点云的多个实例姿势的问题。现有解决方案需要采样大量假设以检测可能的实例并拒绝异常值,其稳健性和效率显着降低,当实例和异常值的增加时显着降低。我们建议直接将嘈杂的对应组织集团基于距离不变性矩阵基于不同的群集。实例和异常值通过群集自动识别。我们的方法是坚固且快速的。我们在合成和现实世界数据集中评估了我们的方法。结果表明,我们的方法可以在70%的异常值存在下,在存在70.46%的F1得分中正确地注册了20个实例,这比现有方法显着更好,至少10倍
translated by 谷歌翻译
3D点云登记在遥感,摄影测量,机器人和几何计算机视觉中排名最基本的问题。由于3D特征匹配技术的准确性有限,因此可能存在异常值,有时即使在非常大的数字中,则在该对应中也是如此。由于现有的强大的求解器可能会遇到高计算成本或限制性的稳健性,因此我们提出了一种名为VoCra(具有成本函数和旋转平均的投票的新颖,快速,高度强大的解决方案,为极端异常率的点云注册问题。我们的第一款贡献是聘请Tukey的双重强大的成本来引入新的投票和对应分类技术,这证明是在异常值中区分真正的入世性,即使是极端(99%)的异常率。我们的第二次贡献包括基于强大的旋转平均设计时效的共识最大化范例,用于在通信中寻求Inlier候选人。最后,我们使用Tukey的Biweight(GNC-TB)应用毕业的非凸性,以估计所获得的Inlier候选者的正确变换,然后使用它来找到完整的Inlier集。进行了应用于两个实体数据问题的标准基准和现实实验,并且我们表明我们的求解器VORCA对超过99%的异常值较高,而且比最先进的竞争对手更多的时间效率。
translated by 谷歌翻译