我们提出了一种新颖的有效方法,用于通过几何拓扑来解决全球点云注册问题。基于许多点云成对注册方法(例如ICP),我们关注沿任何循环的转换组成的累积误差问题。本文的主要技术贡献是仅使用泊松方程式消除错误的线性方法。我们从Hodge-Helmhotz分解定理和在现实世界场景的多个RGBD数据集中进行了实验,证明了我们方法的一致性。实验结果还表明,我们的全球注册方法运行迅速并提供准确的重建。
translated by 谷歌翻译
变换同步是从给定的一组相对运动中恢复绝对变换的问题。尽管有其有用,但由于嘈杂和异常相对运动的影响,问题仍然具有挑战性,以及模拟分析并抑制它们高保真的难度。在这项工作中,我们避免了手工强大的损失功能,并建议使用图形神经网络(GNN)来学习转换同步。与使用复杂的多阶段管道的先前作品不同,我们使用迭代方法,其中每个步骤由单个重量共享消息传递层组成,通过预测切线空间中的增量更新,从前一个迭代中改进绝对姿势。为了减少异常值的影响,在聚合之前将加权消息。我们的迭代方法减轻了对明确初始化步骤的需求,并使用身份初始姿势进行良好。虽然我们的方法很简单,但我们表明它通过SO(3)和SE(3)同步的实验来对现有的手工和学习的同步方法进行有利的。
translated by 谷歌翻译
作为解决多视图注册问题的有效算法,已经对运动平均(MA)算法进行了广泛的研究,并引入了许多基于MA的算法。他们旨在从相对动作中恢复全球动作,并利用信息冗余到平均累积错误。但是,这些方法的一个属性是,它们使用ugas-newton方法来解决最小二乘问题以增加全球运动的增加,这可能会导致效率低下,并且对异常值的稳健性差。在本文中,我们提出了一个新的运动平均框架,用于使用Laplacian基于Laplacian的最大Correntropy Criterion(LMCC)进行多视图注册。利用Lie代数运动框架和CorrentRopy量度,我们提出了一种新的成本函数,该功能应考虑相对动作提供的所有约束。获得用于纠正全局动作的增量,可以进一步提出为旨在最大化成本函数的优化问题。凭借二次技术,可以通过分为两个子问题来解决优化问题,即根据当前残差计算每个相对运动的重量,并解决二阶锥体程序问题(SOCP)以增加下一个迭代。我们还提供了一种新的策略来确定内核宽度,以确保我们的方法可以有效利用许多异常值的相对运动提供的信息冗余。最后,我们将提出的方法与其他基于MA的多视图注册方法进行比较,以验证其性能。关于合成和实际数据的实验测试表明,我们的方法在效率,准确性和鲁棒性方面取得了卓越的性能。
translated by 谷歌翻译
通常,非刚性登记的问题是匹配在两个不同点拍摄的动态对象的两个不同扫描。这些扫描可以进行刚性动作和非刚性变形。由于模型的新部分可能进入视图,而其他部件在两个扫描之间堵塞,则重叠区域是两个扫描的子集。在最常规的设置中,没有给出先前的模板形状,并且没有可用的标记或显式特征点对应关系。因此,这种情况是局部匹配问题,其考虑了随后的扫描在具有大量重叠区域的情况下进行的扫描经历的假设[28]。本文在环境中寻址的问题是同时在环境中映射变形对象和本地化摄像机。
translated by 谷歌翻译
如何提取重要点云特征并估计它们之间的姿势仍然是一个具有挑战性的问题,因为点云的固有缺乏结构和暧昧的顺序排列。尽管对大多数3D计算机视觉任务的基于深度学习的方法进行了重大改进,例如对象分类,对象分割和点云注册,但功能之间的一致性在现有的基于学习的流水线上仍然没有吸引力。在本文中,我们提出了一种用于复杂对准场景的新型学习的对齐网络,标题为深度特征一致性,并由三个主模块组成:多尺度图形特征合并网络,用于将几何对应集转换为高维特征,对应加权用于构建多个候选内部子集的模块,以及命名为深度特征匹配的Procrustes方法,用于给出闭合方案来估计相对姿势。作为深度特征匹配模块的最重要步骤,构造每个Inlier子集的特征一致性矩阵以获得其主要向量作为相应子集的含义似然性。我们全面地验证了我们在3DMATCH数据集和基提ODOMOTRY数据集中的方法的鲁棒性和有效性。对于大型室内场景,3DMATCH数据集上的注册结果表明,我们的方法优于最先进的传统和基于学习的方法。对于Kitti户外场景,我们的方法仍然能够降低转换错误。我们还在交叉数据集中探讨其强大的泛化能力。
translated by 谷歌翻译
非刚性注册以非刚性方式与目标形状保持一致的源形状变形,是计算机视觉中的经典问题。由于数据(噪声,离群值和部分重叠)和高度自由度,因此此类问题可能具有挑战性。现有方法通常采用$ \ ell_ {p} $键入鲁棒标准来测量对齐误差并规范变形的平滑度,并使用近端算法来解决所得的非平滑优化问题。但是,这种算法的缓慢收敛性限制了其广泛的应用。在本文中,我们提出了一种基于全球平稳的稳健标准进行对齐和正则化的稳健非刚性登记的公式,该规范可以有效地处理异常值和部分重叠。使用大型最小化算法解决了该问题,该算法将每次迭代减少到使用封闭形式的解决方案的凸二次问题。我们进一步应用安德森加速度以加快求解器的收敛性,使求解器能够在具有有限的计算能力的设备上有效运行。广泛的实验证明了我们方法在两种形状之间具有异常值和部分重叠的形状之间的非刚性比对的有效性,并进行定量评估表明,就注册准确性和计算速度而言,它的表现优于最先进的方法。源代码可从https://github.com/yaoyx689/amm_nrr获得。
translated by 谷歌翻译
尽管常规机器人系统中的每个不同任务都需要专用的场景表示形式,但本文表明,统一表示形式可以直接用于多个关键任务。我们提出了用于映射,进程和计划(LOG-GPIS-MOP)的log-gaussian过程隐式表面:基于统一表示形式的表面重建,本地化和导航的概率框架。我们的框架将对数转换应用于高斯过程隐式表面(GPIS)公式,以恢复全局表示,该表示可以准确地捕获具有梯度的欧几里得距离场,同时又是隐式表面。通过直接估计距离字段及其通过LOG-GPIS推断的梯度,提出的增量进程技术计算出传入帧的最佳比对,并在全球范围内融合以生成MAP。同时,基于优化的计划者使用相同的LOG-GPIS表面表示计算安全的无碰撞路径。我们根据最先进的方法验证了2D和3D和3D和基准测试的模拟和真实数据集的拟议框架。我们的实验表明,LOG-GPIS-MOP在顺序的音程,表面映射和避免障碍物中产生竞争结果。
translated by 谷歌翻译
我们通过同步在点云上定义的学习函数的地图同步地图来共同寄存多种非刚性形状的新方法。尽管处理非刚性形状的能力在从计算机动画到3D数字化的各种应用中都是至关重要的,但文献仍然缺乏围绕闭塞观察到的真实,嘈杂的扫描的集合的稳健和灵活的框架。给定一组这样的点云,我们的方法首先计算通过功能映射参数化的成对对应关系。我们同时学习潜在的非正交基础函数,以有效地规范变形,同时以优雅的方式处理闭塞。为了最大限度地受益于推断成对变形字段提供的多向信息,我们通过我们的新颖和原则优化配方将成对功能映射与周期一致的整体同步。我们通过广泛的实验证明了我们的方法在注册准确性中实现了最先进的性能,同时可以灵活,高效,因为我们在统一框架中处理非刚性和多体案例并避免昂贵的优化优化通过使用基函数映射的置换。
translated by 谷歌翻译
与最小化点对点距离的传统算法设置的注册最小化通常可以更好地估计刚性转换。然而,最近的基于深度学习的方法最大程度地减少了点对点距离。与这些方法相反,本文提出了第一种基于深度学习的方法来点对上注册的方法。该问题的一个具有挑战性的部分是,用于点对点注册的典型解决方案需要迭代的过程来累积通过最小化线性的能量函数获得的小型转换。迭代显着增加了反向传播所需的计算图的大小,并且可以放慢前进和后退网络评估。为了解决此问题,我们将估计的刚体转换视为输入点云的函数,并使用隐式函数定理得出其分析梯度。我们引入的分析梯度独立于如何获得误差最小化函数(即刚性变换),从而使我们能够有效地计算刚性变换及其梯度。我们在几种先前的方法上实现了所提出的点对平面注册模块,这些模块可以最大程度地减少点对点距离,并证明扩展名的表现超过了基本方法,即使具有噪声和低质量的点云的点云,也通过局部点分布估算了差异。
translated by 谷歌翻译
束调整(BA)是指同时确定传感器姿势和场景几何形状的问题,这是机器人视觉中的一个基本问题。本文为LIDAR传感器提供了一种有效且一致的捆绑捆绑调整方法。该方法采用边缘和平面特征来表示场景几何形状,并直接最大程度地减少从每个原始点到各自几何特征的天然欧几里得距离。该公式的一个不错的属性是几何特征可以在分析上解决,从而大大降低了数值优化的维度。为了更有效地表示和解决最终的优化问题,本文提出了一个新颖的概念{\ it point clusters},该概念编码了通过一组紧凑的参数集与同一特征相关联的所有原始点,{\ it点群集坐标} 。我们根据点簇坐标得出BA优化的封闭形式的衍生物,并显示其理论属性,例如零空间和稀疏性。基于这些理论结果,本文开发了有效的二阶BA求解器。除了估计LiDAR姿势外,求解器还利用二阶信息来估计测量噪声引起的姿势不确定性,从而导致对LIDAR姿势的一致估计。此外,由于使用点群集的使用,开发的求解器从根本上避免了在优化的所有步骤中列出每个原始点(由于数量大量而非常耗时):成本评估,衍生品评估和不确定性评估。我们的方法的实施是开源的,以使机器人界及其他地区受益。
translated by 谷歌翻译
我们提出了一种基于学习的刚性和可变形场景的基于学习方法的方法。LePard的关键特征是利用点云匹配的3D位置知识的以下方法:1)将点云表示分为特征空间和3D位置空间的架构。2)一种位置编码方法,其通过向量的点产品明确地明确地揭示了3D相对距离信息。3)修改交叉点云相对位置的重新定位技术。消融研究证明了上述技术的有效性。对于刚性点云匹配,Lepard在3DMatch / 3DLomatch基准上为93.6%/ 69.0%的注册召回设置了新的最先进的。在可变形的情况下,Lepard达到+ 27.1%/ + 34.8%的非刚性特征匹配召回,而不是我们新建的4dmatch / 4dlomatch基准测试的现有技术。
translated by 谷歌翻译
培训和测试监督对象检测模型需要大量带有地面真相标签的图像。标签定义图像中的对象类及其位置,形状以及可能的其他信息,例如姿势。即使存在人力,标签过程也非常耗时。我们引入了一个新的标签工具,用于2D图像以及3D三角网格:3D标记工具(3DLT)。这是一个独立的,功能丰富和跨平台软件,不需要安装,并且可以在Windows,MacOS和基于Linux的发行版上运行。我们不再像当前工具那样在每个图像上分别标记相同的对象,而是使用深度信息从上述图像重建三角形网格,并仅在上述网格上标记一次对象。我们使用注册来简化3D标记,离群值检测来改进2D边界框的计算和表面重建,以将标记可能性扩展到大点云。我们的工具经过最先进的方法测试,并且在保持准确性和易用性的同时,它极大地超过了它们。
translated by 谷歌翻译
本文提出了一种可对应的点云旋转登记的方法。我们学习为每个点云嵌入保留所以(3)-equivariance属性的特征空间中的嵌入,通过最近的Quifariant神经网络的开发启用。所提出的形状登记方法通过用隐含形状模型结合等分性的特征学习来实现三个主要优点。首先,由于网络架构中类似于PointNet的网络体系结构中的置换不变性,因此删除了数据关联的必要性。其次,由于SO(3)的性能,可以使用喇叭的方法以闭合形式来解决特征空间中的注册。第三,由于注册和隐含形状重建的联合培训,注册对点云中的噪声强大。实验结果显示出优异的性能与现有的无对应的深层登记方法相比。
translated by 谷歌翻译
我们提出了一种新颖的隐式表示 - 神经半空间表示(NH-REP),以将歧管B-REP固体转换为隐式表示。 NH-REP是一棵布尔树木,建立在由神经网络代表的一组隐式函数上,复合布尔函数能够代表实体几何形状,同时保留锐利的特征。我们提出了一种有效的算法,以从歧管B-Rep固体中提取布尔树,并设计一种基于神经网络的优化方法来计算隐式函数。我们证明了我们的转换算法在一千个流形B-REP CAD模型上提供的高质量,这些模型包含包括NURB在内的各种弯曲斑块,以及我们学习方法优于其他代表性的隐性转换算法,在表面重建,尖锐的特征保存,尖锐的特征保存,尖锐的特征,,符号距离场的近似和对各种表面几何形状的鲁棒性以及由NH-REP支持的一组应用。
translated by 谷歌翻译
在不同情况下,已经探索了相对旋转和翻译估计任务的最小解决方案,通常依赖于所谓的共同可见度图。但是,如何在没有重叠的两个框架之间建立直接旋转关系仍然是一个公开主题,如果解决了,它可以大大提高视觉尾声的准确性。在本文中,提出了一种新的最小解决方案,以通过利用新的图形结构来求解两个图像之间没有重叠区域的相对旋转估计,我们将其称为扩展性图(E-Graph)。与共同可见度图不同,高级标志(包括消失方向和平面正常)存储在我们的电子图纸中,这些图形在几何上可扩展。基于电子图表,旋转估计问题变得更简单,更优雅,因为它可以处理纯粹的旋转运动,并且需要更少的假设,例如曼哈顿/亚特兰大世界,平面/垂直运动。最后,我们将旋转估计策略嵌入完整的相机跟踪和映射系统中,该系统获得了6-DOF相机姿势和密集的3D网格模型。对公共基准测试的广泛实验表明,所提出的方法实现了最新的跟踪性能。
translated by 谷歌翻译
3D point cloud registration is a fundamental problem in computer vision and robotics. Recently, learning-based point cloud registration methods have made great progress. However, these methods are sensitive to outliers, which lead to more incorrect correspondences. In this paper, we propose a novel deep graph matching-based framework for point cloud registration. Specifically, we first transform point clouds into graphs and extract deep features for each point. Then, we develop a module based on deep graph matching to calculate a soft correspondence matrix. By using graph matching, not only the local geometry of each point but also its structure and topology in a larger range are considered in establishing correspondences, so that more correct correspondences are found. We train the network with a loss directly defined on the correspondences, and in the test stage the soft correspondences are transformed into hard one-to-one correspondences so that registration can be performed by a correspondence-based solver. Furthermore, we introduce a transformer-based method to generate edges for graph construction, which further improves the quality of the correspondences. Extensive experiments on object-level and scene-level benchmark datasets show that the proposed method achieves state-of-the-art performance. The code is available at: \href{https://github.com/fukexue/RGM}{https://github.com/fukexue/RGM}.
translated by 谷歌翻译
激光雷达传感器是在未知环境中同时定位和映射(SLAM)的强大工具,但是它们产生的原始点云是密集的,计算量昂贵,并且不适合下游自治任务(例如运动计划)直接使用。为了与运动计划集成,希望大满贯管道生成轻量级的几何图表示。这样的表示也特别适合人造环境,通常可以将其视为在笛卡尔网格上建造的所谓“曼哈顿世界”。在这项工作中,我们为曼哈顿世界环境提出了一种3D激光雷达大满贯算法,该算法从点云中提取平面特征,以实现轻便,实时的定位和映射。我们的方法生成基于平面的地图,其记忆占其位置的记忆力明显少得多,并且适合于快速碰撞检查运动计划。通过利用曼哈顿世界的假设,我们靶向正交平面的提取,以生成比现有基于平面的LIDAR SLAM方法更结构化和组织的地图。我们证明了我们在高保真的AirSim模拟器以及配备有速蛋白底激光片的地面漫游车的现实实验中。在这两种情况下,我们都能够以匹配10 Hz的传感器速率的速率生成高质量的图和轨迹估计值。
translated by 谷歌翻译
多视图点云注册在3D重建中至关重要。由于从不同角度捕获的点云之间存在密切的连接,因此如果正确利用这些连接,则可以增强注册性能。因此,本文将注册问题建模为多任务优化,并提出了一种新颖的双通道知识共享机制,以有效,有效地解决问题。多视点云注册作为多任务优化的建模是双重的。通过同时考虑两个点云的局部精度以及所涉及的所有点云带来的全局一致性,得出了具有自适应阈值的健身函数。还定义了共同进化搜索过程的框架,以同时优化属于相关任务的多个健身函数。为了提高解决方案质量和收敛速度,拟议的双通道知识共享机制发挥了作用。任务内的知识共享引入了求解更简单的帮助任务,并且在辅助任务和原始任务上共享有用的信息,从而加速了搜索过程。任务间知识共享探讨了原始任务中埋葬的共同点,旨在防止任务陷入本地Optima。在模型对象以及场景点云上进行的综合实验显示了所提出的方法的功效。
translated by 谷歌翻译
目标是在杂乱或Textuleless环境,相机(和多传感器)校准任务中的对象跟踪等问题,以及同时本地化和映射(SLAM)。用于这些任务的目标形状通常是对称的(方形,矩形或圆形),并且适用于结构化的密集传感器数据(例如像素阵列(即,图像)。然而,当使用稀疏传感器数据(例如LIDAR点云)并且遭受LIDAR的量化不确定性时,对称形状导致占用歧义。本文介绍了优化目标形状的概念,以消除LIDAR点云的姿势模糊性。目标被设计成在旋转和平移下的边缘点处引起大梯度,而相对于LIDAR以改善与点云稀疏相关的量化不确定性。此外,考虑到目标形状,我们提出了一种利用目标的几何形状来估计目标顶点的手段,同时全局估计姿势。模拟和实验结果(通过运动捕获系统验证)确认,通过使用最佳形状和全球求解器,即使在部分照明的目标放置30米处,我们也可以在翻译中的厘米误差和几度旋转。所有实现和数据集都可以在https://github.com/umich-bipedlab/optimal_shape_global_pose_estimation中获得。
translated by 谷歌翻译
相机的估计与一组图像相关联的估计通常取决于图像之间的特征匹配。相比之下,我们是第一个通过使用对象区域来指导姿势估计问题而不是显式语义对象检测来应对这一挑战的人。我们提出了姿势炼油机网络(PosErnet),一个轻量级的图形神经网络,以完善近似的成对相对摄像头姿势。posernet利用对象区域之间的关联(简洁地表示为边界框),跨越了多个视图到全球完善的稀疏连接的视图图。我们在不同尺寸的图表上评估了7个尺寸的数据集,并展示了该过程如何有益于基于优化的运动平均算法,从而相对于基于边界框获得的初始估计,将旋转的中值误差提高了62度。代码和数据可在https://github.com/iit-pavis/posernet上找到。
translated by 谷歌翻译