我们提出了一种新的方法,可以在点云对之间进行无监督的形状对应学习。我们首次尝试适应经典的局部线性嵌入算法(LLE)(最初是为非线性维度降低)的形状对应关系的。关键思想是通过首先获得低维点云的高维邻域保护嵌入,然后使用局部线性转换对源和目标嵌入对齐,从而找到形状之间的密集对应。我们证明,使用新的LLE启发的点云重建目标学习嵌入会产生准确的形状对应关系。更具体地说,该方法包括一个端到端的可学习框架,该框架是提取高维邻域保护的嵌入,估算嵌入空间中的局部线性变换,以及通过基于差异测量的构建构建的概率密度函数的对准形状,并重建形状。目标形状。我们的方法强制将形状的嵌入在对应中,以放置在相同的通用/规范嵌入空间中,最终有助于正规化学习过程,并导致形状嵌入之间的简单最近的邻居接近以找到可靠的对应关系。全面的实验表明,新方法对涵盖人类和非人类形状的标准形状信号基准数据集进行了明显的改进。
translated by 谷歌翻译
尽管在非刚性3D形状匹配中的深函数映射成功,但不存在于同时模拟自称和形状匹配的学习框架。尽管对对称性不匹配导致的错误是非刚性形状匹配的主要挑战。在本文中,我们提出了一种新颖的框架,该框架同时学习自我对称以及一对形状之间的成对地图。我们的关键思想是通过正则化术语耦合自我对称地图和一对映射,从而为其两者提供联合约束,从而导致更准确的映射。我们在几个基准上验证了我们的方法,在那里它在两个任务中表达了许多竞争基础的基准。
translated by 谷歌翻译
在两个非辅助变形形状之间建立对应关系是视觉计算中最根本的问题之一。当对现实世界中的挑战(例如噪声,异常值,自我结合等)挑战时,现有方法通常会显示出弱的弹性。另一方面,自动描述器在学习几何学上有意义的潜在嵌入方面表现出强大的表现力。但是,它们在\ emph {形状分析}中的使用受到限制。在本文中,我们介绍了一种基于自动码头框架的方法,该方法在固定模板上学习了一个连续形状的变形字段。通过监督点在表面上的变形场,并通过小说\ emph {签名距离正则化}(SDR)正规化点偏面的正规化,我们学习了模板和Shape \ Emph {卷}之间的对齐。经过干净的水密网眼培训,\ emph {没有}任何数据启发,我们证明了在受损的数据和现实世界扫描上表现出令人信服的性能。
translated by 谷歌翻译
我们通过同步在点云上定义的学习函数的地图同步地图来共同寄存多种非刚性形状的新方法。尽管处理非刚性形状的能力在从计算机动画到3D数字化的各种应用中都是至关重要的,但文献仍然缺乏围绕闭塞观察到的真实,嘈杂的扫描的集合的稳健和灵活的框架。给定一组这样的点云,我们的方法首先计算通过功能映射参数化的成对对应关系。我们同时学习潜在的非正交基础函数,以有效地规范变形,同时以优雅的方式处理闭塞。为了最大限度地受益于推断成对变形字段提供的多向信息,我们通过我们的新颖和原则优化配方将成对功能映射与周期一致的整体同步。我们通过广泛的实验证明了我们的方法在注册准确性中实现了最先进的性能,同时可以灵活,高效,因为我们在统一框架中处理非刚性和多体案例并避免昂贵的优化优化通过使用基函数映射的置换。
translated by 谷歌翻译
几何数据的高效和实际表示是几何处理中的几种应用的普遍存在问题。广泛使用的选择是通过它们的光谱嵌入对3D对象进行编码,与每个表面点相关联通过差分操作员的特征函数的截断子集在该点处假定的值(通常是拉普拉斯人)。几次尝试为不同应用程序定义新的,优选的嵌入物在过去十年中看到了光明。尽管有限制,但标准拉普利亚特征障碍仍然在可用解决方案的顶部保持稳定,例如限于近体形状匹配的近等待物。最近,一个新的趋势表明了学习Laplacian特征障碍的替代品的优势。与此同时,许多研究问题仍未解决:新的基础比LBO特征功能更好,以及它们如何与他们联系?它们如何在功能形式的角度下采取行动?以及如何与其他功能和描述符在新配置中利用这些基础?在这项研究中,我们正确地提出了这些问题,以改善我们对这种新兴的研究方向的理解。我们在不同的背景下展示了他们的应用相关性,揭示了他们的一些见解和令人兴奋的未来方向。
translated by 谷歌翻译
刚性变换相关的点云的注册是计算机视觉中的基本问题之一。然而,仍然缺乏在存在噪声存在下对准稀疏和不同采样的观察的实际情况的解决方案。我们在这种情况下接近注册,融合封闭形式的通用Mani-折叠嵌入(UME)方法和深神经网络。这两者组合成一个统一的框架,名为Deepume,训练的端到端并以无人监督的方式。为了在存在大转换的情况下成功提供全球解决方案,我们采用So(3) - 识别的坐标系来学习点云的联合重采样策略等(3) - variant功能。然后通过用于转换估计的几何UME方法来利用这些特征。使用度量进行优化的Dewume参数,旨在克服在对称形状的注册中出现的歧义问题,当考虑嘈杂的场景时。我们表明,我们的混合方法在各种场景中优于最先进的注册方法,并概括到未操作数据集。我们的代码公开提供。
translated by 谷歌翻译
我们提出了一种从一系列时间演化点云序列中对时间一致的表面序列的无监督重建的方法。它在帧之间产生了密集和语义有意义的对应关系。我们将重建的表面代表由神经网络计算的Atlases,这使我们能够在帧之间建立对应关系。使这些对应关系的关键是语义上有意义的是为了保证在相应点计算的度量张量和尽可能相似。我们设计了一种优化策略,使我们的方法能够强大地对噪声和全局动作,而无需先验的对应关系或预先对准步骤。结果,我们的方法在几个具有挑战性的数据集中占据了最先进的。该代码可在https://github.com/bednarikjan/temporally_coherent_surface_reconstruction附近获得。
translated by 谷歌翻译
这项工作调查了鲁棒优化运输(OT)的形状匹配。具体而言,我们表明最近的OT溶解器改善了基于优化和深度学习方法的点云登记,以实惠的计算成本提高了准确性。此手稿从现代OT理论的实际概述开始。然后,我们为使用此框架进行形状匹配的主要困难提供解决方案。最后,我们展示了在广泛的具有挑战性任务上的运输增强的注册模型的性能:部分形状的刚性注册;基蒂数据集的场景流程估计;肺血管树的非参数和肺部血管树。我们基于OT的方法在准确性和可扩展性方面实现了基蒂的最先进的结果,并为挑战性的肺登记任务。我们还释放了PVT1010,这是一个新的公共数据集,1,010对肺血管树,具有密集的采样点。此数据集提供了具有高度复杂形状和变形的点云登记算法的具有挑战性用例。我们的工作表明,强大的OT可以为各种注册模型进行快速预订和微调,从而为计算机视觉工具箱提供新的键方法。我们的代码和数据集可在线提供:https://github.com/uncbiag/robot。
translated by 谷歌翻译
3D point cloud registration is a fundamental problem in computer vision and robotics. Recently, learning-based point cloud registration methods have made great progress. However, these methods are sensitive to outliers, which lead to more incorrect correspondences. In this paper, we propose a novel deep graph matching-based framework for point cloud registration. Specifically, we first transform point clouds into graphs and extract deep features for each point. Then, we develop a module based on deep graph matching to calculate a soft correspondence matrix. By using graph matching, not only the local geometry of each point but also its structure and topology in a larger range are considered in establishing correspondences, so that more correct correspondences are found. We train the network with a loss directly defined on the correspondences, and in the test stage the soft correspondences are transformed into hard one-to-one correspondences so that registration can be performed by a correspondence-based solver. Furthermore, we introduce a transformer-based method to generate edges for graph construction, which further improves the quality of the correspondences. Extensive experiments on object-level and scene-level benchmark datasets show that the proposed method achieves state-of-the-art performance. The code is available at: \href{https://github.com/fukexue/RGM}{https://github.com/fukexue/RGM}.
translated by 谷歌翻译
生成一组高质量的对应关系或匹配是点云注册中最关键的步骤之一。本文通过共同考虑点对立的结构匹配来提出学习框架COTREG,以预测3D点云登记的对应关系。具体地,我们将这两个匹配转换为基于Wasserstein距离和基于Gromov-Wasserstein距离的优化。因此,建立对应关系的任务可以自然地重塑成耦合的最佳运输问题。此外,我们设计一个网络,以预测点云的每个点的置信度,其提供重叠区域信息以产生对应关系。我们的对应预测管道可以很容易地集成到基于学习的特征,如FCGF或FPFH等传统描述符。我们在3DMATCH,KITTI,3DCSR和ModelNet40基准上进行了全面的实验,显示了所提出的方法的最先进的性能。
translated by 谷歌翻译
基于简单的扩散层对空间通信非常有效的洞察力,我们对3D表面进行深度学习的新的通用方法。由此产生的网络是自动稳健的,以改变表面的分辨率和样品 - 一种对实际应用至关重要的基本属性。我们的网络可以在各种几何表示上离散化,例如三角网格或点云,甚至可以在一个表示上培训然后应用于另一个表示。我们优化扩散的空间支持,作为连续网络参数,从纯粹的本地到完全全球范围,从而消除手动选择邻域大小的负担。该方法中唯一的其他成分是在每个点处独立地施加的多层的Perceptron,以及用于支持方向滤波器的空间梯度特征。由此产生的网络简单,坚固,高效。这里,我们主要专注于三角网格表面,并且展示了各种任务的最先进的结果,包括表面分类,分割和非刚性对应。
translated by 谷歌翻译
本文提出了一种新颖的自我监督方法,可以从嘈杂的点云数据重建人类形状和姿势。依靠大量数据集与地面真实的注释,最近基于学习的方法预测点云上的每个顶点的对应关系;倒角距离通常用于最小化变形模板模型和输入点云之间的距离。然而,倒角距离对噪声和异常值非常敏感,因此可以不可靠地分配通信。为了解决这些问题,我们在高斯混合模型下从参数人模型产生的输入点云的概率分布。通过更新给定输入的模板模型的后验概率,我们通过更新模板模型的后视概率来代替明确地对准对应关系,而不是显式对准的对应关系。进一步推导出一种新颖的自我监督损失,这惩罚了变形模板和在后后概率上的输入点云之间的差异。我们的方法非常灵活,适用于完整点云和不完整的云,包括甚至是单个深度图像作为输入。与以前的自我监督方法相比,我们的方法显示了处理大量噪声和异常值的能力。在各种公共合成数据集以及非常嘈杂的真实数据集(即CMU Panoptic)上进行了广泛的实验,证明了我们对最先进的方法的方法的卓越性能。
translated by 谷歌翻译
We present G-MSM (Graph-based Multi-Shape Matching), a novel unsupervised learning approach for non-rigid shape correspondence. Rather than treating a collection of input poses as an unordered set of samples, we explicitly model the underlying shape data manifold. To this end, we propose an adaptive multi-shape matching architecture that constructs an affinity graph on a given set of training shapes in a self-supervised manner. The key idea is to combine putative, pairwise correspondences by propagating maps along shortest paths in the underlying shape graph. During training, we enforce cycle-consistency between such optimal paths and the pairwise matches which enables our model to learn topology-aware shape priors. We explore different classes of shape graphs and recover specific settings, like template-based matching (star graph) or learnable ranking/sorting (TSP graph), as special cases in our framework. Finally, we demonstrate state-of-the-art performance on several recent shape correspondence benchmarks, including real-world 3D scan meshes with topological noise and challenging inter-class pairs.
translated by 谷歌翻译
SMPL(SMPL)的参数3D身体模型仅代表最小衣服的人,并且很难扩展到衣服,因为它们具有固定的网格拓扑和分辨率。为了解决这些局限性,最近的工作使用隐式表面或点云来建模衣服。虽然不受拓扑的限制,但这种方法仍然很难为偏离身体的偏离的衣服建模,例如裙子和连衣裙。这是因为他们依靠身体来通过将衣服表面放置为参考形状。不幸的是,当衣服远离身体时,这个过程的定义很差。此外,他们使用线性混合剥皮来摆姿势,并将皮肤重量与下面的身体部位绑在一起。相比之下,我们在没有规范化的情况下对局部坐标空间中的衣服变形进行了建模。我们还放松皮肤重量以使多个身体部位影响表面。具体而言,我们用粗糙的阶段扩展了基于点的方法,该方法用学习的姿势独立的“粗大形状”代替了规范化,该方法可以捕获裙子(如裙子)的粗糙表面几何形状。然后,我们使用一个网络来完善该网络,该网络会渗透到粗糙表示中的线性混合剥皮权重和姿势依赖的位移。该方法适合符合身体并偏离身体的服装。我们通过从示例中学习特定于人的化身,然后展示如何以新的姿势和动作来展示它们的有用性。我们还表明,该方法可以直接从原始扫描中学习缺少数据,从而大大简化了创建逼真的化身的过程。代码可用于研究目的,可在{\ small \ url {https://qianlim.github.io/skirt}}中使用。
translated by 谷歌翻译
由于激光雷达扫描数据的大规模,噪音和数据不完整,注册Urban Point Clouds是一项艰巨的任务。在本文中,我们提出了SARNET,这是一个新型的语义增强注册网络,旨在在城市规模上实现有效的城市点云的注册。与以前仅在点级空间中构建对应关系的方法不同,我们的方法完全利用语义特征来提高注册精度。具体而言,我们提取具有高级语义分割网络的每点语义标签,并构建先前的语义零件到部分对应关系。然后,我们将语义信息纳入基于学习的注册管道中,该管道由三个核心模块组成:基于语义的最远点采样模块,以有效地滤除异常值和动态对象;一个语义增强的特征提取模块,用于学习更多的判别点描述符;语义改制的转换估计模块,该模块利用先前的语义匹配作为掩码,通过减少错误匹配以更好地收敛来完善点对应关系。我们通过使用来自城市场景的大区域的现实世界数据并将其与替代方法进行比较,从而广泛评估所提出的SARNET。该代码可在https://github.com/wintercodeforeverything/sarnet上找到。
translated by 谷歌翻译
通过扫描真实世界对象或场景采集的3D点云人已经发现了广泛的应用,包括融入式远程呈现,自动驾驶,监视等。它们通常是由噪声扰动或由低密度,这妨碍下游的任务,如表面重建遭受和理解。在本文中,我们提出了点集的二次采样恢复,这获知会聚点朝向下方的表面的点云的连续梯度场的新型范例。特别是,我们表示经由其梯度场点云 - 对数概率密度函数的梯度,和执行梯度场是连续的,这样就保证了模型可解优化的连续性。基于经由提出的神经网络估计出的连续梯度场,重新采样点云量对输入噪声或稀疏的点云执行基于梯度的马尔可夫链蒙特卡洛(MCMC)。此外,我们提出了点云恢复,基本上迭代地细化中间重采样点云,并在重采样过程容纳各种先验期间引入正则化到基于梯度的MCMC。大量的实验结果表明,该点集重采样实现了代表恢复工作,包括点云去噪和采样的国家的最先进的性能。
translated by 谷歌翻译
Point clouds are characterized by irregularity and unstructuredness, which pose challenges in efficient data exploitation and discriminative feature extraction. In this paper, we present an unsupervised deep neural architecture called Flattening-Net to represent irregular 3D point clouds of arbitrary geometry and topology as a completely regular 2D point geometry image (PGI) structure, in which coordinates of spatial points are captured in colors of image pixels. \mr{Intuitively, Flattening-Net implicitly approximates a locally smooth 3D-to-2D surface flattening process while effectively preserving neighborhood consistency.} \mr{As a generic representation modality, PGI inherently encodes the intrinsic property of the underlying manifold structure and facilitates surface-style point feature aggregation.} To demonstrate its potential, we construct a unified learning framework directly operating on PGIs to achieve \mr{diverse types of high-level and low-level} downstream applications driven by specific task networks, including classification, segmentation, reconstruction, and upsampling. Extensive experiments demonstrate that our methods perform favorably against the current state-of-the-art competitors. We will make the code and data publicly available at https://github.com/keeganhk/Flattening-Net.
translated by 谷歌翻译
在这项工作中,我们提出了一个新颖的基于学习的框架,该框架将对比度学习的局部准确性与几何方法的全球一致性结合在一起,以实现强大的非刚性匹配。我们首先观察到,尽管对比度学习可以导致强大的点特征,但由于标准对比度损失的纯粹组合性质,学到的对应关系通常缺乏平滑度和一致性。为了克服这一局限性,我们建议通过两种类型的平滑度正则化来提高对比性学习,从而将几何信息注入对应学习。借助这种新颖的组合,所得的特征既具有跨个别点的高度歧视性,又可以通过简单的接近查询导致坚固且一致的对应关系。我们的框架是一般的,适用于3D和2D域中的本地功能学习。我们通过在各种挑战性的匹配基准上进行广泛的实验来证明我们的方法的优势,包括3D非刚性形状对应关系和2D图像关键点匹配。
translated by 谷歌翻译
本文提出了一种可对应的点云旋转登记的方法。我们学习为每个点云嵌入保留所以(3)-equivariance属性的特征空间中的嵌入,通过最近的Quifariant神经网络的开发启用。所提出的形状登记方法通过用隐含形状模型结合等分性的特征学习来实现三个主要优点。首先,由于网络架构中类似于PointNet的网络体系结构中的置换不变性,因此删除了数据关联的必要性。其次,由于SO(3)的性能,可以使用喇叭的方法以闭合形式来解决特征空间中的注册。第三,由于注册和隐含形状重建的联合培训,注册对点云中的噪声强大。实验结果显示出优异的性能与现有的无对应的深层登记方法相比。
translated by 谷歌翻译
成功的点云注册依赖于在强大的描述符上建立的准确对应关系。但是,现有的神经描述符要么利用旋转变化的主链,其性能在较大的旋转下下降,要么编码局部几何形状,而局部几何形状不太明显。为了解决这个问题,我们介绍Riga以学习由设计和全球了解的旋转不变的描述符。从稀疏局部区域的点对特征(PPF)中,旋转不变的局部几何形状被编码为几何描述符。随后,全球对3D结构和几何环境的认识都以旋转不变的方式合并。更具体地说,整个框架的3D结构首先由我们的全球PPF签名表示,从中学到了结构描述符,以帮助几何描述符感知本地区域以外的3D世界。然后将整个场景的几何上下文全局汇总到描述符中。最后,将稀疏区域的描述插值到密集的点描述符,从中提取对应关系进行注册。为了验证我们的方法,我们对对象和场景级数据进行了广泛的实验。在旋转较大的情况下,Riga就模型Net40的相对旋转误差而超过了最先进的方法8 \度,并将特征匹配的回忆提高了3DLOMATCH上的至少5个百分点。
translated by 谷歌翻译