在这项工作中,我们提出了一个新颖的基于学习的框架,该框架将对比度学习的局部准确性与几何方法的全球一致性结合在一起,以实现强大的非刚性匹配。我们首先观察到,尽管对比度学习可以导致强大的点特征,但由于标准对比度损失的纯粹组合性质,学到的对应关系通常缺乏平滑度和一致性。为了克服这一局限性,我们建议通过两种类型的平滑度正则化来提高对比性学习,从而将几何信息注入对应学习。借助这种新颖的组合,所得的特征既具有跨个别点的高度歧视性,又可以通过简单的接近查询导致坚固且一致的对应关系。我们的框架是一般的,适用于3D和2D域中的本地功能学习。我们通过在各种挑战性的匹配基准上进行广泛的实验来证明我们的方法的优势,包括3D非刚性形状对应关系和2D图像关键点匹配。
translated by 谷歌翻译
几何数据的高效和实际表示是几何处理中的几种应用的普遍存在问题。广泛使用的选择是通过它们的光谱嵌入对3D对象进行编码,与每个表面点相关联通过差分操作员的特征函数的截断子集在该点处假定的值(通常是拉普拉斯人)。几次尝试为不同应用程序定义新的,优选的嵌入物在过去十年中看到了光明。尽管有限制,但标准拉普利亚特征障碍仍然在可用解决方案的顶部保持稳定,例如限于近体形状匹配的近等待物。最近,一个新的趋势表明了学习Laplacian特征障碍的替代品的优势。与此同时,许多研究问题仍未解决:新的基础比LBO特征功能更好,以及它们如何与他们联系?它们如何在功能形式的角度下采取行动?以及如何与其他功能和描述符在新配置中利用这些基础?在这项研究中,我们正确地提出了这些问题,以改善我们对这种新兴的研究方向的理解。我们在不同的背景下展示了他们的应用相关性,揭示了他们的一些见解和令人兴奋的未来方向。
translated by 谷歌翻译
尽管在非刚性3D形状匹配中的深函数映射成功,但不存在于同时模拟自称和形状匹配的学习框架。尽管对对称性不匹配导致的错误是非刚性形状匹配的主要挑战。在本文中,我们提出了一种新颖的框架,该框架同时学习自我对称以及一对形状之间的成对地图。我们的关键思想是通过正则化术语耦合自我对称地图和一对映射,从而为其两者提供联合约束,从而导致更准确的映射。我们在几个基准上验证了我们的方法,在那里它在两个任务中表达了许多竞争基础的基准。
translated by 谷歌翻译
在两个非辅助变形形状之间建立对应关系是视觉计算中最根本的问题之一。当对现实世界中的挑战(例如噪声,异常值,自我结合等)挑战时,现有方法通常会显示出弱的弹性。另一方面,自动描述器在学习几何学上有意义的潜在嵌入方面表现出强大的表现力。但是,它们在\ emph {形状分析}中的使用受到限制。在本文中,我们介绍了一种基于自动码头框架的方法,该方法在固定模板上学习了一个连续形状的变形字段。通过监督点在表面上的变形场,并通过小说\ emph {签名距离正则化}(SDR)正规化点偏面的正规化,我们学习了模板和Shape \ Emph {卷}之间的对齐。经过干净的水密网眼培训,\ emph {没有}任何数据启发,我们证明了在受损的数据和现实世界扫描上表现出令人信服的性能。
translated by 谷歌翻译
We present G-MSM (Graph-based Multi-Shape Matching), a novel unsupervised learning approach for non-rigid shape correspondence. Rather than treating a collection of input poses as an unordered set of samples, we explicitly model the underlying shape data manifold. To this end, we propose an adaptive multi-shape matching architecture that constructs an affinity graph on a given set of training shapes in a self-supervised manner. The key idea is to combine putative, pairwise correspondences by propagating maps along shortest paths in the underlying shape graph. During training, we enforce cycle-consistency between such optimal paths and the pairwise matches which enables our model to learn topology-aware shape priors. We explore different classes of shape graphs and recover specific settings, like template-based matching (star graph) or learnable ranking/sorting (TSP graph), as special cases in our framework. Finally, we demonstrate state-of-the-art performance on several recent shape correspondence benchmarks, including real-world 3D scan meshes with topological noise and challenging inter-class pairs.
translated by 谷歌翻译
3D形状匹配是计算机视觉和计算机图形方面的长期问题。虽然深度神经网络被证明会导致最先进的形状匹配结果,但在多形匹配的背景下,现有基于学习的方法受到限制:(i)他们只专注于匹配的形状和形状和因此,遭受了循环矛盾的多匹配,或者(ii)它们需要明确的模板形状来解决形状集合的匹配。在本文中,我们提出了一种用于深度多形匹配的新颖方法,可确保周期一致的多匹配,而不是依赖于明确的模板形状。为此,我们利用了形状到宇宙的多匹配表示形式,我们将其与强大的功能映射正则化相结合,以便可以完全不受监督的方式对我们的多形匹配的神经网络进行训练。虽然仅在训练时间内考虑了功能图正则化,但并未计算出用于预测对应关系的功能图,从而允许快速推断。我们证明,我们的方法在几个具有挑战性的基准数据集上实现了最新的结果,并且最引人注目的是,我们的无监督方法甚至超过了最近的监督方法。
translated by 谷歌翻译
我们通过同步在点云上定义的学习函数的地图同步地图来共同寄存多种非刚性形状的新方法。尽管处理非刚性形状的能力在从计算机动画到3D数字化的各种应用中都是至关重要的,但文献仍然缺乏围绕闭塞观察到的真实,嘈杂的扫描的集合的稳健和灵活的框架。给定一组这样的点云,我们的方法首先计算通过功能映射参数化的成对对应关系。我们同时学习潜在的非正交基础函数,以有效地规范变形,同时以优雅的方式处理闭塞。为了最大限度地受益于推断成对变形字段提供的多向信息,我们通过我们的新颖和原则优化配方将成对功能映射与周期一致的整体同步。我们通过广泛的实验证明了我们的方法在注册准确性中实现了最先进的性能,同时可以灵活,高效,因为我们在统一框架中处理非刚性和多体案例并避免昂贵的优化优化通过使用基函数映射的置换。
translated by 谷歌翻译
基于简单的扩散层对空间通信非常有效的洞察力,我们对3D表面进行深度学习的新的通用方法。由此产生的网络是自动稳健的,以改变表面的分辨率和样品 - 一种对实际应用至关重要的基本属性。我们的网络可以在各种几何表示上离散化,例如三角网格或点云,甚至可以在一个表示上培训然后应用于另一个表示。我们优化扩散的空间支持,作为连续网络参数,从纯粹的本地到完全全球范围,从而消除手动选择邻域大小的负担。该方法中唯一的其他成分是在每个点处独立地施加的多层的Perceptron,以及用于支持方向滤波器的空间梯度特征。由此产生的网络简单,坚固,高效。这里,我们主要专注于三角网格表面,并且展示了各种任务的最先进的结果,包括表面分类,分割和非刚性对应。
translated by 谷歌翻译
在视觉上或在视觉上或语义上相似的图像中建立密集的技术的传统技术集中在设计特定的任务特定匹配之前,这难以模拟。为了克服这一点,最近的基于学习的方法已经试图在大型训练数据上学习模型本身之前的良好匹配。性能改善是明显的,但需要足够的培训数据和密集学习阻碍了他们的适用性。此外,在测试时间中使用固定模型不考虑一对图像可能需要其自身的事实,从而提供有限的性能和未遵守观看图像的较差。在本文中,我们示出了通过仅优化在输入对图像上的未训练匹配网络上,可以捕获特定于图像对特定的。针对密集对应的这种测试时间优化量身定制,我们提出了一个残留的匹配网络和信心感知对比损失,以保证有意义的收敛性。实验表明,我们的框架被称为最先前(DMP)的深度匹配,是竞争力的,甚至优于几何与几何匹配和语义匹配的基准测试的最新学习方法,即使它既不需要大型培训数据也不需要深入学习。通过预先培训的网络,DMP在所有基准上达到最先进的性能。
translated by 谷歌翻译
近年来,由通过图表神经网络(GNN)模型的学习鉴别表现来源,深图形匹配方法在匹配语义特征的任务中取得了很大的进展。然而,这些方法通常依赖于启发式生成的图形模式,这可能引入不可靠的关系来损害匹配性能。在本文中,我们提出了一个名为Glam的联合\ EMPH {图学习和匹配}网络,以探索用于升压图形匹配的可靠图形结构。 Glam采用纯粹的关注框架,用于图形学习和图形匹配。具体而言,它采用两种类型的注意机制,自我关注和横向于任务。自我关注发现功能之​​间的关系,并通过学习结构进一步更新功能表示;并且横向计算要与特征重建匹配的两个特征集之间的横谱图相关性。此外,最终匹配解决方案直接来自横向层的输出,而不采用特定的匹配决策模块。所提出的方法是在三个流行的视觉匹配基准(Pascal VOC,Willow Object和Spair-71K)上进行评估,并且在以前的最先进的图表匹配方法中通过所有基准测试的重要利润率。此外,我们的模型学习的图形模式被验证,通过用学习的图形结构替换其手工制作的图形结构,能够显着增强先前的深度图匹配方法。
translated by 谷歌翻译
3D point cloud registration is a fundamental problem in computer vision and robotics. Recently, learning-based point cloud registration methods have made great progress. However, these methods are sensitive to outliers, which lead to more incorrect correspondences. In this paper, we propose a novel deep graph matching-based framework for point cloud registration. Specifically, we first transform point clouds into graphs and extract deep features for each point. Then, we develop a module based on deep graph matching to calculate a soft correspondence matrix. By using graph matching, not only the local geometry of each point but also its structure and topology in a larger range are considered in establishing correspondences, so that more correct correspondences are found. We train the network with a loss directly defined on the correspondences, and in the test stage the soft correspondences are transformed into hard one-to-one correspondences so that registration can be performed by a correspondence-based solver. Furthermore, we introduce a transformer-based method to generate edges for graph construction, which further improves the quality of the correspondences. Extensive experiments on object-level and scene-level benchmark datasets show that the proposed method achieves state-of-the-art performance. The code is available at: \href{https://github.com/fukexue/RGM}{https://github.com/fukexue/RGM}.
translated by 谷歌翻译
这项工作调查了鲁棒优化运输(OT)的形状匹配。具体而言,我们表明最近的OT溶解器改善了基于优化和深度学习方法的点云登记,以实惠的计算成本提高了准确性。此手稿从现代OT理论的实际概述开始。然后,我们为使用此框架进行形状匹配的主要困难提供解决方案。最后,我们展示了在广泛的具有挑战性任务上的运输增强的注册模型的性能:部分形状的刚性注册;基蒂数据集的场景流程估计;肺血管树的非参数和肺部血管树。我们基于OT的方法在准确性和可扩展性方面实现了基蒂的最先进的结果,并为挑战性的肺登记任务。我们还释放了PVT1010,这是一个新的公共数据集,1,010对肺血管树,具有密集的采样点。此数据集提供了具有高度复杂形状和变形的点云登记算法的具有挑战性用例。我们的工作表明,强大的OT可以为各种注册模型进行快速预订和微调,从而为计算机视觉工具箱提供新的键方法。我们的代码和数据集可在线提供:https://github.com/uncbiag/robot。
translated by 谷歌翻译
我们提出了一种新的方法,可以在点云对之间进行无监督的形状对应学习。我们首次尝试适应经典的局部线性嵌入算法(LLE)(最初是为非线性维度降低)的形状对应关系的。关键思想是通过首先获得低维点云的高维邻域保护嵌入,然后使用局部线性转换对源和目标嵌入对齐,从而找到形状之间的密集对应。我们证明,使用新的LLE启发的点云重建目标学习嵌入会产生准确的形状对应关系。更具体地说,该方法包括一个端到端的可学习框架,该框架是提取高维邻域保护的嵌入,估算嵌入空间中的局部线性变换,以及通过基于差异测量的构建构建的概率密度函数的对准形状,并重建形状。目标形状。我们的方法强制将形状的嵌入在对应中,以放置在相同的通用/规范嵌入空间中,最终有助于正规化学习过程,并导致形状嵌入之间的简单最近的邻居接近以找到可靠的对应关系。全面的实验表明,新方法对涵盖人类和非人类形状的标准形状信号基准数据集进行了明显的改进。
translated by 谷歌翻译
在本文中,我们介绍了复杂的功能映射,它将功能映射框架扩展到表面上切线矢量字段之间的共形图。这些地图的一个关键属性是他们的方向意识。更具体地说,我们证明,与连锁两个歧管的功能空间的常规功能映射不同,我们的复杂功能图在面向的切片束之间建立了一个链路,从而允许切线矢量场的稳健和有效地传输。通过首先赋予和利用复杂的结构利用各个形状的切线束,所得到的操作变得自然导向,从而有利于横跨形状保持对应的取向和角度,而不依赖于描述符或额外的正则化。最后,也许更重要的是,我们演示了这些对象如何在功能映射框架内启动几个实际应用。我们表明功能映射及其复杂的对应物可以共同估算,以促进定向保存,规范的管道,前面遭受取向反转对称误差的误差。
translated by 谷歌翻译
成功的点云注册依赖于在强大的描述符上建立的准确对应关系。但是,现有的神经描述符要么利用旋转变化的主链,其性能在较大的旋转下下降,要么编码局部几何形状,而局部几何形状不太明显。为了解决这个问题,我们介绍Riga以学习由设计和全球了解的旋转不变的描述符。从稀疏局部区域的点对特征(PPF)中,旋转不变的局部几何形状被编码为几何描述符。随后,全球对3D结构和几何环境的认识都以旋转不变的方式合并。更具体地说,整个框架的3D结构首先由我们的全球PPF签名表示,从中学到了结构描述符,以帮助几何描述符感知本地区域以外的3D世界。然后将整个场景的几何上下文全局汇总到描述符中。最后,将稀疏区域的描述插值到密集的点描述符,从中提取对应关系进行注册。为了验证我们的方法,我们对对象和场景级数据进行了广泛的实验。在旋转较大的情况下,Riga就模型Net40的相对旋转误差而超过了最先进的方法8 \度,并将特征匹配的回忆提高了3DLOMATCH上的至少5个百分点。
translated by 谷歌翻译
In this paper, we study a novel and widely existing problem in graph matching (GM), namely, Bi-level Noisy Correspondence (BNC), which refers to node-level noisy correspondence (NNC) and edge-level noisy correspondence (ENC). In brief, on the one hand, due to the poor recognizability and viewpoint differences between images, it is inevitable to inaccurately annotate some keypoints with offset and confusion, leading to the mismatch between two associated nodes, i.e., NNC. On the other hand, the noisy node-to-node correspondence will further contaminate the edge-to-edge correspondence, thus leading to ENC. For the BNC challenge, we propose a novel method termed Contrastive Matching with Momentum Distillation. Specifically, the proposed method is with a robust quadratic contrastive loss which enjoys the following merits: i) better exploring the node-to-node and edge-to-edge correlations through a GM customized quadratic contrastive learning paradigm; ii) adaptively penalizing the noisy assignments based on the confidence estimated by the momentum teacher. Extensive experiments on three real-world datasets show the robustness of our model compared with 12 competitive baselines.
translated by 谷歌翻译
Spectral geometric methods have brought revolutionary changes to the field of geometry processing. Of particular interest is the study of the Laplacian spectrum as a compact, isometry and permutation-invariant representation of a shape. Some recent works show how the intrinsic geometry of a full shape can be recovered from its spectrum, but there are approaches that consider the more challenging problem of recovering the geometry from the spectral information of partial shapes. In this paper, we propose a possible way to fill this gap. We introduce a learning-based method to estimate the Laplacian spectrum of the union of partial non-rigid 3D shapes, without actually computing the 3D geometry of the union or any correspondence between those partial shapes. We do so by operating purely in the spectral domain and by defining the union operation between short sequences of eigenvalues. We show that the approximated union spectrum can be used as-is to reconstruct the complete geometry [MRC*19], perform region localization on a template [RTO*19] and retrieve shapes from a database, generalizing ShapeDNA [RWP06] to work with partialities. Working with eigenvalues allows us to deal with unknown correspondence, different sampling, and different discretizations (point clouds and meshes alike), making this operation especially robust and general. Our approach is data-driven and can generalize to isometric and non-isometric deformations of the surface, as long as these stay within the same semantic class (e.g., human bodies or horses), as well as to partiality artifacts not seen at training time.
translated by 谷歌翻译
尽管提取了通过手工制作和基于学习的描述符实现的本地特征的进步,但它们仍然受到不符合非刚性转换的不变性的限制。在本文中,我们提出了一种计算来自静止图像的特征的新方法,该特征对于非刚性变形稳健,以避免匹配可变形表面和物体的问题。我们的变形感知当地描述符,命名优惠,利用极性采样和空间变压器翘曲,以提供旋转,尺度和图像变形的不变性。我们通过将等距非刚性变形应用于模拟环境中的对象作为指导来提供高度辨别的本地特征来培训模型架构端到端。该实验表明,我们的方法优于静止图像中的实际和现实合成可变形对象的不同数据集中的最先进的手工制作,基于学习的图像和RGB-D描述符。描述符的源代码和培训模型在https://www.verlab.dcc.ufmg.br/descriptors/neUrips2021上公开可用。
translated by 谷歌翻译
Many challenges from natural world can be formulated as a graph matching problem. Previous deep learning-based methods mainly consider a full two-graph matching setting. In this work, we study the more general partial matching problem with multi-graph cycle consistency guarantees. Building on a recent progress in deep learning on graphs, we propose a novel data-driven method (URL) for partial multi-graph matching, which uses an object-to-universe formulation and learns latent representations of abstract universe points. The proposed approach advances the state of the art in semantic keypoint matching problem, evaluated on Pascal VOC, CUB, and Willow datasets. Moreover, the set of controlled experiments on a synthetic graph matching dataset demonstrates the scalability of our method to graphs with large number of nodes and its robustness to high partiality.
translated by 谷歌翻译
This paper studies 3D dense shape correspondence, a key shape analysis application in computer vision and graphics. We introduce a novel hybrid geometric deep learning-based model that learns geometrically meaningful and discretization-independent features with a U-Net model as the primary node feature extraction module, followed by a successive spectral-based graph convolutional network. To create a diverse set of filters, we use anisotropic wavelet basis filters, being sensitive to both different directions and band-passes. This filter set overcomes the over-smoothing behavior of conventional graph neural networks. To further improve the model's performance, we add a function that perturbs the feature maps in the last layer ahead of fully connected layers, forcing the network to learn more discriminative features overall. The resulting correspondence maps show state-of-the-art performance on the benchmark datasets based on average geodesic errors and superior robustness to discretization in 3D meshes. Our approach provides new insights and practical solutions to the dense shape correspondence research.
translated by 谷歌翻译