We present G-MSM (Graph-based Multi-Shape Matching), a novel unsupervised learning approach for non-rigid shape correspondence. Rather than treating a collection of input poses as an unordered set of samples, we explicitly model the underlying shape data manifold. To this end, we propose an adaptive multi-shape matching architecture that constructs an affinity graph on a given set of training shapes in a self-supervised manner. The key idea is to combine putative, pairwise correspondences by propagating maps along shortest paths in the underlying shape graph. During training, we enforce cycle-consistency between such optimal paths and the pairwise matches which enables our model to learn topology-aware shape priors. We explore different classes of shape graphs and recover specific settings, like template-based matching (star graph) or learnable ranking/sorting (TSP graph), as special cases in our framework. Finally, we demonstrate state-of-the-art performance on several recent shape correspondence benchmarks, including real-world 3D scan meshes with topological noise and challenging inter-class pairs.
translated by 谷歌翻译
基于简单的扩散层对空间通信非常有效的洞察力,我们对3D表面进行深度学习的新的通用方法。由此产生的网络是自动稳健的,以改变表面的分辨率和样品 - 一种对实际应用至关重要的基本属性。我们的网络可以在各种几何表示上离散化,例如三角网格或点云,甚至可以在一个表示上培训然后应用于另一个表示。我们优化扩散的空间支持,作为连续网络参数,从纯粹的本地到完全全球范围,从而消除手动选择邻域大小的负担。该方法中唯一的其他成分是在每个点处独立地施加的多层的Perceptron,以及用于支持方向滤波器的空间梯度特征。由此产生的网络简单,坚固,高效。这里,我们主要专注于三角网格表面,并且展示了各种任务的最先进的结果,包括表面分类,分割和非刚性对应。
translated by 谷歌翻译
3D形状匹配是计算机视觉和计算机图形方面的长期问题。虽然深度神经网络被证明会导致最先进的形状匹配结果,但在多形匹配的背景下,现有基于学习的方法受到限制:(i)他们只专注于匹配的形状和形状和因此,遭受了循环矛盾的多匹配,或者(ii)它们需要明确的模板形状来解决形状集合的匹配。在本文中,我们提出了一种用于深度多形匹配的新颖方法,可确保周期一致的多匹配,而不是依赖于明确的模板形状。为此,我们利用了形状到宇宙的多匹配表示形式,我们将其与强大的功能映射正则化相结合,以便可以完全不受监督的方式对我们的多形匹配的神经网络进行训练。虽然仅在训练时间内考虑了功能图正则化,但并未计算出用于预测对应关系的功能图,从而允许快速推断。我们证明,我们的方法在几个具有挑战性的基准数据集上实现了最新的结果,并且最引人注目的是,我们的无监督方法甚至超过了最近的监督方法。
translated by 谷歌翻译
在两个非辅助变形形状之间建立对应关系是视觉计算中最根本的问题之一。当对现实世界中的挑战(例如噪声,异常值,自我结合等)挑战时,现有方法通常会显示出弱的弹性。另一方面,自动描述器在学习几何学上有意义的潜在嵌入方面表现出强大的表现力。但是,它们在\ emph {形状分析}中的使用受到限制。在本文中,我们介绍了一种基于自动码头框架的方法,该方法在固定模板上学习了一个连续形状的变形字段。通过监督点在表面上的变形场,并通过小说\ emph {签名距离正则化}(SDR)正规化点偏面的正规化,我们学习了模板和Shape \ Emph {卷}之间的对齐。经过干净的水密网眼培训,\ emph {没有}任何数据启发,我们证明了在受损的数据和现实世界扫描上表现出令人信服的性能。
translated by 谷歌翻译
几何数据的高效和实际表示是几何处理中的几种应用的普遍存在问题。广泛使用的选择是通过它们的光谱嵌入对3D对象进行编码,与每个表面点相关联通过差分操作员的特征函数的截断子集在该点处假定的值(通常是拉普拉斯人)。几次尝试为不同应用程序定义新的,优选的嵌入物在过去十年中看到了光明。尽管有限制,但标准拉普利亚特征障碍仍然在可用解决方案的顶部保持稳定,例如限于近体形状匹配的近等待物。最近,一个新的趋势表明了学习Laplacian特征障碍的替代品的优势。与此同时,许多研究问题仍未解决:新的基础比LBO特征功能更好,以及它们如何与他们联系?它们如何在功能形式的角度下采取行动?以及如何与其他功能和描述符在新配置中利用这些基础?在这项研究中,我们正确地提出了这些问题,以改善我们对这种新兴的研究方向的理解。我们在不同的背景下展示了他们的应用相关性,揭示了他们的一些见解和令人兴奋的未来方向。
translated by 谷歌翻译
在这项工作中,我们提出了一个新颖的基于学习的框架,该框架将对比度学习的局部准确性与几何方法的全球一致性结合在一起,以实现强大的非刚性匹配。我们首先观察到,尽管对比度学习可以导致强大的点特征,但由于标准对比度损失的纯粹组合性质,学到的对应关系通常缺乏平滑度和一致性。为了克服这一局限性,我们建议通过两种类型的平滑度正则化来提高对比性学习,从而将几何信息注入对应学习。借助这种新颖的组合,所得的特征既具有跨个别点的高度歧视性,又可以通过简单的接近查询导致坚固且一致的对应关系。我们的框架是一般的,适用于3D和2D域中的本地功能学习。我们通过在各种挑战性的匹配基准上进行广泛的实验来证明我们的方法的优势,包括3D非刚性形状对应关系和2D图像关键点匹配。
translated by 谷歌翻译
尽管在非刚性3D形状匹配中的深函数映射成功,但不存在于同时模拟自称和形状匹配的学习框架。尽管对对称性不匹配导致的错误是非刚性形状匹配的主要挑战。在本文中,我们提出了一种新颖的框架,该框架同时学习自我对称以及一对形状之间的成对地图。我们的关键思想是通过正则化术语耦合自我对称地图和一对映射,从而为其两者提供联合约束,从而导致更准确的映射。我们在几个基准上验证了我们的方法,在那里它在两个任务中表达了许多竞争基础的基准。
translated by 谷歌翻译
我们通过同步在点云上定义的学习函数的地图同步地图来共同寄存多种非刚性形状的新方法。尽管处理非刚性形状的能力在从计算机动画到3D数字化的各种应用中都是至关重要的,但文献仍然缺乏围绕闭塞观察到的真实,嘈杂的扫描的集合的稳健和灵活的框架。给定一组这样的点云,我们的方法首先计算通过功能映射参数化的成对对应关系。我们同时学习潜在的非正交基础函数,以有效地规范变形,同时以优雅的方式处理闭塞。为了最大限度地受益于推断成对变形字段提供的多向信息,我们通过我们的新颖和原则优化配方将成对功能映射与周期一致的整体同步。我们通过广泛的实验证明了我们的方法在注册准确性中实现了最先进的性能,同时可以灵活,高效,因为我们在统一框架中处理非刚性和多体案例并避免昂贵的优化优化通过使用基函数映射的置换。
translated by 谷歌翻译
我们建议使用点云上的几何感知体系结构,考虑到学习局部结构的数据局部结构,以学习数据的局部结构,以学习数据的局部结构,以了解数据的局部结构,并使用点云上的几何感知体系结构来学习数据的局部结构,以考虑到局部数据结构。估计时间一致的3D变形,而无需在训练时间,通过利用周期一致性来进行密集的对应关系。除了学习密集对应的能力外,GNPM还可以实现潜在空间操作,例如插值和形状/姿势转移。我们在各种衣服的人类数据集上评估了GNPM,并表明它与需要在训练过程中需要密集对应的最新方法相当。
translated by 谷歌翻译
Spectral geometric methods have brought revolutionary changes to the field of geometry processing. Of particular interest is the study of the Laplacian spectrum as a compact, isometry and permutation-invariant representation of a shape. Some recent works show how the intrinsic geometry of a full shape can be recovered from its spectrum, but there are approaches that consider the more challenging problem of recovering the geometry from the spectral information of partial shapes. In this paper, we propose a possible way to fill this gap. We introduce a learning-based method to estimate the Laplacian spectrum of the union of partial non-rigid 3D shapes, without actually computing the 3D geometry of the union or any correspondence between those partial shapes. We do so by operating purely in the spectral domain and by defining the union operation between short sequences of eigenvalues. We show that the approximated union spectrum can be used as-is to reconstruct the complete geometry [MRC*19], perform region localization on a template [RTO*19] and retrieve shapes from a database, generalizing ShapeDNA [RWP06] to work with partialities. Working with eigenvalues allows us to deal with unknown correspondence, different sampling, and different discretizations (point clouds and meshes alike), making this operation especially robust and general. Our approach is data-driven and can generalize to isometric and non-isometric deformations of the surface, as long as these stay within the same semantic class (e.g., human bodies or horses), as well as to partiality artifacts not seen at training time.
translated by 谷歌翻译
Many scientific fields study data with an underlying structure that is a non-Euclidean space. Some examples include social networks in computational social sciences, sensor networks in communications, functional networks in brain imaging, regulatory networks in genetics, and meshed surfaces in computer graphics. In many applications, such geometric data are large and complex (in the case of social networks, on the scale of billions), and are natural targets for machine learning techniques. In particular, we would like to use deep neural networks, which have recently proven to be powerful tools for a broad range of problems from computer vision, natural language processing, and audio analysis. However, these tools have been most successful on data with an underlying Euclidean or grid-like structure, and in cases where the invariances of these structures are built into networks used to model them.Geometric deep learning is an umbrella term for emerging techniques attempting to generalize (structured) deep neural models to non-Euclidean domains such as graphs and manifolds. The purpose of this paper is to overview different examples of geometric deep learning problems and present available solutions, key difficulties, applications, and future research directions in this nascent field.
translated by 谷歌翻译
我们提出了一种针对非等级地标的非刚性形状匹配的原则方法。我们的方法基于功能地图框架,但我们没有促进异构体,而是集中在近乎符号的地图上,这些图可准确地保留地标。首先,我们通过使用固有的Dirichlet-Steklov本本特征来引入新颖的地标适应性基础来实现这一目标。其次,我们建立了在此基础上表达的保形图的功能分解。最后,我们制定了一种构成形式不变的能量,该能量促进了高质量的具有里程碑式的保留地图,并展示了如何通过我们扩展到设置的最近提出的Zoomout方法的变体来求解它。我们的方法是无描述符,有效且可靠的,可显着网格变异性。我们在一系列基准数据集上评估了我们的方法,并在非等法基准测试和等距范围内的最新性能上展示了最先进的性能。
translated by 谷歌翻译
本文介绍了一组数字方法,用于在不变(弹性)二阶Sobolev指标的设置中对3D表面进行Riemannian形状分析。更具体地说,我们解决了代表为3D网格的参数化或未参数浸入式表面之间的测量学和地球距离的计算。在此基础上,我们为表面集的统计形状分析开发了工具,包括用于估算Karcher均值并在形状群体上执行切线PCA的方法,以及计算沿表面路径的平行传输。我们提出的方法从根本上依赖于通过使用Varifold Fidelity术语来为地球匹配问题提供轻松的变异配方,这使我们能够在计算未参数化表面之间的地理位置时强制执行重新训练的独立性,同时还可以使我们能够与多用途算法相比,使我们能够将表面与vare表面进行比较。采样或网状结构。重要的是,我们演示了如何扩展放松的变分框架以解决部分观察到的数据。在合成和真实的各种示例中,说明了我们的数值管道的不同好处。
translated by 谷歌翻译
我们提出了一种新的方法,可以在点云对之间进行无监督的形状对应学习。我们首次尝试适应经典的局部线性嵌入算法(LLE)(最初是为非线性维度降低)的形状对应关系的。关键思想是通过首先获得低维点云的高维邻域保护嵌入,然后使用局部线性转换对源和目标嵌入对齐,从而找到形状之间的密集对应。我们证明,使用新的LLE启发的点云重建目标学习嵌入会产生准确的形状对应关系。更具体地说,该方法包括一个端到端的可学习框架,该框架是提取高维邻域保护的嵌入,估算嵌入空间中的局部线性变换,以及通过基于差异测量的构建构建的概率密度函数的对准形状,并重建形状。目标形状。我们的方法强制将形状的嵌入在对应中,以放置在相同的通用/规范嵌入空间中,最终有助于正规化学习过程,并导致形状嵌入之间的简单最近的邻居接近以找到可靠的对应关系。全面的实验表明,新方法对涵盖人类和非人类形状的标准形状信号基准数据集进行了明显的改进。
translated by 谷歌翻译
这项工作调查了鲁棒优化运输(OT)的形状匹配。具体而言,我们表明最近的OT溶解器改善了基于优化和深度学习方法的点云登记,以实惠的计算成本提高了准确性。此手稿从现代OT理论的实际概述开始。然后,我们为使用此框架进行形状匹配的主要困难提供解决方案。最后,我们展示了在广泛的具有挑战性任务上的运输增强的注册模型的性能:部分形状的刚性注册;基蒂数据集的场景流程估计;肺血管树的非参数和肺部血管树。我们基于OT的方法在准确性和可扩展性方面实现了基蒂的最先进的结果,并为挑战性的肺登记任务。我们还释放了PVT1010,这是一个新的公共数据集,1,010对肺血管树,具有密集的采样点。此数据集提供了具有高度复杂形状和变形的点云登记算法的具有挑战性用例。我们的工作表明,强大的OT可以为各种注册模型进行快速预订和微调,从而为计算机视觉工具箱提供新的键方法。我们的代码和数据集可在线提供:https://github.com/uncbiag/robot。
translated by 谷歌翻译
我们提出了一种从一系列时间演化点云序列中对时间一致的表面序列的无监督重建的方法。它在帧之间产生了密集和语义有意义的对应关系。我们将重建的表面代表由神经网络计算的Atlases,这使我们能够在帧之间建立对应关系。使这些对应关系的关键是语义上有意义的是为了保证在相应点计算的度量张量和尽可能相似。我们设计了一种优化策略,使我们的方法能够强大地对噪声和全局动作,而无需先验的对应关系或预先对准步骤。结果,我们的方法在几个具有挑战性的数据集中占据了最先进的。该代码可在https://github.com/bednarikjan/temporally_coherent_surface_reconstruction附近获得。
translated by 谷歌翻译
神经隐式表面表示作为有希望以连续和独立的方式捕获3D形状的承诺范式。然而,将它们适应铰接形状是非微不足道的。现有方法学习落后的扭曲领域,即地图变形到规范点。然而,这是有问题的,因为后向扭曲字段依赖于姿势,因此需要大量数据来学习。为了解决这个问题,我们通过学习前向变形领域而没有直接监督,将多边形网格与神经隐式表面的线性混合皮肤(LBS)的优势相结合的Snarf。该变形场在规范,姿势独立的空间中定义,允许概括地看不见。学习从姿势网格中的变形字段独立地是具有挑战性,因为变形点的对应关系被隐含地定义,并且在拓扑的变化下可能不是唯一的。我们提出了一种前瞻性的剥皮模型,使用迭代根发现,找到任何变形点的所有规范对应关系。我们通过隐式差分派生分析梯度,从而实现从3D网格与骨骼变换的端到端训练。与最先进的神经隐式表示相比,我们的方法在保持准确性的同时,我们的方法更好地展示了未经造成的姿势。我们展示了我们在多样化和看不见的姿态上挑战(披装)3D人类的具有挑战性的方法。
translated by 谷歌翻译
在本文中,我们介绍了复杂的功能映射,它将功能映射框架扩展到表面上切线矢量字段之间的共形图。这些地图的一个关键属性是他们的方向意识。更具体地说,我们证明,与连锁两个歧管的功能空间的常规功能映射不同,我们的复杂功能图在面向的切片束之间建立了一个链路,从而允许切线矢量场的稳健和有效地传输。通过首先赋予和利用复杂的结构利用各个形状的切线束,所得到的操作变得自然导向,从而有利于横跨形状保持对应的取向和角度,而不依赖于描述符或额外的正则化。最后,也许更重要的是,我们演示了这些对象如何在功能映射框架内启动几个实际应用。我们表明功能映射及其复杂的对应物可以共同估算,以促进定向保存,规范的管道,前面遭受取向反转对称误差的误差。
translated by 谷歌翻译
有效地表示人体诸如人体之类的铰接物体是计算机视觉和图形中的重要问题。为了有效地模拟变形,现有方法使用多边形网格表示3D对象,并使用皮肤技术变形。本文介绍了神经表达的形状近似(NASA),这是一种替代框架,可以使用以姿势调节的神经指示函数有效地表示明显的可变形物体。使用NASA进行的占用测试是直接的,可以规定网格的复杂性和水紧身问题。我们证明了NASA对3D跟踪应用的有效性,并讨论了其他潜在扩展。
translated by 谷歌翻译
非刚性可拉伸结构之间的一致性是计算机视觉中最具挑战性的任务之一,因为不变属性很难定义,并且没有针对真实数据集的标记数据。我们基于规模不变几何形状的光谱域提出了无监督的神经网络体系结构。我们在功能地图体系结构的基础上构建,但是表明,一旦等轴测假设破裂,学习本地功能,直到现在,就还不够。我们证明了使用多个量表不变的几何形状来解决此问题。我们的方法是局部规模变形的不可知论,与现有的光谱最新溶液相比,来自不同域的匹配形状的性能出色。
translated by 谷歌翻译