This paper studies 3D dense shape correspondence, a key shape analysis application in computer vision and graphics. We introduce a novel hybrid geometric deep learning-based model that learns geometrically meaningful and discretization-independent features with a U-Net model as the primary node feature extraction module, followed by a successive spectral-based graph convolutional network. To create a diverse set of filters, we use anisotropic wavelet basis filters, being sensitive to both different directions and band-passes. This filter set overcomes the over-smoothing behavior of conventional graph neural networks. To further improve the model's performance, we add a function that perturbs the feature maps in the last layer ahead of fully connected layers, forcing the network to learn more discriminative features overall. The resulting correspondence maps show state-of-the-art performance on the benchmark datasets based on average geodesic errors and superior robustness to discretization in 3D meshes. Our approach provides new insights and practical solutions to the dense shape correspondence research.

Many scientific fields study data with an underlying structure that is a non-Euclidean space. Some examples include social networks in computational social sciences, sensor networks in communications, functional networks in brain imaging, regulatory networks in genetics, and meshed surfaces in computer graphics. In many applications, such geometric data are large and complex (in the case of social networks, on the scale of billions), and are natural targets for machine learning techniques. In particular, we would like to use deep neural networks, which have recently proven to be powerful tools for a broad range of problems from computer vision, natural language processing, and audio analysis. However, these tools have been most successful on data with an underlying Euclidean or grid-like structure, and in cases where the invariances of these structures are built into networks used to model them.Geometric deep learning is an umbrella term for emerging techniques attempting to generalize (structured) deep neural models to non-Euclidean domains such as graphs and manifolds. The purpose of this paper is to overview different examples of geometric deep learning problems and present available solutions, key difficulties, applications, and future research directions in this nascent field.

基于简单的扩散层对空间通信非常有效的洞察力，我们对3D表面进行深度学习的新的通用方法。由此产生的网络是自动稳健的，以改变表面的分辨率和样品 - 一种对实际应用至关重要的基本属性。我们的网络可以在各种几何表示上离散化，例如三角网格或点云，甚至可以在一个表示上培训然后应用于另一个表示。我们优化扩散的空间支持，作为连续网络参数，从纯粹的本地到完全全球范围，从而消除手动选择邻域大小的负担。该方法中唯一的其他成分是在每个点处独立地施加的多层的Perceptron，以及用于支持方向滤波器的空间梯度特征。由此产生的网络简单，坚固，高效。这里，我们主要专注于三角网格表面，并且展示了各种任务的最先进的结果，包括表面分类，分割和非刚性对应。

Deep learning has achieved a remarkable performance breakthrough in several fields, most notably in speech recognition, natural language processing, and computer vision. In particular, convolutional neural network (CNN) architectures currently produce state-of-the-art performance on a variety of image analysis tasks such as object detection and recognition. Most of deep learning research has so far focused on dealing with 1D, 2D, or 3D Euclideanstructured data such as acoustic signals, images, or videos. Recently, there has been an increasing interest in geometric deep learning, attempting to generalize deep learning methods to non-Euclidean structured data such as graphs and manifolds, with a variety of applications from the domains of network analysis, computational social science, or computer graphics. In this paper, we propose a unified framework allowing to generalize CNN architectures to non-Euclidean domains (graphs and manifolds) and learn local, stationary, and compositional task-specific features. We show that various non-Euclidean CNN methods previously proposed in the literature can be considered as particular instances of our framework. We test the proposed method on standard tasks from the realms of image-, graphand 3D shape analysis and show that it consistently outperforms previous approaches.

非刚性可拉伸结构之间的一致性是计算机视觉中最具挑战性的任务之一，因为不变属性很难定义，并且没有针对真实数据集的标记数据。我们基于规模不变几何形状的光谱域提出了无监督的神经网络体系结构。我们在功能地图体系结构的基础上构建，但是表明，一旦等轴测假设破裂，学习本地功能，直到现在，就还不够。我们证明了使用多个量表不变的几何形状来解决此问题。我们的方法是局部规模变形的不可知论，与现有的光谱最新溶液相比，来自不同域的匹配形状的性能出色。

几何数据的高效和实际表示是几何处理中的几种应用的普遍存在问题。广泛使用的选择是通过它们的光谱嵌入对3D对象进行编码，与每个表面点相关联通过差分操作员的特征函数的截断子集在该点处假定的值（通常是拉普拉斯人）。几次尝试为不同应用程序定义新的，优选的嵌入物在过去十年中看到了光明。尽管有限制，但标准拉普利亚特征障碍仍然在可用解决方案的顶部保持稳定，例如限于近体形状匹配的近等待物。最近，一个新的趋势表明了学习Laplacian特征障碍的替代品的优势。与此同时，许多研究问题仍未解决：新的基础比LBO特征功能更好，以及它们如何与他们联系？它们如何在功能形式的角度下采取行动？以及如何与其他功能和描述符在新配置中利用这些基础？在这项研究中，我们正确地提出了这些问题，以改善我们对这种新兴的研究方向的理解。我们在不同的背景下展示了他们的应用相关性，揭示了他们的一些见解和令人兴奋的未来方向。

Deep neural networks have enjoyed remarkable success for various vision tasks, however it remains challenging to apply CNNs to domains lacking a regular underlying structures such as 3D point clouds. Towards this we propose a novel convolutional architecture, termed Spi-derCNN, to efficiently extract geometric features from point clouds. Spi-derCNN is comprised of units called SpiderConv, which extend convolutional operations from regular grids to irregular point sets that can be embedded in R n , by parametrizing a family of convolutional filters. We design the filter as a product of a simple step function that captures local geodesic information and a Taylor polynomial that ensures the expressiveness. SpiderCNN inherits the multi-scale hierarchical architecture from classical CNNs, which allows it to extract semantic deep features. Experiments on ModelNet40[4] demonstrate that SpiderCNN achieves state-of-the-art accuracy 92.4% on standard benchmarks, and shows competitive performance on segmentation task.

3D点云的卷积经过广泛研究，但在几何深度学习中却远非完美。卷积的传统智慧在3D点之间表现出特征对应关系，这是对差的独特特征学习的内在限制。在本文中，我们提出了自适应图卷积（AGCONV），以供点云分析的广泛应用。 AGCONV根据其动态学习的功能生成自适应核。与使用固定/各向同性核的解决方案相比，AGCONV提高了点云卷积的灵活性，有效，精确地捕获了不同语义部位的点之间的不同关系。与流行的注意力体重方案不同，AGCONV实现了卷积操作内部的适应性，而不是简单地将不同的权重分配给相邻点。广泛的评估清楚地表明，我们的方法优于各种基准数据集中的点云分类和分割的最新方法。同时，AGCONV可以灵活地采用更多的点云分析方法来提高其性能。为了验证其灵活性和有效性，我们探索了基于AGCONV的完成，DeNoing，Upsmpling，注册和圆圈提取的范式，它们与竞争对手相当甚至优越。我们的代码可在https://github.com/hrzhou2/adaptconv-master上找到。

卷积神经网络（CNNS）在2D计算机视觉中取得了很大的突破。然而，它们的不规则结构使得难以在网格上直接利用CNNS的潜力。细分表面提供分层多分辨率结构，其中闭合的2 - 歧管三角网格中的每个面正恰好邻近三个面。本文推出了这两种观察，介绍了具有环形细分序列连接的3D三角形网格的创新和多功能CNN框架。在2D图像中的网格面和像素之间进行类比允许我们呈现网状卷积操作者以聚合附近面的局部特征。通过利用面部街区，这种卷积可以支持标准的2D卷积网络概念，例如，可变内核大小，步幅和扩张。基于多分辨率层次结构，我们利用汇集层，将四个面均匀地合并成一个和上采样方法，该方法将一个面分为四个。因此，许多流行的2D CNN架构可以容易地适应处理3D网格。可以通过自我参数化来回收具有任意连接的网格，以使循环细分序列连接，使子变量是一般的方法。广泛的评估和各种应用展示了SubDIVNet的有效性和效率。

多模式数据通过将来自来自各个域的数据与具有非常不同的统计特性的数据集成来提供自然现象的互补信息。捕获多模式数据的模态和跨换体信息是多模式学习方法的基本能力。几何感知数据分析方法通过基于其几何底层结构隐式表示各种方式的数据来提供这些能力。此外，在许多应用中，在固有的几何结构上明确地定义数据。对非欧几里德域的深度学习方法是一个新兴的研究领域，最近在许多研究中被调查。大多数流行方法都是为单峰数据开发的。本文提出了一种多模式多缩放图小波卷积网络（M-GWCN）作为端到端网络。 M-GWCN同时通过应用多尺度图小波变换来找到模态表示，以在每个模态的图形域中提供有用的本地化属性，以及通过学习各种方式之间的相关性的学习置换的跨模式表示。 M-GWCN不限于具有相同数量的数据的均匀模式，或任何指示模式之间的对应关系的现有知识。已经在三个流行的单峰显式图形数据集和五个多模式隐式界面进行了几个半监督节点分类实验。实验结果表明，与光谱图域卷积神经网络和最先进的多模式方法相比，所提出的方法的优越性和有效性。

在这项工作中，我们提出了一个新颖的基于学习的框架，该框架将对比度学习的局部准确性与几何方法的全球一致性结合在一起，以实现强大的非刚性匹配。我们首先观察到，尽管对比度学习可以导致强大的点特征，但由于标准对比度损失的纯粹组合性质，学到的对应关系通常缺乏平滑度和一致性。为了克服这一局限性，我们建议通过两种类型的平滑度正则化来提高对比性学习，从而将几何信息注入对应学习。借助这种新颖的组合，所得的特征既具有跨个别点的高度歧视性，又可以通过简单的接近查询导致坚固且一致的对应关系。我们的框架是一般的，适用于3D和2D域中的本地功能学习。我们通过在各种挑战性的匹配基准上进行广泛的实验来证明我们的方法的优势，包括3D非刚性形状对应关系和2D图像关键点匹配。

We present G-MSM (Graph-based Multi-Shape Matching), a novel unsupervised learning approach for non-rigid shape correspondence. Rather than treating a collection of input poses as an unordered set of samples, we explicitly model the underlying shape data manifold. To this end, we propose an adaptive multi-shape matching architecture that constructs an affinity graph on a given set of training shapes in a self-supervised manner. The key idea is to combine putative, pairwise correspondences by propagating maps along shortest paths in the underlying shape graph. During training, we enforce cycle-consistency between such optimal paths and the pairwise matches which enables our model to learn topology-aware shape priors. We explore different classes of shape graphs and recover specific settings, like template-based matching (star graph) or learnable ranking/sorting (TSP graph), as special cases in our framework. Finally, we demonstrate state-of-the-art performance on several recent shape correspondence benchmarks, including real-world 3D scan meshes with topological noise and challenging inter-class pairs.

我们介绍了CheBlieset，一种对（各向异性）歧管的组成的方法。对基于GRAP和基于组的神经网络的成功进行冲浪，我们利用了几何深度学习领域的最新发展，以推导出一种新的方法来利用数据中的任何各向异性。通过离散映射的谎言组，我们开发由各向异性卷积层（Chebyshev卷积），空间汇集和解凝层制成的图形神经网络，以及全球汇集层。集团的标准因素是通过具有各向异性左不变性的黎曼距离的图形上的等级和不变的运算符来实现的。由于其简单的形式，Riemannian公制可以在空间和方向域中模拟任何各向异性。这种对Riemannian度量的各向异性的控制允许平衡图形卷积层的不变性（各向异性度量）的平衡（各向异性指标）。因此，我们打开大门以更好地了解各向异性特性。此外，我们经验证明了在CIFAR10上的各向异性参数的存在（数据依赖性）甜点。这一关键的结果是通过利用数据中的各向异性属性来获得福利的证据。我们还评估了在STL10（图像数据）和ClimateNet（球面数据）上的这种方法的可扩展性，显示了对不同任务的显着适应性。

Point cloud learning has lately attracted increasing attention due to its wide applications in many areas, such as computer vision, autonomous driving, and robotics. As a dominating technique in AI, deep learning has been successfully used to solve various 2D vision problems. However, deep learning on point clouds is still in its infancy due to the unique challenges faced by the processing of point clouds with deep neural networks. Recently, deep learning on point clouds has become even thriving, with numerous methods being proposed to address different problems in this area. To stimulate future research, this paper presents a comprehensive review of recent progress in deep learning methods for point clouds. It covers three major tasks, including 3D shape classification, 3D object detection and tracking, and 3D point cloud segmentation. It also presents comparative results on several publicly available datasets, together with insightful observations and inspiring future research directions.

我们提出了一种新的方法，可以在点云对之间进行无监督的形状对应学习。我们首次尝试适应经典的局部线性嵌入算法（LLE）（最初是为非线性维度降低）的形状对应关系的。关键思想是通过首先获得低维点云的高维邻域保护嵌入，然后使用局部线性转换对源和目标嵌入对齐，从而找到形状之间的密集对应。我们证明，使用新的LLE启发的点云重建目标学习嵌入会产生准确的形状对应关系。更具体地说，该方法包括一个端到端的可学习框架，该框架是提取高维邻域保护的嵌入，估算嵌入空间中的局部线性变换，以及通过基于差异测量的构建构建的概率密度函数的对准形状，并重建形状。目标形状。我们的方法强制将形状的嵌入在对应中，以放置在相同的通用/规范嵌入空间中，最终有助于正规化学习过程，并导致形状嵌入之间的简单最近的邻居接近以找到可靠的对应关系。全面的实验表明，新方法对涵盖人类和非人类形状的标准形状信号基准数据集进行了明显的改进。

In this work, we are interested in generalizing convolutional neural networks (CNNs) from low-dimensional regular grids, where image, video and speech are represented, to high-dimensional irregular domains, such as social networks, brain connectomes or words' embedding, represented by graphs. We present a formulation of CNNs in the context of spectral graph theory, which provides the necessary mathematical background and efficient numerical schemes to design fast localized convolutional filters on graphs. Importantly, the proposed technique offers the same linear computational complexity and constant learning complexity as classical CNNs, while being universal to any graph structure. Experiments on MNIST and 20NEWS demonstrate the ability of this novel deep learning system to learn local, stationary, and compositional features on graphs.

尽管在非刚性3D形状匹配中的深函数映射成功，但不存在于同时模拟自称和形状匹配的学习框架。尽管对对称性不匹配导致的错误是非刚性形状匹配的主要挑战。在本文中，我们提出了一种新颖的框架，该框架同时学习自我对称以及一对形状之间的成对地图。我们的关键思想是通过正则化术语耦合自我对称地图和一对映射，从而为其两者提供联合约束，从而导致更准确的映射。我们在几个基准上验证了我们的方法，在那里它在两个任务中表达了许多竞争基础的基准。

在本文中，我们介绍了复杂的功能映射，它将功能映射框架扩展到表面上切线矢量字段之间的共形图。这些地图的一个关键属性是他们的方向意识。更具体地说，我们证明，与连锁两个歧管的功能空间的常规功能映射不同，我们的复杂功能图在面向的切片束之间建立了一个链路，从而允许切线矢量场的稳健和有效地传输。通过首先赋予和利用复杂的结构利用各个形状的切线束，所得到的操作变得自然导向，从而有利于横跨形状保持对应的取向和角度，而不依赖于描述符或额外的正则化。最后，也许更重要的是，我们演示了这些对象如何在功能映射框架内启动几个实际应用。我们表明功能映射及其复杂的对应物可以共同估算，以促进定向保存，规范的管道，前面遭受取向反转对称误差的误差。

从3D点云数据学习迅速获得了势头，这是通过深度学习的成功和图像的增加的3D数据的可用性。在本文中，我们的目标是构建直接在源点云的表面上工作的各向异性卷积。这是具有挑战性的，因为缺乏在表面上的切向方向的全局坐标系。我们介绍一个名为Deltaconv的新卷积运算符，将几何运算符从外部计算结合起来，以便在点云上构建各向异性滤波器。因为这些运算符在标量和向量字段上定义，所以我们将网络分开到标量和矢量流，由运算符连接。矢量流使网络能够明确表示，评估和处理方向信息。我们的卷轴稳健且易于实施，并显示出与最先进的基准相比提高准确性，同时加快培训和推理。