许多天然形状的大部分特征特征集中在太空中的几个地区。例如，人类和动物具有独特的头形，而椅子和飞机等无机物体则由具有特定几何特征的良好定位功能部件制成。通常，这些特征是密切相关的 - 四足动物中面部特征的修改应引起身体结构的变化。但是，在形状建模应用中，这些类型的编辑是最难的编辑。他们需要高精度，但也需要全球对整个形状的认识。即使在深度学习时代，获得满足此类要求的可操作表征也是一个开放的问题，构成了重大限制。在这项工作中，我们通过将数据驱动的模型定义为线性操作员（网状拉普拉斯的变体）来解决此问题，该模型的光谱捕获了手头形状的全局和局部几何特性。对这些光谱的修改被转化为相应表面的语义有效变形。通过明确将全局与本地表面特征分离，我们的管道允许执行本地编辑，同时保持全局风格的连贯性。我们凭经验证明了我们的基于学习的模型如何推广以塑造在培训时间看不到的表示，并且我们系统地分析了本地运营商在各种形状类别上的不同选择。

Spectral geometric methods have brought revolutionary changes to the field of geometry processing. Of particular interest is the study of the Laplacian spectrum as a compact, isometry and permutation-invariant representation of a shape. Some recent works show how the intrinsic geometry of a full shape can be recovered from its spectrum, but there are approaches that consider the more challenging problem of recovering the geometry from the spectral information of partial shapes. In this paper, we propose a possible way to fill this gap. We introduce a learning-based method to estimate the Laplacian spectrum of the union of partial non-rigid 3D shapes, without actually computing the 3D geometry of the union or any correspondence between those partial shapes. We do so by operating purely in the spectral domain and by defining the union operation between short sequences of eigenvalues. We show that the approximated union spectrum can be used as-is to reconstruct the complete geometry [MRC*19], perform region localization on a template [RTO*19] and retrieve shapes from a database, generalizing ShapeDNA [RWP06] to work with partialities. Working with eigenvalues allows us to deal with unknown correspondence, different sampling, and different discretizations (point clouds and meshes alike), making this operation especially robust and general. Our approach is data-driven and can generalize to isometric and non-isometric deformations of the surface, as long as these stay within the same semantic class (e.g., human bodies or horses), as well as to partiality artifacts not seen at training time.

几何数据的高效和实际表示是几何处理中的几种应用的普遍存在问题。广泛使用的选择是通过它们的光谱嵌入对3D对象进行编码，与每个表面点相关联通过差分操作员的特征函数的截断子集在该点处假定的值（通常是拉普拉斯人）。几次尝试为不同应用程序定义新的，优选的嵌入物在过去十年中看到了光明。尽管有限制，但标准拉普利亚特征障碍仍然在可用解决方案的顶部保持稳定，例如限于近体形状匹配的近等待物。最近，一个新的趋势表明了学习Laplacian特征障碍的替代品的优势。与此同时，许多研究问题仍未解决：新的基础比LBO特征功能更好，以及它们如何与他们联系？它们如何在功能形式的角度下采取行动？以及如何与其他功能和描述符在新配置中利用这些基础？在这项研究中，我们正确地提出了这些问题，以改善我们对这种新兴的研究方向的理解。我们在不同的背景下展示了他们的应用相关性，揭示了他们的一些见解和令人兴奋的未来方向。

Many scientific fields study data with an underlying structure that is a non-Euclidean space. Some examples include social networks in computational social sciences, sensor networks in communications, functional networks in brain imaging, regulatory networks in genetics, and meshed surfaces in computer graphics. In many applications, such geometric data are large and complex (in the case of social networks, on the scale of billions), and are natural targets for machine learning techniques. In particular, we would like to use deep neural networks, which have recently proven to be powerful tools for a broad range of problems from computer vision, natural language processing, and audio analysis. However, these tools have been most successful on data with an underlying Euclidean or grid-like structure, and in cases where the invariances of these structures are built into networks used to model them.Geometric deep learning is an umbrella term for emerging techniques attempting to generalize (structured) deep neural models to non-Euclidean domains such as graphs and manifolds. The purpose of this paper is to overview different examples of geometric deep learning problems and present available solutions, key difficulties, applications, and future research directions in this nascent field.

在面孔和机构的3D生成模型中学习解除一致，可解释和结构化的潜在代表仍然是一个开放的问题。当需要对身份特征的控制时，问题特别严重。在本文中，我们提出了一种直观但有效的自我监督方法来训练3D形变形自动化器（VAE），鼓励身份特征的解开潜在表示。通过在不同形状上交换任意特征来造成迷你批处理允许定义利用潜在表示中已知差异和相似性的损耗功能。在3D网眼上进行的实验结果表明，最先进的潜在解剖学方法无法解散面部和身体的身份特征。我们所提出的方法适当地解耦了这些特征的产生，同时保持了良好的表示和重建能力。

The underlying dynamics and patterns of 3D surface meshes deforming over time can be discovered by unsupervised learning, especially autoencoders, which calculate low-dimensional embeddings of the surfaces. To study the deformation patterns of unseen shapes by transfer learning, we want to train an autoencoder that can analyze new surface meshes without training a new network. Here, most state-of-the-art autoencoders cannot handle meshes of different connectivity and therefore have limited to no generalization capacities to new meshes. Also, reconstruction errors strongly increase in comparison to the errors for the training shapes. To address this, we propose a novel spectral CoSMA (Convolutional Semi-Regular Mesh Autoencoder) network. This patch-based approach is combined with a surface-aware training. It reconstructs surfaces not presented during training and generalizes the deformation behavior of the surfaces' patches. The novel approach reconstructs unseen meshes from different datasets in superior quality compared to state-of-the-art autoencoders that have been trained on these shapes. Our transfer learning errors on unseen shapes are 40% lower than those from models learned directly on the data. Furthermore, baseline autoencoders detect deformation patterns of unseen mesh sequences only for the whole shape. In contrast, due to the employed regional patches and stable reconstruction quality, we can localize where on the surfaces these deformation patterns manifest.

在两个非辅助变形形状之间建立对应关系是视觉计算中最根本的问题之一。当对现实世界中的挑战（例如噪声，异常值，自我结合等）挑战时，现有方法通常会显示出弱的弹性。另一方面，自动描述器在学习几何学上有意义的潜在嵌入方面表现出强大的表现力。但是，它们在\ emph {形状分析}中的使用受到限制。在本文中，我们介绍了一种基于自动码头框架的方法，该方法在固定模板上学习了一个连续形状的变形字段。通过监督点在表面上的变形场，并通过小说\ emph {签名距离正则化}（SDR）正规化点偏面的正规化，我们学习了模板和Shape \ Emph {卷}之间的对齐。经过干净的水密网眼培训，\ emph {没有}任何数据启发，我们证明了在受损的数据和现实世界扫描上表现出令人信服的性能。

在本文中，我们展示了Facetunegan，一种新的3D面部模型表示分解和编码面部身份和面部表情。我们提出了对图像到图像翻译网络的第一次适应，该图像已经成功地用于2D域，到3D面几何。利用最近释放的大面扫描数据库，神经网络已经过培训，以便与面部更好的了解，使面部表情转移和中和富有效应面的变异因素。具体而言，我们设计了一种适应基础架构的对抗架构，并使用Spiralnet ++进行卷积和采样操作。使用两个公共数据集（FACESCAPE和COMA），Facetunegan具有比最先进的技术更好的身份分解和面部中和。它还通过预测较近地面真实数据的闪烁形状并且由于源极和目标之间的面部形态过于不同的面部形态而越来越多的不期望的伪像来优异。

我们通过同步在点云上定义的学习函数的地图同步地图来共同寄存多种非刚性形状的新方法。尽管处理非刚性形状的能力在从计算机动画到3D数字化的各种应用中都是至关重要的，但文献仍然缺乏围绕闭塞观察到的真实，嘈杂的扫描的集合的稳健和灵活的框架。给定一组这样的点云，我们的方法首先计算通过功能映射参数化的成对对应关系。我们同时学习潜在的非正交基础函数，以有效地规范变形，同时以优雅的方式处理闭塞。为了最大限度地受益于推断成对变形字段提供的多向信息，我们通过我们的新颖和原则优化配方将成对功能映射与周期一致的整体同步。我们通过广泛的实验证明了我们的方法在注册准确性中实现了最先进的性能，同时可以灵活，高效，因为我们在统一框架中处理非刚性和多体案例并避免昂贵的优化优化通过使用基函数映射的置换。

基于简单的扩散层对空间通信非常有效的洞察力，我们对3D表面进行深度学习的新的通用方法。由此产生的网络是自动稳健的，以改变表面的分辨率和样品 - 一种对实际应用至关重要的基本属性。我们的网络可以在各种几何表示上离散化，例如三角网格或点云，甚至可以在一个表示上培训然后应用于另一个表示。我们优化扩散的空间支持，作为连续网络参数，从纯粹的本地到完全全球范围，从而消除手动选择邻域大小的负担。该方法中唯一的其他成分是在每个点处独立地施加的多层的Perceptron，以及用于支持方向滤波器的空间梯度特征。由此产生的网络简单，坚固，高效。这里，我们主要专注于三角网格表面，并且展示了各种任务的最先进的结果，包括表面分类，分割和非刚性对应。

本文介绍了一组数字方法，用于在不变（弹性）二阶Sobolev指标的设置中对3D表面进行Riemannian形状分析。更具体地说，我们解决了代表为3D网格的参数化或未参数浸入式表面之间的测量学和地球距离的计算。在此基础上，我们为表面集的统计形状分析开发了工具，包括用于估算Karcher均值并在形状群体上执行切线PCA的方法，以及计算沿表面路径的平行传输。我们提出的方法从根本上依赖于通过使用Varifold Fidelity术语来为地球匹配问题提供轻松的变异配方，这使我们能够在计算未参数化表面之间的地理位置时强制执行重新训练的独立性，同时还可以使我们能够与多用途算法相比，使我们能够将表面与vare表面进行比较。采样或网状结构。重要的是，我们演示了如何扩展放松的变分框架以解决部分观察到的数据。在合成和真实的各种示例中，说明了我们的数值管道的不同好处。

Intelligent mesh generation (IMG) refers to a technique to generate mesh by machine learning, which is a relatively new and promising research field. Within its short life span, IMG has greatly expanded the generalizability and practicality of mesh generation techniques and brought many breakthroughs and potential possibilities for mesh generation. However, there is a lack of surveys focusing on IMG methods covering recent works. In this paper, we are committed to a systematic and comprehensive survey describing the contemporary IMG landscape. Focusing on 110 preliminary IMG methods, we conducted an in-depth analysis and evaluation from multiple perspectives, including the core technique and application scope of the algorithm, agent learning goals, data types, targeting challenges, advantages and limitations. With the aim of literature collection and classification based on content extraction, we propose three different taxonomies from three views of key technique, output mesh unit element, and applicable input data types. Finally, we highlight some promising future research directions and challenges in IMG. To maximize the convenience of readers, a project page of IMG is provided at \url{https://github.com/xzb030/IMG_Survey}.

在本文中，我们介绍了复杂的功能映射，它将功能映射框架扩展到表面上切线矢量字段之间的共形图。这些地图的一个关键属性是他们的方向意识。更具体地说，我们证明，与连锁两个歧管的功能空间的常规功能映射不同，我们的复杂功能图在面向的切片束之间建立了一个链路，从而允许切线矢量场的稳健和有效地传输。通过首先赋予和利用复杂的结构利用各个形状的切线束，所得到的操作变得自然导向，从而有利于横跨形状保持对应的取向和角度，而不依赖于描述符或额外的正则化。最后，也许更重要的是，我们演示了这些对象如何在功能映射框架内启动几个实际应用。我们表明功能映射及其复杂的对应物可以共同估算，以促进定向保存，规范的管道，前面遭受取向反转对称误差的误差。

Figure 1. Given input as either a 2D image or a 3D point cloud (a), we automatically generate a corresponding 3D mesh (b) and its atlas parameterization (c). We can use the recovered mesh and atlas to apply texture to the output shape (d) as well as 3D print the results (e).

我们提出了一种针对非等级地标的非刚性形状匹配的原则方法。我们的方法基于功能地图框架，但我们没有促进异构体，而是集中在近乎符号的地图上，这些图可准确地保留地标。首先，我们通过使用固有的Dirichlet-Steklov本本特征来引入新颖的地标适应性基础来实现这一目标。其次，我们建立了在此基础上表达的保形图的功能分解。最后，我们制定了一种构成形式不变的能量，该能量促进了高质量的具有里程碑式的保留地图，并展示了如何通过我们扩展到设置的最近提出的Zoomout方法的变体来求解它。我们的方法是无描述符，有效且可靠的，可显着网格变异性。我们在一系列基准数据集上评估了我们的方法，并在非等法基准测试和等距范围内的最新性能上展示了最先进的性能。

传统上，本征成像或内在图像分解被描述为将图像分解为两层：反射率，材料的反射率;和一个阴影，由光和几何之间的相互作用产生。近年来，深入学习技术已广泛应用，以提高这些分离的准确性。在本调查中，我们概述了那些在知名内在图像数据集和文献中使用的相关度量的结果，讨论了预测所需的内在图像分解的适用性。虽然Lambertian的假设仍然是许多方法的基础，但我们表明，对图像形成过程更复杂的物理原理组件的潜力越来越意识到，这是光学准确的材料模型和几何形状，更完整的逆轻型运输估计。考虑使用的前瞻和模型以及驾驶分解过程的学习架构和方法，我们将这些方法分类为分解的类型。考虑到最近神经，逆和可微分的渲染技术的进步，我们还提供了关于未来研究方向的见解。

Learned 3D representations of human faces are useful for computer vision problems such as 3D face tracking and reconstruction from images, as well as graphics applications such as character generation and animation. Traditional models learn a latent representation of a face using linear subspaces or higher-order tensor generalizations. Due to this linearity, they can not capture extreme deformations and nonlinear expressions. To address this, we introduce a versatile model that learns a non-linear representation of a face using spectral convolutions on a mesh surface. We introduce mesh sampling operations that enable a hierarchical mesh representation that captures non-linear variations in shape and expression at multiple scales within the model. In a variational setting, our model samples diverse realistic 3D faces from a multivariate Gaussian distribution. Our training data consists of 20,466 meshes of extreme expressions captured over 12 different subjects. Despite limited training data, our trained model outperforms state-of-the-art face models with 50% lower reconstruction error, while using 75% fewer parameters. We show that, replacing the expression space of an existing state-of-theart face model with our model, achieves a lower reconstruction error. Our data, model and code are available at http://coma.is.tue.mpg.de/.

Three-dimensional geometric data offer an excellent domain for studying representation learning and generative modeling. In this paper, we look at geometric data represented as point clouds. We introduce a deep AutoEncoder (AE) network with state-of-the-art reconstruction quality and generalization ability. The learned representations outperform existing methods on 3D recognition tasks and enable shape editing via simple algebraic manipulations, such as semantic part editing, shape analogies and shape interpolation, as well as shape completion. We perform a thorough study of different generative models including GANs operating on the raw point clouds, significantly improved GANs trained in the fixed latent space of our AEs, and Gaussian Mixture Models (GMMs). To quantitatively evaluate generative models we introduce measures of sample fidelity and diversity based on matchings between sets of point clouds. Interestingly, our evaluation of generalization, fidelity and diversity reveals that GMMs trained in the latent space of our AEs yield the best results overall.

机器学习的最近进步已经创造了利用一类基于坐标的神经网络来解决视觉计算问题的兴趣，该基于坐标的神经网络在空间和时间跨空间和时间的场景或对象的物理属性。我们称之为神经领域的这些方法已经看到在3D形状和图像的合成中成功应用，人体的动画，3D重建和姿势估计。然而，由于在短时间内的快速进展，许多论文存在，但尚未出现全面的审查和制定问题。在本报告中，我们通过提供上下文，数学接地和对神经领域的文学进行广泛综述来解决这一限制。本报告涉及两种维度的研究。在第一部分中，我们通过识别神经字段方法的公共组件，包括不同的表示，架构，前向映射和泛化方法来专注于神经字段的技术。在第二部分中，我们专注于神经领域的应用在视觉计算中的不同问题，超越（例如，机器人，音频）。我们的评论显示了历史上和当前化身的视觉计算中已覆盖的主题的广度，展示了神经字段方法所带来的提高的质量，灵活性和能力。最后，我们展示了一个伴随着贡献本综述的生活版本，可以由社区不断更新。

用于形状生成和编辑的AutoEncoders的使用遭受了可能导致输出形状不可预测的变化的潜在空间中的操纵。我们介绍了一种基于AutoEncoder的方法，通过解开潜在的子空间来获得潜在空间的直观形状，以获得可以独立操纵的表面和样式变量的控制点。关键思想是向损耗函数添加一个LipsChitz型约束，即将输出形状的变化与潜在空间的变化相结合，导致可解释的潜在空间表示。然后可以自由地移动表面上的控制点，允许直接在潜空间中直接编辑。我们通过将其与最先进的数据驱动的形状编辑方法进行比较来评估我们的方法。除了形状操纵外，我们通过利用他们为无监督的部分分割来展示我们的控制点的表现力。