统计形状建模旨在捕获给定种群中发生的解剖结构的形状变化。形状模型用于许多任务，例如形状重建和图像分割，但也可以塑造生成和分类。现有的形状先验需要训练示例之间的密集对应，或者缺乏鲁棒性和拓扑保证。我们提出了FlowSM，这是一种新型的形状建模方法，它可以学习形状变异性，而无需在训练实例之间密集的对应关系。它依赖于连续变形流的层次结构，该层次由神经网络参数化。我们的模型优于远端股骨和肝脏在提供表现力和稳健形状方面的最先进方法。我们表明，新兴的潜在表示通过将健康与病理形状分开来歧视。最终，我们从部分数据中证明了其对两个形状重建任务的有效性。我们的源代码公开可用（https://github.com/davecasp/flowssm）。

3D漫画是对人脸的夸张的3D描述。本文的目的是对紧凑的参数空间中的3D漫画的变化进行建模，以便我们可以为处理3D漫画变形提供有用的数据驱动工具包。为了实现目标，我们提出了一个基于MLP的框架，用于构建可变形的表面模型，该模型采用潜在代码并产生3D表面。在框架中，警笛MLP模拟了在固定模板表面上采用3D位置并返回输入位置的3D位移向量的函数。我们通过学习采用潜在代码并产生MLP参数的超网络来创建3D表面的变化。一旦了解到，我们的可变形模型为3D漫画提供了一个不错的编辑空间，支持基于标签的语义编辑和基于尖的基于尖的变形，这两者都产生了高度夸张和自然的3D讽刺形状。我们还展示了可变形模型的其他应用，例如自动3D漫画创建。

在两个非辅助变形形状之间建立对应关系是视觉计算中最根本的问题之一。当对现实世界中的挑战（例如噪声，异常值，自我结合等）挑战时，现有方法通常会显示出弱的弹性。另一方面，自动描述器在学习几何学上有意义的潜在嵌入方面表现出强大的表现力。但是，它们在\ emph {形状分析}中的使用受到限制。在本文中，我们介绍了一种基于自动码头框架的方法，该方法在固定模板上学习了一个连续形状的变形字段。通过监督点在表面上的变形场，并通过小说\ emph {签名距离正则化}（SDR）正规化点偏面的正规化，我们学习了模板和Shape \ Emph {卷}之间的对齐。经过干净的水密网眼培训，\ emph {没有}任何数据启发，我们证明了在受损的数据和现实世界扫描上表现出令人信服的性能。

Deep learning based 3D reconstruction techniques have recently achieved impressive results. However, while stateof-the-art methods are able to output complex 3D geometry, it is not clear how to extend these results to time-varying topologies. Approaches treating each time step individually lack continuity and exhibit slow inference, while traditional 4D reconstruction methods often utilize a template model or discretize the 4D space at fixed resolution. In this work, we present Occupancy Flow, a novel spatio-temporal representation of time-varying 3D geometry with implicit correspondences. Towards this goal, we learn a temporally and spatially continuous vector field which assigns a motion vector to every point in space and time. In order to perform dense 4D reconstruction from images or sparse point clouds, we combine our method with a continuous 3D representation. Implicitly, our model yields correspondences over time, thus enabling fast inference while providing a sound physical description of the temporal dynamics. We show that our method can be used for interpolation and reconstruction tasks, and demonstrate the accuracy of the learned correspondences. We believe that Occupancy Flow is a promising new 4D representation which will be useful for a variety of spatio-temporal reconstruction tasks.

为了使3D人的头像广泛可用，我们必须能够在任意姿势中产生各种具有不同身份和形状的多种3D虚拟人。由于衣服的身体形状，复杂的关节和由此产生的丰富，随机几何细节，这项任务是挑战的挑战。因此，目前代表3D人的方法不提供服装中的人的全部生成模型。在本文中，我们提出了一种新的方法，这些方法可以学习在具有相应的剥皮重量的各种衣服中产生详细的3D形状。具体而言，我们设计了一个多主题前进的剥皮模块，这些模块只有几个受试者的未预装扫描。为了捕获服装中高频细节的随机性，我们利用对抗的侵害制定，鼓励模型捕获潜在统计数据。我们提供了经验证据，这导致了皱纹的局部细节的现实生成。我们表明我们的模型能够产生佩戴各种和详细的衣服的自然人头像。此外，我们表明我们的方法可以用于拟合人类模型到原始扫描的任务，优于以前的最先进。

神经隐式表面表示作为有希望以连续和独立的方式捕获3D形状的承诺范式。然而，将它们适应铰接形状是非微不足道的。现有方法学习落后的扭曲领域，即地图变形到规范点。然而，这是有问题的，因为后向扭曲字段依赖于姿势，因此需要大量数据来学习。为了解决这个问题，我们通过学习前向变形领域而没有直接监督，将多边形网格与神经隐式表面的线性混合皮肤（LBS）的优势相结合的Snarf。该变形场在规范，姿势独立的空间中定义，允许概括地看不见。学习从姿势网格中的变形字段独立地是具有挑战性，因为变形点的对应关系被隐含地定义，并且在拓扑的变化下可能不是唯一的。我们提出了一种前瞻性的剥皮模型，使用迭代根发现，找到任何变形点的所有规范对应关系。我们通过隐式差分派生分析梯度，从而实现从3D网格与骨骼变换的端到端训练。与最先进的神经隐式表示相比，我们的方法在保持准确性的同时，我们的方法更好地展示了未经造成的姿势。我们展示了我们在多样化和看不见的姿态上挑战（披装）3D人类的具有挑战性的方法。

Figure 1: DeepSDF represents signed distance functions (SDFs) of shapes via latent code-conditioned feed-forward decoder networks. Above images are raycast renderings of DeepSDF interpolating between two shapes in the learned shape latent space. Best viewed digitally.

The objective of this paper is to learn dense 3D shape correspondence for topology-varying generic objects in an unsupervised manner. Conventional implicit functions estimate the occupancy of a 3D point given a shape latent code. Instead, our novel implicit function produces a probabilistic embedding to represent each 3D point in a part embedding space. Assuming the corresponding points are similar in the embedding space, we implement dense correspondence through an inverse function mapping from the part embedding vector to a corresponded 3D point. Both functions are jointly learned with several effective and uncertainty-aware loss functions to realize our assumption, together with the encoder generating the shape latent code. During inference, if a user selects an arbitrary point on the source shape, our algorithm can automatically generate a confidence score indicating whether there is a correspondence on the target shape, as well as the corresponding semantic point if there is one. Such a mechanism inherently benefits man-made objects with different part constitutions. The effectiveness of our approach is demonstrated through unsupervised 3D semantic correspondence and shape segmentation.

3D描绘解剖结构是医学成像分析中的主要目标。在深度学习之前，统计形状模型施加解剖结构并产生高质量的表面是核心技术。在深度学习之前，统计形状模型施加解剖结构并产生高质量的表面是核心技术。今天完全卷积的网络（FCN），而主导，不提供这些功能。我们呈现深度隐式统计形状模型（幻像），一种划分的新方法，将卷积神经网络（CNNS）的表示力与SSM的稳健性结合。幻像使用深隐性表面表示来产生紧凑且描述性的形状潜空间，允许解剖学方差的统计模型。为了可靠地适应图像到图像，我们介绍了一种新颖的刚性和非刚性姿势估计管道，其被建模为Markov决策过程（MDP）。我们概述了一个培训制度，包括倒置的焦点培训和深度领域学习（MSL）的深刻实现。数据集关于病理肝脏分割任务的实验表明，幻灯片可以比三个领先的FCN模型更加强大，包括NNU-Net：将平均豪索轿车距离（HD）减少7.7-14.3毫米并改善最坏情况骰子索兰系数（DSC）达1.2-2.3％。更富豪地，直接反映临床部署方案的数据集上的交叉数据集实验表明，分别将平均DSC和HD分别改善平均DSC和HD，以及最坏情况的DSC 5.4-7.3％。这些改进超过了具有高质量表面的划分的任何益处。

计算流体动力学（CFD）可用于模拟血管血流动力学并分析潜在的治疗方案。 CFD已显示对改善患者预后有益。但是，尚未实现CFD的实施CFD。 CFD的障碍包括高计算资源，设计模拟设置所需的专业经验以及较长的处理时间。这项研究的目的是探索使用机器学习（ML）以自动和快速回归模型复制常规主动脉CFD。用于训练/测试的数据该模型由在合成生成的3D主动脉形状上执行的3,000个CFD模拟组成。这些受试者是由基于实际患者特异性主动脉（n = 67）的统计形状模型（SSM）生成的。对200个测试形状进行的推理导致压力和速度的平均误差分别为6.01％+/- 3.12 SD和3.99％+/- 0.93 SD。我们的基于ML的模型在〜0.075秒内执行CFD（比求解器快4,000倍）。这项研究表明，可以使用ML以更快的速度，自动过程和高精度来复制常规血管CFD的结果。

动态MRI可以捕获具有高对比度的软组织器官中的时间解剖变化，但是获得的序列通常遭受有限的体积覆盖，这使得器官形状轨迹的高分辨率重建在时间研究中的主要挑战。由于腹部器官形状的变异性跨越时间和受试者，本研究的目的是朝向3D致密速度测量来完全覆盖整个表面并提取有意义的特征，其特征在于观察到的器官变形并实现临床作用或决定。我们在深呼吸运动期间提出了一种用于表征膀胱表面动力学的管道。对于紧凑的形状表示，首先使用重建的时间体积来使用LDDMM框架建立专用的动态4D网状序列。然后，我们从诸如网格伸长和失真的机械参数执行器官动力学的统计表征。由于我们将器官引用作为非平面，因此我们还使用平均曲率变化为度量来量化表面演变。然而，曲率的数值计算强烈地取决于表面参数化。为了应对这一依赖性，我们采用了一种用于表面变形分析的新方法。独立于参数化并最小化测地曲线的长度，通过最小化Dirichlet能量，它使表面曲线平滑地朝向球体。 eulerian PDE方法用于从曲线缩短流中导出形状描述符。使用Laplace Beltrami操作员特征函数来计算各个运动模式之间的接口，用于球形映射。用于提取用于局部控制的模拟形状轨迹的表征相关曲线的应用演示了所提出的形状描述符的稳定性。

长期以来，众所周知，在从嘈杂或不完整数据中重建3D形状时，形状先验是有效的。当使用基于深度学习的形状表示时，这通常涉及学习潜在表示，可以以单个全局向量的形式或多个局部媒介。后者可以更灵活，但容易过度拟合。在本文中，我们主张一种与三个网眼相结合的混合方法，该方法在每个顶点处与单独的潜在向量。在训练过程中，潜在向量被限制为具有相同的值，从而避免过度拟合。为了推断，潜在向量是独立更新的，同时施加空间正规化约束。我们表明，这赋予了我们灵活性和概括功能，我们在几个医学图像处理任务上证明了这一点。

在目前的生物和医学研究中，统计形状建模（SSM）提供了解剖/形态学表征的基本框架。这种分析通常通过识别群体样本中发现的相对少量的几何一致性特征来驱动。这些特征随后可以提供有关人口形状变化的信息。密集的对应模型可以提供易于计算，并在后面减小时产生可解释的低维形状描述符。然而，用于获得这种对应关系的自动方法通常需要图像分割，然后是显着的预处理，这在计算和人力资源方面都是征税。在许多情况下，分段和后续处理需要手动指导和解剖学特定域专业知识。本文提出了一种自我监督的深度学习方法，用于发现可以直接用作形状描述符的图像中的地标进行分析。我们使用地标驱动的图像登记作为主要任务，以强制神经网络发现井注册图像的地标。我们还提出了一个正则化术语，允许对神经网络的稳健优化进行稳健优化，并确保地标均匀跨越图像域。所提出的方法避免分割和预处理，并直接使用仅2D或3D图像产生可用的形状描述符。此外，我们还提出了在训练损失函数上提出了两个变体，允许将现有的形状信息集成到模型中。我们在几个2D和3D数据集上应用此框架以获取其形状描述符，并分析其实用程序以获取各种应用程序。

统计形状建模是解剖学群体定量分析的重要工具。点分布模型（PDMS）通过密集的相应关系，直观且易于使用的形状表示来表示解剖表面，用于后续应用。这些对应关系在两个坐标空间中展出：局部坐标，其描述每个单独解剖表面的几何特征和代表在给定队列中的样本的全局对准差异之后表示人口级统计形状信息的世界坐标。我们提出了一种基于深度学习的框架，它同时从容积图像中直接学习这两个坐标空间。建议的联合模型用于双重目的;世界界据可以直接用于形状分析应用，避免了传统PDM模型中涉及的重预处理和分段。另外，本地对应关系可用于解剖分段。我们展示了这种联合模型在推断解剖表面时形成了两个数据集的形状建模应用的效果。

对解剖学随时间变化的结构变化的临床研究可能会大大受益于人群水平的形状量化或时空统计形状建模（SSM）。这样的工具使患者器官周期或疾病进展相关的工具与群体有关。构造形状模型需要建立定量形状表示（例如，相应的地标）。基于粒子的形状建模（PSM）是一种数据驱动的SSM方法，可通过优化地标放置来捕获总体级别的形状变化。但是，它假设横断面研究设计，因此在代表形状随时间变化方面的统计能力有限。现有的建模时空或纵向形状变化的方法需要预定义的形状地图集和通常在横截面上构建的预先建造的形状模型。本文提出了一种受PSM方法启发的数据驱动方法，以直接从形状数据中学习人口级时空形状。我们介绍了一种新型的SSM优化方案，该方案产生了整个人群（受试者间）和跨时间序列（受试者内）的地标。我们将所提出的方法应用于心房 - 纤维化患者的4D心脏数据，并证明其在表示左心房动态变化方面的功效。此外，我们表明我们的方法在生成时间序列模型（线性动力学系统（LDS））方面优于时空SSM的基于图像的方法。 LDS使用通过我们的方法优化的时空形状模型拟合，可提供更好的概括和特异性，表明它准确地捕获了基本的时间依赖性。

在基于模型的医学图像分析中，感兴趣的三个特征是感兴趣的结构，其相对姿势和代表一些物理性质的图像强度谱的形状。通常，这些通过统计模型分别通过统计模型来通过主要测地分析或主成分分析将对象的特征分解成一组基函数。本研究提出了一种统计建模方法，用于在医学图像中自动学习形状，姿势和强度特征，我们称之为动态多特征类高斯过程模型（DMFC-GPM）。 DMFC-GPM是基于高斯过程（GP）的模型，具有编码线性和非线性变化的共享潜在空间。我们的方法在连续域中定义，其具有基于变形字段的线性空间中的形状，姿势和强度特征类。在用于建模形状和强度特征变化的方法以及比较刚性变换（姿势）的方法中，适于变形现场度量。此外，DMFC-GPMS继承了GPS内在的属性，包括边缘化和回归。此外，它们允许在从图像采集过程获得的那些之上增加额外的姿势特征可变性;我们是什么术语作为排列建模。对于使用DMFC-GPMS的图像分析任务，我们适应了Metropolis-Hastings算法，使得具有完全概率的特征预测。我们验证了使用受控合成数据的方法，并且我们在肩部的CT图像上对骨结构进行实验，以说明模型姿势和形状特征预测的功效。模型性能结果表明，这种新的造型范例是强大，准确，可访问的，并且具有潜在的应用，包括肌肉骨骼障碍和临床决策

新兴的元应用需要人类手的可靠，准确和逼真的复制品，以便在物理世界中进行复杂的操作。虽然真实的人手代表了骨骼，肌肉，肌腱和皮肤之间最复杂的协调之一，但最先进的技术一致专注于仅建模手的骨架。在本文中，我们提出了Nimble，这是一种新型的参数手模型，其中包括缺少的密钥组件，将3D手模型带入了新的现实主义水平。我们首先在最近的磁共振成像手（MRI手）数据集上注释肌肉，骨骼和皮肤，然后在数据集中的单个姿势和受试者上注册一个体积模板手。敏捷由20个骨头组成，作为三角形网格，7个肌肉群作为四面体网眼和一个皮肤网。通过迭代形状的注册和参数学习，它进一步产生形状的混合形状，姿势混合形状和关节回归器。我们证明将敏捷性应用于建模，渲染和视觉推理任务。通过强制执行内部骨骼和肌肉以符合解剖学和运动学规则，Nimble可以使3D手动画为前所未有的现实主义。为了建模皮肤的外观，我们进一步构建了一个光度法，以获取高质量的纹理和正常地图，以模型皱纹和棕榈印刷。最后，敏捷还通过合成丰富的数据或直接作为推理网络中的可区分层来使基于学习的手姿势和形状估计受益。

本文介绍了学习3D表面类似地图集的表示的新技术，即从2D域到表面的同质形态转换。与先前的工作相比，我们提出了两项​​主要贡献。首先，我们没有通过优化作为高斯人的混合物来了解具有任意拓扑的连续2D域，而不是将固定的2D域（例如一组平方斑）映射到表面上。其次，我们在两个方向上学习一致的映射：图表，从3D表面到2D域，以及参数化，它们的倒数。我们证明，这可以提高学到的表面表示的质量，并在相关形状集合中的一致性。因此，它导致了应用程序的改进，例如对应估计，纹理传输和一致的UV映射。作为额外的技术贡献，我们概述了，尽管合并正常的一致性具有明显的好处，但它会导致优化问题，并且可以使用简单的排斥正则化来缓解这些问题。我们证明我们的贡献比现有基线提供了更好的表面表示。

Learned 3D representations of human faces are useful for computer vision problems such as 3D face tracking and reconstruction from images, as well as graphics applications such as character generation and animation. Traditional models learn a latent representation of a face using linear subspaces or higher-order tensor generalizations. Due to this linearity, they can not capture extreme deformations and nonlinear expressions. To address this, we introduce a versatile model that learns a non-linear representation of a face using spectral convolutions on a mesh surface. We introduce mesh sampling operations that enable a hierarchical mesh representation that captures non-linear variations in shape and expression at multiple scales within the model. In a variational setting, our model samples diverse realistic 3D faces from a multivariate Gaussian distribution. Our training data consists of 20,466 meshes of extreme expressions captured over 12 different subjects. Despite limited training data, our trained model outperforms state-of-the-art face models with 50% lower reconstruction error, while using 75% fewer parameters. We show that, replacing the expression space of an existing state-of-theart face model with our model, achieves a lower reconstruction error. Our data, model and code are available at http://coma.is.tue.mpg.de/.

我们建议使用点云上的几何感知体系结构，考虑到学习局部结构的数据局部结构，以学习数据的局部结构，以学习数据的局部结构，以了解数据的局部结构，并使用点云上的几何感知体系结构来学习数据的局部结构，以考虑到局部数据结构。估计时间一致的3D变形，而无需在训练时间，通过利用周期一致性来进行密集的对应关系。除了学习密集对应的能力外，GNPM还可以实现潜在空间操作，例如插值和形状/姿势转移。我们在各种衣服的人类数据集上评估了GNPM，并表明它与需要在训练过程中需要密集对应的最新方法相当。