我们建议使用点云上的几何感知体系结构，考虑到学习局部结构的数据局部结构，以学习数据的局部结构，以学习数据的局部结构，以了解数据的局部结构，并使用点云上的几何感知体系结构来学习数据的局部结构，以考虑到局部数据结构。估计时间一致的3D变形，而无需在训练时间，通过利用周期一致性来进行密集的对应关系。除了学习密集对应的能力外，GNPM还可以实现潜在空间操作，例如插值和形状/姿势转移。我们在各种衣服的人类数据集上评估了GNPM，并表明它与需要在训练过程中需要密集对应的最新方法相当。

在计算机愿景中已经过了很长一段时间的3D表示和人体重建。传统方法主要依赖于参数统计线性模型，将可能的身体的空间限制在线性组合。近来，一些方法才试图利用人体建模的神经隐式表示，同时展示令人印象深刻的结果，它们是通过表示能力的限制或没有物理有意义和可控的。在这项工作中，我们提出了一种用于人体的新型神经隐含表示，其具有完全可分辨：无戒开的形状和姿势潜在空间的优化。与事先工作相反，我们的代表是基于运动模型设计的，这使得可以为姿势动画等任务提供可控制的表示，同时允许为3D配件和姿势跟踪等任务进行整形和姿势。我们的模型可以直接培训和精细调整，直接在具有精心设计的损失的非水密原始数据上。实验展示了SOTA方法的改进的3D重建性能，并显示了我们的方法来形状插值，模型拟合，姿势跟踪和运动重新定位的适用性。

为了使3D人的头像广泛可用，我们必须能够在任意姿势中产生各种具有不同身份和形状的多种3D虚拟人。由于衣服的身体形状，复杂的关节和由此产生的丰富，随机几何细节，这项任务是挑战的挑战。因此，目前代表3D人的方法不提供服装中的人的全部生成模型。在本文中，我们提出了一种新的方法，这些方法可以学习在具有相应的剥皮重量的各种衣服中产生详细的3D形状。具体而言，我们设计了一个多主题前进的剥皮模块，这些模块只有几个受试者的未预装扫描。为了捕获服装中高频细节的随机性，我们利用对抗的侵害制定，鼓励模型捕获潜在统计数据。我们提供了经验证据，这导致了皱纹的局部细节的现实生成。我们表明我们的模型能够产生佩戴各种和详细的衣服的自然人头像。此外，我们表明我们的方法可以用于拟合人类模型到原始扫描的任务，优于以前的最先进。

我们呈现Hipnet，一个在许多姿势的多个科目上培训的神经隐式姿势网络。HIPNET可以从姿势特定的细节中解散特定主题细节，有效地使我们能够从一个受试者到另一个受试者的retrarget运动，或通过潜在空间插值在关键帧之间设置动画。为此，我们采用基于分层的基于骨架的表示，以便在规范的未浮现空间上学习符号距离功能。这种基于联合的分解使我们能够代表本地围绕身体关节周围的空间的细微细节。与以前的神经隐式方法不同，需要基础真实SDF进行培训，我们的模型我们只需要一个构成的骨架和点云进行培训，我们没有对传统的参数模型或传统的剥皮方法的依赖。我们在各种单一主题和多主题基准上实现最先进的结果。

4D隐式表示中的最新进展集中在全球控制形状和运动的情况下，低维潜在向量，这很容易缺少表面细节和累积跟踪误差。尽管许多深层的本地表示显示了3D形状建模的有希望的结果，但它们的4D对应物尚不存在。在本文中，我们通过提出一个新颖的局部4D隐性代表来填补这一空白，以动态穿衣人，名为Lord，具有4D人类建模和局部代表的优点，并实现具有详细的表面变形的高保真重建，例如衣服皱纹。特别是，我们的主要见解是鼓励网络学习本地零件级表示的潜在代码，能够解释本地几何形状和时间变形。为了在测试时间进行推断，我们首先估计内部骨架运动在每个时间步中跟踪本地零件，然后根据不同类型的观察到的数据通过自动编码来优化每个部分的潜在代码。广泛的实验表明，该提出的方法具有强大的代表4D人类的能力，并且在实际应用上胜过最先进的方法，包括从稀疏点，非刚性深度融合（质量和定量）进行的4D重建。

We propose a novel 3D morphable model for complete human heads based on hybrid neural fields. At the core of our model lies a neural parametric representation which disentangles identity and expressions in disjoint latent spaces. To this end, we capture a person's identity in a canonical space as a signed distance field (SDF), and model facial expressions with a neural deformation field. In addition, our representation achieves high-fidelity local detail by introducing an ensemble of local fields centered around facial anchor points. To facilitate generalization, we train our model on a newly-captured dataset of over 2200 head scans from 124 different identities using a custom high-end 3D scanning setup. Our dataset significantly exceeds comparable existing datasets, both with respect to quality and completeness of geometry, averaging around 3.5M mesh faces per scan. Finally, we demonstrate that our approach outperforms state-of-the-art methods by a significant margin in terms of fitting error and reconstruction quality.

Recent approaches to drape garments quickly over arbitrary human bodies leverage self-supervision to eliminate the need for large training sets. However, they are designed to train one network per clothing item, which severely limits their generalization abilities. In our work, we rely on self-supervision to train a single network to drape multiple garments. This is achieved by predicting a 3D deformation field conditioned on the latent codes of a generative network, which models garments as unsigned distance fields. Our pipeline can generate and drape previously unseen garments of any topology, whose shape can be edited by manipulating their latent codes. Being fully differentiable, our formulation makes it possible to recover accurate 3D models of garments from partial observations -- images or 3D scans -- via gradient descent. Our code will be made publicly available.

表示为深度学习近似的隐式功能对于重建3D表面是强大的。然而，它们只能产生不可控制的静态表面，这提供了通过编辑其姿势或形状参数来修改所得模型的有限能力。尽管如此，这些功能对于构建计算机图形和计算机视觉的灵活模型至关重要。在这项工作中，我们呈现了结合丰富的隐式功能和参数表示的方法，以重建即使在衣服的存在下也能够控制和准确的人的3D模型。给定稀疏的3D点云在衣服的人的表面上采样，我们使用隐式零件网络（IP-Net）共同预测穿衣服的人，内部主体表面的外3D表面，以及对参数的语义对应身体模型。我们随后使用对应关系将主体模型适合于我们的内表面，然后在外表面上非刚性地变形（在参数体+位移模型下），以捕获服装，面部和头发细节。在全身数据和手中的定量和定性实验中，我们表明所提出的方法概括，甚至给出了从单视图深度图像收集的不完整点云。我们的模型和代码可以从http://virtualhumans.mpi-inf.mpg.de/ipnet下载。

神经隐式表面表示作为有希望以连续和独立的方式捕获3D形状的承诺范式。然而，将它们适应铰接形状是非微不足道的。现有方法学习落后的扭曲领域，即地图变形到规范点。然而，这是有问题的，因为后向扭曲字段依赖于姿势，因此需要大量数据来学习。为了解决这个问题，我们通过学习前向变形领域而没有直接监督，将多边形网格与神经隐式表面的线性混合皮肤（LBS）的优势相结合的Snarf。该变形场在规范，姿势独立的空间中定义，允许概括地看不见。学习从姿势网格中的变形字段独立地是具有挑战性，因为变形点的对应关系被隐含地定义，并且在拓扑的变化下可能不是唯一的。我们提出了一种前瞻性的剥皮模型，使用迭代根发现，找到任何变形点的所有规范对应关系。我们通过隐式差分派生分析梯度，从而实现从3D网格与骨骼变换的端到端训练。与最先进的神经隐式表示相比，我们的方法在保持准确性的同时，我们的方法更好地展示了未经造成的姿势。我们展示了我们在多样化和看不见的姿态上挑战（披装）3D人类的具有挑战性的方法。

我们提出了一种基于优化的新型范式，用于在图像和扫描上拟合3D人类模型。与直接回归输入图像中低维统计体模型（例如SMPL）的参数的现有方法相反，我们训练了每个vertex神经场网络的集合。该网络以分布式的方式预测基于当前顶点投影处提取的神经特征的顶点下降方向。在推断时，我们在梯度降低的优化管道中采用该网络，称为LVD，直到其收敛性为止，即使将所有顶点初始化为单个点，通常也会以一秒钟的分数出现。一项详尽的评估表明，我们的方法能够捕获具有截然不同的身体形状的穿着的人体，与最先进的人相比取得了重大改进。 LVD也适用于人类和手的3D模型配合，为此，我们以更简单，更快的方法对SOTA显示出显着改善。

在两个非辅助变形形状之间建立对应关系是视觉计算中最根本的问题之一。当对现实世界中的挑战（例如噪声，异常值，自我结合等）挑战时，现有方法通常会显示出弱的弹性。另一方面，自动描述器在学习几何学上有意义的潜在嵌入方面表现出强大的表现力。但是，它们在\ emph {形状分析}中的使用受到限制。在本文中，我们介绍了一种基于自动码头框架的方法，该方法在固定模板上学习了一个连续形状的变形字段。通过监督点在表面上的变形场，并通过小说\ emph {签名距离正则化}（SDR）正规化点偏面的正规化，我们学习了模板和Shape \ Emph {卷}之间的对齐。经过干净的水密网眼培训，\ emph {没有}任何数据启发，我们证明了在受损的数据和现实世界扫描上表现出令人信服的性能。

SMPL（SMPL）的参数3D身体模型仅代表最小衣服的人，并且很难扩展到衣服，因为它们具有固定的网格拓扑和分辨率。为了解决这些局限性，最近的工作使用隐式表面或点云来建模衣服。虽然不受拓扑的限制，但这种方法仍然很难为偏离身体的偏离的衣服建模，例如裙子和连衣裙。这是因为他们依靠身体来通过将衣服表面放置为参考形状。不幸的是，当衣服远离身体时，这个过程的定义很差。此外，他们使用线性混合剥皮来摆姿势，并将皮肤重量与下面的身体部位绑在一起。相比之下，我们在没有规范化的情况下对局部坐标空间中的衣服变形进行了建模。我们还放松皮肤重量以使多个身体部位影响表面。具体而言，我们用粗糙的阶段扩展了基于点的方法，该方法用学习的姿势独立的“粗大形状”代替了规范化，该方法可以捕获裙子（如裙子）的粗糙表面几何形状。然后，我们使用一个网络来完善该网络，该网络会渗透到粗糙表示中的线性混合剥皮权重和姿势依赖的位移。该方法适合符合身体并偏离身体的服装。我们通过从示例中学习特定于人的化身，然后展示如何以新的姿势和动作来展示它们的有用性。我们还表明，该方法可以直接从原始扫描中学习缺少数据，从而大大简化了创建逼真的化身的过程。代码可用于研究目的，可在{\ small \ url {https://qianlim.github.io/skirt}}中使用。

我们解决了将3D人类模型拟合到穿着人类的3D扫描的问题。古典方法优化数据到模型对应关系和人类模型参数（姿势和形状），但仅在初始化靠近解决方案时可靠。一些方法基于完全监督的对应预测器初始化优化，该预测值不是差异的端到端，并且只能一次处理单个扫描。我们的主要贡献是Loopreg，一个端到端的学习框架，用于向共同的3D人体模型注册扫描语料库。关键的想法是创建一个自我监督的循环。由神经网络参数化的向后地图预测来自每个扫描点到人类模型表面的对应关系。由人类模型参数化的前向地图，基于模型参数（姿势和形状）将相应的点转换回扫描，从而关闭循环。配制该闭环并不简单，因为它不易于迫使NN的输出在人体模型的表面上 - 在这种表面之外，人类模型甚至没有定义。为此，我们提出了两个关键的创新。首先，我们隐含地将规范表面定义为R3中的距离场的零电平集，这与MoreCommon UV参数化相反，不需要切割表面，没有不连续性，并且不会引起失真。其次，我们将人体模型扩散到3D域R3。这允许向前映射NN预测，即使它们略微偏离零电平集。结果表明，我们可以培训LopoPheainly自我监督 - 遵循监督的热门启动，因为处理了额外的未标记的原始扫描，该模型变得越来越准确。我们的代码和预先培训的型号可以下载用于研究。

我们提出了一种从一系列时间演化点云序列中对时间一致的表面序列的无监督重建的方法。它在帧之间产生了密集和语义有意义的对应关系。我们将重建的表面代表由神经网络计算的Atlases，这使我们能够在帧之间建立对应关系。使这些对应关系的关键是语义上有意义的是为了保证在相应点计算的度量张量和尽可能相似。我们设计了一种优化策略，使我们的方法能够强大地对噪声和全局动作，而无需先验的对应关系或预先对准步骤。结果，我们的方法在几个具有挑战性的数据集中占据了最先进的。该代码可在https://github.com/bednarikjan/temporally_coherent_surface_reconstruction附近获得。

学习重建3D服装对于在不同的姿势中穿着不同形状的3D人体来说是重要的。以前的作品通常依赖于2D图像作为输入，但是遭受尺度和构成歧义。为了规避由2D图像引起的问题，我们提出了一个原则的框架，服装4D，它使用穿着人的3D点云序列来服装重建。 Garment4D有三个专用步骤：顺序服装登记，典型服装估算和摆动衣服重建。主要挑战是两倍：1）有效的3D特征学习精细细节，2）捕获由服装和人体之间的相互作用引起的服装动力学，特别是对于像裙子这样的松散服装。为了解开这些问题，我们介绍了一种新的提议引导的分层特征网络和迭代图卷积网络，其集成了高级语义特征和低级几何特征，以进行精细细节重建。此外，我们提出了一种用于平滑服装运动的时间变压器。与非参数方法不同，我们的方法的重建服装网格可与人体分离，并且具有很强的解释性，这对于下游任务是期望的。作为本任务的第一次尝试，通过广泛的实验定性和定量地说明了高质量的重建结果。代码在https://github.com/hongfz16/garment4d提供。

我们提出了FITE，这是一种对服装中的人体化身进行建模的第一刻度框架。我们的框架首先学习了代表粗衣拓扑的隐式表面模板，然后采用模板来指导点集的产生，从而进一步捕获姿势依赖的服装变形，例如皱纹。我们的管道结合了隐式和明确表示的优点，即处理变化拓扑的能力以及有效捕获细节的能力。我们还提出了扩散的皮肤，以促进模板训练，尤其是用于宽松衣服的模板训练，以及基于投影的姿势编码，以从网格模板中提取姿势信息，而无需预定义的紫外线图或连接性。我们的代码可在https://github.com/jsnln/fite上公开获取。

Neural fields have revolutionized the area of 3D reconstruction and novel view synthesis of rigid scenes. A key challenge in making such methods applicable to articulated objects, such as the human body, is to model the deformation of 3D locations between the rest pose (a canonical space) and the deformed space. We propose a new articulation module for neural fields, Fast-SNARF, which finds accurate correspondences between canonical space and posed space via iterative root finding. Fast-SNARF is a drop-in replacement in functionality to our previous work, SNARF, while significantly improving its computational efficiency. We contribute several algorithmic and implementation improvements over SNARF, yielding a speed-up of $150\times$. These improvements include voxel-based correspondence search, pre-computing the linear blend skinning function, and an efficient software implementation with CUDA kernels. Fast-SNARF enables efficient and simultaneous optimization of shape and skinning weights given deformed observations without correspondences (e.g. 3D meshes). Because learning of deformation maps is a crucial component in many 3D human avatar methods and since Fast-SNARF provides a computationally efficient solution, we believe that this work represents a significant step towards the practical creation of 3D virtual humans.

We present G-MSM (Graph-based Multi-Shape Matching), a novel unsupervised learning approach for non-rigid shape correspondence. Rather than treating a collection of input poses as an unordered set of samples, we explicitly model the underlying shape data manifold. To this end, we propose an adaptive multi-shape matching architecture that constructs an affinity graph on a given set of training shapes in a self-supervised manner. The key idea is to combine putative, pairwise correspondences by propagating maps along shortest paths in the underlying shape graph. During training, we enforce cycle-consistency between such optimal paths and the pairwise matches which enables our model to learn topology-aware shape priors. We explore different classes of shape graphs and recover specific settings, like template-based matching (star graph) or learnable ranking/sorting (TSP graph), as special cases in our framework. Finally, we demonstrate state-of-the-art performance on several recent shape correspondence benchmarks, including real-world 3D scan meshes with topological noise and challenging inter-class pairs.

来自3D点云的对象重建在计算机视觉和计算机图形研究字段中取得了令人印象深刻的进展。但是，通常会忽略时间变化点云（又称4D点云）的重建。在本文中，我们提出了一种新的网络体系结构，即RFNET-4D，它共同重建对象及其运动从4D点云中流动。关键见解是，通过一系列点云的学习空间和时间特征同时执行这两个任务可以利用单个任务，从而改善了整体性能。为了证明这种能力，我们使用无监督的学习方法来设计一个时间矢量场学习模块，以进行流程估计，并通过监督对物体重建的空间结构的监督学习来利用。基准数据集的广泛实验和分析验证了我们方法的有效性和效率。如实验结果所示，我们的方法在流动估计和对象重建方面都达到了最先进的性能，同时执行训练和推理中的现有方法要快得多。我们的代码和数据可从https://github.com/hkust-vgd/rfnet-4d获得

Spectral geometric methods have brought revolutionary changes to the field of geometry processing. Of particular interest is the study of the Laplacian spectrum as a compact, isometry and permutation-invariant representation of a shape. Some recent works show how the intrinsic geometry of a full shape can be recovered from its spectrum, but there are approaches that consider the more challenging problem of recovering the geometry from the spectral information of partial shapes. In this paper, we propose a possible way to fill this gap. We introduce a learning-based method to estimate the Laplacian spectrum of the union of partial non-rigid 3D shapes, without actually computing the 3D geometry of the union or any correspondence between those partial shapes. We do so by operating purely in the spectral domain and by defining the union operation between short sequences of eigenvalues. We show that the approximated union spectrum can be used as-is to reconstruct the complete geometry [MRC*19], perform region localization on a template [RTO*19] and retrieve shapes from a database, generalizing ShapeDNA [RWP06] to work with partialities. Working with eigenvalues allows us to deal with unknown correspondence, different sampling, and different discretizations (point clouds and meshes alike), making this operation especially robust and general. Our approach is data-driven and can generalize to isometric and non-isometric deformations of the surface, as long as these stay within the same semantic class (e.g., human bodies or horses), as well as to partiality artifacts not seen at training time.