神经隐式表面表示作为有希望以连续和独立的方式捕获3D形状的承诺范式。然而，将它们适应铰接形状是非微不足道的。现有方法学习落后的扭曲领域，即地图变形到规范点。然而，这是有问题的，因为后向扭曲字段依赖于姿势，因此需要大量数据来学习。为了解决这个问题，我们通过学习前向变形领域而没有直接监督，将多边形网格与神经隐式表面的线性混合皮肤（LBS）的优势相结合的Snarf。该变形场在规范，姿势独立的空间中定义，允许概括地看不见。学习从姿势网格中的变形字段独立地是具有挑战性，因为变形点的对应关系被隐含地定义，并且在拓扑的变化下可能不是唯一的。我们提出了一种前瞻性的剥皮模型，使用迭代根发现，找到任何变形点的所有规范对应关系。我们通过隐式差分派生分析梯度，从而实现从3D网格与骨骼变换的端到端训练。与最先进的神经隐式表示相比，我们的方法在保持准确性的同时，我们的方法更好地展示了未经造成的姿势。我们展示了我们在多样化和看不见的姿态上挑战（披装）3D人类的具有挑战性的方法。

Neural fields have revolutionized the area of 3D reconstruction and novel view synthesis of rigid scenes. A key challenge in making such methods applicable to articulated objects, such as the human body, is to model the deformation of 3D locations between the rest pose (a canonical space) and the deformed space. We propose a new articulation module for neural fields, Fast-SNARF, which finds accurate correspondences between canonical space and posed space via iterative root finding. Fast-SNARF is a drop-in replacement in functionality to our previous work, SNARF, while significantly improving its computational efficiency. We contribute several algorithmic and implementation improvements over SNARF, yielding a speed-up of $150\times$. These improvements include voxel-based correspondence search, pre-computing the linear blend skinning function, and an efficient software implementation with CUDA kernels. Fast-SNARF enables efficient and simultaneous optimization of shape and skinning weights given deformed observations without correspondences (e.g. 3D meshes). Because learning of deformation maps is a crucial component in many 3D human avatar methods and since Fast-SNARF provides a computationally efficient solution, we believe that this work represents a significant step towards the practical creation of 3D virtual humans.

为了使3D人的头像广泛可用，我们必须能够在任意姿势中产生各种具有不同身份和形状的多种3D虚拟人。由于衣服的身体形状，复杂的关节和由此产生的丰富，随机几何细节，这项任务是挑战的挑战。因此，目前代表3D人的方法不提供服装中的人的全部生成模型。在本文中，我们提出了一种新的方法，这些方法可以学习在具有相应的剥皮重量的各种衣服中产生详细的3D形状。具体而言，我们设计了一个多主题前进的剥皮模块，这些模块只有几个受试者的未预装扫描。为了捕获服装中高频细节的随机性，我们利用对抗的侵害制定，鼓励模型捕获潜在统计数据。我们提供了经验证据，这导致了皱纹的局部细节的现实生成。我们表明我们的模型能够产生佩戴各种和详细的衣服的自然人头像。此外，我们表明我们的方法可以用于拟合人类模型到原始扫描的任务，优于以前的最先进。

我们提出了FITE，这是一种对服装中的人体化身进行建模的第一刻度框架。我们的框架首先学习了代表粗衣拓扑的隐式表面模板，然后采用模板来指导点集的产生，从而进一步捕获姿势依赖的服装变形，例如皱纹。我们的管道结合了隐式和明确表示的优点，即处理变化拓扑的能力以及有效捕获细节的能力。我们还提出了扩散的皮肤，以促进模板训练，尤其是用于宽松衣服的模板训练，以及基于投影的姿势编码，以从网格模板中提取姿势信息，而无需预定义的紫外线图或连接性。我们的代码可在https://github.com/jsnln/fite上公开获取。

在计算机愿景中已经过了很长一段时间的3D表示和人体重建。传统方法主要依赖于参数统计线性模型，将可能的身体的空间限制在线性组合。近来，一些方法才试图利用人体建模的神经隐式表示，同时展示令人印象深刻的结果，它们是通过表示能力的限制或没有物理有意义和可控的。在这项工作中，我们提出了一种用于人体的新型神经隐含表示，其具有完全可分辨：无戒开的形状和姿势潜在空间的优化。与事先工作相反，我们的代表是基于运动模型设计的，这使得可以为姿势动画等任务提供可控制的表示，同时允许为3D配件和姿势跟踪等任务进行整形和姿势。我们的模型可以直接培训和精细调整，直接在具有精心设计的损失的非水密原始数据上。实验展示了SOTA方法的改进的3D重建性能，并显示了我们的方法来形状插值，模型拟合，姿势跟踪和运动重新定位的适用性。

传统的变形面模型提供了对表达的细粒度控制，但不能轻易捕获几何和外观细节。神经体积表示方法是光学 - 现实主义，但很难动画，并没有概括到看不见的表达。为了解决这个问题，我们提出了iMavatar（隐式的可变头像），这是一种从单眼视频学习隐含头头像的新方法。灵感来自传统3DMMS提供的细粒度控制机制，我们代表了通过学习的闪打和剥皮领域的表达和与姿势相关的变形。这些属性是姿势独立的，可用于使规范几何形状和纹理字段变成新颖的表达和姿势参数。我们使用射线跟踪和迭代根发现来定位每个像素的规范表面交叉点。关键贡献是我们的新型分析梯度制定，可实现来自视频的imavatars的端到端培训。我们的定量和定性地显示了我们的方法改善了几何形状，并与最先进的方法相比，涵盖了更完整的表达空间。

我们呈现Hipnet，一个在许多姿势的多个科目上培训的神经隐式姿势网络。HIPNET可以从姿势特定的细节中解散特定主题细节，有效地使我们能够从一个受试者到另一个受试者的retrarget运动，或通过潜在空间插值在关键帧之间设置动画。为此，我们采用基于分层的基于骨架的表示，以便在规范的未浮现空间上学习符号距离功能。这种基于联合的分解使我们能够代表本地围绕身体关节周围的空间的细微细节。与以前的神经隐式方法不同，需要基础真实SDF进行培训，我们的模型我们只需要一个构成的骨架和点云进行培训，我们没有对传统的参数模型或传统的剥皮方法的依赖。我们在各种单一主题和多主题基准上实现最先进的结果。

有效地表示人体诸如人体之类的铰接物体是计算机视觉和图形中的重要问题。为了有效地模拟变形，现有方法使用多边形网格表示3D对象，并使用皮肤技术变形。本文介绍了神经表达的形状近似（NASA），这是一种替代框架，可以使用以姿势调节的神经指示函数有效地表示明显的可变形物体。使用NASA进行的占用测试是直接的，可以规定网格的复杂性和水紧身问题。我们证明了NASA对3D跟踪应用的有效性，并讨论了其他潜在扩展。

SMPL（SMPL）的参数3D身体模型仅代表最小衣服的人，并且很难扩展到衣服，因为它们具有固定的网格拓扑和分辨率。为了解决这些局限性，最近的工作使用隐式表面或点云来建模衣服。虽然不受拓扑的限制，但这种方法仍然很难为偏离身体的偏离的衣服建模，例如裙子和连衣裙。这是因为他们依靠身体来通过将衣服表面放置为参考形状。不幸的是，当衣服远离身体时，这个过程的定义很差。此外，他们使用线性混合剥皮来摆姿势，并将皮肤重量与下面的身体部位绑在一起。相比之下，我们在没有规范化的情况下对局部坐标空间中的衣服变形进行了建模。我们还放松皮肤重量以使多个身体部位影响表面。具体而言，我们用粗糙的阶段扩展了基于点的方法，该方法用学习的姿势独立的“粗大形状”代替了规范化，该方法可以捕获裙子（如裙子）的粗糙表面几何形状。然后，我们使用一个网络来完善该网络，该网络会渗透到粗糙表示中的线性混合剥皮权重和姿势依赖的位移。该方法适合符合身体并偏离身体的服装。我们通过从示例中学习特定于人的化身，然后展示如何以新的姿势和动作来展示它们的有用性。我们还表明，该方法可以直接从原始扫描中学习缺少数据，从而大大简化了创建逼真的化身的过程。代码可用于研究目的，可在{\ small \ url {https://qianlim.github.io/skirt}}中使用。

基于坐标的体积表示有可能从图像中生成光真实的虚拟化身。但是，即使是可能未观察到的新姿势，虚拟化身也需要控制。传统技术（例如LBS）提供了这样的功能；但是，通常需要手工设计的车身模板，3D扫描数据和有限的外观模型。另一方面，神经表示在表示视觉细节方面具有强大的作用，但在变形的动态铰接式参与者方面受到了探索。在本文中，我们提出了TAVA，这是一种基于神经表示形式创建无象光动画体积参与者的方法。我们仅依靠多视图数据和跟踪的骨骼来创建演员的体积模型，该模型可以在给定的新颖姿势的测试时间中进行动画。由于塔瓦不需要身体模板，因此它适用于人类以及其他动物（例如动物）。此外，Tava的设计使其可以恢复准确的密集对应关系，从而使其适合于内容创建和编辑任务。通过广泛的实验，我们证明了所提出的方法可以很好地推广到新颖的姿势以及看不见的观点和展示基本的编辑功能。

我们提出了联合隐式功能（UNIF），这是一种基于原始扫描和骨骼作为输入的人类重建和动画的零件方法。先前的基于部分的人重建方法依赖于SMPL的地面零件标签，因此仅限于最小衣服。相比之下，我们的方法学会了将部分与身体运动分开，而不是部分监督，因此可以扩展到穿衣服的人类和其他铰接的物体。我们的分区从动作进行分区是通过以骨骼为中心的初始化，骨限度损失和正常损失来实现的，即使训练姿势受到限制，也可以确保稳定的零件分裂。我们还为SDF提供了最小的周边损失，以抑制额外的表面和部分重叠。我们方法的另一个核心是一种相邻的部分接缝算法，该算法会产生非刚性变形，以维持显着缓解基于部分伪像的部分之间的连接。在该算法下，我们进一步提出了“竞争部分”，该方法通过点对骨骼而不是绝对位置的相对位置定义了重量，从而避免了神经隐式函数的概括性问题（线性混合皮肤）。我们通过在CAPE和ClothSeq数据集上穿衣服的人体重建和动画来证明我们方法的有效性。

4D隐式表示中的最新进展集中在全球控制形状和运动的情况下，低维潜在向量，这很容易缺少表面细节和累积跟踪误差。尽管许多深层的本地表示显示了3D形状建模的有希望的结果，但它们的4D对应物尚不存在。在本文中，我们通过提出一个新颖的局部4D隐性代表来填补这一空白，以动态穿衣人，名为Lord，具有4D人类建模和局部代表的优点，并实现具有详细的表面变形的高保真重建，例如衣服皱纹。特别是，我们的主要见解是鼓励网络学习本地零件级表示的潜在代码，能够解释本地几何形状和时间变形。为了在测试时间进行推断，我们首先估计内部骨架运动在每个时间步中跟踪本地零件，然后根据不同类型的观察到的数据通过自动编码来优化每个部分的潜在代码。广泛的实验表明，该提出的方法具有强大的代表4D人类的能力，并且在实际应用上胜过最先进的方法，包括从稀疏点，非刚性深度融合（质量和定量）进行的4D重建。

In this paper, we propose ARCH (Animatable Reconstruction of Clothed Humans), a novel end-to-end framework for accurate reconstruction of animation-ready 3D clothed humans from a monocular image. Existing approaches to digitize 3D humans struggle to handle pose variations and recover details. Also, they do not produce models that are animation ready. In contrast, ARCH is a learned pose-aware model that produces detailed 3D rigged full-body human avatars from a single unconstrained RGB image. A Semantic Space and a Semantic Deformation Field are created using a parametric 3D body estimator. They allow the transformation of 2D/3D clothed humans into a canonical space, reducing ambiguities in geometry caused by pose variations and occlusions in training data. Detailed surface geometry and appearance are learned using an implicit function representation with spatial local features. Furthermore, we propose additional per-pixel supervision on the 3D reconstruction using opacity-aware differentiable rendering. Our experiments indicate that ARCH increases the fidelity of the reconstructed humans. We obtain more than 50% lower reconstruction errors for standard metrics compared to state-of-the-art methods on public datasets. We also show numerous qualitative examples of animated, high-quality reconstructed avatars unseen in the literature so far.

Deep learning based 3D reconstruction techniques have recently achieved impressive results. However, while stateof-the-art methods are able to output complex 3D geometry, it is not clear how to extend these results to time-varying topologies. Approaches treating each time step individually lack continuity and exhibit slow inference, while traditional 4D reconstruction methods often utilize a template model or discretize the 4D space at fixed resolution. In this work, we present Occupancy Flow, a novel spatio-temporal representation of time-varying 3D geometry with implicit correspondences. Towards this goal, we learn a temporally and spatially continuous vector field which assigns a motion vector to every point in space and time. In order to perform dense 4D reconstruction from images or sparse point clouds, we combine our method with a continuous 3D representation. Implicitly, our model yields correspondences over time, thus enabling fast inference while providing a sound physical description of the temporal dynamics. We show that our method can be used for interpolation and reconstruction tasks, and demonstrate the accuracy of the learned correspondences. We believe that Occupancy Flow is a promising new 4D representation which will be useful for a variety of spatio-temporal reconstruction tasks.

In this paper, we take a significant step towards real-world applicability of monocular neural avatar reconstruction by contributing InstantAvatar, a system that can reconstruct human avatars from a monocular video within seconds, and these avatars can be animated and rendered at an interactive rate. To achieve this efficiency we propose a carefully designed and engineered system, that leverages emerging acceleration structures for neural fields, in combination with an efficient empty space-skipping strategy for dynamic scenes. We also contribute an efficient implementation that we will make available for research purposes. Compared to existing methods, InstantAvatar converges 130x faster and can be trained in minutes instead of hours. It achieves comparable or even better reconstruction quality and novel pose synthesis results. When given the same time budget, our method significantly outperforms SoTA methods. InstantAvatar can yield acceptable visual quality in as little as 10 seconds training time.

我们建议使用点云上的几何感知体系结构，考虑到学习局部结构的数据局部结构，以学习数据的局部结构，以学习数据的局部结构，以了解数据的局部结构，并使用点云上的几何感知体系结构来学习数据的局部结构，以考虑到局部数据结构。估计时间一致的3D变形，而无需在训练时间，通过利用周期一致性来进行密集的对应关系。除了学习密集对应的能力外，GNPM还可以实现潜在空间操作，例如插值和形状/姿势转移。我们在各种衣服的人类数据集上评估了GNPM，并表明它与需要在训练过程中需要密集对应的最新方法相当。

现有的数据驱动方法用于披上姿势的人体，尽管有效，但无法处理任意拓扑的服装，并且通常不是端到端的。为了解决这些局限性，我们提出了一条端到端可区分管道，该管道用隐式表面表示服装，并学习以铰接式身体模型的形状和姿势参数为条件的皮肤场。为了限制身体的插入和人工制品，我们提出了一种解释意识的训练数据的预处理策略和新颖的训练损失，在覆盖服装的同时惩罚了自身交流。我们证明，我们的方法可以针对最新方法产生更准确的结果和变形。此外，我们表明我们的方法凭借其端到端的可不同性，可以从图像观察中共同恢复身体和服装参数，这是以前的工作无法做到的。

Recovering the skeletal shape of an animal from a monocular video is a longstanding challenge. Prevailing animal reconstruction methods often adopt a control-point driven animation model and optimize bone transforms individually without considering skeletal topology, yielding unsatisfactory shape and articulation. In contrast, humans can easily infer the articulation structure of an unknown animal by associating it with a seen articulated character in their memory. Inspired by this fact, we present CASA, a novel Category-Agnostic Skeletal Animal reconstruction method consisting of two major components: a video-to-shape retrieval process and a neural inverse graphics framework. During inference, CASA first retrieves an articulated shape from a 3D character assets bank so that the input video scores highly with the rendered image, according to a pretrained language-vision model. CASA then integrates the retrieved character into an inverse graphics framework and jointly infers the shape deformation, skeleton structure, and skinning weights through optimization. Experiments validate the efficacy of CASA regarding shape reconstruction and articulation. We further demonstrate that the resulting skeletal-animated characters can be used for re-animation.

我们解决了将3D人类模型拟合到穿着人类的3D扫描的问题。古典方法优化数据到模型对应关系和人类模型参数（姿势和形状），但仅在初始化靠近解决方案时可靠。一些方法基于完全监督的对应预测器初始化优化，该预测值不是差异的端到端，并且只能一次处理单个扫描。我们的主要贡献是Loopreg，一个端到端的学习框架，用于向共同的3D人体模型注册扫描语料库。关键的想法是创建一个自我监督的循环。由神经网络参数化的向后地图预测来自每个扫描点到人类模型表面的对应关系。由人类模型参数化的前向地图，基于模型参数（姿势和形状）将相应的点转换回扫描，从而关闭循环。配制该闭环并不简单，因为它不易于迫使NN的输出在人体模型的表面上 - 在这种表面之外，人类模型甚至没有定义。为此，我们提出了两个关键的创新。首先，我们隐含地将规范表面定义为R3中的距离场的零电平集，这与MoreCommon UV参数化相反，不需要切割表面，没有不连续性，并且不会引起失真。其次，我们将人体模型扩散到3D域R3。这允许向前映射NN预测，即使它们略微偏离零电平集。结果表明，我们可以培训LopoPheainly自我监督 - 遵循监督的热门启动，因为处理了额外的未标记的原始扫描，该模型变得越来越准确。我们的代码和预先培训的型号可以下载用于研究。

铰接式3D形状重建的事先工作通常依赖于专用传感器（例如，同步的多摄像机系统）或预先构建的3D可变形模型（例如，Smal或SMPL）。这些方法无法在野外扩展到不同的各种物体。我们呈现Banmo，这是一种需要专用传感器的方法，也不需要预定义的模板形状。 Banmo在可怜的渲染框架中从许多单眼休闲视频中建立高保真，铰接式的3D模型（包括形状和动画皮肤的重量）。虽然许多视频的使用提供了更多的相机视图和对象关节的覆盖范围，但它们在建立不同背景，照明条件等方面建立了重大挑战。我们的主要洞察力是合并三所思想学校; （1）使用铰接骨骼和混合皮肤的经典可变形形状模型，（2）可容纳基于梯度的优化，（3）在像素之间产生对应关系的规范嵌入物模型。我们介绍了神经混合皮肤模型，可允许可微分和可逆的铰接变形。与规范嵌入式结合时，这些模型允许我们在跨越可通过循环一致性自我监督的视频中建立密集的对应。在真实和合成的数据集上，Banmo显示比人类和动物的先前工作更高保真3D重建，具有从新颖的观点和姿势的现实图像。项目网页：Banmo-www.github.io。