从部分扫描中进行的3D纹理形状恢复对于许多现实世界应用至关重要。现有的方法证明了隐性功能表示的功效，但它们患有严重阻塞和不同物体类型的部分输入，这极大地阻碍了其在现实世界中的应用价值。该技术报告介绍了我们通过合并学习的几何先验来解决这些局限性的方法。为此，我们从学习的姿势预测中生成一个SMPL模型，并将其融合到部分输入中，以增加对人体的先验知识。我们还提出了一种新颖的完整性界限框适应，以处理不同级别的尺度和部分扫描的部分性。

我们提出了CrossHuman，这是一种新颖的方法，该方法从参数人类模型和多帧RGB图像中学习了交叉指导，以实现高质量的3D人类重建。为了恢复几何细节和纹理，即使在无形区域中，我们设计了一个重建管道，结合了基于跟踪的方法和无跟踪方法。给定一个单眼RGB序列，我们在整个序列中跟踪参数人模型，与目标框架相对应的点（体素）被参数体运动扭曲为参考框架。在参数体的几何学先验和RGB序列的空间对齐特征的指导下，稳健隐式表面被融合。此外，将多帧变压器（MFT）和一个自我监管的经过修补模块集成到框架中，以放宽参数主体的要求并帮助处理非常松散的布。与以前的作品相比，我们的十字人类可以在可见的和无形区域启用高保真的几何细节和纹理，并提高人类重建的准确性，即使在估计的不准确的参数人类模型下也是如此。实验表明我们的方法达到了最新的（SOTA）性能。

4D隐式表示中的最新进展集中在全球控制形状和运动的情况下，低维潜在向量，这很容易缺少表面细节和累积跟踪误差。尽管许多深层的本地表示显示了3D形状建模的有希望的结果，但它们的4D对应物尚不存在。在本文中，我们通过提出一个新颖的局部4D隐性代表来填补这一空白，以动态穿衣人，名为Lord，具有4D人类建模和局部代表的优点，并实现具有详细的表面变形的高保真重建，例如衣服皱纹。特别是，我们的主要见解是鼓励网络学习本地零件级表示的潜在代码，能够解释本地几何形状和时间变形。为了在测试时间进行推断，我们首先估计内部骨架运动在每个时间步中跟踪本地零件，然后根据不同类型的观察到的数据通过自动编码来优化每个部分的潜在代码。广泛的实验表明，该提出的方法具有强大的代表4D人类的能力，并且在实际应用上胜过最先进的方法，包括从稀疏点，非刚性深度融合（质量和定量）进行的4D重建。

从3D部分纹理扫描中重建3D人体形状仍然是许多计算机视觉和图形应用程序的基本任务 - 例如，身体动画和虚拟敷料。我们提出了一种新的神经网络体系结构，用于3D身体形状和高分辨率纹理完成-BCOM-NET，可以重建从中级到高级部分输入扫描的完整几何形状。我们将整个重建任务分解为两个阶段 - 首先，一个联合隐式学习网络（SCOM-NET和TCOM-NET），该网络将进行体素化扫描及其占用网格作为重建全身形状并预测顶点纹理的输入。其次，一个高分辨率的纹理完成网络，利用预测的粗顶点纹理来注入部分“纹理图集”的缺失部分。对3DBodyTex.V2数据集进行了彻底的实验评估表明，我们的方法在最先进的情况下取得了竞争成果，同时概括了不同类型和部分形状的水平。所提出的方法在2022年尖锐的挑战1-Track1中也排名第二。

The combination of artist-curated scans, and deep implicit functions (IF), is enabling the creation of detailed, clothed, 3D humans from images. However, existing methods are far from perfect. IF-based methods recover free-form geometry but produce disembodied limbs or degenerate shapes for unseen poses or clothes. To increase robustness for these cases, existing work uses an explicit parametric body model to constrain surface reconstruction, but this limits the recovery of free-form surfaces such as loose clothing that deviates from the body. What we want is a method that combines the best properties of implicit and explicit methods. To this end, we make two key observations: (1) current networks are better at inferring detailed 2D maps than full-3D surfaces, and (2) a parametric model can be seen as a "canvas" for stitching together detailed surface patches. ECON infers high-fidelity 3D humans even in loose clothes and challenging poses, while having realistic faces and fingers. This goes beyond previous methods. Quantitative, evaluation of the CAPE and Renderpeople datasets shows that ECON is more accurate than the state of the art. Perceptual studies also show that ECON's perceived realism is better by a large margin. Code and models are available for research purposes at https://xiuyuliang.cn/econ

Figure 1. This paper introduces Local Deep Implicit Functions, a 3D shape representation that decomposes an input shape (mesh on left in every triplet) into a structured set of shape elements (colored ellipses on right) whose contributions to an implicit surface reconstruction (middle) are represented by latent vectors decoded by a deep network. Project video and website at ldif.cs.princeton.edu.

在计算机愿景中已经过了很长一段时间的3D表示和人体重建。传统方法主要依赖于参数统计线性模型，将可能的身体的空间限制在线性组合。近来，一些方法才试图利用人体建模的神经隐式表示，同时展示令人印象深刻的结果，它们是通过表示能力的限制或没有物理有意义和可控的。在这项工作中，我们提出了一种用于人体的新型神经隐含表示，其具有完全可分辨：无戒开的形状和姿势潜在空间的优化。与事先工作相反，我们的代表是基于运动模型设计的，这使得可以为姿势动画等任务提供可控制的表示，同时允许为3D配件和姿势跟踪等任务进行整形和姿势。我们的模型可以直接培训和精细调整，直接在具有精心设计的损失的非水密原始数据上。实验展示了SOTA方法的改进的3D重建性能，并显示了我们的方法来形状插值，模型拟合，姿势跟踪和运动重新定位的适用性。

为了解决由单眼人类体积捕获中部分观察结果引起的不足问题，我们提出了Avatarcap，这是一个新颖的框架，该框架将可动画的化身引入了可见和不可见区域中高保真重建的捕获管道中。我们的方法首先为该主题创建一个可动画化的化身，从少量（〜20）的3D扫描作为先验。然后给出了该主题的单眼RGB视频，我们的方法集成了图像观察和头像先验的信息，因此无论可见性如何，都会重新构建具有动态细节的高保真3D纹理模型。为了学习有效的头像，仅从少数样品中捕获体积捕获，我们提出了GeoteXavatar，该地理Xavatar利用几何和纹理监督以分解的隐式方式限制了姿势依赖性动力学。进一步提出了一种涉及规范正常融合和重建网络的头像条件的体积捕获方法，以在观察到的区域和无形区域中整合图像观测和化身动力学，以整合图像观测和头像动力学。总体而言，我们的方法可以通过详细的和姿势依赖性动力学实现单眼人体体积捕获，并且实验表明我们的方法优于最新的最新状态。代码可在https://github.com/lizhe00/avatarcap上找到。

表示为深度学习近似的隐式功能对于重建3D表面是强大的。然而，它们只能产生不可控制的静态表面，这提供了通过编辑其姿势或形状参数来修改所得模型的有限能力。尽管如此，这些功能对于构建计算机图形和计算机视觉的灵活模型至关重要。在这项工作中，我们呈现了结合丰富的隐式功能和参数表示的方法，以重建即使在衣服的存在下也能够控制和准确的人的3D模型。给定稀疏的3D点云在衣服的人的表面上采样，我们使用隐式零件网络（IP-Net）共同预测穿衣服的人，内部主体表面的外3D表面，以及对参数的语义对应身体模型。我们随后使用对应关系将主体模型适合于我们的内表面，然后在外表面上非刚性地变形（在参数体+位移模型下），以捕获服装，面部和头发细节。在全身数据和手中的定量和定性实验中，我们表明所提出的方法概括，甚至给出了从单视图深度图像收集的不完整点云。我们的模型和代码可以从http://virtualhumans.mpi-inf.mpg.de/ipnet下载。

目前用于学习现实和可动画3D穿衣服的方法需要带有仔细控制的用户的构成3D扫描或2D图像。相比之下，我们的目标是从不受约束的姿势中只有2D人的人们学习化身。给定一组图像，我们的方法估计来自每个图像的详细3D表面，然后将它们组合成一个可动画的化身。隐式功能非常适合第一个任务，因为他们可以捕获像头发或衣服等细节。然而，目前的方法对各种人类的姿势并不稳健，并且通常会产生破碎或肢体的3D表面，缺少细节或非人形状。问题是这些方法使用对全局姿势敏感的全局特征编码器。为了解决这个问题，我们提出图标（“从正规中获得的隐式衣物人类”），它使用本地特征。图标有两个主要模块，两者都利用SMPL（-X）正文模型。首先，图标Infers详细的衣服 - 人类法线（前/后）在SMPL（-X）法线上。其次，可视性感知隐式表面回归系统产生人占用场的ISO表面。重要的是，在推断时间下，反馈回路在使用推断的布料正线改进SMPL（-X）网格之间交替，然后改装正常。给定多种姿势的多个重建帧，我们使用扫描来从中生成可动画的化身。对Agora和Cape数据集的评估显示，即使具有大量有限的培训数据，图标越优于重建中的最新状态。另外，它对分布外样品进行更强大，例如，野外的姿势/图像和帧外裁剪。图标从野外图像中迈向强大的3D穿上人体重建。这使得能够使用个性化和天然姿势依赖布变形来直接从视频创建化身。

SMPL（SMPL）的参数3D身体模型仅代表最小衣服的人，并且很难扩展到衣服，因为它们具有固定的网格拓扑和分辨率。为了解决这些局限性，最近的工作使用隐式表面或点云来建模衣服。虽然不受拓扑的限制，但这种方法仍然很难为偏离身体的偏离的衣服建模，例如裙子和连衣裙。这是因为他们依靠身体来通过将衣服表面放置为参考形状。不幸的是，当衣服远离身体时，这个过程的定义很差。此外，他们使用线性混合剥皮来摆姿势，并将皮肤重量与下面的身体部位绑在一起。相比之下，我们在没有规范化的情况下对局部坐标空间中的衣服变形进行了建模。我们还放松皮肤重量以使多个身体部位影响表面。具体而言，我们用粗糙的阶段扩展了基于点的方法，该方法用学习的姿势独立的“粗大形状”代替了规范化，该方法可以捕获裙子（如裙子）的粗糙表面几何形状。然后，我们使用一个网络来完善该网络，该网络会渗透到粗糙表示中的线性混合剥皮权重和姿势依赖的位移。该方法适合符合身体并偏离身体的服装。我们通过从示例中学习特定于人的化身，然后展示如何以新的姿势和动作来展示它们的有用性。我们还表明，该方法可以直接从原始扫描中学习缺少数据，从而大大简化了创建逼真的化身的过程。代码可用于研究目的，可在{\ small \ url {https://qianlim.github.io/skirt}}中使用。

Single-image 3D human reconstruction aims to reconstruct the 3D textured surface of the human body given a single image. While implicit function-based methods recently achieved reasonable reconstruction performance, they still bear limitations showing degraded quality in both surface geometry and texture from an unobserved view. In response, to generate a realistic textured surface, we propose ReFu, a coarse-to-fine approach that refines the projected backside view image and fuses the refined image to predict the final human body. To suppress the diffused occupancy that causes noise in projection images and reconstructed meshes, we propose to train occupancy probability by simultaneously utilizing 2D and 3D supervisions with occupancy-based volume rendering. We also introduce a refinement architecture that generates detail-preserving backside-view images with front-to-back warping. Extensive experiments demonstrate that our method achieves state-of-the-art performance in 3D human reconstruction from a single image, showing enhanced geometry and texture quality from an unobserved view.

Our method completes a partial 3D scan using a 3D Encoder-Predictor network that leverages semantic features from a 3D classification network. The predictions are correlated with a shape database, which we use in a multi-resolution 3D shape synthesis step. We obtain completed high-resolution meshes that are inferred from partial, low-resolution input scans.

有效地表示人体诸如人体之类的铰接物体是计算机视觉和图形中的重要问题。为了有效地模拟变形，现有方法使用多边形网格表示3D对象，并使用皮肤技术变形。本文介绍了神经表达的形状近似（NASA），这是一种替代框架，可以使用以姿势调节的神经指示函数有效地表示明显的可变形物体。使用NASA进行的占用测试是直接的，可以规定网格的复杂性和水紧身问题。我们证明了NASA对3D跟踪应用的有效性，并讨论了其他潜在扩展。

为了使3D人的头像广泛可用，我们必须能够在任意姿势中产生各种具有不同身份和形状的多种3D虚拟人。由于衣服的身体形状，复杂的关节和由此产生的丰富，随机几何细节，这项任务是挑战的挑战。因此，目前代表3D人的方法不提供服装中的人的全部生成模型。在本文中，我们提出了一种新的方法，这些方法可以学习在具有相应的剥皮重量的各种衣服中产生详细的3D形状。具体而言，我们设计了一个多主题前进的剥皮模块，这些模块只有几个受试者的未预装扫描。为了捕获服装中高频细节的随机性，我们利用对抗的侵害制定，鼓励模型捕获潜在统计数据。我们提供了经验证据，这导致了皱纹的局部细节的现实生成。我们表明我们的模型能够产生佩戴各种和详细的衣服的自然人头像。此外，我们表明我们的方法可以用于拟合人类模型到原始扫描的任务，优于以前的最先进。

我们提出了一种基于优化的新型范式，用于在图像和扫描上拟合3D人类模型。与直接回归输入图像中低维统计体模型（例如SMPL）的参数的现有方法相反，我们训练了每个vertex神经场网络的集合。该网络以分布式的方式预测基于当前顶点投影处提取的神经特征的顶点下降方向。在推断时，我们在梯度降低的优化管道中采用该网络，称为LVD，直到其收敛性为止，即使将所有顶点初始化为单个点，通常也会以一秒钟的分数出现。一项详尽的评估表明，我们的方法能够捕获具有截然不同的身体形状的穿着的人体，与最先进的人相比取得了重大改进。 LVD也适用于人类和手的3D模型配合，为此，我们以更简单，更快的方法对SOTA显示出显着改善。

3D单眼图像的人体重建是在多个域中具有更广泛应用的计算机视觉中有趣和不良的问题。在本文中，我们提出了一种新颖的端到端培训网络，可从单眼图像中准确地恢复3D人的详细几何和外观。在衣服模型的非参数去皮深度图表示之前，我们提出了稀疏和有效的参数体融合。参数正文以两种方式进行了限制我们的模型：首先，网络保留不受衣服封闭的几何一致身体部位，而第二件，它提供了改善剥离深度图的预测的身体形状上下文。这使得能够在给定输入图像的情况下，在2D地图上的L1损耗仅恢复细粒度的3D几何细节。我们在公开可用的布料3D和Thuman数据集中评估夏普，并向最先进的方法报告卓越的性能。

In this paper, we propose ARCH (Animatable Reconstruction of Clothed Humans), a novel end-to-end framework for accurate reconstruction of animation-ready 3D clothed humans from a monocular image. Existing approaches to digitize 3D humans struggle to handle pose variations and recover details. Also, they do not produce models that are animation ready. In contrast, ARCH is a learned pose-aware model that produces detailed 3D rigged full-body human avatars from a single unconstrained RGB image. A Semantic Space and a Semantic Deformation Field are created using a parametric 3D body estimator. They allow the transformation of 2D/3D clothed humans into a canonical space, reducing ambiguities in geometry caused by pose variations and occlusions in training data. Detailed surface geometry and appearance are learned using an implicit function representation with spatial local features. Furthermore, we propose additional per-pixel supervision on the 3D reconstruction using opacity-aware differentiable rendering. Our experiments indicate that ARCH increases the fidelity of the reconstructed humans. We obtain more than 50% lower reconstruction errors for standard metrics compared to state-of-the-art methods on public datasets. We also show numerous qualitative examples of animated, high-quality reconstructed avatars unseen in the literature so far.

尽管3D形状表示能够在许多视觉和感知应用中实现强大的推理，但学习3D形状先验倾向于将其限制在培训的特定类别中，从而导致学习效率低下，尤其是对于具有看不见类别的一般应用。因此，我们提出了补丁程序，该贴片可以根据多分辨率的本地贴片来学习有效的形状先验，这些贴片通常比完整的形状（例如，椅子和桌子经常共享腿）更一般，因此可以对看不见的类别类别进行几何推理。为了学习这些共享的子结构，我们学习了所有火车类别的多分辨率补丁验证者，然后通过整个贴片研究人员的注意与输入部分形状观察相关联，并最终被解码为完整的形状重建。此类基于补丁的先验避免过度适合特定的火车类别，并在测试时间对完全看不见的类别进行重建。我们证明了方法对合成造型数据的有效性以及扫描仪的挑战的实扫描对象，包括噪音和混乱，在新型类别形状的完成状态下改善了塑形距离的新型类别形状的状态，并提高了19.3％扫描仪9.0％。