3D面重建结果的评估通常取决于估计的3D模型和地面真相扫描之间的刚性形状比对。我们观察到，将两个形状与不同的参考点进行排列可以在很大程度上影响评估结果。这给精确诊断和改进3D面部重建方法带来了困难。在本文中，我们提出了一种新的评估方法，并采用了新的基准测试，包括100张全球对齐的面部扫描，具有准确的面部关键点，高质量的区域口罩和拓扑符合的网格。我们的方法执行区域形状比对，并导致计算形状误差期间更准确，双向对应关系。细粒度，区域评估结果为我们提供了有关最先进的3D面部重建方法表现的详细理解。例如，我们对基于单图像的重建方法的实验表明，DECA在鼻子区域表现最好，而Ganfit在脸颊区域的表现更好。此外，使用与我们构造的相同过程以对齐和重新构造几个3D面部数据集的新型和高质量的3DMM基础HIFI3D ++。我们将在https://realy3dface.com上发布真正的HIFI3D ++以及我们的新评估管道。

在本文中，我们提出了一个大型详细的3D面部数据集，FACESCAPE和相应的基准，以评估单视图面部3D重建。通过对FACESCAPE数据进行训练，提出了一种新的算法来预测从单个图像输入的精心索引3D面模型。 FACESCAPE DataSet提供18,760个纹理的3D面，从938个科目捕获，每个纹理和每个特定表达式。 3D模型包含孔径级面部几何形状，也被处理为拓扑均匀化。这些精细的3D面部模型可以表示为用于详细几何的粗糙形状和位移图的3D可线模型。利用大规模和高精度的数据集，进一步提出了一种使用深神经网络学习特定于表达式动态细节的新颖算法。学习的关系是从单个图像输入的3D面预测系统的基础。与以前的方法不同，我们的预测3D模型在不同表达式下具有高度详细的几何形状。我们还使用FACESCAPE数据来生成野外和实验室内基准，以评估最近的单视面重建方法。报告并分析了相机姿势和焦距的尺寸，并提供了忠诚和综合评估，并揭示了新的挑战。前所未有的数据集，基准和代码已被释放到公众以进行研究目的。

We propose a novel 3D morphable model for complete human heads based on hybrid neural fields. At the core of our model lies a neural parametric representation which disentangles identity and expressions in disjoint latent spaces. To this end, we capture a person's identity in a canonical space as a signed distance field (SDF), and model facial expressions with a neural deformation field. In addition, our representation achieves high-fidelity local detail by introducing an ensemble of local fields centered around facial anchor points. To facilitate generalization, we train our model on a newly-captured dataset of over 2200 head scans from 124 different identities using a custom high-end 3D scanning setup. Our dataset significantly exceeds comparable existing datasets, both with respect to quality and completeness of geometry, averaging around 3.5M mesh faces per scan. Finally, we demonstrate that our approach outperforms state-of-the-art methods by a significant margin in terms of fitting error and reconstruction quality.

近年来，由于其在数字人物，角色产生和动画中的广泛应用，人们对3D人脸建模的兴趣越来越大。现有方法压倒性地强调了对面部的外部形状，质地和皮肤特性建模，而忽略了内部骨骼结构和外观之间的固有相关性。在本文中，我们使用学习的参数面部发电机提出了雕塑家，具有骨骼一致性的3D面部创作，旨在通过混合参数形态表示轻松地创建解剖上正确和视觉上令人信服的面部模型。雕塑家的核心是露西（Lucy），这是与整形外科医生合作的第一个大型形状面部脸部数据集。我们的Lucy数据集以最古老的人类祖先之一的化石命名，其中包含正牙手术前后全人头的高质量计算机断层扫描（CT）扫描，这对于评估手术结果至关重要。露西（Lucy）由144次扫描，分别对72名受试者（31名男性和41名女性）组成，其中每个受试者进行了两次CT扫描，并在恐惧后手术中进行了两次CT扫描。根据我们的Lucy数据集，我们学习了一个新颖的骨骼一致的参数面部发电机雕塑家，它可以创建独特而细微的面部特征，以帮助定义角色，同时保持生理声音。我们的雕塑家通过将3D脸的描绘成形状混合形状，姿势混合形状和面部表达混合形状，共同在统一数据驱动的框架下共同建模头骨，面部几何形状和面部外观。与现有方法相比，雕塑家在面部生成任务中保留了解剖学正确性和视觉现实主义。最后，我们展示了雕塑家在以前看不见的各种花式应用中的鲁棒性和有效性。

新兴的元应用需要人类手的可靠，准确和逼真的复制品，以便在物理世界中进行复杂的操作。虽然真实的人手代表了骨骼，肌肉，肌腱和皮肤之间最复杂的协调之一，但最先进的技术一致专注于仅建模手的骨架。在本文中，我们提出了Nimble，这是一种新型的参数手模型，其中包括缺少的密钥组件，将3D手模型带入了新的现实主义水平。我们首先在最近的磁共振成像手（MRI手）数据集上注释肌肉，骨骼和皮肤，然后在数据集中的单个姿势和受试者上注册一个体积模板手。敏捷由20个骨头组成，作为三角形网格，7个肌肉群作为四面体网眼和一个皮肤网。通过迭代形状的注册和参数学习，它进一步产生形状的混合形状，姿势混合形状和关节回归器。我们证明将敏捷性应用于建模，渲染和视觉推理任务。通过强制执行内部骨骼和肌肉以符合解剖学和运动学规则，Nimble可以使3D手动画为前所未有的现实主义。为了建模皮肤的外观，我们进一步构建了一个光度法，以获取高质量的纹理和正常地图，以模型皱纹和棕榈印刷。最后，敏捷还通过合成丰富的数据或直接作为推理网络中的可区分层来使基于学习的手姿势和形状估计受益。

本文介绍了一个新的大型多视图数据集，称为Humbi的人体表达式，具有天然衣物。 HUMBI的目标是为了便于建模特异性的外观和五个主要身体信号的几何形状，包括来自各种各样的人的凝视，面部，手，身体和服装。 107同步高清摄像机用于捕获772个跨性别，种族，年龄和风格的独特科目。使用多视图图像流，我们使用3D网格模型重建高保真体表达式，允许表示特定于视图的外观。我们证明HUMBI在学习和重建完整的人体模型方面非常有效，并且与人体表达的现有数据集互补，具有有限的观点和主题，如MPII-Gaze，Multi-Pie，Human 3.6m和Panoptic Studio数据集。基于HUMBI，我们制定了一种展开的姿态引导外观渲染任务的新基准挑战，其旨在大大延长了在3D中建模的不同人类表达式中的光敏性，这是真实的社会远程存在的关键能力。 Humbi公开提供http://humbi-data.net

人类性能捕获是一种非常重要的计算机视觉问题，在电影制作和虚拟/增强现实中具有许多应用。许多以前的性能捕获方法需要昂贵的多视图设置，或者没有恢复具有帧到帧对应关系的密集时空相干几何。我们提出了一种新颖的深度致密人体性能捕获的深层学习方法。我们的方法是基于多视图监督的弱监督方式培训，完全删除了使用3D地面真理注释的培训数据的需求。网络架构基于两个单独的网络，将任务解散为姿势估计和非刚性表面变形步骤。广泛的定性和定量评估表明，我们的方法在质量和稳健性方面优于现有技术。这项工作是DeepCAP的扩展版本，在那里我们提供更详细的解释，比较和结果以及应用程序。

在这项工作中，我们为来自多视图RGB图像的3D面部重建提供了一种新方法。与以前的方法（3DMMS）构建的先前方法不同，我们的方法利用隐式表示来编码丰富的几何特征。我们的整体管道由两个主要组件组成，包括几何网络，它学习可变形的神经签名距离函数（SDF）作为3D面部表示，以及渲染网络，该渲染网络学会呈现神经SDF的面积点以匹配通过自我监督优化输入图像。要处理在测试时间的不同表达式的相同目标的野外稀疏视图输入，我们进一步提出了残余潜代码，以有效地扩展了学习的隐式面部表示的形状空间，以及新颖的视图开关丢失强制执行不同视图之间的一致性。我们在多个基准数据集上的实验结果表明，与最先进的方法相比，我们的方法优于替代基准，实现了优越的面部重建结果。

3D面部重建是一个具有挑战性的问题，但也是计算机视觉和图形领域的重要任务。最近，许多研究人员对这个问题提请注意，并且已经发表了大量的文章。单个图像重建是3D面部重建的分支之一，在我们的生活中具有大量应用。本文是对从单个图像的3D面部重建最近的文献述评。

从2D图像中学习可变形的3D对象通常是一个不适的问题。现有方法依赖于明确的监督来建立多视图对应关系，例如模板形状模型和关键点注释，这将其在“野外”中的对象上限制了。建立对应关系的一种更自然的方法是观看四处移动的对象的视频。在本文中，我们介绍了Dove，一种方法，可以从在线可用的单眼视频中学习纹理的3D模型，而无需关键点，视点或模板形状监督。通过解决对称性诱导的姿势歧义并利用视频中的时间对应关系，该模型会自动学会从每个单独的RGB框架中分解3D形状，表达姿势和纹理，并准备在测试时间进行单像推断。在实验中，我们表明现有方法无法学习明智的3D形状，而无需其他关键点或模板监督，而我们的方法在时间上产生了时间一致的3D模型，可以从任意角度来对其进行动画和呈现。

Figure 1: Frankenstein (silver) and Adam (gold). This paper presents a 3D human model capable of concurrently tracking the large-scale posture of the body along with the smaller details of a persons facial expressions and hand gestures.

虽然3D人类重建方法使用像素对齐的隐式功能（PIFU）开发快速，但我们观察到重建细节的质量仍然不令人满意。扁平的面部表面经常发生在基于PIFU的重建结果中。为此，我们提出了一个双重PIFU表示，以提高重建的面部细节的质量。具体地，我们利用两只MLP分别代表面部和人体的PIFU。专用于三维面重建的MLP可以提高网络容量，并降低面部细节重建的难度，如前一级PIFU表示。要解决拓扑错误，我们利用3个RGBD传感器捕获多视图RGBD数据作为网络的输入，稀疏，轻量级捕获设置。由于深度噪声严重影响重建结果，我们设计深度细化模块，以减少输入RGB图像的引导下的原始深度的噪声。我们还提出了一种自适应融合方案来熔化身体的预测占用场和面部的预测占用场，以消除其边界处的不连续性伪影。实验证明了我们在重建生动的面部细节和变形体形状方面的效果，并验证了其优于最先进的方法。

我们介绍了一个现实的单发网眼的人体头像创作的系统，即简称罗马。使用一张照片，我们的模型估计了特定于人的头部网格和相关的神经纹理，该神经纹理编码局部光度和几何细节。最终的化身是操纵的，可以使用神经网络进行渲染，该神经网络与野外视频数据集上的网格和纹理估计器一起训练。在实验中，我们观察到我们的系统在头部几何恢复和渲染质量方面都具有竞争性的性能，尤其是对于跨人的重新制定。请参阅结果https://samsunglabs.github.io/rome/

从单个图像重建高保真3D面部纹理是一个具有挑战性的任务，因为缺乏完整的面部信息和3D面和2D图像之间的域间隙。最新作品通过应用基于代或基于重建的方法来解决面部纹理重建问题。尽管各种方法具有自身的优势，但它们不能恢复高保真和可重新可传送的面部纹理，其中术语“重新可调剂”要求面部质地在空间地完成和与环境照明中脱颖而出。在本文中，我们提出了一种新颖的自我监督学习框架，用于从野外的单视图重建高质量的3D面。我们的主要思想是首先利用先前的一代模块来生产先前的Albedo，然后利用细节细化模块来获得详细的Albedo。为了进一步使面部纹理解开照明，我们提出了一种新颖的详细的照明表示，该表现在一起与详细的Albedo一起重建。我们还在反照侧和照明方面设计了几种正规化损失功能，以便于解散这两个因素。最后，由于可怜的渲染技术，我们的神经网络可以以自我监督的方式有效地培训。关于具有挑战性的数据集的广泛实验表明，我们的框架在定性和定量比较方面显着优于最先进的方法。

We present HARP (HAnd Reconstruction and Personalization), a personalized hand avatar creation approach that takes a short monocular RGB video of a human hand as input and reconstructs a faithful hand avatar exhibiting a high-fidelity appearance and geometry. In contrast to the major trend of neural implicit representations, HARP models a hand with a mesh-based parametric hand model, a vertex displacement map, a normal map, and an albedo without any neural components. As validated by our experiments, the explicit nature of our representation enables a truly scalable, robust, and efficient approach to hand avatar creation. HARP is optimized via gradient descent from a short sequence captured by a hand-held mobile phone and can be directly used in AR/VR applications with real-time rendering capability. To enable this, we carefully design and implement a shadow-aware differentiable rendering scheme that is robust to high degree articulations and self-shadowing regularly present in hand motion sequences, as well as challenging lighting conditions. It also generalizes to unseen poses and novel viewpoints, producing photo-realistic renderings of hand animations performing highly-articulated motions. Furthermore, the learned HARP representation can be used for improving 3D hand pose estimation quality in challenging viewpoints. The key advantages of HARP are validated by the in-depth analyses on appearance reconstruction, novel-view and novel pose synthesis, and 3D hand pose refinement. It is an AR/VR-ready personalized hand representation that shows superior fidelity and scalability.

We present PhoMoH, a neural network methodology to construct generative models of photorealistic 3D geometry and appearance of human heads including hair, beards, clothing and accessories. In contrast to prior work, PhoMoH models the human head using neural fields, thus supporting complex topology. Instead of learning a head model from scratch, we propose to augment an existing expressive head model with new features. Concretely, we learn a highly detailed geometry network layered on top of a mid-resolution head model together with a detailed, local geometry-aware, and disentangled color field. Our proposed architecture allows us to learn photorealistic human head models from relatively little data. The learned generative geometry and appearance networks can be sampled individually and allow the creation of diverse and realistic human heads. Extensive experiments validate our method qualitatively and across different metrics.

从单眼图像中恢复纹理的3D网格是高度挑战的，尤其是对于缺乏3D地面真理的野外物体。在这项工作中，我们提出了网络文化，这是一个新的框架，可通过利用3D GAN预先训练的3D纹理网格合成的3D GAN的生成性先验。重建是通过在3D GAN中搜索最类似于目标网格的潜在空间来实现重建。由于预先训练的GAN以网状几何形状和纹理封装了丰富的3D语义，因此在GAN歧管内进行搜索，因此自然地使重建的真实性和忠诚度正常。重要的是，这种正则化直接应用于3D空间，从而提供了在2D空间中未观察到的网格零件的关键指导。标准基准测试的实验表明，我们的框架获得了忠实的3D重建，并在观察到的部分和未观察到的部分中都具有一致的几何形状和纹理。此外，它可以很好地推广到不太常见的网格中，例如可变形物体的扩展表达。代码在https://github.com/junzhezhang/mesh-inversion上发布

许多最近的作品通过基于参数模型聚集了相同的身份的形状参数并将不同人的形状参数聚集在一起（例如，3D可变模型（3DMMS））来重建独特的3D面形状。然而，尽管使用这些形状参数的面部识别任务中的高精度，但是从那些参数重建的面部形状的视觉辨别是不令人满意的。以下研究尚未回答以下研究问题：做差异的形状参数保证所代表的3D面形状的视觉歧视吗？本文分析了形状参数与重建形状几何之间的关系，提出了一种新颖的形状相同感知正则化（SIR）损耗的形状参数，旨在增加形状参数和形状几何域中的辨别性。此外，为了应对包含地标和身份注释的缺乏培训数据，我们提出了一种网络结构和相关的培训策略，以利用包含身份或地标标签的混合数据。我们将我们的方法与现有方法进行比较重建误差，视觉区分性和形状参数的面部识别准确性。实验结果表明，我们的方法优于最先进的方法。

虚拟网格是在线通信的未来。服装是一个人身份和自我表达的重要组成部分。然而，目前，在培训逼真的布置动画的远程介绍模型的必需分子和准确性中，目前无法使用注册衣服的地面真相数据。在这里，我们提出了一条端到端的管道，用于建造可驱动的服装代表。我们方法的核心是一种多视图图案的布跟踪算法，能够以高精度捕获变形。我们进一步依靠跟踪方法生产的高质量数据来构建服装头像：一件衣服的表达和完全驱动的几何模型。可以使用一组稀疏的视图来对所得模型进行动画，并产生高度逼真的重建，这些重建忠于驾驶信号。我们证明了管道对现实的虚拟电视应用程序的功效，在该应用程序中，从两种视图中重建了衣服，并且用户可以根据自己的意愿进行选择和交换服装设计。此外，当仅通过身体姿势驱动时，我们表现出一个具有挑战性的场景，我们可驾驶的服装Avatar能够生产出比最先进的面包质量明显更高的逼真的布几何形状。

我们提出了可区分的立体声，这是一种多视图立体方法，可从几乎没有输入视图和嘈杂摄像机中重建形状和纹理。我们将传统的立体定向和现代可区分渲染配对，以构建端到端模型，该模型可以预测具有不同拓扑和形状的物体的纹理3D网眼。我们将立体定向作为优化问题，并通过简单的梯度下降同时更新形状和相机。我们进行了广泛的定量分析，并与传统的多视图立体声技术和基于最先进的学习方法进行比较。我们展示了令人信服的重建，这些重建是在挑战现实世界的场景上，以及具有复杂形状，拓扑和纹理的大量对象类型。项目网页：https：//shubham-goel.github.io/ds/