从单个图像重建高保真3D面部纹理是一个具有挑战性的任务，因为缺乏完整的面部信息和3D面和2D图像之间的域间隙。最新作品通过应用基于代或基于重建的方法来解决面部纹理重建问题。尽管各种方法具有自身的优势，但它们不能恢复高保真和可重新可传送的面部纹理，其中术语“重新可调剂”要求面部质地在空间地完成和与环境照明中脱颖而出。在本文中，我们提出了一种新颖的自我监督学习框架，用于从野外的单视图重建高质量的3D面。我们的主要思想是首先利用先前的一代模块来生产先前的Albedo，然后利用细节细化模块来获得详细的Albedo。为了进一步使面部纹理解开照明，我们提出了一种新颖的详细的照明表示，该表现在一起与详细的Albedo一起重建。我们还在反照侧和照明方面设计了几种正规化损失功能，以便于解散这两个因素。最后，由于可怜的渲染技术，我们的神经网络可以以自我监督的方式有效地培训。关于具有挑战性的数据集的广泛实验表明，我们的框架在定性和定量比较方面显着优于最先进的方法。

在过去几年中，许多面部分析任务已经完成了惊人的性能，其中应用包括来自单个“野外”图像的面部生成和3D面重建。尽管如此，据我们所知，没有方法可以从“野外”图像中产生渲染的高分辨率3D面，并且这可以归因于：（a）可用数据的跨度进行培训（b）缺乏可以成功应用于非常高分辨率数据的强大方法。在这项工作中，我们介绍了一种能够从单个“野外”图像中重建光电型渲染3D面部几何和BRDF的第一种方法。我们捕获了一个大型的面部形状和反射率，我们已经公开了。我们用精确的面部皮肤漫射和镜面反射，自遮挡和地下散射近似来定义快速面部光电型拟型渲染方法。有了这一点，我们训练一个网络，将面部漫射和镜面BRDF组件与烘焙照明的形状和质地一起脱颖而出，以最先进的3DMM配件方法重建。我们的方法通过显着的余量优于现有技术，并从单个低分辨率图像重建高分辨率3D面，这可以在各种应用中呈现，并桥接不一体谷。

我们提出了Boareskinnet，这是一种新颖的方法，可以同时去除面部图像的化妆和照明影响。我们的方法利用3D形态模型，不需要参考干净的面部图像或指定的光条件。通过结合3D面重建的过程，我们可以轻松获得3D几何和粗3D纹理。使用此信息，我们可以通过图像翻译网络推断出归一化的3D面纹理图（扩散，正常，粗糙和镜面）。因此，没有不良信息的重建3D面部纹理将显着受益于随后的过程，例如重新照明或重新制作。在实验中，我们表明Bareskinnet优于最先进的化妆方法。此外，我们的方法有助于卸妆以生成一致的高保真纹理图，这使其可扩展到许多现实的面部生成应用。它还可以在相应的3D数据之前和之后自动构建面部化妆图像的图形资产。这将有助于艺术家加速他们的作品，例如3D Makeup Avatar创作。

3D面部重建是一个具有挑战性的问题，但也是计算机视觉和图形领域的重要任务。最近，许多研究人员对这个问题提请注意，并且已经发表了大量的文章。单个图像重建是3D面部重建的分支之一，在我们的生活中具有大量应用。本文是对从单个图像的3D面部重建最近的文献述评。

一般照明条件中单眼图像的强大面部重建是具有挑战性的。用于使用微弱渲染的深度神经网络编码器结合的方法打开了几何，照明和反射的非常快速的单眼重建的路径。它们也可以通过自我监督的方式培训，以增加鲁棒性和更好的泛化。然而，基于光栅化的图像形成模型以及底层场景参数化，将它们限制在Lambertian的反射率和差的形状细节中。最近，在基于经典优化的框架内引入了用于单眼脸部重建的射线跟踪，并实现最先进的结果。然而，基于优化的方法本质上很慢，缺乏鲁棒性。在本文中，我们在上述方法上建立了我们的工作，并提出了一种新的方法，大大提高了一般场景中的重建质量和鲁棒性。我们通过将CNN编码器与可分散的射线示踪剂组合来实现这一点，这使得我们能够将重建基于更高级的个性化漫射和镜面，更复杂的照明模型和自阴影的合理表示。这使得即使在难以照明的场景中，也可以在重建的形状，外观和照明中进行大跃进。通过一致的面部属性重建，我们的方法导致实际应用，例如致密和自阴影去除。与最先进的方法相比，我们的结果表明了提高了方法的准确性和有效性。

生产级别的工作流程用于产生令人信服的3D动态人体面孔长期以来依赖各种劳动密集型工具用于几何和纹理生成，运动捕获和索具以及表达合成。最近的神经方法可以使单个组件自动化，但是相应的潜在表示不能像常规工具一样为艺术家提供明确的控制。在本文中，我们提出了一种新的基于学习的，视频驱动的方法，用于生成具有高质量基于物理资产的动态面部几何形状。对于数据收集，我们构建了一个混合多视频测量捕获阶段，与超快速摄像机耦合以获得原始的3D面部资产。然后，我们着手使用单独的VAE对面部表达，几何形状和基于物理的纹理进行建模，我们在各个网络的潜在范围内强加了基于全局MLP的表达映射，以保留各个属性的特征。我们还将增量信息建模为基于物理的纹理的皱纹图，从而达到高质量的4K动态纹理。我们展示了我们在高保真表演者特异性面部捕获和跨认同面部运动重新定位中的方法。此外，我们的基于多VAE的神经资产以及快速适应方案也可以部署以处理内部视频。此外，我们通过提供具有较高现实主义的各种有希望的基于身体的编辑结果来激发我们明确的面部解散策略的实用性。综合实验表明，与以前的视频驱动的面部重建和动画方法相比，我们的技术提供了更高的准确性和视觉保真度。

生成对抗性网络（GANS）的最新进展导致了面部图像合成的显着成果。虽然使用基于样式的GAN的方法可以产生尖锐的照片拟真的面部图像，但是通常难以以有意义和解开的方式控制所产生的面的特性。之前的方法旨在在先前培训的GaN的潜在空间内实现此类语义控制和解剖。相比之下，我们提出了一个框架，即明确地提出了诸如3D形状，反玻璃，姿势和照明的面部的身体属性，从而通过设计提供解剖。我们的方法，大多数GaN，与非线性3D可变模型的物理解剖和灵活性集成了基于风格的GAN的表现力和质感，我们与最先进的2D头发操纵网络相结合。大多数GaN通过完全解散的3D控制来实现肖像图像的照片拟理性操纵，从而实现了光线，面部表情和姿势变化的极端操作，直到完整的档案视图。

面部3D形态模型是无数应用程序的主要计算机视觉主题，并且在过去二十年中已得到高度优化。深层生成网络的巨大改进创造了改善此类模型的各种可能性，并引起了广泛的兴趣。此外，神经辐射领域的最新进展正在彻底改变已知场景的新颖视图综合。在这项工作中，我们提出了一个面部3D形态模型，该模型利用了上述两者，并且可以准确地对受试者的身份，姿势和表达进行建模，并以任意照明形式呈现。这是通过利用强大的基于风格的发电机来克服神经辐射场的两个主要弱点，即它们的刚度和渲染速度来实现的。我们介绍了一个基于样式的生成网络，该网络在一个通过中综合了全部，并且仅在神经辐射场的所需渲染样品中构成。我们创建了一个庞大的标记为面部渲染的合成数据集，并在这些数据上训练网络，以便它可以准确地建模并推广到面部身份，姿势和外观。最后，我们表明该模型可以准确地适合“野外”的任意姿势和照明的面部图像，提取面部特征，并用于在可控条件下重新呈现面部。

与传统的头像创建管道相反，这是一个昂贵的过程，现代生成方法直接从照片中学习数据分布，而艺术的状态现在可以产生高度的照片现实图像。尽管大量作品试图扩展无条件的生成模型并达到一定程度的可控性，但要确保多视图一致性，尤其是在大型姿势中，仍然具有挑战性。在这项工作中，我们提出了一个3D肖像生成网络，该网络可产生3D一致的肖像，同时根据有关姿势，身份，表达和照明的语义参数可控。生成网络使用神经场景表示在3D中建模肖像，其生成以支持明确控制的参数面模型为指导。尽管可以通过将图像与部分不同的属性进行对比，但可以进一步增强潜在的分离，但在非面积区域（例如，在动画表达式）时，仍然存在明显的不一致。我们通过提出一种体积混合策略来解决此问题，在该策略中，我们通过将动态和静态辐射场融合在一起，形成一个复合输出，并从共同学习的语义场中分割了两个部分。我们的方法在广泛的实验中优于先前的艺术，在自由视点中观看时，在自然照明中产生了逼真的肖像。所提出的方法还证明了真实图像以及室外卡通面孔的概括能力，在实际应用中显示出巨大的希望。其他视频结果和代码将在项目网页上提供。

由于其语义上的理解和用户友好的可控性，通过三维引导，通过三维引导的面部图像操纵已广泛应用于各种交互式场景。然而，现有的基于3D形式模型的操作方法不可直接适用于域名面，例如非黑色素化绘画，卡通肖像，甚至是动物，主要是由于构建每个模型的强大困难具体面部域。为了克服这一挑战，据我们所知，我们建议使用人为3DMM操纵任意域名的第一种方法。这是通过两个主要步骤实现的：1）从3DMM参数解开映射到潜在的STYLEGO2的潜在空间嵌入，可确保每个语义属性的解除响应和精确的控制; 2）通过实施一致的潜空间嵌入，桥接域差异并使人类3DMM适用于域外面的人类3DMM。实验和比较展示了我们高质量的语义操作方法在各种面部域中的优越性，所有主要3D面部属性可控姿势，表达，形状，反照镜和照明。此外，我们开发了直观的编辑界面，以支持用户友好的控制和即时反馈。我们的项目页面是https://cassiepython.github.io/cddfm3d/index.html

鉴于一个人的肖像图像和目标照明的环境图，肖像重新旨在重新刷新图像中的人，就好像该人出现在具有目标照明的环境中一样。为了获得高质量的结果，最近的方法依靠深度学习。一种有效的方法是用高保真输入输出对的高保真数据集监督对深神经网络的培训，并以光阶段捕获。但是，获取此类数据需要昂贵的特殊捕获钻机和耗时的工作，从而限制了对少数机智的实验室的访问。为了解决限制，我们提出了一种新方法，该方法可以与最新的（SOTA）重新确定方法相提并论，而无需光阶段。我们的方法基于这样的意识到，肖像图像的成功重新重新取决于两个条件。首先，该方法需要模仿基于物理的重新考虑的行为。其次，输出必须是逼真的。为了满足第一个条件，我们建议通过通过虚拟光阶段生成的训练数据来训练重新网络，该培训数据在不同的环境图下对各种3D合成人体进行了基于物理的渲染。为了满足第二种条件，我们开发了一种新型的合成对真实方法，以将光真实主义带入重新定向网络输出。除了获得SOTA结果外，我们的方法还提供了与先前方法相比的几个优点，包括可控的眼镜和更暂时的结果以重新欣赏视频。

尽管最近通过生成对抗网络（GAN）操纵面部属性最近取得了非常成功的成功，但在明确控制姿势，表达，照明等特征的明确控制方面仍然存在一些挑战。最近的方法通过结合2D生成模型来实现对2D图像的明确控制和3dmm。但是，由于3DMM缺乏现实主义和纹理重建的清晰度，因此合成图像与3DMM的渲染图像之间存在域间隙。由于渲染的3DMM图像仅包含面部区域，因此直接计算这两个域之间的损失是不理想的，因此训练有素的模型将是偏差的。在这项研究中，我们建议通过控制3DMM的参数来明确编辑验证样式的潜在空间。为了解决域间隙问题，我们提出了一个名为“地图和编辑”的新网络，以及一种简单但有效的属性编辑方法，以避免渲染和合成图像之间的直接损失计算。此外，由于我们的模型可以准确地生成多视图的面部图像，而身份保持不变。作为副产品，结合可见性掩模，我们提出的模型还可以生成质地丰富和高分辨率的紫外面部纹理。我们的模型依赖于验证的样式，并且提出的模型以自我监督的方式进行了训练，而无需任何手动注释或数据集训练。

在本文中，我们提出了一个大型详细的3D面部数据集，FACESCAPE和相应的基准，以评估单视图面部3D重建。通过对FACESCAPE数据进行训练，提出了一种新的算法来预测从单个图像输入的精心索引3D面模型。 FACESCAPE DataSet提供18,760个纹理的3D面，从938个科目捕获，每个纹理和每个特定表达式。 3D模型包含孔径级面部几何形状，也被处理为拓扑均匀化。这些精细的3D面部模型可以表示为用于详细几何的粗糙形状和位移图的3D可线模型。利用大规模和高精度的数据集，进一步提出了一种使用深神经网络学习特定于表达式动态细节的新颖算法。学习的关系是从单个图像输入的3D面预测系统的基础。与以前的方法不同，我们的预测3D模型在不同表达式下具有高度详细的几何形状。我们还使用FACESCAPE数据来生成野外和实验室内基准，以评估最近的单视面重建方法。报告并分析了相机姿势和焦距的尺寸，并提供了忠诚和综合评估，并揭示了新的挑战。前所未有的数据集，基准和代码已被释放到公众以进行研究目的。

单像人类的重新构成旨在通过将输入图像分解为反照率，形状和照明，以在新的照明条件下重新确定目标人。尽管可以实现合理的重新确定结果，但以前的方法均遭受反照率和照明之间的纠缠以及缺乏硬阴影的纠缠，这大大降低了现实主义。为了解决这两个问题，我们提出了一个几何学意识到的单像人类重心框架，该框架利用单位图几何重建来共同部署传统的图形渲染和神经渲染技术。对于脱光灯，我们探索了UNET架构的缺点，并提出了修改后的HRNET，从而在反照率和照明之间获得了更好的分解。为了获得重新，我们引入了一个基于射线跟踪的每个像素照明表示形式，该表示明确地对高频阴影进行了建模，并提出了一个基于学习的阴影修补模块，以恢复来自射线追踪的阴影图的逼真的逼真的阴影（包括硬铸造阴影）。我们的框架能够生成照片逼真的高频阴影，例如在挑战性的照明条件下铸造阴影。广泛的实验表明，我们提出的方法在合成图像和真实图像上都优于先前的方法。

Face Restoration (FR) aims to restore High-Quality (HQ) faces from Low-Quality (LQ) input images, which is a domain-specific image restoration problem in the low-level computer vision area. The early face restoration methods mainly use statistic priors and degradation models, which are difficult to meet the requirements of real-world applications in practice. In recent years, face restoration has witnessed great progress after stepping into the deep learning era. However, there are few works to study deep learning-based face restoration methods systematically. Thus, this paper comprehensively surveys recent advances in deep learning techniques for face restoration. Specifically, we first summarize different problem formulations and analyze the characteristic of the face image. Second, we discuss the challenges of face restoration. Concerning these challenges, we present a comprehensive review of existing FR methods, including prior based methods and deep learning-based methods. Then, we explore developed techniques in the task of FR covering network architectures, loss functions, and benchmark datasets. We also conduct a systematic benchmark evaluation on representative methods. Finally, we discuss future directions, including network designs, metrics, benchmark datasets, applications,etc. We also provide an open-source repository for all the discussed methods, which is available at https://github.com/TaoWangzj/Awesome-Face-Restoration.

我们介绍了一个现实的单发网眼的人体头像创作的系统，即简称罗马。使用一张照片，我们的模型估计了特定于人的头部网格和相关的神经纹理，该神经纹理编码局部光度和几何细节。最终的化身是操纵的，可以使用神经网络进行渲染，该神经网络与野外视频数据集上的网格和纹理估计器一起训练。在实验中，我们观察到我们的系统在头部几何恢复和渲染质量方面都具有竞争性的性能，尤其是对于跨人的重新制定。请参阅结果https://samsunglabs.github.io/rome/

3D可线模型（3DMMS）是面部形状和外观的生成模型。然而，传统3DMMS的形状参数满足多变量高斯分布，而嵌入式嵌入满足过边距分布，并且这种冲突使得面部重建模型同时保持忠诚度和形状一致性的挑战。为了解决这个问题，我们提出了一种用于单眼脸部重建的新型3DMM的球体面部模型（SFM），这可以保持既有忠诚度和身份一致性。我们的SFM的核心是可以用于重建3D面形状的基矩阵，并且通过采用在第一和第二阶段中使用3D和2D训练数据的两级训练方法来学习基本矩阵。为了解决分发不匹配，我们设计一种新的损失，使形状参数具有超球的潜在空间。广泛的实验表明，SFM具有高表示能力和形状参数空间的聚类性能。此外，它产生富翼面形状，并且形状在单眼性重建中的挑战条件下是一致的。

我们提出了神经头头像，这是一种新型神经表示，其明确地模拟了可动画的人体化身的表面几何形状和外观，可用于在依赖数字人类的电影或游戏行业中的AR / VR或其他应用中的电话会议。我们的代表可以从单眼RGB肖像视频中学到，该视频具有一系列不同的表达和视图。具体地，我们提出了一种混合表示，其由面部的粗糙形状和表达式和两个前馈网络组成的混合表示，以及预测底层网格的顶点偏移以及视图和表达依赖性纹理。我们证明，该表示能够准确地外推到看不见的姿势和观点，并在提供尖锐的纹理细节的同时产生自然表达。与先前的磁头头像上的作品相比，我们的方法提供了与标准图形管道兼容的完整人体头（包括头发）的分解形状和外观模型。此外，就重建质量和新型观看合成而定量和定性地优于现有技术的当前状态。

许多最近的作品通过基于参数模型聚集了相同的身份的形状参数并将不同人的形状参数聚集在一起（例如，3D可变模型（3DMMS））来重建独特的3D面形状。然而，尽管使用这些形状参数的面部识别任务中的高精度，但是从那些参数重建的面部形状的视觉辨别是不令人满意的。以下研究尚未回答以下研究问题：做差异的形状参数保证所代表的3D面形状的视觉歧视吗？本文分析了形状参数与重建形状几何之间的关系，提出了一种新颖的形状相同感知正则化（SIR）损耗的形状参数，旨在增加形状参数和形状几何域中的辨别性。此外，为了应对包含地标和身份注释的缺乏培训数据，我们提出了一种网络结构和相关的培训策略，以利用包含身份或地标标签的混合数据。我们将我们的方法与现有方法进行比较重建误差，视觉区分性和形状参数的面部识别准确性。实验结果表明，我们的方法优于最先进的方法。

尽管最近从遮挡和嘈杂的面部图像中的3D面部重建的发展，但性能仍然不满意。主要挑战之一是在面部图像中处理中等至重闭塞。另外，面部图像中的噪声抑制了面部属性的正确捕获，从而需要可靠地解决。此外，大多数现有方法依赖于额外的依赖性，对培训过程构成了许多约束。因此，我们提出了一种自我监督的强制性指导（流氓）框架，以获得面部图像中的遮挡和噪声的鲁棒性。所提出的网络包含1）指导管线，用于获得清洁面的3D面系数，以及2）稳定流水线，以获取封闭或噪声图像的估计系数与清洁对应物之间的估计系数之间的一致性。所提出的图像和特征级损失功能有助于流氓学习过程而不会构成额外的依赖性。在Celeba的测试数据集的三种变化：理性闭塞，妄想闭塞和嘈杂的面部图像，我们的方法优于当前的最先进的方法（例如，基于形状的3D顶点错误，合理闭塞的0.146〜0.048的减少，从0.292〜0.061，妄想闭塞和面部图像中的噪声为0.269至0.053），展示了所提出的方法的有效性。