由于其语义上的理解和用户友好的可控性，通过三维引导，通过三维引导的面部图像操纵已广泛应用于各种交互式场景。然而，现有的基于3D形式模型的操作方法不可直接适用于域名面，例如非黑色素化绘画，卡通肖像，甚至是动物，主要是由于构建每个模型的强大困难具体面部域。为了克服这一挑战，据我们所知，我们建议使用人为3DMM操纵任意域名的第一种方法。这是通过两个主要步骤实现的：1）从3DMM参数解开映射到潜在的STYLEGO2的潜在空间嵌入，可确保每个语义属性的解除响应和精确的控制; 2）通过实施一致的潜空间嵌入，桥接域差异并使人类3DMM适用于域外面的人类3DMM。实验和比较展示了我们高质量的语义操作方法在各种面部域中的优越性，所有主要3D面部属性可控姿势，表达，形状，反照镜和照明。此外，我们开发了直观的编辑界面，以支持用户友好的控制和即时反馈。我们的项目页面是https://cassiepython.github.io/cddfm3d/index.html

与传统的头像创建管道相反，这是一个昂贵的过程，现代生成方法直接从照片中学习数据分布，而艺术的状态现在可以产生高度的照片现实图像。尽管大量作品试图扩展无条件的生成模型并达到一定程度的可控性，但要确保多视图一致性，尤其是在大型姿势中，仍然具有挑战性。在这项工作中，我们提出了一个3D肖像生成网络，该网络可产生3D一致的肖像，同时根据有关姿势，身份，表达和照明的语义参数可控。生成网络使用神经场景表示在3D中建模肖像，其生成以支持明确控制的参数面模型为指导。尽管可以通过将图像与部分不同的属性进行对比，但可以进一步增强潜在的分离，但在非面积区域（例如，在动画表达式）时，仍然存在明显的不一致。我们通过提出一种体积混合策略来解决此问题，在该策略中，我们通过将动态和静态辐射场融合在一起，形成一个复合输出，并从共同学习的语义场中分割了两个部分。我们的方法在广泛的实验中优于先前的艺术，在自由视点中观看时，在自然照明中产生了逼真的肖像。所提出的方法还证明了真实图像以及室外卡通面孔的概括能力，在实际应用中显示出巨大的希望。其他视频结果和代码将在项目网页上提供。

尽管最近通过生成对抗网络（GAN）操纵面部属性最近取得了非常成功的成功，但在明确控制姿势，表达，照明等特征的明确控制方面仍然存在一些挑战。最近的方法通过结合2D生成模型来实现对2D图像的明确控制和3dmm。但是，由于3DMM缺乏现实主义和纹理重建的清晰度，因此合成图像与3DMM的渲染图像之间存在域间隙。由于渲染的3DMM图像仅包含面部区域，因此直接计算这两个域之间的损失是不理想的，因此训练有素的模型将是偏差的。在这项研究中，我们建议通过控制3DMM的参数来明确编辑验证样式的潜在空间。为了解决域间隙问题，我们提出了一个名为“地图和编辑”的新网络，以及一种简单但有效的属性编辑方法，以避免渲染和合成图像之间的直接损失计算。此外，由于我们的模型可以准确地生成多视图的面部图像，而身份保持不变。作为副产品，结合可见性掩模，我们提出的模型还可以生成质地丰富和高分辨率的紫外面部纹理。我们的模型依赖于验证的样式，并且提出的模型以自我监督的方式进行了训练，而无需任何手动注释或数据集训练。

生成对抗性网络（GANS）的最新进展导致了面部图像合成的显着成果。虽然使用基于样式的GAN的方法可以产生尖锐的照片拟真的面部图像，但是通常难以以有意义和解开的方式控制所产生的面的特性。之前的方法旨在在先前培训的GaN的潜在空间内实现此类语义控制和解剖。相比之下，我们提出了一个框架，即明确地提出了诸如3D形状，反玻璃，姿势和照明的面部的身体属性，从而通过设计提供解剖。我们的方法，大多数GaN，与非线性3D可变模型的物理解剖和灵活性集成了基于风格的GAN的表现力和质感，我们与最先进的2D头发操纵网络相结合。大多数GaN通过完全解散的3D控制来实现肖像图像的照片拟理性操纵，从而实现了光线，面部表情和姿势变化的极端操作，直到完整的档案视图。

基于生成神经辐射场（GNERF）基于生成神经辐射场（GNERF）的3D感知gan已达到令人印象深刻的高质量图像产生，同时保持了强3D一致性。最显着的成就是在面部生成领域中取得的。但是，这些模型中的大多数都集中在提高视图一致性上，但忽略了分离的方面，因此这些模型无法提供高质量的语义/属性控制对生成。为此，我们引入了一个有条件的GNERF模型，该模型使用特定属性标签作为输入，以提高3D感知生成模型的控制能力和解散能力。我们利用预先训练的3D感知模型作为基础，并集成了双分支属性编辑模块（DAEM），该模块（DAEM）利用属性标签来提供对生成的控制。此外，我们提出了一个Triot（作为INIT的训练，并针对调整进行优化），以优化潜在矢量以进一步提高属性编辑的精度。广泛使用的FFHQ上的广泛实验表明，我们的模型在保留非目标区域的同时产生具有更好视图一致性的高质量编辑。该代码可在https://github.com/zhangqianhui/tt-gnerf上找到。

在本文中，我们解决了神经面部重演的问题，鉴于一对源和目标面部图像，我们需要通过将目标的姿势（定义为头部姿势及其面部表情定义）通过同时保留源的身份特征（例如面部形状，发型等），即使在源头和目标面属于不同身份的挑战性情况下也是如此。在此过程中，我们解决了最先进作品的一些局限在推理期间标记的数据以及c）它们不保留大型头部姿势变化中的身份。更具体地说，我们提出了一个框架，该框架使用未配对的随机生成的面部图像学会通过合并最近引入的样式空间$ \ Mathcal $ \ Mathcal {S} $ of Stylegan2的姿势，以将面部的身份特征从其姿势中解脱出来表现出显着的分解特性。通过利用这一点，我们学会使用3D模型的监督成功地混合了一对源和目标样式代码。随后用于重新制定的最终潜在代码由仅与源的面部姿势相对应的潜在单位和仅与源身份相对应的单位组成，从而显着改善了与最近的状态性能相比的重新制定性能。艺术方法。与艺术的状态相比，我们定量和定性地表明，即使在极端的姿势变化下，提出的方法也会产生更高的质量结果。最后，我们通过首先将它们嵌入预告片发电机的潜在空间来报告实际图像。我们在：https：//github.com/stelabou/stylemask上公开提供代码和预估计的模型

尽管基于深度学习的面部相关模型成功显着，但这些模型仍然仅限于真正人类面的领域。另一方面，由于缺乏组织良好的数据集，由于缺乏组织的数据集，动画面的域已经不太积极地研究。在本文中，我们通过可控的合成动画模型介绍了一个大规模动画CeleBfaces数据集（AnimeCeleb），以提高动画面域的研究。为了促进数据生成过程，我们基于开放式3D软件和开发的注释系统构建半自动管道。这导致构建大型动画面部数据集，包括具有丰富注释的多姿态和多样式动画面。实验表明，我们的数据集适用于各种动画相关的任务，如头部重新创建和着色。

Although Generative Adversarial Networks (GANs) have made significant progress in face synthesis, there lacks enough understanding of what GANs have learned in the latent representation to map a random code to a photo-realistic image. In this work, we propose a framework called InterFaceGAN to interpret the disentangled face representation learned by the state-of-the-art GAN models and study the properties of the facial semantics encoded in the latent space. We first find that GANs learn various semantics in some linear subspaces of the latent space. After identifying these subspaces, we can realistically manipulate the corresponding facial attributes without retraining the model. We then conduct a detailed study on the correlation between different semantics and manage to better disentangle them via subspace projection, resulting in more precise control of the attribute manipulation. Besides manipulating the gender, age, expression, and presence of eyeglasses, we can even alter the face pose and fix the artifacts accidentally made by GANs. Furthermore, we perform an in-depth face identity analysis and a layer-wise analysis to evaluate the editing results quantitatively. Finally, we apply our approach to real face editing by employing GAN inversion approaches and explicitly training feed-forward models based on the synthetic data established by InterFaceGAN. Extensive experimental results suggest that learning to synthesize faces spontaneously brings a disentangled and controllable face representation.

生产级别的工作流程用于产生令人信服的3D动态人体面孔长期以来依赖各种劳动密集型工具用于几何和纹理生成，运动捕获和索具以及表达合成。最近的神经方法可以使单个组件自动化，但是相应的潜在表示不能像常规工具一样为艺术家提供明确的控制。在本文中，我们提出了一种新的基于学习的，视频驱动的方法，用于生成具有高质量基于物理资产的动态面部几何形状。对于数据收集，我们构建了一个混合多视频测量捕获阶段，与超快速摄像机耦合以获得原始的3D面部资产。然后，我们着手使用单独的VAE对面部表达，几何形状和基于物理的纹理进行建模，我们在各个网络的潜在范围内强加了基于全局MLP的表达映射，以保留各个属性的特征。我们还将增量信息建模为基于物理的纹理的皱纹图，从而达到高质量的4K动态纹理。我们展示了我们在高保真表演者特异性面部捕获和跨认同面部运动重新定位中的方法。此外，我们的基于多VAE的神经资产以及快速适应方案也可以部署以处理内部视频。此外，我们通过提供具有较高现实主义的各种有希望的基于身体的编辑结果来激发我们明确的面部解散策略的实用性。综合实验表明，与以前的视频驱动的面部重建和动画方法相比，我们的技术提供了更高的准确性和视觉保真度。

Our goal with this survey is to provide an overview of the state of the art deep learning technologies for face generation and editing. We will cover popular latest architectures and discuss key ideas that make them work, such as inversion, latent representation, loss functions, training procedures, editing methods, and cross domain style transfer. We particularly focus on GAN-based architectures that have culminated in the StyleGAN approaches, which allow generation of high-quality face images and offer rich interfaces for controllable semantics editing and preserving photo quality. We aim to provide an entry point into the field for readers that have basic knowledge about the field of deep learning and are looking for an accessible introduction and overview.

由于基于图像的“部件控制器”，因此人造形状图像的形状操纵，例如调整椅子的靠背或更换杯柄的大小，因为缺少基于图像的部分控制器，这是不直观的。为了解决这个问题，我们呈现风格栏，这是一种框架，它通过利用图像和3D形状的生成模型来实现图像的直接形状操纵。我们的主要贡献是一种形状一致的潜在映射函数，可以连接图像生成潜像和3D人造形状潜伏空间。我们的方法将图像内容“向前映射到其对应的3D形状属性，其中可以容易地操纵形状部分。然后，被操纵的3D形状的属性代码被“向后映射”到图像潜在代码以获得最终操纵图像。我们通过各种操纵任务展示了我们的方法，包括部分替代，零件调整大小和观点操纵，并通过广泛的消融研究评估其有效性。

Recent 3D-aware GANs rely on volumetric rendering techniques to disentangle the pose and appearance of objects, de facto generating entire 3D volumes rather than single-view 2D images from a latent code. Complex image editing tasks can be performed in standard 2D-based GANs (e.g., StyleGAN models) as manipulation of latent dimensions. However, to the best of our knowledge, similar properties have only been partially explored for 3D-aware GAN models. This work aims to fill this gap by showing the limitations of existing methods and proposing LatentSwap3D, a model-agnostic approach designed to enable attribute editing in the latent space of pre-trained 3D-aware GANs. We first identify the most relevant dimensions in the latent space of the model controlling the targeted attribute by relying on the feature importance ranking of a random forest classifier. Then, to apply the transformation, we swap the top-K most relevant latent dimensions of the image being edited with an image exhibiting the desired attribute. Despite its simplicity, LatentSwap3D provides remarkable semantic edits in a disentangled manner and outperforms alternative approaches both qualitatively and quantitatively. We demonstrate our semantic edit approach on various 3D-aware generative models such as pi-GAN, GIRAFFE, StyleSDF, MVCGAN, EG3D and VolumeGAN, and on diverse datasets, such as FFHQ, AFHQ, Cats, MetFaces, and CompCars. The project page can be found: \url{https://enisimsar.github.io/latentswap3d/}.

从单个图像重建高保真3D面部纹理是一个具有挑战性的任务，因为缺乏完整的面部信息和3D面和2D图像之间的域间隙。最新作品通过应用基于代或基于重建的方法来解决面部纹理重建问题。尽管各种方法具有自身的优势，但它们不能恢复高保真和可重新可传送的面部纹理，其中术语“重新可调剂”要求面部质地在空间地完成和与环境照明中脱颖而出。在本文中，我们提出了一种新颖的自我监督学习框架，用于从野外的单视图重建高质量的3D面。我们的主要思想是首先利用先前的一代模块来生产先前的Albedo，然后利用细节细化模块来获得详细的Albedo。为了进一步使面部纹理解开照明，我们提出了一种新颖的详细的照明表示，该表现在一起与详细的Albedo一起重建。我们还在反照侧和照明方面设计了几种正规化损失功能，以便于解散这两个因素。最后，由于可怜的渲染技术，我们的神经网络可以以自我监督的方式有效地培训。关于具有挑战性的数据集的广泛实验表明，我们的框架在定性和定量比较方面显着优于最先进的方法。

通过利用预熟gan的潜在空间，已经提出了许多最近的作品来进行面部图像编辑。但是，很少有尝试将它们直接应用于视频，因为1）他们不能保证时间一致性，2）他们的应用受到视频的处理速度的限制，3）他们无法准确编码面部运动和表达的细节。为此，我们提出了一个新颖的网络，将面部视频编码到Stylegan的潜在空间中，以进行语义面部视频操纵。基于视觉变压器，我们的网络重复了潜在向量的高分辨率部分，以实现时间一致性。为了捕捉微妙的面部运动和表情，我们设计了涉及稀疏面部地标和密集的3D脸部网眼的新颖损失。我们已经彻底评估了我们的方法，并成功证明了其对各种面部视频操作的应用。特别是，我们提出了一个新型网络，用于3D坐标系中的姿势/表达控制。定性和定量结果都表明，我们的方法可以显着优于现有的单图方法，同时实现实时（66 fps）速度。

由于生成对抗网络（GAN）的突破，3D可控制的肖像合成已大大提高。但是，用精确的3D控制操纵现有的面部图像仍然具有挑战性。虽然连接gan倒置和3D感知，但噪声到图像是一种直接的解决方案，但它效率低下，可能导致编辑质量明显下降。为了填补这一空白，我们提出了3D-FM GAN，这是一个专门为3D可控制的面部操作设计的新型有条件GAN框架，并且在端到端学习阶段后不需要任何调整。通过小心地编码输入面图像和3D编辑的基于物理的渲染，我们的图像生成器提供了高质量，具有身份的3D控制面部操纵。为了有效地学习这种新颖的框架，我们制定了两种基本的训练策略和一种新颖的乘法共同调制体系结构，可在天真的方案上显着改善。通过广泛的评估，我们表明我们的方法在各种任务上的表现优于先前的艺术，具有更好的编辑性，更强的身份保存和更高的照片真实性。此外，我们在大型姿势编辑和室外图像上展示了设计更好的概括性。

生成的对抗网络（GANS）已经实现了图像生成的照片逼真品质。但是，如何最好地控制图像内容仍然是一个开放的挑战。我们介绍了莱特基照片，这是一个两级GaN，它在古典GAN目标上训练了训练，在一组空间关键点上有内部调节。这些关键点具有相关的外观嵌入，分别控制生成对象的位置和样式及其部件。我们使用合适的网络架构和培训方案地址的一个主要困难在没有领域知识和监督信号的情况下将图像解开到空间和外观因素中。我们展示了莱特基点提供可解释的潜在空间，可用于通过重新定位和交换Keypoint Embedding来重新安排生成的图像，例如通过组合来自不同图像的眼睛，鼻子和嘴巴来产生肖像。此外，关键点和匹配图像的显式生成启用了一种用于无监督的关键点检测的新的GaN的方法。

在本文中，我们调查了一项开放的研究任务，该任务是从单个2D GAN产生人体面部且没有3D监督的3D卡通面部形状，在那里我们还可以操纵3D形状的面部表情。为此，我们发现了Stylegan潜在空间的语义含义，因此我们能够通过控制潜在代码来产生各种表达式，姿势和照明的面部图像。具体而言，我们首先对卡通数据集中预验证的Stylegan脸部模型进行了修复。通过将相同的潜在代码喂入面部和卡通生成模型，我们的目标是实现从2D人脸图像到卡通风格的化身的翻译。然后，我们发现了甘恩潜在空间的语义方向，以试图在保留原始身份的同时改变面部表情。由于我们没有任何针对卡通脸的3D注释，因此我们操纵潜在代码以生成具有不同姿势和照明的图像，以便我们可以重建3D卡通脸部形状。我们在定性和定量上验证了方法在三个卡通数据集上的疗效。

以前的纵向图像生成方法大致分为两类：2D GAN和3D感知的GAN。 2D GAN可以产生高保真肖像，但具有低视图一致性。 3D感知GaN方法可以维护查看一致性，但它们所生成的图像不是本地可编辑的。为了克服这些限制，我们提出了FENERF，一个可以生成查看一致和本地可编辑的纵向图像的3D感知生成器。我们的方法使用两个解耦潜码，以在具有共享几何体的空间对齐的3D卷中生成相应的面部语义和纹理。从这种底层3D表示中受益，FENERF可以联合渲染边界对齐的图像和语义掩码，并使用语义掩模通过GaN反转编辑3D音量。我们进一步示出了可以从广泛可用的单手套图像和语义面膜对中学习这种3D表示。此外，我们揭示了联合学习语义和纹理有助于产生更精细的几何形状。我们的实验表明FENERF在各种面部编辑任务中优于最先进的方法。

我们提出了一种参数模型，将自由视图图像映射到编码面部形状，表达和外观的矢量空间，即使用神经辐射场，即可变的面部nerf。具体地，MoFanerf将编码的面部形状，表达和外观以及空间坐标和视图方向作为输入，作为输入到MLP，并输出光学逼真图像合成的空间点的辐射。与传统的3D可变模型（3DMM）相比，MoFanerf在直接综合光学逼真的面部细节方面表现出优势，即使是眼睛，嘴巴和胡须也是如此。而且，通过插入输入形状，表达和外观码，可以容易地实现连续的面部。通过引入特定于特定于特定的调制和纹理编码器，我们的模型合成精确的光度测量细节并显示出强的表示能力。我们的模型显示了多种应用的强大能力，包括基于图像的拟合，随机产生，面部索具，面部编辑和新颖的视图合成。实验表明，我们的方法比以前的参数模型实现更高的表示能力，并在几种应用中实现了竞争性能。据我们所知，我们的作品是基于神经辐射场上的第一款，可用于配合，发电和操作。我们的代码和型号在https://github.com/zhuhao-nju/mofanerf中发布。