合成图像合成的巨大进展使得面部图像在高分辨率和光真实主义中产生。在生物识别应用中，使用合成数据的主要动机是解决公共可用生物识别数据的短缺，同时在处理此类敏感信息时降低隐私风险。这些优点在这项工作中被利用，通过模拟近期面部年龄修饰算法以生成交配样本，从而研究衰老对开源生物识别识别系统的性能的影响。此外，实际数据集用于评估短期衰老的影响，将生物识别性能与合成结构域进行比较。主要发现表明，短期老化在1 - 5年的范围内仅对一般识别绩效产生较小的影响。但是，对长期年龄差异超过20年的配对面的正确验证仍然是一个重大挑战，需要进一步调查。

通过大规模数据实现具有面部识别的高度安全的应用程序（如边境交叉路）需要广泛的生物识别性能测试。然而，使用真实面部图像引起了对隐私的担忧，因为法律不允许图像用于其他目的而不是最初的目的。使用代表和面部数据的子集还可以导致不需要的人口统计偏见并导致数据集不平衡。克服这些问题的一种可能解决方案是用综合生成的样本替换真实的面部图像。在生成合成图像的同时，从计算机视觉中的最新进步中受益，虽然有利于电脑视觉的最新进步，但在类似实际变化的同一合成标识的多个样本中仍然是不合适的，即交配样本。这项工作提出了一种通过利用样式牢固的潜在空间来生成配合的面部图像的非确定性方法。通过操纵潜伏的矢量来产生交配的样本，更精确地，我们利用主成分分析（PCA）来定义潜在空间中的语义有意义的方向，并使用预先训练的面部识别系统控制原始样本和配合样本之间的相似性。我们创建了由77,034个样本组成的合成面图像（Symface）的新数据集，包括25,919个合成ID。通过我们的分析，使用良好的面部图像质量指标，我们展示了模仿真实生物识别数据的特征的合成样本的生物识别质量的差异。其分析和结果表明使用使用所提出的方法创建的合成样本作为更换真实生物识别数据的可行替代品。

深度神经网络在人类分析中已经普遍存在，增强了应用的性能，例如生物识别识别，动作识别以及人重新识别。但是，此类网络的性能通过可用的培训数据缩放。在人类分析中，对大规模数据集的需求构成了严重的挑战，因为数据收集乏味，廉价，昂贵，并且必须遵守数据保护法。当前的研究研究了\ textit {合成数据}的生成，作为在现场收集真实数据的有效且具有隐私性的替代方案。这项调查介绍了基本定义和方法，在生成和采用合成数据进行人类分析时必不可少。我们进行了一项调查，总结了当前的最新方法以及使用合成数据的主要好处。我们还提供了公开可用的合成数据集和生成模型的概述。最后，我们讨论了该领域的局限性以及开放研究问题。这项调查旨在为人类分析领域的研究人员和从业人员提供。

Privacy of machine learning models is one of the remaining challenges that hinder the broad adoption of Artificial Intelligent (AI). This paper considers this problem in the context of image datasets containing faces. Anonymization of such datasets is becoming increasingly important due to their central role in the training of autonomous cars, for example, and the vast amount of data generated by surveillance systems. While most prior work de-identifies facial images by modifying identity features in pixel space, we instead project the image onto the latent space of a Generative Adversarial Network (GAN) model, find the features that provide the biggest identity disentanglement, and then manipulate these features in latent space, pixel space, or both. The main contribution of the paper is the design of a feature-preserving anonymization framework, StyleID, which protects the individuals' identity, while preserving as many characteristics of the original faces in the image dataset as possible. As part of the contribution, we present a novel disentanglement metric, three complementing disentanglement methods, and new insights into identity disentanglement. StyleID provides tunable privacy, has low computational complexity, and is shown to outperform current state-of-the-art solutions.

Although Generative Adversarial Networks (GANs) have made significant progress in face synthesis, there lacks enough understanding of what GANs have learned in the latent representation to map a random code to a photo-realistic image. In this work, we propose a framework called InterFaceGAN to interpret the disentangled face representation learned by the state-of-the-art GAN models and study the properties of the facial semantics encoded in the latent space. We first find that GANs learn various semantics in some linear subspaces of the latent space. After identifying these subspaces, we can realistically manipulate the corresponding facial attributes without retraining the model. We then conduct a detailed study on the correlation between different semantics and manage to better disentangle them via subspace projection, resulting in more precise control of the attribute manipulation. Besides manipulating the gender, age, expression, and presence of eyeglasses, we can even alter the face pose and fix the artifacts accidentally made by GANs. Furthermore, we perform an in-depth face identity analysis and a layer-wise analysis to evaluate the editing results quantitatively. Finally, we apply our approach to real face editing by employing GAN inversion approaches and explicitly training feed-forward models based on the synthetic data established by InterFaceGAN. Extensive experimental results suggest that learning to synthesize faces spontaneously brings a disentangled and controllable face representation.

变形攻击是一种表现攻击的一种形式，近年来引起了人们越来越多的关注。可以成功验证变形图像到多个身份。因此，此操作提出了与旅行或身份文件的能力有关的严重安全问题，该文件被证实属于多个人。以前的作品涉及了变形攻击图像质量的问题，但是，主要目标是定量证明产生的变形攻击的现实外观。我们认为，与真正的样品相比，变形过程可能会影响面部识别（FR）中的感知图像质量和图像实用程序。为了研究这一理论，这项工作对变形对面部图像质量的影响进行了广泛的分析，包括一般图像质量度量和面部图像实用程序测量。该分析不仅限于单个变形技术，而是使用十种不同的质量度量来研究六种不同的变形技术和五个不同的数据源。该分析揭示了变形攻击的质量得分与通过某些质量度量测量的真正样品的质量得分之间的一致性。我们的研究进一步建立在这种效果的基础上，并研究基于质量得分进行无监督的变形攻击检测（MAD）的可能性。我们的研究探索了intra和数据库间的可检测性，以评估这种检测概念在不同的变形技术和真正的源源源上的普遍性。我们的最终结果指出，一组质量措施（例如岩石和CNNIQA）可用于执行无监督和普遍的MAD，正确的分类精度超过70％。

生成对抗性网络（GANS）的最新进展导致了面部图像合成的显着成果。虽然使用基于样式的GAN的方法可以产生尖锐的照片拟真的面部图像，但是通常难以以有意义和解开的方式控制所产生的面的特性。之前的方法旨在在先前培训的GaN的潜在空间内实现此类语义控制和解剖。相比之下，我们提出了一个框架，即明确地提出了诸如3D形状，反玻璃，姿势和照明的面部的身体属性，从而通过设计提供解剖。我们的方法，大多数GaN，与非线性3D可变模型的物理解剖和灵活性集成了基于风格的GAN的表现力和质感，我们与最先进的2D头发操纵网络相结合。大多数GaN通过完全解散的3D控制来实现肖像图像的照片拟理性操纵，从而实现了光线，面部表情和姿势变化的极端操作，直到完整的档案视图。

尽管最近通过生成对抗网络（GAN）操纵面部属性最近取得了非常成功的成功，但在明确控制姿势，表达，照明等特征的明确控制方面仍然存在一些挑战。最近的方法通过结合2D生成模型来实现对2D图像的明确控制和3dmm。但是，由于3DMM缺乏现实主义和纹理重建的清晰度，因此合成图像与3DMM的渲染图像之间存在域间隙。由于渲染的3DMM图像仅包含面部区域，因此直接计算这两个域之间的损失是不理想的，因此训练有素的模型将是偏差的。在这项研究中，我们建议通过控制3DMM的参数来明确编辑验证样式的潜在空间。为了解决域间隙问题，我们提出了一个名为“地图和编辑”的新网络，以及一种简单但有效的属性编辑方法，以避免渲染和合成图像之间的直接损失计算。此外，由于我们的模型可以准确地生成多视图的面部图像，而身份保持不变。作为副产品，结合可见性掩模，我们提出的模型还可以生成质地丰富和高分辨率的紫外面部纹理。我们的模型依赖于验证的样式，并且提出的模型以自我监督的方式进行了训练，而无需任何手动注释或数据集训练。

尽管在面部识别方面取得了重大进展（FR），但由于半约束训练数据集和无约束的测试方案之间的域间隙，在不受约束的环境中FR仍然具有挑战性。为了解决此问题，我们提出了一个可控的面部合成模型（CFSM），该模型可以模仿样式潜在空间中目标数据集的分布。CFSM在样式潜在空间中学习了一个线性子空间，并具有对综合多样性和程度的精确控制。此外，预先训练的合成模型可以由FR模型指导，从而使所得图像对FR模型训练更有益。此外，目标数据集分布的特征是学到的正交碱基，可以用来测量面部数据集之间的分布相似性。我们的方法在不受约束的基准测试中获得了显着的性能提高，例如IJB-B，IJB-C，TinyFace和IJB-S（+5.76％rank1）。

Recent 3D-aware GANs rely on volumetric rendering techniques to disentangle the pose and appearance of objects, de facto generating entire 3D volumes rather than single-view 2D images from a latent code. Complex image editing tasks can be performed in standard 2D-based GANs (e.g., StyleGAN models) as manipulation of latent dimensions. However, to the best of our knowledge, similar properties have only been partially explored for 3D-aware GAN models. This work aims to fill this gap by showing the limitations of existing methods and proposing LatentSwap3D, a model-agnostic approach designed to enable attribute editing in the latent space of pre-trained 3D-aware GANs. We first identify the most relevant dimensions in the latent space of the model controlling the targeted attribute by relying on the feature importance ranking of a random forest classifier. Then, to apply the transformation, we swap the top-K most relevant latent dimensions of the image being edited with an image exhibiting the desired attribute. Despite its simplicity, LatentSwap3D provides remarkable semantic edits in a disentangled manner and outperforms alternative approaches both qualitatively and quantitatively. We demonstrate our semantic edit approach on various 3D-aware generative models such as pi-GAN, GIRAFFE, StyleSDF, MVCGAN, EG3D and VolumeGAN, and on diverse datasets, such as FFHQ, AFHQ, Cats, MetFaces, and CompCars. The project page can be found: \url{https://enisimsar.github.io/latentswap3d/}.

横梁面部识别（CFR）旨在识别个体，其中比较面部图像源自不同的感测模式，例如红外与可见的。虽然CFR由于与模态差距相关的面部外观的显着变化，但CFR具有比经典的面部识别更具挑战性，但它在具有有限或挑战的照明的场景中，以及在呈现攻击的情况下，它是优越的。与卷积神经网络（CNNS）相关的人工智能最近的进展使CFR的显着性能提高了。由此激励，这项调查的贡献是三倍。我们提供CFR的概述，目标是通过首先正式化CFR然后呈现具体相关的应用来比较不同光谱中捕获的面部图像。其次，我们探索合适的谱带进行识别和讨论最近的CFR方法，重点放在神经网络上。特别是，我们提出了提取和比较异构特征以及数据集的重新访问技术。我们枚举不同光谱和相关算法的优势和局限性。最后，我们讨论了研究挑战和未来的研究线。

随着近期神经网络的成功，对人脸识别取得了显着进展。然而，收集面部识别的大规模现实世界培训数据已经挑战，特别是由于标签噪音和隐私问题。同时，通常从网络图像收集现有的面部识别数据集，缺乏关于属性的详细注释（例如，姿势和表达），因此对面部识别的不同属性的影响已经很差。在本文中，我们使用合成面部图像，即Synface来解决面部识别中的上述问题。具体而言，我们首先探讨用合成和真实面部图像训练的最近最先进的人脸识别模型之间的性能差距。然后，我们分析了性能差距背后的潜在原因，例如，较差的阶级变化和合成和真实面部图像之间的域间隙。灵感来自于此，我们使用身份混合（IM）和域混合（DM）设计了SYNFACE，以减轻上述性能差距，展示了对面部识别的综合数据的巨大潜力。此外，利用可控的面部合成模型，我们可以容易地管理合成面代的不同因素，包括姿势，表达，照明，身份的数量和每个身份的样本。因此，我们还对综合性面部图像进行系统实证分析，以提供一些关于如何有效利用综合数据进行人脸识别的见解。

由于生成对抗网络（GAN）的突破，3D可控制的肖像合成已大大提高。但是，用精确的3D控制操纵现有的面部图像仍然具有挑战性。虽然连接gan倒置和3D感知，但噪声到图像是一种直接的解决方案，但它效率低下，可能导致编辑质量明显下降。为了填补这一空白，我们提出了3D-FM GAN，这是一个专门为3D可控制的面部操作设计的新型有条件GAN框架，并且在端到端学习阶段后不需要任何调整。通过小心地编码输入面图像和3D编辑的基于物理的渲染，我们的图像生成器提供了高质量，具有身份的3D控制面部操纵。为了有效地学习这种新颖的框架，我们制定了两种基本的训练策略和一种新颖的乘法共同调制体系结构，可在天真的方案上显着改善。通过广泛的评估，我们表明我们的方法在各种任务上的表现优于先前的艺术，具有更好的编辑性，更强的身份保存和更高的照片真实性。此外，我们在大型姿势编辑和室外图像上展示了设计更好的概括性。

Our goal with this survey is to provide an overview of the state of the art deep learning technologies for face generation and editing. We will cover popular latest architectures and discuss key ideas that make them work, such as inversion, latent representation, loss functions, training procedures, editing methods, and cross domain style transfer. We particularly focus on GAN-based architectures that have culminated in the StyleGAN approaches, which allow generation of high-quality face images and offer rich interfaces for controllable semantics editing and preserving photo quality. We aim to provide an entry point into the field for readers that have basic knowledge about the field of deep learning and are looking for an accessible introduction and overview.

文献中提出的最新深层识别模型利用了大规模的公共数据集（例如MS-CELEB-1M和VGGFACE2）来培训非常深的神经网络，从而在主流基准上实现了最先进的表现。最近，由于可靠的隐私和道德问题，许多这些数据集（例如MS-CELEB-1M和VGGFACE2）被撤回。这激发了这项工作提出和调查使用隐私友好型合成生成的面部数据集来训练面部识别模型的可行性。为此，我们利用类别条件生成的对抗网络来生成类标记的合成面部图像，即sface。为了解决使用此类数据训练面部识别模型的隐私方面，我们提供了有关合成数据集与用于训练生成模型的原始真实数据集之间的身份关系的广泛评估实验。我们报告的评估证明，将真实数据集与合成数据集中的同一类标签相关联是不可能的。我们还建议使用三种不同的学习策略，多级分类，无标签的知识转移以及多级分类和知识转移的联合学习，对我们的隐私友好数据集进行识别。报告的五个真实面部基准的评估结果表明，隐私友好的合成数据集具有很高的潜力，可用于训练面部识别模型，例如，使用多级分类和99.13在LFW上实现91.87 \％的验证精度。 \％使用联合学习策略。

面部合成的进步已经提出了关于合成面的欺骗性使用的警报。合成综合性可以有效地用于欺骗人类观察者吗？在本文中，我们介绍了使用不同策略产生的合成面的人类感知的研究，包括基于最先进的深学的GaN模型。这是第一次严格研究从心理学的实验技术接地的合成面代发电技术的有效性研究。我们回答了重要的问题，如GaN的频率和更传统的图像处理的技术混淆人类观察者，并且在综合性脸部图像中有细微的线索，导致人类将其视为假冒，而无需寻找明显的线索还为了回答这些问题，我们进行了一系列大规模众群行为实验，具有不同的面膜。结果表明，人类无法在几个不同的情况下区分真实面的合成面。这一发现对面部图像呈现给人类用户的许多不同应用具有严重影响。

图像质量评估的计算机视觉模型（IQA）预测了通用图像降解的主观效果，例如人工制品，模糊，不良的曝光或颜色。现有IQA数据集中面部图像的稀缺性（低于10 \％）限制了准确过滤低质量的面部图像或指导面部图像处理的CV模型所需的IQA的精度，例如超分辨率，图像增强和生成。在本文中，我们首先介绍了迄今为止最大的注释IQA数据库，其中包含20,000个人体面孔（比所有现有的面孔的额定数据集大），在高度多样化的情况，质量水平和失真水平和变形类型中。基于数据库，我们进一步提出了一种新颖的深度学习模型，该模型重新塑造了生成的先验特征，以预测主观的面部质量。通过利用训练有素的生成模型中编码的丰富统计数据，我们获得了图像的生成性先验信息，并将其作为潜在参考，以促进盲目的IQA任务。实验结果证明了拟议模型在面部IQA任务上的出色预测准确性。

由于其语义上的理解和用户友好的可控性，通过三维引导，通过三维引导的面部图像操纵已广泛应用于各种交互式场景。然而，现有的基于3D形式模型的操作方法不可直接适用于域名面，例如非黑色素化绘画，卡通肖像，甚至是动物，主要是由于构建每个模型的强大困难具体面部域。为了克服这一挑战，据我们所知，我们建议使用人为3DMM操纵任意域名的第一种方法。这是通过两个主要步骤实现的：1）从3DMM参数解开映射到潜在的STYLEGO2的潜在空间嵌入，可确保每个语义属性的解除响应和精确的控制; 2）通过实施一致的潜空间嵌入，桥接域差异并使人类3DMM适用于域外面的人类3DMM。实验和比较展示了我们高质量的语义操作方法在各种面部域中的优越性，所有主要3D面部属性可控姿势，表达，形状，反照镜和照明。此外，我们开发了直观的编辑界面，以支持用户友好的控制和即时反馈。我们的项目页面是https://cassiepython.github.io/cddfm3d/index.html

基于生成神经辐射场（GNERF）基于生成神经辐射场（GNERF）的3D感知gan已达到令人印象深刻的高质量图像产生，同时保持了强3D一致性。最显着的成就是在面部生成领域中取得的。但是，这些模型中的大多数都集中在提高视图一致性上，但忽略了分离的方面，因此这些模型无法提供高质量的语义/属性控制对生成。为此，我们引入了一个有条件的GNERF模型，该模型使用特定属性标签作为输入，以提高3D感知生成模型的控制能力和解散能力。我们利用预先训练的3D感知模型作为基础，并集成了双分支属性编辑模块（DAEM），该模块（DAEM）利用属性标签来提供对生成的控制。此外，我们提出了一个Triot（作为INIT的训练，并针对调整进行优化），以优化潜在矢量以进一步提高属性编辑的精度。广泛使用的FFHQ上的广泛实验表明，我们的模型在保留非目标区域的同时产生具有更好视图一致性的高质量编辑。该代码可在https://github.com/zhangqianhui/tt-gnerf上找到。