The pandemic of these very recent years has led to a dramatic increase in people wearing protective masks in public venues. This poses obvious challenges to the pervasive use of face recognition technology that now is suffering a decline in performance. One way to address the problem is to revert to face recovery methods as a preprocessing step. Current approaches to face reconstruction and manipulation leverage the ability to model the face manifold, but tend to be generic. We introduce a method that is specific for the recovery of the face image from an image of the same individual wearing a mask. We do so by designing a specialized GAN inversion method, based on an appropriate set of losses for learning an unmasking encoder. With extensive experiments, we show that the approach is effective at unmasking face images. In addition, we also show that the identity information is preserved sufficiently well to improve face verification performance based on several face recognition benchmark datasets.

使用社交媒体网站和应用程序已经变得非常受欢迎，人们在这些网络上分享他们的照片。在这些网络上自动识别和标记人们的照片已经提出了隐私保存问题，用户寻求隐藏这些算法的方法。生成的对抗网络（GANS）被证明是非常强大的在高多样性中产生面部图像以及编辑面部图像。在本文中，我们提出了一种基于GAN的生成掩模引导的面部图像操纵（GMFIM）模型，以将无法察觉的编辑应用于输入面部图像以保护图像中的人的隐私。我们的模型由三个主要组件组成：a）面罩模块将面积从输入图像中切断并省略背景，b）用于操纵面部图像并隐藏身份的GaN的优化模块，并覆盖身份和c）用于组合输入图像的背景和操纵的去识别的面部图像的合并模块。在优化步骤的丢失功能中考虑了不同的标准，以产生与输入图像一样类似的高质量图像，同时不能通过AFR系统识别。不同数据集的实验结果表明，与最先进的方法相比，我们的模型可以实现对自动面部识别系统的更好的性能，并且它在大多数实验中捕获更高的攻击成功率。此外，我们提出的模型的产生图像具有最高的质量，更令人愉悦。

Figure 1. The proposed pixel2style2pixel framework can be used to solve a wide variety of image-to-image translation tasks. Here we show results of pSp on StyleGAN inversion, multi-modal conditional image synthesis, facial frontalization, inpainting and super-resolution.

我们提出了Exe-Gan，这是一种新型的使用生成对抗网络的典范引导的面部介绍框架。我们的方法不仅可以保留输入面部图像的质量，而且还可以使用类似示例性的面部属性来完成图像。我们通过同时利用输入图像的全局样式，从随机潜在代码生成的随机样式以及示例图像的示例样式来实现这一目标。我们介绍了一个新颖的属性相似性指标，以鼓励网络以一种自我监督的方式从示例中学习面部属性的风格。为了确保跨地区边界之间的自然过渡，我们引入了一种新型的空间变体梯度反向传播技术，以根据空间位置调整损耗梯度。关于公共Celeba-HQ和FFHQ数据集的广泛评估和实际应用，可以验证Exe-GAN的优越性，从面部镶嵌的视觉质量来看。

由于GaN潜在空间的勘探和利用，近年来，现实世界的图像操纵实现了奇妙的进展。 GaN反演是该管道的第一步，旨在忠实地将真实图像映射到潜在代码。不幸的是，大多数现有的GaN反演方法都无法满足下面列出的三个要求中的至少一个：重建质量，可编辑性和快速推断。我们在本研究中提出了一种新的两阶段策略，同时适合所有要求。在第一阶段，我们训练编码器将输入图像映射到StyleGan2 $ \ Mathcal {W} $ - 空间，这被证明具有出色的可编辑性，但重建质量较低。在第二阶段，我们通过利用一系列HyperNetWorks来补充初始阶段的重建能力以在反转期间恢复缺失的信息。这两个步骤互相补充，由于Hypernetwork分支和由于$ \ Mathcal {W} $ - 空间中的反转，因此由于HyperNetwork分支和优异的可编辑性而相互作用。我们的方法完全是基于编码器的，导致极快的推断。关于两个具有挑战性的数据集的广泛实验证明了我们方法的优越性。

最近的面部生成方法试图根据给定的轮廓条件（例如低分辨率图像或草图）合成面部。但是，身份歧义的问题仍未解决，通常在轮廓太模糊而无法提供可靠的身份信息时（例如，当其分辨率极低时）发生。因此，可行的图像恢复解决方案可能是无限的。在这项工作中，我们提出了一个新颖的框架，该框架采用轮廓和一个额外的图像，将身份指定为输入，轮廓可以是各种方式，包括低分辨率图像，草图和语义标签映射。具体而言，我们提出了一种新颖的双重编码架构，其中身份编码器提取与身份相关的特征，并伴随着主编码器，以获取粗糙的轮廓信息并将所有信息进一步融合在一起。编码器输出迭代地馈入预训练的样式Generator，直到获得令人满意的结果为止。据我们所知，这是在多模式轮廓图像中获得身份引导的面部生成的第一部作品。此外，我们的方法可以以1024 $ \ times $ 1024的分辨率产生照片现实效果。

大多数现代脸部完成方法采用AutoEncoder或其变体来恢复面部图像中缺失的区域。编码器通常用于学习强大的表现，在满足复杂的学习任务的挑战方面发挥着重要作用。具体地，各种掩模通常在野外的面部图像中呈现，形成复杂的图案，特别是在Covid-19的艰难时期。编码器很难在这种复杂的情况下捕捉如此强大的陈述。为了解决这一挑战，我们提出了一个自我监督的暹罗推论网络，以改善编码器的泛化和鲁棒性。它可以从全分辨率图像编码上下文语义并获得更多辨别性表示。为了处理面部图像的几何变型，将密集的对应字段集成到网络中。我们进一步提出了一种具有新型双重关注融合模块（DAF）的多尺度解码器，其可以以自适应方式将恢复和已知区域组合。这种多尺度架构有利于解码器利用从编码器学习到图像中的辨别性表示。广泛的实验清楚地表明，与最先进的方法相比，拟议的方法不仅可以实现更具吸引力的结果，而且还提高了蒙面的面部识别的性能。

Our goal with this survey is to provide an overview of the state of the art deep learning technologies for face generation and editing. We will cover popular latest architectures and discuss key ideas that make them work, such as inversion, latent representation, loss functions, training procedures, editing methods, and cross domain style transfer. We particularly focus on GAN-based architectures that have culminated in the StyleGAN approaches, which allow generation of high-quality face images and offer rich interfaces for controllable semantics editing and preserving photo quality. We aim to provide an entry point into the field for readers that have basic knowledge about the field of deep learning and are looking for an accessible introduction and overview.

最近，对现实世界图像的操纵以及生成对抗网络（GAN）和相应的编码器的开发已被高度详细阐述，它们将真实世界图像嵌入到潜在空间中。但是，由于失真和感知之间的权衡，GAN的设计编码器仍然是一项具有挑战性的任务。在本文中，我们指出，现有的编码器不仅试图降低兴趣区域的失真，例如人的面部区域，而且在不感兴趣的地区，例如背景模式和障碍。但是，实际图像中的大多数不感兴趣区域都位于分布式（OOD）上，这是不可行的，可以理想地通过生成模型重建。此外，我们从经验上发现，与兴趣区域重叠的不感兴趣的区域可以构成兴趣区域的原始特征，例如，一个与面部区域重叠的麦克风被倒入白胡子中。结果，在保持感知质量的同时降低整个图像的失真非常具有挑战性。为了克服这一权衡，我们提出了一个简单而有效的编码器培训计划，即创造了兴趣码，该计划通过关注兴趣区域来促进编码。 Resityle引导编码器解开兴趣和不感兴趣区域的编码。为此，我们过滤了不感兴趣的区域的信息，以调节不感兴趣的区域的负面影响。我们证明，与现有的最新编码器相比，Resiveyle可以达到较低的失真和更高的感知质量。尤其是我们的模型可以坚固地保守原始图像的特征，该图像显示了强大的图像编辑和样式混合结果。审查后，我们将使用预先培训的模型发布代码。

edu.hk (a) Image Reconstruction (b) Image Colorization (c) Image Super-Resolution (d) Image Denoising (e) Image Inpainting (f) Semantic Manipulation Figure 1: Multi-code GAN prior facilitates many image processing applications using the reconstruction from fixed PGGAN [23] models.

封闭在野外的脸部图像中非常常见，导致面部相关任务的性能劣化。虽然致力于从面部图像中去除闭塞的努力，但遮挡的不同形状和纹理仍然挑战当前方法的稳健性。结果，目前的方法依赖于手动遮挡掩模或仅适用于特定的闭塞。本文提出了一种基于面部分割和3D面重建的新型面部去遮挡模型，其自动除去甚至模糊边界，例如，毛发。，毛发。所提出的模型包括3D面部重建模块，面部分割模块和图像生成模块。对于前两者预测的面部和遮挡掩模，图像生成模块可以忠实地恢复缺失的面部纹理。为了监督培训，我们进一步构建了一个大型遮挡数据集，双手动标记和合成闭塞。定性和定量结果证明了该方法的有效性和稳健性。

面部超分辨率（FSR），也称为面部幻觉，其旨在增强低分辨率（LR）面部图像以产生高分辨率（HR）面部图像的分辨率，是特定于域的图像超分辨率问题。最近，FSR获得了相当大的关注，并目睹了深度学习技术的发展炫目。迄今为止，有很少有基于深入学习的FSR的研究摘要。在本次调查中，我们以系统的方式对基于深度学习的FSR方法进行了全面审查。首先，我们总结了FSR的问题制定，并引入了流行的评估度量和损失功能。其次，我们详细说明了FSR中使用的面部特征和流行数据集。第三，我们根据面部特征的利用大致分类了现有方法。在每个类别中，我们从设计原则的一般描述开始，然后概述代表方法，然后讨论其中的利弊。第四，我们评估了一些最先进的方法的表现。第五，联合FSR和其他任务以及与FSR相关的申请大致介绍。最后，我们设想了这一领域进一步的技术进步的前景。在\ URL {https://github.com/junjun-jiang/face-hallucination-benchmark}上有一个策划的文件和资源的策划文件和资源清单

Face Restoration (FR) aims to restore High-Quality (HQ) faces from Low-Quality (LQ) input images, which is a domain-specific image restoration problem in the low-level computer vision area. The early face restoration methods mainly use statistic priors and degradation models, which are difficult to meet the requirements of real-world applications in practice. In recent years, face restoration has witnessed great progress after stepping into the deep learning era. However, there are few works to study deep learning-based face restoration methods systematically. Thus, this paper comprehensively surveys recent advances in deep learning techniques for face restoration. Specifically, we first summarize different problem formulations and analyze the characteristic of the face image. Second, we discuss the challenges of face restoration. Concerning these challenges, we present a comprehensive review of existing FR methods, including prior based methods and deep learning-based methods. Then, we explore developed techniques in the task of FR covering network architectures, loss functions, and benchmark datasets. We also conduct a systematic benchmark evaluation on representative methods. Finally, we discuss future directions, including network designs, metrics, benchmark datasets, applications,etc. We also provide an open-source repository for all the discussed methods, which is available at https://github.com/TaoWangzj/Awesome-Face-Restoration.

生成对抗性网络（GANS）的最新进展导致了面部图像合成的显着成果。虽然使用基于样式的GAN的方法可以产生尖锐的照片拟真的面部图像，但是通常难以以有意义和解开的方式控制所产生的面的特性。之前的方法旨在在先前培训的GaN的潜在空间内实现此类语义控制和解剖。相比之下，我们提出了一个框架，即明确地提出了诸如3D形状，反玻璃，姿势和照明的面部的身体属性，从而通过设计提供解剖。我们的方法，大多数GaN，与非线性3D可变模型的物理解剖和灵活性集成了基于风格的GAN的表现力和质感，我们与最先进的2D头发操纵网络相结合。大多数GaN通过完全解散的3D控制来实现肖像图像的照片拟理性操纵，从而实现了光线，面部表情和姿势变化的极端操作，直到完整的档案视图。

我们提出了Boareskinnet，这是一种新颖的方法，可以同时去除面部图像的化妆和照明影响。我们的方法利用3D形态模型，不需要参考干净的面部图像或指定的光条件。通过结合3D面重建的过程，我们可以轻松获得3D几何和粗3D纹理。使用此信息，我们可以通过图像翻译网络推断出归一化的3D面纹理图（扩散，正常，粗糙和镜面）。因此，没有不良信息的重建3D面部纹理将显着受益于随后的过程，例如重新照明或重新制作。在实验中，我们表明Bareskinnet优于最先进的化妆方法。此外，我们的方法有助于卸妆以生成一致的高保真纹理图，这使其可扩展到许多现实的面部生成应用。它还可以在相应的3D数据之前和之后自动构建面部化妆图像的图形资产。这将有助于艺术家加速他们的作品，例如3D Makeup Avatar创作。

Privacy of machine learning models is one of the remaining challenges that hinder the broad adoption of Artificial Intelligent (AI). This paper considers this problem in the context of image datasets containing faces. Anonymization of such datasets is becoming increasingly important due to their central role in the training of autonomous cars, for example, and the vast amount of data generated by surveillance systems. While most prior work de-identifies facial images by modifying identity features in pixel space, we instead project the image onto the latent space of a Generative Adversarial Network (GAN) model, find the features that provide the biggest identity disentanglement, and then manipulate these features in latent space, pixel space, or both. The main contribution of the paper is the design of a feature-preserving anonymization framework, StyleID, which protects the individuals' identity, while preserving as many characteristics of the original faces in the image dataset as possible. As part of the contribution, we present a novel disentanglement metric, three complementing disentanglement methods, and new insights into identity disentanglement. StyleID provides tunable privacy, has low computational complexity, and is shown to outperform current state-of-the-art solutions.

鉴于其广泛的应用，已经对人面部交换的任务进行了许多尝试。尽管现有的方法主要依赖于乏味的网络和损失设计，但它们仍然在源和目标面之间的信息平衡中挣扎，并倾向于产生可见的人工制品。在这项工作中，我们引入了一个名为StylesWap的简洁有效的框架。我们的核心想法是利用基于样式的生成器来增强高保真性和稳健的面部交换，因此可以采用发电机的优势来优化身份相似性。我们仅通过最小的修改来确定，StyleGAN2体系结构可以成功地处理来自源和目标的所需信息。此外，受到TORGB层的启发，进一步设计了交换驱动的面具分支以改善信息的融合。此外，可以采用stylegan倒置的优势。特别是，提出了交换引导的ID反转策略来优化身份相似性。广泛的实验验证了我们的框架会产生高质量的面部交换结果，从而超过了最先进的方法，既有定性和定量。

图像介入寻求一种语义一致的方法，以根据其未掩盖的内容来恢复损坏的图像。以前的方法通常将训练有素的甘恩重复使用，然后在产生逼真的斑块中用于缺少GAN反转的孔。然而，在这些算法中对硬约束的无知可能会产生gan倒置和图像插入之间的差距。在解决这个问题的情况下，我们在本文中设计了一个新颖的GAN反转模型，用于图像插入，称为Interverfill，主要由带有预调制模块的编码器和具有F＆W+潜在空间的GAN生成器组成。在编码器中，预调制网络利用多尺度结构将更多的歧视语义编码为样式向量。为了弥合GAN倒置和图像插入之间的缝隙，提出了F＆W+潜在空间以消除巨大的颜色差异和语义不一致。为了重建忠实和逼真的图像，一个简单而有效的软上升平均潜在模块旨在捕获更多样化的内域模式，以合成大型腐败的高保真质地。在包括Ploce2，Celeba-HQ，Metfaces和Scenery在内的四个具有挑战性的数据集上进行的全面实验表明，我们的Intervill效果优于定性和定量的高级方法，并支持室外图像的完成。

面部图像中的对象删除和图像介绍是一项任务，其中遮挡面部图像的对象被专门针对，删除和替换为正确重建的面部图像。利用U-NET和调制发电机的两种不同的方法已被广泛认可了该任务的独特优势，但尽管每种方法的先天缺点。 u-net是一种有条件剂的常规方法，保留了未掩盖区域的精细细节，但是重建图像的样式与原始图像的其余部分不一致，并且只有在遮挡对象的大小足够小时才可以坚固。相比之下，调制生成方法可以处理图像中较大的阻塞区域，并提供{a}更一致的样式，但通常会错过大多数详细功能。这两种模型之间的这种权衡需要制定模型的发明，该模型可以应用于任何尺寸的面具，同时保持一致的样式并保留面部特征的细节细节。在这里，我们提出了语义引导的介绍网络（SGIN）本身是对调制发电机的修改，旨在利用其先进的生成能力并保留原始图像的高保真详细信息。通过使用语义图的指导，我们的模型能够操纵面部特征，这些特征将方向赋予了一对多问题，以进一步实用。

在这项工作中，我们为面部年龄编辑提出了一种新颖的架构，该架构可以产生结构修改，同时保持原始图像中存在相关细节。我们删除输入图像的样式和内容，并提出了一个新的解码器网络，该网络采用了一种基于样式的策略来结合输入图像的样式和内容表示，同时将输出在目标年龄上调节。我们超越了现有的衰老方法，使用户可以在推理过程中调整输入图像中的结构保存程度。为此，我们引入了一种掩盖机制，即自定义结构保存模块，该模块将输入图像中的相关区域与应丢弃的区域区分开。尖峰不需要其他监督。最后，我们的定量和定性分析在内，包括用户研究，表明我们的方法优于先前的艺术，并证明了我们在图像编辑和可调节结构保存方面的策略的有效性。可以在https://github.com/guillermogogotre/cusp上获得代码和预估计的模型。