真实图像进入样式中的潜在空间是一个研究的问题。然而，由于重建和可编辑性之间的固有权衡，将现有的现实情景方法应用于现实世界的情况仍然是一个开放的挑战：可以准确代表真实图像的潜在空间区域通常遭受降级的语义控制。最近的工作提出通过微调发电机将目标图像添加到潜在空间的良好编辑区域来减轻此权衡。在有希望的同时，这种微调方案对于普遍使用而言是不切实际的，因为它需要每个新图像需要冗长的训练阶段。在这项工作中，我们将这种方法介绍到基于编码器的反演的领域。我们提出了一个HyperSTYLE，一个高度作品，用于学习调制Stylegan权重，以忠实地在潜在空间的可编辑区域中表达给定的图像。一个天真的调制方法需要培训超过30亿参数的高度工作。通过仔细的网络设计，我们将其降低到与现有的编码器一致。 Hyperstyle产生与具有编码器的近实时推理能力的优化技术相当的重建。最后，我们展示了超出了超出了反转任务的若干应用的效力，包括编辑域名域名的域外图像。

由于GaN潜在空间的勘探和利用，近年来，现实世界的图像操纵实现了奇妙的进展。 GaN反演是该管道的第一步，旨在忠实地将真实图像映射到潜在代码。不幸的是，大多数现有的GaN反演方法都无法满足下面列出的三个要求中的至少一个：重建质量，可编辑性和快速推断。我们在本研究中提出了一种新的两阶段策略，同时适合所有要求。在第一阶段，我们训练编码器将输入图像映射到StyleGan2 $ \ Mathcal {W} $ - 空间，这被证明具有出色的可编辑性，但重建质量较低。在第二阶段，我们通过利用一系列HyperNetWorks来补充初始阶段的重建能力以在反转期间恢复缺失的信息。这两个步骤互相补充，由于Hypernetwork分支和由于$ \ Mathcal {W} $ - 空间中的反转，因此由于HyperNetwork分支和优异的可编辑性而相互作用。我们的方法完全是基于编码器的，导致极快的推断。关于两个具有挑战性的数据集的广泛实验证明了我们方法的优越性。

Our goal with this survey is to provide an overview of the state of the art deep learning technologies for face generation and editing. We will cover popular latest architectures and discuss key ideas that make them work, such as inversion, latent representation, loss functions, training procedures, editing methods, and cross domain style transfer. We particularly focus on GAN-based architectures that have culminated in the StyleGAN approaches, which allow generation of high-quality face images and offer rich interfaces for controllable semantics editing and preserving photo quality. We aim to provide an entry point into the field for readers that have basic knowledge about the field of deep learning and are looking for an accessible introduction and overview.

Figure 1. The proposed pixel2style2pixel framework can be used to solve a wide variety of image-to-image translation tasks. Here we show results of pSp on StyleGAN inversion, multi-modal conditional image synthesis, facial frontalization, inpainting and super-resolution.

GAN倒置旨在将输入图像倒入预训练GAN的潜在空间中。尽管GAN倒置最近取得了进步，但减轻失真和编辑性之间的权衡仍然存在挑战，即准确地重建输入图像并以较小的视觉质量下降来编辑倒置图像。最近提出的关键调整模型通过使用两步方法将输入图像转变为潜在代码，称为枢轴代码，然后改变生成器，以便可以准确映射输入图像，从而取得了重大进展，从而取得了重大进展。进入枢轴代码。在这里，我们表明可以通过适当的枢轴代码设计来改进重建和编辑性。我们提出了一种简单而有效的方法，称为“循环编码”，以提供高质量的枢轴代码。我们方法的关键思想是根据周期方案在不同空间中逐步训练编码器：w-> w+ - > w。该训练方法保留了W+空间的性质，即W+的低畸变的高编辑性。为了进一步减少失真，我们还建议使用基于优化的方法来完善枢轴代码，其中引入正则化项以减少编辑性的降解。对几种最新方法的定性和定量比较证明了我们方法的优势。

可以训练生成模型，以从特定域中生成图像，仅由文本提示引导，而不看到任何图像？换句话说：可以将图像生成器“盲目地训练”吗？利用大规模对比语言图像预训练（CLIP）模型的语义力量，我们提出了一种文本驱动方法，允许将生成模型转移到新域，而无需收集单个图像。我们展示通过自然语言提示和几分钟的培训，我们的方法可以通过各种风格和形状的多种域调整发电机。值得注意的是，许多这些修改难以与现有方法达到困难或完全不可能。我们在广泛的域中进行了广泛的实验和比较。这些证明了我们方法的有效性，并表明我们的移动模型保持了对下游任务吸引的生成模型的潜在空间属性。

We present a novel image inversion framework and a training pipeline to achieve high-fidelity image inversion with high-quality attribute editing. Inverting real images into StyleGAN's latent space is an extensively studied problem, yet the trade-off between the image reconstruction fidelity and image editing quality remains an open challenge. The low-rate latent spaces are limited in their expressiveness power for high-fidelity reconstruction. On the other hand, high-rate latent spaces result in degradation in editing quality. In this work, to achieve high-fidelity inversion, we learn residual features in higher latent codes that lower latent codes were not able to encode. This enables preserving image details in reconstruction. To achieve high-quality editing, we learn how to transform the residual features for adapting to manipulations in latent codes. We train the framework to extract residual features and transform them via a novel architecture pipeline and cycle consistency losses. We run extensive experiments and compare our method with state-of-the-art inversion methods. Qualitative metrics and visual comparisons show significant improvements. Code: https://github.com/hamzapehlivan/StyleRes

现有的GAN倒置和编辑方法适用于具有干净背景的对齐物体，例如肖像和动物面孔，但通常会为更加困难的类别而苦苦挣扎，具有复杂的场景布局和物体遮挡，例如汽车，动物和室外图像。我们提出了一种新方法，以在gan的潜在空间（例如stylegan2）中倒转和编辑复杂的图像。我们的关键想法是用一系列层的集合探索反演，从而将反转过程适应图像的难度。我们学会预测不同图像段的“可逆性”，并将每个段投影到潜在层。更容易的区域可以倒入发电机潜在空间中的较早层，而更具挑战性的区域可以倒入更晚的特征空间。实验表明，与最新的复杂类别的方法相比，我们的方法获得了更好的反转结果，同时保持下游的编辑性。请参阅我们的项目页面，网址为https://www.cs.cmu.edu/~saminversion。

反转生成对抗网络（GAN）可以使用预训练的发电机来促进广泛的图像编辑任务。现有方法通常采用gan的潜在空间作为反转空间，但观察到空间细节的恢复不足。在这项工作中，我们建议涉及发电机的填充空间，以通过空间信息补充潜在空间。具体来说，我们替换具有某些实例感知系数的卷积层中使用的恒定填充（例如，通常为零）。通过这种方式，可以适当地适当地适应了预训练模型中假定的归纳偏差以适合每个单独的图像。通过学习精心设计的编码器，我们设法在定性和定量上提高了反演质量，超过了现有的替代方案。然后，我们证明了这样的空间扩展几乎不会影响天然甘纳的歧管，因此我们仍然可以重复使用甘斯（Gans）对各种下游应用学到的先验知识。除了在先前的艺术中探讨的编辑任务外，我们的方法还可以进行更灵活的图像操纵，例如对面部轮廓和面部细节的单独控制，并启用一种新颖的编辑方式，用户可以高效地自定义自己的操作。

最近在图像编辑中找到了生成的对抗网络（GANS）。但是，大多数基于GaN的图像编辑方法通常需要具有用于训练的语义分段注释的大规模数据集，只提供高级控制，或者仅在不同图像之间插入。在这里，我们提出了EditGan，一种用于高质量，高精度语义图像编辑的新方法，允许用户通过修改高度详细的部分分割面罩，例如，为汽车前灯绘制新掩模来编辑图像。编辑登上的GAN框架上建立联合模型图像及其语义分割，只需要少数标记的示例，使其成为编辑的可扩展工具。具体地，我们将图像嵌入GaN潜在空间中，并根据分割编辑执行条件潜代码优化，这有效地修改了图像。算优化优化，我们发现在实现编辑的潜在空间中找到编辑向量。该框架允许我们学习任意数量的编辑向量，然后可以直接应用于交互式速率的其他图像。我们通过实验表明，EditGan可以用前所未有的细节和自由来操纵图像，同时保留完整的图像质量。我们还可以轻松地组合多个编辑并执行超出EditGan训练数据的合理编辑。我们在各种图像类型上展示编辑，并定量优于标准编辑基准任务的几种先前编辑方法。

我们为一个拍摄域适应提供了一种新方法。我们方法的输入是训练的GaN，其可以在域B中产生域A和单个参考图像I_B的图像。所提出的算法可以将训练的GaN的任何输出从域A转换为域B.我们的主要优点有两个主要优点方法与当前现有技术相比：首先，我们的解决方案实现了更高的视觉质量，例如通过明显减少过度装箱。其次，我们的解决方案允许更多地控制域间隙的自由度，即图像I_B的哪些方面用于定义域B.从技术上讲，我们通过在预先训练的样式生成器上建立新方法作为GaN和A用于代表域间隙的预先训练的夹模型。我们提出了几种新的常规程序来控制域间隙，以优化预先训练的样式生成器的权重，以输出域B中的图像而不是域A.常规方法防止优化来自单个参考图像的太多属性。我们的结果表明，对现有技术的显着视觉改进以及突出了改进控制的多个应用程序。

StyleGAN has achieved great progress in 2D face reconstruction and semantic editing via image inversion and latent editing. While studies over extending 2D StyleGAN to 3D faces have emerged, a corresponding generic 3D GAN inversion framework is still missing, limiting the applications of 3D face reconstruction and semantic editing. In this paper, we study the challenging problem of 3D GAN inversion where a latent code is predicted given a single face image to faithfully recover its 3D shapes and detailed textures. The problem is ill-posed: innumerable compositions of shape and texture could be rendered to the current image. Furthermore, with the limited capacity of a global latent code, 2D inversion methods cannot preserve faithful shape and texture at the same time when applied to 3D models. To solve this problem, we devise an effective self-training scheme to constrain the learning of inversion. The learning is done efficiently without any real-world 2D-3D training pairs but proxy samples generated from a 3D GAN. In addition, apart from a global latent code that captures the coarse shape and texture information, we augment the generation network with a local branch, where pixel-aligned features are added to faithfully reconstruct face details. We further consider a new pipeline to perform 3D view-consistent editing. Extensive experiments show that our method outperforms state-of-the-art inversion methods in both shape and texture reconstruction quality. Code and data will be released.

Recent 3D-aware GANs rely on volumetric rendering techniques to disentangle the pose and appearance of objects, de facto generating entire 3D volumes rather than single-view 2D images from a latent code. Complex image editing tasks can be performed in standard 2D-based GANs (e.g., StyleGAN models) as manipulation of latent dimensions. However, to the best of our knowledge, similar properties have only been partially explored for 3D-aware GAN models. This work aims to fill this gap by showing the limitations of existing methods and proposing LatentSwap3D, a model-agnostic approach designed to enable attribute editing in the latent space of pre-trained 3D-aware GANs. We first identify the most relevant dimensions in the latent space of the model controlling the targeted attribute by relying on the feature importance ranking of a random forest classifier. Then, to apply the transformation, we swap the top-K most relevant latent dimensions of the image being edited with an image exhibiting the desired attribute. Despite its simplicity, LatentSwap3D provides remarkable semantic edits in a disentangled manner and outperforms alternative approaches both qualitatively and quantitatively. We demonstrate our semantic edit approach on various 3D-aware generative models such as pi-GAN, GIRAFFE, StyleSDF, MVCGAN, EG3D and VolumeGAN, and on diverse datasets, such as FFHQ, AFHQ, Cats, MetFaces, and CompCars. The project page can be found: \url{https://enisimsar.github.io/latentswap3d/}.

尽管在预验证的GAN模型的潜在空间中表现出的编辑能力，但倒置现实世界的图像被陷入困境，即重建不能忠于原始输入。这样做的主要原因是，训练和现实世界数据之间的分布未对准，因此，对于真实图像编辑而言，它不稳定。在本文中，我们提出了一个基于GAN的新型编辑框架，以通过组成分解范式解决室外反转问题。特别是，在构图阶段，我们引入了一个差分激活模块，用于从全局角度\ ie（IE）检测语义变化，这是编辑和未编辑图像的特征之间的相对差距。借助生成的diff-cam掩模，配对的原始图像和编辑图像可以直观地进行粗糙的重建。这样，几乎整体可以生存属性，而这种中间结果的质量仍然受到不可避免的幽灵效果的限制。因此，在分解阶段，我们进一步提出了一个基于GAN的基于GAN的DEGHOSTING网络，用于将最终的精细编辑图像与粗糙重建分开。在定性和定量评估方面，广泛的实验比最新方法具有优势。我们方法的鲁棒性和灵活性在两个属性和多属性操作的方案上也得到了验证。

The introduction of high-quality image generation models, particularly the StyleGAN family, provides a powerful tool to synthesize and manipulate images. However, existing models are built upon high-quality (HQ) data as desired outputs, making them unfit for in-the-wild low-quality (LQ) images, which are common inputs for manipulation. In this work, we bridge this gap by proposing a novel GAN structure that allows for generating images with controllable quality. The network can synthesize various image degradation and restore the sharp image via a quality control code. Our proposed QC-StyleGAN can directly edit LQ images without altering their quality by applying GAN inversion and manipulation techniques. It also provides for free an image restoration solution that can handle various degradations, including noise, blur, compression artifacts, and their mixtures. Finally, we demonstrate numerous other applications such as image degradation synthesis, transfer, and interpolation.

最近，对现实世界图像的操纵以及生成对抗网络（GAN）和相应的编码器的开发已被高度详细阐述，它们将真实世界图像嵌入到潜在空间中。但是，由于失真和感知之间的权衡，GAN的设计编码器仍然是一项具有挑战性的任务。在本文中，我们指出，现有的编码器不仅试图降低兴趣区域的失真，例如人的面部区域，而且在不感兴趣的地区，例如背景模式和障碍。但是，实际图像中的大多数不感兴趣区域都位于分布式（OOD）上，这是不可行的，可以理想地通过生成模型重建。此外，我们从经验上发现，与兴趣区域重叠的不感兴趣的区域可以构成兴趣区域的原始特征，例如，一个与面部区域重叠的麦克风被倒入白胡子中。结果，在保持感知质量的同时降低整个图像的失真非常具有挑战性。为了克服这一权衡，我们提出了一个简单而有效的编码器培训计划，即创造了兴趣码，该计划通过关注兴趣区域来促进编码。 Resityle引导编码器解开兴趣和不感兴趣区域的编码。为此，我们过滤了不感兴趣的区域的信息，以调节不感兴趣的区域的负面影响。我们证明，与现有的最新编码器相比，Resiveyle可以达到较低的失真和更高的感知质量。尤其是我们的模型可以坚固地保守原始图像的特征，该图像显示了强大的图像编辑和样式混合结果。审查后，我们将使用预先培训的模型发布代码。

由于其语义上的理解和用户友好的可控性，通过三维引导，通过三维引导的面部图像操纵已广泛应用于各种交互式场景。然而，现有的基于3D形式模型的操作方法不可直接适用于域名面，例如非黑色素化绘画，卡通肖像，甚至是动物，主要是由于构建每个模型的强大困难具体面部域。为了克服这一挑战，据我们所知，我们建议使用人为3DMM操纵任意域名的第一种方法。这是通过两个主要步骤实现的：1）从3DMM参数解开映射到潜在的STYLEGO2的潜在空间嵌入，可确保每个语义属性的解除响应和精确的控制; 2）通过实施一致的潜空间嵌入，桥接域差异并使人类3DMM适用于域外面的人类3DMM。实验和比较展示了我们高质量的语义操作方法在各种面部域中的优越性，所有主要3D面部属性可控姿势，表达，形状，反照镜和照明。此外，我们开发了直观的编辑界面，以支持用户友好的控制和即时反馈。我们的项目页面是https://cassiepython.github.io/cddfm3d/index.html

随着方法的发展，反转主要分为两个步骤。第一步是图像嵌入，其中编码器或优化过程嵌入图像以获取相应的潜在代码。之后，第二步旨在完善反转和编辑结果，我们将其命名为“结果”。尽管第二步显着提高了忠诚度，但感知和编辑性几乎没有变化，深处取决于第一步中获得的反向潜在代码。因此，一个关键问题是在保留重建保真度的同时获得更好的感知和编辑性的潜在代码。在这项工作中，我们首先指出，这两个特征与合成分布的逆代码的对齐程度（或不对准）有关。然后，我们提出了潜在空间比对反转范式（LSAP），该范式由评估度量和解决方案组成。具体来说，我们引入了归一化样式空间（$ \ Mathcal {s^n} $ space）和$ \ Mathcal {s^n} $ cosine距离（SNCD）以测量反转方法的不对准。由于我们提出的SNCD是可区分的，因此可以在基于编码器和基于优化的嵌入方法中进行优化，以执行均匀的解决方案。在各个域中进行的广泛实验表明，SNCD有效地反映了感知和编辑性，并且我们的对齐范式在两个步骤中都归档了最新的。代码可在https://github.com/caopulan/ganinverter上找到。

在本文中，我们解决了神经面部重演的问题，鉴于一对源和目标面部图像，我们需要通过将目标的姿势（定义为头部姿势及其面部表情定义）通过同时保留源的身份特征（例如面部形状，发型等），即使在源头和目标面属于不同身份的挑战性情况下也是如此。在此过程中，我们解决了最先进作品的一些局限在推理期间标记的数据以及c）它们不保留大型头部姿势变化中的身份。更具体地说，我们提出了一个框架，该框架使用未配对的随机生成的面部图像学会通过合并最近引入的样式空间$ \ Mathcal $ \ Mathcal {S} $ of Stylegan2的姿势，以将面部的身份特征从其姿势中解脱出来表现出显着的分解特性。通过利用这一点，我们学会使用3D模型的监督成功地混合了一对源和目标样式代码。随后用于重新制定的最终潜在代码由仅与源的面部姿势相对应的潜在单位和仅与源身份相对应的单位组成，从而显着改善了与最近的状态性能相比的重新制定性能。艺术方法。与艺术的状态相比，我们定量和定性地表明，即使在极端的姿势变化下，提出的方法也会产生更高的质量结果。最后，我们通过首先将它们嵌入预告片发电机的潜在空间来报告实际图像。我们在：https：//github.com/stelabou/stylemask上公开提供代码和预估计的模型

我们提出Hypernst；基于超网络和stylegan2体系结构的图像艺术风格的神经风格转移（NST）技术。我们的贡献是一种新颖的方法，用于诱导通过度量空间进行参数化的样式转移，并预先训练基于样式的视觉搜索（SBV）。我们首次证明可以使用此类空间来驱动NST，从而从SBVS系统中启用样式的应用程序和插值。技术贡献是一个超网络，可以预测对型号的stylegan2的重量更新，而在各种各样的艺术内容（肖像）上，可以使用面部区域的语义图在每个区域量身定制样式参数化。我们在保留良好的风格转移性能的同时，在内容保存方面显示了超越最高的内容。