基于生成的对抗网络（GaN）的本地化图像编辑可以在语义属性之间遭受模糊性。因此，我们提出了一种新颖的目标函数来评估图像编辑的局部性。通过从预先训练的分段网络引入监督并优化目标函数，我们的框架称为局部有效的潜空间方向（LELD），适用于任何数据集和GAN架构。我们的方法也在计算上快速并且展示了高度的解剖学，这允许用户在图像上交互地执行一系列编辑。我们对GaN生成和真实图像的实验定性地展示了我们方法的高质量和优势。

Our method performs local semantic editing on GAN output images, transferring the appearance of a specific object part from a reference image to a target image.

生成的对抗网络（GAN）表现出了真实图像的令人印象深刻的图像生成质量和语义编辑功能，例如更改对象类，修改属性或传输样式。但是，将这些基于GAN的编辑应用于每个框架的视频，不可避免地会导致时间闪烁的伪影。我们提出了一种简单而有效的方法，以促进时间连贯的视频编辑。我们的核心思想是通过优化潜在代码和预训练的发电机来最大程度地减少时间光度不一致。我们评估了在不同领域和GAN倒置技术上编辑的质量，并对基线显示出优惠的结果。

最近的研究表明，风格老年提供了对图像合成和编辑的下游任务的有希望的现有模型。然而，由于样式盖的潜在代码被设计为控制全球样式，因此很难实现对合成图像的细粒度控制。我们提出了SemanticStylegan，其中发电机训练以分别培训局部语义部件，并以组成方式合成图像。不同局部部件的结构和纹理由相应的潜在码控制。实验结果表明，我们的模型在不同空间区域之间提供了强烈的解剖。当与为样式器设计的编辑方法结合使用时，它可以实现更细粒度的控制，以编辑合成或真实图像。该模型也可以通过传输学习扩展到其他域。因此，作为具有内置解剖学的通用先前模型，它可以促进基于GaN的应用的发展并实现更多潜在的下游任务。

Prior work has extensively studied the latent space structure of GANs for unconditional image synthesis, enabling global editing of generated images by the unsupervised discovery of interpretable latent directions. However, the discovery of latent directions for conditional GANs for semantic image synthesis (SIS) has remained unexplored. In this work, we specifically focus on addressing this gap. We propose a novel optimization method for finding spatially disentangled class-specific directions in the latent space of pretrained SIS models. We show that the latent directions found by our method can effectively control the local appearance of semantic classes, e.g., changing their internal structure, texture or color independently from each other. Visual inspection and quantitative evaluation of the discovered GAN controls on various datasets demonstrate that our method discovers a diverse set of unique and semantically meaningful latent directions for class-specific edits.

现有的GAN倒置和编辑方法适用于具有干净背景的对齐物体，例如肖像和动物面孔，但通常会为更加困难的类别而苦苦挣扎，具有复杂的场景布局和物体遮挡，例如汽车，动物和室外图像。我们提出了一种新方法，以在gan的潜在空间（例如stylegan2）中倒转和编辑复杂的图像。我们的关键想法是用一系列层的集合探索反演，从而将反转过程适应图像的难度。我们学会预测不同图像段的“可逆性”，并将每个段投影到潜在层。更容易的区域可以倒入发电机潜在空间中的较早层，而更具挑战性的区域可以倒入更晚的特征空间。实验表明，与最新的复杂类别的方法相比，我们的方法获得了更好的反转结果，同时保持下游的编辑性。请参阅我们的项目页面，网址为https://www.cs.cmu.edu/~saminversion。

生成对抗网络（GAN）已广泛应用于建模各种图像分布。然而，尽管具有令人印象深刻的应用，但甘恩（Gans）中潜在空间的结构在很大程度上仍然是一个黑框，使其可控的一代问题是一个开放的问题，尤其是当图像分布中存在不同语义属性之间的虚假相关性时。为了解决此问题，以前的方法通常会学习控制图像空间中语义属性的线性方向或单个通道。但是，他们通常会遭受不完美的分解，或者无法获得多向控制。在这项工作中，根据上述挑战，我们提出了一种新的方法，可以发现非线性控件，该方法基于学识渊博的gan潜在空间中的梯度信息，可以实现多个方向的操作以及有效的分解。更具体地说，我们首先通过从对属性分别训练的分类网络中遵循梯度来学习插值方向，然后通过专门控制针对目标属性在学习的方向上激活目标属性的通道来导航潜在空间。从经验上讲，借助小型培训数据，我们的方法能够获得对各种双向和多方向属性的细粒度控制，并且我们展示了其实现分离的能力，其能力明显优于先进方法。定性和定量。

A rich set of interpretable dimensions has been shown to emerge in the latent space of the Generative Adversarial Networks (GANs) trained for synthesizing images. In order to identify such latent dimensions for image editing, previous methods typically annotate a collection of synthesized samples and train linear classifiers in the latent space. However, they require a clear definition of the target attribute as well as the corresponding manual annotations, limiting their applications in practice. In this work, we examine the internal representation learned by GANs to reveal the underlying variation factors in an unsupervised manner. In particular, we take a closer look into the generation mechanism of GANs and further propose a closed-form factorization algorithm for latent semantic discovery by directly decomposing the pre-trained weights. With a lightning-fast implementation, our approach is capable of not only finding semantically meaningful dimensions comparably to the state-of-the-art supervised methods, but also resulting in far more versatile concepts across multiple GAN models trained on a wide range of datasets. 1

GAN的进展使高分辨率的感性质量形象产生了产生。 stylegans允许通过数学操作对W/W+空间中的潜在样式向量进行数学操作进行引人入胜的属性修改，从而有效调节生成器的丰富层次结构表示。最近，此类操作已被推广到原始StyleGan纸中的属性交换之外，以包括插值。尽管StyleGans有许多重大改进，但仍被认为会产生不自然的图像。生成的图像的质量基于两个假设。 （a）生成器学到的层次表示的丰富性，以及（b）样式空间的线性和平滑度。在这项工作中，我们提出了一个层次的语义正常化程序（HSR），该层次正常化程序将生成器学到的层次表示与大量数据学到的相应的强大功能保持一致。 HSR不仅可以改善发电机的表示，还可以改善潜在风格空间的线性和平滑度，从而导致产生更自然的样式编辑的图像。为了证明线性改善，我们提出了一种新型的度量 - 属性线性评分（ALS）。通过改善感知路径长度（PPL）度量的改善，在不同的标准数据集中平均16.19％的不自然图像的生成显着降低，同时改善了属性编辑任务中属性变化的线性变化。

现在，使用最近的生成对抗网络（GAN）可以使用高现实主义的不受约束图像产生。但是，用给定的一组属性生成图像非常具有挑战性。最近的方法使用基于样式的GAN模型来执行图像编辑，通过利用发电机层中存在的语义层次结构。我们提出了一些基于潜在的属性操纵和编辑（火焰），这是一个简单而有效的框架，可通过潜在空间操纵执行高度控制的图像编辑。具体而言，我们估计了控制生成图像中语义属性的潜在空间（预训练样式的）中的线性方向。与以前的方法相反，这些方法依赖于大规模属性标记的数据集或属性分类器，而火焰则使用一些策划的图像对的最小监督来估算删除的编辑指示。火焰可以在保留身份的同时，在各种图像集上同时进行高精度和顺序编辑。此外，我们提出了一项新颖的属性样式操纵任务，以生成各种样式的眼镜和头发等属性。我们首先编码相同身份的一组合成图像，但在潜在空间中具有不同的属性样式，以估计属性样式歧管。从该歧管中采样新的潜在将导致生成图像中的新属性样式。我们提出了一种新颖的抽样方法，以从歧管中采样潜在的样品，使我们能够生成各种属性样式，而不是训练集中存在的样式。火焰可以以分离的方式生成多种属性样式。我们通过广泛的定性和定量比较来说明火焰与先前的图像编辑方法相对于先前的图像编辑方法的卓越性能。火焰在多个数据集（例如汽车和教堂）上也很好地概括了。

最近在图像编辑中找到了生成的对抗网络（GANS）。但是，大多数基于GaN的图像编辑方法通常需要具有用于训练的语义分段注释的大规模数据集，只提供高级控制，或者仅在不同图像之间插入。在这里，我们提出了EditGan，一种用于高质量，高精度语义图像编辑的新方法，允许用户通过修改高度详细的部分分割面罩，例如，为汽车前灯绘制新掩模来编辑图像。编辑登上的GAN框架上建立联合模型图像及其语义分割，只需要少数标记的示例，使其成为编辑的可扩展工具。具体地，我们将图像嵌入GaN潜在空间中，并根据分割编辑执行条件潜代码优化，这有效地修改了图像。算优化优化，我们发现在实现编辑的潜在空间中找到编辑向量。该框架允许我们学习任意数量的编辑向量，然后可以直接应用于交互式速率的其他图像。我们通过实验表明，EditGan可以用前所未有的细节和自由来操纵图像，同时保留完整的图像质量。我们还可以轻松地组合多个编辑并执行超出EditGan训练数据的合理编辑。我们在各种图像类型上展示编辑，并定量优于标准编辑基准任务的几种先前编辑方法。

Recent 3D-aware GANs rely on volumetric rendering techniques to disentangle the pose and appearance of objects, de facto generating entire 3D volumes rather than single-view 2D images from a latent code. Complex image editing tasks can be performed in standard 2D-based GANs (e.g., StyleGAN models) as manipulation of latent dimensions. However, to the best of our knowledge, similar properties have only been partially explored for 3D-aware GAN models. This work aims to fill this gap by showing the limitations of existing methods and proposing LatentSwap3D, a model-agnostic approach designed to enable attribute editing in the latent space of pre-trained 3D-aware GANs. We first identify the most relevant dimensions in the latent space of the model controlling the targeted attribute by relying on the feature importance ranking of a random forest classifier. Then, to apply the transformation, we swap the top-K most relevant latent dimensions of the image being edited with an image exhibiting the desired attribute. Despite its simplicity, LatentSwap3D provides remarkable semantic edits in a disentangled manner and outperforms alternative approaches both qualitatively and quantitatively. We demonstrate our semantic edit approach on various 3D-aware generative models such as pi-GAN, GIRAFFE, StyleSDF, MVCGAN, EG3D and VolumeGAN, and on diverse datasets, such as FFHQ, AFHQ, Cats, MetFaces, and CompCars. The project page can be found: \url{https://enisimsar.github.io/latentswap3d/}.

事实证明，通过倒转和操纵与输入真实图像相对应的潜在代码，生成的对抗网络（GAN）对于图像编辑非常有效。这种编辑属性来自潜在空间的分离性质。在本文中，我们确定面部属性分离不是最佳的，因此依靠线性属性分离的面部编辑是有缺陷的。因此，我们建议通过监督改善语义分解。我们的方法包括使用归一化流量学习代理潜在表示，我们证明这会为面部图像编辑提供更有效的空间。

与Stylegan的图像操纵近年来一直是越来越多的问题。由于这些潜在空间中的语义和空间操纵精度有限，而且由于这些潜在空间中的语义和空间操纵精度有限，而且，则在分析几个语义潜在空间方面取得了巨大成功。然而，由于这些潜在空间中的语义和空间操纵精度有限，现有的努力被击败在细粒度的样式图像操作中，即本地属性翻译。要解决此问题，我们发现特定于属性的控制单元，该单元由多个特征映射和调制样式组成。具体而言，我们协同处理调制样式通道，并以控制单元而不是单独的方式映射，以获得语义和空间解除态控制。此外，我们提出了一种简单但有效的方法来检测特定于属性的控制单元。我们沿着特定稀疏方向向量移动调制样式，并更换用于计算要素映射的滤波器方号以操纵这些控制单元。我们在各种面部属性操纵任务中评估我们所提出的方法。广泛的定性和定量结果表明，我们的提出方法对最先进的方法有利地表现出。实图像的操纵结果进一步显示了我们方法的有效性。

尽管在预验证的GAN模型的潜在空间中表现出的编辑能力，但倒置现实世界的图像被陷入困境，即重建不能忠于原始输入。这样做的主要原因是，训练和现实世界数据之间的分布未对准，因此，对于真实图像编辑而言，它不稳定。在本文中，我们提出了一个基于GAN的新型编辑框架，以通过组成分解范式解决室外反转问题。特别是，在构图阶段，我们引入了一个差分激活模块，用于从全局角度\ ie（IE）检测语义变化，这是编辑和未编辑图像的特征之间的相对差距。借助生成的diff-cam掩模，配对的原始图像和编辑图像可以直观地进行粗糙的重建。这样，几乎整体可以生存属性，而这种中间结果的质量仍然受到不可避免的幽灵效果的限制。因此，在分解阶段，我们进一步提出了一个基于GAN的基于GAN的DEGHOSTING网络，用于将最终的精细编辑图像与粗糙重建分开。在定性和定量评估方面，广泛的实验比最新方法具有优势。我们方法的鲁棒性和灵活性在两个属性和多属性操作的方案上也得到了验证。

尽管在生成对抗网络（GAN）的潜在空间中，语义发现迅速发展，但现有方法要么仅限于找到全局属性，要么依靠许多细分掩码来识别本地属性。在这项工作中，我们提出了一种高效的算法，以分解甘恩学到的关于任意图像区域的潜在语义。具体而言，我们重新审视了预先训练的gan的局部操纵任务，并将基于区域的语义发现作为双重优化问题。通过适当定义的广义雷利商，我们设法解决了这个问题，而无需任何注释或培训。对各种最先进的GAN模型的实验结果证明了我们的方法的有效性，以及它优于先前艺术在精确控制，区域鲁棒性，实施速度和使用简单性方面的优势。

最近，由于高质量的发电和解除戒开的潜在空间，Stylegan已经启用了各种图像操纵和编辑任务。但是，通常需要额外的架构或特定于特定的培训范式来实现不同的任务。在这项工作中，我们深入了解样式甘蓝的空间属性。我们展示使用普雷雷达的样式总是以及一些操作，没有任何额外的架构，我们可以相当于各种任务的最先进的方法执行，包括图像混合，全景生成，从单个图像，可控的生成本地多模式图像到图像转换和属性传输。所提出的方法简单，有效，有效，适用于任何现有的预制样式模型。

潜在空间探索是一种发现可解释的潜在方向并操纵潜在代码以编辑生成对抗网络（GAN）生成的图像中的各种属性的技术。但是，在先前的工作中，空间控制仅限于简单的转换（例如翻译和旋转），并且努力地识别适当的潜在方向并调整其参数。在本文中，我们通过直接注释图像来解决编辑样式图像布局的问题。为此，我们提出了一个交互式框架，用于根据用户输入来操纵潜在代码。在我们的框架中，用户用他们想移动或不移动的位置来注释stylegan图像，并通过鼠标拖动指定运动方向。从这些用户输入和初始潜在代码中，我们的潜在变压器基于变压器编码器架构架构估算输出潜在代码，这些代码被馈送到stylegan生成器中以获得结果图像。为了训练我们的潜在变压器，我们利用了由现成的样式和光流模型生成的合成数据和伪用户输入，而无需手动监督。定量和定性评估证明了我们方法对现有方法的有效性。

基于生成神经辐射场（GNERF）基于生成神经辐射场（GNERF）的3D感知gan已达到令人印象深刻的高质量图像产生，同时保持了强3D一致性。最显着的成就是在面部生成领域中取得的。但是，这些模型中的大多数都集中在提高视图一致性上，但忽略了分离的方面，因此这些模型无法提供高质量的语义/属性控制对生成。为此，我们引入了一个有条件的GNERF模型，该模型使用特定属性标签作为输入，以提高3D感知生成模型的控制能力和解散能力。我们利用预先训练的3D感知模型作为基础，并集成了双分支属性编辑模块（DAEM），该模块（DAEM）利用属性标签来提供对生成的控制。此外，我们提出了一个Triot（作为INIT的训练，并针对调整进行优化），以优化潜在矢量以进一步提高属性编辑的精度。广泛使用的FFHQ上的广泛实验表明，我们的模型在保留非目标区域的同时产生具有更好视图一致性的高质量编辑。该代码可在https://github.com/zhangqianhui/tt-gnerf上找到。