We propose semantic region-adaptive normalization (SEAN), a simple but effective building block for Generative Adversarial Networks conditioned on segmentation masks that describe the semantic regions in the desired output image. Using SEAN normalization, we can build a network architecture that can control the style of each semantic region individually, e.g., we can specify one style reference image per region. SEAN is better suited to encode, transfer, and synthesize style than the best previous method in terms of reconstruction quality, variability, and visual quality. We evaluate SEAN on multiple datasets and report better quan-titative metrics (e.g. FID, PSNR) than the current state of the art. SEAN also pushes the frontier of interactive image editing. We can interactively edit images by changing segmentation masks or the style for any given region. We can also interpolate styles from two reference images per region. Code: https://github.com/ZPdesu/SEAN .

图像合成的现有方法利用基于堆叠的堆叠和池层的样式编码器，以从输入图像生成样式代码。然而，编码的矢量不一定包含相应图像的本地信息，因为通过这种缩小程序往往将小规模对象倾向于“撤离”。在本文中，我们提出了基于Superpixel的式编码器的深度图像合成，名为SuperstyLeNet。首先，我们基于SuperPixels直接从原始图像中提取样式代码，以考虑本地对象。其次，基于图形分析，我们在矢量化风格代码中恢复空间关系。因此，所提出的网络通过将样式代码映射到语义标签来实现高质量的图像合成。实验结果表明，该方法在视觉质量和定量测量方面优于最先进的方法。此外，我们通过调整样式代码来实现精心制作的空间方式编辑。

近年来，由于其在图像生成过程中的可控性，有条件的图像合成引起了不断的关注。虽然最近的作品取得了现实的结果，但大多数都没有处理细微细节的细粒度风格。为了解决这个问题，提出了一种名为DRAN的新型归一化模块。它学会了细粒度的风格表示，同时保持普通风格的稳健性。具体来说，我们首先引入多级结构，空间感知金字塔汇集，以指导模型学习粗略的功能。然后，为了自适应地保险熔断不同的款式，我们提出动态门控，使得可以根据不同的空间区域选择不同的样式。为了评估DRAN的有效性和泛化能力，我们对化妆和语义图像合成进行了一组实验。定量和定性实验表明，配备了DRAN，基线模型能够实现复杂风格转移和纹理细节重建的显着改善。

组织病理学图像合成的现有深网无法为聚类核生成准确的边界，并且无法输出与不同器官一致的图像样式。为了解决这些问题，我们提出了一种样式引导的实例自适应标准化（SIAN），以合成不同器官的逼真的颜色分布和纹理。 Sian包含四个阶段：语义，风格化，实例化和调制。这四个阶段共同起作用，并集成到生成网络中，以嵌入图像语义，样式和实例级级边界。实验结果证明了所有组件在Sian中的有效性，并表明所提出的方法比使用Frechet Inception Inception距离（FID），结构相似性指数（SSIM），检测质量胜过组织病理学图像合成的最新条件gan。 （DQ），分割质量（SQ）和圆锥体质量（PQ）。此外，通过合并使用Sian产生的合成图像，可以显着改善分割网络的性能。

语义图像编辑利用本地语义标签图来生成所需的内容。最近的工作借用了Spade Block来实现语义图像编辑。但是，由于编辑区域和周围像素之间的样式差异，它无法产生令人愉悦的结果。我们将其归因于以下事实：Spade仅使用与图像无关的局部语义布局，但忽略了已知像素中包含的图像特定样式。为了解决此问题，我们提出了一个样式保存的调制（SPM），其中包括两个调制过程：第一个调制包含上下文样式和语义布局，然后生成两个融合的调制参数。第二次调制采用融合参数来调制特征图。通过使用这两种调制，SPM可以在保留特定图像的上下文样式的同时注入给定的语义布局。此外，我们设计了一种渐进式体系结构，以粗到精细的方式生成编辑的内容。提出的方法可以获得上下文一致的结果，并显着减轻生成区域和已知像素之间的不愉快边界。

Figure 1: (a) and (b): input images; (c): the "two-face" generated by naively copying the left half from (a) and the right half from (b); (d): the "two-face" generated by our Image2StyleGAN++ framework.

Our result (c) Application: Edit object appearance (b) Application: Change label types (a) Synthesized resultFigure 1: We propose a generative adversarial framework for synthesizing 2048 × 1024 images from semantic label maps (lower left corner in (a)). Compared to previous work [5], our results express more natural textures and details. (b) We can change labels in the original label map to create new scenes, like replacing trees with buildings. (c) Our framework also allows a user to edit the appearance of individual objects in the scene, e.g. changing the color of a car or the texture of a road. Please visit our website for more side-by-side comparisons as well as interactive editing demos.

交换自动编码器在深层图像操纵和图像到图像翻译中实现了最先进的性能。我们通过基于梯度逆转层引入简单而有效的辅助模块来改善这项工作。辅助模块的损失迫使发电机学会使用全零纹理代码重建图像，从而鼓励结构和纹理信息之间更好地分解。提出的基于属性的转移方法可以在样式传输中进行精致的控制，同时在不使用语义掩码的情况下保留结构信息。为了操纵图像，我们将对象的几何形状和输入图像的一般样式编码为两个潜在代码，并具有实施结构一致性的附加约束。此外，由于辅助损失，训练时间大大减少。提出的模型的优越性在复杂的域中得到了证明，例如已知最先进的卫星图像。最后，我们表明我们的模型改善了广泛的数据集的质量指标，同时通过多模式图像生成技术实现了可比的结果。

由于新型模型利用较大的数据集和新颖架构，通过生成模型创建的合成图像提高了质量和表现力。尽管这种质感主义是来自创意的角度的正副作用，但是当这种生成模型用于无同意时的冒充时，它会出现问题。这些方法中的大多数是基于源和目标对之间的部分传输，或者它们基于理想的分布生成完全新的样本，仍然类似于数据集中最接近的真实样本。我们提出Mixsyn（阅读为“Mixin”），用于从多种来源学习新的模糊组合物并将新颖的图像作为与组合物对应的图像区域的混合。 Mixsyn不仅将来自多个源掩码的不相关的区域与相干语义组成相结合，而且还生成了非现有图像的掩模感知的高质量重建。我们将Mixsyn与最先进的单源顺序发电和拼贴生成方法相比，在质量，多样性，现实主义和表现力方面;同时还展示了交互式合成，混合和匹配，以及编辑传播任务，没有掩码依赖性。

最近的研究表明，风格老年提供了对图像合成和编辑的下游任务的有希望的现有模型。然而，由于样式盖的潜在代码被设计为控制全球样式，因此很难实现对合成图像的细粒度控制。我们提出了SemanticStylegan，其中发电机训练以分别培训局部语义部件，并以组成方式合成图像。不同局部部件的结构和纹理由相应的潜在码控制。实验结果表明，我们的模型在不同空间区域之间提供了强烈的解剖。当与为样式器设计的编辑方法结合使用时，它可以实现更细粒度的控制，以编辑合成或真实图像。该模型也可以通过传输学习扩展到其他域。因此，作为具有内置解剖学的通用先前模型，它可以促进基于GaN的应用的发展并实现更多潜在的下游任务。

We propose an efficient algorithm to embed a given image into the latent space of StyleGAN. This embedding enables semantic image editing operations that can be applied to existing photographs. Taking the StyleGAN trained on the FFHQ dataset as an example, we show results for image morphing, style transfer, and expression transfer. Studying the results of the embedding algorithm provides valuable insights into the structure of the StyleGAN latent space. We propose a set of experiments to test what class of images can be embedded, how they are embedded, what latent space is suitable for embedding, and if the embedding is semantically meaningful.

提供和渲染室内场景一直是室内设计的一项长期任务，艺术家为空间创建概念设计，建立3D模型的空间，装饰，然后执行渲染。尽管任务很重要，但它很乏味，需要巨大的努力。在本文中，我们引入了一个特定领域的室内场景图像合成的新问题，即神经场景装饰。鉴于一张空的室内空间的照片以及用户确定的布局列表，我们旨在合成具有所需的家具和装饰的相同空间的新图像。神经场景装饰可用于以简单而有效的方式创建概念室内设计。我们解决这个研究问题的尝试是一种新颖的场景生成体系结构，它将空的场景和对象布局转化为现实的场景照片。我们通过将其与有条件图像合成基线进行比较，以定性和定量的方式将其进行比较，证明了我们提出的方法的性能。我们进行广泛的实验，以进一步验证我们生成的场景的合理性和美学。我们的实现可在\ url {https://github.com/hkust-vgd/neural_scene_decoration}获得。

Facial image manipulation has achieved great progress in recent years. However, previous methods either operate on a predefined set of face attributes or leave users little freedom to interactively manipulate images. To overcome these drawbacks, we propose a novel framework termed MaskGAN, enabling diverse and interactive face manipulation. Our key insight is that semantic masks serve as a suitable intermediate representation for flexible face manipulation with fidelity preservation. MaskGAN has two main components: 1) Dense Mapping Network (DMN) and 2) Editing Behavior Simulated Training (EBST). Specifically, DMN learns style mapping between a free-form user modified mask and a target image, enabling diverse generation results. EBST models the user editing behavior on the source mask, making the overall framework more robust to various manipulated inputs. Specifically, it introduces dual-editing consistency as the auxiliary supervision signal. To facilitate extensive studies, we construct a large-scale high-resolution face dataset with fine-grained mask annotations named CelebAMask-HQ. MaskGAN is comprehensively evaluated on two challenging tasks: attribute transfer and style copy, demonstrating superior performance over other state-of-the-art methods. The code, models, and dataset are available at https://github.com/switchablenorms/CelebAMask-HQ.

将带家具的房间图像转换为背景的任务 - 仅是非常具有挑战性，因为它需要在仍然保持整体布局和风格的同时进行大量变化。为了获得照片 - 现实和结构一致的背景，现有的深度学习方法使用图像修复方法或将场景布局的学习作为个人任务，以后在不完全可分辨率的语义区域自适应归一代化模块中利用它。为了解决这些缺点，我们将场景布局生成视为特征线性变换问题，并提出了一个简单但有效的调整后的完全可分辨率的软语义区域 - 自适应归一化模块（SoftSean）块。我们展示了现实和深度估计任务的缩短和深度估计任务中的适用性，在那里我们的方法除了减轻培训复杂性和不可差异性问题的优点，超越了定量和定性的比较方法。我们的SoftSean块可用作现有辨别和生成模型的液位模块。在vcl3d.github.io/panodr/上提供实现。

图像转换是一类视觉和图形问题，其目标是学习输入图像和输出图像之间的映射，在深神网络的背景下迅速发展。在计算机视觉（CV）中，许多问题可以被视为图像转换任务，例如语义分割和样式转移。这些作品具有不同的主题和动机，使图像转换任务蓬勃发展。一些调查仅回顾有关样式转移或图像到图像翻译的研究，所有这些都只是图像转换的一个分支。但是，没有一项调查总结这些调查在我们最佳知识的统一框架中共同起作用。本文提出了一个新颖的学习框架，包括独立学习，指导学习和合作学习，称为IGC学习框架。我们讨论的图像转换主要涉及有关深神经网络的一般图像到图像翻译和样式转移。从这个框架的角度来看，我们回顾了这些子任务，并对各种情况进行统一的解释。我们根据相似的开发趋势对图像转换的相关子任务进行分类。此外，已经进行了实验以验证IGC学习的有效性。最后，讨论了新的研究方向和开放问题，以供将来的研究。

强大的模拟器高度降低了在培训和评估自动车辆时对真实测试的需求。数据驱动的模拟器蓬勃发展，最近有条件生成对冲网络（CGANS）的进步，提供高保真图像。主要挑战是在施加约束之后的同时合成光量造型图像。在这项工作中，我们建议通过重新思考鉴别者架构来提高所生成的图像的质量。重点是在给定对语义输入生成图像的问题类上，例如场景分段图或人体姿势。我们建立成功的CGAN模型，提出了一种新的语义感知鉴别器，更好地指导发电机。我们的目标是学习一个共享的潜在表示，编码足够的信息，共同进行语义分割，内容重建以及粗糙的粒度的对抗性推理。实现的改进是通用的，并且可以应用于任何条件图像合成的任何架构。我们展示了我们在场景，建筑和人类综合任务上的方法，跨越三个不同的数据集。代码可在https://github.com/vita-epfl/semdisc上获得。

我们提出了Vecgan，这是一个图像到图像翻译框架，用于带有可解释潜在方向的面部属性编辑。面部属性编辑任务面临着精确属性编辑的挑战，具有可控的强度和图像的其他属性的保存。对于此目标，我们通过潜在空间分解设计属性编辑，对于每个属性，我们学习了与其他属性正交的线性方向。另一个组件是变化的可控强度，标量值。在我们的框架中，可以通过投影从参考图像中对此标量进行采样或编码。我们的工作灵感来自固定预验证的gan的潜在空间分解作品。但是，尽管这些模型无法进行端到端训练，并难以精确编辑编码的图像，但Vecgan受到了端到端的培训，用于图像翻译任务，并成功地编辑了属性，同时保留了其他属性。我们的广泛实验表明，vecgan对本地和全球编辑的最先进进行了重大改进。

Figure 1. The proposed pixel2style2pixel framework can be used to solve a wide variety of image-to-image translation tasks. Here we show results of pSp on StyleGAN inversion, multi-modal conditional image synthesis, facial frontalization, inpainting and super-resolution.

由于GaN潜在空间的勘探和利用，近年来，现实世界的图像操纵实现了奇妙的进展。 GaN反演是该管道的第一步，旨在忠实地将真实图像映射到潜在代码。不幸的是，大多数现有的GaN反演方法都无法满足下面列出的三个要求中的至少一个：重建质量，可编辑性和快速推断。我们在本研究中提出了一种新的两阶段策略，同时适合所有要求。在第一阶段，我们训练编码器将输入图像映射到StyleGan2 $ \ Mathcal {W} $ - 空间，这被证明具有出色的可编辑性，但重建质量较低。在第二阶段，我们通过利用一系列HyperNetWorks来补充初始阶段的重建能力以在反转期间恢复缺失的信息。这两个步骤互相补充，由于Hypernetwork分支和由于$ \ Mathcal {W} $ - 空间中的反转，因此由于HyperNetwork分支和优异的可编辑性而相互作用。我们的方法完全是基于编码器的，导致极快的推断。关于两个具有挑战性的数据集的广泛实验证明了我们方法的优越性。