Training a generative model on a single image has drawn significant attention in recent years. Single image generative methods are designed to learn the internal patch distribution of a single natural image at multiple scales. These models can be used for drawing diverse samples that semantically resemble the training image, as well as for solving many image editing and restoration tasks that involve that particular image. Here, we introduce an extended framework, which allows to simultaneously learn the internal distributions of several images, by using a single model with spatially varying image-identity conditioning. Our BlendGAN opens the door to applications that are not supported by single-image models, including morphing, melding, and structure-texture fusion between two or more arbitrary images.

Random samples from a single image Single training image Figure 1: Image generation learned from a single training image. We propose SinGAN-a new unconditional generative model trained on a single natural image. Our model learns the image's patch statistics across multiple scales, using a dedicated multi-scale adversarial training scheme; it can then be used to generate new realistic image samples that preserve the original patch distribution while creating new object configurations and structures.

从单个样本产生图像，作为图像合成的新发展分支，引起了广泛的关注。在本文中，我们将该问题与单个图像的条件分布进行采样，提出了一种分层框架，通过关于结构，语义和纹理的分布的连续学习来简化复杂条件分布的学习学习和一代可理解。在此基础上，我们设计由三个级联的GAN组成的Exsingan，用于从给定的图像学习可解释的生成模型，级联的GANS连续模拟结构，语义和纹理的分布。由于以前的作品所做的，但也是从给定图像的内部补丁来学习的，而且来自GaN反演技术的外部获得的外部。与先前作品相比，Exsingan对内部和外部信息的适当组合有利于内部和外部信息的适当组合，对图像操纵任务进行了更强大的生成和竞争泛化能力。

最近的方法（例如材料gan）已使用无条件的gan来生成每像素材料图，或作为从输入照片重建材料之前的材料。这些模型可以生成各种随机材料外观，但没有任何将生成材料限制为特定类别或控制生成材料的粗体结构的机制，例如砖墙上的精确砖布局。此外，从单个输入照片中重建的材料通常具有伪像，并且通常不可易换，这限制了它们在实际内容创建管道中的使用。我们提出了Tilegen，这是一种针对SVBRDFS的生成模型，该模型特定于材料类别，始终可易换，并且在提供的输入结构模式上有条件。 Tilegen是Stylegan的变体，其架构经过修改以始终生成可易于的（周期性）材料图。除了标准的“样式”潜在代码外，Tilegen还可以选择拍摄条件图像，从而使用户直接控制材料的主要空间（和可选的颜色）功能。例如，在砖块中，用户可以指定砖布局和砖块，或者在皮革材料中，皱纹和褶皱的位置。我们的反渲染方法可以通过优化找到一种材料，从而感知到单个目标照片。这种重建也可以以用户提供的模式为条件。所得的材料是可拆卸的，可以大于目标图像，并且可以通过改变条件来编辑。

Denoising diffusion models (DDMs) have led to staggering performance leaps in image generation, editing and restoration. However, existing DDMs use very large datasets for training. Here, we introduce a framework for training a DDM on a single image. Our method, which we coin SinDDM, learns the internal statistics of the training image by using a multi-scale diffusion process. To drive the reverse diffusion process, we use a fully-convolutional light-weight denoiser, which is conditioned on both the noise level and the scale. This architecture allows generating samples of arbitrary dimensions, in a coarse-to-fine manner. As we illustrate, SinDDM generates diverse high-quality samples, and is applicable in a wide array of tasks, including style transfer and harmonization. Furthermore, it can be easily guided by external supervision. Particularly, we demonstrate text-guided generation from a single image using a pre-trained CLIP model.

我们呈现SeveryGan，一种能够从单个输入示例自动生成砖纹理映射的方法。与大多数现有方法相比，专注于解决合成问题，我们的工作同时解决问题，合成和涤纶性。我们的关键思想是认识到，通过越野落扩展技术训练的生成网络内的潜伏空间产生具有在接缝交叉点的连续性的输出，然后可以通过裁剪中心区域进入彩色图像。由于不是潜在空间的每个值都有有效的来产生高质量的输出，因此我们利用鉴别者作为能够在采样过程中识别无伪纹理的感知误差度量。此外，与之前的深度纹理合成的工作相比，我们的模型设计和优化，以便使用多层纹理表示，使由多个地图组成的纹理，例如Albedo，法线等。我们广泛地测试网络的设计选择架构，丢失功能和采样参数。我们在定性和定量上展示我们的方法优于以前的方法和适用于不同类型的纹理。

即使自然图像有多种尺寸，生成模型也以固定分辨率运行。由于高分辨率的细节被删除并完全丢弃了低分辨率图像，因此丢失了宝贵的监督。我们认为，每个像素都很重要，并创建具有可变大小图像的数据集，该图像以本机分辨率收集。为了利用各种大小的数据，我们引入了连续尺度训练，该过程以随机尺度进行采样以训练具有可变输出分辨率的新发电机。首先，对生成器进行调节，可以使我们能够生成比以前更高的分辨率图像，而无需在模型中添加层。其次，通过对连续坐标进行调节，我们可以采样仍然遵守一致的全局布局的贴片，这也允许在更高分辨率下进行可扩展的训练。受控的FFHQ实验表明，与离散的多尺度方法相比，我们的方法可以更好地利用多分辨率培训数据，从而获得更好的FID分数和更清洁的高频细节。我们还训练包括教堂，山脉和鸟类在内的其他自然图像领域，并通过连贯的全球布局和现实的本地细节来展示任意量表的综合，超出了我们的实验中的2K分辨率。我们的项目页面可在以下网址找到：https：//chail.github.io/anyres-gan/。

通常在特定对象类别的大型3D数据集上对3D形状的现有生成模型进行培训。在本文中，我们研究了仅从单个参考3D形状学习的深层生成模型。具体而言，我们提出了一个基于GAN的多尺度模型，旨在捕获一系列空间尺度的输入形状的几何特征。为了避免在3D卷上操作引起的大量内存和计算成本，我们在三平面混合表示上构建了我们的发电机，这仅需要2D卷积。我们在参考形状的体素金字塔上训练我们的生成模型，而无需任何外部监督或手动注释。一旦受过训练，我们的模型就可以产生不同尺寸和宽高比的多样化和高质量的3D形状。所得的形状会跨不同的尺度呈现变化，同时保留了参考形状的全局结构。通过广泛的评估，无论是定性还是定量，我们都证明了我们的模型可以生成各种类型的3D形状。

深层生成模型通过自动化基于收集的数据集的多样性，现实内容的综合，使新手用户更容易访问视觉内容。但是，当前的机器学习方法错过了创作过程的关键要素 - 综合远远超出数据分配和日常体验的东西的能力。为了开始解决此问题，我们可以通过仅编辑一些具有所需几何变化的原始模型输出来“扭曲”给定模型。我们的方法将低级更新应用于单个模型层以重建编辑的示例。此外，为了打击过度拟合，我们建议一种基于样式混合的潜在空间增强方法。我们的方法允许用户创建一个模型，该模型可以通过定义的几何更改合成无尽的对象，从而可以创建新的生成模型，而无需策划大规模数据集。我们还证明可以组成编辑的模型以实现汇总效果，并提出了一个交互式界面，以使用户能够通过组合创建新的模型。对多个测试案例的经验测量表明，我们方法对最近的GAN微调方法的优势。最后，我们使用编辑的模型展示了多个应用程序，包括潜在空间插值和图像编辑。

最近已经示出了从2D图像中提取隐式3D表示的生成神经辐射场（GNERF）模型，以产生代表刚性物体的现实图像，例如人面或汽车。然而，他们通常难以产生代表非刚性物体的高质量图像，例如人体，这对许多计算机图形应用具有很大的兴趣。本文提出了一种用于人类图像综合的3D感知语义导向生成模型（3D-SAGGA），其集成了GNERF和纹理发生器。前者学习人体的隐式3D表示，并输出一组2D语义分段掩模。后者将这些语义面部掩模转化为真实的图像，为人类的外观添加了逼真的纹理。如果不需要额外的3D信息，我们的模型可以使用照片现实可控生成学习3D人类表示。我们在Deepfashion DataSet上的实验表明，3D-SAGGAN显着优于最近的基线。

3D面部建模一直是计算机视觉和计算机图形学研究的活跃领域，从虚拟化身中的面部表达转移到合成数据生成，助长了应用。现有的3D深度学习生成模型（例如，VAE，gan）允许生成紧凑的面部表征（形状和纹理），可以在形状和外观空间中建模非线性（例如，散射效果，镜面等）。但是，他们缺乏控制微妙表达产生的能力。本文提出了一种新的3D面部生成模型，该模型可以使身份和表达不适，并提供对表达式的颗粒状控制。特别是，我们建议使用一对监督自动编码器和生成对抗网络来产生高质量的3D面，无论是外观和形状而言。实验结果是用整体表达标签或作用单元标签学到的3D面的产生结果表明，我们如何将身份和表达分离；在保留身份的同时，获得精细的表达方式。

Generative models have shown great promise in synthesizing photorealistic 3D objects, but they require large amounts of training data. We introduce SinGRAF, a 3D-aware generative model that is trained with a few input images of a single scene. Once trained, SinGRAF generates different realizations of this 3D scene that preserve the appearance of the input while varying scene layout. For this purpose, we build on recent progress in 3D GAN architectures and introduce a novel progressive-scale patch discrimination approach during training. With several experiments, we demonstrate that the results produced by SinGRAF outperform the closest related works in both quality and diversity by a large margin.

This paper proposes Markovian Generative Adversarial Networks (MGANs), a method for training generative neural networks for efficient texture synthesis. While deep neural network approaches have recently demonstrated remarkable results in terms of synthesis quality, they still come at considerable computational costs (minutes of run-time for low-res images). Our paper addresses this efficiency issue. Instead of a numerical deconvolution in previous work, we precompute a feedforward, strided convolutional network that captures the feature statistics of Markovian patches and is able to directly generate outputs of arbitrary dimensions. Such network can directly decode brown noise to realistic texture, or photos to artistic paintings. With adversarial training, we obtain quality comparable to recent neural texture synthesis methods. As no optimization is required any longer at generation time, our run-time performance (0.25M pixel images at 25Hz) surpasses previous neural texture synthesizers by a significant margin (at least 500 times faster). We apply this idea to texture synthesis, style transfer, and video stylization.

我们为一个拍摄域适应提供了一种新方法。我们方法的输入是训练的GaN，其可以在域B中产生域A和单个参考图像I_B的图像。所提出的算法可以将训练的GaN的任何输出从域A转换为域B.我们的主要优点有两个主要优点方法与当前现有技术相比：首先，我们的解决方案实现了更高的视觉质量，例如通过明显减少过度装箱。其次，我们的解决方案允许更多地控制域间隙的自由度，即图像I_B的哪些方面用于定义域B.从技术上讲，我们通过在预先训练的样式生成器上建立新方法作为GaN和A用于代表域间隙的预先训练的夹模型。我们提出了几种新的常规程序来控制域间隙，以优化预先训练的样式生成器的权重，以输出域B中的图像而不是域A.常规方法防止优化来自单个参考图像的太多属性。我们的结果表明，对现有技术的显着视觉改进以及突出了改进控制的多个应用程序。

Despite that convolutional neural networks (CNN) have recently demonstrated high-quality reconstruction for single-image super-resolution (SR), recovering natural and realistic texture remains a challenging problem. In this paper, we show that it is possible to recover textures faithful to semantic classes. In particular, we only need to modulate features of a few intermediate layers in a single network conditioned on semantic segmentation probability maps. This is made possible through a novel Spatial Feature Transform (SFT) layer that generates affine transformation parameters for spatial-wise feature modulation. SFT layers can be trained end-to-end together with the SR network using the same loss function. During testing, it accepts an input image of arbitrary size and generates a high-resolution image with just a single forward pass conditioned on the categorical priors. Our final results show that an SR network equipped with SFT can generate more realistic and visually pleasing textures in comparison to state-of-the-art SRGAN [27] and EnhanceNet [38].

Our goal with this survey is to provide an overview of the state of the art deep learning technologies for face generation and editing. We will cover popular latest architectures and discuss key ideas that make them work, such as inversion, latent representation, loss functions, training procedures, editing methods, and cross domain style transfer. We particularly focus on GAN-based architectures that have culminated in the StyleGAN approaches, which allow generation of high-quality face images and offer rich interfaces for controllable semantics editing and preserving photo quality. We aim to provide an entry point into the field for readers that have basic knowledge about the field of deep learning and are looking for an accessible introduction and overview.

Realistic image manipulation is challenging because it requires modifying the image appearance in a user-controlled way, while preserving the realism of the result. Unless the user has considerable artistic skill, it is easy to "fall off" the manifold of natural images while editing. In this paper, we propose to learn the natural image manifold directly from data using a generative adversarial neural network. We then define a class of image editing operations, and constrain their output to lie on that learned manifold at all times. The model automatically adjusts the output keeping all edits as realistic as possible. All our manipulations are expressed in terms of constrained optimization and are applied in near-real time. We evaluate our algorithm on the task of realistic photo manipulation of shape and color. The presented method can further be used for changing one image to look like the other, as well as generating novel imagery from scratch based on user's scribbles 1 .

语义图像编辑利用本地语义标签图来生成所需的内容。最近的工作借用了Spade Block来实现语义图像编辑。但是，由于编辑区域和周围像素之间的样式差异，它无法产生令人愉悦的结果。我们将其归因于以下事实：Spade仅使用与图像无关的局部语义布局，但忽略了已知像素中包含的图像特定样式。为了解决此问题，我们提出了一个样式保存的调制（SPM），其中包括两个调制过程：第一个调制包含上下文样式和语义布局，然后生成两个融合的调制参数。第二次调制采用融合参数来调制特征图。通过使用这两种调制，SPM可以在保留特定图像的上下文样式的同时注入给定的语义布局。此外，我们设计了一种渐进式体系结构，以粗到精细的方式生成编辑的内容。提出的方法可以获得上下文一致的结果，并显着减轻生成区域和已知像素之间的不愉快边界。

最近，由于高质量的发电和解除戒开的潜在空间，Stylegan已经启用了各种图像操纵和编辑任务。但是，通常需要额外的架构或特定于特定的培训范式来实现不同的任务。在这项工作中，我们深入了解样式甘蓝的空间属性。我们展示使用普雷雷达的样式总是以及一些操作，没有任何额外的架构，我们可以相当于各种任务的最先进的方法执行，包括图像混合，全景生成，从单个图像，可控的生成本地多模式图像到图像转换和属性传输。所提出的方法简单，有效，有效，适用于任何现有的预制样式模型。

最近的研究表明，风格老年提供了对图像合成和编辑的下游任务的有希望的现有模型。然而，由于样式盖的潜在代码被设计为控制全球样式，因此很难实现对合成图像的细粒度控制。我们提出了SemanticStylegan，其中发电机训练以分别培训局部语义部件，并以组成方式合成图像。不同局部部件的结构和纹理由相应的潜在码控制。实验结果表明，我们的模型在不同空间区域之间提供了强烈的解剖。当与为样式器设计的编辑方法结合使用时，它可以实现更细粒度的控制，以编辑合成或真实图像。该模型也可以通过传输学习扩展到其他域。因此，作为具有内置解剖学的通用先前模型，它可以促进基于GaN的应用的发展并实现更多潜在的下游任务。