在本文中，我们基于单个图像呈现Deadsim，用于条件图像操纵的生成模型。我们发现广泛的增强是启用单个图像训练的关键，并将使用薄板样条（TPS）作为有效的增强。我们的网络学习在图像本身的图像的原始表示之间映射。原始表示的选择对操纵的缓和和表达性产生影响，并且可以是自动的（例如边缘），手动（例如分段）或混合，例如分割顶部的边缘。在操纵时间时，我们的生成器允许通过修改原始输入表示并通过网络映射映射来进行复杂的图像更改。我们的方法显示在图像操纵任务上实现了显着性能。
translated by 谷歌翻译
在本文中，我们基于单个图像呈现Deadsim，用于条件图像操纵的生成模型。我们发现广泛的增强是启用单个图像训练的关键，并将使用薄板样条（TPS）作为有效的增强。我们的网络学习在图像本身的图像的原始表示之间映射。原始表示的选择对操纵的缓和和表达性产生影响，并且可以是自动的（例如边缘），手动（例如分段）或混合，例如分割顶部的边缘。在操纵时间时，我们的生成器允许通过修改原始输入表示并通过网络映射映射来进行复杂的图像更改。我们的方法显示在图像操纵任务上实现了显着性能。
translated by 谷歌翻译
Random samples from a single image Single training image Figure 1: Image generation learned from a single training image. We propose SinGAN-a new unconditional generative model trained on a single natural image. Our model learns the image's patch statistics across multiple scales, using a dedicated multi-scale adversarial training scheme; it can then be used to generate new realistic image samples that preserve the original patch distribution while creating new object configurations and structures.
translated by 谷歌翻译
Our result (c) Application: Edit object appearance (b) Application: Change label types (a) Synthesized resultFigure 1: We propose a generative adversarial framework for synthesizing 2048 × 1024 images from semantic label maps (lower left corner in (a)). Compared to previous work [5], our results express more natural textures and details. (b) We can change labels in the original label map to create new scenes, like replacing trees with buildings. (c) Our framework also allows a user to edit the appearance of individual objects in the scene, e.g. changing the color of a car or the texture of a road. Please visit our website for more side-by-side comparisons as well as interactive editing demos.
translated by 谷歌翻译
Figure 1. The proposed pixel2style2pixel framework can be used to solve a wide variety of image-to-image translation tasks. Here we show results of pSp on StyleGAN inversion, multi-modal conditional image synthesis, facial frontalization, inpainting and super-resolution.
translated by 谷歌翻译
交换自动编码器在深层图像操纵和图像到图像翻译中实现了最先进的性能。我们通过基于梯度逆转层引入简单而有效的辅助模块来改善这项工作。辅助模块的损失迫使发电机学会使用全零纹理代码重建图像，从而鼓励结构和纹理信息之间更好地分解。提出的基于属性的转移方法可以在样式传输中进行精致的控制，同时在不使用语义掩码的情况下保留结构信息。为了操纵图像，我们将对象的几何形状和输入图像的一般样式编码为两个潜在代码，并具有实施结构一致性的附加约束。此外，由于辅助损失，训练时间大大减少。提出的模型的优越性在复杂的域中得到了证明，例如已知最先进的卫星图像。最后，我们表明我们的模型改善了广泛的数据集的质量指标，同时通过多模式图像生成技术实现了可比的结果。
translated by 谷歌翻译
本文提出了一种凝视校正和动画方法，用于高分辨率，不受约束的肖像图像，可以在没有凝视角度和头部姿势注释的情况下对其进行训练。常见的凝视校正方法通常需要用精确的注视和头姿势信息对培训数据进行注释。使用无监督的方法解决此问题仍然是一个空旷的问题，尤其是对于野外高分辨率的面部图像，这并不容易用凝视和头部姿势标签注释。为了解决这个问题，我们首先创建两个新的肖像数据集：Celebgaze和高分辨率Celebhqgaze。其次，我们将目光校正任务制定为图像介绍问题，使用凝视校正模块（GCM）和凝视动画模块（GAM）解决。此外，我们提出了一种无监督的训练策略，即训练的综合训练，以学习眼睛区域特征与凝视角度之间的相关性。结果，我们可以在此空间中使用学习的潜在空间进行凝视动画。此外，为了减轻培训和推理阶段中的记忆和计算成本，我们提出了一个与GCM和GAM集成的粗到精细模块（CFM）。广泛的实验验证了我们方法对野外低和高分辨率面部数据集中的目光校正和凝视动画任务的有效性，并证明了我们方法在艺术状态方面的优越性。代码可从https://github.com/zhangqianhui/gazeanimationv2获得。
translated by 谷歌翻译
现在，使用最近的生成对抗网络（GAN）可以使用高现实主义的不受约束图像产生。但是，用给定的一组属性生成图像非常具有挑战性。最近的方法使用基于样式的GAN模型来执行图像编辑，通过利用发电机层中存在的语义层次结构。我们提出了一些基于潜在的属性操纵和编辑（火焰），这是一个简单而有效的框架，可通过潜在空间操纵执行高度控制的图像编辑。具体而言，我们估计了控制生成图像中语义属性的潜在空间（预训练样式的）中的线性方向。与以前的方法相反，这些方法依赖于大规模属性标记的数据集或属性分类器，而火焰则使用一些策划的图像对的最小监督来估算删除的编辑指示。火焰可以在保留身份的同时，在各种图像集上同时进行高精度和顺序编辑。此外，我们提出了一项新颖的属性样式操纵任务，以生成各种样式的眼镜和头发等属性。我们首先编码相同身份的一组合成图像，但在潜在空间中具有不同的属性样式，以估计属性样式歧管。从该歧管中采样新的潜在将导致生成图像中的新属性样式。我们提出了一种新颖的抽样方法，以从歧管中采样潜在的样品，使我们能够生成各种属性样式，而不是训练集中存在的样式。火焰可以以分离的方式生成多种属性样式。我们通过广泛的定性和定量比较来说明火焰与先前的图像编辑方法相对于先前的图像编辑方法的卓越性能。火焰在多个数据集（例如汽车和教堂）上也很好地概括了。
translated by 谷歌翻译
translated by 谷歌翻译
Our goal with this survey is to provide an overview of the state of the art deep learning technologies for face generation and editing. We will cover popular latest architectures and discuss key ideas that make them work, such as inversion, latent representation, loss functions, training procedures, editing methods, and cross domain style transfer. We particularly focus on GAN-based architectures that have culminated in the StyleGAN approaches, which allow generation of high-quality face images and offer rich interfaces for controllable semantics editing and preserving photo quality. We aim to provide an entry point into the field for readers that have basic knowledge about the field of deep learning and are looking for an accessible introduction and overview.
translated by 谷歌翻译
2021-08-02
可以训练生成模型，以从特定域中生成图像，仅由文本提示引导，而不看到任何图像？换句话说：可以将图像生成器“盲目地训练”吗？利用大规模对比语言图像预训练（CLIP）模型的语义力量，我们提出了一种文本驱动方法，允许将生成模型转移到新域，而无需收集单个图像。我们展示通过自然语言提示和几分钟的培训，我们的方法可以通过各种风格和形状的多种域调整发电机。值得注意的是，许多这些修改难以与现有方法达到困难或完全不可能。我们在广泛的域中进行了广泛的实验和比较。这些证明了我们方法的有效性，并表明我们的移动模型保持了对下游任务吸引的生成模型的潜在空间属性。
translated by 谷歌翻译
现有的GAN倒置和编辑方法适用于具有干净背景的对齐物体，例如肖像和动物面孔，但通常会为更加困难的类别而苦苦挣扎，具有复杂的场景布局和物体遮挡，例如汽车，动物和室外图像。我们提出了一种新方法，以在gan的潜在空间（例如stylegan2）中倒转和编辑复杂的图像。我们的关键想法是用一系列层的集合探索反演，从而将反转过程适应图像的难度。我们学会预测不同图像段的“可逆性”，并将每个段投影到潜在层。更容易的区域可以倒入发电机潜在空间中的较早层，而更具挑战性的区域可以倒入更晚的特征空间。实验表明，与最新的复杂类别的方法相比，我们的方法获得了更好的反转结果，同时保持下游的编辑性。请参阅我们的项目页面，网址为https://www.cs.cmu.edu/~saminversion。
translated by 谷歌翻译
通过利用预熟gan的潜在空间，已经提出了许多最近的作品来进行面部图像编辑。但是，很少有尝试将它们直接应用于视频，因为1）他们不能保证时间一致性，2）他们的应用受到视频的处理速度的限制，3）他们无法准确编码面部运动和表达的细节。为此，我们提出了一个新颖的网络，将面部视频编码到Stylegan的潜在空间中，以进行语义面部视频操纵。基于视觉变压器，我们的网络重复了潜在向量的高分辨率部分，以实现时间一致性。为了捕捉微妙的面部运动和表情，我们设计了涉及稀疏面部地标和密集的3D脸部网眼的新颖损失。我们已经彻底评估了我们的方法，并成功证明了其对各种面部视频操作的应用。特别是，我们提出了一个新型网络，用于3D坐标系中的姿势/表达控制。定性和定量结果都表明，我们的方法可以显着优于现有的单图方法，同时实现实时（66 fps）速度。
translated by 谷歌翻译
我们介绍了一种用于将一个自然形象的视觉外观转移到另一个自然形象的方法。具体地，我们的目标是生成一个图像，其中源结构图像中的对象是“绘制”的目标外观图像中的语义相关对象的视觉外观。我们的方法通过训练一个单个结构/外观映像对给出一个发电机作为输入。将语义信息集成到我们的框架中 - 解决此任务的关键组件 - 我们的主要思想是利用作为外部语义的预训练和固定视觉变压器（VIT）模型。具体而言，我们从深毒性特征中提取的结构和外观的新颖表示，从学习的自我关注模块中解开它们。然后，我们建立一个客观函数，即接头所需的结构和外观表示，在vit特征的空间中相互交互。我们术语“拼接”的框架不涉及对抗性培训，也不需要任何额外的输入信息，例如语义分割或通信，并且可以产生高分辨率结果，例如，在高清中工作。我们在物体数量，姿势和外观的显着变化下，我们展示了各种内野图像对的高质量结果。
translated by 谷歌翻译
我们呈现SeveryGan，一种能够从单个输入示例自动生成砖纹理映射的方法。与大多数现有方法相比，专注于解决合成问题，我们的工作同时解决问题，合成和涤纶性。我们的关键思想是认识到，通过越野落扩展技术训练的生成网络内的潜伏空间产生具有在接缝交叉点的连续性的输出，然后可以通过裁剪中心区域进入彩色图像。由于不是潜在空间的每个值都有有效的来产生高质量的输出，因此我们利用鉴别者作为能够在采样过程中识别无伪纹理的感知误差度量。此外，与之前的深度纹理合成的工作相比，我们的模型设计和优化，以便使用多层纹理表示，使由多个地图组成的纹理，例如Albedo，法线等。我们广泛地测试网络的设计选择架构，丢失功能和采样参数。我们在定性和定量上展示我们的方法优于以前的方法和适用于不同类型的纹理。
translated by 谷歌翻译
我们提出了Gan监督的学习，一个学习歧视模型的框架及其GAN生成的培训数据结束结束。我们将框架应用于密集的视觉调整问题。灵感来自经典的凝固方法，我们的甘蓝算法列举了空间变压器来将随机样本从受过协调的数据训练到常见的共同学习的目标模式。我们在八个数据集上显示结果，所有这些都证明了我们的方法成功对齐复杂数据并发现密集的对应。甘蓝显着优于过去自我监督的对应算法，并在几个数据集上与（有时超过）最先进的监督对应算法进行了近几个数据集 - 而不利用任何通信监督或数据增强，尽管仅仅是完全培训在GaN生成的数据上。对于精确的对应，我们通过最先进的受监管方法提高了3倍。我们展示了我们对下游GaN训练的图像数据集的增强现实，图像编辑和自动预处理的应用。
translated by 谷歌翻译
深层生成模型通过自动化基于收集的数据集的多样性，现实内容的综合，使新手用户更容易访问视觉内容。但是，当前的机器学习方法错过了创作过程的关键要素 - 综合远远超出数据分配和日常体验的东西的能力。为了开始解决此问题，我们可以通过仅编辑一些具有所需几何变化的原始模型输出来“扭曲”给定模型。我们的方法将低级更新应用于单个模型层以重建编辑的示例。此外，为了打击过度拟合，我们建议一种基于样式混合的潜在空间增强方法。我们的方法允许用户创建一个模型，该模型可以通过定义的几何更改合成无尽的对象，从而可以创建新的生成模型，而无需策划大规模数据集。我们还证明可以组成编辑的模型以实现汇总效果，并提出了一个交互式界面，以使用户能够通过组合创建新的模型。对多个测试案例的经验测量表明，我们方法对最近的GAN微调方法的优势。最后，我们使用编辑的模型展示了多个应用程序，包括潜在空间插值和图像编辑。
translated by 谷歌翻译
对图像到图像翻译的监督（I2I）任务很难通过，但对所产生的质量产生重大影响。在本文中，我们观察到，对于许多无人监督的I2I（UI2I）方案，一个域更熟悉另一个域，并且提供域的域名先前知识，例如语义分割。我们争辩说，对于复杂的场景，弄清楚域的语义结构很难，特别是没有监督，而是一个成功的I2i操作的重要组成部分。因此，我们介绍了两种技术，以便在翻译质量的好处结合这种无价值的域的现有知识：通过一种新的多流生成器架构，并通过基于语义分段的正则化损耗术语。从本质上讲，我们根据语义掩模提出分离输入数据，明确地将网络引导到图像的不同区域的不同行为。此外，我们提出培训语义分段网络以及翻译任务，并将其作为提高稳健性的损耗术语利用。我们验证了我们对城市数据的方法，展示了将Day Images转换为夜间图像的挑战UI2i任务的卓越品质。此外，我们还展示了如何使用我们的增强图像加强目标数据集，从而提高了诸如经典检测之类的下游任务的培训。
translated by 谷歌翻译
最近已经示出了从2D图像中提取隐式3D表示的生成神经辐射场（GNERF）模型，以产生代表刚性物体的现实图像，例如人面或汽车。然而，他们通常难以产生代表非刚性物体的高质量图像，例如人体，这对许多计算机图形应用具有很大的兴趣。本文提出了一种用于人类图像综合的3D感知语义导向生成模型（3D-SAGGA），其集成了GNERF和纹理发生器。前者学习人体的隐式3D表示，并输出一组2D语义分段掩模。后者将这些语义面部掩模转化为真实的图像，为人类的外观添加了逼真的纹理。如果不需要额外的3D信息，我们的模型可以使用照片现实可控生成学习3D人类表示。我们在Deepfashion DataSet上的实验表明，3D-SAGGAN显着优于最近的基线。
translated by 谷歌翻译
生成的对抗网络（GANS）最近引入了执行图像到图像翻译的有效方法。这些模型可以应用于图像到图像到图像转换中的各种域而不改变任何参数。在本文中，我们调查并分析了八个图像到图像生成的对策网络：PIX2PX，Cyclegan，Cogan，Stargan，Munit，Stargan2，Da-Gan，以及自我关注GaN。这些模型中的每一个都呈现了最先进的结果，并引入了构建图像到图像的新技术。除了对模型的调查外，我们还调查了他们接受培训的18个数据集，并在其上进行了评估的9个指标。最后，我们在常见的一组指标和数据集中呈现6种这些模型的受控实验的结果。结果混合并显示，在某些数据集，任务和指标上，某些型号优于其他型号。本文的最后一部分讨论了这些结果并建立了未来研究领域。由于研究人员继续创新新的图像到图像GAN，因此他们非常重要地了解现有方法，数据集和指标。本文提供了全面的概述和讨论，以帮助构建此基础。
translated by 谷歌翻译