在生成模型的背景下，近年来，文本到图像生成取得了令人印象深刻的结果。提出了使用不同方法的模型，并在大量的文本和图像对数据集中进行了培训。但是，某些方法依赖于预训练的模型，例如生成对抗网络，通过使用基于梯度的方法来更新潜在矢量的生成模型的潜在空间，并依赖于余弦功能（例如余弦功能）。在这项工作中，我们通过提出使用协方差矩阵适应演化策略来探索生成对手网络的潜在空间，从而遵循不同的方向。我们将这种方法与使用亚当和混合策略的方法进行了比较。我们设计了一项实验研究，以使用不同的文本输入来比较三种方法，通过根据所得样品的投影调整评估方法来比较图像生成，以检查分布的多样性。结果证明，进化方法在样品的产生中获得了更多的多样性，从而探索了所得网格的不同区域。此外，我们表明混合方法结合了基于梯度和进化方法的探索区域，利用结果的质量。
translated by 谷歌翻译
利用深度学习的最新进展，文本到图像生成模型目前具有吸引公众关注的优点。其中两个模型Dall-E 2和Imagen已经证明，可以从图像的简单文本描述中生成高度逼真的图像。基于一种称为扩散模型的新型图像生成方法，文本对图像模型可以生产许多不同类型的高分辨率图像，其中人类想象力是唯一的极限。但是，这些模型需要大量的计算资源来训练，并处理从互联网收集的大量数据集。此外，代码库和模型均未发布。因此，它可以防止AI社区尝试这些尖端模型，从而使其结果复制变得复杂，即使不是不可能。在本文中，我们的目标是首先回顾这些模型使用的不同方法和技术，然后提出我们自己的文本模型模型实施。高度基于DALL-E 2，我们引入了一些轻微的修改，以应对所引起的高计算成本。因此，我们有机会进行实验，以了解这些模型的能力，尤其是在低资源制度中。特别是，我们提供了比Dall-e 2的作者（包括消融研究）更深入的分析。此外，扩散模型使用所谓的指导方法来帮助生成过程。我们引入了一种新的指导方法，该方法可以与其他指导方法一起使用，以提高图像质量。最后，我们的模型产生的图像质量相当好，而不必维持最先进的文本对图像模型的重大培训成本。
translated by 谷歌翻译
对机器学习和创造力领域的兴趣越来越大。这项调查概述了计算创造力理论，关键机器学习技术（包括生成深度学习）和相应的自动评估方法的历史和现状。在对该领域的主要贡献进行了批判性讨论之后，我们概述了当前的研究挑战和该领域的新兴机会。
translated by 谷歌翻译
我们提出了快速的文本2stylegan，这是一种自然语言界面，可适应预先训练的甘体，以实现文本引导的人脸合成。利用对比性语言图像预训练（剪辑）的最新进展，在培训过程中不需要文本数据。Fast Text2Stylegan被配制为条件变异自动编码器（CVAE），可在测试时为生成的图像提供额外的控制和多样性。我们的模型在遇到新的文本提示时不需要重新训练或微调剂或剪辑。与先前的工作相反，我们不依赖于测试时间的优化，这使我们的方法数量级比先前的工作快。从经验上讲，在FFHQ数据集上，我们的方法提供了与先前的工作相比，自然语言描述中具有不同详细程度的自然语言描述中的图像。
translated by 谷歌翻译
从文本描述中综合现实图像是计算机视觉中的主要挑战。当前对图像合成方法的文本缺乏产生代表文本描述符的高分辨率图像。大多数现有的研究都依赖于生成的对抗网络（GAN）或变异自动编码器（VAE）。甘斯具有产生更清晰的图像的能力，但缺乏输出的多样性，而VAE擅长生产各种输出，但是产生的图像通常是模糊的。考虑到gan和vaes的相对优势，我们提出了一个新的有条件VAE（CVAE）和条件gan（CGAN）网络架构，用于合成以文本描述为条件的图像。这项研究使用条件VAE作为初始发电机来生成文本描述符的高级草图。这款来自第一阶段的高级草图输出和文本描述符被用作条件GAN网络的输入。第二阶段GAN产生256x256高分辨率图像。所提出的体系结构受益于条件加强和有条件的GAN网络的残留块，以实现结果。使用CUB和Oxford-102数据集进行了多个实验，并将所提出方法的结果与Stackgan等最新技术进行了比较。实验表明，所提出的方法生成了以文本描述为条件的高分辨率图像，并使用两个数据集基于Inception和Frechet Inception评分产生竞争结果
translated by 谷歌翻译
数字艺术合成在多媒体社区中受到越来越多的关注，因为有效地与公众参与了艺术。当前的数字艺术合成方法通常使用单模式输入作为指导，从而限制了模型的表现力和生成结果的多样性。为了解决这个问题，我们提出了多模式引导的艺术品扩散（MGAD）模型，该模型是一种基于扩散的数字艺术品生成方法，它利用多模式提示作为控制无分类器扩散模型的指导。此外，对比度语言图像预处理（剪辑）模型用于统一文本和图像模式。关于生成的数字艺术绘画质量和数量的广泛实验结果证实了扩散模型和多模式指导的组合有效性。代码可从https://github.com/haha-lisa/mgad-multimodal-guided-artwork-diffusion获得。
translated by 谷歌翻译
文本对图像模型提供了前所未有的自由，可以通过自然语言指导创作。然而，尚不清楚如何行使这种自由以生成特定独特概念，修改其外观或以新角色和新颖场景构成它们的图像。换句话说，我们问：我们如何使用语言指导的模型将猫变成绘画，或者想象基于我们喜欢的玩具的新产品？在这里，我们提出了一种简单的方法，可以允许这种创造性自由。我们仅使用3-5个用户提供的概念（例如对象或样式）的图像，我们学会通过在冷冻文本到图像模型的嵌入空间中通过新的“单词”表示它。这些“单词”可以组成自然语言句子，以直观的方式指导个性化的创作。值得注意的是，我们发现有证据表明单词嵌入足以捕获独特而多样的概念。我们将我们的方法比较了各种基线，并证明它可以更忠实地描绘出一系列应用程序和任务的概念。我们的代码，数据和新单词将在以下网址提供：https：//textual-inversion.github.io
translated by 谷歌翻译
DeNoising扩散模型代表了计算机视觉中最新的主题，在生成建模领域表现出了显着的结果。扩散模型是一个基于两个阶段的深层生成模型，一个正向扩散阶段和反向扩散阶段。在正向扩散阶段，通过添加高斯噪声，输入数据在几个步骤中逐渐受到干扰。在反向阶段，模型的任务是通过学习逐步逆转扩散过程来恢复原始输入数据。尽管已知的计算负担，即由于采样过程中涉及的步骤数量，扩散模型对生成样品的质量和多样性得到了广泛赞赏。在这项调查中，我们对视觉中应用的denoising扩散模型的文章进行了全面综述，包括该领域的理论和实际贡献。首先，我们识别并介绍了三个通用扩散建模框架，这些框架基于扩散概率模型，噪声调节得分网络和随机微分方程。我们进一步讨论了扩散模型与其他深层生成模型之间的关系，包括变异自动编码器，生成对抗网络，基于能量的模型，自回归模型和正常流量。然后，我们介绍了计算机视觉中应用的扩散模型的多角度分类。最后，我们说明了扩散模型的当前局限性，并设想了一些有趣的未来研究方向。
translated by 谷歌翻译
Evaluating and comparing text-to-image models is a challenging problem. Significant advances in the field have recently been made, piquing interest of various industrial sectors. As a consequence, a gold standard in the field should cover a variety of tasks and application contexts. In this paper a novel evaluation approach is experimented, on the basis of: (i) a curated data set, made by high-quality royalty-free image-text pairs, divided into ten categories; (ii) a quantitative metric, the CLIP-score, (iii) a human evaluation task to distinguish, for a given text, the real and the generated images. The proposed method has been applied to the most recent models, i.e., DALLE2, Latent Diffusion, Stable Diffusion, GLIDE and Craiyon. Early experimental results show that the accuracy of the human judgement is fully coherent with the CLIP-score. The dataset has been made available to the public.
translated by 谷歌翻译
Many image-to-image translation problems are ambiguous, as a single input image may correspond to multiple possible outputs. In this work, we aim to model a distribution of possible outputs in a conditional generative modeling setting. The ambiguity of the mapping is distilled in a low-dimensional latent vector, which can be randomly sampled at test time. A generator learns to map the given input, combined with this latent code, to the output. We explicitly encourage the connection between output and the latent code to be invertible. This helps prevent a many-to-one mapping from the latent code to the output during training, also known as the problem of mode collapse, and produces more diverse results. We explore several variants of this approach by employing different training objectives, network architectures, and methods of injecting the latent code. Our proposed method encourages bijective consistency between the latent encoding and output modes. We present a systematic comparison of our method and other variants on both perceptual realism and diversity.
translated by 谷歌翻译
使用生成对抗网络（GAN）生成的面孔已经达到了前所未有的现实主义。这些面孔，也称为“深色伪造”，看起来像是逼真的照片，几乎没有像素级扭曲。尽管某些工作使能够培训模型，从而导致该主题的特定属性，但尚未完全探索基于自然语言描述的面部图像。对于安全和刑事识别，提供基于GAN的系统的能力像素描艺术家一样有用。在本文中，我们提出了一种新颖的方法，可以从语义文本描述中生成面部图像。学习的模型具有文本描述和面部类型的轮廓，该模型用于绘制功能。我们的模型是使用仿射组合模块（ACM）机制训练的，以使用自发动矩阵结合伯特和甘恩潜在空间的文本。这避免了由于“注意力”不足而导致的功能丧失，如果简单地将文本嵌入和潜在矢量串联，这可能会发生。我们的方法能够生成非常准确地与面部面部的详尽文本描述相符的图像，并具有许多细节的脸部特征，并有助于生成更好的图像。如果提供了其他文本描述或句子，则提出的方法还能够对先前生成的图像进行增量更改。
translated by 谷歌翻译
随着信息中的各种方式存在于现实世界中的各种方式，多式联信息之间的有效互动和融合在计算机视觉和深度学习研究中的多模式数据的创造和感知中起着关键作用。通过卓越的功率，在多式联运信息中建模互动，多式联运图像合成和编辑近年来已成为一个热门研究主题。与传统的视觉指导不同，提供明确的线索，多式联路指南在图像合成和编辑方面提供直观和灵活的手段。另一方面，该领域也面临着具有固有的模态差距的特征的几个挑战，高分辨率图像的合成，忠实的评估度量等。在本调查中，我们全面地阐述了最近多式联运图像综合的进展根据数据模型和模型架构编辑和制定分类。我们从图像合成和编辑中的不同类型的引导方式开始介绍。然后，我们描述了多模式图像综合和编辑方法，其具有详细的框架，包括生成的对抗网络（GAN），GaN反转，变压器和其他方法，例如NERF和扩散模型。其次是在多模式图像合成和编辑中广泛采用的基准数据集和相应的评估度量的综合描述，以及分析各个优点和限制的不同合成方法的详细比较。最后，我们为目前的研究挑战和未来的研究方向提供了深入了解。与本调查相关的项目可在HTTPS://github.com/fnzhan/mise上获得
translated by 谷歌翻译
每天在Spotify上发行超过60,000首歌曲，听众的注意力很大。在这方面，不能低估着迷人和诱人的封面艺术的重要性，因为它与歌曲的角色和艺术家的身份深深地纠缠在一起，并且仍然是引导人们发现音乐的最重要的门户之一。但是，设计封面艺术是一个非常有创造力，漫长甚至昂贵的过程，这可能令人生畏，尤其是对于非专业艺术家而言。因此，我们提出了一个新颖的深度学习框架，以生成以音频功能为指导的封面艺术。受VQGAN-CLIP的启发，我们的方法具有很高的灵活性，因为可以轻松更换单个组件而无需任何重新训练。本文概述了我们模型的架构细节，并讨论了它们从中出现的优化挑战。更具体地说，我们将利用遗传算法来克服不良的局部最小值和对抗性示例。我们发现我们的框架可以为大多数流派生成合适的封面，并且视觉功能适应了音频功能的变化。鉴于这些结果，我们认为我们的框架为音频引导的视觉生成任务中的扩展和更高级应用铺平了道路。
translated by 谷歌翻译
We introduce M-VADER: a diffusion model (DM) for image generation where the output can be specified using arbitrary combinations of images and text. We show how M-VADER enables the generation of images specified using combinations of image and text, and combinations of multiple images. Previously, a number of successful DM image generation algorithms have been introduced that make it possible to specify the output image using a text prompt. Inspired by the success of those models, and led by the notion that language was already developed to describe the elements of visual contexts that humans find most important, we introduce an embedding model closely related to a vision-language model. Specifically, we introduce the embedding model S-MAGMA: a 13 billion parameter multimodal decoder combining components from an autoregressive vision-language model MAGMA and biases finetuned for semantic search.
translated by 谷歌翻译
生成自然语言指令的图像是一个有趣但高度挑战的任务。我们通过将reverting剪辑表示与现成的图像发生器（GAN）的功率组合来实现文本到图像生成，在GaN的潜在空间中优化，找到与给定输入文本实现最大剪辑分数的图像。与传统方法相比，从划痕开始从文本到图像培训生成模型，剪辑+ GaN方法是无训练，零射击，可以用不同的发电机轻松定制。然而，在GaN空间中优化剪辑得分投射了一个高度挑战的优化问题，以及诸如ADAM的现成优化器，不能产生满足结果。在这项工作中，我们提出了一个FusedReam管道，它通过三个关键技术改进了剪辑+ GaN方法：1）通过在图像上引入随机增强来强制剪辑目标的Augclip分数。 2）优化的新颖初始化和过参数化策略，允许我们有效地导航GaN空间中的非凸景观。 3）通过利用新型双级优化制剂的组合生成技术，可以构成多个图像以扩展GaN空间并克服数据偏置。当由不同的输入文本推广时，FusedReam可以产生具有不同对象，背景，艺术风格的高质量图像，甚至没有出现在我们使用的GaN的训练数据中的新的反事概念。定量地，由FusedReam生成的图像在MS Coco DataSet上产生顶级初始成绩和FID分数，而无需额外的架构设计或培训。我们的代码公开可用于\ url {https:/github.com/gnobitab/fusedream}。
translated by 谷歌翻译
在时尚电子商务的快速增长中，时尚文章的远程安装仍然是一个复杂而充满挑战的问题，并且是客户沮丧的主要驱动力。尽管最近在3D虚拟尝试解决方案方面取得了进步，但这种方法仍然限制在非常狭窄的文章（即使是少数文章）中，而且通常只有一种时尚物品。旨在支持客户的其他最先进的方法在网上找到适合他们的方法，主要需要高水平的客户参与度和对隐私敏感的数据（例如身高，体重，年龄，性别，腹部形状等），或者，或者需要穿着紧身衣服的顾客尸体的图像。他们通常还缺乏在大规模上产生合适和塑造视觉指导的能力，仅通过建议订购哪种尺寸，最能与客户的身体属性相匹配，而无需提供有关服装如何合适和外观的任何信息。为了实现飞跃并超越了当前方法的局限性，我们提出了Fitgan，这是一种生成的对抗模型，明确说明了服装的纠缠尺寸和在线时尚的适合特征。以文章的拟合和形状为条件，我们的模型学习了分离的项目表示形式，并生成了逼真的图像，反映了时尚文章的真实拟合和形状。通过大规模的现实世界数据实验，我们演示了我们的方法如何能够合成视觉上现实和各种时尚项目的拟合，并探索其控制数千种在线服装图像的拟合度和形状的能力。
translated by 谷歌翻译
文本到图像合成的最新进展导致了较大的经过验证的变压器，具有出色的能力，可以从给定文本产生可视化。但是，这些模型不适合专门的任务，例如故事可视化，该任务要求代理商制作一系列图像，给定相应的字幕序列，形成叙述。此外，我们发现故事可视化任务无法适应新叙事中看不见的情节和角色的概括。因此，我们首先提出了故事延续的任务，其中生成的视觉故事是在源图像上进行的，从而可以更好地对具有新角色的叙述进行更好的概括。然后，我们使用特定于（a）顺序图像生成的任务特定模块和（b）从初始帧复制相关元素的任务特定模块来增强或“复古”文本对图像合成模型。然后，我们探讨了预训练模型的全模型芬太尼以及对参数适应的及时调整。我们在两个现有数据集（PororoSV和FlintStonessV）上评估了我们的方法storydall-e，并介绍了从视频吸引数据集收集的新数据集DIDEMOSV。我们还基于生成的对抗网络（GAN）开发了一个模型故事游戏，以进行故事的延续，并将其与StoryDall-E模型进行比较，以展示我们方法的优势。我们表明，我们的复古拟合方法优于基于GAN的模型，用于故事延续，并促进从源图像中复制视觉元素，从而改善了生成的视觉故事中的连续性。最后，我们的分析表明，经过审计的变压器努力理解包含几个角色的叙述。总体而言，我们的工作表明，可以验证的文本对图像合成模型可以适应复杂和低资源的任务，例如故事延续。
translated by 谷歌翻译
Generative adversarial networks (GANs) provide a way to learn deep representations without extensively annotated training data. They achieve this through deriving backpropagation signals through a competitive process involving a pair of networks. The representations that can be learned by GANs may be used in a variety of applications, including image synthesis, semantic image editing, style transfer, image super-resolution and classification. The aim of this review paper is to provide an overview of GANs for the signal processing community, drawing on familiar analogies and concepts where possible. In addition to identifying different methods for training and constructing GANs, we also point to remaining challenges in their theory and application.
translated by 谷歌翻译
发现神经网络学到的内容仍然是一个挑战。在自我监督的学习中，分类是用于评估表示是多么常见的最常见任务。但是，只依赖于这样的下游任务可以限制我们对给定输入的表示中保留的信息量的理解。在这项工作中，我们展示了使用条件扩散的生成模型（RCDM）来可视化具有自我监督模型学习的表示。我们进一步展示了这种模型的发电质量如何与最先进的生成模型相符，同时忠于用作调节的代表性。通过使用这个新工具来分析自我监督模型，我们可以在视觉上显示i）SSL（骨干）表示并不是真正不变的，以便他们训练的许多数据增强。 ii）SSL投影仪嵌入出现太不变的任务，如分类。 III）SSL表示对其输入IV的小对抗扰动更稳健），具有可用于图像操作的SSL模型的固有结构。
translated by 谷歌翻译
与CNN的分类，分割或对象检测相比，生成网络的目标和方法根本不同。最初，它们不是作为图像分析工具，而是生成自然看起来的图像。已经提出了对抗性训练范式来稳定生成方法，并已被证明是非常成功的 - 尽管绝不是第一次尝试。本章对生成对抗网络（GAN）的动机进行了基本介绍，并通过抽象基本任务和工作机制并得出了早期实用方法的困难来追溯其成功的道路。将显示进行更稳定的训练方法，也将显示出不良收敛及其原因的典型迹象。尽管本章侧重于用于图像生成和图像分析的gan，但对抗性训练范式本身并非特定于图像，并且在图像分析中也概括了任务。在将GAN与最近进入场景的进一步生成建模方法进行对比之前，将闻名图像语义分割和异常检测的架构示例。这将允许对限制的上下文化观点，但也可以对gans有好处。
translated by 谷歌翻译