全面了解视力和语言及其相互关系至关重要，以实现这些方式与学习更广泛，有意义的陈述之间的潜在的相似之处和差异。近年来，大多数与文本到图像综合和图像到文本生成有关的作品，专注于监督生成的深层架构来解决问题，在那里在学习嵌入空间之间的相似之处非常令人兴趣方式。在本文中，我们提出了一种新颖的自我监督基于深入的学习方法，了解了学习跨模式嵌入空间的基础方法;对于图片到文本和文本到映像生成。在我们的方法中，我们首先使用基于Stackgan的AutoEncoder模型获取图像的密集矢量表示，以及利用基于LSTM的文本 - autoEncoder的句子级的密集矢量表示;然后，我们研究映射到嵌入一个模态的空间，以利用GaN和最大平均差异的生成网络嵌入其他模态的空间。我们还证明我们的模型学会从图像数据以及来自定性和定量的文本数据的图像生成文本描述。

文本对图像综合旨在从特定文本描述中生成光真逼真和语义一致的图像。与相应的图像和文本描述相比，由现成模型合成的图像通常包含有限的组件，从而降低了图像质量和文本 - 视觉一致性。为了解决这个问题，我们提出了一种新颖的视觉语言匹配策略，用于文本对图像综合，名为Vlmgan*，该策略介绍了一种双重视觉语言匹配机制，以增强图像质量和语义一致性。双视性匹配机制考虑了生成的图像与相应的文本描述之间的文本 - 视觉匹配，以及综合图像和真实图像之间的视觉视觉视觉一致约束。给定特定的文本描述，vlmgan*首先将其编码为文本特征，然后将它们馈送到基于双视觉匹配的生成模型中，以合成光合逼真的和文本的语义一致图像。此外，文本对图像合成的流行评估指标是从简单图像生成中借用的，该图像生成主要评估合成图像的现实和多样性。因此，我们引入了一个名为Vision语言匹配分数（VLMS）的度量标准，以评估文本对图像合成的性能，该分数可以考虑综合图像和描述之间的图像质量和语义一致性。所提出的双重多层视觉匹配策略可以应用于其他文本对图像合成方法。我们在两个受欢迎的基线上实现了此策略，这些基线用$ {\ text {vlmgan} _ {+\ text {attngan}}} $和$ {\ text {vlmgan} _ {+\ text {+\ text {+\ {+\ text {+\ text {dfgan}}} $ 。两个广泛使用的数据集的实验结果表明，该模型比其他最先进的方法实现了重大改进。

文本到图像综合的目标是生成与给定文本描述匹配的视觉现实图像。在实践中，人类注释的标题在同一图像中具有很大的内容方差和单词的选择。相同图像的标题之间的语言差异导致偏离地面真理的合成图像。为了解决这个问题，我们提出了一种对比的学习方法来提高质量，增强合成图像的语义一致性。在预先预测阶段，我们利用对比的学习方法来学习对应于相同图像的标题的一致文本表示。此外，在GaN训练的以下阶段，我们采用对比学习方法来增强来自与相同图像相关的标题的所生成的图像之间的一致性。我们分别评估了我们在数据集幼崽和Coco上的两个流行文本到图像综合模型，ATTNGAN和DM-GAN的方法。实验结果表明，我们的方法可以有效地提高三个度量的合成图像的质量：是，FID和R精度。特别是，在挑战的Coco DataSet上，我们的方法将FID显着地通过29.60％的Attngan来增强29.60％，并在DM-GaN中达到21.96％。

从文本描述中综合现实图像是计算机视觉中的主要挑战。当前对图像合成方法的文本缺乏产生代表文本描述符的高分辨率图像。大多数现有的研究都依赖于生成的对抗网络（GAN）或变异自动编码器（VAE）。甘斯具有产生更清晰的图像的能力，但缺乏输出的多样性，而VAE擅长生产各种输出，但是产生的图像通常是模糊的。考虑到gan和vaes的相对优势，我们提出了一个新的有条件VAE（CVAE）和条件gan（CGAN）网络架构，用于合成以文本描述为条件的图像。这项研究使用条件VAE作为初始发电机来生成文本描述符的高级草图。这款来自第一阶段的高级草图输出和文本描述符被用作条件GAN网络的输入。第二阶段GAN产生256x256高分辨率图像。所提出的体系结构受益于条件加强和有条件的GAN网络的残留块，以实现结果。使用CUB和Oxford-102数据集进行了多个实验，并将所提出方法的结果与Stackgan等最新技术进行了比较。实验表明，所提出的方法生成了以文本描述为条件的高分辨率图像，并使用两个数据集基于Inception和Frechet Inception评分产生竞争结果

使用生成对抗网络（GAN）生成的面孔已经达到了前所未有的现实主义。这些面孔，也称为“深色伪造”，看起来像是逼真的照片，几乎没有像素级扭曲。尽管某些工作使能够培训模型，从而导致该主题的特定属性，但尚未完全探索基于自然语言描述的面部图像。对于安全和刑事识别，提供基于GAN的系统的能力像素描艺术家一样有用。在本文中，我们提出了一种新颖的方法，可以从语义文本描述中生成面部图像。学习的模型具有文本描述和面部类型的轮廓，该模型用于绘制功能。我们的模型是使用仿射组合模块（ACM）机制训练的，以使用自发动矩阵结合伯特和甘恩潜在空间的文本。这避免了由于“注意力”不足而导致的功能丧失，如果简单地将文本嵌入和潜在矢量串联，这可能会发生。我们的方法能够生成非常准确地与面部面部的详尽文本描述相符的图像，并具有许多细节的脸部特征，并有助于生成更好的图像。如果提供了其他文本描述或句子，则提出的方法还能够对先前生成的图像进行增量更改。

In this paper, we propose an Attentional Generative Adversarial Network (AttnGAN) that allows attention-driven, multi-stage refinement for fine-grained text-to-image generation. With a novel attentional generative network, the At-tnGAN can synthesize fine-grained details at different subregions of the image by paying attentions to the relevant words in the natural language description. In addition, a deep attentional multimodal similarity model is proposed to compute a fine-grained image-text matching loss for training the generator. The proposed AttnGAN significantly outperforms the previous state of the art, boosting the best reported inception score by 14.14% on the CUB dataset and 170.25% on the more challenging COCO dataset. A detailed analysis is also performed by visualizing the attention layers of the AttnGAN. It for the first time shows that the layered attentional GAN is able to automatically select the condition at the word level for generating different parts of the image.

Automatic synthesis of realistic images from text would be interesting and useful, but current AI systems are still far from this goal. However, in recent years generic and powerful recurrent neural network architectures have been developed to learn discriminative text feature representations. Meanwhile, deep convolutional generative adversarial networks (GANs) have begun to generate highly compelling images of specific categories, such as faces, album covers, and room interiors. In this work, we develop a novel deep architecture and GAN formulation to effectively bridge these advances in text and image modeling, translating visual concepts from characters to pixels. We demonstrate the capability of our model to generate plausible images of birds and flowers from detailed text descriptions.

用于图像文本生成任务的传统方法主要是分别解决自然双向生成任务，专注于设计任务特定的框架以提高所生成的样本的质量和保真度。最近，Vision-Language预训练模型大大提高了图像到文本生成任务的性能，但仍未开发出用于文本到图像综合任务的大规模预训练模型。在本文中，我们提出了一个具有变压器模型的双向图像文本生成的统一生成的预训练框架的Ernie-Vi​​lg。基于图像量化模型，我们将图像生成和文本生成标准为在文本/图像输入上调节的自回归生成任务。双向图像文本生成建模简化了视觉和语言的语义对齐。对于文本到图像生成过程，我们进一步提出了端到端的训练方法，共同学习视觉序列发生器和图像重建。为了探讨双向文本图像生成的大规模预培训景观，我们在大规模数据集中培训了100亿参数的Ernie-Vi​​lg模型，以145百万（中文）图像 - 文本对实现了达到的状态 - 文本到图像和图像到文本任务的最佳性能，以便在MS-Coco上获取7.9的FID，用于文本到图像合成以及用于图像标题的Coco-CN和AIC-ICC的最佳结果。

文本对图像综合的症结很大，源于保持输入文本和合成图像之间的跨模式语义一致性的困难。试图直接建模文本图像映射的典型方法只能在文本中捕获指示常见对象或动作但无法学习其空间分布模式的文本中的关键字。规避此限制的一种有效方法是生成图像布局作为指导，这是通过一些方法尝试的。然而，由于输入文本和对象位置的多样性，这些方法无法生成实际有效的布局。在本文中，我们推动在文本到图像生成和布局到图像合成中进行有效的建模。具体而言，我们将文本到序列生成作为序列到序列建模任务，并在变压器上构建我们的模型，以通过对它们之间的顺序依赖性进行建模，以了解对象之间的空间关系。在布局到图像合成的阶段，我们专注于在布局中每个对象中的每个对象学习文本 - 视觉对齐，以精确地将输入文本纳入布局到图像构图合成过程。为了评估生成的布局的质量，我们设计了一个新的度量标准，称为布局质量得分，该评分既考虑了布局中边界框的绝对分布误差，又考虑了它们之间的相互空间关系。在三个数据集上进行的广泛实验证明了我们的方法优于最先进的方法，既可以预测布局和从给定文本综合图像。

文本到图像合成的最新进展导致了较大的经过验证的变压器，具有出色的能力，可以从给定文本产生可视化。但是，这些模型不适合专门的任务，例如故事可视化，该任务要求代理商制作一系列图像，给定相应的字幕序列，形成叙述。此外，我们发现故事可视化任务无法适应新叙事中看不见的情节和角色的概括。因此，我们首先提出了故事延续的任务，其中生成的视觉故事是在源图像上进行的，从而可以更好地对具有新角色的叙述进行更好的概括。然后，我们使用特定于（a）顺序图像生成的任务特定模块和（b）从初始帧复制相关元素的任务特定模块来增强或“复古”文本对图像合成模型。然后，我们探讨了预训练模型的全模型芬太尼以及对参数适应的及时调整。我们在两个现有数据集（PororoSV和FlintStonessV）上评估了我们的方法storydall-e，并介绍了从视频吸引数据集收集的新数据集DIDEMOSV。我们还基于生成的对抗网络（GAN）开发了一个模型故事游戏，以进行故事的延续，并将其与StoryDall-E模型进行比较，以展示我们方法的优势。我们表明，我们的复古拟合方法优于基于GAN的模型，用于故事延续，并促进从源图像中复制视觉元素，从而改善了生成的视觉故事中的连续性。最后，我们的分析表明，经过审计的变压器努力理解包含几个角色的叙述。总体而言，我们的工作表明，可以验证的文本对图像合成模型可以适应复杂和低资源的任务，例如故事延续。

我们开发了一种文本到图像生成的方法，该方法由隐性视觉引导丢失和生成目标的组合驱动，该方法包含其他检索图像。与仅将文本作为输入的大多数现有文本到图像生成方法不同，我们的方法将跨模式搜索结果动态馈送到统一的训练阶段，从而提高了生成结果的质量，可控性和多样性。我们提出了一种新颖的超网调制的视觉文本编码方案，以预测编码层的重量更新，从而使视觉信息（例如布局，内容）有效地传输到相应的潜在域。实验结果表明，我们的模型以其他检索视觉数据的指导优于现有基于GAN的模型。在可可数据集上，与最先进的方法相比，我们实现了更好的$ 9.13 $，最高$ 3.5 \ times $ $。

A major goal of multimodal research is to improve machine understanding of images and text. Tasks include image captioning, text-to-image generation, and vision-language representation learning. So far, research has focused on the relationships between images and text. For example, captioning models attempt to understand the semantics of images which are then transformed into text. An important question is: which annotation reflects best a deep understanding of image content? Similarly, given a text, what is the best image that can present the semantics of the text? In this work, we argue that the best text or caption for a given image is the text which would generate the image which is the most similar to that image. Likewise, the best image for a given text is the image that results in the caption which is best aligned with the original text. To this end, we propose a unified framework that includes both a text-to-image generative model and an image-to-text generative model. Extensive experiments validate our approach.

文本到脸部是文本到图像的子集，由于其更详细的生产，需要更复杂的体系结构。在本文中，我们提出了一个称为Cycle Text2Face的编码器模型。Cycle Text2Face是编码器部分中的一项新计划，它使用句子变压器和GAN生成文本描述的图像。该周期是通过在模型的解码器部分中复制面部文本来完成的。使用Celeba数据集评估模型，比以前的基于GAN的模型可以带来更好的结果。除了满足人类受众外，我们还获得了3.458的FID分数，在测量生成面的质量时。该模型具有高速处理，可在短时间内提供优质的面部图像。

培训文本到图像生成模型中的主要挑战之一是需要大量的高质量图像文本对。虽然图像样本通常很容易接近，但相关的文本描述通常需要仔细的人类标题，这是特别的 - 耗时和成本耗费。在本文中，我们提出了第一项工作来培训没有任何文本数据的文本到图像生成模型。我们的方法利用了强大的预训练剪辑模型的良好对齐的多模态语义空间：通过从图像特征生成文本特征，无缝地减轻了文本调节的要求。进行广泛的实验以说明所提出的方法的有效性。我们在标准的文本到图像生成任务中获得最先进的结果。重要的是，拟议的无语模型优于具有完整图像文本对训练的大多数现有型号。此外，我们的方法可以应用于微调预先训练的模型，它可以节省培训文本到图像生成模型的培训时间和成本。我们预先接受的模型在MS-Coco DataSet上获得竞争激烈的结果，在零拍摄的图像集中在MS-Coco DataSet上产生竞争结果，但距离最近提出的大型Dall-E型号的模型大小和培训数据大小约为1％。

作为一项具有挑战性的任务，文本到图像生成旨在根据给定的文本说明生成照片真实和语义一致的图像。现有方法主要从一个句子中提取文本信息，以表示图像，文本表示良好地影响生成图像的质量。但是，直接利用一个句子中的有限信息错过了一些关键属性描述，这是准确描述图像的关键因素。为了减轻上述问题，我们提出了一种有效的文本表示方法，并具有属性信息的补充。首先，我们构建一个属性内存，以用句子输入共同控制文本对图像生成。其次，我们探讨了两种更新机制，即样品感知和样本 - 关节机制，以动态优化广义属性存储器。此外，我们设计了一个属性句子结合条件生成器学习方案，以使多个表示的特征嵌入对齐，从而促进跨模式网络训练。实验结果表明，该提出的方法对CUB（FID从14.81到8.57）和可可（FID从21.42到12.39）的数据集获得了实质性改进。

我们提出了快速的文本2stylegan，这是一种自然语言界面，可适应预先训练的甘体，以实现文本引导的人脸合成。利用对比性语言图像预训练（剪辑）的最新进展，在培训过程中不需要文本数据。Fast Text2Stylegan被配制为条件变异自动编码器（CVAE），可在测试时为生成的图像提供额外的控制和多样性。我们的模型在遇到新的文本提示时不需要重新训练或微调剂或剪辑。与先前的工作相反，我们不依赖于测试时间的优化，这使我们的方法数量级比先前的工作快。从经验上讲，在FFHQ数据集上，我们的方法提供了与先前的工作相比，自然语言描述中具有不同详细程度的自然语言描述中的图像。

远远超出了学习自然语言的远程相互作用，变形金刚正成为许多愿景任务的遗弃标准，具有其力量和爬钢丝。特别是在图像和文本之间的跨模型任务中，向量量化变化自动码器（VQ-VAE）被广泛用于使原始RGB图像成为一系列特征向量。为了更好地利用图像和文本之间的相关性，我们提出了一种新颖的架构，该架构包括用于文本到图像和图像到文本的特征增强的变形Autiachoder（Augvae）和双向自动回归变压器（Biart）一代。我们的Augvae在ImageNet1K验证集上显示了最先进的重建性能，以及野外未经看出图像的鲁棒性。与其他模型不同，BIART可以将图像（或文本）区分为条件参考和生成目标。 L-VERSE可以直接用于图像到文本或文本到图像生成任务，而无需任何FineTuning或额外的对象检测框架。在定量和定性实验中，L-VESERS在MS-Coco字幕上的图像到文本和文本到图像生成中，对先前的方法进行了令人印象深刻的结果。我们还评估了L-Verse架构对概念标题的可扩展性，并呈现了一般域的双向视觉语言表示学习的初始结果。代码可用：https://github.com/tgisaturday/l-verse

Evaluating and comparing text-to-image models is a challenging problem. Significant advances in the field have recently been made, piquing interest of various industrial sectors. As a consequence, a gold standard in the field should cover a variety of tasks and application contexts. In this paper a novel evaluation approach is experimented, on the basis of: (i) a curated data set, made by high-quality royalty-free image-text pairs, divided into ten categories; (ii) a quantitative metric, the CLIP-score, (iii) a human evaluation task to distinguish, for a given text, the real and the generated images. The proposed method has been applied to the most recent models, i.e., DALLE2, Latent Diffusion, Stable Diffusion, GLIDE and Craiyon. Early experimental results show that the accuracy of the human judgement is fully coherent with the CLIP-score. The dataset has been made available to the public.

Synthesizing high-quality images from text descriptions is a challenging problem in computer vision and has many practical applications. Samples generated by existing textto-image approaches can roughly reflect the meaning of the given descriptions, but they fail to contain necessary details and vivid object parts. In this paper, we propose Stacked Generative Adversarial Networks (StackGAN) to generate 256×256 photo-realistic images conditioned on text descriptions. We decompose the hard problem into more manageable sub-problems through a sketch-refinement process. The Stage-I GAN sketches the primitive shape and colors of the object based on the given text description, yielding Stage-I low-resolution images. The Stage-II GAN takes Stage-I results and text descriptions as inputs, and generates high-resolution images with photo-realistic details. It is able to rectify defects in Stage-I results and add compelling details with the refinement process. To improve the diversity of the synthesized images and stabilize the training of the conditional-GAN, we introduce a novel Conditioning Augmentation technique that encourages smoothness in the latent conditioning manifold. Extensive experiments and comparisons with state-of-the-arts on benchmark datasets demonstrate that the proposed method achieves significant improvements on generating photo-realistic images conditioned on text descriptions.

In this work, we propose TediGAN, a novel framework for multi-modal image generation and manipulation with textual descriptions. The proposed method consists of three components: StyleGAN inversion module, visual-linguistic similarity learning, and instance-level optimization. The inversion module maps real images to the latent space of a well-trained StyleGAN. The visual-linguistic similarity learns the text-image matching by mapping the image and text into a common embedding space. The instancelevel optimization is for identity preservation in manipulation. Our model can produce diverse and high-quality images with an unprecedented resolution at 1024 2 . Using a control mechanism based on style-mixing, our Tedi-GAN inherently supports image synthesis with multi-modal inputs, such as sketches or semantic labels, with or without instance guidance. To facilitate text-guided multimodal synthesis, we propose the Multi-Modal CelebA-HQ, a large-scale dataset consisting of real face images and corresponding semantic segmentation map, sketch, and textual descriptions. Extensive experiments on the introduced dataset demonstrate the superior performance of our proposed method. Code and data are available at https://github.com/weihaox/TediGAN.