从文本描述中综合现实图像是计算机视觉中的主要挑战。当前对图像合成方法的文本缺乏产生代表文本描述符的高分辨率图像。大多数现有的研究都依赖于生成的对抗网络（GAN）或变异自动编码器（VAE）。甘斯具有产生更清晰的图像的能力，但缺乏输出的多样性，而VAE擅长生产各种输出，但是产生的图像通常是模糊的。考虑到gan和vaes的相对优势，我们提出了一个新的有条件VAE（CVAE）和条件gan（CGAN）网络架构，用于合成以文本描述为条件的图像。这项研究使用条件VAE作为初始发电机来生成文本描述符的高级草图。这款来自第一阶段的高级草图输出和文本描述符被用作条件GAN网络的输入。第二阶段GAN产生256x256高分辨率图像。所提出的体系结构受益于条件加强和有条件的GAN网络的残留块，以实现结果。使用CUB和Oxford-102数据集进行了多个实验，并将所提出方法的结果与Stackgan等最新技术进行了比较。实验表明，所提出的方法生成了以文本描述为条件的高分辨率图像，并使用两个数据集基于Inception和Frechet Inception评分产生竞争结果

Synthesizing high-quality images from text descriptions is a challenging problem in computer vision and has many practical applications. Samples generated by existing textto-image approaches can roughly reflect the meaning of the given descriptions, but they fail to contain necessary details and vivid object parts. In this paper, we propose Stacked Generative Adversarial Networks (StackGAN) to generate 256×256 photo-realistic images conditioned on text descriptions. We decompose the hard problem into more manageable sub-problems through a sketch-refinement process. The Stage-I GAN sketches the primitive shape and colors of the object based on the given text description, yielding Stage-I low-resolution images. The Stage-II GAN takes Stage-I results and text descriptions as inputs, and generates high-resolution images with photo-realistic details. It is able to rectify defects in Stage-I results and add compelling details with the refinement process. To improve the diversity of the synthesized images and stabilize the training of the conditional-GAN, we introduce a novel Conditioning Augmentation technique that encourages smoothness in the latent conditioning manifold. Extensive experiments and comparisons with state-of-the-arts on benchmark datasets demonstrate that the proposed method achieves significant improvements on generating photo-realistic images conditioned on text descriptions.

Generative adversarial networks (GANs) provide a way to learn deep representations without extensively annotated training data. They achieve this through deriving backpropagation signals through a competitive process involving a pair of networks. The representations that can be learned by GANs may be used in a variety of applications, including image synthesis, semantic image editing, style transfer, image super-resolution and classification. The aim of this review paper is to provide an overview of GANs for the signal processing community, drawing on familiar analogies and concepts where possible. In addition to identifying different methods for training and constructing GANs, we also point to remaining challenges in their theory and application.

文本对图像综合旨在从特定文本描述中生成光真逼真和语义一致的图像。与相应的图像和文本描述相比，由现成模型合成的图像通常包含有限的组件，从而降低了图像质量和文本 - 视觉一致性。为了解决这个问题，我们提出了一种新颖的视觉语言匹配策略，用于文本对图像综合，名为Vlmgan*，该策略介绍了一种双重视觉语言匹配机制，以增强图像质量和语义一致性。双视性匹配机制考虑了生成的图像与相应的文本描述之间的文本 - 视觉匹配，以及综合图像和真实图像之间的视觉视觉视觉一致约束。给定特定的文本描述，vlmgan*首先将其编码为文本特征，然后将它们馈送到基于双视觉匹配的生成模型中，以合成光合逼真的和文本的语义一致图像。此外，文本对图像合成的流行评估指标是从简单图像生成中借用的，该图像生成主要评估合成图像的现实和多样性。因此，我们引入了一个名为Vision语言匹配分数（VLMS）的度量标准，以评估文本对图像合成的性能，该分数可以考虑综合图像和描述之间的图像质量和语义一致性。所提出的双重多层视觉匹配策略可以应用于其他文本对图像合成方法。我们在两个受欢迎的基线上实现了此策略，这些基线用$ {\ text {vlmgan} _ {+\ text {attngan}}} $和$ {\ text {vlmgan} _ {+\ text {+\ text {+\ {+\ text {+\ text {dfgan}}} $ 。两个广泛使用的数据集的实验结果表明，该模型比其他最先进的方法实现了重大改进。

Automatic synthesis of realistic images from text would be interesting and useful, but current AI systems are still far from this goal. However, in recent years generic and powerful recurrent neural network architectures have been developed to learn discriminative text feature representations. Meanwhile, deep convolutional generative adversarial networks (GANs) have begun to generate highly compelling images of specific categories, such as faces, album covers, and room interiors. In this work, we develop a novel deep architecture and GAN formulation to effectively bridge these advances in text and image modeling, translating visual concepts from characters to pixels. We demonstrate the capability of our model to generate plausible images of birds and flowers from detailed text descriptions.

在本文中，我们提出了一种有效且有效的单级框架（Divergan），根据自然语言描述产生多样化，可粘性和语义一致的图像。 Divergan采用两种新颖的单词级注意模块，即通道关注模块（CAM）和像素 - 注意模块（PAM），这在允许网络允许将较大的权重分配给定句子中的每个单词的重要性与突出字，语义对齐的重要通道和像素。之后，引入了条件自适应实例层归一化（CADailn）以使语言提示嵌入的句子中的语言线索灵活地操纵形状和纹理的变化量，进一步改善视觉语义表示和帮助稳定训练。此外，开发了双剩余结构以保持更多原始的视觉功能，同时允许更深的网络，从而产生更快的收敛速度和更生动的细节。此外，我们建议将完全连接的层插入管道以解决缺乏多样性问题，因为我们观察到致密层会显着提高网络的生成能力，平衡低于之间的权衡尺寸随机潜代码有助于使用高维和文本上下文来强度特征映射的变体和调制模块。在第二个残差块之后插入线性层，实现最佳品种和质量。基准数据集的定性和定量结果都展示了我们的潜水员实现多样性的优越性，而不会损害质量和语义一致性。

利用深度学习的最新进展，文本到图像生成模型目前具有吸引公众关注的优点。其中两个模型Dall-E 2和Imagen已经证明，可以从图像的简单文本描述中生成高度逼真的图像。基于一种称为扩散模型的新型图像生成方法，文本对图像模型可以生产许多不同类型的高分辨率图像，其中人类想象力是唯一的极限。但是，这些模型需要大量的计算资源来训练，并处理从互联网收集的大量数据集。此外，代码库和模型均未发布。因此，它可以防止AI社区尝试这些尖端模型，从而使其结果复制变得复杂，即使不是不可能。在本文中，我们的目标是首先回顾这些模型使用的不同方法和技术，然后提出我们自己的文本模型模型实施。高度基于DALL-E 2，我们引入了一些轻微的修改，以应对所引起的高计算成本。因此，我们有机会进行实验，以了解这些模型的能力，尤其是在低资源制度中。特别是，我们提供了比Dall-e 2的作者（包括消融研究）更深入的分析。此外，扩散模型使用所谓的指导方法来帮助生成过程。我们引入了一种新的指导方法，该方法可以与其他指导方法一起使用，以提高图像质量。最后，我们的模型产生的图像质量相当好，而不必维持最先进的文本对图像模型的重大培训成本。

In this paper, we propose an Attentional Generative Adversarial Network (AttnGAN) that allows attention-driven, multi-stage refinement for fine-grained text-to-image generation. With a novel attentional generative network, the At-tnGAN can synthesize fine-grained details at different subregions of the image by paying attentions to the relevant words in the natural language description. In addition, a deep attentional multimodal similarity model is proposed to compute a fine-grained image-text matching loss for training the generator. The proposed AttnGAN significantly outperforms the previous state of the art, boosting the best reported inception score by 14.14% on the CUB dataset and 170.25% on the more challenging COCO dataset. A detailed analysis is also performed by visualizing the attention layers of the AttnGAN. It for the first time shows that the layered attentional GAN is able to automatically select the condition at the word level for generating different parts of the image.

与CNN的分类，分割或对象检测相比，生成网络的目标和方法根本不同。最初，它们不是作为图像分析工具，而是生成自然看起来的图像。已经提出了对抗性训练范式来稳定生成方法，并已被证明是非常成功的 - 尽管绝不是第一次尝试。本章对生成对抗网络（GAN）的动机进行了基本介绍，并通​​过抽象基本任务和工作机制并得出了早期实用方法的困难来追溯其成功的道路。将显示进行更稳定的训练方法，也将显示出不良收敛及其原因的典型迹象。尽管本章侧重于用于图像生成和图像分析的gan，但对抗性训练范式本身并非特定于图像，并且在图像分析中也概括了任务。在将GAN与最近进入场景的进一步生成建模方法进行对比之前，将闻名图像语义分割和异常检测的架构示例。这将允许对限制的上下文化观点，但也可以对gans有好处。

随着脑成像技术和机器学习工具的出现，很多努力都致力于构建计算模型来捕获人脑中的视觉信息的编码。最具挑战性的大脑解码任务之一是通过功能磁共振成像（FMRI）测量的脑活动的感知自然图像的精确重建。在这项工作中，我们调查了来自FMRI的自然图像重建的最新学习方法。我们在架构设计，基准数据集和评估指标方面检查这些方法，并在标准化评估指标上呈现公平的性能评估。最后，我们讨论了现有研究的优势和局限，并提出了潜在的未来方向。

DeNoising扩散模型代表了计算机视觉中最新的主题，在生成建模领域表现出了显着的结果。扩散模型是一个基于两个阶段的深层生成模型，一个正向扩散阶段和反向扩散阶段。在正向扩散阶段，通过添加高斯噪声，输入数据在几个步骤中逐渐受到干扰。在反向阶段，模型的任务是通过学习逐步逆转扩散过程来恢复原始输入数据。尽管已知的计算负担，即由于采样过程中涉及的步骤数量，扩散模型对生成样品的质量和多样性得到了广泛赞赏。在这项调查中，我们对视觉中应用的denoising扩散模型的文章进行了全面综述，包括该领域的理论和实际贡献。首先，我们识别并介绍了三个通用扩散建模框架，这些框架基于扩散概率模型，噪声调节得分网络和随机微分方程。我们进一步讨论了扩散模型与其他深层生成模型之间的关系，包括变异自动编码器，生成对抗网络，基于能量的模型，自回归模型和正常流量。然后，我们介绍了计算机视觉中应用的扩散模型的多角度分类。最后，我们说明了扩散模型的当前局限性，并设想了一些有趣的未来研究方向。

全面了解视力和语言及其相互关系至关重要，以实现这些方式与学习更广泛，有意义的陈述之间的潜在的相似之处和差异。近年来，大多数与文本到图像综合和图像到文本生成有关的作品，专注于监督生成的深层架构来解决问题，在那里在学习嵌入空间之间的相似之处非常令人兴趣方式。在本文中，我们提出了一种新颖的自我监督基于深入的学习方法，了解了学习跨模式嵌入空间的基础方法;对于图片到文本和文本到映像生成。在我们的方法中，我们首先使用基于Stackgan的AutoEncoder模型获取图像的密集矢量表示，以及利用基于LSTM的文本 - autoEncoder的句子级的密集矢量表示;然后，我们研究映射到嵌入一个模态的空间，以利用GaN和最大平均差异的生成网络嵌入其他模态的空间。我们还证明我们的模型学会从图像数据以及来自定性和定量的文本数据的图像生成文本描述。

使用生成对抗网络（GAN）生成的面孔已经达到了前所未有的现实主义。这些面孔，也称为“深色伪造”，看起来像是逼真的照片，几乎没有像素级扭曲。尽管某些工作使能够培训模型，从而导致该主题的特定属性，但尚未完全探索基于自然语言描述的面部图像。对于安全和刑事识别，提供基于GAN的系统的能力像素描艺术家一样有用。在本文中，我们提出了一种新颖的方法，可以从语义文本描述中生成面部图像。学习的模型具有文本描述和面部类型的轮廓，该模型用于绘制功能。我们的模型是使用仿射组合模块（ACM）机制训练的，以使用自发动矩阵结合伯特和甘恩潜在空间的文本。这避免了由于“注意力”不足而导致的功能丧失，如果简单地将文本嵌入和潜在矢量串联，这可能会发生。我们的方法能够生成非常准确地与面部面部的详尽文本描述相符的图像，并具有许多细节的脸部特征，并有助于生成更好的图像。如果提供了其他文本描述或句子，则提出的方法还能够对先前生成的图像进行增量更改。

近年来，拥抱集群研究中的表演学习的深度学习技术引起了广泛的关注，产生了一个新开发的聚类范式，QZ。深度聚类（DC）。通常，DC型号大写AutoEncoders，以了解促进聚类过程的内在特征。如今，一个名为变变AualEncoder（VAE）的生成模型在DC研究中得到了广泛的认可。然而，平原VAE不足以察觉到综合潜在特征，导致细分性能恶化。本文提出了一种新的DC方法来解决这个问题。具体地，生成的逆势网络和VAE被聚结成了一种名为Fusion AutoEncoder（FAE）的新的AutoEncoder，以辨别出更多的辨别性表示，从而使下游聚类任务受益。此外，FAE通过深度剩余网络架构实施，进一步提高了表示学习能力。最后，将FAE的潜在空间转变为由深密神经网络的嵌入空间，用于彼此从彼此拉出不同的簇，并将数据点折叠在单个簇内。在几个图像数据集上进行的实验证明了所提出的DC模型对基线方法的有效性。

文本到脸部是文本到图像的子集，由于其更详细的生产，需要更复杂的体系结构。在本文中，我们提出了一个称为Cycle Text2Face的编码器模型。Cycle Text2Face是编码器部分中的一项新计划，它使用句子变压器和GAN生成文本描述的图像。该周期是通过在模型的解码器部分中复制面部文本来完成的。使用Celeba数据集评估模型，比以前的基于GAN的模型可以带来更好的结果。除了满足人类受众外，我们还获得了3.458的FID分数，在测量生成面的质量时。该模型具有高速处理，可在短时间内提供优质的面部图像。

最近，诸如Interovae和S-Introvae之类的内省模型在图像生成和重建任务方面表现出色。内省模型的主要特征是对VAE的对抗性学习，编码器试图区分真实和假（即合成）图像。但是，由于有效度量标准无法评估真实图像和假图像之间的差异，因此后塌陷和消失的梯度问题仍然存在，从而降低了合成图像的保真度。在本文中，我们提出了一种称为对抗性相似性距离内省变化自动编码器（AS-Introvae）的新变体。我们理论上分析了消失的梯度问题，并使用2-Wasserstein距离和内核技巧构建了新的对抗相似性距离（AS-cantance）。随着重量退火，AS-Introvae能够产生稳定和高质量的图像。通过每批次尝试转换图像，以使其更好地适合潜在空间中的先前分布，从而解决了后塌陷问题。与每个图像方法相比，该策略促进了潜在空间中更多样化的分布，从而使我们的模型能够产生巨大的多样性图像。基准数据集的全面实验证明了AS-Introvae对图像生成和重建任务的有效性。

Generative models, as an important family of statistical modeling, target learning the observed data distribution via generating new instances. Along with the rise of neural networks, deep generative models, such as variational autoencoders (VAEs) and generative adversarial network (GANs), have made tremendous progress in 2D image synthesis. Recently, researchers switch their attentions from the 2D space to the 3D space considering that 3D data better aligns with our physical world and hence enjoys great potential in practice. However, unlike a 2D image, which owns an efficient representation (i.e., pixel grid) by nature, representing 3D data could face far more challenges. Concretely, we would expect an ideal 3D representation to be capable enough to model shapes and appearances in details, and to be highly efficient so as to model high-resolution data with fast speed and low memory cost. However, existing 3D representations, such as point clouds, meshes, and recent neural fields, usually fail to meet the above requirements simultaneously. In this survey, we make a thorough review of the development of 3D generation, including 3D shape generation and 3D-aware image synthesis, from the perspectives of both algorithms and more importantly representations. We hope that our discussion could help the community track the evolution of this field and further spark some innovative ideas to advance this challenging task.

随着信息中的各种方式存在于现实世界中的各种方式，多式联信息之间的有效互动和融合在计算机视觉和深度学习研究中的多模式数据的创造和感知中起着关键作用。通过卓越的功率，在多式联运信息中建模互动，多式联运图像合成和编辑近年来已成为一个热门研究主题。与传统的视觉指导不同，提供明确的线索，多式联路指南在图像合成和编辑方面提供直观和灵活的手段。另一方面，该领域也面临着具有固有的模态差距的特征的几个挑战，高分辨率图像的合成，忠实的评估度量等。在本调查中，我们全面地阐述了最近多式联运图像综合的进展根据数据模型和模型架构编辑和制定分类。我们从图像合成和编辑中的不同类型的引导方式开始介绍。然后，我们描述了多模式图像综合和编辑方法，其具有详细的框架，包括生成的对抗网络（GAN），GaN反转，变压器和其他方法，例如NERF和扩散模型。其次是在多模式图像合成和编辑中广泛采用的基准数据集和相应的评估度量的综合描述，以及分析各个优点和限制的不同合成方法的详细比较。最后，我们为目前的研究挑战和未来的研究方向提供了深入了解。与本调查相关的项目可在HTTPS://github.com/fnzhan/mise上获得

随着深度学习生成模型的最新进展，它在时间序列领域的出色表现并没有花费很长时间。用于与时间序列合作的深度神经网络在很大程度上取决于培训中使用的数据集的广度和一致性。这些类型的特征通常在现实世界中不丰富，在现实世界中，它们通常受到限制，并且通常具有必须保证的隐私限制。因此，一种有效的方法是通过添加噪声或排列并生成新的合成数据来使用\ gls {da}技术增加数据数。它正在系统地审查该领域的当前最新技术，以概述所有可用的算法，并提出对最相关研究的分类法。将评估不同变体的效率；作为过程的重要组成部分，将分析评估性能的不同指标以及有关每个模型的主要问题。这项研究的最终目的是摘要摘要，这些领域的进化和性能会产生更好的结果，以指导该领域的未来研究人员。

文本到图像综合的目标是生成与给定文本描述匹配的视觉现实图像。在实践中，人类注释的标题在同一图像中具有很大的内容方差和单词的选择。相同图像的标题之间的语言差异导致偏离地面真理的合成图像。为了解决这个问题，我们提出了一种对比的学习方法来提高质量，增强合成图像的语义一致性。在预先预测阶段，我们利用对比的学习方法来学习对应于相同图像的标题的一致文本表示。此外，在GaN训练的以下阶段，我们采用对比学习方法来增强来自与相同图像相关的标题的所生成的图像之间的一致性。我们分别评估了我们在数据集幼崽和Coco上的两个流行文本到图像综合模型，ATTNGAN和DM-GAN的方法。实验结果表明，我们的方法可以有效地提高三个度量的合成图像的质量：是，FID和R精度。特别是，在挑战的Coco DataSet上，我们的方法将FID显着地通过29.60％的Attngan来增强29.60％，并在DM-GaN中达到21.96％。