Text-driven person image generation is an emerging and challenging task in cross-modality image generation. Controllable person image generation promotes a wide range of applications such as digital human interaction and virtual try-on. However, previous methods mostly employ single-modality information as the prior condition (e.g. pose-guided person image generation), or utilize the preset words for text-driven human synthesis. Introducing a sentence composed of free words with an editable semantic pose map to describe person appearance is a more user-friendly way. In this paper, we propose HumanDiffusion, a coarse-to-fine alignment diffusion framework, for text-driven person image generation. Specifically, two collaborative modules are proposed, the Stylized Memory Retrieval (SMR) module for fine-grained feature distillation in data processing and the Multi-scale Cross-modality Alignment (MCA) module for coarse-to-fine feature alignment in diffusion. These two modules guarantee the alignment quality of the text and image, from image-level to feature-level, from low-resolution to high-resolution. As a result, HumanDiffusion realizes open-vocabulary person image generation with desired semantic poses. Extensive experiments conducted on DeepFashion demonstrate the superiority of our method compared with previous approaches. Moreover, better results could be obtained for complicated person images with various details and uncommon poses.

随着信息中的各种方式存在于现实世界中的各种方式，多式联信息之间的有效互动和融合在计算机视觉和深度学习研究中的多模式数据的创造和感知中起着关键作用。通过卓越的功率，在多式联运信息中建模互动，多式联运图像合成和编辑近年来已成为一个热门研究主题。与传统的视觉指导不同，提供明确的线索，多式联路指南在图像合成和编辑方面提供直观和灵活的手段。另一方面，该领域也面临着具有固有的模态差距的特征的几个挑战，高分辨率图像的合成，忠实的评估度量等。在本调查中，我们全面地阐述了最近多式联运图像综合的进展根据数据模型和模型架构编辑和制定分类。我们从图像合成和编辑中的不同类型的引导方式开始介绍。然后，我们描述了多模式图像综合和编辑方法，其具有详细的框架，包括生成的对抗网络（GAN），GaN反转，变压器和其他方法，例如NERF和扩散模型。其次是在多模式图像合成和编辑中广泛采用的基准数据集和相应的评估度量的综合描述，以及分析各个优点和限制的不同合成方法的详细比较。最后，我们为目前的研究挑战和未来的研究方向提供了深入了解。与本调查相关的项目可在HTTPS://github.com/fnzhan/mise上获得

可控图像合成模型允许根据文本指令或来自示例图像的指导创建不同的图像。最近，已经显示出去噪扩散概率模型比现有方法产生更现实的图像，并且已在无条件和类条件设置中成功展示。我们探索细粒度，连续控制该模型类，并引入了一种新颖的统一框架，用于语义扩散指导，允许语言或图像指导，或两者。使用图像文本或图像匹配分数的梯度将指导注入预训练的无条件扩散模型中。我们探讨基于剪辑的文本指导，以及以统一形式的基于内容和类型的图像指导。我们的文本引导综合方法可以应用于没有相关文本注释的数据集。我们对FFHQ和LSUN数据集进行实验，并显示出细粒度的文本引导图像合成的结果，与样式或内容示例图像相关的图像的合成，以及具有文本和图像引导的示例。

数字艺术合成在多媒体社区中受到越来越多的关注，因为有效地与公众参与了艺术。当前的数字艺术合成方法通常使用单模式输入作为指导，从而限制了模型的表现力和生成结果的多样性。为了解决这个问题，我们提出了多模式引导的艺术品扩散（MGAD）模型，该模型是一种基于扩散的数字艺术品生成方法，它利用多模式提示作为控制无分类器扩散模型的指导。此外，对比度语言图像预处理（剪辑）模型用于统一文本和图像模式。关于生成的数字艺术绘画质量和数量的广泛实验结果证实了扩散模型和多模式指导的组合有效性。代码可从https://github.com/haha-lisa/mgad-multimodal-guided-artwork-diffusion获得。

In this work, we propose TediGAN, a novel framework for multi-modal image generation and manipulation with textual descriptions. The proposed method consists of three components: StyleGAN inversion module, visual-linguistic similarity learning, and instance-level optimization. The inversion module maps real images to the latent space of a well-trained StyleGAN. The visual-linguistic similarity learns the text-image matching by mapping the image and text into a common embedding space. The instancelevel optimization is for identity preservation in manipulation. Our model can produce diverse and high-quality images with an unprecedented resolution at 1024 2 . Using a control mechanism based on style-mixing, our Tedi-GAN inherently supports image synthesis with multi-modal inputs, such as sketches or semantic labels, with or without instance guidance. To facilitate text-guided multimodal synthesis, we propose the Multi-Modal CelebA-HQ, a large-scale dataset consisting of real face images and corresponding semantic segmentation map, sketch, and textual descriptions. Extensive experiments on the introduced dataset demonstrate the superior performance of our proposed method. Code and data are available at https://github.com/weihaox/TediGAN.

人物图像的旨在在源图像上执行非刚性变形，这通常需要未对准数据对进行培训。最近，自我监督的方法通过合并自我重建的解除印章表达来表达这项任务的巨大前景。然而，这些方法未能利用解除戒断功能之间的空间相关性。在本文中，我们提出了一种自我监督的相关挖掘网络（SCM-NET）来重新排列特征空间中的源图像，其中两种协作模块是集成的，分解的样式编码器（DSE）和相关挖掘模块（CMM）。具体地，DSE首先在特征级别创建未对齐的对。然后，CMM建立用于特征重新排列的空间相关领域。最终，翻译模块将重新排列的功能转换为逼真的结果。同时，为了提高跨尺度姿态变换的保真度，我们提出了一种基于曲线图的体结构保持损失（BSR损耗），以保持半体上的合理的身体结构到全身。与Deepfashion DataSet进行的广泛实验表明了与其他监督和无监督和无监督的方法相比的方法的优势。此外，对面部的令人满意的结果显示了我们在其他变形任务中的方法的多功能性。

关于文本到图像生成的研究在产生多样化和照片现实的图像方面取得了重大进展，这是由在大规模图像文本数据上训练的扩散和自动回归模型驱动的。尽管最先进的模型可以产生共同实体的高质量图像，但它们通常很难产生不常见的实体的图像，例如“ chortai（dog）”或“ picarones（食物）”。为了解决此问题，我们介绍了检索型的文本对图像生成器（Re-Imagen），这是一种生成模型，它使用检索到的信息来产生高保真和忠实的图像，即使对于稀有或看不见的实体也是如此。给定文本提示，重新构造访问外部多模式知识库以检索相关（图像，文本）对，并将它们用作引用来生成图像。通过此检索步骤，重新构造的知识是对上述实体的高级语义和低级视觉细节的了解，从而提高了其在产生实体视觉外观的准确性。我们在包含（图像，文本，检索）的构造数据集上训练Re-Imagen，以教导该模型在文本提示和检索上扎根。此外，我们制定了一种新的抽样策略，以使文本和检索条件的无分类指南交流，以平衡文本和检索对齐。 Re-Imagen在两个图像生成基准上获得了新的SOTA FID结果，例如Coco（IE，FID = 5.25）和Wikiimage（即FID = 5.82），而无需微调。为了进一步评估该模型的功能，我们介绍了EntityDrawBench，这是一种新的基准测试，可评估从多个视觉域的各种实体的图像生成，从频繁到稀有。人类对EntityDrawBench的评估表明，Re-Imagen与照片现实主义中最好的先前模型相同，但具有明显的忠诚，尤其是在较不频繁的实体上。

扩散模型（DMS）显示出高质量图像合成的巨大潜力。但是，当涉及到具有复杂场景的图像时，如何正确描述图像全局结构和对象细节仍然是一项具有挑战性的任务。在本文中，我们提出了弗里多（Frido），这是一种特征金字塔扩散模型，该模型执行了图像合成的多尺度粗到1个降解过程。我们的模型将输入图像分解为依赖比例的矢量量化特征，然后是用于产生图像输出的粗到细门。在上述多尺度表示阶段，可以进一步利用文本，场景图或图像布局等其他输入条件。因此，还可以将弗里多应用于条件或跨模式图像合成。我们对各种无条件和有条件的图像生成任务进行了广泛的实验，从文本到图像综合，布局到图像，场景环形图像到标签形象。更具体地说，我们在五个基准测试中获得了最先进的FID分数，即可可和开阔图像的布局到图像，可可和视觉基因组的场景环形图像以及可可的标签对图像图像。 。代码可在https://github.com/davidhalladay/frido上找到。

Text-guided 3D object generation aims to generate 3D objects described by user-defined captions, which paves a flexible way to visualize what we imagined. Although some works have been devoted to solving this challenging task, these works either utilize some explicit 3D representations (e.g., mesh), which lack texture and require post-processing for rendering photo-realistic views; or require individual time-consuming optimization for every single case. Here, we make the first attempt to achieve generic text-guided cross-category 3D object generation via a new 3D-TOGO model, which integrates a text-to-views generation module and a views-to-3D generation module. The text-to-views generation module is designed to generate different views of the target 3D object given an input caption. prior-guidance, caption-guidance and view contrastive learning are proposed for achieving better view-consistency and caption similarity. Meanwhile, a pixelNeRF model is adopted for the views-to-3D generation module to obtain the implicit 3D neural representation from the previously-generated views. Our 3D-TOGO model generates 3D objects in the form of the neural radiance field with good texture and requires no time-cost optimization for every single caption. Besides, 3D-TOGO can control the category, color and shape of generated 3D objects with the input caption. Extensive experiments on the largest 3D object dataset (i.e., ABO) are conducted to verify that 3D-TOGO can better generate high-quality 3D objects according to the input captions across 98 different categories, in terms of PSNR, SSIM, LPIPS and CLIP-score, compared with text-NeRF and Dreamfields.

In this work, we are dedicated to text-guided image generation and propose a novel framework, i.e., CLIP2GAN, by leveraging CLIP model and StyleGAN. The key idea of our CLIP2GAN is to bridge the output feature embedding space of CLIP and the input latent space of StyleGAN, which is realized by introducing a mapping network. In the training stage, we encode an image with CLIP and map the output feature to a latent code, which is further used to reconstruct the image. In this way, the mapping network is optimized in a self-supervised learning way. In the inference stage, since CLIP can embed both image and text into a shared feature embedding space, we replace CLIP image encoder in the training architecture with CLIP text encoder, while keeping the following mapping network as well as StyleGAN model. As a result, we can flexibly input a text description to generate an image. Moreover, by simply adding mapped text features of an attribute to a mapped CLIP image feature, we can effectively edit the attribute to the image. Extensive experiments demonstrate the superior performance of our proposed CLIP2GAN compared to previous methods.

利用深度学习的最新进展，文本到图像生成模型目前具有吸引公众关注的优点。其中两个模型Dall-E 2和Imagen已经证明，可以从图像的简单文本描述中生成高度逼真的图像。基于一种称为扩散模型的新型图像生成方法，文本对图像模型可以生产许多不同类型的高分辨率图像，其中人类想象力是唯一的极限。但是，这些模型需要大量的计算资源来训练，并处理从互联网收集的大量数据集。此外，代码库和模型均未发布。因此，它可以防止AI社区尝试这些尖端模型，从而使其结果复制变得复杂，即使不是不可能。在本文中，我们的目标是首先回顾这些模型使用的不同方法和技术，然后提出我们自己的文本模型模型实施。高度基于DALL-E 2，我们引入了一些轻微的修改，以应对所引起的高计算成本。因此，我们有机会进行实验，以了解这些模型的能力，尤其是在低资源制度中。特别是，我们提供了比Dall-e 2的作者（包括消融研究）更深入的分析。此外，扩散模型使用所谓的指导方法来帮助生成过程。我们引入了一种新的指导方法，该方法可以与其他指导方法一起使用，以提高图像质量。最后，我们的模型产生的图像质量相当好，而不必维持最先进的文本对图像模型的重大培训成本。

我们开发了一种文本到图像生成的方法，该方法由隐性视觉引导丢失和生成目标的组合驱动，该方法包含其他检索图像。与仅将文本作为输入的大多数现有文本到图像生成方法不同，我们的方法将跨模式搜索结果动态馈送到统一的训练阶段，从而提高了生成结果的质量，可控性和多样性。我们提出了一种新颖的超网调制的视觉文本编码方案，以预测编码层的重量更新，从而使视觉信息（例如布局，内容）有效地传输到相应的潜在域。实验结果表明，我们的模型以其他检索视觉数据的指导优于现有基于GAN的模型。在可可数据集上，与最先进的方法相比，我们实现了更好的$ 9.13 $，最高$ 3.5 \ times $ $。

我们提出了一种基于示例的图像翻译的新方法，称为匹配交织的扩散模型（MIDMS）。该任务的大多数现有方法都是基于GAN的匹配，然后代表了代代框架。但是，在此框架中，跨跨域的语义匹配难度引起的匹配误差，例如草图和照片，可以很容易地传播到生成步骤，从而导致结果退化。由于扩散模型的最新成功激发了克服GAN的缺点，我们结合了扩散模型以克服这些局限性。具体而言，我们制定了一个基于扩散的匹配和生成框架，该框架通过将中间扭曲馈入尖锐的过程并将其变形以生成翻译的图像，从而交织了潜在空间中的跨域匹配和扩散步骤。此外，为了提高扩散过程的可靠性，我们使用周期一致性设计了一种置信度的过程，以在翻译过程中仅考虑自信区域。实验结果表明，我们的MIDM比最新方法产生的图像更合理。

Image and video synthesis has become a blooming topic in computer vision and machine learning communities along with the developments of deep generative models, due to its great academic and application value. Many researchers have been devoted to synthesizing high-fidelity human images as one of the most commonly seen object categories in daily lives, where a large number of studies are performed based on various deep generative models, task settings and applications. Thus, it is necessary to give a comprehensive overview on these variant methods on human image generation. In this paper, we divide human image generation techniques into three paradigms, i.e., data-driven methods, knowledge-guided methods and hybrid methods. For each route, the most representative models and the corresponding variants are presented, where the advantages and characteristics of different methods are summarized in terms of model architectures and input/output requirements. Besides, the main public human image datasets and evaluation metrics in the literature are also summarized. Furthermore, due to the wide application potentials, two typical downstream usages of synthesized human images are covered, i.e., data augmentation for person recognition tasks and virtual try-on for fashion customers. Finally, we discuss the challenges and potential directions of human image generation to shed light on future research.

我们提出了快速的文本2stylegan，这是一种自然语言界面，可适应预先训练的甘体，以实现文本引导的人脸合成。利用对比性语言图像预训练（剪辑）的最新进展，在培训过程中不需要文本数据。Fast Text2Stylegan被配制为条件变异自动编码器（CVAE），可在测试时为生成的图像提供额外的控制和多样性。我们的模型在遇到新的文本提示时不需要重新训练或微调剂或剪辑。与先前的工作相反，我们不依赖于测试时间的优化，这使我们的方法数量级比先前的工作快。从经验上讲，在FFHQ数据集上，我们的方法提供了与先前的工作相比，自然语言描述中具有不同详细程度的自然语言描述中的图像。

In the realm of multi-modality, text-guided image retouching techniques emerged with the advent of deep learning. Most currently available text-guided methods, however, rely on object-level supervision to constrain the region that may be modified. This not only makes it more challenging to develop these algorithms, but it also limits how widely deep learning can be used for image retouching. In this paper, we offer a text-guided mask-free image retouching approach that yields consistent results to address this concern. In order to perform image retouching without mask supervision, our technique can construct plausible and edge-sharp masks based on the text for each object in the image. Extensive experiments have shown that our method can produce high-quality, accurate images based on spoken language. The source code will be released soon.

人类运动建模对于许多现代图形应用非常重要，这些应用通常需要专业技能。为了消除外行的技能障碍，最近的运动生成方法可以直接产生以自然语言为条件的人类动作。但是，通过各种文本输入，实现多样化和细粒度的运动产生，仍然具有挑战性。为了解决这个问题，我们提出了MotionDiffuse，这是第一个基于基于文本模型的基于文本驱动的运动生成框架，该框架证明了现有方法的几种期望属性。 1）概率映射。 MotionDiffuse不是确定性的语言映射，而是通过一系列注入变化的步骤生成动作。 2）现实的综合。 MotionDiffuse在建模复杂的数据分布和生成生动的运动序列方面表现出色。 3）多级操作。 Motion-Diffuse响应有关身体部位的细粒度指示，以及随时间变化的文本提示，任意长度运动合成。我们的实验表明，Motion-Diffuse通过说服文本驱动运动产生和动作条件运动的运动来优于现有的SOTA方法。定性分析进一步证明了MotionDiffuse对全面运动产生的可控性。主页：https：//mingyuan-zhang.github.io/projects/motiondiffuse.html

与生成的对抗网（GAN）相比，降级扩散概率模型（DDPM）在各种图像生成任务中取得了显着成功。关于语义图像综合的最新工作主要遵循\ emph {de exto}基于gan的方法，这可能导致生成图像的质量或多样性不令人满意。在本文中，我们提出了一个基于DDPM的新型框架，用于语义图像合成。与先前的条件扩散模型不同，将语义布局和嘈杂的图像作为输入为U-NET结构，该结构可能无法完全利用输入语义掩码中的信息，我们的框架处理语义布局和嘈杂的图像不同。它将噪声图像馈送到U-NET结构的编码器时，而语义布局通过多层空间自适应归一化操作符将语义布局馈送到解码器。为了进一步提高语义图像合成中的发电质量和语义解释性，我们介绍了无分类器的指导采样策略，该策略承认采样过程的无条件模型的得分。在三个基准数据集上进行的广泛实验证明了我们提出的方法的有效性，从而在忠诚度（FID）和多样性〜（LPIPS）方面实现了最先进的性能。

使用生成对抗网络（GAN）生成的面孔已经达到了前所未有的现实主义。这些面孔，也称为“深色伪造”，看起来像是逼真的照片，几乎没有像素级扭曲。尽管某些工作使能够培训模型，从而导致该主题的特定属性，但尚未完全探索基于自然语言描述的面部图像。对于安全和刑事识别，提供基于GAN的系统的能力像素描艺术家一样有用。在本文中，我们提出了一种新颖的方法，可以从语义文本描述中生成面部图像。学习的模型具有文本描述和面部类型的轮廓，该模型用于绘制功能。我们的模型是使用仿射组合模块（ACM）机制训练的，以使用自发动矩阵结合伯特和甘恩潜在空间的文本。这避免了由于“注意力”不足而导致的功能丧失，如果简单地将文本嵌入和潜在矢量串联，这可能会发生。我们的方法能够生成非常准确地与面部面部的详尽文本描述相符的图像，并具有许多细节的脸部特征，并有助于生成更好的图像。如果提供了其他文本描述或句子，则提出的方法还能够对先前生成的图像进行增量更改。

Generating photos satisfying multiple constraints find broad utility in the content creation industry. A key hurdle to accomplishing this task is the need for paired data consisting of all modalities (i.e., constraints) and their corresponding output. Moreover, existing methods need retraining using paired data across all modalities to introduce a new condition. This paper proposes a solution to this problem based on denoising diffusion probabilistic models (DDPMs). Our motivation for choosing diffusion models over other generative models comes from the flexible internal structure of diffusion models. Since each sampling step in the DDPM follows a Gaussian distribution, we show that there exists a closed-form solution for generating an image given various constraints. Our method can unite multiple diffusion models trained on multiple sub-tasks and conquer the combined task through our proposed sampling strategy. We also introduce a novel reliability parameter that allows using different off-the-shelf diffusion models trained across various datasets during sampling time alone to guide it to the desired outcome satisfying multiple constraints. We perform experiments on various standard multimodal tasks to demonstrate the effectiveness of our approach. More details can be found in https://nithin-gk.github.io/projectpages/Multidiff/index.html