AI Illustrator旨在自动设计具有视觉吸引力的图像，以激发丰富的思想和情感。为了实现这一目标，我们提出了一个框架，将具有复杂语义的原始描述转换为语义相应的图像。主要的挑战在于原始描述语义的复杂性，可能很难可视化（\ textit {e}。通常，它对现有方法构成了处理此类描述的挑战。为了解决这个问题，我们建议基于rompt \ textbf {c} ross- \ textbf {m} odal generation \ textbf {frame} work（pcm-frame）利用两个强大的预培养模型，，包括剪辑和Stylegan。我们的框架由两个组件组成：\ textIt {textIt嵌入} s到\ textit {image嵌入} s的投影模块，基于提示以及一个构建的适应图像生成模块，该模块构建了\ textit {image嵌入{image Embedding} s作为输入并受到共同语义一致性损失的训练。为了弥合现实图像和插图设计之间的差距，我们进一步采用了风格化模型作为后处理，以获得更好的视觉效果。受益于预先训练的模型，我们的方法可以处理复杂的描述，并且不需要外部配对数据进行培训。此外，我们已经建立了一个由200个原始描述组成的基准。我们进行了一项用户研究，以证明我们对复杂文本的竞争方法的优势。我们在https://github.com/researchmm/ai \ _illustrator} {https://github.com/researchmem/researchmm/ai \_illustrator上发布代码

In this work, we are dedicated to text-guided image generation and propose a novel framework, i.e., CLIP2GAN, by leveraging CLIP model and StyleGAN. The key idea of our CLIP2GAN is to bridge the output feature embedding space of CLIP and the input latent space of StyleGAN, which is realized by introducing a mapping network. In the training stage, we encode an image with CLIP and map the output feature to a latent code, which is further used to reconstruct the image. In this way, the mapping network is optimized in a self-supervised learning way. In the inference stage, since CLIP can embed both image and text into a shared feature embedding space, we replace CLIP image encoder in the training architecture with CLIP text encoder, while keeping the following mapping network as well as StyleGAN model. As a result, we can flexibly input a text description to generate an image. Moreover, by simply adding mapped text features of an attribute to a mapped CLIP image feature, we can effectively edit the attribute to the image. Extensive experiments demonstrate the superior performance of our proposed CLIP2GAN compared to previous methods.

In this work, we propose TediGAN, a novel framework for multi-modal image generation and manipulation with textual descriptions. The proposed method consists of three components: StyleGAN inversion module, visual-linguistic similarity learning, and instance-level optimization. The inversion module maps real images to the latent space of a well-trained StyleGAN. The visual-linguistic similarity learns the text-image matching by mapping the image and text into a common embedding space. The instancelevel optimization is for identity preservation in manipulation. Our model can produce diverse and high-quality images with an unprecedented resolution at 1024 2 . Using a control mechanism based on style-mixing, our Tedi-GAN inherently supports image synthesis with multi-modal inputs, such as sketches or semantic labels, with or without instance guidance. To facilitate text-guided multimodal synthesis, we propose the Multi-Modal CelebA-HQ, a large-scale dataset consisting of real face images and corresponding semantic segmentation map, sketch, and textual descriptions. Extensive experiments on the introduced dataset demonstrate the superior performance of our proposed method. Code and data are available at https://github.com/weihaox/TediGAN.

Stone" "Mohawk hairstyle" "Without makeup" "Cute cat" "Lion" "Gothic church" * Equal contribution, ordered alphabetically. Code and video are available on https://github.com/orpatashnik/StyleCLIP

关于语言引导的图像操纵的最新作品在提供丰富的语义方面表现出了极大的语言力量，尤其是对于面部图像。但是，语言中的其他自然信息，动作的探索较少。在本文中，我们利用运动信息并研究一项新颖的任务，语言引导的面部动画，旨在在语言的帮助下对静态面部图像进行动画。为了更好地利用语言的语义和动作，我们提出了一个简单而有效的框架。具体而言，我们提出了一个经常性运动生成器，以从语言中提取一系列语义和运动信息，并将其与视觉信息一起提供给预训练的样式，以生成高质量的帧。为了优化所提出的框架，提出了三个精心设计的损失功能，包括保持面部身份的正规化损失，路径长度正规化损失以确保运动平滑度和对比度损失，以在一个模型中使用各种语言指导启用视频综合。对不同领域的定性和定量评估进行了广泛的实验（\ textit {ef。语。代码将在https://github.com/tiankaihang/language-guided-animation.git上找到。

我们提出了快速的文本2stylegan，这是一种自然语言界面，可适应预先训练的甘体，以实现文本引导的人脸合成。利用对比性语言图像预训练（剪辑）的最新进展，在培训过程中不需要文本数据。Fast Text2Stylegan被配制为条件变异自动编码器（CVAE），可在测试时为生成的图像提供额外的控制和多样性。我们的模型在遇到新的文本提示时不需要重新训练或微调剂或剪辑。与先前的工作相反，我们不依赖于测试时间的优化，这使我们的方法数量级比先前的工作快。从经验上讲，在FFHQ数据集上，我们的方法提供了与先前的工作相比，自然语言描述中具有不同详细程度的自然语言描述中的图像。

头发编辑是计算机视觉和图形中有趣和挑战的问题。许多现有方法需要粗略的草图或掩码作为用于编辑的条件输入，但是这些交互既不直接也不高效。为了从繁琐的相互作用过程中获取用户，本文提出了一种新的头发编辑交互模式，其能够基于用户提供的文本或参考图像单独地或共同地操纵头发属性。为此目的，我们通过利用对比语言图像预训练（剪辑）模型的强大图像文本表示能力来编码共享嵌入空间中的图像和文本条件，并提出统一的头发编辑框架。通过精心设计的网络结构和丢失功能，我们的框架可以以脱谕方式执行高质量的头发编辑。广泛的实验在操纵准确性，编辑结果的视觉现实主义和无关的属性保存方面表现出我们的方法的优越性。项目repo是https://github.com/wty-ustc/hairclip。

使用生成对抗网络（GAN）生成的面孔已经达到了前所未有的现实主义。这些面孔，也称为“深色伪造”，看起来像是逼真的照片，几乎没有像素级扭曲。尽管某些工作使能够培训模型，从而导致该主题的特定属性，但尚未完全探索基于自然语言描述的面部图像。对于安全和刑事识别，提供基于GAN的系统的能力像素描艺术家一样有用。在本文中，我们提出了一种新颖的方法，可以从语义文本描述中生成面部图像。学习的模型具有文本描述和面部类型的轮廓，该模型用于绘制功能。我们的模型是使用仿射组合模块（ACM）机制训练的，以使用自发动矩阵结合伯特和甘恩潜在空间的文本。这避免了由于“注意力”不足而导致的功能丧失，如果简单地将文本嵌入和潜在矢量串联，这可能会发生。我们的方法能够生成非常准确地与面部面部的详尽文本描述相符的图像，并具有许多细节的脸部特征，并有助于生成更好的图像。如果提供了其他文本描述或句子，则提出的方法还能够对先前生成的图像进行增量更改。

利用Stylegan的表现力及其分离的潜在代码，现有方法可以实现对不同视觉属性的现实编辑，例如年龄和面部图像的性别。出现了一个有趣而又具有挑战性的问题：生成模型能否针对他们博学的先验进行反事实编辑？由于自然数据集中缺乏反事实样本，我们以文本驱动的方式研究了这个问题，并具有对比语言图像预言（剪辑），这些（剪辑）甚至可以为各种反事实概念提供丰富的语义知识。与内域操作不同，反事实操作需要更全面地剥削夹包含的语义知识，以及对编辑方向的更微妙的处理，以避免被卡在局部最低或不需要的编辑中。为此，我们设计了一种新颖的对比损失，该损失利用了预定义的夹子空间方向，从不同的角度将编辑指向所需的方向。此外，我们设计了一个简单而有效的方案，该方案将（目标文本）明确映射到潜在空间，并将其与潜在代码融合在一起，以进行有效的潜在代码优化和准确的编辑。广泛的实验表明，我们的设计在乘坐各种反事实概念的目标文本驾驶时，可以实现准确，现实的编辑。

Stylegan的成功使得在合成和真实图像上启用了前所未有的语义编辑能力。然而，这种编辑操作要么是使用人类指导的语义监督或描述的培训。在另一个开发中，剪辑架构已被互联网级图像和文本配对培训，并且已被示出在几个零拍摄学习设置中有用。在这项工作中，我们调查了如何有效地链接样式登录和剪辑的预训练潜空间，这反过来允许我们从Stylegan，查找和命名有意义的编辑操作自动提取语义标记的编辑方向，而无需任何额外的人类指导。从技术上讲，我们提出了两块新颖的建筑块;一个用于查找有趣的夹子方向，一个用于在CLIP潜在空间中标记任意方向。安装程序不假设任何预定的标签，因此我们不需要任何其他监督文本/属性来构建编辑框架。我们评估所提出的方法的有效性，并证明了解标记标记的样式编辑方向的提取确实可能，并揭示了有趣和非琐碎的编辑方向。

最近的成功表明，可以通过文本提示来操纵图像，例如，在雨天的晴天，在雨天中被操纵到同一场景中，这是由文本输入“下雨”驱动的雨天。这些方法经常利用基于样式的图像生成器，该生成器利用多模式（文本和图像）嵌入空间。但是，我们观察到，这种文本输入通常在提供和综合丰富的语义提示时被瓶颈瓶颈，例如将大雨与雨雨区分开。为了解决这个问题，我们主张利用另一种方式，声音，在图像操纵中具有显着优势，因为它可以传达出比文本更多样化的语义提示（生动的情感或自然世界的动态表达）。在本文中，我们提出了一种新颖的方法，该方法首先使用声音扩展了图像文本接头嵌入空间，并应用了一种直接的潜在优化方法来根据音频输入（例如雨的声音）操纵给定的图像。我们的广泛实验表明，我们的声音引导的图像操纵方法在语义和视觉上比最先进的文本和声音引导的图像操纵方法产生更合理的操作结果，这通过我们的人类评估进一步证实。我们的下游任务评估还表明，我们学到的图像文本单嵌入空间有效地编码声音输入。

最近的生成模型的成功表明，利用多模态嵌入空间可以使用文本信息操纵图像。然而，由于源的动态特性，使用其他来源而不是声音的文本来操纵图像，而不是声音，并不容易。特别是，声音可以传达真实世界的生动情感和动态表达。在这里，我们提出了一个框架，该框架将声音直接编码为多模态（图像文本）嵌入空间，并从空间操纵图像。我们的音频编码器受过培训以产生来自音频输入的潜在表示，该音频输入被强制与多模式嵌入空间中的图像和文本表示对齐。我们使用基于对齐的嵌入式的直接潜在优化方法进行声音引导图像操纵。我们还表明，我们的方法可以混合文本和音频模态，这丰富了各种图像修改。我们验证了定量和定性的声音引导图像操纵的有效性。我们还表明，我们的方法可以混合不同的模态，即文本和音频，这丰富了图像修改的各种。零射频分类和语义级图像分类的实验表明，我们所提出的模型优于其他文本和声音引导最先进的方法。

可控图像合成模型允许根据文本指令或来自示例图像的指导创建不同的图像。最近，已经显示出去噪扩散概率模型比现有方法产生更现实的图像，并且已在无条件和类条件设置中成功展示。我们探索细粒度，连续控制该模型类，并引入了一种新颖的统一框架，用于语义扩散指导，允许语言或图像指导，或两者。使用图像文本或图像匹配分数的梯度将指导注入预训练的无条件扩散模型中。我们探讨基于剪辑的文本指导，以及以统一形式的基于内容和类型的图像指导。我们的文本引导综合方法可以应用于没有相关文本注释的数据集。我们对FFHQ和LSUN数据集进行实验，并显示出细粒度的文本引导图像合成的结果，与样式或内容示例图像相关的图像的合成，以及具有文本和图像引导的示例。

文本对图像综合旨在从特定文本描述中生成光真逼真和语义一致的图像。与相应的图像和文本描述相比，由现成模型合成的图像通常包含有限的组件，从而降低了图像质量和文本 - 视觉一致性。为了解决这个问题，我们提出了一种新颖的视觉语言匹配策略，用于文本对图像综合，名为Vlmgan*，该策略介绍了一种双重视觉语言匹配机制，以增强图像质量和语义一致性。双视性匹配机制考虑了生成的图像与相应的文本描述之间的文本 - 视觉匹配，以及综合图像和真实图像之间的视觉视觉视觉一致约束。给定特定的文本描述，vlmgan*首先将其编码为文本特征，然后将它们馈送到基于双视觉匹配的生成模型中，以合成光合逼真的和文本的语义一致图像。此外，文本对图像合成的流行评估指标是从简单图像生成中借用的，该图像生成主要评估合成图像的现实和多样性。因此，我们引入了一个名为Vision语言匹配分数（VLMS）的度量标准，以评估文本对图像合成的性能，该分数可以考虑综合图像和描述之间的图像质量和语义一致性。所提出的双重多层视觉匹配策略可以应用于其他文本对图像合成方法。我们在两个受欢迎的基线上实现了此策略，这些基线用$ {\ text {vlmgan} _ {+\ text {attngan}}} $和$ {\ text {vlmgan} _ {+\ text {+\ text {+\ {+\ text {+\ text {dfgan}}} $ 。两个广泛使用的数据集的实验结果表明，该模型比其他最先进的方法实现了重大改进。

In this paper we present a novel multi-attribute face manipulation method based on textual descriptions. Previous text-based image editing methods either require test-time optimization for each individual image or are restricted to single attribute editing. Extending these methods to multi-attribute face image editing scenarios will introduce undesired excessive attribute change, e.g., text-relevant attributes are overly manipulated and text-irrelevant attributes are also changed. In order to address these challenges and achieve natural editing over multiple face attributes, we propose a new decoupling training scheme where we use group sampling to get text segments from same attribute categories, instead of whole complex sentences. Further, to preserve other existing face attributes, we encourage the model to edit the latent code of each attribute separately via an entropy constraint. During the inference phase, our model is able to edit new face images without any test-time optimization, even from complex textual prompts. We show extensive experiments and analysis to demonstrate the efficacy of our method, which generates natural manipulated faces with minimal text-irrelevant attribute editing. Code and pre-trained model will be released.

文本对图像模型提供了前所未有的自由，可以通过自然语言指导创作。然而，尚不清楚如何行使这种自由以生成特定独特概念，修改其外观或以新角色和新颖场景构成它们的图像。换句话说，我们问：我们如何使用语言指导的模型将猫变成绘画，或者想象基于我们喜欢的玩具的新产品？在这里，我们提出了一种简单的方法，可以允许这种创造性自由。我们仅使用3-5个用户提供的概念（例如对象或样式）的图像，我们学会通过在冷冻文本到图像模型的嵌入空间中通过新的“单词”表示它。这些“单词”可以组成自然语言句子，以直观的方式指导个性化的创作。值得注意的是，我们发现有证据表明单词嵌入足以捕获独特而多样的概念。我们将我们的方法比较了各种基线，并证明它可以更忠实地描绘出一系列应用程序和任务的概念。我们的代码，数据和新单词将在以下网址提供：https：//textual-inversion.github.io

随着信息中的各种方式存在于现实世界中的各种方式，多式联信息之间的有效互动和融合在计算机视觉和深度学习研究中的多模式数据的创造和感知中起着关键作用。通过卓越的功率，在多式联运信息中建模互动，多式联运图像合成和编辑近年来已成为一个热门研究主题。与传统的视觉指导不同，提供明确的线索，多式联路指南在图像合成和编辑方面提供直观和灵活的手段。另一方面，该领域也面临着具有固有的模态差距的特征的几个挑战，高分辨率图像的合成，忠实的评估度量等。在本调查中，我们全面地阐述了最近多式联运图像综合的进展根据数据模型和模型架构编辑和制定分类。我们从图像合成和编辑中的不同类型的引导方式开始介绍。然后，我们描述了多模式图像综合和编辑方法，其具有详细的框架，包括生成的对抗网络（GAN），GaN反转，变压器和其他方法，例如NERF和扩散模型。其次是在多模式图像合成和编辑中广泛采用的基准数据集和相应的评估度量的综合描述，以及分析各个优点和限制的不同合成方法的详细比较。最后，我们为目前的研究挑战和未来的研究方向提供了深入了解。与本调查相关的项目可在HTTPS://github.com/fnzhan/mise上获得

我们研究了联合视频和语言（VL）预培训，以实现跨模型学习和益处丰富的下游VL任务。现有的作品要么提取低质量的视频特征或学习有限的文本嵌入，但忽略了高分辨率视频和多样化的语义可以显着提高跨模型学习。在本文中，我们提出了一种新的高分辨率和多样化的视频 - 语言预训练模型（HD-VILA），用于许多可视任务。特别是，我们收集具有两个不同属性的大型数据集：1）第一个高分辨率数据集包括371.5k小时的720p视频，2）最多样化的数据集涵盖15个流行的YouTube类别。为了启用VL预培训，我们通过学习丰富的时空特征的混合变压器联合优化HD-VILA模型，以及多峰变压器，用于强制学习视频功能与多样化文本的交互。我们的预训练模式实现了新的最先进的导致10 VL了解任务和2个新颖的文本到视觉生成任务。例如，我们以零拍摄MSR-VTT文本到视频检索任务的相对增加38.5％R @ 1的相对增长，高分辨率数据集LSMDC为53.6％。学习的VL嵌入也有效地在文本到视觉操纵和超分辨率任务中产生视觉上令人愉悦和语义相关结果。

Our goal with this survey is to provide an overview of the state of the art deep learning technologies for face generation and editing. We will cover popular latest architectures and discuss key ideas that make them work, such as inversion, latent representation, loss functions, training procedures, editing methods, and cross domain style transfer. We particularly focus on GAN-based architectures that have culminated in the StyleGAN approaches, which allow generation of high-quality face images and offer rich interfaces for controllable semantics editing and preserving photo quality. We aim to provide an entry point into the field for readers that have basic knowledge about the field of deep learning and are looking for an accessible introduction and overview.

现有的神经样式传输方法需要参考样式图像来将样式图像的纹理信息传输到内容图像。然而，在许多实际情况中，用户可能没有参考样式图像，但仍然有兴趣通过想象它们来传输样式。为了处理此类应用程序，我们提出了一个新的框架，它可以实现样式转移`没有'风格图像，但仅使用所需风格的文本描述。使用预先训练的文本图像嵌入模型的剪辑，我们仅通过单个文本条件展示了内容图像样式的调制。具体而言，我们提出了一种针对现实纹理传输的多视图增强的修补程序文本图像匹配丢失。广泛的实验结果证实了具有反映语义查询文本的现实纹理的成功图像风格转移。