关于语言引导的图像操纵的最新作品在提供丰富的语义方面表现出了极大的语言力量，尤其是对于面部图像。但是，语言中的其他自然信息，动作的探索较少。在本文中，我们利用运动信息并研究一项新颖的任务，语言引导的面部动画，旨在在语言的帮助下对静态面部图像进行动画。为了更好地利用语言的语义和动作，我们提出了一个简单而有效的框架。具体而言，我们提出了一个经常性运动生成器，以从语言中提取一系列语义和运动信息，并将其与视觉信息一起提供给预训练的样式，以生成高质量的帧。为了优化所提出的框架，提出了三个精心设计的损失功能，包括保持面部身份的正规化损失，路径长度正规化损失以确保运动平滑度和对比度损失，以在一个模型中使用各种语言指导启用视频综合。对不同领域的定性和定量评估进行了广泛的实验（\ textit {ef。语。代码将在https://github.com/tiankaihang/language-guided-animation.git上找到。

In this work, we propose TediGAN, a novel framework for multi-modal image generation and manipulation with textual descriptions. The proposed method consists of three components: StyleGAN inversion module, visual-linguistic similarity learning, and instance-level optimization. The inversion module maps real images to the latent space of a well-trained StyleGAN. The visual-linguistic similarity learns the text-image matching by mapping the image and text into a common embedding space. The instancelevel optimization is for identity preservation in manipulation. Our model can produce diverse and high-quality images with an unprecedented resolution at 1024 2 . Using a control mechanism based on style-mixing, our Tedi-GAN inherently supports image synthesis with multi-modal inputs, such as sketches or semantic labels, with or without instance guidance. To facilitate text-guided multimodal synthesis, we propose the Multi-Modal CelebA-HQ, a large-scale dataset consisting of real face images and corresponding semantic segmentation map, sketch, and textual descriptions. Extensive experiments on the introduced dataset demonstrate the superior performance of our proposed method. Code and data are available at https://github.com/weihaox/TediGAN.

Stylegan最近的成功表明，预训练的Stylegan潜在空间对现实的视频生成很有用。但是，由于难以确定stylegan潜在空间的方向和幅度，因此视频中产生的运动通常在语义上没有意义。在本文中，我们提出了一个框架来通过利用多模式（声音图像文本）嵌入空间来生成现实视频。由于声音提供了场景的时间上下文，因此我们的框架学会了生成与声音一致的视频。首先，我们的声音反演模块将音频直接映射到Stylegan潜在空间中。然后，我们结合了基于夹子的多模式嵌入空间，以进一步提供视听关系。最后，提出的帧发电机学会在潜在空间中找到轨迹，该空间与相应的声音相干，并以层次结构方式生成视频。我们为声音引导的视频生成任务提供新的高分辨率景观视频数据集（视听对）。实验表明，我们的模型在视频质量方面优于最新方法。我们进一步显示了几种应用程序，包括图像和视频编辑，以验证我们方法的有效性。

In this work, we are dedicated to text-guided image generation and propose a novel framework, i.e., CLIP2GAN, by leveraging CLIP model and StyleGAN. The key idea of our CLIP2GAN is to bridge the output feature embedding space of CLIP and the input latent space of StyleGAN, which is realized by introducing a mapping network. In the training stage, we encode an image with CLIP and map the output feature to a latent code, which is further used to reconstruct the image. In this way, the mapping network is optimized in a self-supervised learning way. In the inference stage, since CLIP can embed both image and text into a shared feature embedding space, we replace CLIP image encoder in the training architecture with CLIP text encoder, while keeping the following mapping network as well as StyleGAN model. As a result, we can flexibly input a text description to generate an image. Moreover, by simply adding mapped text features of an attribute to a mapped CLIP image feature, we can effectively edit the attribute to the image. Extensive experiments demonstrate the superior performance of our proposed CLIP2GAN compared to previous methods.

可以训练生成模型，以从特定域中生成图像，仅由文本提示引导，而不看到任何图像？换句话说：可以将图像生成器“盲目地训练”吗？利用大规模对比语言图像预训练（CLIP）模型的语义力量，我们提出了一种文本驱动方法，允许将生成模型转移到新域，而无需收集单个图像。我们展示通过自然语言提示和几分钟的培训，我们的方法可以通过各种风格和形状的多种域调整发电机。值得注意的是，许多这些修改难以与现有方法达到困难或完全不可能。我们在广泛的域中进行了广泛的实验和比较。这些证明了我们方法的有效性，并表明我们的移动模型保持了对下游任务吸引的生成模型的潜在空间属性。

随着信息中的各种方式存在于现实世界中的各种方式，多式联信息之间的有效互动和融合在计算机视觉和深度学习研究中的多模式数据的创造和感知中起着关键作用。通过卓越的功率，在多式联运信息中建模互动，多式联运图像合成和编辑近年来已成为一个热门研究主题。与传统的视觉指导不同，提供明确的线索，多式联路指南在图像合成和编辑方面提供直观和灵活的手段。另一方面，该领域也面临着具有固有的模态差距的特征的几个挑战，高分辨率图像的合成，忠实的评估度量等。在本调查中，我们全面地阐述了最近多式联运图像综合的进展根据数据模型和模型架构编辑和制定分类。我们从图像合成和编辑中的不同类型的引导方式开始介绍。然后，我们描述了多模式图像综合和编辑方法，其具有详细的框架，包括生成的对抗网络（GAN），GaN反转，变压器和其他方法，例如NERF和扩散模型。其次是在多模式图像合成和编辑中广泛采用的基准数据集和相应的评估度量的综合描述，以及分析各个优点和限制的不同合成方法的详细比较。最后，我们为目前的研究挑战和未来的研究方向提供了深入了解。与本调查相关的项目可在HTTPS://github.com/fnzhan/mise上获得

利用Stylegan的表现力及其分离的潜在代码，现有方法可以实现对不同视觉属性的现实编辑，例如年龄和面部图像的性别。出现了一个有趣而又具有挑战性的问题：生成模型能否针对他们博学的先验进行反事实编辑？由于自然数据集中缺乏反事实样本，我们以文本驱动的方式研究了这个问题，并具有对比语言图像预言（剪辑），这些（剪辑）甚至可以为各种反事实概念提供丰富的语义知识。与内域操作不同，反事实操作需要更全面地剥削夹包含的语义知识，以及对编辑方向的更微妙的处理，以避免被卡在局部最低或不需要的编辑中。为此，我们设计了一种新颖的对比损失，该损失利用了预定义的夹子空间方向，从不同的角度将编辑指向所需的方向。此外，我们设计了一个简单而有效的方案，该方案将（目标文本）明确映射到潜在空间，并将其与潜在代码融合在一起，以进行有效的潜在代码优化和准确的编辑。广泛的实验表明，我们的设计在乘坐各种反事实概念的目标文本驾驶时，可以实现准确，现实的编辑。

最近的成功表明，可以通过文本提示来操纵图像，例如，在雨天的晴天，在雨天中被操纵到同一场景中，这是由文本输入“下雨”驱动的雨天。这些方法经常利用基于样式的图像生成器，该生成器利用多模式（文本和图像）嵌入空间。但是，我们观察到，这种文本输入通常在提供和综合丰富的语义提示时被瓶颈瓶颈，例如将大雨与雨雨区分开。为了解决这个问题，我们主张利用另一种方式，声音，在图像操纵中具有显着优势，因为它可以传达出比文本更多样化的语义提示（生动的情感或自然世界的动态表达）。在本文中，我们提出了一种新颖的方法，该方法首先使用声音扩展了图像文本接头嵌入空间，并应用了一种直接的潜在优化方法来根据音频输入（例如雨的声音）操纵给定的图像。我们的广泛实验表明，我们的声音引导的图像操纵方法在语义和视觉上比最先进的文本和声音引导的图像操纵方法产生更合理的操作结果，这通过我们的人类评估进一步证实。我们的下游任务评估还表明，我们学到的图像文本单嵌入空间有效地编码声音输入。

我们研究了联合视频和语言（VL）预培训，以实现跨模型学习和益处丰富的下游VL任务。现有的作品要么提取低质量的视频特征或学习有限的文本嵌入，但忽略了高分辨率视频和多样化的语义可以显着提高跨模型学习。在本文中，我们提出了一种新的高分辨率和多样化的视频 - 语言预训练模型（HD-VILA），用于许多可视任务。特别是，我们收集具有两个不同属性的大型数据集：1）第一个高分辨率数据集包括371.5k小时的720p视频，2）最多样化的数据集涵盖15个流行的YouTube类别。为了启用VL预培训，我们通过学习丰富的时空特征的混合变压器联合优化HD-VILA模型，以及多峰变压器，用于强制学习视频功能与多样化文本的交互。我们的预训练模式实现了新的最先进的导致10 VL了解任务和2个新颖的文本到视觉生成任务。例如，我们以零拍摄MSR-VTT文本到视频检索任务的相对增加38.5％R @ 1的相对增长，高分辨率数据集LSMDC为53.6％。学习的VL嵌入也有效地在文本到视觉操纵和超分辨率任务中产生视觉上令人愉悦和语义相关结果。

最近的生成模型的成功表明，利用多模态嵌入空间可以使用文本信息操纵图像。然而，由于源的动态特性，使用其他来源而不是声音的文本来操纵图像，而不是声音，并不容易。特别是，声音可以传达真实世界的生动情感和动态表达。在这里，我们提出了一个框架，该框架将声音直接编码为多模态（图像文本）嵌入空间，并从空间操纵图像。我们的音频编码器受过培训以产生来自音频输入的潜在表示，该音频输入被强制与多模式嵌入空间中的图像和文本表示对齐。我们使用基于对齐的嵌入式的直接潜在优化方法进行声音引导图像操纵。我们还表明，我们的方法可以混合文本和音频模态，这丰富了各种图像修改。我们验证了定量和定性的声音引导图像操纵的有效性。我们还表明，我们的方法可以混合不同的模态，即文本和音频，这丰富了图像修改的各种。零射频分类和语义级图像分类的实验表明，我们所提出的模型优于其他文本和声音引导最先进的方法。

我们提出了快速的文本2stylegan，这是一种自然语言界面，可适应预先训练的甘体，以实现文本引导的人脸合成。利用对比性语言图像预训练（剪辑）的最新进展，在培训过程中不需要文本数据。Fast Text2Stylegan被配制为条件变异自动编码器（CVAE），可在测试时为生成的图像提供额外的控制和多样性。我们的模型在遇到新的文本提示时不需要重新训练或微调剂或剪辑。与先前的工作相反，我们不依赖于测试时间的优化，这使我们的方法数量级比先前的工作快。从经验上讲，在FFHQ数据集上，我们的方法提供了与先前的工作相比，自然语言描述中具有不同详细程度的自然语言描述中的图像。

Stone" "Mohawk hairstyle" "Without makeup" "Cute cat" "Lion" "Gothic church" * Equal contribution, ordered alphabetically. Code and video are available on https://github.com/orpatashnik/StyleCLIP

AI Illustrator旨在自动设计具有视觉吸引力的图像，以激发丰富的思想和情感。为了实现这一目标，我们提出了一个框架，将具有复杂语义的原始描述转换为语义相应的图像。主要的挑战在于原始描述语义的复杂性，可能很难可视化（\ textit {e}。通常，它对现有方法构成了处理此类描述的挑战。为了解决这个问题，我们建议基于rompt \ textbf {c} ross- \ textbf {m} odal generation \ textbf {frame} work（pcm-frame）利用两个强大的预培养模型，，包括剪辑和Stylegan。我们的框架由两个组件组成：\ textIt {textIt嵌入} s到\ textit {image嵌入} s的投影模块，基于提示以及一个构建的适应图像生成模块，该模块构建了\ textit {image嵌入{image Embedding} s作为输入并受到共同语义一致性损失的训练。为了弥合现实图像和插图设计之间的差距，我们进一步采用了风格化模型作为后处理，以获得更好的视觉效果。受益于预先训练的模型，我们的方法可以处理复杂的描述，并且不需要外部配对数据进行培训。此外，我们已经建立了一个由200个原始描述组成的基准。我们进行了一项用户研究，以证明我们对复杂文本的竞争方法的优势。我们在https://github.com/researchmm/ai \ _illustrator} {https://github.com/researchmem/researchmm/ai \_illustrator上发布代码

头发编辑是计算机视觉和图形中有趣和挑战的问题。许多现有方法需要粗略的草图或掩码作为用于编辑的条件输入，但是这些交互既不直接也不高效。为了从繁琐的相互作用过程中获取用户，本文提出了一种新的头发编辑交互模式，其能够基于用户提供的文本或参考图像单独地或共同地操纵头发属性。为此目的，我们通过利用对比语言图像预训练（剪辑）模型的强大图像文本表示能力来编码共享嵌入空间中的图像和文本条件，并提出统一的头发编辑框架。通过精心设计的网络结构和丢失功能，我们的框架可以以脱谕方式执行高质量的头发编辑。广泛的实验在操纵准确性，编辑结果的视觉现实主义和无关的属性保存方面表现出我们的方法的优越性。项目repo是https://github.com/wty-ustc/hairclip。

在计算机视觉和图形社区中，长期以来，现实的生成面部视频综合一直是追求。但是，现有的视频生成方法倾向于产生具有漂移的面部身份和不自然运动的低质量框架。为了应对这些挑战，我们提出了一个名为stylefacev的原则框架，该框架生产具有生动动作的高保真身份的面部视频。我们的核心洞察力是分解外观并构成信息，并在StyleGan3的潜在空间中重新组装它们，以产生稳定而动态的结果。具体而言，stylegan3为高保真的面部图像生成提供了强大的先验，但潜在空间本质上是纠缠的。通过仔细检查其潜在特性，我们提出了分解和重组设计，从而可以使面部外观和运动的结合结合在一起。此外，依赖时间依赖的模型是建立在分解的潜在特征的基础上的，并示例了能够生成现实且具有时间连贯的面部视频的合理运动序列。特别是，我们的管道对静态图像和高质量视频数据的联合培训策略进行了培训，该策略具有更高的数据效率。广泛的实验表明，我们的框架可以在定性和定量上实现最先进的视频生成。值得注意的是，即使没有高分辨率培训视频，StyleFacev也能够生成现实$ 1024 \ times1024 $面对视频。

由于其语义上的理解和用户友好的可控性，通过三维引导，通过三维引导的面部图像操纵已广泛应用于各种交互式场景。然而，现有的基于3D形式模型的操作方法不可直接适用于域名面，例如非黑色素化绘画，卡通肖像，甚至是动物，主要是由于构建每个模型的强大困难具体面部域。为了克服这一挑战，据我们所知，我们建议使用人为3DMM操纵任意域名的第一种方法。这是通过两个主要步骤实现的：1）从3DMM参数解开映射到潜在的STYLEGO2的潜在空间嵌入，可确保每个语义属性的解除响应和精确的控制; 2）通过实施一致的潜空间嵌入，桥接域差异并使人类3DMM适用于域外面的人类3DMM。实验和比较展示了我们高质量的语义操作方法在各种面部域中的优越性，所有主要3D面部属性可控姿势，表达，形状，反照镜和照明。此外，我们开发了直观的编辑界面，以支持用户友好的控制和即时反馈。我们的项目页面是https://cassiepython.github.io/cddfm3d/index.html

在本文中，我们解决了神经面部重演的问题，鉴于一对源和目标面部图像，我们需要通过将目标的姿势（定义为头部姿势及其面部表情定义）通过同时保留源的身份特征（例如面部形状，发型等），即使在源头和目标面属于不同身份的挑战性情况下也是如此。在此过程中，我们解决了最先进作品的一些局限在推理期间标记的数据以及c）它们不保留大型头部姿势变化中的身份。更具体地说，我们提出了一个框架，该框架使用未配对的随机生成的面部图像学会通过合并最近引入的样式空间$ \ Mathcal $ \ Mathcal {S} $ of Stylegan2的姿势，以将面部的身份特征从其姿势中解脱出来表现出显着的分解特性。通过利用这一点，我们学会使用3D模型的监督成功地混合了一对源和目标样式代码。随后用于重新制定的最终潜在代码由仅与源的面部姿势相对应的潜在单位和仅与源身份相对应的单位组成，从而显着改善了与最近的状态性能相比的重新制定性能。艺术方法。与艺术的状态相比，我们定量和定性地表明，即使在极端的姿势变化下，提出的方法也会产生更高的质量结果。最后，我们通过首先将它们嵌入预告片发电机的潜在空间来报告实际图像。我们在：https：//github.com/stelabou/stylemask上公开提供代码和预估计的模型

Recent advances in generative adversarial networks (GANs) have demonstrated the capabilities of generating stunning photo-realistic portrait images. While some prior works have applied such image GANs to unconditional 2D portrait video generation and static 3D portrait synthesis, there are few works successfully extending GANs for generating 3D-aware portrait videos. In this work, we propose PV3D, the first generative framework that can synthesize multi-view consistent portrait videos. Specifically, our method extends the recent static 3D-aware image GAN to the video domain by generalizing the 3D implicit neural representation to model the spatio-temporal space. To introduce motion dynamics to the generation process, we develop a motion generator by stacking multiple motion layers to generate motion features via modulated convolution. To alleviate motion ambiguities caused by camera/human motions, we propose a simple yet effective camera condition strategy for PV3D, enabling both temporal and multi-view consistent video generation. Moreover, PV3D introduces two discriminators for regularizing the spatial and temporal domains to ensure the plausibility of the generated portrait videos. These elaborated designs enable PV3D to generate 3D-aware motion-plausible portrait videos with high-quality appearance and geometry, significantly outperforming prior works. As a result, PV3D is able to support many downstream applications such as animating static portraits and view-consistent video motion editing. Code and models will be released at https://showlab.github.io/pv3d.

可控图像合成模型允许根据文本指令或来自示例图像的指导创建不同的图像。最近，已经显示出去噪扩散概率模型比现有方法产生更现实的图像，并且已在无条件和类条件设置中成功展示。我们探索细粒度，连续控制该模型类，并引入了一种新颖的统一框架，用于语义扩散指导，允许语言或图像指导，或两者。使用图像文本或图像匹配分数的梯度将指导注入预训练的无条件扩散模型中。我们探讨基于剪辑的文本指导，以及以统一形式的基于内容和类型的图像指导。我们的文本引导综合方法可以应用于没有相关文本注释的数据集。我们对FFHQ和LSUN数据集进行实验，并显示出细粒度的文本引导图像合成的结果，与样式或内容示例图像相关的图像的合成，以及具有文本和图像引导的示例。

We propose ClipFace, a novel self-supervised approach for text-guided editing of textured 3D morphable model of faces. Specifically, we employ user-friendly language prompts to enable control of the expressions as well as appearance of 3D faces. We leverage the geometric expressiveness of 3D morphable models, which inherently possess limited controllability and texture expressivity, and develop a self-supervised generative model to jointly synthesize expressive, textured, and articulated faces in 3D. We enable high-quality texture generation for 3D faces by adversarial self-supervised training, guided by differentiable rendering against collections of real RGB images. Controllable editing and manipulation are given by language prompts to adapt texture and expression of the 3D morphable model. To this end, we propose a neural network that predicts both texture and expression latent codes of the morphable model. Our model is trained in a self-supervised fashion by exploiting differentiable rendering and losses based on a pre-trained CLIP model. Once trained, our model jointly predicts face textures in UV-space, along with expression parameters to capture both geometry and texture changes in facial expressions in a single forward pass. We further show the applicability of our method to generate temporally changing textures for a given animation sequence.