现有的神经样式传输方法需要参考样式图像来将样式图像的纹理信息传输到内容图像。然而，在许多实际情况中，用户可能没有参考样式图像，但仍然有兴趣通过想象它们来传输样式。为了处理此类应用程序，我们提出了一个新的框架，它可以实现样式转移`没有'风格图像，但仅使用所需风格的文本描述。使用预先训练的文本图像嵌入模型的剪辑，我们仅通过单个文本条件展示了内容图像样式的调制。具体而言，我们提出了一种针对现实纹理传输的多视图增强的修补程序文本图像匹配丢失。广泛的实验结果证实了具有反映语义查询文本的现实纹理的成功图像风格转移。

回想一下，大多数当前图像样式转移方法要求用户给出特定样式的图像，然后提取该样式功能和纹理以生成图像的样式，但仍然存在一些问题：用户可能没有一个参考样式图像，或者很难用一个图像总结所需的样式。最近提议的夹板解决了此问题，该问题仅根据提供的样式图像的描述来执行样式转移。尽管当景观或肖像单独出现时，ClipStyler可以取得良好的性能，但它可能会模糊人民并在人和风景共存时失去原始语义。基于这些问题，我们演示了一个新颖的框架，该框架使用了预训练的剪辑文本图像嵌入模型，并通过FCN语义分割网络指导图像样式传输。具体而言，我们解决了与人类主题相机的自拍照和现实世界的肖像过度风格的问题，增强了肖像和景观风格转移效果之间的对比，并使不同语义部分的图像风格转移程度完全可控。我们的生成工匠解决了夹具的失败案例，并产生定性和定量方法，以证明我们在自拍照和人类受试者照片中的自拍照和现实世界景观中的剪贴画的结果要好得多。这种改进使我们可以将我们的业务场景框架（例如修饰图形软件）进行商业化。

STYLE TRANSED引起了大量的关注，因为它可以在保留图像结构的同时将给定图像更改为一个壮观的艺术风格。然而，常规方法容易丢失图像细节，并且在风格转移期间倾向于产生令人不快的伪影。在本文中，为了解决这些问题，提出了一种具有目标特征调色板的新颖艺术程式化方法，可以准确地传递关键特征。具体而言，我们的方法包含两个模块，即特征调色板组成（FPC）和注意着色（AC）模块。 FPC模块基于K-means群集捕获代表特征，并生成特征目标调色板。以下AC模块计算内容和样式图像之间的注意力映射，并根据注意力映射和目标调色板传输颜色和模式。这些模块使提出的程式化能够专注于关键功能并生成合理的传输图像。因此，所提出的方法的贡献是提出一种新的深度学习的样式转移方法和当前目标特征调色板和注意着色模块，并通过详尽的消融研究提供对所提出的方法的深入分析和洞察。定性和定量结果表明，我们的程式化图像具有最先进的性能，具有保护核心结构和内容图像的细节。

Gatys et al. recently introduced a neural algorithm that renders a content image in the style of another image, achieving so-called style transfer. However, their framework requires a slow iterative optimization process, which limits its practical application. Fast approximations with feed-forward neural networks have been proposed to speed up neural style transfer. Unfortunately, the speed improvement comes at a cost: the network is usually tied to a fixed set of styles and cannot adapt to arbitrary new styles. In this paper, we present a simple yet effective approach that for the first time enables arbitrary style transfer in real-time. At the heart of our method is a novel adaptive instance normalization (AdaIN) layer that aligns the mean and variance of the content features with those of the style features. Our method achieves speed comparable to the fastest existing approach, without the restriction to a pre-defined set of styles. In addition, our approach allows flexible user controls such as content-style trade-off, style interpolation, color & spatial controls, all using a single feed-forward neural network.

Considerable progress has recently been made in leveraging CLIP (Contrastive Language-Image Pre-Training) models for text-guided image manipulation. However, all existing works rely on additional generative models to ensure the quality of results, because CLIP alone cannot provide enough guidance information for fine-scale pixel-level changes. In this paper, we introduce CLIPVG, a text-guided image manipulation framework using differentiable vector graphics, which is also the first CLIP-based general image manipulation framework that does not require any additional generative models. We demonstrate that CLIPVG can not only achieve state-of-art performance in both semantic correctness and synthesis quality, but also is flexible enough to support various applications far beyond the capability of all existing methods.

As a powerful representation of 3D scenes, the neural radiance field (NeRF) enables high-quality novel view synthesis from multi-view images. Stylizing NeRF, however, remains challenging, especially on simulating a text-guided style with both the appearance and the geometry altered simultaneously. In this paper, we present NeRF-Art, a text-guided NeRF stylization approach that manipulates the style of a pre-trained NeRF model with a simple text prompt. Unlike previous approaches that either lack sufficient geometry deformations and texture details or require meshes to guide the stylization, our method can shift a 3D scene to the target style characterized by desired geometry and appearance variations without any mesh guidance. This is achieved by introducing a novel global-local contrastive learning strategy, combined with the directional constraint to simultaneously control both the trajectory and the strength of the target style. Moreover, we adopt a weight regularization method to effectively suppress cloudy artifacts and geometry noises which arise easily when the density field is transformed during geometry stylization. Through extensive experiments on various styles, we demonstrate that our method is effective and robust regarding both single-view stylization quality and cross-view consistency. The code and more results can be found in our project page: https://cassiepython.github.io/nerfart/.

任意样式转移生成了艺术图像，该图像仅使用一个训练有素的网络结合了内容图像的结构和艺术风格的结合。此方法中使用的图像表示包含内容结构表示和样式模式表示形式，这通常是预训练的分类网络中高级表示的特征表示。但是，传统的分类网络是为分类而设计的，该分类通常集中在高级功能上并忽略其他功能。结果，风格化的图像在整个图像中均匀地分布了样式元素，并使整体图像结构无法识别。为了解决这个问题，我们通过结合全球和局部损失，引入了一种新型的任意风格转移方法，并通过结构增强。局部结构细节由LapStyle表示，全局结构由图像深度控制。实验结果表明，与其他最新方法相比，我们的方法可以在几个常见数据集中生成具有令人印象深刻的视觉效果的更高质量图像。

利用Stylegan的表现力及其分离的潜在代码，现有方法可以实现对不同视觉属性的现实编辑，例如年龄和面部图像的性别。出现了一个有趣而又具有挑战性的问题：生成模型能否针对他们博学的先验进行反事实编辑？由于自然数据集中缺乏反事实样本，我们以文本驱动的方式研究了这个问题，并具有对比语言图像预言（剪辑），这些（剪辑）甚至可以为各种反事实概念提供丰富的语义知识。与内域操作不同，反事实操作需要更全面地剥削夹包含的语义知识，以及对编辑方向的更微妙的处理，以避免被卡在局部最低或不需要的编辑中。为此，我们设计了一种新颖的对比损失，该损失利用了预定义的夹子空间方向，从不同的角度将编辑指向所需的方向。此外，我们设计了一个简单而有效的方案，该方案将（目标文本）明确映射到潜在空间，并将其与潜在代码融合在一起，以进行有效的潜在代码优化和准确的编辑。广泛的实验表明，我们的设计在乘坐各种反事实概念的目标文本驾驶时，可以实现准确，现实的编辑。

本文的目标是对面部素描合成（FSS）问题进行全面的研究。然而，由于获得了手绘草图数据集的高成本，因此缺乏完整的基准，用于评估过去十年的FSS算法的开发。因此，我们首先向FSS引入高质量的数据集，名为FS2K，其中包括2,104个图像素描对，跨越三种类型的草图样式，图像背景，照明条件，肤色和面部属性。 FS2K与以前的FSS数据集不同于难度，多样性和可扩展性，因此应促进FSS研究的进展。其次，我们通过调查139种古典方法，包括34个手工特征的面部素描合成方法，37个一般的神经式传输方法，43个深映像到图像翻译方法，以及35个图像 - 素描方法。此外，我们详细说明了现有的19个尖端模型的综合实验。第三，我们为FSS提供了一个简单的基准，名为FSGAN。只有两个直截了当的组件，即面部感知屏蔽和风格矢量扩展，FSGAN将超越所提出的FS2K数据集的所有先前最先进模型的性能，通过大边距。最后，我们在过去几年中汲取的经验教训，并指出了几个未解决的挑战。我们的开源代码可在https://github.com/dengpingfan/fsgan中获得。

生成高质量的艺术肖像视频是计算机图形和愿景中的一项重要且理想的任务。尽管已经提出了一系列成功的肖像图像图像模型模型，但这些面向图像的方法在应用于视频（例如固定框架尺寸，面部对齐的要求，缺失的非种族细节和缺失的非种族细节和缺失的要求）时，具有明显的限制。时间不一致。在这项工作中，我们通过引入一个新颖的Vtoonify框架来研究具有挑战性的可控高分辨率肖像视频风格转移。具体而言，Vtoonify利用了Stylegan的中高分辨率层，以基于编码器提取的多尺度内容功能来渲染高质量的艺术肖像，以更好地保留框架细节。由此产生的完全卷积体系结构接受可变大小的视频中的非对齐面孔作为输入，从而有助于完整的面部区域，并在输出中自然动作。我们的框架与现有的基于Stylegan的图像图像模型兼容，以将其扩展到视频化，并继承了这些模型的吸引力，以进行柔性风格控制颜色和强度。这项工作分别为基于收藏和基于示例的肖像视频风格转移而建立在Toonify和DualStylegan的基于Toonify和Dualstylegan的Vtoonify的两个实例化。广泛的实验结果证明了我们提出的VTOONIFY框架对现有方法的有效性在生成具有灵活风格控件的高质量和临时艺术肖像视频方面的有效性。

我们提出了一种将任意样式图像的艺术特征转移到3D场景的方法。在点云或网格上执行3D风格的先前方法对复杂的现实世界场景的几何重建错误敏感。取而代之的是，我们建议对更健壮的辐射场字段表示。我们发现，常用的基于克矩阵的损失倾向于在没有忠实笔触的情况下产生模糊的结果，并引入了最近的基于邻居的损失，该损失非常有效地捕获样式的细节，同时保持多视图一致性。我们还提出了一种新颖的递延后传播方法，以使用在全分辨率渲染图像上定义的样式损失来优化记忆密集型辐射场。我们广泛的评估表明，我们的方法通过产生与样式图像更相似的艺术外观来优于基线。请检查我们的项目页面以获取视频结果和开源实现：https：//www.cs.cornell.edu/projects/arf/。

最近的研究表明，通用风格转移的成功取得了巨大的成功，将任意视觉样式转移到内容图像中。但是，现有的方法遭受了审美的非现实主义问题，该问题引入了不和谐的模式和明显的人工制品，从而使结果很容易从真实的绘画中发现。为了解决这一限制，我们提出了一种新颖的美学增强风格转移方法，可以在美学上为任意风格产生更现实和令人愉悦的结果。具体而言，我们的方法引入了一种审美歧视者，以从大量的艺术家创造的绘画中学习通用的人类自愿美学特征。然后，合并了美学特征，以通过新颖的美学感知样式（AESSA）模块来增强样式转移过程。这样的AESSA模块使我们的Aesust能够根据样式图像的全局美学通道分布和内容图像的局部语义空间分布有效而灵活地集成样式模式。此外，我们还开发了一种新的两阶段转移培训策略，并通过两种审美正规化来更有效地训练我们的模型，从而进一步改善风格化的性能。广泛的实验和用户研究表明，我们的方法比艺术的状态综合了美学上更加和谐和现实的结果，从而大大缩小了真正的艺术家创造的绘画的差异。我们的代码可在https://github.com/endywon/aesust上找到。

Our goal with this survey is to provide an overview of the state of the art deep learning technologies for face generation and editing. We will cover popular latest architectures and discuss key ideas that make them work, such as inversion, latent representation, loss functions, training procedures, editing methods, and cross domain style transfer. We particularly focus on GAN-based architectures that have culminated in the StyleGAN approaches, which allow generation of high-quality face images and offer rich interfaces for controllable semantics editing and preserving photo quality. We aim to provide an entry point into the field for readers that have basic knowledge about the field of deep learning and are looking for an accessible introduction and overview.

我们呈现SeveryGan，一种能够从单个输入示例自动生成砖纹理映射的方法。与大多数现有方法相比，专注于解决合成问题，我们的工作同时解决问题，合成和涤纶性。我们的关键思想是认识到，通过越野落扩展技术训练的生成网络内的潜伏空间产生具有在接缝交叉点的连续性的输出，然后可以通过裁剪中心区域进入彩色图像。由于不是潜在空间的每个值都有有效的来产生高质量的输出，因此我们利用鉴别者作为能够在采样过程中识别无伪纹理的感知误差度量。此外，与之前的深度纹理合成的工作相比，我们的模型设计和优化，以便使用多层纹理表示，使由多个地图组成的纹理，例如Albedo，法线等。我们广泛地测试网络的设计选择架构，丢失功能和采样参数。我们在定性和定量上展示我们的方法优于以前的方法和适用于不同类型的纹理。

我们提出Hypernst；基于超网络和stylegan2体系结构的图像艺术风格的神经风格转移（NST）技术。我们的贡献是一种新颖的方法，用于诱导通过度量空间进行参数化的样式转移，并预先训练基于样式的视觉搜索（SBV）。我们首次证明可以使用此类空间来驱动NST，从而从SBVS系统中启用样式的应用程序和插值。技术贡献是一个超网络，可以预测对型号的stylegan2的重量更新，而在各种各样的艺术内容（肖像）上，可以使用面部区域的语义图在每个区域量身定制样式参数化。我们在保留良好的风格转移性能的同时，在内容保存方面显示了超越最高的内容。

最近的生成模型的成功表明，利用多模态嵌入空间可以使用文本信息操纵图像。然而，由于源的动态特性，使用其他来源而不是声音的文本来操纵图像，而不是声音，并不容易。特别是，声音可以传达真实世界的生动情感和动态表达。在这里，我们提出了一个框架，该框架将声音直接编码为多模态（图像文本）嵌入空间，并从空间操纵图像。我们的音频编码器受过培训以产生来自音频输入的潜在表示，该音频输入被强制与多模式嵌入空间中的图像和文本表示对齐。我们使用基于对齐的嵌入式的直接潜在优化方法进行声音引导图像操纵。我们还表明，我们的方法可以混合文本和音频模态，这丰富了各种图像修改。我们验证了定量和定性的声音引导图像操纵的有效性。我们还表明，我们的方法可以混合不同的模态，即文本和音频，这丰富了图像修改的各种。零射频分类和语义级图像分类的实验表明，我们所提出的模型优于其他文本和声音引导最先进的方法。

We propose an efficient algorithm to embed a given image into the latent space of StyleGAN. This embedding enables semantic image editing operations that can be applied to existing photographs. Taking the StyleGAN trained on the FFHQ dataset as an example, we show results for image morphing, style transfer, and expression transfer. Studying the results of the embedding algorithm provides valuable insights into the structure of the StyleGAN latent space. We propose a set of experiments to test what class of images can be embedded, how they are embedded, what latent space is suitable for embedding, and if the embedding is semantically meaningful.

Stone" "Mohawk hairstyle" "Without makeup" "Cute cat" "Lion" "Gothic church" * Equal contribution, ordered alphabetically. Code and video are available on https://github.com/orpatashnik/StyleCLIP

最近的成功表明，可以通过文本提示来操纵图像，例如，在雨天的晴天，在雨天中被操纵到同一场景中，这是由文本输入“下雨”驱动的雨天。这些方法经常利用基于样式的图像生成器，该生成器利用多模式（文本和图像）嵌入空间。但是，我们观察到，这种文本输入通常在提供和综合丰富的语义提示时被瓶颈瓶颈，例如将大雨与雨雨区分开。为了解决这个问题，我们主张利用另一种方式，声音，在图像操纵中具有显着优势，因为它可以传达出比文本更多样化的语义提示（生动的情感或自然世界的动态表达）。在本文中，我们提出了一种新颖的方法，该方法首先使用声音扩展了图像文本接头嵌入空间，并应用了一种直接的潜在优化方法来根据音频输入（例如雨的声音）操纵给定的图像。我们的广泛实验表明，我们的声音引导的图像操纵方法在语义和视觉上比最先进的文本和声音引导的图像操纵方法产生更合理的操作结果，这通过我们的人类评估进一步证实。我们的下游任务评估还表明，我们学到的图像文本单嵌入空间有效地编码声音输入。

数字艺术合成在多媒体社区中受到越来越多的关注，因为有效地与公众参与了艺术。当前的数字艺术合成方法通常使用单模式输入作为指导，从而限制了模型的表现力和生成结果的多样性。为了解决这个问题，我们提出了多模式引导的艺术品扩散（MGAD）模型，该模型是一种基于扩散的数字艺术品生成方法，它利用多模式提示作为控制无分类器扩散模型的指导。此外，对比度语言图像预处理（剪辑）模型用于统一文本和图像模式。关于生成的数字艺术绘画质量和数量的广泛实验结果证实了扩散模型和多模式指导的组合有效性。代码可从https://github.com/haha-lisa/mgad-multimodal-guided-artwork-diffusion获得。