面部草图合成已被广泛用于多媒体娱乐和执法。尽管深度神经网络最近发生了进展，但由于人脸的多样性和复杂性，准确而现实的面孔素描合成仍然是一项艰巨的任务。当前基于图像到图像翻译的面孔草图合成在小型数据集时通常会遇到过度拟合的问题。为了解决此问题，我们提出了面部绘制的端到端以内存的样式转移网络（最多）的范围，该网络（最多）可以产生具有有限数据的高保真草图。具体而言，引入了外部自我监督的动态内存模块，以捕获域对准知识。这样，我们提出的模型可以通过在特征级别上建立面部和相应草图之间的耐用关系来获得域转移能力。此外，我们为记忆模块中的特征比对设计了一种新颖的记忆细化损失（MR损失），该功能对齐可增强记忆插槽的准确性。在CUFS和CUFSF数据集上进行了广泛的实验表明，我们最网络可以实现最先进的性能，尤其是在结构相似性指数（SSIM）方面。

近年来，双相面孔皮草草图合成的显着进展随着生成的对抗性网络（GAN）的发展。双相面孔光学素材合成可以应用于数字娱乐和执法等宽范围的领域。然而，由于实际场景中的草图和复杂的照片变化，产生现实照片和不同的草图遭受了极大的挑战。为此，我们提出了一种新颖的语义驱动生成的对抗网络来解决上述问题，与图形表示学习合作。具体而言，我们将Class-Wise语义布局注入发电机以提供基于样式的空间监督，用于合成面部照片和草图。此外，为了提高生成的结果的保真度，我们利用语义布局来构造两种类型的代表性图，该图表示综合图像的类内语义特征和级别的结构特征。此外，我们基于所提出的代表性图设计了两种类型的约束，其便于保存生成的面部照片和草图中的细节。此外，为了进一步增强合成图像的感知质量，我们提出了一种新的双相培训策略，致力于通过迭代周期培训来细化所产生的结果。在CUFS和CUFSF数据集上进行了广泛的实验，以证明我们提出的方法实现了最先进的性能的突出能力。

人物图像的旨在在源图像上执行非刚性变形，这通常需要未对准数据对进行培训。最近，自我监督的方法通过合并自我重建的解除印章表达来表达这项任务的巨大前景。然而，这些方法未能利用解除戒断功能之间的空间相关性。在本文中，我们提出了一种自我监督的相关挖掘网络（SCM-NET）来重新排列特征空间中的源图像，其中两种协作模块是集成的，分解的样式编码器（DSE）和相关挖掘模块（CMM）。具体地，DSE首先在特征级别创建未对齐的对。然后，CMM建立用于特征重新排列的空间相关领域。最终，翻译模块将重新排列的功能转换为逼真的结果。同时，为了提高跨尺度姿态变换的保真度，我们提出了一种基于曲线图的体结构保持损失（BSR损耗），以保持半体上的合理的身体结构到全身。与Deepfashion DataSet进行的广泛实验表明了与其他监督和无监督和无监督的方法相比的方法的优势。此外，对面部的令人满意的结果显示了我们在其他变形任务中的方法的多功能性。

本文的目标是对面部素描合成（FSS）问题进行全面的研究。然而，由于获得了手绘草图数据集的高成本，因此缺乏完整的基准，用于评估过去十年的FSS算法的开发。因此，我们首先向FSS引入高质量的数据集，名为FS2K，其中包括2,104个图像素描对，跨越三种类型的草图样式，图像背景，照明条件，肤色和面部属性。 FS2K与以前的FSS数据集不同于难度，多样性和可扩展性，因此应促进FSS研究的进展。其次，我们通过调查139种古典方法，包括34个手工特征的面部素描合成方法，37个一般的神经式传输方法，43个深映像到图像翻译方法，以及35个图像 - 素描方法。此外，我们详细说明了现有的19个尖端模型的综合实验。第三，我们为FSS提供了一个简单的基准，名为FSGAN。只有两个直截了当的组件，即面部感知屏蔽和风格矢量扩展，FSGAN将超越所提出的FS2K数据集的所有先前最先进模型的性能，通过大边距。最后，我们在过去几年中汲取的经验教训，并指出了几个未解决的挑战。我们的开源代码可在https://github.com/dengpingfan/fsgan中获得。

生成的对抗网络（GANS）已经促进了解决图像到图像转换问题的新方向。不同的GANS在目标函数中使用具有不同损耗的发电机和鉴别器网络。仍然存在差距来填补所生成的图像的质量并靠近地面真理图像。在这项工作中，我们介绍了一个名为循环辨别生成的对抗网络（CDGAN）的新的图像到图像转换网络，填补了上述空白。除了加速本的原始架构之外，所提出的CDGAN通过结合循环图像的附加鉴别器网络来产生高质量和更现实的图像。所提出的CDGAN在三个图像到图像转换数据集上进行测试。分析了定量和定性结果，并与最先进的方法进行了比较。在三个基线图像到图像转换数据集中，所提出的CDGAN方法优于最先进的方法。该代码可在https://github.com/kishankancharagunta/cdgan获得。

Face Restoration (FR) aims to restore High-Quality (HQ) faces from Low-Quality (LQ) input images, which is a domain-specific image restoration problem in the low-level computer vision area. The early face restoration methods mainly use statistic priors and degradation models, which are difficult to meet the requirements of real-world applications in practice. In recent years, face restoration has witnessed great progress after stepping into the deep learning era. However, there are few works to study deep learning-based face restoration methods systematically. Thus, this paper comprehensively surveys recent advances in deep learning techniques for face restoration. Specifically, we first summarize different problem formulations and analyze the characteristic of the face image. Second, we discuss the challenges of face restoration. Concerning these challenges, we present a comprehensive review of existing FR methods, including prior based methods and deep learning-based methods. Then, we explore developed techniques in the task of FR covering network architectures, loss functions, and benchmark datasets. We also conduct a systematic benchmark evaluation on representative methods. Finally, we discuss future directions, including network designs, metrics, benchmark datasets, applications,etc. We also provide an open-source repository for all the discussed methods, which is available at https://github.com/TaoWangzj/Awesome-Face-Restoration.

The mechanism of existing style transfer algorithms is by minimizing a hybrid loss function to push the generated image toward high similarities in both content and style. However, this type of approach cannot guarantee visual fidelity, i.e., the generated artworks should be indistinguishable from real ones. In this paper, we devise a new style transfer framework called QuantArt for high visual-fidelity stylization. QuantArt pushes the latent representation of the generated artwork toward the centroids of the real artwork distribution with vector quantization. By fusing the quantized and continuous latent representations, QuantArt allows flexible control over the generated artworks in terms of content preservation, style similarity, and visual fidelity. Experiments on various style transfer settings show that our QuantArt framework achieves significantly higher visual fidelity compared with the existing style transfer methods.

我们建议使用单个图像进行面部表达到表达翻译的简单而强大的地标引导的生成对抗网络（Landmarkgan），这在计算机视觉中是一项重要且具有挑战性的任务，因为表达到表达的翻译是非 - 线性和非对准问题。此外，由于图像中的对象可以具有任意的姿势，大小，位置，背景和自我观念，因此需要在输入图像和输出图像之间有一个高级的语义理解。为了解决这个问题，我们建议明确利用面部地标信息。由于这是一个具有挑战性的问题，我们将其分为两个子任务，（i）类别引导的地标生成，以及（ii）具有里程碑意义的指导表达式对表达的翻译。两项子任务以端到端的方式进行了培训，旨在享受产生的地标和表情的相互改善的好处。与当前的按键指导的方法相比，提议的Landmarkgan只需要单个面部图像即可产生各种表达式。四个公共数据集的广泛实验结果表明，与仅使用单个图像的最先进方法相比，所提出的Landmarkgan获得了更好的结果。该代码可从https://github.com/ha0tang/landmarkgan获得。

可控的人图像合成任务可以通过对身体姿势和外观的明确控制来实现广泛的应用。在本文中，我们提出了一个基于跨注意的样式分布模块，该模块在源语义样式和目标姿势转移的目标姿势之间计算。该模块故意选择每个语义表示的样式，并根据目标姿势分配它们。交叉注意的注意力矩阵表达了目标姿势与所有语义的源样式之间的动态相似性。因此，可以利用它来从源图像路由颜色和纹理，并受到目标解析图的进一步限制，以实现更清晰的目标。同时，为了准确编码源外观，还添加了不同语义样式之间的自我注意力。我们的模型的有效性在姿势转移和虚拟的尝试任务上进行了定量和质量验证。

生成的对抗网络（GAN）在图像翻译和操纵方面取得了巨大成功。但是，具有忠实风格控制的高保真形象生成仍然是计算机视觉中的巨大挑战。本文提出了一种多功能的图像翻译和操纵框架，该框架通过明确构建信件来实现图像生成中准确的语义和样式指导。为了处理通过构建密集的对应关系产生的二次复杂性，我们引入了双层功能对齐策略，该策略采用顶部$ k $操作来对块构成块的功能进行排名，然后在块功能之间进行密集的关注，从而降低了内存成本的降低。由于顶部$ k $操作涉及索引交换，从而排除了梯度传播，因此我们近似具有正则地球搬运工问题的非差异上的顶部$ K $操作，以便可以有效地向后传播其梯度。此外，我们设计了一个新颖的语义位置编码机制，该机制为每个单个语义区域建立坐标，以在建立对应关系时保持纹理结构。此外，我们设计了一种新颖的置信度注入模块，该模块通过根据内置对应关系的可靠性适应特征来减轻不匹配问题。广泛的实验表明，与最先进的方法相比，我们的方法在定性和定量上取得了出色的性能。

异质的面部识别（HFR）旨在匹配不同域（例如，可见到近红外图像）的面孔，该面孔已被广泛应用于身份验证和取证方案。但是，HFR是一个具有挑战性的问题，因为跨域差异很大，异质数据对有限和面部属性变化很大。为了应对这些挑战，我们从异质数据增强的角度提出了一种新的HFR方法，该方法称为面部合成，具有身份 - 属性分解（FSIAD）。首先，身份属性分解（IAD）将图像截取到与身份相关的表示和与身份无关的表示（称为属性）中，然后降低身份和属性之间的相关性。其次，我们设计了一个面部合成模块（FSM），以生成大量具有分离的身份和属性的随机组合的图像，以丰富合成图像的属性多样性。原始图像和合成图像均被用于训练HFR网络，以应对挑战并提高HFR的性能。在五个HFR数据库上进行的广泛实验验证了FSIAD的性能比以前的HFR方法更高。特别是，FSIAD以vr@far = 0.01%在LAMP-HQ上获得了4.8％的改善，这是迄今为止最大的HFR数据库。

Generating new fonts is a time-consuming and labor-intensive, especially in a language with a huge amount of characters like Chinese. Various deep learning models have demonstrated the ability to efficiently generate new fonts with a few reference characters of that style. This project aims to develop a few-shot cross-lingual font generator based on AGIS-Net and improve the performance metrics mentioned. Our approaches include redesigning the encoder and the loss function. We will validate our method on multiple languages and datasets mentioned.

大多数现代脸部完成方法采用AutoEncoder或其变体来恢复面部图像中缺失的区域。编码器通常用于学习强大的表现，在满足复杂的学习任务的挑战方面发挥着重要作用。具体地，各种掩模通常在野外的面部图像中呈现，形成复杂的图案，特别是在Covid-19的艰难时期。编码器很难在这种复杂的情况下捕捉如此强大的陈述。为了解决这一挑战，我们提出了一个自我监督的暹罗推论网络，以改善编码器的泛化和鲁棒性。它可以从全分辨率图像编码上下文语义并获得更多辨别性表示。为了处理面部图像的几何变型，将密集的对应字段集成到网络中。我们进一步提出了一种具有新型双重关注融合模块（DAF）的多尺度解码器，其可以以自适应方式将恢复和已知区域组合。这种多尺度架构有利于解码器利用从编码器学习到图像中的辨别性表示。广泛的实验清楚地表明，与最先进的方法相比，拟议的方法不仅可以实现更具吸引力的结果，而且还提高了蒙面的面部识别的性能。

图像转换是一类视觉和图形问题，其目标是学习输入图像和输出图像之间的映射，在深神网络的背景下迅速发展。在计算机视觉（CV）中，许多问题可以被视为图像转换任务，例如语义分割和样式转移。这些作品具有不同的主题和动机，使图像转换任务蓬勃发展。一些调查仅回顾有关样式转移或图像到图像翻译的研究，所有这些都只是图像转换的一个分支。但是，没有一项调查总结这些调查在我们最佳知识的统一框架中共同起作用。本文提出了一个新颖的学习框架，包括独立学习，指导学习和合作学习，称为IGC学习框架。我们讨论的图像转换主要涉及有关深神经网络的一般图像到图像翻译和样式转移。从这个框架的角度来看，我们回顾了这些子任务，并对各种情况进行统一的解释。我们根据相似的开发趋势对图像转换的相关子任务进行分类。此外，已经进行了实验以验证IGC学习的有效性。最后，讨论了新的研究方向和开放问题，以供将来的研究。

盲面修复是从未知的降解中恢复高质量的面部图像。由于面部图像包含丰富的上下文信息，因此我们提出了一种方法，还可以修复器，该方法探讨了完全空间的关注，以模拟上下文信息并超越了使用本地运营商的现有作品。与先前的艺术相比，还原构造器具有多种好处。首先，与以前视觉变压器（VIT）中传统的多头自我发作不同，还原构图结合了多头跨注意层，以学习损坏的查询与高质量的键值对之间的完全空间相互作用。其次，从重建为导向的高质量词典中对Resotreformer中的钥匙值对进行采样，其元素具有富含高质量的面部特征，专门针对面部重建，从而导致出色的恢复结果。第三，RestoreFormer优于一个合成数据集和三个现实世界数据集上的先进的最新方法，并且可以产生具有更好视觉质量的图像。

通过对抗训练的雾霾图像转换的关键程序在于仅涉及雾度合成的特征，即表示不变语义内容的特征，即内容特征。以前的方法通过利用它在培训过程中对Haze图像进行分类来分开单独的内容。然而，在本文中，我们认识到在这种技术常规中的内容式解剖学的不完整性。缺陷的样式功能与内容信息纠缠不可避免地引导阴霾图像的呈现。要解决，我们通过随机线性插值提出自我监督的风格回归，以减少风格特征中的内容信息。烧蚀实验表明了静态感知雾度图像合成中的解开的完整性及其优越性。此外，所产生的雾度数据应用于车辆检测器的测试概括。雾度和检测性能之间的进一步研究表明，雾度对车辆探测器的概括具有明显的影响，并且这种性能降低水平与雾度水平线性相关，反过来验证了该方法的有效性。

Text-driven person image generation is an emerging and challenging task in cross-modality image generation. Controllable person image generation promotes a wide range of applications such as digital human interaction and virtual try-on. However, previous methods mostly employ single-modality information as the prior condition (e.g. pose-guided person image generation), or utilize the preset words for text-driven human synthesis. Introducing a sentence composed of free words with an editable semantic pose map to describe person appearance is a more user-friendly way. In this paper, we propose HumanDiffusion, a coarse-to-fine alignment diffusion framework, for text-driven person image generation. Specifically, two collaborative modules are proposed, the Stylized Memory Retrieval (SMR) module for fine-grained feature distillation in data processing and the Multi-scale Cross-modality Alignment (MCA) module for coarse-to-fine feature alignment in diffusion. These two modules guarantee the alignment quality of the text and image, from image-level to feature-level, from low-resolution to high-resolution. As a result, HumanDiffusion realizes open-vocabulary person image generation with desired semantic poses. Extensive experiments conducted on DeepFashion demonstrate the superiority of our method compared with previous approaches. Moreover, better results could be obtained for complicated person images with various details and uncommon poses.

生成高质量的艺术肖像视频是计算机图形和愿景中的一项重要且理想的任务。尽管已经提出了一系列成功的肖像图像图像模型模型，但这些面向图像的方法在应用于视频（例如固定框架尺寸，面部对齐的要求，缺失的非种族细节和缺失的非种族细节和缺失的要求）时，具有明显的限制。时间不一致。在这项工作中，我们通过引入一个新颖的Vtoonify框架来研究具有挑战性的可控高分辨率肖像视频风格转移。具体而言，Vtoonify利用了Stylegan的中高分辨率层，以基于编码器提取的多尺度内容功能来渲染高质量的艺术肖像，以更好地保留框架细节。由此产生的完全卷积体系结构接受可变大小的视频中的非对齐面孔作为输入，从而有助于完整的面部区域，并在输出中自然动作。我们的框架与现有的基于Stylegan的图像图像模型兼容，以将其扩展到视频化，并继承了这些模型的吸引力，以进行柔性风格控制颜色和强度。这项工作分别为基于收藏和基于示例的肖像视频风格转移而建立在Toonify和DualStylegan的基于Toonify和Dualstylegan的Vtoonify的两个实例化。广泛的实验结果证明了我们提出的VTOONIFY框架对现有方法的有效性在生成具有灵活风格控件的高质量和临时艺术肖像视频方面的有效性。

近年来，由于其在图像生成过程中的可控性，有条件的图像合成引起了不断的关注。虽然最近的作品取得了现实的结果，但大多数都没有处理细微细节的细粒度风格。为了解决这个问题，提出了一种名为DRAN的新型归一化模块。它学会了细粒度的风格表示，同时保持普通风格的稳健性。具体来说，我们首先引入多级结构，空间感知金字塔汇集，以指导模型学习粗略的功能。然后，为了自适应地保险熔断不同的款式，我们提出动态门控，使得可以根据不同的空间区域选择不同的样式。为了评估DRAN的有效性和泛化能力，我们对化妆和语义图像合成进行了一组实验。定量和定性实验表明，配备了DRAN，基线模型能够实现复杂风格转移和纹理细节重建的显着改善。

Automatic font generation without human experts is a practical and significant problem, especially for some languages that consist of a large number of characters. Existing methods for font generation are often in supervised learning. They require a large number of paired data, which are labor-intensive and expensive to collect. In contrast, common unsupervised image-to-image translation methods are not applicable to font generation, as they often define style as the set of textures and colors. In this work, we propose a robust deformable generative network for unsupervised font generation (abbreviated as DGFont++). We introduce a feature deformation skip connection (FDSC) to learn local patterns and geometric transformations between fonts. The FDSC predicts pairs of displacement maps and employs the predicted maps to apply deformable convolution to the low-level content feature maps. The outputs of FDSC are fed into a mixer to generate final results. Moreover, we introduce contrastive self-supervised learning to learn a robust style representation for fonts by understanding the similarity and dissimilarities of fonts. To distinguish different styles, we train our model with a multi-task discriminator, which ensures that each style can be discriminated independently. In addition to adversarial loss, another two reconstruction losses are adopted to constrain the domain-invariant characteristics between generated images and content images. Taking advantage of FDSC and the adopted loss functions, our model is able to maintain spatial information and generates high-quality character images in an unsupervised manner. Experiments demonstrate that our model is able to generate character images of higher quality than state-of-the-art methods.