在计算机视觉中，人类的姿势合成和转移与以前看不见的姿势的概率图像产生相关的概率图像产生。尽管研究人员最近提出了几种实现此任务的方法，但这些技术中的大多数直接从特定数据集中的所需目标图像中得出了姿势，这使得基础过程挑战在现实世界情景中应用于目标图像的生成是实际目标。在本文中，我们首先介绍当前姿势转移算法的缺点，然后提出一种新型的基于文本的姿势转移技术来解决这些问题。我们将问题分为三个独立的阶段：（a）文本构成表示，（b）姿势改进，（c）姿势渲染。据我们所知，这是开发基于文本的姿势转移框架的首次尝试之一，我们还通过为DeepFashion数据集的图像添加描述性姿势注释，从而引入了新的数据集DF-PASS。所提出的方法在我们的实验中产生了具有显着定性和定量得分的有希望的结果。

由于发型的复杂性和美味，编辑发型是独一无二的，而且具有挑战性。尽管最近的方法显着改善了头发的细节，但是当源图像的姿势与目标头发图像的姿势大不相同时，这些模型通常会产生不良的输出，从而限制了其真实世界的应用。发型是一种姿势不变的发型转移模型，可以减轻这种限制，但在保留精致的头发质地方面仍然表现出不令人满意的质量。为了解决这些局限性，我们提出了配备潜在优化和新呈现的局部匹配损失的高性能姿势不变的发型转移模型。在stylegan2潜在空间中，我们首先探索目标头发的姿势对准的潜在代码，并根据本地风格匹配保留了详细纹理。然后，我们的模型对源的遮挡构成了对齐的目标头发的遮挡，并将两个图像混合在一起以产生最终输出。实验结果表明，我们的模型在在较大的姿势差异和保留局部发型纹理下转移发型方面具有优势。

发型转移是将源发型修改为目标的任务。尽管最近的发型转移模型可以反映发型的精致特征，但它们仍然有两个主要局限性。首先，当源和目标图像具有不同的姿势（例如，查看方向或面部尺寸）时，现有方法无法转移发型，这在现实世界中很普遍。同样，当源图像中有非平凡的区域被其原始头发遮住时，先前的模型会产生不切实际的图像。当将长发修改为短发时，肩膀或背景被长发遮住了。为了解决这些问题，我们为姿势不变的发型转移，发型提出了一个新颖的框架。我们的模型包括两个阶段：1）基于流动的头发对齐和2）头发合成。在头发对齐阶段，我们利用基于关键点的光流估计器将目标发型与源姿势对齐。然后，我们基于语义区域感知的嵌入面膜（SIM）估计器在头发合成阶段生成最终的发型转移图像。我们的SIM估计器将源图像中的封闭区域划分为不同的语义区域，以反映其在涂料过程中的独特特征。为了证明我们的模型的有效性，我们使用多视图数据集（K-Hairstyle和Voxceleb）进行定量和定性评估。结果表明，发型通过在不同姿势的图像之间成功地转移发型来实现最先进的表现，而这是以前从未实现的。

生成的对抗网络（GANS）已经实现了图像生成的照片逼真品质。但是，如何最好地控制图像内容仍然是一个开放的挑战。我们介绍了莱特基照片，这是一个两级GaN，它在古典GAN目标上训练了训练，在一组空间关键点上有内部调节。这些关键点具有相关的外观嵌入，分别控制生成对象的位置和样式及其部件。我们使用合适的网络架构和培训方案地址的一个主要困难在没有领域知识和监督信号的情况下将图像解开到空间和外观因素中。我们展示了莱特基点提供可解释的潜在空间，可用于通过重新定位和交换Keypoint Embedding来重新安排生成的图像，例如通过组合来自不同图像的眼睛，鼻子和嘴巴来产生肖像。此外，关键点和匹配图像的显式生成启用了一种用于无监督的关键点检测的新的GaN的方法。

人类姿势转移旨在将源人的外观转移到目标姿势。利用基于流量的非刚性人类图像的翘曲的现有方法取得了巨大的成功。然而，由于源和目标之间的空间相关性未充分利用，它们未能保留合成图像中的外观细节。为此，我们提出了基于流动的双重关注GaN（FDA-GaN），以应用于更高的发电质量的遮挡和变形感知功能融合。具体而言，可变形的局部注意力和流量相似性关注，构成双重关注机制，可以分别导出负责可变形和遮挡感知融合的输出特征。此外，为了维持传输的姿势和全球位置一致性，我们设计了一种姿势归一化网络，用于从目标姿势到源人员学习自适应标准化。定性和定量结果都表明，我们的方法在公共IPer和Deepfashion数据集中优于最先进的模型。

图像着色是计算机视觉中的一个众所周知的问题。但是，由于任务的性质不足，图像着色本质上是具有挑战性的。尽管研究人员已经进行了几次尝试制作着色管道自动化，但由于缺乏调理，这些过程通常会产生不切实际的结果。在这项工作中，我们试图将文本描述与要着色的灰度图像一起集成为辅助条件，以提高着色过程的忠诚度。据我们所知，这是将文本条件纳入着色管道中的首次尝试之一。为此，我们提出了一个新颖的深网，该网络采用了两个输入（灰度图像和相应的编码文本描述），并试图预测相关的颜色范围。由于各自的文本描述包含场景中存在的对象的颜色信息，因此文本编码有助于提高预测颜色的整体质量。我们已经使用不同的指标评估了我们提出的模型，并发现它在定性和定量上都优于最先进的着色算法。

我们建议使用单个图像进行面部表达到表达翻译的简单而强大的地标引导的生成对抗网络（Landmarkgan），这在计算机视觉中是一项重要且具有挑战性的任务，因为表达到表达的翻译是非 - 线性和非对准问题。此外，由于图像中的对象可以具有任意的姿势，大小，位置，背景和自我观念，因此需要在输入图像和输出图像之间有一个高级的语义理解。为了解决这个问题，我们建议明确利用面部地标信息。由于这是一个具有挑战性的问题，我们将其分为两个子任务，（i）类别引导的地标生成，以及（ii）具有里程碑意义的指导表达式对表达的翻译。两项子任务以端到端的方式进行了培训，旨在享受产生的地标和表情的相互改善的好处。与当前的按键指导的方法相比，提议的Landmarkgan只需要单个面部图像即可产生各种表达式。四个公共数据集的广泛实验结果表明，与仅使用单个图像的最先进方法相比，所提出的Landmarkgan获得了更好的结果。该代码可从https://github.com/ha0tang/landmarkgan获得。

人类视频运动转移（HVMT）的目的是鉴于源头的形象，生成了模仿驾驶人员运动的视频。 HVMT的现有方法主要利用生成对抗网络（GAN），以根据根据源人员图像和每个驾驶视频框架估计的流量来执行翘曲操作。但是，由于源头，量表和驾驶人员之间的巨大差异，这些方法始终会产生明显的人工制品。为了克服这些挑战，本文提出了基于gan的新型人类运动转移（远程移动）框架。为了产生逼真的动作，远遥采用了渐进的一代范式：它首先在没有基于流动的翘曲的情况下生成每个身体的零件，然后将所有零件变成驾驶运动的完整人。此外，为了保留自然的全球外观，我们设计了一个全球对齐模块，以根据其布局与驾驶员的规模和位置保持一致。此外，我们提出了一个纹理对准模块，以使人的每个部分都根据纹理的相似性对齐。最后，通过广泛的定量和定性实验，我们的远及以两个公共基准取得了最先进的结果。

Image and video synthesis has become a blooming topic in computer vision and machine learning communities along with the developments of deep generative models, due to its great academic and application value. Many researchers have been devoted to synthesizing high-fidelity human images as one of the most commonly seen object categories in daily lives, where a large number of studies are performed based on various deep generative models, task settings and applications. Thus, it is necessary to give a comprehensive overview on these variant methods on human image generation. In this paper, we divide human image generation techniques into three paradigms, i.e., data-driven methods, knowledge-guided methods and hybrid methods. For each route, the most representative models and the corresponding variants are presented, where the advantages and characteristics of different methods are summarized in terms of model architectures and input/output requirements. Besides, the main public human image datasets and evaluation metrics in the literature are also summarized. Furthermore, due to the wide application potentials, two typical downstream usages of synthesized human images are covered, i.e., data augmentation for person recognition tasks and virtual try-on for fashion customers. Finally, we discuss the challenges and potential directions of human image generation to shed light on future research.

仅使用单视2D照片的收藏集对3D感知生成对抗网络（GAN）的无监督学习最近取得了很多进展。然而，这些3D gan尚未证明人体，并且现有框架的产生的辐射场不是直接编辑的，从而限制了它们在下游任务中的适用性。我们通过开发一个3D GAN框架来解决这些挑战的解决方案，该框架学会在规范的姿势中生成人体或面部的辐射场，并使用显式变形场将其扭曲成所需的身体姿势或面部表达。使用我们的框架，我们展示了人体的第一个高质量的辐射现场生成结果。此外，我们表明，与未接受明确变形训练的3D GAN相比，在编辑其姿势或面部表情时，我们的变形感知训练程序可显着提高产生的身体或面部的质量。

本文的目标是对面部素描合成（FSS）问题进行全面的研究。然而，由于获得了手绘草图数据集的高成本，因此缺乏完整的基准，用于评估过去十年的FSS算法的开发。因此，我们首先向FSS引入高质量的数据集，名为FS2K，其中包括2,104个图像素描对，跨越三种类型的草图样式，图像背景，照明条件，肤色和面部属性。 FS2K与以前的FSS数据集不同于难度，多样性和可扩展性，因此应促进FSS研究的进展。其次，我们通过调查139种古典方法，包括34个手工特征的面部素描合成方法，37个一般的神经式传输方法，43个深映像到图像翻译方法，以及35个图像 - 素描方法。此外，我们详细说明了现有的19个尖端模型的综合实验。第三，我们为FSS提供了一个简单的基准，名为FSGAN。只有两个直截了当的组件，即面部感知屏蔽和风格矢量扩展，FSGAN将超越所提出的FS2K数据集的所有先前最先进模型的性能，通过大边距。最后，我们在过去几年中汲取的经验教训，并指出了几个未解决的挑战。我们的开源代码可在https://github.com/dengpingfan/fsgan中获得。

我们提出了自由式 - 人体神经通话的头部合成系统。我们表明，具有稀疏3D面部标志的建模面孔足以实现最先进的生成性能，而无需依赖诸如3D可变形模型之类的强统计学先验。除了3D姿势和面部表情外，我们的方法还能够将目光从驾驶演员转移到源身份。我们的完整管道由三个组件组成：一个规范的3D密钥估计器，可回归3D姿势和与表达相关的变形，凝视估计网络和建立在Headgan架构上的生成器。我们进一步实验发电机的扩展，以使用注意机制可容纳几次学习，以防万一可用多个源图像。与最新的重演和运动转移模型相比，我们的系统实现了更高的照片真实性与优越的身份保护，同时提供明确的注视控制。

手语是人们表达自己的感受和情感的不同能力的窗口。但是，人们在短时间内学习手语仍然具有挑战性。为了应对这项现实世界中的挑战，在这项工作中，我们研究了运动传输系统，该系统可以将用户照片传输到特定单词的手语视频。特别是，输出视频的外观内容来自提供的用户图像，而视频的运动是从指定的教程视频中提取的。我们观察到采用最先进的运动转移方法来产生语言的两个主要局限性：（1）现有的运动转移工作忽略了人体的先前几何知识。 （2）先前的图像动画方法仅将图像对作为训练阶段的输入，这无法完全利用视频中的时间信息。为了解决上述局限性，我们提出了结构感知的时间一致性网络（STCNET），以共同优化人类的先前结构，并具有符号语言视频生成的时间一致性。本文有两个主要贡献。 （1）我们利用细粒骨骼检测器来提供人体关键点的先验知识。这样，我们确保关键点运动在有效范围内，并使模型变得更加可解释和强大。 （2）我们引入了两个周期矛盾损失，即短期周期损失和长期周期损失，这些损失是为了确保生成的视频的连续性。我们以端到端的方式优化了两个损失和关键点检测器网络。

我们提出了一种新的姿势转移方法，用于从由一系列身体姿势控制的人的单个图像中综合人类动画。现有的姿势转移方法在申请新颖场景时表现出显着的视觉伪影，从而导致保留人的身份和纹理的时间不一致和失败。为了解决这些限制，我们设计了一种构成神经网络，预测轮廓，服装标签和纹理。每个模块化网络明确地专用于可以从合成数据学习的子任务。在推理时间，我们利用训练有素的网络在UV坐标中产生统一的外观和标签，其横跨姿势保持不变。统一的代表提供了一个不完整的且强烈指导，以响应姿势变化而产生外观。我们使用训练有素的网络完成外观并呈现背景。通过这些策略，我们能够以时间上连贯的方式综合人类动画，这些动画可以以时间上连贯的方式保护人的身份和外观，而无需在测试场景上进行任何微调。实验表明，我们的方法在合成质量，时间相干性和泛化能力方面优于最先进的。

基于图像的虚拟试验努力将服装的外观转移到目标人的图像上。先前的工作主要集中在上身衣服（例如T恤，衬衫和上衣）上，并忽略了全身或低身物品。这种缺点来自一个主要因素：用于基于图像的虚拟试验的当前公开可用数据集并不解释此品种，从而限制了该领域的进度。为了解决这种缺陷，我们介绍着着装代码，其中包含多类服装的图像。着装代码比基于图像的虚拟试验的公共可用数据集大于3倍以上，并且具有前视图，全身参考模型的高分辨率配对图像（1024x768）。为了生成具有高视觉质量且细节丰富的高清尝试图像，我们建议学习细粒度的区分功能。具体而言，我们利用一种语义意识歧视器，该歧视器在像素级而不是图像级或贴片级上进行预测。广泛的实验评估表明，所提出的方法在视觉质量和定量结果方面超过了基线和最先进的竞争者。着装码数据集可在https://github.com/aimagelab/dress-code上公开获得。

我们介绍了特点，这是一个可以在给定角色的少数样本（8-15）上培训的生成模型。我们的模型基于Keypoint位置生成新颖姿势，可以在提供交互式反馈的同时实时修改，允许直观的重复和动画。由于我们只有非常有限的培训样本，因此关键挑战之一是如何解决（DIS）闭塞，例如，当一只手在身体后面或前面移动时。为了解决这个问题，我们介绍了一种新颖的分层方法，该方法将输入关键点分割为独立处理的不同层。这些层代表了角色的不同部分，并提供了强烈的隐含偏差，这有助于获得逼真的结果，即使具有强（DIS）闭塞。要组合各个图层的功能，我们使用所有关键点上的自适应缩放方法。最后，我们引入了一个掩模连接约束，以减少在测试时间下具有极端分布的失真伪像。我们表明我们的方法优于最近的基线，为不同的人物创造了现实的动画。我们还表明，我们的模型可以处理离散状态更改，例如左侧或右面的配置文件，即不同的图层确实学习了这些层中各个关键点的特定特征，并且在更多数据时，我们的模型将缩放到更大的数据集可用的。

Our goal with this survey is to provide an overview of the state of the art deep learning technologies for face generation and editing. We will cover popular latest architectures and discuss key ideas that make them work, such as inversion, latent representation, loss functions, training procedures, editing methods, and cross domain style transfer. We particularly focus on GAN-based architectures that have culminated in the StyleGAN approaches, which allow generation of high-quality face images and offer rich interfaces for controllable semantics editing and preserving photo quality. We aim to provide an entry point into the field for readers that have basic knowledge about the field of deep learning and are looking for an accessible introduction and overview.

生成对抗网络（GAN）的最近成功在面部动画任务方面取得了很大进展。然而，面部图像的复杂场景结构仍然使得产生具有显着偏离源图像的面部姿势的视频的挑战。一方面，在不知道面部几何结构的情况下，生成的面部图像可能被扭曲不当。另一方面，所生成的图像的一些区域可以在源图像中封闭，这使得GaN难以产生现实的外观。为了解决这些问题，我们提出了一种结构意识的面部动画（SAFA）方法，其构造特定的几何结构，以模拟面部图像的不同组件。在识别良好的基于​​运动的面部动画技术之后，我们使用3D可变模型（3dmm）来模拟面部，多个仿射变换，以模拟其他前景组件，如头发和胡须，以及模拟背景的身份变换。 3DMM几何嵌入不仅有助于为驾驶场景产生现实结构，而且有助于更好地感知所生成的图像中的遮挡区域。此外，我们进一步建议利用广泛研究的初探技术忠实地恢复封闭的图像区域。定量和定性实验结果都显示出我们方法的优越性。代码可在https://github.com/qiulin-w/safa获得。

使用生成对抗网络（GAN）生成的面孔已经达到了前所未有的现实主义。这些面孔，也称为“深色伪造”，看起来像是逼真的照片，几乎没有像素级扭曲。尽管某些工作使能够培训模型，从而导致该主题的特定属性，但尚未完全探索基于自然语言描述的面部图像。对于安全和刑事识别，提供基于GAN的系统的能力像素描艺术家一样有用。在本文中，我们提出了一种新颖的方法，可以从语义文本描述中生成面部图像。学习的模型具有文本描述和面部类型的轮廓，该模型用于绘制功能。我们的模型是使用仿射组合模块（ACM）机制训练的，以使用自发动矩阵结合伯特和甘恩潜在空间的文本。这避免了由于“注意力”不足而导致的功能丧失，如果简单地将文本嵌入和潜在矢量串联，这可能会发生。我们的方法能够生成非常准确地与面部面部的详尽文本描述相符的图像，并具有许多细节的脸部特征，并有助于生成更好的图像。如果提供了其他文本描述或句子，则提出的方法还能够对先前生成的图像进行增量更改。

Single-image 3D human reconstruction aims to reconstruct the 3D textured surface of the human body given a single image. While implicit function-based methods recently achieved reasonable reconstruction performance, they still bear limitations showing degraded quality in both surface geometry and texture from an unobserved view. In response, to generate a realistic textured surface, we propose ReFu, a coarse-to-fine approach that refines the projected backside view image and fuses the refined image to predict the final human body. To suppress the diffused occupancy that causes noise in projection images and reconstructed meshes, we propose to train occupancy probability by simultaneously utilizing 2D and 3D supervisions with occupancy-based volume rendering. We also introduce a refinement architecture that generates detail-preserving backside-view images with front-to-back warping. Extensive experiments demonstrate that our method achieves state-of-the-art performance in 3D human reconstruction from a single image, showing enhanced geometry and texture quality from an unobserved view.