生成对抗网络（GAN）的最近成功在面部动画任务方面取得了很大进展。然而，面部图像的复杂场景结构仍然使得产生具有显着偏离源图像的面部姿势的视频的挑战。一方面，在不知道面部几何结构的情况下，生成的面部图像可能被扭曲不当。另一方面，所生成的图像的一些区域可以在源图像中封闭，这使得GaN难以产生现实的外观。为了解决这些问题，我们提出了一种结构意识的面部动画（SAFA）方法，其构造特定的几何结构，以模拟面部图像的不同组件。在识别良好的基于​​运动的面部动画技术之后，我们使用3D可变模型（3dmm）来模拟面部，多个仿射变换，以模拟其他前景组件，如头发和胡须，以及模拟背景的身份变换。 3DMM几何嵌入不仅有助于为驾驶场景产生现实结构，而且有助于更好地感知所生成的图像中的遮挡区域。此外，我们进一步建议利用广泛研究的初探技术忠实地恢复封闭的图像区域。定量和定性实验结果都显示出我们方法的优越性。代码可在https://github.com/qiulin-w/safa获得。

Face Animation是计算机视觉中最热门的主题之一，在生成模型的帮助下取得了有希望的性能。但是，由于复杂的运动变形和复杂的面部细节建模，生成保留身份和光真实图像的身份仍然是一个关键的挑战。为了解决这些问题，我们提出了一个面部神经量渲染（FNEVR）网络，以充分探索在统一框架中2D运动翘曲和3D体积渲染的潜力。在FNEVR中，我们设计了一个3D面积渲染（FVR）模块，以增强图像渲染的面部细节。具体而言，我们首先使用精心设计的体系结构提取3D信息，然后引入一个正交自适应射线采样模块以进行有效的渲染。我们还设计了一个轻巧的姿势编辑器，使FNEVR能够以简单而有效的方式编辑面部姿势。广泛的实验表明，我们的FNEVR在广泛使用的说话头基准上获得了最佳的总体质量和性能。

Image animation consists of generating a video sequence so that an object in a source image is animated according to the motion of a driving video. Our framework addresses this problem without using any annotation or prior information about the specific object to animate. Once trained on a set of videos depicting objects of the same category (e.g. faces, human bodies), our method can be applied to any object of this class. To achieve this, we decouple appearance and motion information using a self-supervised formulation. To support complex motions, we use a representation consisting of a set of learned keypoints along with their local affine transformations. A generator network models occlusions arising during target motions and combines the appearance extracted from the source image and the motion derived from the driving video. Our framework scores best on diverse benchmarks and on a variety of object categories. Our source code is publicly available 1 .

我们提出了自由式 - 人体神经通话的头部合成系统。我们表明，具有稀疏3D面部标志的建模面孔足以实现最先进的生成性能，而无需依赖诸如3D可变形模型之类的强统计学先验。除了3D姿势和面部表情外，我们的方法还能够将目光从驾驶演员转移到源身份。我们的完整管道由三个组件组成：一个规范的3D密钥估计器，可回归3D姿势和与表达相关的变形，凝视估计网络和建立在Headgan架构上的生成器。我们进一步实验发电机的扩展，以使用注意机制可容纳几次学习，以防万一可用多个源图像。与最新的重演和运动转移模型相比，我们的系统实现了更高的照片真实性与优越的身份保护，同时提供明确的注视控制。

从单个图像的面部图像动画取得了显着的进展。然而，当只有稀疏的地标作为驱动信号时，它仍然具有挑战性。鉴于源人面部图像和一系列稀疏面部地标，我们的目标是生成模仿地标运动的脸部的视频。我们开发了一种高效有效的方法，用于从稀疏地标到面部图像的运动转移。然后，我们将全局和局部运动估计结合在统一的模型中以忠实地传输运动。该模型可以学习从背景中分割移动前景并不仅产生全局运动，例如面部的旋转和翻译，还可以微妙地进行诸如凝视变化的局部运动。我们进一步改善了视频的面部地标检测。随着时间上更好地对齐的训练的标志性序列，我们的方法可以产生具有更高视觉质量的时间相干视频。实验表明，我们实现了与最先进的图像驱动方法相当的结果，在相同的身份测试和交叉标识测试上的更好结果。

传统上，视频会议是广泛采用的电信解决方案，但由于面部代表性的2D性质，缺乏沉浸性是固有的。通过头戴式显示器（HMDS）的通信/远程呈现系统中虚拟现实（VR）的集成有望为用户提供更好的沉浸体验。然而，HMD通过阻挡用户的面部外观和表达而导致障碍。为了克服这些问题，我们提出了一种用于HMD去闭锁的一种新的关注的编码器解码器架构。我们还建议使用用户的短视频（1-2分钟），在不同的外观中捕获的短视频（1-2分钟）培训我们的特定于人士的模型，并展示了解开了Unseen姿势和外观的概括。我们通过最先进的方法报告了卓越的定性和定量结果。我们还使用现有动画和3D面重建管道向混合视频电话会议提供这种方法的应用。

我们介绍了一个现实的单发网眼的人体头像创作的系统，即简称罗马。使用一张照片，我们的模型估计了特定于人的头部网格和相关的神经纹理，该神经纹理编码局部光度和几何细节。最终的化身是操纵的，可以使用神经网络进行渲染，该神经网络与野外视频数据集上的网格和纹理估计器一起训练。在实验中，我们观察到我们的系统在头部几何恢复和渲染质量方面都具有竞争性的性能，尤其是对于跨人的重新制定。请参阅结果https://samsunglabs.github.io/rome/

In this work, we propose an ID-preserving talking head generation framework, which advances previous methods in two aspects. First, as opposed to interpolating from sparse flow, we claim that dense landmarks are crucial to achieving accurate geometry-aware flow fields. Second, inspired by face-swapping methods, we adaptively fuse the source identity during synthesis, so that the network better preserves the key characteristics of the image portrait. Although the proposed model surpasses prior generation fidelity on established benchmarks, to further make the talking head generation qualified for real usage, personalized fine-tuning is usually needed. However, this process is rather computationally demanding that is unaffordable to standard users. To solve this, we propose a fast adaptation model using a meta-learning approach. The learned model can be adapted to a high-quality personalized model as fast as 30 seconds. Last but not the least, a spatial-temporal enhancement module is proposed to improve the fine details while ensuring temporal coherency. Extensive experiments prove the significant superiority of our approach over the state of the arts in both one-shot and personalized settings.

仅使用单视2D照片的收藏集对3D感知生成对抗网络（GAN）的无监督学习最近取得了很多进展。然而，这些3D gan尚未证明人体，并且现有框架的产生的辐射场不是直接编辑的，从而限制了它们在下游任务中的适用性。我们通过开发一个3D GAN框架来解决这些挑战的解决方案，该框架学会在规范的姿势中生成人体或面部的辐射场，并使用显式变形场将其扭曲成所需的身体姿势或面部表达。使用我们的框架，我们展示了人体的第一个高质量的辐射现场生成结果。此外，我们表明，与未接受明确变形训练的3D GAN相比，在编辑其姿势或面部表情时，我们的变形感知训练程序可显着提高产生的身体或面部的质量。

大多数现代脸部完成方法采用AutoEncoder或其变体来恢复面部图像中缺失的区域。编码器通常用于学习强大的表现，在满足复杂的学习任务的挑战方面发挥着重要作用。具体地，各种掩模通常在野外的面部图像中呈现，形成复杂的图案，特别是在Covid-19的艰难时期。编码器很难在这种复杂的情况下捕捉如此强大的陈述。为了解决这一挑战，我们提出了一个自我监督的暹罗推论网络，以改善编码器的泛化和鲁棒性。它可以从全分辨率图像编码上下文语义并获得更多辨别性表示。为了处理面部图像的几何变型，将密集的对应字段集成到网络中。我们进一步提出了一种具有新型双重关注融合模块（DAF）的多尺度解码器，其可以以自适应方式将恢复和已知区域组合。这种多尺度架构有利于解码器利用从编码器学习到图像中的辨别性表示。广泛的实验清楚地表明，与最先进的方法相比，拟议的方法不仅可以实现更具吸引力的结果，而且还提高了蒙面的面部识别的性能。

在本文中，我们探讨了一个有趣的问题，即从$ 8 \ times8 $ Pixel视频序列中获得什么。令人惊讶的是，事实证明很多。我们表明，当我们处理此$ 8 \ times8 $视频带有正确的音频和图像先验时，我们可以获得全长的256 \ times256 $视频。我们使用新颖的视听UPPRAPLING网络实现了极低分辨率输入的$ 32 \ times $缩放。音频先验有助于恢复元素面部细节和精确的唇形，而单个高分辨率目标身份图像先验为我们提供了丰富的外观细节。我们的方法是端到端的多阶段框架。第一阶段会产生一个粗糙的中间输出视频，然后可用于动画单个目标身份图像并生成逼真，准确和高质量的输出。我们的方法很简单，并且与以前的超分辨率方法相比，表现非常好（$ 8 \ times $改善了FID得分）。我们还将模型扩展到了谈话视频压缩，并表明我们在以前的最新时间上获得了$ 3.5 \ times $的改进。通过广泛的消融实验（在论文和补充材料中）对我们网络的结果进行了彻底的分析。我们还在我们的网站上提供了演示视频以及代码和模型：\ url {http://cvit.iiit.ac.in/research/project/projects/cvit-projects/talking-face-vace-video-upsmpling}。

与传统的头像创建管道相反，这是一个昂贵的过程，现代生成方法直接从照片中学习数据分布，而艺术的状态现在可以产生高度的照片现实图像。尽管大量作品试图扩展无条件的生成模型并达到一定程度的可控性，但要确保多视图一致性，尤其是在大型姿势中，仍然具有挑战性。在这项工作中，我们提出了一个3D肖像生成网络，该网络可产生3D一致的肖像，同时根据有关姿势，身份，表达和照明的语义参数可控。生成网络使用神经场景表示在3D中建模肖像，其生成以支持明确控制的参数面模型为指导。尽管可以通过将图像与部分不同的属性进行对比，但可以进一步增强潜在的分离，但在非面积区域（例如，在动画表达式）时，仍然存在明显的不一致。我们通过提出一种体积混合策略来解决此问题，在该策略中，我们通过将动态和静态辐射场融合在一起，形成一个复合输出，并从共同学习的语义场中分割了两个部分。我们的方法在广泛的实验中优于先前的艺术，在自由视点中观看时，在自然照明中产生了逼真的肖像。所提出的方法还证明了真实图像以及室外卡通面孔的概括能力，在实际应用中显示出巨大的希望。其他视频结果和代码将在项目网页上提供。

超声（US）广泛用于实时成像，无辐射和便携性的优势。在临床实践中，分析和诊断通常依赖于美国序列，而不是单个图像来获得动态的解剖信息。对于新手来说，这是一项挑战，因为使用患者的足够视频进行练习是临床上不可行的。在本文中，我们提出了一个新颖的框架，以综合高保真美国视频。具体而言，合成视频是通过基于给定驾驶视频的动作来动画源内容图像来生成的。我们的亮点是三倍。首先，利用自我监督学习的优势，我们提出的系统以弱监督的方式进行了培训，以进行关键点检测。然后，这些关键点为处理美国视频中的复杂动态动作提供了重要信息。其次，我们使用双重解码器将内容和纹理学习解除，以有效地减少模型学习难度。最后，我们采用了对抗性训练策略，并采用了GAN损失，以进一步改善生成的视频的清晰度，从而缩小了真实和合成视频之间的差距。我们在具有高动态运动的大型内部骨盆数据集上验证我们的方法。广泛的评估指标和用户研究证明了我们提出的方法的有效性。

手语是人们表达自己的感受和情感的不同能力的窗口。但是，人们在短时间内学习手语仍然具有挑战性。为了应对这项现实世界中的挑战，在这项工作中，我们研究了运动传输系统，该系统可以将用户照片传输到特定单词的手语视频。特别是，输出视频的外观内容来自提供的用户图像，而视频的运动是从指定的教程视频中提取的。我们观察到采用最先进的运动转移方法来产生语言的两个主要局限性：（1）现有的运动转移工作忽略了人体的先前几何知识。 （2）先前的图像动画方法仅将图像对作为训练阶段的输入，这无法完全利用视频中的时间信息。为了解决上述局限性，我们提出了结构感知的时间一致性网络（STCNET），以共同优化人类的先前结构，并具有符号语言视频生成的时间一致性。本文有两个主要贡献。 （1）我们利用细粒骨骼检测器来提供人体关键点的先验知识。这样，我们确保关键点运动在有效范围内，并使模型变得更加可解释和强大。 （2）我们引入了两个周期矛盾损失，即短期周期损失和长期周期损失，这些损失是为了确保生成的视频的连续性。我们以端到端的方式优化了两个损失和关键点检测器网络。

Face Restoration (FR) aims to restore High-Quality (HQ) faces from Low-Quality (LQ) input images, which is a domain-specific image restoration problem in the low-level computer vision area. The early face restoration methods mainly use statistic priors and degradation models, which are difficult to meet the requirements of real-world applications in practice. In recent years, face restoration has witnessed great progress after stepping into the deep learning era. However, there are few works to study deep learning-based face restoration methods systematically. Thus, this paper comprehensively surveys recent advances in deep learning techniques for face restoration. Specifically, we first summarize different problem formulations and analyze the characteristic of the face image. Second, we discuss the challenges of face restoration. Concerning these challenges, we present a comprehensive review of existing FR methods, including prior based methods and deep learning-based methods. Then, we explore developed techniques in the task of FR covering network architectures, loss functions, and benchmark datasets. We also conduct a systematic benchmark evaluation on representative methods. Finally, we discuss future directions, including network designs, metrics, benchmark datasets, applications,etc. We also provide an open-source repository for all the discussed methods, which is available at https://github.com/TaoWangzj/Awesome-Face-Restoration.

人类视频运动转移（HVMT）的目的是鉴于源头的形象，生成了模仿驾驶人员运动的视频。 HVMT的现有方法主要利用生成对抗网络（GAN），以根据根据源人员图像和每个驾驶视频框架估计的流量来执行翘曲操作。但是，由于源头，量表和驾驶人员之间的巨大差异，这些方法始终会产生明显的人工制品。为了克服这些挑战，本文提出了基于gan的新型人类运动转移（远程移动）框架。为了产生逼真的动作，远遥采用了渐进的一代范式：它首先在没有基于流动的翘曲的情况下生成每个身体的零件，然后将所有零件变成驾驶运动的完整人。此外，为了保留自然的全球外观，我们设计了一个全球对齐模块，以根据其布局与驾驶员的规模和位置保持一致。此外，我们提出了一个纹理对准模块，以使人的每个部分都根据纹理的相似性对齐。最后，通过广泛的定量和定性实验，我们的远及以两个公共基准取得了最先进的结果。

人类姿势转移旨在将源人的外观转移到目标姿势。利用基于流量的非刚性人类图像的翘曲的现有方法取得了巨大的成功。然而，由于源和目标之间的空间相关性未充分利用，它们未能保留合成图像中的外观细节。为此，我们提出了基于流动的双重关注GaN（FDA-GaN），以应用于更高的发电质量的遮挡和变形感知功能融合。具体而言，可变形的局部注意力和流量相似性关注，构成双重关注机制，可以分别导出负责可变形和遮挡感知融合的输出特征。此外，为了维持传输的姿势和全球位置一致性，我们设计了一种姿势归一化网络，用于从目标姿势到源人员学习自适应标准化。定性和定量结果都表明，我们的方法在公共IPer和Deepfashion数据集中优于最先进的模型。

面部超分辨率（FSR），也称为面部幻觉，其旨在增强低分辨率（LR）面部图像以产生高分辨率（HR）面部图像的分辨率，是特定于域的图像超分辨率问题。最近，FSR获得了相当大的关注，并目睹了深度学习技术的发展炫目。迄今为止，有很少有基于深入学习的FSR的研究摘要。在本次调查中，我们以系统的方式对基于深度学习的FSR方法进行了全面审查。首先，我们总结了FSR的问题制定，并引入了流行的评估度量和损失功能。其次，我们详细说明了FSR中使用的面部特征和流行数据集。第三，我们根据面部特征的利用大致分类了现有方法。在每个类别中，我们从设计原则的一般描述开始，然后概述代表方法，然后讨论其中的利弊。第四，我们评估了一些最先进的方法的表现。第五，联合FSR和其他任务以及与FSR相关的申请大致介绍。最后，我们设想了这一领域进一步的技术进步的前景。在\ URL {https://github.com/junjun-jiang/face-hallucination-benchmark}上有一个策划的文件和资源的策划文件和资源清单

我们建议使用单个图像进行面部表达到表达翻译的简单而强大的地标引导的生成对抗网络（Landmarkgan），这在计算机视觉中是一项重要且具有挑战性的任务，因为表达到表达的翻译是非 - 线性和非对准问题。此外，由于图像中的对象可以具有任意的姿势，大小，位置，背景和自我观念，因此需要在输入图像和输出图像之间有一个高级的语义理解。为了解决这个问题，我们建议明确利用面部地标信息。由于这是一个具有挑战性的问题，我们将其分为两个子任务，（i）类别引导的地标生成，以及（ii）具有里程碑意义的指导表达式对表达的翻译。两项子任务以端到端的方式进行了培训，旨在享受产生的地标和表情的相互改善的好处。与当前的按键指导的方法相比，提议的Landmarkgan只需要单个面部图像即可产生各种表达式。四个公共数据集的广泛实验结果表明，与仅使用单个图像的最先进方法相比，所提出的Landmarkgan获得了更好的结果。该代码可从https://github.com/ha0tang/landmarkgan获得。

发型转移是将源发型修改为目标的任务。尽管最近的发型转移模型可以反映发型的精致特征，但它们仍然有两个主要局限性。首先，当源和目标图像具有不同的姿势（例如，查看方向或面部尺寸）时，现有方法无法转移发型，这在现实世界中很普遍。同样，当源图像中有非平凡的区域被其原始头发遮住时，先前的模型会产生不切实际的图像。当将长发修改为短发时，肩膀或背景被长发遮住了。为了解决这些问题，我们为姿势不变的发型转移，发型提出了一个新颖的框架。我们的模型包括两个阶段：1）基于流动的头发对齐和2）头发合成。在头发对齐阶段，我们利用基于关键点的光流估计器将目标发型与源姿势对齐。然后，我们基于语义区域感知的嵌入面膜（SIM）估计器在头发合成阶段生成最终的发型转移图像。我们的SIM估计器将源图像中的封闭区域划分为不同的语义区域，以反映其在涂料过程中的独特特征。为了证明我们的模型的有效性，我们使用多视图数据集（K-Hairstyle和Voxceleb）进行定量和定性评估。结果表明，发型通过在不同姿势的图像之间成功地转移发型来实现最先进的表现，而这是以前从未实现的。