在本文中，我们介绍了一条神经渲染管道，用于将一个人在源视频中的面部表情，头部姿势和身体运动转移到目标视频中的另一个人。我们将方法应用于手语视频的具有挑战性的案例：给定手语用户的源视频，我们可以忠实地传输执行的手册（例如握手，棕榈方向，运动，位置）和非手术（例如，眼睛凝视，凝视，面部表情，头部移动）以照片真实的方式标志着目标视频。为了有效捕获上述提示，这些线索对于手语交流至关重要，我们以最近引入的最健壮和最可靠的深度学习方法的有效组合来建立。使用3D感知表示，将身体部位的估计运动组合并重新定位到目标签名者。然后将它们作为我们的视频渲染网络的条件输入，从而生成时间一致和照片现实的视频。我们进行了详细的定性和定量评估和比较，这些评估和比较证明了我们的方法的有效性及其对现有方法的优势。我们的方法产生了前所未有的现实主义的有希望的结果，可用于手语匿名。此外，它很容易适用于重新制定其他类型的全身活动（舞蹈，表演，锻炼等）以及手语生产系统的合成模块。

在本文中，我们介绍了一种新颖的深入学习方法，用于“野外”视频中演员的情绪状态的光学逼真操纵。所提出的方法基于输入场景中的演员的参数3D面表示，其提供来自头部姿势和面部表达的面部身份的可靠性解剖。然后，它使用新的深度域翻译框架，以符合他们的动态，以一致而合理的方式改变面部表情。最后，改变改变的面部表情用于基于特别设计的神经面渲染器光实际地操纵输入场景中的面部区域。据我们所知，我们的方法是第一个能够通过唯一用作操纵情绪的语义标记来控制演员的面部表情，同时保持与语音相关的唇部运动。我们进行广泛的定性和定量评估和比较，展示了我们的方法的有效性以及我们获得的特别有希望的结果。我们的方法为神经渲染技术的有用应用开辟了一种新的可能性，从电影后生产和视频游戏到照片逼真的情感化身。

Figure 1: "Do as I Do" motion transfer: given a YouTube clip of a ballerina (top), and a video of a graduate student performing various motions, our method transfers the ballerina's performance onto the student (bottom).

InputOutput Input Output Fig. 1. Unlike current face reenactment approaches that only modify the expression of a target actor in a video, our novel deep video portrait approach enables full control over the target by transferring the rigid head pose, facial expression and eye motion with a high level of photorealism.We present a novel approach that enables photo-realistic re-animation of portrait videos using only an input video. In contrast to existing approaches that are restricted to manipulations of facial expressions only, we are the irst to transfer the full 3D head position, head rotation, face expression, eye gaze, and eye blinking from a source actor to a portrait video of a target actor. The core of our approach is a generative neural network with a novel space-time architecture. The network takes as input synthetic renderings of a parametric face model, based on which it predicts photo-realistic video frames for a given target actor. The realism in this rendering-to-video transfer is achieved by careful adversarial training, and as a result, we can create modiied target videos that mimic the behavior of the synthetically-created input. In order to enable source-to-target video re-animation, we render a synthetic target video with the reconstructed head animation parameters from a source video, and feed it into the trained network ś thus taking full control of the

我们提出了自由式 - 人体神经通话的头部合成系统。我们表明，具有稀疏3D面部标志的建模面孔足以实现最先进的生成性能，而无需依赖诸如3D可变形模型之类的强统计学先验。除了3D姿势和面部表情外，我们的方法还能够将目光从驾驶演员转移到源身份。我们的完整管道由三个组件组成：一个规范的3D密钥估计器，可回归3D姿势和与表达相关的变形，凝视估计网络和建立在Headgan架构上的生成器。我们进一步实验发电机的扩展，以使用注意机制可容纳几次学习，以防万一可用多个源图像。与最新的重演和运动转移模型相比，我们的系统实现了更高的照片真实性与优越的身份保护，同时提供明确的注视控制。

编辑和操纵视频中的面部特征是一种有趣而重要的研究领域，具有夸张的应用，从电影生产和视觉效果到视频游戏和虚拟助手的现实头像。据我们所知，本文提出了第一种在视频中进行了对面部表情的照相型式操纵的方法。我们的方法支持基于神经渲染和基于3D的面部表情建模的语义视频操纵。我们专注于通过改变和控制面部表情来互动操纵视频，实现有前途的光电温度效果。该方法基于用于3D面部形状和活动的脱屑表示和估计，为用户提供对输入视频中的面部表情的直观且易于使用的控制。我们还介绍了一个用户友好的交互式AI工具，该工具处理有关输入视频的特定部分的所需情绪操纵的人类可读的语义标签，并合成光电环境拟人的操纵视频。我们通过将情绪标签映射到价值（VA）值来实现这一点，又通过特别设计和训练的表达式解码器网络映射到解开的3D面部表达式。本文提出了详细的定性和定量实验，展示了我们系统的有效性以及它实现的有希望的结果。可以在补充材料中找到其他结果和视频（https://github.com/girish-03/deepsemmanipulation）。

照片逼真的面部视频肖像重演益处虚拟生产和众多VR / AR经验。由于肖像应该保持高现实主义和与目标环境的一致性，任务仍然具有挑战性。在本文中，我们介绍了一种可靠的神经视频肖像，同步的致密和再生方案，其将头部姿势和面部表达从源actor传送到具有任意新的背景和照明条件的目标演员的肖像视频。我们的方法结合了4D反射场学习，基于模型的面部性能捕获和目标感知神经渲染。具体地，我们采用渲染到视频翻译网络首先从混合面部性能捕获结果中合成高质量的OLAT镜片和alpha锍。然后，我们设计了一个语义感知的面部归一化方案，以实现可靠的显式控制以及多帧多任务学习策略，以同时编码内容，分割和时间信息以获得高质量的反射场推断。在培训之后，我们的方法进一步实现了目标表演者的照片现实和可控的视频肖像编辑。通过将相同的混合面部捕获和归一化方案应用于源视频输入，可以获得可靠的面部姿势和表达编辑，而我们的显式alpha和Olat输出使高质量的依据和背景编辑能够实现。凭借实现同步致密和再生的能力，我们能够改善各种虚拟生产和视频重写应用程序的现实主义。

Figure 1: FaceForensics++ is a dataset of facial forgeries that enables researchers to train deep-learning-based approaches in a supervised fashion. The dataset contains manipulations created with four state-of-the-art methods, namely, Face2Face, FaceSwap, DeepFakes, and NeuralTextures.

手语是聋人和听力受损社区中使用的沟通语言的主要形式。在听力障碍和听力社区之间进行简单互相的沟通，建立一个能够将口语翻译成手语的强大系统，反之亦然是基本的。为此，标志语言识别和生产是制作这种双向系统的两个必要零件。手语识别和生产需要应对一些关键挑战。在这项调查中，我们审查了使用深度学习的手语制作（SLP）和相关领域的最近进展。为了有更现实的观点来签署语言，我们介绍了聋人文化，聋人中心，手语的心理视角，口语和手语之间的主要差异。此外，我们介绍了双向手语翻译系统的基本组成部分，讨论了该领域的主要挑战。此外，简要介绍了SLP中的骨干架构和方法，并提出了拟议的SLP分类物。最后，介绍了SLP和绩效评估的一般框架，也讨论了SLP最近的发展，优势和限制，评论可能的未来研究的可能线条。

在运动中的运动中综合动态外观在诸如AR / VR和视频编辑的应用中起着核心作用。虽然已经提出了最近的许多方法来解决这个问题，但处理具有复杂纹理和高动态运动的松散服装仍然仍然具有挑战性。在本文中，我们提出了一种基于视频的外观综合方法，可以解决此类挑战，并为之前尚未显示的野外视频的高质量结果。具体而言，我们采用基于样式的基于STYLEGAN的架构，对基于人的特定视频的运动retrargeting的任务。我们介绍了一种新的运动签名，用于调制发电机权重以捕获动态外观变化以及正规化基于帧的姿势估计以提高时间一致性。我们在一组具有挑战性的视频上评估我们的方法，并表明我们的方法可以定性和定量地实现最先进的性能。

我们的目标是从规定的行动类别中解决从规定的行动类别创造多元化和自然人动作视频的有趣但具有挑战性的问题。关键问题在于能够在视觉外观中综合多种不同的运动序列。在本文中通过两步过程实现，该两步处理维持内部3D姿势和形状表示，Action2Motion和Motion2Video。 Action2Motion随机生成规定的动作类别的合理的3D姿势序列，该类别由Motion2Video进行处理和呈现，以形成2D视频。具体而言，Lie代数理论从事人类运动学的物理法之后代表自然人动作;开发了一种促进输出运动的分集的时间变化自动编码器（VAE）。此外，给定衣服人物的额外输入图像，提出了整个管道以提取他/她的3D详细形状，并在视频中呈现来自不同视图的合理运动。这是通过改进从单个2D图像中提取3D人类形状和纹理，索引，动画和渲染的现有方法来实现这一点，以形成人类运动的2D视频。它还需要3D人类运动数据集的策策和成果进行培训目的。彻底的经验实验，包括消融研究，定性和定量评估表现出我们的方法的适用性，并展示了解决相关任务的竞争力，其中我们的方法的组成部分与最先进的方式比较。

We present a new method for generating controllable, dynamically responsive, and photorealistic human animations. Given an image of a person, our system allows the user to generate Physically plausible Upper Body Animation (PUBA) using interaction in the image space, such as dragging their hand to various locations. We formulate a reinforcement learning problem to train a dynamic model that predicts the person's next 2D state (i.e., keypoints on the image) conditioned on a 3D action (i.e., joint torque), and a policy that outputs optimal actions to control the person to achieve desired goals. The dynamic model leverages the expressiveness of 3D simulation and the visual realism of 2D videos. PUBA generates 2D keypoint sequences that achieve task goals while being responsive to forceful perturbation. The sequences of keypoints are then translated by a pose-to-image generator to produce the final photorealistic video.

虽然先前以语音为导向的说话面部生成方法在改善合成视频的视觉质量和唇部同步质量方面取得了重大进展，但它们对唇部运动的关注较少，从而极大地破坏了说话面部视频的真实性。是什么导致运动烦恼，以及如何减轻问题？在本文中，我们基于最先进的管道对运动抖动问题进行系统分析，该管道使用3D面表示桥接输入音频和输出视频，并通过一系列有效的设计来改善运动稳定性。我们发现，几个问题可能会导致综合说话的面部视频中的烦恼：1）输入3D脸部表示的烦恼； 2）训练推导不匹配； 3）视频帧之间缺乏依赖建模。因此，我们提出了三种有效的解决方案来解决此问题：1）我们提出了一个基于高斯的自适应平滑模块，以使3D面部表征平滑以消除输入中的抖动； 2）我们在训练中对神经渲染器的输入数据增加了增强的侵蚀，以模拟推理中的变形以减少不匹配； 3）我们开发了一个音频融合的变压器生成器，以模拟视频帧之间的依赖性。此外，考虑到没有现成的指标来测量说话面部视频中的运动抖动，我们设计了一个客观的度量标准（运动稳定性指数，MSI），可以通过计算方差加速度的倒数来量化运动抖动。广泛的实验结果表明，我们方法对运动稳定的面部视频生成的优越性，其质量比以前的系统更好。

尽管已经对音频驱动的说话的面部生成取得了重大进展，但现有方法要么忽略面部情绪，要么不能应用于任意主题。在本文中，我们提出了情感感知的运动模型（EAMM），以通过涉及情感源视频来产生一次性的情感谈话面孔。具体而言，我们首先提出了一个Audio2Facial-Dynamics模块，该模块从音频驱动的无监督零和一阶密钥点运动中进行说话。然后，通过探索运动模型的属性，我们进一步提出了一个隐性的情绪位移学习者，以表示与情绪相关的面部动力学作为对先前获得的运动表示形式的线性添加位移。全面的实验表明，通过纳入两个模块的结果，我们的方法可以在具有现实情感模式的任意主题上产生令人满意的说话面部结果。

尽管基于深度学习的面部相关模型成功显着，但这些模型仍然仅限于真正人类面的领域。另一方面，由于缺乏组织良好的数据集，由于缺乏组织的数据集，动画面的域已经不太积极地研究。在本文中，我们通过可控的合成动画模型介绍了一个大规模动画CeleBfaces数据集（AnimeCeleb），以提高动画面域的研究。为了促进数据生成过程，我们基于开放式3D软件和开发的注释系统构建半自动管道。这导致构建大型动画面部数据集，包括具有丰富注释的多姿态和多样式动画面。实验表明，我们的数据集适用于各种动画相关的任务，如头部重新创建和着色。

双打在电影业中起着必不可少的作用。他们代替了演员在危险的特技场景或同一演员扮演多个角色的场景中代替。后来，Double的脸被演员的脸部和表达式取代，并用昂贵的CGI技术手动表达，耗资数百万美元，花了几个月的时间才能完成。一种自动化，廉价且快速的方法可以是使用旨在将身份从源面部视频（或图像）交换为目标面部视频的面部交换技术。但是，这种方法无法保留演员对场景上下文重要的源表达式。 ％对场景必不可少的。在电影院中必不可少的％。为了应对这一挑战，我们介绍了视频对视频（V2V）面部扫描，这是一项可以保留面部交换的新任务（1）源（演员）面部视频的身份和表达方式和（2）背景和目标（双重）视频的姿势。我们提出了一个V2V面部交换系统Cownoff，该系统通过学习强大的混合操作来运行，以根据上述约束来合并两个面部视频。它首先将视频减少到量化的潜在空间，然后将它们混合在减少的空间中。对抗以一种自我监督的方式进行了训练，并坚决应对V2V面部交换的非平凡挑战。如实验部分所示，面对面的表现明显优于定性和定量的交替方法。

我们提出了一种新的姿势转移方法，用于从由一系列身体姿势控制的人的单个图像中综合人类动画。现有的姿势转移方法在申请新颖场景时表现出显着的视觉伪影，从而导致保留人的身份和纹理的时间不一致和失败。为了解决这些限制，我们设计了一种构成神经网络，预测轮廓，服装标签和纹理。每个模块化网络明确地专用于可以从合成数据学习的子任务。在推理时间，我们利用训练有素的网络在UV坐标中产生统一的外观和标签，其横跨姿势保持不变。统一的代表提供了一个不完整的且强烈指导，以响应姿势变化而产生外观。我们使用训练有素的网络完成外观并呈现背景。通过这些策略，我们能够以时间上连贯的方式综合人类动画，这些动画可以以时间上连贯的方式保护人的身份和外观，而无需在测试场景上进行任何微调。实验表明，我们的方法在合成质量，时间相干性和泛化能力方面优于最先进的。

Animating portraits using speech has received growing attention in recent years, with various creative and practical use cases. An ideal generated video should have good lip sync with the audio, natural facial expressions and head motions, and high frame quality. In this work, we present SPACE, which uses speech and a single image to generate high-resolution, and expressive videos with realistic head pose, without requiring a driving video. It uses a multi-stage approach, combining the controllability of facial landmarks with the high-quality synthesis power of a pretrained face generator. SPACE also allows for the control of emotions and their intensities. Our method outperforms prior methods in objective metrics for image quality and facial motions and is strongly preferred by users in pair-wise comparisons. The project website is available at https://deepimagination.cc/SPACE/

由于深度学习的出现，图像数据的最新技术对单眼3D面对重建的重建取得了令人印象深刻的进步。但是，它主要集中于来自单个RGB图像的输入，忽略以下重要因素：a）如今，感兴趣的绝大多数面部图像数据不是来自单个图像，而是来自包含丰富动态信息的视频。 。 b）此外，这些视频通常以某种形式的口头交流捕捉个人（公众对话，电视会议，视听人类计算机的互动，访谈，电影中的独白/对话等）。当在此类视频中应用现有的3D面部重建方法时，重建口腔区域的形状和运动中的伪影通常很严重，因为它们与语音音频不太匹配。为了克服上述局限性，我们提出了3D口表达的视觉语音感知重建的第一种方法。我们通过提出“口语”损失来做到这一点，该损失指导拟合过程，从而使3D重建的说话头的感知与原始录像相似。我们证明，有趣的是，与传统的具有里程碑意义的损失，甚至直接3D监督相比，口头损失更适合3D重建嘴运动。此外，设计的方法不依赖于任何文本转录或相应的音频，因此非常适合在未标记的数据集中培训。我们通过对三个大规模数据集的详尽客观评估以及通过两种基于网络的用户研究进行主观评估来验证方法的效率。

Figure 1: Given a monocular portrait video sequence of a person, we reconstruct a dynamic neural radiance field representing a 4D facial avatar, which allows us to synthesize novel head poses as well as changes in facial expressions.