我们为基于视频的面部表情捕获提出了一个实时深入学习框架。我们的进程使用基于面对面的高端面部捕获管道来捕获面部表情。我们训练一个卷积神经网络，从视频训练生产高质量的连续闪打形状。由于这种面部捕获是完全自动化的，我们的系统可以大大减少现代叙事驱动的视频游戏或涉及现实数字双打行动者的植物的劳动量，以及每个角色的动画对话的潜在时间。我们展示了挑战性地区（如眼睛和嘴唇）的令人信服的动画推断。

生产级别的工作流程用于产生令人信服的3D动态人体面孔长期以来依赖各种劳动密集型工具用于几何和纹理生成，运动捕获和索具以及表达合成。最近的神经方法可以使单个组件自动化，但是相应的潜在表示不能像常规工具一样为艺术家提供明确的控制。在本文中，我们提出了一种新的基于学习的，视频驱动的方法，用于生成具有高质量基于物理资产的动态面部几何形状。对于数据收集，我们构建了一个混合多视频测量捕获阶段，与超快速摄像机耦合以获得原始的3D面部资产。然后，我们着手使用单独的VAE对面部表达，几何形状和基于物理的纹理进行建模，我们在各个网络的潜在范围内强加了基于全局MLP的表达映射，以保留各个属性的特征。我们还将增量信息建模为基于物理的纹理的皱纹图，从而达到高质量的4K动态纹理。我们展示了我们在高保真表演者特异性面部捕获和跨认同面部运动重新定位中的方法。此外，我们的基于多VAE的神经资产以及快速适应方案也可以部署以处理内部视频。此外，我们通过提供具有较高现实主义的各种有希望的基于身体的编辑结果来激发我们明确的面部解散策略的实用性。综合实验表明，与以前的视频驱动的面部重建和动画方法相比，我们的技术提供了更高的准确性和视觉保真度。

照片逼真的面部视频肖像重演益处虚拟生产和众多VR / AR经验。由于肖像应该保持高现实主义和与目标环境的一致性，任务仍然具有挑战性。在本文中，我们介绍了一种可靠的神经视频肖像，同步的致密和再生方案，其将头部姿势和面部表达从源actor传送到具有任意新的背景和照明条件的目标演员的肖像视频。我们的方法结合了4D反射场学习，基于模型的面部性能捕获和目标感知神经渲染。具体地，我们采用渲染到视频翻译网络首先从混合面部性能捕获结果中合成高质量的OLAT镜片和alpha锍。然后，我们设计了一个语义感知的面部归一化方案，以实现可靠的显式控制以及多帧多任务学习策略，以同时编码内容，分割和时间信息以获得高质量的反射场推断。在培训之后，我们的方法进一步实现了目标表演者的照片现实和可控的视频肖像编辑。通过将相同的混合面部捕获和归一化方案应用于源视频输入，可以获得可靠的面部姿势和表达编辑，而我们的显式alpha和Olat输出使高质量的依据和背景编辑能够实现。凭借实现同步致密和再生的能力，我们能够改善各种虚拟生产和视频重写应用程序的现实主义。

InputOutput Input Output Fig. 1. Unlike current face reenactment approaches that only modify the expression of a target actor in a video, our novel deep video portrait approach enables full control over the target by transferring the rigid head pose, facial expression and eye motion with a high level of photorealism.We present a novel approach that enables photo-realistic re-animation of portrait videos using only an input video. In contrast to existing approaches that are restricted to manipulations of facial expressions only, we are the irst to transfer the full 3D head position, head rotation, face expression, eye gaze, and eye blinking from a source actor to a portrait video of a target actor. The core of our approach is a generative neural network with a novel space-time architecture. The network takes as input synthetic renderings of a parametric face model, based on which it predicts photo-realistic video frames for a given target actor. The realism in this rendering-to-video transfer is achieved by careful adversarial training, and as a result, we can create modiied target videos that mimic the behavior of the synthetically-created input. In order to enable source-to-target video re-animation, we render a synthetic target video with the reconstructed head animation parameters from a source video, and feed it into the trained network ś thus taking full control of the

近年来，由于其在数字人物，角色产生和动画中的广泛应用，人们对3D人脸建模的兴趣越来越大。现有方法压倒性地强调了对面部的外部形状，质地和皮肤特性建模，而忽略了内部骨骼结构和外观之间的固有相关性。在本文中，我们使用学习的参数面部发电机提出了雕塑家，具有骨骼一致性的3D面部创作，旨在通过混合参数形态表示轻松地创建解剖上正确和视觉上令人信服的面部模型。雕塑家的核心是露西（Lucy），这是与整形外科医生合作的第一个大型形状面部脸部数据集。我们的Lucy数据集以最古老的人类祖先之一的化石命名，其中包含正牙手术前后全人头的高质量计算机断层扫描（CT）扫描，这对于评估手术结果至关重要。露西（Lucy）由144次扫描，分别对72名受试者（31名男性和41名女性）组成，其中每个受试者进行了两次CT扫描，并在恐惧后手术中进行了两次CT扫描。根据我们的Lucy数据集，我们学习了一个新颖的骨骼一致的参数面部发电机雕塑家，它可以创建独特而细微的面部特征，以帮助定义角色，同时保持生理声音。我们的雕塑家通过将3D脸的描绘成形状混合形状，姿势混合形状和面部表达混合形状，共同在统一数据驱动的框架下共同建模头骨，面部几何形状和面部外观。与现有方法相比，雕塑家在面部生成任务中保留了解剖学正确性和视觉现实主义。最后，我们展示了雕塑家在以前看不见的各种花式应用中的鲁棒性和有效性。

Animating portraits using speech has received growing attention in recent years, with various creative and practical use cases. An ideal generated video should have good lip sync with the audio, natural facial expressions and head motions, and high frame quality. In this work, we present SPACE, which uses speech and a single image to generate high-resolution, and expressive videos with realistic head pose, without requiring a driving video. It uses a multi-stage approach, combining the controllability of facial landmarks with the high-quality synthesis power of a pretrained face generator. SPACE also allows for the control of emotions and their intensities. Our method outperforms prior methods in objective metrics for image quality and facial motions and is strongly preferred by users in pair-wise comparisons. The project website is available at https://deepimagination.cc/SPACE/

微表达（MES）是非自愿的面部运动，揭示了人们在高利害情况下隐藏的感受，并对医疗，国家安全，审讯和许多人机交互系统具有实际重要性。早期的MER方法主要基于传统的外观和几何特征。最近，随着各种领域的深度学习（DL）的成功，神经网络已得到MER的兴趣。不同于宏观表达，MES是自发的，微妙的，快速的面部运动，导致数据收集困难，因此具有小规模的数据集。由于上述我的角色，基于DL的MER变得挑战。迄今为止，已提出各种DL方法来解决我的问题并提高MER表现。在本调查中，我们对深度微表达识别（MER）进行了全面的审查，包括数据集，深度MER管道和最具影响力方法的基准标记。本调查定义了该领域的新分类法，包括基于DL的MER的所有方面。对于每个方面，总结和讨论了基本方法和高级发展。此外，我们得出了坚固的深层MER系统设计的剩余挑战和潜在方向。据我们所知，这是对深度MEL方法的第一次调查，该调查可以作为未来MER研究的参考点。

3D面部重建是一个具有挑战性的问题，但也是计算机视觉和图形领域的重要任务。最近，许多研究人员对这个问题提请注意，并且已经发表了大量的文章。单个图像重建是3D面部重建的分支之一，在我们的生活中具有大量应用。本文是对从单个图像的3D面部重建最近的文献述评。

虽然先前以语音为导向的说话面部生成方法在改善合成视频的视觉质量和唇部同步质量方面取得了重大进展，但它们对唇部运动的关注较少，从而极大地破坏了说话面部视频的真实性。是什么导致运动烦恼，以及如何减轻问题？在本文中，我们基于最先进的管道对运动抖动问题进行系统分析，该管道使用3D面表示桥接输入音频和输出视频，并通过一系列有效的设计来改善运动稳定性。我们发现，几个问题可能会导致综合说话的面部视频中的烦恼：1）输入3D脸部表示的烦恼； 2）训练推导不匹配； 3）视频帧之间缺乏依赖建模。因此，我们提出了三种有效的解决方案来解决此问题：1）我们提出了一个基于高斯的自适应平滑模块，以使3D面部表征平滑以消除输入中的抖动； 2）我们在训练中对神经渲染器的输入数据增加了增强的侵蚀，以模拟推理中的变形以减少不匹配； 3）我们开发了一个音频融合的变压器生成器，以模拟视频帧之间的依赖性。此外，考虑到没有现成的指标来测量说话面部视频中的运动抖动，我们设计了一个客观的度量标准（运动稳定性指数，MSI），可以通过计算方差加速度的倒数来量化运动抖动。广泛的实验结果表明，我们方法对运动稳定的面部视频生成的优越性，其质量比以前的系统更好。

深度神经网络在人类分析中已经普遍存在，增强了应用的性能，例如生物识别识别，动作识别以及人重新识别。但是，此类网络的性能通过可用的培训数据缩放。在人类分析中，对大规模数据集的需求构成了严重的挑战，因为数据收集乏味，廉价，昂贵，并且必须遵守数据保护法。当前的研究研究了\ textit {合成数据}的生成，作为在现场收集真实数据的有效且具有隐私性的替代方案。这项调查介绍了基本定义和方法，在生成和采用合成数据进行人类分析时必不可少。我们进行了一项调查，总结了当前的最新方法以及使用合成数据的主要好处。我们还提供了公开可用的合成数据集和生成模型的概述。最后，我们讨论了该领域的局限性以及开放研究问题。这项调查旨在为人类分析领域的研究人员和从业人员提供。

对于场景重建和新型视图综合的数量表示形式的普及最近，人们的普及使重点放在以高视觉质量和实时为实时的体积内容动画上。尽管基于学习功能的隐性变形方法可以产生令人印象深刻的结果，但它们是艺术家和内容创建者的“黑匣子”，但它们需要大量的培训数据才能有意义地概括，并且在培训数据之外不会产生现实的外推。在这项工作中，我们通过引入实时的音量变形方法来解决这些问题，该方法是实时的，易于使用现成的软件编辑，并且可以令人信服地推断出来。为了证明我们方法的多功能性，我们将其应用于两种情况：基于物理的对象变形和触发性，其中使用Blendshapes控制着头像。我们还进行了彻底的实验，表明我们的方法与两种体积方法相比，结合了基于网格变形的隐式变形和方法。

从人们到3D面部模型的面部表情转移是一种经典的计算机图形问题。在本文中，我们提出了一种基于学习的基于学习的方法，将来自图像和视频从图像和视频转移到面部头颈络合物的生物力学模型。利用面部动作编码系统（FACS）作为表达空间的中间表示，我们训练深度神经网络，采用FACS动作单元（AUS），并为肌肉骨骼模型输出合适的面部肌肉和钳口激活信号。通过生物力学模拟，激活变形了面部软组织，从而将表达转移到模型。我们的方法具有比以前的方法相比。首先，面部表情是剖贯的一致，因为我们的生物力学模型模拟了面部，头部和颈部的相关解剖结构。其次，通过使用从生物力学模型本身产生的数据训练神经网络，我们消除了数据收集的表达式转移的手动努力。通过涉及转移到面部表情和头部姿势的实验，通过实验证明了我们的方法的成功。

Proposed online reenactment setup: a monocular target video sequence (e.g., from Youtube) is reenacted based on the expressions of a source actor who is recorded live with a commodity webcam.

由于深度学习的出现，图像数据的最新技术对单眼3D面对重建的重建取得了令人印象深刻的进步。但是，它主要集中于来自单个RGB图像的输入，忽略以下重要因素：a）如今，感兴趣的绝大多数面部图像数据不是来自单个图像，而是来自包含丰富动态信息的视频。 。 b）此外，这些视频通常以某种形式的口头交流捕捉个人（公众对话，电视会议，视听人类计算机的互动，访谈，电影中的独白/对话等）。当在此类视频中应用现有的3D面部重建方法时，重建口腔区域的形状和运动中的伪影通常很严重，因为它们与语音音频不太匹配。为了克服上述局限性，我们提出了3D口表达的视觉语音感知重建的第一种方法。我们通过提出“口语”损失来做到这一点，该损失指导拟合过程，从而使3D重建的说话头的感知与原始录像相似。我们证明，有趣的是，与传统的具有里程碑意义的损失，甚至直接3D监督相比，口头损失更适合3D重建嘴运动。此外，设计的方法不依赖于任何文本转录或相应的音频，因此非常适合在未标记的数据集中培训。我们通过对三个大规模数据集的详尽客观评估以及通过两种基于网络的用户研究进行主观评估来验证方法的效率。

地标通常在面部分析中起关键作用，但是仅凭稀疏地标就不能代表身份或表达的许多方面。因此，为了更准确地重建面，地标通常与其他信号（如深度图像或技术）相结合，例如可区分渲染。我们可以通过使用更多地标使事情变得简单吗？在答案中，我们提出了第一种准确地预测10倍地标的方法，覆盖整个头部，包括眼睛和牙齿。这是使用合成培训数据来完成的，该数据保证了完美的地标注释。通过将可变形的模型拟合到这些密集的地标，我们可以在野外实现单眼3D面重建的最新结果。我们表明，密集的地标是通过在单眼和多视图方案中展示准确和表现力的面部绩效捕获来整合跨帧面部形状信息的理想信号。这种方法也非常有效：我们可以预测密集的地标，并在单个CPU线程上以超过150fps的速度适合我们的3D面模型。请参阅我们的网站：https：//microsoft.github.io/denselandmarks/。

深度学习已成功地用于解决从大数据分析到计算机视觉和人级控制的各种复杂问题。但是，还采用了深度学习进步来创建可能构成隐私，民主和国家安全威胁的软件。最近出现的那些深度学习驱动的应用程序之一是Deepfake。 DeepFake算法可以创建人类无法将它们与真实图像区分开的假图像和视频。因此，可以自动检测和评估数字视觉媒体完整性的技术的建议是必不可少的。本文介绍了一项用于创造深击的算法的调查，更重要的是，提出的方法旨在检测迄今为止文献中的深击。我们对与Deepfake技术有关的挑战，研究趋势和方向进行了广泛的讨论。通过回顾深层味和最先进的深层检测方法的背景，本研究提供了深入的深层技术的概述，并促进了新的，更强大的方法的发展，以应对日益挑战性的深击。

面部额叶化包括从任意观看的脸部合成正面观看的脸部。本文的主要贡献是一种额叶化方法，该方法可以保留非刚性面部变形，以提高视觉辅助语音交流的性能。该方法在（i）〜刚性转换（刻度，旋转和翻译）和（ii）〜任意观看的面部和面部模型之间的非rigid变形之间交替交替。该方法具有两个重要的优点：它可以处理数据中的非高斯错误，并结合了动态的面部变形模型。为此，我们将广义的学生T-分布与线性动态系统结合使用，以说明僵化的头部运动和由语音产生引起的时变面部变形。我们建议使用零均值的归一化互相关（ZNCC）评分来评估该方法保留面部表情的能力。根据传统的几何模型或深度学习，对该方法进行了彻底评估并与几种最先进的方法进行了比较。此外，我们表明，当将这种方法纳入深度学习管道中时，即唇部阅读和语音增强，将单词识别和语音智能分数提高了相当大的差距。可以在https://team.inria.fr/robotlearn/research/facefrontalization-benchmark/上访问补充材料

Figure 1: FaceForensics++ is a dataset of facial forgeries that enables researchers to train deep-learning-based approaches in a supervised fashion. The dataset contains manipulations created with four state-of-the-art methods, namely, Face2Face, FaceSwap, DeepFakes, and NeuralTextures.

As one of the most important psychic stress reactions, micro-expressions (MEs), are spontaneous and transient facial expressions that can reveal the genuine emotions of human beings. Thus, recognizing MEs (MER) automatically is becoming increasingly crucial in the field of affective computing, and provides essential technical support in lie detection, psychological analysis and other areas. However, the lack of abundant ME data seriously restricts the development of cutting-edge data-driven MER models. Despite the recent efforts of several spontaneous ME datasets to alleviate this problem, it is still a tiny amount of work. To solve the problem of ME data hunger, we construct a dynamic spontaneous ME dataset with the largest current ME data scale, called DFME (Dynamic Facial Micro-expressions), which includes 7,526 well-labeled ME videos induced by 671 participants and annotated by more than 20 annotators throughout three years. Afterwards, we adopt four classical spatiotemporal feature learning models on DFME to perform MER experiments to objectively verify the validity of DFME dataset. In addition, we explore different solutions to the class imbalance and key-frame sequence sampling problems in dynamic MER respectively on DFME, so as to provide a valuable reference for future research. The comprehensive experimental results show that our DFME dataset can facilitate the research of automatic MER, and provide a new benchmark for MER. DFME will be published via https://mea-lab-421.github.io.

综合照片 - 现实图像和视频是计算机图形的核心，并且是几十年的研究焦点。传统上，使用渲染算法（如光栅化或射线跟踪）生成场景的合成图像，其将几何形状和材料属性的表示为输入。统称，这些输入定义了实际场景和呈现的内容，并且被称为场景表示（其中场景由一个或多个对象组成）。示例场景表示是具有附带纹理的三角形网格（例如，由艺术家创建），点云（例如，来自深度传感器），体积网格（例如，来自CT扫描）或隐式曲面函数（例如，截短的符号距离）字段）。使用可分辨率渲染损耗的观察结果的这种场景表示的重建被称为逆图形或反向渲染。神经渲染密切相关，并将思想与经典计算机图形和机器学习中的思想相结合，以创建用于合成来自真实观察图像的图像的算法。神经渲染是朝向合成照片现实图像和视频内容的目标的跨越。近年来，我们通过数百个出版物显示了这一领域的巨大进展，这些出版物显示了将被动组件注入渲染管道的不同方式。这种最先进的神经渲染进步的报告侧重于将经典渲染原则与学习的3D场景表示结合的方法，通常现在被称为神经场景表示。这些方法的一个关键优势在于它们是通过设计的3D-一致，使诸如新颖的视点合成捕获场景的应用。除了处理静态场景的方法外，我们还涵盖了用于建模非刚性变形对象的神经场景表示...