虽然深度神经网络的最近进步使得可以呈现高质量的图像，产生照片 - 现实和个性化的谈话头部仍然具有挑战性。通过给定音频，解决此任务的关键是同步唇部运动，同时生成头部移动和眼睛闪烁等个性化属性。在这项工作中，我们观察到输入音频与唇部运动高度相关，而与其他个性化属性的较少相关（例如，头部运动）。受此启发，我们提出了一种基于神经辐射场的新颖框架，以追求高保真和个性化的谈话。具体地，神经辐射场将唇部运动特征和个性化属性作为两个解除态条件采用，其中从音频输入直接预测唇部移动以实现唇部同步的生成。同时，从概率模型采样个性化属性，我们设计了从高斯过程中采样的基于变压器的变差自动码器，以学习合理的和自然的头部姿势和眼睛闪烁。在几个基准上的实验表明，我们的方法比最先进的方法达到了更好的结果。

我们提出了Styletalker，这是一种新颖的音频驱动的会说话的头部生成模型，可以从单个参考图像中综合一个会说话的人的视频，并具有准确的音频同步的唇形，逼真的头姿势和眼睛眨眼。具体而言，通过利用预验证的图像生成器和图像编码器，我们估计了会说话的头视频的潜在代码，这些代码忠实地反映了给定的音频。通过几个新设计的组件使这成为可能：1）一种用于准确唇部同步的对比性唇部同步鉴别剂，2）一种条件顺序的连续变异自动编码器，该差异自动编码器了解从唇部运动中解散的潜在运动空间，以便我们可以独立地操纵运动运动的运动。和唇部运动，同时保留身份。 3）自动回归事先增强，并通过标准化流量来学习复杂的音频到运动多模式潜在空间。配备了这些组件，Styletalker不仅可以在给出另一个运动源视频时以动作控制的方式生成说话的头视频，而且还可以通过从输入音频中推断出现实的动作，以完全由音频驱动的方式生成。通过广泛的实验和用户研究，我们表明我们的模型能够以令人印象深刻的感知质量合成会说话的头部视频，这些视频与输入音频相符，可以准确地唇部同步，这在很大程度上要优于先进的基线。

虽然先前以语音为导向的说话面部生成方法在改善合成视频的视觉质量和唇部同步质量方面取得了重大进展，但它们对唇部运动的关注较少，从而极大地破坏了说话面部视频的真实性。是什么导致运动烦恼，以及如何减轻问题？在本文中，我们基于最先进的管道对运动抖动问题进行系统分析，该管道使用3D面表示桥接输入音频和输出视频，并通过一系列有效的设计来改善运动稳定性。我们发现，几个问题可能会导致综合说话的面部视频中的烦恼：1）输入3D脸部表示的烦恼； 2）训练推导不匹配； 3）视频帧之间缺乏依赖建模。因此，我们提出了三种有效的解决方案来解决此问题：1）我们提出了一个基于高斯的自适应平滑模块，以使3D面部表征平滑以消除输入中的抖动； 2）我们在训练中对神经渲染器的输入数据增加了增强的侵蚀，以模拟推理中的变形以减少不匹配； 3）我们开发了一个音频融合的变压器生成器，以模拟视频帧之间的依赖性。此外，考虑到没有现成的指标来测量说话面部视频中的运动抖动，我们设计了一个客观的度量标准（运动稳定性指数，MSI），可以通过计算方差加速度的倒数来量化运动抖动。广泛的实验结果表明，我们方法对运动稳定的面部视频生成的优越性，其质量比以前的系统更好。

In this paper, we introduce a simple and novel framework for one-shot audio-driven talking head generation. Unlike prior works that require additional driving sources for controlled synthesis in a deterministic manner, we instead probabilistically sample all the holistic lip-irrelevant facial motions (i.e. pose, expression, blink, gaze, etc.) to semantically match the input audio while still maintaining both the photo-realism of audio-lip synchronization and the overall naturalness. This is achieved by our newly proposed audio-to-visual diffusion prior trained on top of the mapping between audio and disentangled non-lip facial representations. Thanks to the probabilistic nature of the diffusion prior, one big advantage of our framework is it can synthesize diverse facial motion sequences given the same audio clip, which is quite user-friendly for many real applications. Through comprehensive evaluations on public benchmarks, we conclude that (1) our diffusion prior outperforms auto-regressive prior significantly on almost all the concerned metrics; (2) our overall system is competitive with prior works in terms of audio-lip synchronization but can effectively sample rich and natural-looking lip-irrelevant facial motions while still semantically harmonized with the audio input.

Talking Head Synthesis是一项新兴技术，在电影配音，虚拟化身和在线教育中具有广泛的应用。最近基于NERF的方法会产生更自然的会话视频，因为它们更好地捕获了面部的3D结构信息。但是，需要使用大型数据集对每个身份进行特定模型。在本文中，我们提出了动态面部辐射场（DFRF），以进行几次交谈的头部综合，这可以在很少的训练数据中迅速概括为看不见的身份。与现有的基于NERF的方法不同，该方法将特定人的3D几何形状和外观直接编码到网络中，我们的DFRF条件面对2D外观图像上的辐射场，以便先验学习面部。因此，可以通过很少的参考图像灵活地调整面部辐射场。此外，为了更好地对面部变形进行建模，我们提出了一个在音频信号条件下的可区分面翘曲模块，以使所有参考图像变形到查询空间。广泛的实验表明，只有数十秒钟的训练剪辑可用，我们提出的DFRF可以合成天然和高质量的音频驱动的会说话的头视频，用于只有40k迭代的新身份。我们强烈建议读者查看我们的补充视频以进行直观的比较。代码可在https://sstzal.github.io/dfrf/中找到。

与传统的头像创建管道相反，这是一个昂贵的过程，现代生成方法直接从照片中学习数据分布，而艺术的状态现在可以产生高度的照片现实图像。尽管大量作品试图扩展无条件的生成模型并达到一定程度的可控性，但要确保多视图一致性，尤其是在大型姿势中，仍然具有挑战性。在这项工作中，我们提出了一个3D肖像生成网络，该网络可产生3D一致的肖像，同时根据有关姿势，身份，表达和照明的语义参数可控。生成网络使用神经场景表示在3D中建模肖像，其生成以支持明确控制的参数面模型为指导。尽管可以通过将图像与部分不同的属性进行对比，但可以进一步增强潜在的分离，但在非面积区域（例如，在动画表达式）时，仍然存在明显的不一致。我们通过提出一种体积混合策略来解决此问题，在该策略中，我们通过将动态和静态辐射场融合在一起，形成一个复合输出，并从共同学习的语义场中分割了两个部分。我们的方法在广泛的实验中优于先前的艺术，在自由视点中观看时，在自然照明中产生了逼真的肖像。所提出的方法还证明了真实图像以及室外卡通面孔的概括能力，在实际应用中显示出巨大的希望。其他视频结果和代码将在项目网页上提供。

Speech-driven 3D facial animation has been widely explored, with applications in gaming, character animation, virtual reality, and telepresence systems. State-of-the-art methods deform the face topology of the target actor to sync the input audio without considering the identity-specific speaking style and facial idiosyncrasies of the target actor, thus, resulting in unrealistic and inaccurate lip movements. To address this, we present Imitator, a speech-driven facial expression synthesis method, which learns identity-specific details from a short input video and produces novel facial expressions matching the identity-specific speaking style and facial idiosyncrasies of the target actor. Specifically, we train a style-agnostic transformer on a large facial expression dataset which we use as a prior for audio-driven facial expressions. Based on this prior, we optimize for identity-specific speaking style based on a short reference video. To train the prior, we introduce a novel loss function based on detected bilabial consonants to ensure plausible lip closures and consequently improve the realism of the generated expressions. Through detailed experiments and a user study, we show that our approach produces temporally coherent facial expressions from input audio while preserving the speaking style of the target actors.

High-fidelity facial avatar reconstruction from a monocular video is a significant research problem in computer graphics and computer vision. Recently, Neural Radiance Field (NeRF) has shown impressive novel view rendering results and has been considered for facial avatar reconstruction. However, the complex facial dynamics and missing 3D information in monocular videos raise significant challenges for faithful facial reconstruction. In this work, we propose a new method for NeRF-based facial avatar reconstruction that utilizes 3D-aware generative prior. Different from existing works that depend on a conditional deformation field for dynamic modeling, we propose to learn a personalized generative prior, which is formulated as a local and low dimensional subspace in the latent space of 3D-GAN. We propose an efficient method to construct the personalized generative prior based on a small set of facial images of a given individual. After learning, it allows for photo-realistic rendering with novel views and the face reenactment can be realized by performing navigation in the latent space. Our proposed method is applicable for different driven signals, including RGB images, 3DMM coefficients, and audios. Compared with existing works, we obtain superior novel view synthesis results and faithfully face reenactment performance.

This work addresses the problem of generating 3D holistic body motions from human speech. Given a speech recording, we synthesize sequences of 3D body poses, hand gestures, and facial expressions that are realistic and diverse. To achieve this, we first build a high-quality dataset of 3D holistic body meshes with synchronous speech. We then define a novel speech-to-motion generation framework in which the face, body, and hands are modeled separately. The separated modeling stems from the fact that face articulation strongly correlates with human speech, while body poses and hand gestures are less correlated. Specifically, we employ an autoencoder for face motions, and a compositional vector-quantized variational autoencoder (VQ-VAE) for the body and hand motions. The compositional VQ-VAE is key to generating diverse results. Additionally, we propose a cross-conditional autoregressive model that generates body poses and hand gestures, leading to coherent and realistic motions. Extensive experiments and user studies demonstrate that our proposed approach achieves state-of-the-art performance both qualitatively and quantitatively. Our novel dataset and code will be released for research purposes at https://talkshow.is.tue.mpg.de.

Different people speak with diverse personalized speaking styles. Although existing one-shot talking head methods have made significant progress in lip sync, natural facial expressions, and stable head motions, they still cannot generate diverse speaking styles in the final talking head videos. To tackle this problem, we propose a one-shot style-controllable talking face generation framework. In a nutshell, we aim to attain a speaking style from an arbitrary reference speaking video and then drive the one-shot portrait to speak with the reference speaking style and another piece of audio. Specifically, we first develop a style encoder to extract dynamic facial motion patterns of a style reference video and then encode them into a style code. Afterward, we introduce a style-controllable decoder to synthesize stylized facial animations from the speech content and style code. In order to integrate the reference speaking style into generated videos, we design a style-aware adaptive transformer, which enables the encoded style code to adjust the weights of the feed-forward layers accordingly. Thanks to the style-aware adaptation mechanism, the reference speaking style can be better embedded into synthesized videos during decoding. Extensive experiments demonstrate that our method is capable of generating talking head videos with diverse speaking styles from only one portrait image and an audio clip while achieving authentic visual effects. Project Page: https://github.com/FuxiVirtualHuman/styletalk.

Animating portraits using speech has received growing attention in recent years, with various creative and practical use cases. An ideal generated video should have good lip sync with the audio, natural facial expressions and head motions, and high frame quality. In this work, we present SPACE, which uses speech and a single image to generate high-resolution, and expressive videos with realistic head pose, without requiring a driving video. It uses a multi-stage approach, combining the controllability of facial landmarks with the high-quality synthesis power of a pretrained face generator. SPACE also allows for the control of emotions and their intensities. Our method outperforms prior methods in objective metrics for image quality and facial motions and is strongly preferred by users in pair-wise comparisons. The project website is available at https://deepimagination.cc/SPACE/

音频驱动的单次谈话脸生成方法通常培训各种人的视频资源。然而，他们创建的视频经常遭受不自然的口腔形状和异步嘴唇，因为这些方法努力学习来自不同扬声器的一致语音风格。我们观察到从特定扬声器学习一致的语音风格会更容易，这导致正宗的嘴巴运动。因此，我们通过从特定扬声器探讨音频和视觉运动之间的一致相关性，然后将音频驱动的运动场转移到参考图像来提出一种新颖的单次谈论的谈话脸。具体地，我们开发了一种视听相关变压器（AVCT），其旨在从输入音频推断由基于KeyPoint基的密集运动场表示的谈话运动。特别是，考虑到音频可能来自部署中的不同身份，我们将音素合并以表示音频信号。以这种方式，我们的AVCT可以本质地推广其他身份的音频。此外，由于面部键点用于表示扬声器，AVCT对训练扬声器的外观不可知，因此允许我们容易地操纵不同标识的面部图像。考虑到不同的面形状导致不同的运动，利用运动场传输模块来减少训练标识和一次性参考之间的音频驱动的密集运动场间隙。一旦我们获得了参考图像的密集运动场，我们就会使用图像渲染器从音频剪辑生成其谈话脸视频。由于我们学识到的一致口语风格，我们的方法会产生真正的口腔形状和生动的运动。广泛的实验表明，在视觉质量和唇部同步方面，我们的合成视频优于现有技术。

在这项工作中，我们解决了为野外任何演讲者发出静音唇部视频演讲的问题。与以前的作品形成鲜明对比的是，我们的方法（i）不仅限于固定数量的扬声器，（ii）并未明确对域或词汇构成约束，并且（iii）涉及在野外记录的视频，反对实验室环境。该任务提出了许多挑战，关键是，所需的目标语音的许多功能（例如语音，音调和语言内容）不能完全从无声的面部视频中推断出来。为了处理这些随机变化，我们提出了一种新的VAE-GAN结构，该结构学会了将唇部和语音序列关联到变化中。在指导培训过程的多个强大的歧视者的帮助下，我们的发电机学会了以任何人的唇部运动中的任何声音综合语音序列。多个数据集上的广泛实验表明，我们的优于所有基线的差距很大。此外，我们的网络可以在特定身份的视频上进行微调，以实现与单扬声器模型相当的性能，该模型接受了$ 4 \ times $ $数据的培训。我们进行了大量的消融研究，以分析我们体系结构不同模块的效果。我们还提供了一个演示视频，该视频与我们的网站上的代码和经过训练的模型一起展示了几个定性结果： -合成}}

Talking face generation aims at generating photo-realistic video portraits of a target person driven by input audio. Due to its nature of one-to-many mapping from the input audio to the output video (e.g., one speech content may have multiple feasible visual appearances), learning a deterministic mapping like previous works brings ambiguity during training, and thus causes inferior visual results. Although this one-to-many mapping could be alleviated in part by a two-stage framework (i.e., an audio-to-expression model followed by a neural-rendering model), it is still insufficient since the prediction is produced without enough information (e.g., emotions, wrinkles, etc.). In this paper, we propose MemFace to complement the missing information with an implicit memory and an explicit memory that follow the sense of the two stages respectively. More specifically, the implicit memory is employed in the audio-to-expression model to capture high-level semantics in the audio-expression shared space, while the explicit memory is employed in the neural-rendering model to help synthesize pixel-level details. Our experimental results show that our proposed MemFace surpasses all the state-of-the-art results across multiple scenarios consistently and significantly.

尽管已经对音频驱动的说话的面部生成取得了重大进展，但现有方法要么忽略面部情绪，要么不能应用于任意主题。在本文中，我们提出了情感感知的运动模型（EAMM），以通过涉及情感源视频来产生一次性的情感谈话面孔。具体而言，我们首先提出了一个Audio2Facial-Dynamics模块，该模块从音频驱动的无监督零和一阶密钥点运动中进行说话。然后，通过探索运动模型的属性，我们进一步提出了一个隐性的情绪位移学习者，以表示与情绪相关的面部动力学作为对先前获得的运动表示形式的线性添加位移。全面的实验表明，通过纳入两个模块的结果，我们的方法可以在具有现实情感模式的任意主题上产生令人满意的说话面部结果。

我们提出了一种新颖的方法，用于生成语音音频和单个“身份”图像的高分辨率视频。我们的方法基于卷积神经网络模型，该模型结合了预训练的样式Gener。我们将每个帧建模为Stylegan潜在空间中的一个点，以便视频对应于潜在空间的轨迹。培训网络分为两个阶段。第一阶段是根据语音话语调节潜在空间中的轨迹。为此，我们使用现有的编码器倒转发电机，将每个视频框架映射到潜在空间中。我们训练一个经常性的神经网络，以从语音话语绘制到图像发生器潜在空间中的位移。这些位移是相对于从训练数据集中所描绘的个体选择的身份图像的潜在空间的反向预测的。在第二阶段，我们通过在单个图像或任何选择的身份的简短视频上调整图像生成器来提高生成视频的视觉质量。我们对标准度量（PSNR，SSIM，FID和LMD）的模型进行评估，并表明它在两个常用数据集之一上的最新方法明显优于最新的最新方法，另一方面给出了可比的性能。最后，我们报告了验证模型组成部分的消融实验。可以在https://mohammedalghamdi.github.io/talking-heads-acm-mm上找到实验的代码和视频

由于人称复杂的几何形状以及3D视听数据的可用性有限，语音驱动的3D面部动画是挑战。事先作品通常专注于使用有限的上下文学习短音频窗口的音素级功能，偶尔会导致不准确的唇部运动。为了解决这一限制，我们提出了一种基于变压器的自回归模型，脸形式，它们编码了长期音频上下文，并自动预测了一系列动画3D面网格。要应对数据稀缺问题，我们整合了自我监督的预训练的语音表示。此外，我们设计了两个偏置的注意机制，该机制非常适合于该特定任务，包括偏置横向模态多头（MH）的注意力，并且具有周期性位置编码策略的偏置因果MH自我关注。前者有效地对准音频运动模型，而后者则提供给更长音频序列的能力。广泛的实验和感知用户学习表明，我们的方法优于现有的现有最先进。代码将可用。

在过去的几十年中，虚拟领域的许多方面都得到了增强，从亚马逊的Alexa和Apple的Siri等数字助手到出现到重新品牌的Meta的最新元元努力。这些趋势强调了产生对人类的影像性视觉描述的重要性。近年来，这导致了所谓的深层和说话的头部生成方法的快速增长。尽管它们令人印象深刻和受欢迎程度，但它们通常缺乏某些定性方面，例如纹理质量，嘴唇同步或解决方案以及实时运行的实用方面。为了允许虚拟人类化身在实际场景中使用，我们提出了一个端到端框架，用于合成能够语音的高质量虚拟人脸，并特别强调性能。我们介绍了一个新的网络，利用Visemes作为中间音频表示，并采用层次图像综合方法的新型数据增强策略，该方法允许解散用于控制全球头部运动的不同模态。我们的方法是实时运行的，与当前的最新技术相比，我们能够提供卓越的结果。

Previous studies have explored generating accurately lip-synced talking faces for arbitrary targets given audio conditions. However, most of them deform or generate the whole facial area, leading to non-realistic results. In this work, we delve into the formulation of altering only the mouth shapes of the target person. This requires masking a large percentage of the original image and seamlessly inpainting it with the aid of audio and reference frames. To this end, we propose the Audio-Visual Context-Aware Transformer (AV-CAT) framework, which produces accurate lip-sync with photo-realistic quality by predicting the masked mouth shapes. Our key insight is to exploit desired contextual information provided in audio and visual modalities thoroughly with delicately designed Transformers. Specifically, we propose a convolution-Transformer hybrid backbone and design an attention-based fusion strategy for filling the masked parts. It uniformly attends to the textural information on the unmasked regions and the reference frame. Then the semantic audio information is involved in enhancing the self-attention computation. Additionally, a refinement network with audio injection improves both image and lip-sync quality. Extensive experiments validate that our model can generate high-fidelity lip-synced results for arbitrary subjects.

对于普通人来说，了解唇部运动并从中推断出讲话是很困难的。准确的唇部阅读的任务从说话者的各种线索及其上下文或环境环境中获得帮助。每个演讲者都有不同的口音和说话风格，可以从他们的视觉和语音功能中推断出来。这项工作旨在了解语音和单个说话者在不受约束和大型词汇中的嘴唇运动顺序之间的相关性/映射。我们将帧序列建模为在自动编码器设置中的变压器之前，并学会了利用音频和视频的时间属性的关节嵌入。我们使用深度度量学习学习时间同步，这指导解码器与输入唇部运动同步生成语音。因此，预测性后部为我们提供了以说话者的说话风格产生的演讲。我们已经在网格和LIP2WAV化学讲座数据集上训练了模型，以评估在不受限制的自然环境中唇部运动的单个扬声器自然语音生成任务。使用人类评估的各种定性和定量指标进行了广泛的评估还表明，我们的方法在几乎所有评估指标上都优于lip2wav化学数据集（在不受约束的环境中的大词汇）（在不受约束的环境中的大词汇），并且在边缘上胜过了较大的范围。网格数据集。