在本文中，我们提出了一个新的基于NERF的参数头模型，该参数头模型集成了神经辐射场到人头的参数表示。它可以实时呈现高保真头图像，并直接控制生成的图像渲染姿势和各种语义属性。与现有相关参数模型不同，我们使用神经辐射字段作为新颖的3D代理而不是传统的3D纹理网格，这使得HeadnerF能够生成高保真图像。然而，原始NERF的计算昂贵的渲染过程阻碍了参数NERF模型的构造。为了解决这个问题，我们采用将2D神经渲染集成到NERF的渲染过程和设计新颖损失条款的策略。结果，可以显着加速头部的渲染速度，并且一帧的渲染时间从5s降至25ms。新颖的设计损失术语还提高了渲染精度，并且人体头部的细级细节，例如牙齿，皱纹和胡须之间的间隙，可以由Headnerf表示和合成。广泛的实验结果和一些应用展示了其有效性。我们将向公众推出代码和培训的模型。

与传统的头像创建管道相反，这是一个昂贵的过程，现代生成方法直接从照片中学习数据分布，而艺术的状态现在可以产生高度的照片现实图像。尽管大量作品试图扩展无条件的生成模型并达到一定程度的可控性，但要确保多视图一致性，尤其是在大型姿势中，仍然具有挑战性。在这项工作中，我们提出了一个3D肖像生成网络，该网络可产生3D一致的肖像，同时根据有关姿势，身份，表达和照明的语义参数可控。生成网络使用神经场景表示在3D中建模肖像，其生成以支持明确控制的参数面模型为指导。尽管可以通过将图像与部分不同的属性进行对比，但可以进一步增强潜在的分离，但在非面积区域（例如，在动画表达式）时，仍然存在明显的不一致。我们通过提出一种体积混合策略来解决此问题，在该策略中，我们通过将动态和静态辐射场融合在一起，形成一个复合输出，并从共同学习的语义场中分割了两个部分。我们的方法在广泛的实验中优于先前的艺术，在自由视点中观看时，在自然照明中产生了逼真的肖像。所提出的方法还证明了真实图像以及室外卡通面孔的概括能力，在实际应用中显示出巨大的希望。其他视频结果和代码将在项目网页上提供。

我们提出了一种参数模型，将自由视图图像映射到编码面部形状，表达和外观的矢量空间，即使用神经辐射场，即可变的面部nerf。具体地，MoFanerf将编码的面部形状，表达和外观以及空间坐标和视图方向作为输入，作为输入到MLP，并输出光学逼真图像合成的空间点的辐射。与传统的3D可变模型（3DMM）相比，MoFanerf在直接综合光学逼真的面部细节方面表现出优势，即使是眼睛，嘴巴和胡须也是如此。而且，通过插入输入形状，表达和外观码，可以容易地实现连续的面部。通过引入特定于特定于特定的调制和纹理编码器，我们的模型合成精确的光度测量细节并显示出强的表示能力。我们的模型显示了多种应用的强大能力，包括基于图像的拟合，随机产生，面部索具，面部编辑和新颖的视图合成。实验表明，我们的方法比以前的参数模型实现更高的表示能力，并在几种应用中实现了竞争性能。据我们所知，我们的作品是基于神经辐射场上的第一款，可用于配合，发电和操作。我们的代码和型号在https://github.com/zhuhao-nju/mofanerf中发布。

面部3D形态模型是无数应用程序的主要计算机视觉主题，并且在过去二十年中已得到高度优化。深层生成网络的巨大改进创造了改善此类模型的各种可能性，并引起了广泛的兴趣。此外，神经辐射领域的最新进展正在彻底改变已知场景的新颖视图综合。在这项工作中，我们提出了一个面部3D形态模型，该模型利用了上述两者，并且可以准确地对受试者的身份，姿势和表达进行建模，并以任意照明形式呈现。这是通过利用强大的基于风格的发电机来克服神经辐射场的两个主要弱点，即它们的刚度和渲染速度来实现的。我们介绍了一个基于样式的生成网络，该网络在一个通过中综合了全部，并且仅在神经辐射场的所需渲染样品中构成。我们创建了一个庞大的标记为面部渲染的合成数据集，并在这些数据上训练网络，以便它可以准确地建模并推广到面部身份，姿势和外观。最后，我们表明该模型可以准确地适合“野外”的任意姿势和照明的面部图像，提取面部特征，并用于在可控条件下重新呈现面部。

我们提出了一些动态神经辐射场（FDNERF），这是第一种基于NERF的方法，能够根据少量动态图像重建和表达3D面的表达编辑。与需要密集图像作为输入的现有动态NERF不同，并且只能为单个身份建模，我们的方法可以使跨不同人的不同人进行面对重建。与设计用于建模静态场景的最先进的几杆NERF相比，提出的FDNERF接受视图的动态输入，并支持任意的面部表达编辑，即产生具有输入超出输入的新表达式的面孔。为了处理动态输入之间的不一致之处，我们引入了精心设计的条件特征翘曲（CFW）模块，以在2D特征空间中执行表达条件的翘曲，这也是身份自适应和3D约束。结果，不同表达式的特征被转换为目标的特征。然后，我们根据这些视图一致的特征构建一个辐射场，并使用体积渲染来合成建模面的新型视图。进行定量和定性评估的广泛实验表明，我们的方法在3D面重建和表达编辑任务上都优于现有的动态和几乎没有射击的NERF。我们的代码和模型将在接受后提供。

Gaze estimation is the fundamental basis for many visual tasks. Yet, the high cost of acquiring gaze datasets with 3D annotations hinders the optimization and application of gaze estimation models. In this work, we propose a novel Head-Eye redirection parametric model based on Neural Radiance Field, which allows dense gaze data generation with view consistency and accurate gaze direction. Moreover, our head-eye redirection parametric model can decouple the face and eyes for separate neural rendering, so it can achieve the purpose of separately controlling the attributes of the face, identity, illumination, and eye gaze direction. Thus diverse 3D-aware gaze datasets could be obtained by manipulating the latent code belonging to different face attributions in an unsupervised manner. Extensive experiments on several benchmarks demonstrate the effectiveness of our method in domain generalization and domain adaptation for gaze estimation tasks.

We propose GazeNeRF, a 3D-aware method for the task of gaze redirection. Existing gaze redirection methods operate on 2D images and struggle to generate 3D consistent results. Instead, we build on the intuition that the face region and eyeballs are separate 3D structures that move in a coordinated yet independent fashion. Our method leverages recent advancements in conditional image-based neural radiance fields and proposes a two-stream architecture that predicts volumetric features for the face and eye regions separately. Rigidly transforming the eye features via a 3D rotation matrix provides fine-grained control over the desired gaze angle. The final, redirected image is then attained via differentiable volume compositing. Our experiments show that this architecture outperforms naively conditioned NeRF baselines as well as previous state-of-the-art 2D gaze redirection methods in terms of redirection accuracy and identity preservation.

以前的纵向图像生成方法大致分为两类：2D GAN和3D感知的GAN。 2D GAN可以产生高保真肖像，但具有低视图一致性。 3D感知GaN方法可以维护查看一致性，但它们所生成的图像不是本地可编辑的。为了克服这些限制，我们提出了FENERF，一个可以生成查看一致和本地可编辑的纵向图像的3D感知生成器。我们的方法使用两个解耦潜码，以在具有共享几何体的空间对齐的3D卷中生成相应的面部语义和纹理。从这种底层3D表示中受益，FENERF可以联合渲染边界对齐的图像和语义掩码，并使用语义掩模通过GaN反转编辑3D音量。我们进一步示出了可以从广泛可用的单手套图像和语义面膜对中学习这种3D表示。此外，我们揭示了联合学习语义和纹理有助于产生更精细的几何形状。我们的实验表明FENERF在各种面部编辑任务中优于最先进的方法。

利用图像生成模型的最新进展，现有的可控面图像合成方法能够生成具有某些可控性的高保真图像，例如控制生成的面部图像的形状，表达，纹理和姿势。但是，这些方法集中在2D图像生成模型上，这些模型容易在大表达和姿势变化下产生不一致的面部图像。在本文中，我们提出了一个新的基于NERF的条件3D面部合成框架，该框架可以通过从3D脸先进的3D面部施加显式3D条件来对生成的面部图像进行3D可控性。其核心是有条件的生成占用场（CGOF），可有效地强制生成的面部形状，以使其对给定的3D形态模型（3DMM）网格进行。为了准确控制合成图像的细粒3D面部形状，我们还将3D地标损耗以及体积翘曲损失纳入我们的合成算法中。实验验证了所提出的方法的有效性，该方法能够生成高保真的面部图像，并显示出比基于2D的最新可控制的面部合成方法更精确的3D可控性。在https://keqiangsun.github.io/projects/cgof上查找代码和演示。

制作生成模型3D感知桥梁2D图像空间和3D物理世界仍然挑战。最近尝试用神经辐射场（NERF）配备生成的对抗性网络（GAN），其将3D坐标映射到像素值，作为3D之前。然而，nerf中的隐式功能具有一个非常局部的接收领域，使得发电机难以意识到全局结构。与此同时，NERF建立在体积渲染上，这可能太昂贵，无法产生高分辨率结果，提高优化难度。为了减轻这两个问题，我们通过明确学习结构表示和纹理表示，向高保真3D感知图像综合提出了一种作为Volumegan称为Volumegan的新颖框架。我们首先学习一个特征卷来表示底层结构，然后使用类似NERF的模型转换为特征字段。特征字段进一步累积到作为纹理表示的2D特征图中，然后是用于外观合成的神经渲染器。这种设计使得能够独立控制形状和外观。广泛的数据集的大量实验表明，我们的方法比以前的方法实现了足够更高的图像质量和更好的3D控制。

体积神经渲染方法，例如神经辐射场（NERFS），已实现了光真实的新型视图合成。但是，以其标准形式，NERF不支持场景中的物体（例如人头）的编辑。在这项工作中，我们提出了Rignerf，该系统不仅仅是仅仅是新颖的视图综合，并且可以完全控制头姿势和从单个肖像视频中学到的面部表情。我们使用由3D可变形面模型（3DMM）引导的变形场对头姿势和面部表情的变化进行建模。 3DMM有效地充当了Rignerf的先验，该rignerf学会仅预测3DMM变形的残留物，并使我们能够在输入序列中呈现不存在的新颖（刚性）姿势和（非刚性）表达式。我们仅使用智能手机捕获的简短视频进行培训，我们证明了我们方法在自由视图合成肖像场景的有效性，并具有明确的头部姿势和表达控制。项目页面可以在此处找到：http：//shahrukhathar.github.io/2022/06/06/rignerf.html

我们提出Volux-GaN，一种生成框架，以合成3D感知面孔的令人信服的回忆。我们的主要贡献是一种体积的HDRI可发感方法，可以沿着每个3D光线沿着任何所需的HDR环境图累计累积Albedo，漫射和镜面照明贡献。此外，我们展示了使用多个鉴别器监督图像分解过程的重要性。特别是，我们提出了一种数据增强技术，其利用单个图像肖像结合的最近的进步来强制实施一致的几何形状，反照镜，漫射和镜面组分。与其他生成框架的多个实验和比较展示了我们的模型是如何向光电型可致力于的3D生成模型前进的一步。

High-fidelity facial avatar reconstruction from a monocular video is a significant research problem in computer graphics and computer vision. Recently, Neural Radiance Field (NeRF) has shown impressive novel view rendering results and has been considered for facial avatar reconstruction. However, the complex facial dynamics and missing 3D information in monocular videos raise significant challenges for faithful facial reconstruction. In this work, we propose a new method for NeRF-based facial avatar reconstruction that utilizes 3D-aware generative prior. Different from existing works that depend on a conditional deformation field for dynamic modeling, we propose to learn a personalized generative prior, which is formulated as a local and low dimensional subspace in the latent space of 3D-GAN. We propose an efficient method to construct the personalized generative prior based on a small set of facial images of a given individual. After learning, it allows for photo-realistic rendering with novel views and the face reenactment can be realized by performing navigation in the latent space. Our proposed method is applicable for different driven signals, including RGB images, 3DMM coefficients, and audios. Compared with existing works, we obtain superior novel view synthesis results and faithfully face reenactment performance.

Figure 1: Given a monocular portrait video sequence of a person, we reconstruct a dynamic neural radiance field representing a 4D facial avatar, which allows us to synthesize novel head poses as well as changes in facial expressions.

StyleGAN has achieved great progress in 2D face reconstruction and semantic editing via image inversion and latent editing. While studies over extending 2D StyleGAN to 3D faces have emerged, a corresponding generic 3D GAN inversion framework is still missing, limiting the applications of 3D face reconstruction and semantic editing. In this paper, we study the challenging problem of 3D GAN inversion where a latent code is predicted given a single face image to faithfully recover its 3D shapes and detailed textures. The problem is ill-posed: innumerable compositions of shape and texture could be rendered to the current image. Furthermore, with the limited capacity of a global latent code, 2D inversion methods cannot preserve faithful shape and texture at the same time when applied to 3D models. To solve this problem, we devise an effective self-training scheme to constrain the learning of inversion. The learning is done efficiently without any real-world 2D-3D training pairs but proxy samples generated from a 3D GAN. In addition, apart from a global latent code that captures the coarse shape and texture information, we augment the generation network with a local branch, where pixel-aligned features are added to faithfully reconstruct face details. We further consider a new pipeline to perform 3D view-consistent editing. Extensive experiments show that our method outperforms state-of-the-art inversion methods in both shape and texture reconstruction quality. Code and data will be released.

We present NeRFEditor, an efficient learning framework for 3D scene editing, which takes a video captured over 360{\deg} as input and outputs a high-quality, identity-preserving stylized 3D scene. Our method supports diverse types of editing such as guided by reference images, text prompts, and user interactions. We achieve this by encouraging a pre-trained StyleGAN model and a NeRF model to learn from each other mutually. Specifically, we use a NeRF model to generate numerous image-angle pairs to train an adjustor, which can adjust the StyleGAN latent code to generate high-fidelity stylized images for any given angle. To extrapolate editing to GAN out-of-domain views, we devise another module that is trained in a self-supervised learning manner. This module maps novel-view images to the hidden space of StyleGAN that allows StyleGAN to generate stylized images on novel views. These two modules together produce guided images in 360{\deg}views to finetune a NeRF to make stylization effects, where a stable fine-tuning strategy is proposed to achieve this. Experiments show that NeRFEditor outperforms prior work on benchmark and real-world scenes with better editability, fidelity, and identity preservation.

多年来，2d Gans在影像肖像的一代中取得了巨大的成功。但是，他们在生成过程中缺乏3D理解，因此他们遇到了多视图不一致问题。为了减轻这个问题，已经提出了许多3D感知的甘斯，并显示出显着的结果，但是3D GAN在编辑语义属性方面努力。 3D GAN的可控性和解释性并未得到太多探索。在这项工作中，我们提出了两种解决方案，以克服2D GAN和3D感知gan的这些弱点。我们首先介绍了一种新颖的3D感知gan，Surf-Gan，它能够在训练过程中发现语义属性，并以无监督的方式控制它们。之后，我们将先验的Surf-GAN注入stylegan，以获得高保真3D控制的发电机。与允许隐姿姿势控制的现有基于潜在的方法不同，所提出的3D控制样式gan可实现明确的姿势控制对肖像生成的控制。这种蒸馏允许3D控制与许多基于样式的技术（例如，反转和风格化）之间的直接兼容性，并且在计算资源方面也带来了优势。我们的代码可从https://github.com/jgkwak95/surf-gan获得。

Nerf-based Generative models have shown impressive capacity in generating high-quality images with consistent 3D geometry. Despite successful synthesis of fake identity images randomly sampled from latent space, adopting these models for generating face images of real subjects is still a challenging task due to its so-called inversion issue. In this paper, we propose a universal method to surgically fine-tune these NeRF-GAN models in order to achieve high-fidelity animation of real subjects only by a single image. Given the optimized latent code for an out-of-domain real image, we employ 2D loss functions on the rendered image to reduce the identity gap. Furthermore, our method leverages explicit and implicit 3D regularizations using the in-domain neighborhood samples around the optimized latent code to remove geometrical and visual artifacts. Our experiments confirm the effectiveness of our method in realistic, high-fidelity, and 3D consistent animation of real faces on multiple NeRF-GAN models across different datasets.

基于生成神经辐射场（GNERF）基于生成神经辐射场（GNERF）的3D感知gan已达到令人印象深刻的高质量图像产生，同时保持了强3D一致性。最显着的成就是在面部生成领域中取得的。但是，这些模型中的大多数都集中在提高视图一致性上，但忽略了分离的方面，因此这些模型无法提供高质量的语义/属性控制对生成。为此，我们引入了一个有条件的GNERF模型，该模型使用特定属性标签作为输入，以提高3D感知生成模型的控制能力和解散能力。我们利用预先训练的3D感知模型作为基础，并集成了双分支属性编辑模块（DAEM），该模块（DAEM）利用属性标签来提供对生成的控制。此外，我们提出了一个Triot（作为INIT的训练，并针对调整进行优化），以优化潜在矢量以进一步提高属性编辑的精度。广泛使用的FFHQ上的广泛实验表明，我们的模型在保留非目标区域的同时产生具有更好视图一致性的高质量编辑。该代码可在https://github.com/zhangqianhui/tt-gnerf上找到。

使用单视图2D照片仅集合，无监督的高质量多视图 - 一致的图像和3D形状一直是一个长期存在的挑战。现有的3D GAN是计算密集型的，也是没有3D-一致的近似;前者限制了所生成的图像的质量和分辨率，并且后者对多视图一致性和形状质量产生不利影响。在这项工作中，我们提高了3D GAN的计算效率和图像质量，而无需依赖这些近似。为此目的，我们介绍了一种表现力的混合明确隐式网络架构，与其他设计选择一起，不仅可以实时合成高分辨率多视图一致图像，而且还产生高质量的3D几何形状。通过解耦特征生成和神经渲染，我们的框架能够利用最先进的2D CNN生成器，例如Stylega2，并继承它们的效率和表现力。在其他实验中，我们展示了与FFHQ和AFHQ猫的最先进的3D感知合成。