体积神经渲染方法，例如神经辐射场（NERFS），已实现了光真实的新型视图合成。但是，以其标准形式，NERF不支持场景中的物体（例如人头）的编辑。在这项工作中，我们提出了Rignerf，该系统不仅仅是仅仅是新颖的视图综合，并且可以完全控制头姿势和从单个肖像视频中学到的面部表情。我们使用由3D可变形面模型（3DMM）引导的变形场对头姿势和面部表情的变化进行建模。 3DMM有效地充当了Rignerf的先验，该rignerf学会仅预测3DMM变形的残留物，并使我们能够在输入序列中呈现不存在的新颖（刚性）姿势和（非刚性）表达式。我们仅使用智能手机捕获的简短视频进行培训，我们证明了我们方法在自由视图合成肖像场景的有效性，并具有明确的头部姿势和表达控制。项目页面可以在此处找到：http：//shahrukhathar.github.io/2022/06/06/rignerf.html

Figure 1: Given a monocular portrait video sequence of a person, we reconstruct a dynamic neural radiance field representing a 4D facial avatar, which allows us to synthesize novel head poses as well as changes in facial expressions.

对于场景重建和新型视图综合的数量表示形式的普及最近，人们的普及使重点放在以高视觉质量和实时为实时的体积内容动画上。尽管基于学习功能的隐性变形方法可以产生令人印象深刻的结果，但它们是艺术家和内容创建者的“黑匣子”，但它们需要大量的培训数据才能有意义地概括，并且在培训数据之外不会产生现实的外推。在这项工作中，我们通过引入实时的音量变形方法来解决这些问题，该方法是实时的，易于使用现成的软件编辑，并且可以令人信服地推断出来。为了证明我们方法的多功能性，我们将其应用于两种情况：基于物理的对象变形和触发性，其中使用Blendshapes控制着头像。我们还进行了彻底的实验，表明我们的方法与两种体积方法相比，结合了基于网格变形的隐式变形和方法。

我们提出了一些动态神经辐射场（FDNERF），这是第一种基于NERF的方法，能够根据少量动态图像重建和表达3D面的表达编辑。与需要密集图像作为输入的现有动态NERF不同，并且只能为单个身份建模，我们的方法可以使跨不同人的不同人进行面对重建。与设计用于建模静态场景的最先进的几杆NERF相比，提出的FDNERF接受视图的动态输入，并支持任意的面部表达编辑，即产生具有输入超出输入的新表达式的面孔。为了处理动态输入之间的不一致之处，我们引入了精心设计的条件特征翘曲（CFW）模块，以在2D特征空间中执行表达条件的翘曲，这也是身份自适应和3D约束。结果，不同表达式的特征被转换为目标的特征。然后，我们根据这些视图一致的特征构建一个辐射场，并使用体积渲染来合成建模面的新型视图。进行定量和定性评估的广泛实验表明，我们的方法在3D面重建和表达编辑任务上都优于现有的动态和几乎没有射击的NERF。我们的代码和模型将在接受后提供。

我们提出了一种参数模型，将自由视图图像映射到编码面部形状，表达和外观的矢量空间，即使用神经辐射场，即可变的面部nerf。具体地，MoFanerf将编码的面部形状，表达和外观以及空间坐标和视图方向作为输入，作为输入到MLP，并输出光学逼真图像合成的空间点的辐射。与传统的3D可变模型（3DMM）相比，MoFanerf在直接综合光学逼真的面部细节方面表现出优势，即使是眼睛，嘴巴和胡须也是如此。而且，通过插入输入形状，表达和外观码，可以容易地实现连续的面部。通过引入特定于特定于特定的调制和纹理编码器，我们的模型合成精确的光度测量细节并显示出强的表示能力。我们的模型显示了多种应用的强大能力，包括基于图像的拟合，随机产生，面部索具，面部编辑和新颖的视图合成。实验表明，我们的方法比以前的参数模型实现更高的表示能力，并在几种应用中实现了竞争性能。据我们所知，我们的作品是基于神经辐射场上的第一款，可用于配合，发电和操作。我们的代码和型号在https://github.com/zhuhao-nju/mofanerf中发布。

隐式辐射功能作为重建和渲染3D场景的照片真实观点的强大场景表示形式出现。但是，这些表示的编辑性差。另一方面，诸如多边形网格之类的显式表示允许易于编辑，但不适合重建动态的人头中的准确细节，例如精细的面部特征，头发，牙齿，牙齿和眼睛。在这项工作中，我们提出了神经参数化（NEP），这是一种混合表示，提供了隐式和显式方法的优势。 NEP能够进行照片真实的渲染，同时允许对场景的几何形状和外观进行细粒度编辑。我们首先通过将3D几何形状参数化为2D纹理空间来解开几何形状和外观。我们通过引入显式线性变形层来启用几何编辑性。变形由一组稀疏的密钥点控制，可以明确和直观地移位以编辑几何形状。对于外观，我们开发了一个混合2D纹理，该纹理由明确的纹理图组成，以易于编辑和隐式视图以及时间相关的残差，以建模时间和视图变化。我们将我们的方法与几个重建和编辑基线进行比较。结果表明，NEP在保持高编辑性的同时达到了几乎相同的渲染精度。

我们介绍了一个自由视的渲染方法 - Humannerf - 这对人类进行了复杂的身体运动的给定单曲视频工作，例如，来自YouTube的视频。我们的方法可以在任何帧中暂停视频，并从任意新相机视点呈现对象，甚至是该特定帧和身体姿势的完整360度摄像机路径。这项任务特别具有挑战性，因为它需要合成身体的光电型细节，如从输入视频中可能不存在的各种相机角度所见，以及合成布折叠和面部外观的细细节。我们的方法优化了在规范T型姿势中的人的体积表示，同时通过运动场，该运动场通过向后的警报将估计的规范表示映射到视频的每个帧。运动场分解成骨骼刚性和非刚性运动，由深网络产生。我们对现有工作显示出显着的性能改进，以及从移动人类的单眼视频的令人尖锐的观点渲染的阐释示例，以挑战不受控制的捕获场景。

我们扩展了神经3D表示，以允许直观和可解释的用户控制超出新颖视图渲染（即相机控制）。我们允许用户注释一个希望在训练图像中只用少量掩模注释来控制的场景的哪个部分。我们的主要思想是将属性视为给定场景编码的神经网络回归的潜在变量。这导致了几次拍摄的学习框架，当未提供注释时，框架会自动发现属性。我们将我们的方法应用于具有不同类型的可控属性的各种场景（例如，人类面上的表达式控制，或在无生命对象的移动中的状态控制）。总体而言，我们据我们所知，我们的知识展示了第一次新颖的视图和新颖的属性从单一视频重新渲染场景。

我们提出了神经可变形场（NDF），这是一种从多视频视频中进行动态人类数字化的新表示形式。最近的作品提出，代表具有共同的规范神经辐射场的动态人体，该范围与变形场估计相结合了观察空间。但是，学到的规范表示是静态的，变形场的当前设计无法表示大型运动或详细的几何变化。在本文中，我们建议学习一个围绕合适的参数体模型包裹的神经可变形场，以代表动态人体。NDF通过基础参考表面在空间上对齐。然后，学会了神经网络将其映射到NDF的动力学。提出的NDF表示可以通过新颖的观点和新颖的姿势合成数字化的表演者，并具有详细且合理的动态外观。实验表明，我们的方法明显优于最近的人类合成方法。

Point of View & TimeFigure 1: We propose D-NeRF, a method for synthesizing novel views, at an arbitrary point in time, of dynamic scenes with complex non-rigid geometries. We optimize an underlying deformable volumetric function from a sparse set of input monocular views without the need of ground-truth geometry nor multi-view images. The figure shows two scenes under variable points of view and time instances synthesised by the proposed model.

High-fidelity facial avatar reconstruction from a monocular video is a significant research problem in computer graphics and computer vision. Recently, Neural Radiance Field (NeRF) has shown impressive novel view rendering results and has been considered for facial avatar reconstruction. However, the complex facial dynamics and missing 3D information in monocular videos raise significant challenges for faithful facial reconstruction. In this work, we propose a new method for NeRF-based facial avatar reconstruction that utilizes 3D-aware generative prior. Different from existing works that depend on a conditional deformation field for dynamic modeling, we propose to learn a personalized generative prior, which is formulated as a local and low dimensional subspace in the latent space of 3D-GAN. We propose an efficient method to construct the personalized generative prior based on a small set of facial images of a given individual. After learning, it allows for photo-realistic rendering with novel views and the face reenactment can be realized by performing navigation in the latent space. Our proposed method is applicable for different driven signals, including RGB images, 3DMM coefficients, and audios. Compared with existing works, we obtain superior novel view synthesis results and faithfully face reenactment performance.

传统的变形面模型提供了对表达的细粒度控制，但不能轻易捕获几何和外观细节。神经体积表示方法是光学 - 现实主义，但很难动画，并没有概括到看不见的表达。为了解决这个问题，我们提出了iMavatar（隐式的可变头像），这是一种从单眼视频学习隐含头头像的新方法。灵感来自传统3DMMS提供的细粒度控制机制，我们代表了通过学习的闪打和剥皮领域的表达和与姿势相关的变形。这些属性是姿势独立的，可用于使规范几何形状和纹理字段变成新颖的表达和姿势参数。我们使用射线跟踪和迭代根发现来定位每个像素的规范表面交叉点。关键贡献是我们的新型分析梯度制定，可实现来自视频的imavatars的端到端培训。我们的定量和定性地显示了我们的方法改善了几何形状，并与最先进的方法相比，涵盖了更完整的表达空间。

我们提出了神经演员（NA），一种用于从任意观点和任意可控姿势的高质量合成人类的新方法。我们的方法是基于最近的神经场景表示和渲染工作，从而从仅从2D图像中学习几何形状和外观的表示。虽然现有的作品令人兴奋地呈现静态场景和动态场景的播放，具有神经隐含方法的照片 - 现实重建和人类的渲染，特别是在用户控制的新颖姿势下，仍然很困难。为了解决这个问题，我们利用一个粗体模型作为将周围的3D空间的代理放入一个规范姿势。神经辐射场从多视图视频输入中了解在规范空间中的姿势依赖几何变形和姿势和视图相关的外观效果。为了综合高保真动态几何和外观的新颖视图，我们利用身体模型上定义的2D纹理地图作为预测残余变形和动态外观的潜变量。实验表明，我们的方法能够比播放的最先进，以及新的姿势合成来实现更好的质量，并且甚至可以概括到新的姿势与训练姿势不同的姿势。此外，我们的方法还支持对合成结果的体形控制。

我们提出了一个新颖的范式，该范式是通过单眼视频输入来构建可动画的3D人类代表，以便可以以任何看不见的姿势和观点呈现。我们的方法基于由基于网格的参数3D人类模型操纵的动态神经辐射场（NERF），该模型用作几何代理。以前的方法通常依靠多视频视频或准确的3D几何信息作为其他输入；此外，大多数方法在概括地看不见的姿势时会降解质量。我们确定概括的关键是查询动态NERF的良好输入嵌入：良好的输入嵌入应定义完整量化空间中的注入映射，并在姿势变化下表面网格变形引导。基于此观察结果，我们建议将输入查询嵌入其与局部表面区域的关系，并在网格顶点上跨越一组地球的最近邻居跨越。通过包括位置和相对距离信息，我们的嵌入式定义了距离保存的变形映射，并可以很好地概括为看不见的姿势。为了减少对其他输入的依赖性，我们首先使用现成的工具初始化人均3D网格，然后提出一条管道以共同优化NERF并完善初始网格。广泛的实验表明，我们的方法可以在看不见的姿势和观点下合成合理的人类渲染结果。

与传统的头像创建管道相反，这是一个昂贵的过程，现代生成方法直接从照片中学习数据分布，而艺术的状态现在可以产生高度的照片现实图像。尽管大量作品试图扩展无条件的生成模型并达到一定程度的可控性，但要确保多视图一致性，尤其是在大型姿势中，仍然具有挑战性。在这项工作中，我们提出了一个3D肖像生成网络，该网络可产生3D一致的肖像，同时根据有关姿势，身份，表达和照明的语义参数可控。生成网络使用神经场景表示在3D中建模肖像，其生成以支持明确控制的参数面模型为指导。尽管可以通过将图像与部分不同的属性进行对比，但可以进一步增强潜在的分离，但在非面积区域（例如，在动画表达式）时，仍然存在明显的不一致。我们通过提出一种体积混合策略来解决此问题，在该策略中，我们通过将动态和静态辐射场融合在一起，形成一个复合输出，并从共同学习的语义场中分割了两个部分。我们的方法在广泛的实验中优于先前的艺术，在自由视点中观看时，在自然照明中产生了逼真的肖像。所提出的方法还证明了真实图像以及室外卡通面孔的概括能力，在实际应用中显示出巨大的希望。其他视频结果和代码将在项目网页上提供。

Figure 1. Given a monocular image sequence, NR-NeRF reconstructs a single canonical neural radiance field to represent geometry and appearance, and a per-time-step deformation field. We can render the scene into a novel spatio-temporal camera trajectory that significantly differs from the input trajectory. NR-NeRF also learns rigidity scores and correspondences without direct supervision on either. We can use the rigidity scores to remove the foreground, we can supersample along the time dimension, and we can exaggerate or dampen motion.

在规范空间中对人体进行建模是捕捉和动画的常见实践。但是，当涉及神经辐射场（NERF）时，在规范空间中学习静态NERF是不够的，因为即使人体移动时，即使场景照明是恒定的，身体的照明也会变化。以前的方法通过学习人均嵌入来减轻照明的不一致，但是此操作并不能推广到看不见的姿势。鉴于照明条件在世界空间中是静态的，而人体在规范空间中是一致的，我们提出了一个双空间的nerf，该nerf在场景照明和人体中对两个单独空间的两个MLP进行建模。为了弥合这两个空间，以前的方法主要依赖于线性混合剥皮（LBS）算法。但是，动态神经场的LB的混合重量很难棘手，因此通常用另一个MLP记住，这不会推广到新型姿势。尽管可以借用参数网格（例如SMPL）的混合权重，但插值操作会引入更多的伪像。在本文中，我们建议使用Barycentric映射，该映射可以直接概括为看不见的姿势并出奇地取得了比具有神经混合重量的LB的优势。人类36M和ZJU-MOCAP数据集的定量和定性结果显示了我们方法的有效性。

综合照片 - 现实图像和视频是计算机图形的核心，并且是几十年的研究焦点。传统上，使用渲染算法（如光栅化或射线跟踪）生成场景的合成图像，其将几何形状和材料属性的表示为输入。统称，这些输入定义了实际场景和呈现的内容，并且被称为场景表示（其中场景由一个或多个对象组成）。示例场景表示是具有附带纹理的三角形网格（例如，由艺术家创建），点云（例如，来自深度传感器），体积网格（例如，来自CT扫描）或隐式曲面函数（例如，截短的符号距离）字段）。使用可分辨率渲染损耗的观察结果的这种场景表示的重建被称为逆图形或反向渲染。神经渲染密切相关，并将思想与经典计算机图形和机器学习中的思想相结合，以创建用于合成来自真实观察图像的图像的算法。神经渲染是朝向合成照片现实图像和视频内容的目标的跨越。近年来，我们通过数百个出版物显示了这一领域的巨大进展，这些出版物显示了将被动组件注入渲染管道的不同方式。这种最先进的神经渲染进步的报告侧重于将经典渲染原则与学习的3D场景表示结合的方法，通常现在被称为神经场景表示。这些方法的一个关键优势在于它们是通过设计的3D-一致，使诸如新颖的视点合成捕获场景的应用。除了处理静态场景的方法外，我们还涵盖了用于建模非刚性变形对象的神经场景表示...

创建高质量的动画和可重新可靠的3D人体化身的独特挑战是对人的眼睛进行建模。合成眼睛的挑战是多重的，因为它需要1）适当的表示眼和眼周区域的适当表示，以进行连贯的视点合成，能够表示弥漫性，折射和高度反射表面，2）2）脱离皮肤和眼睛外观这样的照明使其可以在新的照明条件下呈现，3）捕获眼球运动和周围皮肤的变形以使重新注视。传统上，这些挑战需要使用昂贵且繁琐的捕获设置来获得高质量的结果，即使那样，整体上的眼睛区域建模仍然难以捉摸。我们提出了一种新颖的几何形状和外观表示形式，该形式仅使用一组稀疏的灯光和摄像头，可以捕获高保真的捕获和感性动画，观察眼睛区域的综合和重新定位。我们的杂种表示将眼球的显式参数表面模型与眼周区域和眼内部的隐式变形体积表示结合在一起。这种新颖的混合模型旨在解决具有挑战性的面部面积的各个部分 - 明确的眼球表面允许在角膜处建模折射和高频镜面反射，而隐性表示非常适合通过模拟低频皮肤反射。球形谐波可以代表非表面结构，例如头发或弥漫性体积物体，这两者都是显式表面模型的挑战。我们表明，对于高分辨率的眼睛特写，我们的模型可以从看不见的照明条件下的新颖观点中综合高保真动画的目光。

面部3D形态模型是无数应用程序的主要计算机视觉主题，并且在过去二十年中已得到高度优化。深层生成网络的巨大改进创造了改善此类模型的各种可能性，并引起了广泛的兴趣。此外，神经辐射领域的最新进展正在彻底改变已知场景的新颖视图综合。在这项工作中，我们提出了一个面部3D形态模型，该模型利用了上述两者，并且可以准确地对受试者的身份，姿势和表达进行建模，并以任意照明形式呈现。这是通过利用强大的基于风格的发电机来克服神经辐射场的两个主要弱点，即它们的刚度和渲染速度来实现的。我们介绍了一个基于样式的生成网络，该网络在一个通过中综合了全部，并且仅在神经辐射场的所需渲染样品中构成。我们创建了一个庞大的标记为面部渲染的合成数据集，并在这些数据上训练网络，以便它可以准确地建模并推广到面部身份，姿势和外观。最后，我们表明该模型可以准确地适合“野外”的任意姿势和照明的面部图像，提取面部特征，并用于在可控条件下重新呈现面部。