神经量渲染能够在自由观看中的人类表演者的照片真实效果图，这是沉浸式VR/AR应用中的关键任务。但是，这种做法受到渲染过程中高计算成本的严重限制。为了解决这个问题，我们提出了紫外线量，这是一种新方法，可以实时呈现人类表演者的可编辑免费视频视频。它将高频（即非平滑）的外观与3D体积分开，并将其编码为2D神经纹理堆栈（NTS）。光滑的紫外线量允许更小且较浅的神经网络获得3D的密度和纹理坐标，同时在2D NT中捕获详细的外观。为了编辑性，参数化的人类模型与平滑纹理坐标之间的映射使我们可以更好地对新型姿势和形状进行更好的概括。此外，NTS的使用启用了有趣的应用程序，例如重新启动。关于CMU Panoptic，ZJU MOCAP和H36M数据集的广泛实验表明，我们的模型平均可以在30fps中呈现960 * 540张图像，并具有可比的照片现实主义与先进方法。该项目和补充材料可从https://github.com/fanegg/uv-volumes获得。

我们提出了神经可变形场（NDF），这是一种从多视频视频中进行动态人类数字化的新表示形式。最近的作品提出，代表具有共同的规范神经辐射场的动态人体，该范围与变形场估计相结合了观察空间。但是，学到的规范表示是静态的，变形场的当前设计无法表示大型运动或详细的几何变化。在本文中，我们建议学习一个围绕合适的参数体模型包裹的神经可变形场，以代表动态人体。NDF通过基础参考表面在空间上对齐。然后，学会了神经网络将其映射到NDF的动力学。提出的NDF表示可以通过新颖的观点和新颖的姿势合成数字化的表演者，并具有详细且合理的动态外观。实验表明，我们的方法明显优于最近的人类合成方法。

我们提出了神经演员（NA），一种用于从任意观点和任意可控姿势的高质量合成人类的新方法。我们的方法是基于最近的神经场景表示和渲染工作，从而从仅从2D图像中学习几何形状和外观的表示。虽然现有的作品令人兴奋地呈现静态场景和动态场景的播放，具有神经隐含方法的照片 - 现实重建和人类的渲染，特别是在用户控制的新颖姿势下，仍然很困难。为了解决这个问题，我们利用一个粗体模型作为将周围的3D空间的代理放入一个规范姿势。神经辐射场从多视图视频输入中了解在规范空间中的姿势依赖几何变形和姿势和视图相关的外观效果。为了综合高保真动态几何和外观的新颖视图，我们利用身体模型上定义的2D纹理地图作为预测残余变形和动态外观的潜变量。实验表明，我们的方法能够比播放的最先进，以及新的姿势合成来实现更好的质量，并且甚至可以概括到新的姿势与训练姿势不同的姿势。此外，我们的方法还支持对合成结果的体形控制。

最近的神经人类表示可以产生高质量的多视图渲染，但需要使用密集的多视图输入和昂贵的培训。因此，它们在很大程度上仅限于静态模型，因为每个帧都是不可行的。我们展示了人类学 - 一种普遍的神经表示 - 用于高保真自由观察动态人类的合成。类似于IBRNET如何通过避免每场景训练来帮助NERF，Humannerf跨多视图输入采用聚合像素对准特征，以及用于解决动态运动的姿势嵌入的非刚性变形场。原始人物员已经可以在稀疏视频输入的稀疏视频输入上产生合理的渲染。为了进一步提高渲染质量，我们使用外观混合模块增强了我们的解决方案，用于组合神经体积渲染和神经纹理混合的益处。各种多视图动态人类数据集的广泛实验证明了我们在挑战运动中合成照片 - 现实自由观点的方法和非常稀疏的相机视图输入中的普遍性和有效性。

隐式辐射功能作为重建和渲染3D场景的照片真实观点的强大场景表示形式出现。但是，这些表示的编辑性差。另一方面，诸如多边形网格之类的显式表示允许易于编辑，但不适合重建动态的人头中的准确细节，例如精细的面部特征，头发，牙齿，牙齿和眼睛。在这项工作中，我们提出了神经参数化（NEP），这是一种混合表示，提供了隐式和显式方法的优势。 NEP能够进行照片真实的渲染，同时允许对场景的几何形状和外观进行细粒度编辑。我们首先通过将3D几何形状参数化为2D纹理空间来解开几何形状和外观。我们通过引入显式线性变形层来启用几何编辑性。变形由一组稀疏的密钥点控制，可以明确和直观地移位以编辑几何形状。对于外观，我们开发了一个混合2D纹理，该纹理由明确的纹理图组成，以易于编辑和隐式视图以及时间相关的残差，以建模时间和视图变化。我们将我们的方法与几个重建和编辑基线进行比较。结果表明，NEP在保持高编辑性的同时达到了几乎相同的渲染精度。

我们提出了一种新型神经渲染管线，混合体积纹理渲染（HVTR），其合成了从任意姿势和高质量的任意姿势的虚拟人体化身。首先，我们学会在人体表面的致密UV歧管上编码铰接的人体运动。为了处理复杂的运动（例如，自闭电），我们将基于动态姿势的神经辐射场建造关于UV歧管的编码信息来构建基于动态姿态条件的神经辐射场的3D体积表示。虽然这允许我们表示具有更改拓扑的3D几何形状，但体积渲染是计算沉重的。因此，我们仅使用姿势调节的下采样的神经辐射场（PD-NERF）使用粗糙的体积表示，我们可以以低分辨率有效地呈现。此外，我们学习2D纹理功能，这些功能与图像空间中呈现的体积功能融合。我们的方法的关键优势是，我们可以通过快速GaN的纹理渲染器将融合功能转换为高分辨率，高质量的化身。我们证明混合渲染使HVTR能够处理复杂的动作，在用户控制的姿势/形状下呈现高质量的化身，甚至松散的衣服，最重要的是，在推理时间快速。我们的实验结果还证明了最先进的定量结果。

本文解决了从多视频视频中重建动画人类模型的挑战。最近的一些作品提出，将一个非刚性变形的场景分解为规范的神经辐射场和一组变形场，它们映射观察空间指向规范空间，从而使它们能够从图像中学习动态场景。但是，它们代表变形场作为转换矢量场或SE（3）字段，这使得优化高度不受限制。此外，这些表示无法通过输入动议明确控制。取而代之的是，我们基于线性混合剥皮算法引入了一个姿势驱动的变形场，该算法结合了混合重量场和3D人类骨架，以产生观察到的对应对应。由于3D人类骨骼更容易观察到，因此它们可以正规化变形场的学习。此外，可以通过输入骨骼运动来控制姿势驱动的变形场，以生成新的变形字段来动画规范人类模型。实验表明，我们的方法显着优于最近的人类建模方法。该代码可在https://zju3dv.github.io/animatable_nerf/上获得。

本文旨在减少透明辐射场的渲染时间。一些最近的作品用图像编码器配备了神经辐射字段，能够跨越场景概括，这避免了每场景优化。但是，它们的渲染过程通常很慢。主要因素是，在推断辐射场时，它们在空间中的大量点。在本文中，我们介绍了一个混合场景表示，它结合了最佳的隐式辐射场和显式深度映射，以便有效渲染。具体地，我们首先构建级联成本量，以有效地预测场景的粗糙几何形状。粗糙几何允许我们在场景表面附近的几个点来样，并显着提高渲染速度。该过程是完全可疑的，使我们能够仅从RGB图像共同学习深度预测和辐射现场网络。实验表明，该方法在DTU，真正的前瞻性和NERF合成数据集上展示了最先进的性能，而不是比以前的最可推广的辐射现场方法快至少50倍。我们还展示了我们的方法实时综合动态人类执行者的自由观点视频。代码将在https://zju3dv.github.io/enerf/处提供。

我们人类正在进入虚拟时代，确实想将动物带到虚拟世界中。然而，计算机生成的（CGI）毛茸茸的动物受到乏味的离线渲染的限制，更不用说交互式运动控制了。在本文中，我们提出了Artemis，这是一种新型的神经建模和渲染管道，用于生成具有外观和运动合成的清晰神经宠物。我们的Artemis可以实现互动运动控制，实时动画和毛茸茸的动物的照片真实渲染。我们的Artemis的核心是神经生成的（NGI）动物引擎，该动物发动机采用了有效的基于OCTREE的动物动画和毛皮渲染的代表。然后，该动画等同于基于显式骨骼翘曲的体素级变形。我们进一步使用快速的OCTREE索引和有效的体积渲染方案来生成外观和密度特征地图。最后，我们提出了一个新颖的阴影网络，以在外观和密度特征图中生成外观和不透明度的高保真细节。对于Artemis中的运动控制模块，我们将最新动物运动捕获方法与最近的神经特征控制方案相结合。我们引入了一种有效的优化方案，以重建由多视图RGB和Vicon相机阵列捕获的真实动物的骨骼运动。我们将所有捕获的运动馈送到神经角色控制方案中，以生成具有运动样式的抽象控制信号。我们将Artemis进一步整合到支持VR耳机的现有引擎中，提供了前所未有的沉浸式体验，用户可以与各种具有生动动作和光真实外观的虚拟动物进行紧密互动。我们可以通过https://haiminluo.github.io/publication/artemis/提供我们的Artemis模型和动态毛茸茸的动物数据集。

对人类的逼真渲染和安息对于实现增强现实体验至关重要。我们提出了一个新颖的框架，以重建人类和场景，可以用新颖的人类姿势和景色从一个单一的野外视频中呈现。给定一个由移动摄像机捕获的视频，我们训练了两个NERF模型：人类NERF模型和一个场景NERF模型。为了训练这些模型，我们依靠现有方法来估计人类和场景的粗糙几何形状。这些粗糙的几何估计值使我们能够创建一个从观察空间到独立姿势独立的空间的翘曲场10秒的视频剪辑，并以新颖的观点以及背景提供新颖的姿势，提供人类的高质量效果。

我们提出了一种无监督的方法，用于对铰接对象的3D几何形式表示学习，其中不使用图像置态对或前景口罩进行训练。尽管可以通过现有的3D神经表示的明确姿势控制铰接物体的影像图像，但这些方法需要地面真相3D姿势和前景口罩进行训练，这是昂贵的。我们通过学习GAN培训来学习表示形式来消除这种需求。该发电机经过训练，可以通过对抗训练从随机姿势和潜在向量产生逼真的铰接物体图像。为了避免GAN培训的高计算成本，我们提出了基于三平面的铰接对象的有效神经表示形式，然后为其无监督培训提供了基于GAN的框架。实验证明了我们方法的效率，并表明基于GAN的培训可以在没有配对监督的情况下学习可控的3D表示。

在规范空间中对人体进行建模是捕捉和动画的常见实践。但是，当涉及神经辐射场（NERF）时，在规范空间中学习静态NERF是不够的，因为即使人体移动时，即使场景照明是恒定的，身体的照明也会变化。以前的方法通过学习人均嵌入来减轻照明的不一致，但是此操作并不能推广到看不见的姿势。鉴于照明条件在世界空间中是静态的，而人体在规范空间中是一致的，我们提出了一个双空间的nerf，该nerf在场景照明和人体中对两个单独空间的两个MLP进行建模。为了弥合这两个空间，以前的方法主要依赖于线性混合剥皮（LBS）算法。但是，动态神经场的LB的混合重量很难棘手，因此通常用另一个MLP记住，这不会推广到新型姿势。尽管可以借用参数网格（例如SMPL）的混合权重，但插值操作会引入更多的伪像。在本文中，我们建议使用Barycentric映射，该映射可以直接概括为看不见的姿势并出奇地取得了比具有神经混合重量的LB的优势。人类36M和ZJU-MOCAP数据集的定量和定性结果显示了我们方法的有效性。

我们提出了一些动态神经辐射场（FDNERF），这是第一种基于NERF的方法，能够根据少量动态图像重建和表达3D面的表达编辑。与需要密集图像作为输入的现有动态NERF不同，并且只能为单个身份建模，我们的方法可以使跨不同人的不同人进行面对重建。与设计用于建模静态场景的最先进的几杆NERF相比，提出的FDNERF接受视图的动态输入，并支持任意的面部表达编辑，即产生具有输入超出输入的新表达式的面孔。为了处理动态输入之间的不一致之处，我们引入了精心设计的条件特征翘曲（CFW）模块，以在2D特征空间中执行表达条件的翘曲，这也是身份自适应和3D约束。结果，不同表达式的特征被转换为目标的特征。然后，我们根据这些视图一致的特征构建一个辐射场，并使用体积渲染来合成建模面的新型视图。进行定量和定性评估的广泛实验表明，我们的方法在3D面重建和表达编辑任务上都优于现有的动态和几乎没有射击的NERF。我们的代码和模型将在接受后提供。

我们提出了EgoreRender，一种用于渲染由安装在盖帽或VR耳机上的可穿戴的专门鱼眼相机捕获的人的全身神经头像的系统。我们的系统使演员的质感性谱系景观和她的动作从任意虚拟相机位置。从如下视图和大型扭曲，渲染来自此类自主特征的全身头像具有独特的挑战。我们通过将渲染过程分解为几个步骤，包括纹理综合，构建和神经图像翻译来解决这些挑战。对于纹理合成，我们提出了EGO-DPNET，一个神经网络，其在输入的鱼眼图像和底层参数体模型之间倾少密集的对应，并从自我输入输入中提取纹理。此外，为了编码动态外观，我们的方法还学习隐式纹理堆栈，捕获横跨姿势和视点的详细外观变化。对于正确的姿态生成，我们首先使用参数模型从Egentric视图估算身体姿势。然后，我们通过将参数模型投影到用户指定的目标视点来综合外部释放姿势图像。我们接下来将目标姿势图像和纹理组合到组合特征图像中，该组合特征图像使用神经图像平移网络转换为输出彩色图像。实验评估表明，Egorenderer能够产生佩戴Egocentric相机的人的现实自由观点的头像。几个基线的比较展示了我们的方法的优势。

我们向渲染和时间（4D）重建人类的渲染和时间（4D）重建的神经辐射场，通过稀疏的摄像机捕获或甚至来自单眼视频。我们的方法将思想与神经场景表示，新颖的综合合成和隐式统计几何人称的人类表示相结合，耦合使用新颖的损失功能。在先前使用符号距离功能表示的结构化隐式人体模型，而不是使用统一的占用率来学习具有统一占用的光域字段。这使我们能够从稀疏视图中稳健地融合信息，并概括超出在训练中观察到的姿势或视图。此外，我们应用几何限制以共同学习观察到的主题的结构 - 包括身体和衣服 - 并将辐射场正规化为几何合理的解决方案。在多个数据集上的广泛实验证明了我们方法的稳健性和准确性，其概括能力显着超出了一系列的姿势和视图，以及超出所观察到的形状的统计外推。

Photo-realistic free-viewpoint rendering of real-world scenes using classical computer graphics techniques is challenging, because it requires the difficult step of capturing detailed appearance and geometry models. Recent studies have demonstrated promising results by learning scene representations that implicitly encode both geometry and appearance without 3D supervision. However, existing approaches in practice often show blurry renderings caused by the limited network capacity or the difficulty in finding accurate intersections of camera rays with the scene geometry. Synthesizing high-resolution imagery from these representations often requires time-consuming optical ray marching. In this work, we introduce Neural Sparse Voxel Fields (NSVF), a new neural scene representation for fast and high-quality free-viewpoint rendering. NSVF defines a set of voxel-bounded implicit fields organized in a sparse voxel octree to model local properties in each cell. We progressively learn the underlying voxel structures with a diffentiable ray-marching operation from only a set of posed RGB images. With the sparse voxel octree structure, rendering novel views can be accelerated by skipping the voxels containing no relevant scene content. Our method is typically over 10 times faster than the state-of-the-art (namely, NeRF (Mildenhall et al., 2020)) at inference time while achieving higher quality results. Furthermore, by utilizing an explicit sparse voxel representation, our method can easily be applied to scene editing and scene composition. We also demonstrate several challenging tasks, including multi-scene learning, free-viewpoint rendering of a moving human, and large-scale scene rendering. Code and data are available at our website: https://github.com/facebookresearch/NSVF.

综合照片 - 现实图像和视频是计算机图形的核心，并且是几十年的研究焦点。传统上，使用渲染算法（如光栅化或射线跟踪）生成场景的合成图像，其将几何形状和材料属性的表示为输入。统称，这些输入定义了实际场景和呈现的内容，并且被称为场景表示（其中场景由一个或多个对象组成）。示例场景表示是具有附带纹理的三角形网格（例如，由艺术家创建），点云（例如，来自深度传感器），体积网格（例如，来自CT扫描）或隐式曲面函数（例如，截短的符号距离）字段）。使用可分辨率渲染损耗的观察结果的这种场景表示的重建被称为逆图形或反向渲染。神经渲染密切相关，并将思想与经典计算机图形和机器学习中的思想相结合，以创建用于合成来自真实观察图像的图像的算法。神经渲染是朝向合成照片现实图像和视频内容的目标的跨越。近年来，我们通过数百个出版物显示了这一领域的巨大进展，这些出版物显示了将被动组件注入渲染管道的不同方式。这种最先进的神经渲染进步的报告侧重于将经典渲染原则与学习的3D场景表示结合的方法，通常现在被称为神经场景表示。这些方法的一个关键优势在于它们是通过设计的3D-一致，使诸如新颖的视点合成捕获场景的应用。除了处理静态场景的方法外，我们还涵盖了用于建模非刚性变形对象的神经场景表示...

最近，我们看到了照片真实的人类建模和渲染的神经进展取得的巨大进展。但是，将它们集成到现有的下游应用程序中的现有网络管道中仍然具有挑战性。在本文中，我们提出了一种全面的神经方法，用于从密集的多视频视频中对人类表演进行高质量重建，压缩和渲染。我们的核心直觉是用一系列高效的神经技术桥接传统的动画网格工作流程。我们首先引入一个神经表面重建器，以在几分钟内进行高质量的表面产生。它与多分辨率哈希编码的截短签名距离场（TSDF）的隐式体积渲染相结合。我们进一步提出了一个混合神经跟踪器来生成动画网格，该网格将明确的非刚性跟踪与自我监督框架中的隐式动态变形结合在一起。前者将粗糙的翘曲返回到规范空间中，而后者隐含的一个隐含物进一步预测了使用4D哈希编码的位移，如我们的重建器中。然后，我们使用获得的动画网格讨论渲染方案，从动态纹理到各种带宽设置下的Lumigraph渲染。为了在质量和带宽之间取得复杂的平衡，我们通过首先渲染6个虚拟视图来涵盖表演者，然后进行闭塞感知的神经纹理融合，提出一个分层解决方案。我们证明了我们方法在各种平台上的各种基于网格的应用程序和照片真实的自由观看体验中的功效，即，通过移动AR插入虚拟人类的表演，或通过移动AR插入真实环境，或带有VR头戴式的人才表演。

Existing neural rendering methods for creating human avatars typically either require dense input signals such as video or multi-view images, or leverage a learned prior from large-scale specific 3D human datasets such that reconstruction can be performed with sparse-view inputs. Most of these methods fail to achieve realistic reconstruction when only a single image is available. To enable the data-efficient creation of realistic animatable 3D humans, we propose ELICIT, a novel method for learning human-specific neural radiance fields from a single image. Inspired by the fact that humans can easily reconstruct the body geometry and infer the full-body clothing from a single image, we leverage two priors in ELICIT: 3D geometry prior and visual semantic prior. Specifically, ELICIT introduces the 3D body shape geometry prior from a skinned vertex-based template model (i.e., SMPL) and implements the visual clothing semantic prior with the CLIP-based pre-trained models. Both priors are used to jointly guide the optimization for creating plausible content in the invisible areas. In order to further improve visual details, we propose a segmentation-based sampling strategy that locally refines different parts of the avatar. Comprehensive evaluations on multiple popular benchmarks, including ZJU-MoCAP, Human3.6M, and DeepFashion, show that ELICIT has outperformed current state-of-the-art avatar creation methods when only a single image is available. Code will be public for reseach purpose at https://elicit3d.github.io .