我们提出了神经演员（NA），一种用于从任意观点和任意可控姿势的高质量合成人类的新方法。我们的方法是基于最近的神经场景表示和渲染工作，从而从仅从2D图像中学习几何形状和外观的表示。虽然现有的作品令人兴奋地呈现静态场景和动态场景的播放，具有神经隐含方法的照片 - 现实重建和人类的渲染，特别是在用户控制的新颖姿势下，仍然很困难。为了解决这个问题，我们利用一个粗体模型作为将周围的3D空间的代理放入一个规范姿势。神经辐射场从多视图视频输入中了解在规范空间中的姿势依赖几何变形和姿势和视图相关的外观效果。为了综合高保真动态几何和外观的新颖视图，我们利用身体模型上定义的2D纹理地图作为预测残余变形和动态外观的潜变量。实验表明，我们的方法能够比播放的最先进，以及新的姿势合成来实现更好的质量，并且甚至可以概括到新的姿势与训练姿势不同的姿势。此外，我们的方法还支持对合成结果的体形控制。

我们提出了神经可变形场（NDF），这是一种从多视频视频中进行动态人类数字化的新表示形式。最近的作品提出，代表具有共同的规范神经辐射场的动态人体，该范围与变形场估计相结合了观察空间。但是，学到的规范表示是静态的，变形场的当前设计无法表示大型运动或详细的几何变化。在本文中，我们建议学习一个围绕合适的参数体模型包裹的神经可变形场，以代表动态人体。NDF通过基础参考表面在空间上对齐。然后，学会了神经网络将其映射到NDF的动力学。提出的NDF表示可以通过新颖的观点和新颖的姿势合成数字化的表演者，并具有详细且合理的动态外观。实验表明，我们的方法明显优于最近的人类合成方法。

我们提出了一种新方法，以从多个人的一组稀疏的多视图图像中学习通用的动画神经人类表示。学到的表示形式可用于合成一组稀疏相机的任意人的新型视图图像，并通过用户的姿势控制进一步对它们进行动画。尽管现有方法可以推广到新人，也可以通过用户控制合成动画，但它们都不能同时实现。我们将这一成就归因于用于共享多人人类模型的3D代理，并将不同姿势的空间的扭曲延伸到共享的规范姿势空间，在该空间中，我们在其中学习神经领域并预测个人和人物 - 姿势依赖性变形以及从输入图像中提取的特征的外观。为了应对身体形状，姿势和衣服变形的较大变化的复杂性，我们以分离的几何形状和外观设计神经人类模型。此外，我们在空间点和3D代理的表面点上都利用图像特征来预测人和姿势依赖性特性。实验表明，我们的方法在这两个任务上的最先进都大大优于最先进的方法。该视频和代码可在https://talegqz.github.io/neural_novel_actor上获得。

我们提出了一种新型神经渲染管线，混合体积纹理渲染（HVTR），其合成了从任意姿势和高质量的任意姿势的虚拟人体化身。首先，我们学会在人体表面的致密UV歧管上编码铰接的人体运动。为了处理复杂的运动（例如，自闭电），我们将基于动态姿势的神经辐射场建造关于UV歧管的编码信息来构建基于动态姿态条件的神经辐射场的3D体积表示。虽然这允许我们表示具有更改拓扑的3D几何形状，但体积渲染是计算沉重的。因此，我们仅使用姿势调节的下采样的神经辐射场（PD-NERF）使用粗糙的体积表示，我们可以以低分辨率有效地呈现。此外，我们学习2D纹理功能，这些功能与图像空间中呈现的体积功能融合。我们的方法的关键优势是，我们可以通过快速GaN的纹理渲染器将融合功能转换为高分辨率，高质量的化身。我们证明混合渲染使HVTR能够处理复杂的动作，在用户控制的姿势/形状下呈现高质量的化身，甚至松散的衣服，最重要的是，在推理时间快速。我们的实验结果还证明了最先进的定量结果。

本文解决了从多视频视频中重建动画人类模型的挑战。最近的一些作品提出，将一个非刚性变形的场景分解为规范的神经辐射场和一组变形场，它们映射观察空间指向规范空间，从而使它们能够从图像中学习动态场景。但是，它们代表变形场作为转换矢量场或SE（3）字段，这使得优化高度不受限制。此外，这些表示无法通过输入动议明确控制。取而代之的是，我们基于线性混合剥皮算法引入了一个姿势驱动的变形场，该算法结合了混合重量场和3D人类骨架，以产生观察到的对应对应。由于3D人类骨骼更容易观察到，因此它们可以正规化变形场的学习。此外，可以通过输入骨骼运动来控制姿势驱动的变形场，以生成新的变形字段来动画规范人类模型。实验表明，我们的方法显着优于最近的人类建模方法。该代码可在https://zju3dv.github.io/animatable_nerf/上获得。

我们介绍了一个自由视的渲染方法 - Humannerf - 这对人类进行了复杂的身体运动的给定单曲视频工作，例如，来自YouTube的视频。我们的方法可以在任何帧中暂停视频，并从任意新相机视点呈现对象，甚至是该特定帧和身体姿势的完整360度摄像机路径。这项任务特别具有挑战性，因为它需要合成身体的光电型细节，如从输入视频中可能不存在的各种相机角度所见，以及合成布折叠和面部外观的细细节。我们的方法优化了在规范T型姿势中的人的体积表示，同时通过运动场，该运动场通过向后的警报将估计的规范表示映射到视频的每个帧。运动场分解成骨骼刚性和非刚性运动，由深网络产生。我们对现有工作显示出显着的性能改进，以及从移动人类的单眼视频的令人尖锐的观点渲染的阐释示例，以挑战不受控制的捕获场景。

我们人类正在进入虚拟时代，确实想将动物带到虚拟世界中。然而，计算机生成的（CGI）毛茸茸的动物受到乏味的离线渲染的限制，更不用说交互式运动控制了。在本文中，我们提出了Artemis，这是一种新型的神经建模和渲染管道，用于生成具有外观和运动合成的清晰神经宠物。我们的Artemis可以实现互动运动控制，实时动画和毛茸茸的动物的照片真实渲染。我们的Artemis的核心是神经生成的（NGI）动物引擎，该动物发动机采用了有效的基于OCTREE的动物动画和毛皮渲染的代表。然后，该动画等同于基于显式骨骼翘曲的体素级变形。我们进一步使用快速的OCTREE索引和有效的体积渲染方案来生成外观和密度特征地图。最后，我们提出了一个新颖的阴影网络，以在外观和密度特征图中生成外观和不透明度的高保真细节。对于Artemis中的运动控制模块，我们将最新动物运动捕获方法与最近的神经特征控制方案相结合。我们引入了一种有效的优化方案，以重建由多视图RGB和Vicon相机阵列捕获的真实动物的骨骼运动。我们将所有捕获的运动馈送到神经角色控制方案中，以生成具有运动样式的抽象控制信号。我们将Artemis进一步整合到支持VR耳机的现有引擎中，提供了前所未有的沉浸式体验，用户可以与各种具有生动动作和光真实外观的虚拟动物进行紧密互动。我们可以通过https://haiminluo.github.io/publication/artemis/提供我们的Artemis模型和动态毛茸茸的动物数据集。

对于场景重建和新型视图综合的数量表示形式的普及最近，人们的普及使重点放在以高视觉质量和实时为实时的体积内容动画上。尽管基于学习功能的隐性变形方法可以产生令人印象深刻的结果，但它们是艺术家和内容创建者的“黑匣子”，但它们需要大量的培训数据才能有意义地概括，并且在培训数据之外不会产生现实的外推。在这项工作中，我们通过引入实时的音量变形方法来解决这些问题，该方法是实时的，易于使用现成的软件编辑，并且可以令人信服地推断出来。为了证明我们方法的多功能性，我们将其应用于两种情况：基于物理的对象变形和触发性，其中使用Blendshapes控制着头像。我们还进行了彻底的实验，表明我们的方法与两种体积方法相比，结合了基于网格变形的隐式变形和方法。

我们提出了一种无监督的方法，用于对铰接对象的3D几何形式表示学习，其中不使用图像置态对或前景口罩进行训练。尽管可以通过现有的3D神经表示的明确姿势控制铰接物体的影像图像，但这些方法需要地面真相3D姿势和前景口罩进行训练，这是昂贵的。我们通过学习GAN培训来学习表示形式来消除这种需求。该发电机经过训练，可以通过对抗训练从随机姿势和潜在向量产生逼真的铰接物体图像。为了避免GAN培训的高计算成本，我们提出了基于三平面的铰接对象的有效神经表示形式，然后为其无监督培训提供了基于GAN的框架。实验证明了我们方法的效率，并表明基于GAN的培训可以在没有配对监督的情况下学习可控的3D表示。

综合照片 - 现实图像和视频是计算机图形的核心，并且是几十年的研究焦点。传统上，使用渲染算法（如光栅化或射线跟踪）生成场景的合成图像，其将几何形状和材料属性的表示为输入。统称，这些输入定义了实际场景和呈现的内容，并且被称为场景表示（其中场景由一个或多个对象组成）。示例场景表示是具有附带纹理的三角形网格（例如，由艺术家创建），点云（例如，来自深度传感器），体积网格（例如，来自CT扫描）或隐式曲面函数（例如，截短的符号距离）字段）。使用可分辨率渲染损耗的观察结果的这种场景表示的重建被称为逆图形或反向渲染。神经渲染密切相关，并将思想与经典计算机图形和机器学习中的思想相结合，以创建用于合成来自真实观察图像的图像的算法。神经渲染是朝向合成照片现实图像和视频内容的目标的跨越。近年来，我们通过数百个出版物显示了这一领域的巨大进展，这些出版物显示了将被动组件注入渲染管道的不同方式。这种最先进的神经渲染进步的报告侧重于将经典渲染原则与学习的3D场景表示结合的方法，通常现在被称为神经场景表示。这些方法的一个关键优势在于它们是通过设计的3D-一致，使诸如新颖的视点合成捕获场景的应用。除了处理静态场景的方法外，我们还涵盖了用于建模非刚性变形对象的神经场景表示...

最近，基于神经辐射场（NERF）的进步，在3D人类渲染方面取得了迅速的进展，包括新的视图合成和姿势动画。但是，大多数现有方法集中在特定于人的培训上，他们的培训通常需要多视频视频。本文涉及一项新的挑战性任务 - 为在培训中看不见的人提供新颖的观点和新颖的姿势，仅使用多视图图像作为输入。对于此任务，我们提出了一种简单而有效的方法，以训练具有多视图像作为条件输入的可推广的NERF。关键成分是结合规范NERF和体积变形方案的专用表示。使用规范空间使我们的方法能够学习人类的共享特性，并轻松地推广到不同的人。音量变形用于将规范空间与输入和目标图像以及查询图像特征连接起来，以进行辐射和密度预测。我们利用拟合在输入图像上的参数3D人类模型来得出变形，与我们的规范NERF结合使用，它在实践中效果很好。具有新的观点合成和构成动画任务的真实和合成数据的实验共同证明了我们方法的功效。

我们向渲染和时间（4D）重建人类的渲染和时间（4D）重建的神经辐射场，通过稀疏的摄像机捕获或甚至来自单眼视频。我们的方法将思想与神经场景表示，新颖的综合合成和隐式统计几何人称的人类表示相结合，耦合使用新颖的损失功能。在先前使用符号距离功能表示的结构化隐式人体模型，而不是使用统一的占用率来学习具有统一占用的光域字段。这使我们能够从稀疏视图中稳健地融合信息，并概括超出在训练中观察到的姿势或视图。此外，我们应用几何限制以共同学习观察到的主题的结构 - 包括身体和衣服 - 并将辐射场正规化为几何合理的解决方案。在多个数据集上的广泛实验证明了我们方法的稳健性和准确性，其概括能力显着超出了一系列的姿势和视图，以及超出所观察到的形状的统计外推。

神经量渲染能够在自由观看中的人类表演者的照片真实效果图，这是沉浸式VR/AR应用中的关键任务。但是，这种做法受到渲染过程中高计算成本的严重限制。为了解决这个问题，我们提出了紫外线量，这是一种新方法，可以实时呈现人类表演者的可编辑免费视频视频。它将高频（即非平滑）的外观与3D体积分开，并将其编码为2D神经纹理堆栈（NTS）。光滑的紫外线量允许更小且较浅的神经网络获得3D的密度和纹理坐标，同时在2D NT中捕获详细的外观。为了编辑性，参数化的人类模型与平滑纹理坐标之间的映射使我们可以更好地对新型姿势和形状进行更好的概括。此外，NTS的使用启用了有趣的应用程序，例如重新启动。关于CMU Panoptic，ZJU MOCAP和H36M数据集的广泛实验表明，我们的模型平均可以在30fps中呈现960 * 540张图像，并具有可比的照片现实主义与先进方法。该项目和补充材料可从https://github.com/fanegg/uv-volumes获得。

最近，我们看到了照片真实的人类建模和渲染的神经进展取得的巨大进展。但是，将它们集成到现有的下游应用程序中的现有网络管道中仍然具有挑战性。在本文中，我们提出了一种全面的神经方法，用于从密集的多视频视频中对人类表演进行高质量重建，压缩和渲染。我们的核心直觉是用一系列高效的神经技术桥接传统的动画网格工作流程。我们首先引入一个神经表面重建器，以在几分钟内进行高质量的表面产生。它与多分辨率哈希编码的截短签名距离场（TSDF）的隐式体积渲染相结合。我们进一步提出了一个混合神经跟踪器来生成动画网格，该网格将明确的非刚性跟踪与自我监督框架中的隐式动态变形结合在一起。前者将粗糙的翘曲返回到规范空间中，而后者隐含的一个隐含物进一步预测了使用4D哈希编码的位移，如我们的重建器中。然后，我们使用获得的动画网格讨论渲染方案，从动态纹理到各种带宽设置下的Lumigraph渲染。为了在质量和带宽之间取得复杂的平衡，我们通过首先渲染6个虚拟视图来涵盖表演者，然后进行闭塞感知的神经纹理融合，提出一个分层解决方案。我们证明了我们方法在各种平台上的各种基于网格的应用程序和照片真实的自由观看体验中的功效，即，通过移动AR插入虚拟人类的表演，或通过移动AR插入真实环境，或带有VR头戴式的人才表演。

在规范空间中对人体进行建模是捕捉和动画的常见实践。但是，当涉及神经辐射场（NERF）时，在规范空间中学习静态NERF是不够的，因为即使人体移动时，即使场景照明是恒定的，身体的照明也会变化。以前的方法通过学习人均嵌入来减轻照明的不一致，但是此操作并不能推广到看不见的姿势。鉴于照明条件在世界空间中是静态的，而人体在规范空间中是一致的，我们提出了一个双空间的nerf，该nerf在场景照明和人体中对两个单独空间的两个MLP进行建模。为了弥合这两个空间，以前的方法主要依赖于线性混合剥皮（LBS）算法。但是，动态神经场的LB的混合重量很难棘手，因此通常用另一个MLP记住，这不会推广到新型姿势。尽管可以借用参数网格（例如SMPL）的混合权重，但插值操作会引入更多的伪像。在本文中，我们建议使用Barycentric映射，该映射可以直接概括为看不见的姿势并出奇地取得了比具有神经混合重量的LB的优势。人类36M和ZJU-MOCAP数据集的定量和定性结果显示了我们方法的有效性。

无监督的生成的虚拟人类具有各种外观和动画姿势对于创建3D人体化身和其他AR/VR应用非常重要。现有方法要么仅限于刚性对象建模，要么不生成，因此无法合成高质量的虚拟人类并使它们进行动画化。在这项工作中，我们提出了Avatargen，这是第一种不仅可以具有不同外观的非刚性人类产生的方法，而且还可以完全控制姿势和观点，同时仅需要2D图像进行训练。具体而言，它通过利用粗糙的人体模型作为代理将观察空间扭曲到规范空间下的标准头像，将最近的3D甘斯扩展到了人类的衣服。为了建模非刚性动力学，它引入了一个变形网络，以学习规范空间中的姿势依赖性变形。为了提高生成的人类化身的几何质量，它利用签名距离字段作为几何表示，从而可以从几何学学习上的身体模型中进行更直接的正则化。从这些设计中受益，我们的方法可以生成具有高质量外观和几何形状建模的动画人体化身，从而极大地表现了先前的3D gan。此外，它有能力用于许多应用，例如单视重构造，复活和文本引导的合成。代码和预培训模型将可用。

仅使用单视2D照片的收藏集对3D感知生成对抗网络（GAN）的无监督学习最近取得了很多进展。然而，这些3D gan尚未证明人体，并且现有框架的产生的辐射场不是直接编辑的，从而限制了它们在下游任务中的适用性。我们通过开发一个3D GAN框架来解决这些挑战的解决方案，该框架学会在规范的姿势中生成人体或面部的辐射场，并使用显式变形场将其扭曲成所需的身体姿势或面部表达。使用我们的框架，我们展示了人体的第一个高质量的辐射现场生成结果。此外，我们表明，与未接受明确变形训练的3D GAN相比，在编辑其姿势或面部表情时，我们的变形感知训练程序可显着提高产生的身体或面部的质量。

最近的神经人类表示可以产生高质量的多视图渲染，但需要使用密集的多视图输入和昂贵的培训。因此，它们在很大程度上仅限于静态模型，因为每个帧都是不可行的。我们展示了人类学 - 一种普遍的神经表示 - 用于高保真自由观察动态人类的合成。类似于IBRNET如何通过避免每场景训练来帮助NERF，Humannerf跨多视图输入采用聚合像素对准特征，以及用于解决动态运动的姿势嵌入的非刚性变形场。原始人物员已经可以在稀疏视频输入的稀疏视频输入上产生合理的渲染。为了进一步提高渲染质量，我们使用外观混合模块增强了我们的解决方案，用于组合神经体积渲染和神经纹理混合的益处。各种多视图动态人类数据集的广泛实验证明了我们在挑战运动中合成照片 - 现实自由观点的方法和非常稀疏的相机视图输入中的普遍性和有效性。

Photo-realistic free-viewpoint rendering of real-world scenes using classical computer graphics techniques is challenging, because it requires the difficult step of capturing detailed appearance and geometry models. Recent studies have demonstrated promising results by learning scene representations that implicitly encode both geometry and appearance without 3D supervision. However, existing approaches in practice often show blurry renderings caused by the limited network capacity or the difficulty in finding accurate intersections of camera rays with the scene geometry. Synthesizing high-resolution imagery from these representations often requires time-consuming optical ray marching. In this work, we introduce Neural Sparse Voxel Fields (NSVF), a new neural scene representation for fast and high-quality free-viewpoint rendering. NSVF defines a set of voxel-bounded implicit fields organized in a sparse voxel octree to model local properties in each cell. We progressively learn the underlying voxel structures with a diffentiable ray-marching operation from only a set of posed RGB images. With the sparse voxel octree structure, rendering novel views can be accelerated by skipping the voxels containing no relevant scene content. Our method is typically over 10 times faster than the state-of-the-art (namely, NeRF (Mildenhall et al., 2020)) at inference time while achieving higher quality results. Furthermore, by utilizing an explicit sparse voxel representation, our method can easily be applied to scene editing and scene composition. We also demonstrate several challenging tasks, including multi-scene learning, free-viewpoint rendering of a moving human, and large-scale scene rendering. Code and data are available at our website: https://github.com/facebookresearch/NSVF.