我们介绍了一个现实的单发网眼的人体头像创作的系统，即简称罗马。使用一张照片，我们的模型估计了特定于人的头部网格和相关的神经纹理，该神经纹理编码局部光度和几何细节。最终的化身是操纵的，可以使用神经网络进行渲染，该神经网络与野外视频数据集上的网格和纹理估计器一起训练。在实验中，我们观察到我们的系统在头部几何恢复和渲染质量方面都具有竞争性的性能，尤其是对于跨人的重新制定。请参阅结果https://samsunglabs.github.io/rome/

We introduce Structured 3D Features, a model based on a novel implicit 3D representation that pools pixel-aligned image features onto dense 3D points sampled from a parametric, statistical human mesh surface. The 3D points have associated semantics and can move freely in 3D space. This allows for optimal coverage of the person of interest, beyond just the body shape, which in turn, additionally helps modeling accessories, hair, and loose clothing. Owing to this, we present a complete 3D transformer-based attention framework which, given a single image of a person in an unconstrained pose, generates an animatable 3D reconstruction with albedo and illumination decomposition, as a result of a single end-to-end model, trained semi-supervised, and with no additional postprocessing. We show that our S3F model surpasses the previous state-of-the-art on various tasks, including monocular 3D reconstruction, as well as albedo and shading estimation. Moreover, we show that the proposed methodology allows novel view synthesis, relighting, and re-posing the reconstruction, and can naturally be extended to handle multiple input images (e.g. different views of a person, or the same view, in different poses, in video). Finally, we demonstrate the editing capabilities of our model for 3D virtual try-on applications.

我们提出了神经头头像，这是一种新型神经表示，其明确地模拟了可动画的人体化身的表面几何形状和外观，可用于在依赖数字人类的电影或游戏行业中的AR / VR或其他应用中的电话会议。我们的代表可以从单眼RGB肖像视频中学到，该视频具有一系列不同的表达和视图。具体地，我们提出了一种混合表示，其由面部的粗糙形状和表达式和两个前馈网络组成的混合表示，以及预测底层网格的顶点偏移以及视图和表达依赖性纹理。我们证明，该表示能够准确地外推到看不见的姿势和观点，并在提供尖锐的纹理细节的同时产生自然表达。与先前的磁头头像上的作品相比，我们的方法提供了与标准图形管道兼容的完整人体头（包括头发）的分解形状和外观模型。此外，就重建质量和新型观看合成而定量和定性地优于现有技术的当前状态。

We present HARP (HAnd Reconstruction and Personalization), a personalized hand avatar creation approach that takes a short monocular RGB video of a human hand as input and reconstructs a faithful hand avatar exhibiting a high-fidelity appearance and geometry. In contrast to the major trend of neural implicit representations, HARP models a hand with a mesh-based parametric hand model, a vertex displacement map, a normal map, and an albedo without any neural components. As validated by our experiments, the explicit nature of our representation enables a truly scalable, robust, and efficient approach to hand avatar creation. HARP is optimized via gradient descent from a short sequence captured by a hand-held mobile phone and can be directly used in AR/VR applications with real-time rendering capability. To enable this, we carefully design and implement a shadow-aware differentiable rendering scheme that is robust to high degree articulations and self-shadowing regularly present in hand motion sequences, as well as challenging lighting conditions. It also generalizes to unseen poses and novel viewpoints, producing photo-realistic renderings of hand animations performing highly-articulated motions. Furthermore, the learned HARP representation can be used for improving 3D hand pose estimation quality in challenging viewpoints. The key advantages of HARP are validated by the in-depth analyses on appearance reconstruction, novel-view and novel pose synthesis, and 3D hand pose refinement. It is an AR/VR-ready personalized hand representation that shows superior fidelity and scalability.

综合照片 - 现实图像和视频是计算机图形的核心，并且是几十年的研究焦点。传统上，使用渲染算法（如光栅化或射线跟踪）生成场景的合成图像，其将几何形状和材料属性的表示为输入。统称，这些输入定义了实际场景和呈现的内容，并且被称为场景表示（其中场景由一个或多个对象组成）。示例场景表示是具有附带纹理的三角形网格（例如，由艺术家创建），点云（例如，来自深度传感器），体积网格（例如，来自CT扫描）或隐式曲面函数（例如，截短的符号距离）字段）。使用可分辨率渲染损耗的观察结果的这种场景表示的重建被称为逆图形或反向渲染。神经渲染密切相关，并将思想与经典计算机图形和机器学习中的思想相结合，以创建用于合成来自真实观察图像的图像的算法。神经渲染是朝向合成照片现实图像和视频内容的目标的跨越。近年来，我们通过数百个出版物显示了这一领域的巨大进展，这些出版物显示了将被动组件注入渲染管道的不同方式。这种最先进的神经渲染进步的报告侧重于将经典渲染原则与学习的3D场景表示结合的方法，通常现在被称为神经场景表示。这些方法的一个关键优势在于它们是通过设计的3D-一致，使诸如新颖的视点合成捕获场景的应用。除了处理静态场景的方法外，我们还涵盖了用于建模非刚性变形对象的神经场景表示...

在这项工作中，我们将神经头部的头像技术推向百万像素分辨率，同时着重于跨驾驶合成的特别挑战性的任务，即，当驾驶图像的外观与动画源图像大不相同时。我们提出了一组新的神经体系结构和训练方法，这些方法可以利用中分辨率的视频数据和高分辨率图像数据，以达到所需的渲染图像质量和对新视图和运动的概括。我们证明，建议的架构和方法产生令人信服的高分辨率神经化身，在跨驾驶场景中表现优于竞争对手。最后，我们展示了如何将受过训练的高分辨率神经化身模型蒸馏成一个轻量级的学生模型，该模型是实时运行的，并将神经化身的身份锁定到数十个预定的源图像。实时操作和身份锁对于许多实际应用头像系统至关重要。

Single-image 3D human reconstruction aims to reconstruct the 3D textured surface of the human body given a single image. While implicit function-based methods recently achieved reasonable reconstruction performance, they still bear limitations showing degraded quality in both surface geometry and texture from an unobserved view. In response, to generate a realistic textured surface, we propose ReFu, a coarse-to-fine approach that refines the projected backside view image and fuses the refined image to predict the final human body. To suppress the diffused occupancy that causes noise in projection images and reconstructed meshes, we propose to train occupancy probability by simultaneously utilizing 2D and 3D supervisions with occupancy-based volume rendering. We also introduce a refinement architecture that generates detail-preserving backside-view images with front-to-back warping. Extensive experiments demonstrate that our method achieves state-of-the-art performance in 3D human reconstruction from a single image, showing enhanced geometry and texture quality from an unobserved view.

我们提出了一种从一个或几种视图中重建人头的纹理3D网眼的方法。由于如此少的重建​​缺乏约束，因此需要先验知识，这很难强加于传统的3D重建算法。在这项工作中，我们依靠最近引入的3D表示$ \ unicode {x2013} $ neural隐式函数$ \ unicode {x2013} $，它基于神经网络，允许自然地从数据中学习有关人类头的先验，并且直接转换为纹理网格。也就是说，我们扩展了Neus（一种最新的神经隐式函数公式），以同时代表类的多个对象（在我们的情况下）。潜在的神经网架构旨在学习这些物体之间的共同点，并概括地看不见。我们的模型仅在一百个智能手机视频上进行培训，不需要任何扫描的3D数据。之后，该模型可以以良好的效果以几种镜头或一次性模式适合新颖的头。

我们提出了自由式 - 人体神经通话的头部合成系统。我们表明，具有稀疏3D面部标志的建模面孔足以实现最先进的生成性能，而无需依赖诸如3D可变形模型之类的强统计学先验。除了3D姿势和面部表情外，我们的方法还能够将目光从驾驶演员转移到源身份。我们的完整管道由三个组件组成：一个规范的3D密钥估计器，可回归3D姿势和与表达相关的变形，凝视估计网络和建立在Headgan架构上的生成器。我们进一步实验发电机的扩展，以使用注意机制可容纳几次学习，以防万一可用多个源图像。与最新的重演和运动转移模型相比，我们的系统实现了更高的照片真实性与优越的身份保护，同时提供明确的注视控制。

我们提出了一种基于优化的新型范式，用于在图像和扫描上拟合3D人类模型。与直接回归输入图像中低维统计体模型（例如SMPL）的参数的现有方法相反，我们训练了每个vertex神经场网络的集合。该网络以分布式的方式预测基于当前顶点投影处提取的神经特征的顶点下降方向。在推断时，我们在梯度降低的优化管道中采用该网络，称为LVD，直到其收敛性为止，即使将所有顶点初始化为单个点，通常也会以一秒钟的分数出现。一项详尽的评估表明，我们的方法能够捕获具有截然不同的身体形状的穿着的人体，与最先进的人相比取得了重大改进。 LVD也适用于人类和手的3D模型配合，为此，我们以更简单，更快的方法对SOTA显示出显着改善。

仅使用单视2D照片的收藏集对3D感知生成对抗网络（GAN）的无监督学习最近取得了很多进展。然而，这些3D gan尚未证明人体，并且现有框架的产生的辐射场不是直接编辑的，从而限制了它们在下游任务中的适用性。我们通过开发一个3D GAN框架来解决这些挑战的解决方案，该框架学会在规范的姿势中生成人体或面部的辐射场，并使用显式变形场将其扭曲成所需的身体姿势或面部表达。使用我们的框架，我们展示了人体的第一个高质量的辐射现场生成结果。此外，我们表明，与未接受明确变形训练的3D GAN相比，在编辑其姿势或面部表情时，我们的变形感知训练程序可显着提高产生的身体或面部的质量。

对于场景重建和新型视图综合的数量表示形式的普及最近，人们的普及使重点放在以高视觉质量和实时为实时的体积内容动画上。尽管基于学习功能的隐性变形方法可以产生令人印象深刻的结果，但它们是艺术家和内容创建者的“黑匣子”，但它们需要大量的培训数据才能有意义地概括，并且在培训数据之外不会产生现实的外推。在这项工作中，我们通过引入实时的音量变形方法来解决这些问题，该方法是实时的，易于使用现成的软件编辑，并且可以令人信服地推断出来。为了证明我们方法的多功能性，我们将其应用于两种情况：基于物理的对象变形和触发性，其中使用Blendshapes控制着头像。我们还进行了彻底的实验，表明我们的方法与两种体积方法相比，结合了基于网格变形的隐式变形和方法。

生产级别的工作流程用于产生令人信服的3D动态人体面孔长期以来依赖各种劳动密集型工具用于几何和纹理生成，运动捕获和索具以及表达合成。最近的神经方法可以使单个组件自动化，但是相应的潜在表示不能像常规工具一样为艺术家提供明确的控制。在本文中，我们提出了一种新的基于学习的，视频驱动的方法，用于生成具有高质量基于物理资产的动态面部几何形状。对于数据收集，我们构建了一个混合多视频测量捕获阶段，与超快速摄像机耦合以获得原始的3D面部资产。然后，我们着手使用单独的VAE对面部表达，几何形状和基于物理的纹理进行建模，我们在各个网络的潜在范围内强加了基于全局MLP的表达映射，以保留各个属性的特征。我们还将增量信息建模为基于物理的纹理的皱纹图，从而达到高质量的4K动态纹理。我们展示了我们在高保真表演者特异性面部捕获和跨认同面部运动重新定位中的方法。此外，我们的基于多VAE的神经资产以及快速适应方案也可以部署以处理内部视频。此外，我们通过提供具有较高现实主义的各种有希望的基于身体的编辑结果来激发我们明确的面部解散策略的实用性。综合实验表明，与以前的视频驱动的面部重建和动画方法相比，我们的技术提供了更高的准确性和视觉保真度。

从单个图像重建高保真3D面部纹理是一个具有挑战性的任务，因为缺乏完整的面部信息和3D面和2D图像之间的域间隙。最新作品通过应用基于代或基于重建的方法来解决面部纹理重建问题。尽管各种方法具有自身的优势，但它们不能恢复高保真和可重新可传送的面部纹理，其中术语“重新可调剂”要求面部质地在空间地完成和与环境照明中脱颖而出。在本文中，我们提出了一种新颖的自我监督学习框架，用于从野外的单视图重建高质量的3D面。我们的主要思想是首先利用先前的一代模块来生产先前的Albedo，然后利用细节细化模块来获得详细的Albedo。为了进一步使面部纹理解开照明，我们提出了一种新颖的详细的照明表示，该表现在一起与详细的Albedo一起重建。我们还在反照侧和照明方面设计了几种正规化损失功能，以便于解散这两个因素。最后，由于可怜的渲染技术，我们的神经网络可以以自我监督的方式有效地培训。关于具有挑战性的数据集的广泛实验表明，我们的框架在定性和定量比较方面显着优于最先进的方法。

Existing neural rendering methods for creating human avatars typically either require dense input signals such as video or multi-view images, or leverage a learned prior from large-scale specific 3D human datasets such that reconstruction can be performed with sparse-view inputs. Most of these methods fail to achieve realistic reconstruction when only a single image is available. To enable the data-efficient creation of realistic animatable 3D humans, we propose ELICIT, a novel method for learning human-specific neural radiance fields from a single image. Inspired by the fact that humans can easily reconstruct the body geometry and infer the full-body clothing from a single image, we leverage two priors in ELICIT: 3D geometry prior and visual semantic prior. Specifically, ELICIT introduces the 3D body shape geometry prior from a skinned vertex-based template model (i.e., SMPL) and implements the visual clothing semantic prior with the CLIP-based pre-trained models. Both priors are used to jointly guide the optimization for creating plausible content in the invisible areas. In order to further improve visual details, we propose a segmentation-based sampling strategy that locally refines different parts of the avatar. Comprehensive evaluations on multiple popular benchmarks, including ZJU-MoCAP, Human3.6M, and DeepFashion, show that ELICIT has outperformed current state-of-the-art avatar creation methods when only a single image is available. Code will be public for reseach purpose at https://elicit3d.github.io .

我们向渲染和时间（4D）重建人类的渲染和时间（4D）重建的神经辐射场，通过稀疏的摄像机捕获或甚至来自单眼视频。我们的方法将思想与神经场景表示，新颖的综合合成和隐式统计几何人称的人类表示相结合，耦合使用新颖的损失功能。在先前使用符号距离功能表示的结构化隐式人体模型，而不是使用统一的占用率来学习具有统一占用的光域字段。这使我们能够从稀疏视图中稳健地融合信息，并概括超出在训练中观察到的姿势或视图。此外，我们应用几何限制以共同学习观察到的主题的结构 - 包括身体和衣服 - 并将辐射场正规化为几何合理的解决方案。在多个数据集上的广泛实验证明了我们方法的稳健性和准确性，其概括能力显着超出了一系列的姿势和视图，以及超出所观察到的形状的统计外推。

随着几个行业正在朝着建模大规模的3D虚拟世界迈进，因此需要根据3D内容的数量，质量和多样性来扩展的内容创建工具的需求变得显而易见。在我们的工作中，我们旨在训练Parterant 3D生成模型，以合成纹理网格，可以通过3D渲染引擎直接消耗，因此立即在下游应用中使用。 3D生成建模的先前工作要么缺少几何细节，因此在它们可以生成的网格拓扑中受到限制，通常不支持纹理，或者在合成过程中使用神经渲染器，这使得它们在常见的3D软件中使用。在这项工作中，我们介绍了GET3D，这是一种生成模型，该模型直接生成具有复杂拓扑，丰富几何细节和高保真纹理的显式纹理3D网格。我们在可区分的表面建模，可区分渲染以及2D生成对抗网络中桥接了最新成功，以从2D图像集合中训练我们的模型。 GET3D能够生成高质量的3D纹理网格，从汽车，椅子，动物，摩托车和人类角色到建筑物，对以前的方法进行了重大改进。

用于运动中的人类的新型视图综合是一个具有挑战性的计算机视觉问题，使得诸如自由视视频之类的应用。现有方法通常使用具有多个输入视图，3D监控或预训练模型的复杂设置，这些模型不会概括为新标识。旨在解决这些限制，我们提出了一种新颖的视图综合框架，以从单视图传感器捕获的任何人的看法生成现实渲染，其具有稀疏的RGB-D，类似于低成本深度摄像头，而没有参与者特定的楷模。我们提出了一种架构来学习由基于球体的神经渲染获得的小说视图中的密集功能，并使用全局上下文修复模型创建完整的渲染。此外，增强剂网络利用了整体保真度，即使在原始视图中的遮挡区域中也能够产生细节的清晰渲染。我们展示了我们的方法为单个稀疏RGB-D输入产生高质量的合成和真实人体演员的新颖视图。它概括了看不见的身份，新的姿势，忠实地重建面部表情。我们的方法优于现有人体观测合成方法，并且对不同水平的输入稀疏性具有稳健性。

生成对抗网络（GAN）的最近成功在面部动画任务方面取得了很大进展。然而，面部图像的复杂场景结构仍然使得产生具有显着偏离源图像的面部姿势的视频的挑战。一方面，在不知道面部几何结构的情况下，生成的面部图像可能被扭曲不当。另一方面，所生成的图像的一些区域可以在源图像中封闭，这使得GaN难以产生现实的外观。为了解决这些问题，我们提出了一种结构意识的面部动画（SAFA）方法，其构造特定的几何结构，以模拟面部图像的不同组件。在识别良好的基于​​运动的面部动画技术之后，我们使用3D可变模型（3dmm）来模拟面部，多个仿射变换，以模拟其他前景组件，如头发和胡须，以及模拟背景的身份变换。 3DMM几何嵌入不仅有助于为驾驶场景产生现实结构，而且有助于更好地感知所生成的图像中的遮挡区域。此外，我们进一步建议利用广泛研究的初探技术忠实地恢复封闭的图像区域。定量和定性实验结果都显示出我们方法的优越性。代码可在https://github.com/qiulin-w/safa获得。

最近，数据驱动的单视图重建方法在建模3D穿着人类中表现出很大的进展。然而，这种方法严重影响了单视图输入所固有的深度模糊和闭塞。在本文中，我们通过考虑一小部分输入视图并调查从这些视图中适当利用信息的最佳策略来解决这个问题。我们提出了一种数据驱动的端到端方法，其从稀疏相机视图重建穿着人的人类的隐式3D表示。具体而言，我们介绍了三个关键组件：首先是使用透视相机模型的空间一致的重建，允许使用人员在输入视图中的任意放置;第二个基于关注的融合层，用于从多个观点来看聚合视觉信息;第三种机制在多视图上下文下编码本地3D模式。在实验中，我们展示了所提出的方法优于定量和定性地在标准数据上表达现有技术。为了展示空间一致的重建，我们将我们的方法应用于动态场景。此外，我们在使用多摄像头平台获取的真实数据上应用我们的方法，并证明我们的方法可以获得与多视图立体声相当的结果，从而迅速更少的视图。