在所需的姿势中绘制人物的图像是动漫制作中必不可少但费力的任务。在本文中，我们介绍了协作神经渲染〜（CONR）方法，以从字符表中可用的一些任意摆姿势的参考图像中创建新图像。通常，动漫人物的身体形状的高度多样性违反了像SMPL这样的现实世界人体的普遍身体模型的利用。为了克服这个困难，Conr使用紧凑且易于攻击的地标编码，以避免在管道中创建统一的紫外线映射。此外，使用特征空间跨视图密集的对应关系和翘曲在特殊设计的神经网络构建体中使用多个参考图像时，Conr的性能可以显着提高。此外，我们收集了一个字符表数据集，该数据集包含700,000多个手绘和合成的姿势图像，以促进该领域的研究。

Image and video synthesis has become a blooming topic in computer vision and machine learning communities along with the developments of deep generative models, due to its great academic and application value. Many researchers have been devoted to synthesizing high-fidelity human images as one of the most commonly seen object categories in daily lives, where a large number of studies are performed based on various deep generative models, task settings and applications. Thus, it is necessary to give a comprehensive overview on these variant methods on human image generation. In this paper, we divide human image generation techniques into three paradigms, i.e., data-driven methods, knowledge-guided methods and hybrid methods. For each route, the most representative models and the corresponding variants are presented, where the advantages and characteristics of different methods are summarized in terms of model architectures and input/output requirements. Besides, the main public human image datasets and evaluation metrics in the literature are also summarized. Furthermore, due to the wide application potentials, two typical downstream usages of synthesized human images are covered, i.e., data augmentation for person recognition tasks and virtual try-on for fashion customers. Finally, we discuss the challenges and potential directions of human image generation to shed light on future research.

Existing neural rendering methods for creating human avatars typically either require dense input signals such as video or multi-view images, or leverage a learned prior from large-scale specific 3D human datasets such that reconstruction can be performed with sparse-view inputs. Most of these methods fail to achieve realistic reconstruction when only a single image is available. To enable the data-efficient creation of realistic animatable 3D humans, we propose ELICIT, a novel method for learning human-specific neural radiance fields from a single image. Inspired by the fact that humans can easily reconstruct the body geometry and infer the full-body clothing from a single image, we leverage two priors in ELICIT: 3D geometry prior and visual semantic prior. Specifically, ELICIT introduces the 3D body shape geometry prior from a skinned vertex-based template model (i.e., SMPL) and implements the visual clothing semantic prior with the CLIP-based pre-trained models. Both priors are used to jointly guide the optimization for creating plausible content in the invisible areas. In order to further improve visual details, we propose a segmentation-based sampling strategy that locally refines different parts of the avatar. Comprehensive evaluations on multiple popular benchmarks, including ZJU-MoCAP, Human3.6M, and DeepFashion, show that ELICIT has outperformed current state-of-the-art avatar creation methods when only a single image is available. Code will be public for reseach purpose at https://elicit3d.github.io .

我们提出了神经演员（NA），一种用于从任意观点和任意可控姿势的高质量合成人类的新方法。我们的方法是基于最近的神经场景表示和渲染工作，从而从仅从2D图像中学习几何形状和外观的表示。虽然现有的作品令人兴奋地呈现静态场景和动态场景的播放，具有神经隐含方法的照片 - 现实重建和人类的渲染，特别是在用户控制的新颖姿势下，仍然很困难。为了解决这个问题，我们利用一个粗体模型作为将周围的3D空间的代理放入一个规范姿势。神经辐射场从多视图视频输入中了解在规范空间中的姿势依赖几何变形和姿势和视图相关的外观效果。为了综合高保真动态几何和外观的新颖视图，我们利用身体模型上定义的2D纹理地图作为预测残余变形和动态外观的潜变量。实验表明，我们的方法能够比播放的最先进，以及新的姿势合成来实现更好的质量，并且甚至可以概括到新的姿势与训练姿势不同的姿势。此外，我们的方法还支持对合成结果的体形控制。

我们提出了一种新的姿势转移方法，用于从由一系列身体姿势控制的人的单个图像中综合人类动画。现有的姿势转移方法在申请新颖场景时表现出显着的视觉伪影，从而导致保留人的身份和纹理的时间不一致和失败。为了解决这些限制，我们设计了一种构成神经网络，预测轮廓，服装标签和纹理。每个模块化网络明确地专用于可以从合成数据学习的子任务。在推理时间，我们利用训练有素的网络在UV坐标中产生统一的外观和标签，其横跨姿势保持不变。统一的代表提供了一个不完整的且强烈指导，以响应姿势变化而产生外观。我们使用训练有素的网络完成外观并呈现背景。通过这些策略，我们能够以时间上连贯的方式综合人类动画，这些动画可以以时间上连贯的方式保护人的身份和外观，而无需在测试场景上进行任何微调。实验表明，我们的方法在合成质量，时间相干性和泛化能力方面优于最先进的。

我们人类正在进入虚拟时代，确实想将动物带到虚拟世界中。然而，计算机生成的（CGI）毛茸茸的动物受到乏味的离线渲染的限制，更不用说交互式运动控制了。在本文中，我们提出了Artemis，这是一种新型的神经建模和渲染管道，用于生成具有外观和运动合成的清晰神经宠物。我们的Artemis可以实现互动运动控制，实时动画和毛茸茸的动物的照片真实渲染。我们的Artemis的核心是神经生成的（NGI）动物引擎，该动物发动机采用了有效的基于OCTREE的动物动画和毛皮渲染的代表。然后，该动画等同于基于显式骨骼翘曲的体素级变形。我们进一步使用快速的OCTREE索引和有效的体积渲染方案来生成外观和密度特征地图。最后，我们提出了一个新颖的阴影网络，以在外观和密度特征图中生成外观和不透明度的高保真细节。对于Artemis中的运动控制模块，我们将最新动物运动捕获方法与最近的神经特征控制方案相结合。我们引入了一种有效的优化方案，以重建由多视图RGB和Vicon相机阵列捕获的真实动物的骨骼运动。我们将所有捕获的运动馈送到神经角色控制方案中，以生成具有运动样式的抽象控制信号。我们将Artemis进一步整合到支持VR耳机的现有引擎中，提供了前所未有的沉浸式体验，用户可以与各种具有生动动作和光真实外观的虚拟动物进行紧密互动。我们可以通过https://haiminluo.github.io/publication/artemis/提供我们的Artemis模型和动态毛茸茸的动物数据集。

尽管基于深度学习的面部相关模型成功显着，但这些模型仍然仅限于真正人类面的领域。另一方面，由于缺乏组织良好的数据集，由于缺乏组织的数据集，动画面的域已经不太积极地研究。在本文中，我们通过可控的合成动画模型介绍了一个大规模动画CeleBfaces数据集（AnimeCeleb），以提高动画面域的研究。为了促进数据生成过程，我们基于开放式3D软件和开发的注释系统构建半自动管道。这导致构建大型动画面部数据集，包括具有丰富注释的多姿态和多样式动画面。实验表明，我们的数据集适用于各种动画相关的任务，如头部重新创建和着色。

用于运动中的人类的新型视图综合是一个具有挑战性的计算机视觉问题，使得诸如自由视视频之类的应用。现有方法通常使用具有多个输入视图，3D监控或预训练模型的复杂设置，这些模型不会概括为新标识。旨在解决这些限制，我们提出了一种新颖的视图综合框架，以从单视图传感器捕获的任何人的看法生成现实渲染，其具有稀疏的RGB-D，类似于低成本深度摄像头，而没有参与者特定的楷模。我们提出了一种架构来学习由基于球体的神经渲染获得的小说视图中的密集功能，并使用全局上下文修复模型创建完整的渲染。此外，增强剂网络利用了整体保真度，即使在原始视图中的遮挡区域中也能够产生细节的清晰渲染。我们展示了我们的方法为单个稀疏RGB-D输入产生高质量的合成和真实人体演员的新颖视图。它概括了看不见的身份，新的姿势，忠实地重建面部表情。我们的方法优于现有人体观测合成方法，并且对不同水平的输入稀疏性具有稳健性。

We propose RANA, a relightable and articulated neural avatar for the photorealistic synthesis of humans under arbitrary viewpoints, body poses, and lighting. We only require a short video clip of the person to create the avatar and assume no knowledge about the lighting environment. We present a novel framework to model humans while disentangling their geometry, texture, and also lighting environment from monocular RGB videos. To simplify this otherwise ill-posed task we first estimate the coarse geometry and texture of the person via SMPL+D model fitting and then learn an articulated neural representation for photorealistic image generation. RANA first generates the normal and albedo maps of the person in any given target body pose and then uses spherical harmonics lighting to generate the shaded image in the target lighting environment. We also propose to pretrain RANA using synthetic images and demonstrate that it leads to better disentanglement between geometry and texture while also improving robustness to novel body poses. Finally, we also present a new photorealistic synthetic dataset, Relighting Humans, to quantitatively evaluate the performance of the proposed approach.

我们的目标是从规定的行动类别中解决从规定的行动类别创造多元化和自然人动作视频的有趣但具有挑战性的问题。关键问题在于能够在视觉外观中综合多种不同的运动序列。在本文中通过两步过程实现，该两步处理维持内部3D姿势和形状表示，Action2Motion和Motion2Video。 Action2Motion随机生成规定的动作类别的合理的3D姿势序列，该类别由Motion2Video进行处理和呈现，以形成2D视频。具体而言，Lie代数理论从事人类运动学的物理法之后代表自然人动作;开发了一种促进输出运动的分集的时间变化自动编码器（VAE）。此外，给定衣服人物的额外输入图像，提出了整个管道以提取他/她的3D详细形状，并在视频中呈现来自不同视图的合理运动。这是通过改进从单个2D图像中提取3D人类形状和纹理，索引，动画和渲染的现有方法来实现这一点，以形成人类运动的2D视频。它还需要3D人类运动数据集的策策和成果进行培训目的。彻底的经验实验，包括消融研究，定性和定量评估表现出我们的方法的适用性，并展示了解决相关任务的竞争力，其中我们的方法的组成部分与最先进的方式比较。

漫画是一种人类面孔的艺术风格，吸引了娱乐业的相当大的关注。到目前为止，存在少数3D漫画生成方法，所有这些都需要一些漫画信息（例如，漫画素描或2D漫画）作为输入。然而，这种输入难以由非专业用户提供。在本文中，我们提出了一个端到端的深度神经网络模型，可直接从正常的2D脸照片产生高质量的3D漫画。我们系统最具挑战性的问题是面部照片的源域（以正常的2D面为特征）与3D漫画的目标域有很大差异（以3D夸大的面形状和纹理为特征）。为了解决这一挑战，我们：（1）建立一个大型数据集5,343个3D漫画网格，并使用它来建立3D漫画形状空间中的PCA模型; （2）从输入面照片重建正常的全3D头，并在3D漫画形状空间中使用其PCA表示来建立输入照片和3D漫画形状之间的对应关系; （3）提出了一种基于以前对讽刺的心理研究的新颖性状损失和新颖的漫画损失。实验包括新型两级用户学习，表明我们的系统可以直接从正常面部照片产生高质量的3D漫画。

生产级别的工作流程用于产生令人信服的3D动态人体面孔长期以来依赖各种劳动密集型工具用于几何和纹理生成，运动捕获和索具以及表达合成。最近的神经方法可以使单个组件自动化，但是相应的潜在表示不能像常规工具一样为艺术家提供明确的控制。在本文中，我们提出了一种新的基于学习的，视频驱动的方法，用于生成具有高质量基于物理资产的动态面部几何形状。对于数据收集，我们构建了一个混合多视频测量捕获阶段，与超快速摄像机耦合以获得原始的3D面部资产。然后，我们着手使用单独的VAE对面部表达，几何形状和基于物理的纹理进行建模，我们在各个网络的潜在范围内强加了基于全局MLP的表达映射，以保留各个属性的特征。我们还将增量信息建模为基于物理的纹理的皱纹图，从而达到高质量的4K动态纹理。我们展示了我们在高保真表演者特异性面部捕获和跨认同面部运动重新定位中的方法。此外，我们的基于多VAE的神经资产以及快速适应方案也可以部署以处理内部视频。此外，我们通过提供具有较高现实主义的各种有希望的基于身体的编辑结果来激发我们明确的面部解散策略的实用性。综合实验表明，与以前的视频驱动的面部重建和动画方法相比，我们的技术提供了更高的准确性和视觉保真度。

我们介绍了一个现实的单发网眼的人体头像创作的系统，即简称罗马。使用一张照片，我们的模型估计了特定于人的头部网格和相关的神经纹理，该神经纹理编码局部光度和几何细节。最终的化身是操纵的，可以使用神经网络进行渲染，该神经网络与野外视频数据集上的网格和纹理估计器一起训练。在实验中，我们观察到我们的系统在头部几何恢复和渲染质量方面都具有竞争性的性能，尤其是对于跨人的重新制定。请参阅结果https://samsunglabs.github.io/rome/

在本文中，我们开发了一种强大的3D服装数字化解决方案，可以在现实世界时尚目录图像上概括用布纹理遮挡和大体姿势变化。我们假设已知类型的服装类型的固定拓扑参数模板网格模型（例如，T恤，裤子），并从输入目录图像执行高质量纹理的映射到与衣服的参数网格模型相对应的UV映射面板。我们通过首先预测服装边界的稀疏2D地标。随后，我们使用这些地标在UV地图面板上执行基于薄板样条的纹理传输。随后，我们使用深度纹理修复网络来填充TPS输出中的大孔（由于查看变化和自闭电），以产生一致的UV映射。此外，为了培训监督的地标预测和纹理修复任务，我们产生了一大组合成数据，其具有不同于各种姿势的各种视图的不同纹理和照明。此外，我们手动注释了一小组时尚目录图像从在线时尚电子商务平台到Finetune。我们开展彻底的经验评估，并在时尚目录图像上显示我们所提出的3D服装纹理解决方案的令人印象深刻的定性结果。这种3D服装数字化有助于我们解决启用3D虚拟试验的具有挑战性的任务。

我们提出了EgoreRender，一种用于渲染由安装在盖帽或VR耳机上的可穿戴的专门鱼眼相机捕获的人的全身神经头像的系统。我们的系统使演员的质感性谱系景观和她的动作从任意虚拟相机位置。从如下视图和大型扭曲，渲染来自此类自主特征的全身头像具有独特的挑战。我们通过将渲染过程分解为几个步骤，包括纹理综合，构建和神经图像翻译来解决这些挑战。对于纹理合成，我们提出了EGO-DPNET，一个神经网络，其在输入的鱼眼图像和底层参数体模型之间倾少密集的对应，并从自我输入输入中提取纹理。此外，为了编码动态外观，我们的方法还学习隐式纹理堆栈，捕获横跨姿势和视点的详细外观变化。对于正确的姿态生成，我们首先使用参数模型从Egentric视图估算身体姿势。然后，我们通过将参数模型投影到用户指定的目标视点来综合外部释放姿势图像。我们接下来将目标姿势图像和纹理组合到组合特征图像中，该组合特征图像使用神经图像平移网络转换为输出彩色图像。实验评估表明，Egorenderer能够产生佩戴Egocentric相机的人的现实自由观点的头像。几个基线的比较展示了我们的方法的优势。

神经量渲染能够在自由观看中的人类表演者的照片真实效果图，这是沉浸式VR/AR应用中的关键任务。但是，这种做法受到渲染过程中高计算成本的严重限制。为了解决这个问题，我们提出了紫外线量，这是一种新方法，可以实时呈现人类表演者的可编辑免费视频视频。它将高频（即非平滑）的外观与3D体积分开，并将其编码为2D神经纹理堆栈（NTS）。光滑的紫外线量允许更小且较浅的神经网络获得3D的密度和纹理坐标，同时在2D NT中捕获详细的外观。为了编辑性，参数化的人类模型与平滑纹理坐标之间的映射使我们可以更好地对新型姿势和形状进行更好的概括。此外，NTS的使用启用了有趣的应用程序，例如重新启动。关于CMU Panoptic，ZJU MOCAP和H36M数据集的广泛实验表明，我们的模型平均可以在30fps中呈现960 * 540张图像，并具有可比的照片现实主义与先进方法。该项目和补充材料可从https://github.com/fanegg/uv-volumes获得。

我们提出了一种新型神经渲染管线，混合体积纹理渲染（HVTR），其合成了从任意姿势和高质量的任意姿势的虚拟人体化身。首先，我们学会在人体表面的致密UV歧管上编码铰接的人体运动。为了处理复杂的运动（例如，自闭电），我们将基于动态姿势的神经辐射场建造关于UV歧管的编码信息来构建基于动态姿态条件的神经辐射场的3D体积表示。虽然这允许我们表示具有更改拓扑的3D几何形状，但体积渲染是计算沉重的。因此，我们仅使用姿势调节的下采样的神经辐射场（PD-NERF）使用粗糙的体积表示，我们可以以低分辨率有效地呈现。此外，我们学习2D纹理功能，这些功能与图像空间中呈现的体积功能融合。我们的方法的关键优势是，我们可以通过快速GaN的纹理渲染器将融合功能转换为高分辨率，高质量的化身。我们证明混合渲染使HVTR能够处理复杂的动作，在用户控制的姿势/形状下呈现高质量的化身，甚至松散的衣服，最重要的是，在推理时间快速。我们的实验结果还证明了最先进的定量结果。

我们提出了神经头头像，这是一种新型神经表示，其明确地模拟了可动画的人体化身的表面几何形状和外观，可用于在依赖数字人类的电影或游戏行业中的AR / VR或其他应用中的电话会议。我们的代表可以从单眼RGB肖像视频中学到，该视频具有一系列不同的表达和视图。具体地，我们提出了一种混合表示，其由面部的粗糙形状和表达式和两个前馈网络组成的混合表示，以及预测底层网格的顶点偏移以及视图和表达依赖性纹理。我们证明，该表示能够准确地外推到看不见的姿势和观点，并在提供尖锐的纹理细节的同时产生自然表达。与先前的磁头头像上的作品相比，我们的方法提供了与标准图形管道兼容的完整人体头（包括头发）的分解形状和外观模型。此外，就重建质量和新型观看合成而定量和定性地优于现有技术的当前状态。

综合照片 - 现实图像和视频是计算机图形的核心，并且是几十年的研究焦点。传统上，使用渲染算法（如光栅化或射线跟踪）生成场景的合成图像，其将几何形状和材料属性的表示为输入。统称，这些输入定义了实际场景和呈现的内容，并且被称为场景表示（其中场景由一个或多个对象组成）。示例场景表示是具有附带纹理的三角形网格（例如，由艺术家创建），点云（例如，来自深度传感器），体积网格（例如，来自CT扫描）或隐式曲面函数（例如，截短的符号距离）字段）。使用可分辨率渲染损耗的观察结果的这种场景表示的重建被称为逆图形或反向渲染。神经渲染密切相关，并将思想与经典计算机图形和机器学习中的思想相结合，以创建用于合成来自真实观察图像的图像的算法。神经渲染是朝向合成照片现实图像和视频内容的目标的跨越。近年来，我们通过数百个出版物显示了这一领域的巨大进展，这些出版物显示了将被动组件注入渲染管道的不同方式。这种最先进的神经渲染进步的报告侧重于将经典渲染原则与学习的3D场景表示结合的方法，通常现在被称为神经场景表示。这些方法的一个关键优势在于它们是通过设计的3D-一致，使诸如新颖的视点合成捕获场景的应用。除了处理静态场景的方法外，我们还涵盖了用于建模非刚性变形对象的神经场景表示...

在这项工作中，我们提出了叙述，这是一种新颖的管道，可以以逼真的方式同时编辑肖像照明和观点。作为一种混合神经形态的面部模型，叙述了几何学感知生成方法和正常辅助物理面部模型的互补益处。简而言之，叙述首先将输入肖像转变为粗糙的几何形状，并采用神经渲染来产生类似于输入的图像，并产生令人信服的姿势变化。但是，反演步骤引入了不匹配，带来了较少面部细节的低质量图像。因此，我们进一步估计了师范的肖像，以增强粗糙的几何形状，从而创建高保真的物理面部模型。特别是，我们融合了神经和身体渲染，以补偿不完善的反转，从而产生了现实和视图一致的新颖透视图像。在重新阶段，以前的作品着重于单一视图肖像重新审议，但也忽略了不同观点之间的一致性，引导不稳定和不一致的照明效果以进行视图变化。我们通过将其多视图输入正常地图与物理面部模型统一，以解决此问题。叙事通过一致的正常地图进行重新进行重新，施加了跨视图的约束并表现出稳定且连贯的照明效果。我们在实验上证明，叙述在先前的工作中取得了更现实的，可靠的结果。我们进一步使用动画和样式转移工具进行介绍，从而分别或组合姿势变化，灯光变化，面部动画和样式转移，所有这些都以摄影质量为单位。我们展示了生动的自由视图面部动画以及3D感知可靠的风格化，可帮助促进各种AR/VR应用程序，例如虚拟摄影，3D视频会议和后期制作。