Recent advances in generative adversarial networks (GANs) have demonstrated the capabilities of generating stunning photo-realistic portrait images. While some prior works have applied such image GANs to unconditional 2D portrait video generation and static 3D portrait synthesis, there are few works successfully extending GANs for generating 3D-aware portrait videos. In this work, we propose PV3D, the first generative framework that can synthesize multi-view consistent portrait videos. Specifically, our method extends the recent static 3D-aware image GAN to the video domain by generalizing the 3D implicit neural representation to model the spatio-temporal space. To introduce motion dynamics to the generation process, we develop a motion generator by stacking multiple motion layers to generate motion features via modulated convolution. To alleviate motion ambiguities caused by camera/human motions, we propose a simple yet effective camera condition strategy for PV3D, enabling both temporal and multi-view consistent video generation. Moreover, PV3D introduces two discriminators for regularizing the spatial and temporal domains to ensure the plausibility of the generated portrait videos. These elaborated designs enable PV3D to generate 3D-aware motion-plausible portrait videos with high-quality appearance and geometry, significantly outperforming prior works. As a result, PV3D is able to support many downstream applications such as animating static portraits and view-consistent video motion editing. Code and models will be released at https://showlab.github.io/pv3d.

生成模型已成为许多图像合成和编辑任务的基本构件。该领域的最新进展还使得能够生成具有多视图或时间一致性的高质量3D或视频内容。在我们的工作中，我们探索了学习无条件生成3D感知视频的4D生成对抗网络（GAN）。通过将神经隐式表示与时间感知歧视器相结合，我们开发了一个GAN框架，该框架仅通过单眼视频进行监督的3D视频。我们表明，我们的方法学习了可分解的3D结构和动作的丰富嵌入，这些结构和动作可以使时空渲染的新视觉效果，同时以与现有3D或视频gan相当的质量产生图像。

与传统的头像创建管道相反，这是一个昂贵的过程，现代生成方法直接从照片中学习数据分布，而艺术的状态现在可以产生高度的照片现实图像。尽管大量作品试图扩展无条件的生成模型并达到一定程度的可控性，但要确保多视图一致性，尤其是在大型姿势中，仍然具有挑战性。在这项工作中，我们提出了一个3D肖像生成网络，该网络可产生3D一致的肖像，同时根据有关姿势，身份，表达和照明的语义参数可控。生成网络使用神经场景表示在3D中建模肖像，其生成以支持明确控制的参数面模型为指导。尽管可以通过将图像与部分不同的属性进行对比，但可以进一步增强潜在的分离，但在非面积区域（例如，在动画表达式）时，仍然存在明显的不一致。我们通过提出一种体积混合策略来解决此问题，在该策略中，我们通过将动态和静态辐射场融合在一起，形成一个复合输出，并从共同学习的语义场中分割了两个部分。我们的方法在广泛的实验中优于先前的艺术，在自由视点中观看时，在自然照明中产生了逼真的肖像。所提出的方法还证明了真实图像以及室外卡通面孔的概括能力，在实际应用中显示出巨大的希望。其他视频结果和代码将在项目网页上提供。

在计算机视觉和图形社区中，长期以来，现实的生成面部视频综合一直是追求。但是，现有的视频生成方法倾向于产生具有漂移的面部身份和不自然运动的低质量框架。为了应对这些挑战，我们提出了一个名为stylefacev的原则框架，该框架生产具有生动动作的高保真身份的面部视频。我们的核心洞察力是分解外观并构成信息，并在StyleGan3的潜在空间中重新组装它们，以产生稳定而动态的结果。具体而言，stylegan3为高保真的面部图像生成提供了强大的先验，但潜在空间本质上是纠缠的。通过仔细检查其潜在特性，我们提出了分解和重组设计，从而可以使面部外观和运动的结合结合在一起。此外，依赖时间依赖的模型是建立在分解的潜在特征的基础上的，并示例了能够生成现实且具有时间连贯的面部视频的合理运动序列。特别是，我们的管道对静态图像和高质量视频数据的联合培训策略进行了培训，该策略具有更高的数据效率。广泛的实验表明，我们的框架可以在定性和定量上实现最先进的视频生成。值得注意的是，即使没有高分辨率培训视频，StyleFacev也能够生成现实$ 1024 \ times1024 $面对视频。

无监督的生成的虚拟人类具有各种外观和动画姿势对于创建3D人体化身和其他AR/VR应用非常重要。现有方法要么仅限于刚性对象建模，要么不生成，因此无法合成高质量的虚拟人类并使它们进行动画化。在这项工作中，我们提出了Avatargen，这是第一种不仅可以具有不同外观的非刚性人类产生的方法，而且还可以完全控制姿势和观点，同时仅需要2D图像进行训练。具体而言，它通过利用粗糙的人体模型作为代理将观察空间扭曲到规范空间下的标准头像，将最近的3D甘斯扩展到了人类的衣服。为了建模非刚性动力学，它引入了一个变形网络，以学习规范空间中的姿势依赖性变形。为了提高生成的人类化身的几何质量，它利用签名距离字段作为几何表示，从而可以从几何学学习上的身体模型中进行更直接的正则化。从这些设计中受益，我们的方法可以生成具有高质量外观和几何形状建模的动画人体化身，从而极大地表现了先前的3D gan。此外，它有能力用于许多应用，例如单视重构造，复活和文本引导的合成。代码和预培训模型将可用。

使用单视图2D照片仅集合，无监督的高质量多视图 - 一致的图像和3D形状一直是一个长期存在的挑战。现有的3D GAN是计算密集型的，也是没有3D-一致的近似;前者限制了所生成的图像的质量和分辨率，并且后者对多视图一致性和形状质量产生不利影响。在这项工作中，我们提高了3D GAN的计算效率和图像质量，而无需依赖这些近似。为此目的，我们介绍了一种表现力的混合明确隐式网络架构，与其他设计选择一起，不仅可以实时合成高分辨率多视图一致图像，而且还产生高质量的3D几何形状。通过解耦特征生成和神经渲染，我们的框架能够利用最先进的2D CNN生成器，例如Stylega2，并继承它们的效率和表现力。在其他实验中，我们展示了与FFHQ和AFHQ猫的最先进的3D感知合成。

StyleGAN has achieved great progress in 2D face reconstruction and semantic editing via image inversion and latent editing. While studies over extending 2D StyleGAN to 3D faces have emerged, a corresponding generic 3D GAN inversion framework is still missing, limiting the applications of 3D face reconstruction and semantic editing. In this paper, we study the challenging problem of 3D GAN inversion where a latent code is predicted given a single face image to faithfully recover its 3D shapes and detailed textures. The problem is ill-posed: innumerable compositions of shape and texture could be rendered to the current image. Furthermore, with the limited capacity of a global latent code, 2D inversion methods cannot preserve faithful shape and texture at the same time when applied to 3D models. To solve this problem, we devise an effective self-training scheme to constrain the learning of inversion. The learning is done efficiently without any real-world 2D-3D training pairs but proxy samples generated from a 3D GAN. In addition, apart from a global latent code that captures the coarse shape and texture information, we augment the generation network with a local branch, where pixel-aligned features are added to faithfully reconstruct face details. We further consider a new pipeline to perform 3D view-consistent editing. Extensive experiments show that our method outperforms state-of-the-art inversion methods in both shape and texture reconstruction quality. Code and data will be released.

制作生成模型3D感知桥梁2D图像空间和3D物理世界仍然挑战。最近尝试用神经辐射场（NERF）配备生成的对抗性网络（GAN），其将3D坐标映射到像素值，作为3D之前。然而，nerf中的隐式功能具有一个非常局部的接收领域，使得发电机难以意识到全局结构。与此同时，NERF建立在体积渲染上，这可能太昂贵，无法产生高分辨率结果，提高优化难度。为了减轻这两个问题，我们通过明确学习结构表示和纹理表示，向高保真3D感知图像综合提出了一种作为Volumegan称为Volumegan的新颖框架。我们首先学习一个特征卷来表示底层结构，然后使用类似NERF的模型转换为特征字段。特征字段进一步累积到作为纹理表示的2D特征图中，然后是用于外观合成的神经渲染器。这种设计使得能够独立控制形状和外观。广泛的数据集的大量实验表明，我们的方法比以前的方法实现了足够更高的图像质量和更好的3D控制。

以前的纵向图像生成方法大致分为两类：2D GAN和3D感知的GAN。 2D GAN可以产生高保真肖像，但具有低视图一致性。 3D感知GaN方法可以维护查看一致性，但它们所生成的图像不是本地可编辑的。为了克服这些限制，我们提出了FENERF，一个可以生成查看一致和本地可编辑的纵向图像的3D感知生成器。我们的方法使用两个解耦潜码，以在具有共享几何体的空间对齐的3D卷中生成相应的面部语义和纹理。从这种底层3D表示中受益，FENERF可以联合渲染边界对齐的图像和语义掩码，并使用语义掩模通过GaN反转编辑3D音量。我们进一步示出了可以从广泛可用的单手套图像和语义面膜对中学习这种3D表示。此外，我们揭示了联合学习语义和纹理有助于产生更精细的几何形状。我们的实验表明FENERF在各种面部编辑任务中优于最先进的方法。

在这项工作中，我们提出了叙述，这是一种新颖的管道，可以以逼真的方式同时编辑肖像照明和观点。作为一种混合神经形态的面部模型，叙述了几何学感知生成方法和正常辅助物理面部模型的互补益处。简而言之，叙述首先将输入肖像转变为粗糙的几何形状，并采用神经渲染来产生类似于输入的图像，并产生令人信服的姿势变化。但是，反演步骤引入了不匹配，带来了较少面部细节的低质量图像。因此，我们进一步估计了师范的肖像，以增强粗糙的几何形状，从而创建高保真的物理面部模型。特别是，我们融合了神经和身体渲染，以补偿不完善的反转，从而产生了现实和视图一致的新颖透视图像。在重新阶段，以前的作品着重于单一视图肖像重新审议，但也忽略了不同观点之间的一致性，引导不稳定和不一致的照明效果以进行视图变化。我们通过将其多视图输入正常地图与物理面部模型统一，以解决此问题。叙事通过一致的正常地图进行重新进行重新，施加了跨视图的约束并表现出稳定且连贯的照明效果。我们在实验上证明，叙述在先前的工作中取得了更现实的，可靠的结果。我们进一步使用动画和样式转移工具进行介绍，从而分别或组合姿势变化，灯光变化，面部动画和样式转移，所有这些都以摄影质量为单位。我们展示了生动的自由视图面部动画以及3D感知可靠的风格化，可帮助促进各种AR/VR应用程序，例如虚拟摄影，3D视频会议和后期制作。

我们介绍了我们称呼STYLESDF的高分辨率，3D一致的图像和形状生成技术。我们的方法仅在单视图RGB数据上培训，并站在StyleGan2的肩部，用于图像生成，同时解决3D感知GANS中的两个主要挑战：1）RGB图像的高分辨率，视图 - 一致生成RGB图像，以及2）详细的3D形状。通过使用基于样式的2D发生器合并基于SDF的3D表示来实现这一目标。我们的3D隐式网络呈现出低分辨率的特征映射，其中基于样式的网络生成了View-Consive，1024x1024图像。值得注意的是，基于SDF的3D建模定义了详细的3D曲面，导致一致的卷渲染。在视觉和几何质量方面，我们的方法显示出更高的质量结果。

我们提出了一些动态神经辐射场（FDNERF），这是第一种基于NERF的方法，能够根据少量动态图像重建和表达3D面的表达编辑。与需要密集图像作为输入的现有动态NERF不同，并且只能为单个身份建模，我们的方法可以使跨不同人的不同人进行面对重建。与设计用于建模静态场景的最先进的几杆NERF相比，提出的FDNERF接受视图的动态输入，并支持任意的面部表达编辑，即产生具有输入超出输入的新表达式的面孔。为了处理动态输入之间的不一致之处，我们引入了精心设计的条件特征翘曲（CFW）模块，以在2D特征空间中执行表达条件的翘曲，这也是身份自适应和3D约束。结果，不同表达式的特征被转换为目标的特征。然后，我们根据这些视图一致的特征构建一个辐射场，并使用体积渲染来合成建模面的新型视图。进行定量和定性评估的广泛实验表明，我们的方法在3D面重建和表达编辑任务上都优于现有的动态和几乎没有射击的NERF。我们的代码和模型将在接受后提供。

我们提出Volux-GaN，一种生成框架，以合成3D感知面孔的令人信服的回忆。我们的主要贡献是一种体积的HDRI可发感方法，可以沿着每个3D光线沿着任何所需的HDR环境图累计累积Albedo，漫射和镜面照明贡献。此外，我们展示了使用多个鉴别器监督图像分解过程的重要性。特别是，我们提出了一种数据增强技术，其利用单个图像肖像结合的最近的进步来强制实施一致的几何形状，反照镜，漫射和镜面组分。与其他生成框架的多个实验和比较展示了我们的模型是如何向光电型可致力于的3D生成模型前进的一步。

生产级别的工作流程用于产生令人信服的3D动态人体面孔长期以来依赖各种劳动密集型工具用于几何和纹理生成，运动捕获和索具以及表达合成。最近的神经方法可以使单个组件自动化，但是相应的潜在表示不能像常规工具一样为艺术家提供明确的控制。在本文中，我们提出了一种新的基于学习的，视频驱动的方法，用于生成具有高质量基于物理资产的动态面部几何形状。对于数据收集，我们构建了一个混合多视频测量捕获阶段，与超快速摄像机耦合以获得原始的3D面部资产。然后，我们着手使用单独的VAE对面部表达，几何形状和基于物理的纹理进行建模，我们在各个网络的潜在范围内强加了基于全局MLP的表达映射，以保留各个属性的特征。我们还将增量信息建模为基于物理的纹理的皱纹图，从而达到高质量的4K动态纹理。我们展示了我们在高保真表演者特异性面部捕获和跨认同面部运动重新定位中的方法。此外，我们的基于多VAE的神经资产以及快速适应方案也可以部署以处理内部视频。此外，我们通过提供具有较高现实主义的各种有希望的基于身体的编辑结果来激发我们明确的面部解散策略的实用性。综合实验表明，与以前的视频驱动的面部重建和动画方法相比，我们的技术提供了更高的准确性和视觉保真度。

基于生成神经辐射场（GNERF）基于生成神经辐射场（GNERF）的3D感知gan已达到令人印象深刻的高质量图像产生，同时保持了强3D一致性。最显着的成就是在面部生成领域中取得的。但是，这些模型中的大多数都集中在提高视图一致性上，但忽略了分离的方面，因此这些模型无法提供高质量的语义/属性控制对生成。为此，我们引入了一个有条件的GNERF模型，该模型使用特定属性标签作为输入，以提高3D感知生成模型的控制能力和解散能力。我们利用预先训练的3D感知模型作为基础，并集成了双分支属性编辑模块（DAEM），该模块（DAEM）利用属性标签来提供对生成的控制。此外，我们提出了一个Triot（作为INIT的训练，并针对调整进行优化），以优化潜在矢量以进一步提高属性编辑的精度。广泛使用的FFHQ上的广泛实验表明，我们的模型在保留非目标区域的同时产生具有更好视图一致性的高质量编辑。该代码可在https://github.com/zhangqianhui/tt-gnerf上找到。

图像翻译和操纵随着深层生成模型的快速发展而引起了越来越多的关注。尽管现有的方法带来了令人印象深刻的结果，但它们主要在2D空间中运行。鉴于基于NERF的3D感知生成模型的最新进展，我们介绍了一项新的任务，语义到网络翻译，旨在重建由NERF模型的3D场景，该场景以一个单视语义掩码作为输入为条件。为了启动这项新颖的任务，我们提出了SEM2NERF框架。特别是，SEM2NERF通过将语义面膜编码到控制预训练的解码器的3D场景表示形式中来解决高度挑战的任务。为了进一步提高映射的准确性，我们将新的区域感知学习策略集成到编码器和解码器的设计中。我们验证了提出的SEM2NERF的功效，并证明它在两个基准数据集上的表现优于几个强基础。代码和视频可从https://donydchen.github.io/sem2nerf/获得

视频显示连续事件，但大多数 - 如果不是全部 - 视频综合框架及时酌情对待它们。在这项工作中，我们想到它们应该是连续的信号的视频，并扩展神经表示的范式以构建连续时间视频发生器。为此，我们首先通过位置嵌入的镜头设计连续运动表示。然后，我们探讨了在非常稀疏的视频上培训问题，并证明可以使用每剪辑的少数为2帧来学习良好的发电机。之后，我们重新思考传统的图像和视频鉴别器对并建议使用基于Hypernetwork的一个。这降低了培训成本并向发电机提供了更丰富的学习信号，使得可以首次直接培训1024美元$ ^ 2 $视频。我们在Stylegan2的顶部构建我们的模型，并且在同样的分辨率下培训速度速度较高5％，同时实现几乎相同的图像质量。此外，我们的潜在空间具有类似的属性，使我们的方法可以及时传播的空间操纵。我们可以在任意高帧速率下任意长的视频，而现有工作努力以固定速率生成均匀的64个帧。我们的模型在四个现代256美元$ ^ 2 $视频综合基准测试中实现最先进的结果，一个1024美元$ ^ 2 $ state。视频和源代码在项目网站上提供：https://universome.github.io/stylegan-v。

随着几个行业正在朝着建模大规模的3D虚拟世界迈进，因此需要根据3D内容的数量，质量和多样性来扩展的内容创建工具的需求变得显而易见。在我们的工作中，我们旨在训练Parterant 3D生成模型，以合成纹理网格，可以通过3D渲染引擎直接消耗，因此立即在下游应用中使用。 3D生成建模的先前工作要么缺少几何细节，因此在它们可以生成的网格拓扑中受到限制，通常不支持纹理，或者在合成过程中使用神经渲染器，这使得它们在常见的3D软件中使用。在这项工作中，我们介绍了GET3D，这是一种生成模型，该模型直接生成具有复杂拓扑，丰富几何细节和高保真纹理的显式纹理3D网格。我们在可区分的表面建模，可区分渲染以及2D生成对抗网络中桥接了最新成功，以从2D图像集合中训练我们的模型。 GET3D能够生成高质量的3D纹理网格，从汽车，椅子，动物，摩托车和人类角色到建筑物，对以前的方法进行了重大改进。

Recent years have witnessed the tremendous progress of 3D GANs for generating view-consistent radiance fields with photo-realism. Yet, high-quality generation of human radiance fields remains challenging, partially due to the limited human-related priors adopted in existing methods. We present HumanGen, a novel 3D human generation scheme with detailed geometry and $\text{360}^{\circ}$ realistic free-view rendering. It explicitly marries the 3D human generation with various priors from the 2D generator and 3D reconstructor of humans through the design of "anchor image". We introduce a hybrid feature representation using the anchor image to bridge the latent space of HumanGen with the existing 2D generator. We then adopt a pronged design to disentangle the generation of geometry and appearance. With the aid of the anchor image, we adapt a 3D reconstructor for fine-grained details synthesis and propose a two-stage blending scheme to boost appearance generation. Extensive experiments demonstrate our effectiveness for state-of-the-art 3D human generation regarding geometry details, texture quality, and free-view performance. Notably, HumanGen can also incorporate various off-the-shelf 2D latent editing methods, seamlessly lifting them into 3D.

我们提出了一种学习方法，可以从单个视图开始生成自然场景的无界飞行视频，在该视图中，从单个照片集中学习了这种功能，而无需每个场景的相机姿势甚至多个视图。为了实现这一目标，我们提出了一种新颖的自我监督视图生成训练范式，在这里我们采样和渲染虚拟摄像头轨迹，包括循环轨迹，使我们的模型可以从单个视图集合中学习稳定的视图生成。在测试时，尽管在训练过程中从未见过视频，但我们的方法可以拍摄单个图像，并产生长的相机轨迹，包括数百个新视图，具有现实和多样化的内容。我们将我们的方法与最新的监督视图生成方法进行了比较，该方法需要摆姿势的多视频视频，并展示了卓越的性能和综合质量。