使用单视图2D照片仅集合，无监督的高质量多视图 - 一致的图像和3D形状一直是一个长期存在的挑战。现有的3D GAN是计算密集型的，也是没有3D-一致的近似;前者限制了所生成的图像的质量和分辨率，并且后者对多视图一致性和形状质量产生不利影响。在这项工作中，我们提高了3D GAN的计算效率和图像质量，而无需依赖这些近似。为此目的，我们介绍了一种表现力的混合明确隐式网络架构，与其他设计选择一起，不仅可以实时合成高分辨率多视图一致图像，而且还产生高质量的3D几何形状。通过解耦特征生成和神经渲染，我们的框架能够利用最先进的2D CNN生成器，例如Stylega2，并继承它们的效率和表现力。在其他实验中，我们展示了与FFHQ和AFHQ猫的最先进的3D感知合成。

We have witnessed rapid progress on 3D-aware image synthesis, leveraging recent advances in generative visual models and neural rendering. Existing approaches however fall short in two ways: first, they may lack an underlying 3D representation or rely on view-inconsistent rendering, hence synthesizing images that are not multi-view consistent; second, they often depend upon representation network architectures that are not expressive enough, and their results thus lack in image quality. We propose a novel generative model, named Periodic Implicit Generative Adversarial Networks (π-GAN or pi-GAN), for high-quality 3D-aware image synthesis. π-GAN leverages neural representations with periodic activation functions and volumetric rendering to represent scenes as view-consistent radiance fields. The proposed approach obtains state-of-the-art results for 3D-aware image synthesis with multiple real and synthetic datasets.

仅使用单视2D照片的收藏集对3D感知生成对抗网络（GAN）的无监督学习最近取得了很多进展。然而，这些3D gan尚未证明人体，并且现有框架的产生的辐射场不是直接编辑的，从而限制了它们在下游任务中的适用性。我们通过开发一个3D GAN框架来解决这些挑战的解决方案，该框架学会在规范的姿势中生成人体或面部的辐射场，并使用显式变形场将其扭曲成所需的身体姿势或面部表达。使用我们的框架，我们展示了人体的第一个高质量的辐射现场生成结果。此外，我们表明，与未接受明确变形训练的3D GAN相比，在编辑其姿势或面部表情时，我们的变形感知训练程序可显着提高产生的身体或面部的质量。

最先进的3D感知生成模型依赖于基于坐标的MLP来参数化3D辐射场。在证明令人印象深刻的结果的同时，请查询每个沿每个射线样品的MLP，都会导致渲染缓慢。因此，现有方法通常会呈现低分辨率特征图，并通过UPSMPLING网络处理以获取最终图像。尽管有效，神经渲染通常纠缠于观点和内容，从而改变摄像头会导致几何或外观的不必要变化。在基于体素的新型视图合成中的最新结果中，我们研究了本文中稀疏体素电网表示的快速和3D一致生成建模的实用性。我们的结果表明，当将稀疏体素电网与渐进式生长，自由空间修剪和适当的正则化结合时，单层MLP确实可以被3D卷积代替。为了获得场景的紧凑表示并允许缩放到更高的体素分辨率，我们的模型将前景对象（以3D模型）从背景（以2D模型建模）中。与现有方法相反，我们的方法仅需要单个正向通行证来生成完整的3D场景。因此，它允许从任意观点呈现有效渲染，同时以高视觉保真度产生3D一致的结果。

我们介绍了我们称呼STYLESDF的高分辨率，3D一致的图像和形状生成技术。我们的方法仅在单视图RGB数据上培训，并站在StyleGan2的肩部，用于图像生成，同时解决3D感知GANS中的两个主要挑战：1）RGB图像的高分辨率，视图 - 一致生成RGB图像，以及2）详细的3D形状。通过使用基于样式的2D发生器合并基于SDF的3D表示来实现这一目标。我们的3D隐式网络呈现出低分辨率的特征映射，其中基于样式的网络生成了View-Consive，1024x1024图像。值得注意的是，基于SDF的3D建模定义了详细的3D曲面，导致一致的卷渲染。在视觉和几何质量方面，我们的方法显示出更高的质量结果。

制作生成模型3D感知桥梁2D图像空间和3D物理世界仍然挑战。最近尝试用神经辐射场（NERF）配备生成的对抗性网络（GAN），其将3D坐标映射到像素值，作为3D之前。然而，nerf中的隐式功能具有一个非常局部的接收领域，使得发电机难以意识到全局结构。与此同时，NERF建立在体积渲染上，这可能太昂贵，无法产生高分辨率结果，提高优化难度。为了减轻这两个问题，我们通过明确学习结构表示和纹理表示，向高保真3D感知图像综合提出了一种作为Volumegan称为Volumegan的新颖框架。我们首先学习一个特征卷来表示底层结构，然后使用类似NERF的模型转换为特征字段。特征字段进一步累积到作为纹理表示的2D特征图中，然后是用于外观合成的神经渲染器。这种设计使得能够独立控制形状和外观。广泛的数据集的大量实验表明，我们的方法比以前的方法实现了足够更高的图像质量和更好的3D控制。

真正需要什么才能使现有的2D GAN 3D了解？为了回答这个问题，我们会尽可能少地修改经典的gan，即styleganv2。我们发现只有两次修改是绝对必要的：1）一个多层图像样式生成器分支，该分支在其深度上产生一组Alpha地图；2）姿势条件歧视者。我们将生成的输出称为“生成多层图像”（GMPI），并强调其渲染不仅是高质量的，而且保证是持续的，这使GMPIS与许多先前的作品不同。重要的是，可以动态调整Alpha地图的数量，并且在训练和推理之间可能有所不同，减轻记忆问题，并在不到半天的时间内以1024^2美元的分辨率在不到半天的时间内快速训练GMPIS。我们的发现在三个具有挑战性和常见的高分辨率数据集（包括FFHQ，AFHQV2和METFACE）中是一致的。

生成模型已成为许多图像合成和编辑任务的基本构件。该领域的最新进展还使得能够生成具有多视图或时间一致性的高质量3D或视频内容。在我们的工作中，我们探索了学习无条件生成3D感知视频的4D生成对抗网络（GAN）。通过将神经隐式表示与时间感知歧视器相结合，我们开发了一个GAN框架，该框架仅通过单眼视频进行监督的3D视频。我们表明，我们的方法学习了可分解的3D结构和动作的丰富嵌入，这些结构和动作可以使时空渲染的新视觉效果，同时以与现有3D或视频gan相当的质量产生图像。

与传统的头像创建管道相反，这是一个昂贵的过程，现代生成方法直接从照片中学习数据分布，而艺术的状态现在可以产生高度的照片现实图像。尽管大量作品试图扩展无条件的生成模型并达到一定程度的可控性，但要确保多视图一致性，尤其是在大型姿势中，仍然具有挑战性。在这项工作中，我们提出了一个3D肖像生成网络，该网络可产生3D一致的肖像，同时根据有关姿势，身份，表达和照明的语义参数可控。生成网络使用神经场景表示在3D中建模肖像，其生成以支持明确控制的参数面模型为指导。尽管可以通过将图像与部分不同的属性进行对比，但可以进一步增强潜在的分离，但在非面积区域（例如，在动画表达式）时，仍然存在明显的不一致。我们通过提出一种体积混合策略来解决此问题，在该策略中，我们通过将动态和静态辐射场融合在一起，形成一个复合输出，并从共同学习的语义场中分割了两个部分。我们的方法在广泛的实验中优于先前的艺术，在自由视点中观看时，在自然照明中产生了逼真的肖像。所提出的方法还证明了真实图像以及室外卡通面孔的概括能力，在实际应用中显示出巨大的希望。其他视频结果和代码将在项目网页上提供。

我们提出了一种无监督的方法，用于对铰接对象的3D几何形式表示学习，其中不使用图像置态对或前景口罩进行训练。尽管可以通过现有的3D神经表示的明确姿势控制铰接物体的影像图像，但这些方法需要地面真相3D姿势和前景口罩进行训练，这是昂贵的。我们通过学习GAN培训来学习表示形式来消除这种需求。该发电机经过训练，可以通过对抗训练从随机姿势和潜在向量产生逼真的铰接物体图像。为了避免GAN培训的高计算成本，我们提出了基于三平面的铰接对象的有效神经表示形式，然后为其无监督培训提供了基于GAN的框架。实验证明了我们方法的效率，并表明基于GAN的培训可以在没有配对监督的情况下学习可控的3D表示。

随着几个行业正在朝着建模大规模的3D虚拟世界迈进，因此需要根据3D内容的数量，质量和多样性来扩展的内容创建工具的需求变得显而易见。在我们的工作中，我们旨在训练Parterant 3D生成模型，以合成纹理网格，可以通过3D渲染引擎直接消耗，因此立即在下游应用中使用。 3D生成建模的先前工作要么缺少几何细节，因此在它们可以生成的网格拓扑中受到限制，通常不支持纹理，或者在合成过程中使用神经渲染器，这使得它们在常见的3D软件中使用。在这项工作中，我们介绍了GET3D，这是一种生成模型，该模型直接生成具有复杂拓扑，丰富几何细节和高保真纹理的显式纹理3D网格。我们在可区分的表面建模，可区分渲染以及2D生成对抗网络中桥接了最新成功，以从2D图像集合中训练我们的模型。 GET3D能够生成高质量的3D纹理网格，从汽车，椅子，动物，摩托车和人类角色到建筑物，对以前的方法进行了重大改进。

3D感知图像生成建模旨在生成具有明确可控相机姿势的3D一致图像。最近的作品通过在非结构化的2D图像上培训神经辐射场（NERF）发电机，但仍然无法产生具有精细细节的高度现实图像。一个关键原因是体积表示学习的高记忆和计算成本大大限制了训练期间辐射集成的点样本的数量。不足的采样不仅限制了发电机的表现力，以处理细节细节，而且由于不稳定的蒙特卡罗采样引起的噪音，因此阻碍了有效的GaN训练。我们提出了一种新的方法，调节点采样和辐射场地学习在2D歧管上，体现为3D音量中的一组学习隐式表面。对于每个观看射线，我们计算射线表面交叉点并累积由网络产生的亮度。通过培训和渲染如此光辉的歧管，我们的发电机可以产生具有现实细节和强大的视觉3D一致性的高质量图像。

生成建模的最新趋势是从2D图像收集中构建3D感知发电机。为了诱导3D偏见，此类模型通常依赖于体积渲染，这在高分辨率下使用昂贵。在过去的几个月中，似乎有10幅以上的作品通过训练单独的2D解码器来修饰由纯3D发电机产生的低分辨率图像（或功能张量）来解决这个扩展问题。但是该解决方案是有代价的：它不仅打破了多视图的一致性（即相机移动时的形状和纹理变化），而且还以低忠诚度学习了几何形状。在这项工作中，我们表明可以通过遵循完全不同的途径，简单地训练模型贴片，以获得具有SOTA图像质量的高分辨率3D发电机。我们通过两种方式重新审视和改进此优化方案。首先，我们设计了一个位置和比例意识的歧视器来处理不同比例和空间位置的贴片。其次，我们基于退火beta分布来修改补丁采样策略，以稳定训练并加速收敛。所得的模型名为Epigraf，是一个高效，高分辨率的纯3D发电机，我们在四个数据集（在这项工作中引入两个）上测试了它，价格为$ 256^2 $和$ 512^2 $分辨率。它获得了最先进的图像质量，高保真的几何形状，并比基于UpSampler的同行训练$ {\ oft} 2.5 \ times $ $。项目网站：https：//universome.github.io/epigraf。

StyleGAN has achieved great progress in 2D face reconstruction and semantic editing via image inversion and latent editing. While studies over extending 2D StyleGAN to 3D faces have emerged, a corresponding generic 3D GAN inversion framework is still missing, limiting the applications of 3D face reconstruction and semantic editing. In this paper, we study the challenging problem of 3D GAN inversion where a latent code is predicted given a single face image to faithfully recover its 3D shapes and detailed textures. The problem is ill-posed: innumerable compositions of shape and texture could be rendered to the current image. Furthermore, with the limited capacity of a global latent code, 2D inversion methods cannot preserve faithful shape and texture at the same time when applied to 3D models. To solve this problem, we devise an effective self-training scheme to constrain the learning of inversion. The learning is done efficiently without any real-world 2D-3D training pairs but proxy samples generated from a 3D GAN. In addition, apart from a global latent code that captures the coarse shape and texture information, we augment the generation network with a local branch, where pixel-aligned features are added to faithfully reconstruct face details. We further consider a new pipeline to perform 3D view-consistent editing. Extensive experiments show that our method outperforms state-of-the-art inversion methods in both shape and texture reconstruction quality. Code and data will be released.

综合照片 - 现实图像和视频是计算机图形的核心，并且是几十年的研究焦点。传统上，使用渲染算法（如光栅化或射线跟踪）生成场景的合成图像，其将几何形状和材料属性的表示为输入。统称，这些输入定义了实际场景和呈现的内容，并且被称为场景表示（其中场景由一个或多个对象组成）。示例场景表示是具有附带纹理的三角形网格（例如，由艺术家创建），点云（例如，来自深度传感器），体积网格（例如，来自CT扫描）或隐式曲面函数（例如，截短的符号距离）字段）。使用可分辨率渲染损耗的观察结果的这种场景表示的重建被称为逆图形或反向渲染。神经渲染密切相关，并将思想与经典计算机图形和机器学习中的思想相结合，以创建用于合成来自真实观察图像的图像的算法。神经渲染是朝向合成照片现实图像和视频内容的目标的跨越。近年来，我们通过数百个出版物显示了这一领域的巨大进展，这些出版物显示了将被动组件注入渲染管道的不同方式。这种最先进的神经渲染进步的报告侧重于将经典渲染原则与学习的3D场景表示结合的方法，通常现在被称为神经场景表示。这些方法的一个关键优势在于它们是通过设计的3D-一致，使诸如新颖的视点合成捕获场景的应用。除了处理静态场景的方法外，我们还涵盖了用于建模非刚性变形对象的神经场景表示...

生成辐射场的进步推动了3D感知图像合成的边界。通过观察到3D对象应该从多个观点看起来真实的观察，这些方法将多视图约束引入正则化以从2D图像学习有效的3D辐射场。尽管有了进步，但由于形状彩色模糊，它们通常会缺少准确的3D形状，这限制了它们在下游任务中的适用性。在这项工作中，我们通过提出一种新的阴影引导的生成隐式模型来解决这种模糊性，能够学习持续改进的形状表示。我们的主要洞察力是，在不同的照明条件下，精确的3D形状还应产生逼真的渲染。通过明确地模拟照明和具有各种照明条件的阴影来实现这种多照明约束。通过将合成的图像馈送到鉴别器来导出梯度。为了补偿计算表面法线的额外计算负担，我们进一步通过表面跟踪设计了高效的体积渲染策略，将培训和推理时间分别将培训和推理时间减少了24％和48％。我们在多个数据集上的实验表明，该方法在捕获准确的基础3D形状时实现了光电型3D感知图像合成。我们展示了我们对现有方法的3D形重建的方法的改进性能，并展示了其对图像复兴的适用性。我们的代码将在https://github.com/xingangpan/shadegan发布。

以前的纵向图像生成方法大致分为两类：2D GAN和3D感知的GAN。 2D GAN可以产生高保真肖像，但具有低视图一致性。 3D感知GaN方法可以维护查看一致性，但它们所生成的图像不是本地可编辑的。为了克服这些限制，我们提出了FENERF，一个可以生成查看一致和本地可编辑的纵向图像的3D感知生成器。我们的方法使用两个解耦潜码，以在具有共享几何体的空间对齐的3D卷中生成相应的面部语义和纹理。从这种底层3D表示中受益，FENERF可以联合渲染边界对齐的图像和语义掩码，并使用语义掩模通过GaN反转编辑3D音量。我们进一步示出了可以从广泛可用的单手套图像和语义面膜对中学习这种3D表示。此外，我们揭示了联合学习语义和纹理有助于产生更精细的几何形状。我们的实验表明FENERF在各种面部编辑任务中优于最先进的方法。

图像翻译和操纵随着深层生成模型的快速发展而引起了越来越多的关注。尽管现有的方法带来了令人印象深刻的结果，但它们主要在2D空间中运行。鉴于基于NERF的3D感知生成模型的最新进展，我们介绍了一项新的任务，语义到网络翻译，旨在重建由NERF模型的3D场景，该场景以一个单视语义掩码作为输入为条件。为了启动这项新颖的任务，我们提出了SEM2NERF框架。特别是，SEM2NERF通过将语义面膜编码到控制预训练的解码器的3D场景表示形式中来解决高度挑战的任务。为了进一步提高映射的准确性，我们将新的区域感知学习策略集成到编码器和解码器的设计中。我们验证了提出的SEM2NERF的功效，并证明它在两个基准数据集上的表现优于几个强基础。代码和视频可从https://donydchen.github.io/sem2nerf/获得

我们提出Volux-GaN，一种生成框架，以合成3D感知面孔的令人信服的回忆。我们的主要贡献是一种体积的HDRI可发感方法，可以沿着每个3D光线沿着任何所需的HDR环境图累计累积Albedo，漫射和镜面照明贡献。此外，我们展示了使用多个鉴别器监督图像分解过程的重要性。特别是，我们提出了一种数据增强技术，其利用单个图像肖像结合的最近的进步来强制实施一致的几何形状，反照镜，漫射和镜面组分。与其他生成框架的多个实验和比较展示了我们的模型是如何向光电型可致力于的3D生成模型前进的一步。

多年来，2d Gans在影像肖像的一代中取得了巨大的成功。但是，他们在生成过程中缺乏3D理解，因此他们遇到了多视图不一致问题。为了减轻这个问题，已经提出了许多3D感知的甘斯，并显示出显着的结果，但是3D GAN在编辑语义属性方面努力。 3D GAN的可控性和解释性并未得到太多探索。在这项工作中，我们提出了两种解决方案，以克服2D GAN和3D感知gan的这些弱点。我们首先介绍了一种新颖的3D感知gan，Surf-Gan，它能够在训练过程中发现语义属性，并以无监督的方式控制它们。之后，我们将先验的Surf-GAN注入stylegan，以获得高保真3D控制的发电机。与允许隐姿姿势控制的现有基于潜在的方法不同，所提出的3D控制样式gan可实现明确的姿势控制对肖像生成的控制。这种蒸馏允许3D控制与许多基于样式的技术（例如，反转和风格化）之间的直接兼容性，并且在计算资源方面也带来了优势。我们的代码可从https://github.com/jgkwak95/surf-gan获得。