生成建模的最新趋势是从2D图像收集中构建3D感知发电机。为了诱导3D偏见，此类模型通常依赖于体积渲染，这在高分辨率下使用昂贵。在过去的几个月中，似乎有10幅以上的作品通过训练单独的2D解码器来修饰由纯3D发电机产生的低分辨率图像（或功能张量）来解决这个扩展问题。但是该解决方案是有代价的：它不仅打破了多视图的一致性（即相机移动时的形状和纹理变化），而且还以低忠诚度学习了几何形状。在这项工作中，我们表明可以通过遵循完全不同的途径，简单地训练模型贴片，以获得具有SOTA图像质量的高分辨率3D发电机。我们通过两种方式重新审视和改进此优化方案。首先，我们设计了一个位置和比例意识的歧视器来处理不同比例和空间位置的贴片。其次，我们基于退火beta分布来修改补丁采样策略，以稳定训练并加速收敛。所得的模型名为Epigraf，是一个高效，高分辨率的纯3D发电机，我们在四个数据集（在这项工作中引入两个）上测试了它，价格为$ 256^2 $和$ 512^2 $分辨率。它获得了最先进的图像质量，高保真的几何形状，并比基于UpSampler的同行训练$ {\ oft} 2.5 \ times $ $。项目网站：https：//universome.github.io/epigraf。

使用单视图2D照片仅集合，无监督的高质量多视图 - 一致的图像和3D形状一直是一个长期存在的挑战。现有的3D GAN是计算密集型的，也是没有3D-一致的近似;前者限制了所生成的图像的质量和分辨率，并且后者对多视图一致性和形状质量产生不利影响。在这项工作中，我们提高了3D GAN的计算效率和图像质量，而无需依赖这些近似。为此目的，我们介绍了一种表现力的混合明确隐式网络架构，与其他设计选择一起，不仅可以实时合成高分辨率多视图一致图像，而且还产生高质量的3D几何形状。通过解耦特征生成和神经渲染，我们的框架能够利用最先进的2D CNN生成器，例如Stylega2，并继承它们的效率和表现力。在其他实验中，我们展示了与FFHQ和AFHQ猫的最先进的3D感知合成。

我们介绍了我们称呼STYLESDF的高分辨率，3D一致的图像和形状生成技术。我们的方法仅在单视图RGB数据上培训，并站在StyleGan2的肩部，用于图像生成，同时解决3D感知GANS中的两个主要挑战：1）RGB图像的高分辨率，视图 - 一致生成RGB图像，以及2）详细的3D形状。通过使用基于样式的2D发生器合并基于SDF的3D表示来实现这一目标。我们的3D隐式网络呈现出低分辨率的特征映射，其中基于样式的网络生成了View-Consive，1024x1024图像。值得注意的是，基于SDF的3D建模定义了详细的3D曲面，导致一致的卷渲染。在视觉和几何质量方面，我们的方法显示出更高的质量结果。

3D感知图像生成建模旨在生成具有明确可控相机姿势的3D一致图像。最近的作品通过在非结构化的2D图像上培训神经辐射场（NERF）发电机，但仍然无法产生具有精细细节的高度现实图像。一个关键原因是体积表示学习的高记忆和计算成本大大限制了训练期间辐射集成的点样本的数量。不足的采样不仅限制了发电机的表现力，以处理细节细节，而且由于不稳定的蒙特卡罗采样引起的噪音，因此阻碍了有效的GaN训练。我们提出了一种新的方法，调节点采样和辐射场地学习在2D歧管上，体现为3D音量中的一组学习隐式表面。对于每个观看射线，我们计算射线表面交叉点并累积由网络产生的亮度。通过培训和渲染如此光辉的歧管，我们的发电机可以产生具有现实细节和强大的视觉3D一致性的高质量图像。

最先进的3D感知生成模型依赖于基于坐标的MLP来参数化3D辐射场。在证明令人印象深刻的结果的同时，请查询每个沿每个射线样品的MLP，都会导致渲染缓慢。因此，现有方法通常会呈现低分辨率特征图，并通过UPSMPLING网络处理以获取最终图像。尽管有效，神经渲染通常纠缠于观点和内容，从而改变摄像头会导致几何或外观的不必要变化。在基于体素的新型视图合成中的最新结果中，我们研究了本文中稀疏体素电网表示的快速和3D一致生成建模的实用性。我们的结果表明，当将稀疏体素电网与渐进式生长，自由空间修剪和适当的正则化结合时，单层MLP确实可以被3D卷积代替。为了获得场景的紧凑表示并允许缩放到更高的体素分辨率，我们的模型将前景对象（以3D模型）从背景（以2D模型建模）中。与现有方法相反，我们的方法仅需要单个正向通行证来生成完整的3D场景。因此，它允许从任意观点呈现有效渲染，同时以高视觉保真度产生3D一致的结果。

视频显示连续事件，但大多数 - 如果不是全部 - 视频综合框架及时酌情对待它们。在这项工作中，我们想到它们应该是连续的信号的视频，并扩展神经表示的范式以构建连续时间视频发生器。为此，我们首先通过位置嵌入的镜头设计连续运动表示。然后，我们探讨了在非常稀疏的视频上培训问题，并证明可以使用每剪辑的少数为2帧来学习良好的发电机。之后，我们重新思考传统的图像和视频鉴别器对并建议使用基于Hypernetwork的一个。这降低了培训成本并向发电机提供了更丰富的学习信号，使得可以首次直接培训1024美元$ ^ 2 $视频。我们在Stylegan2的顶部构建我们的模型，并且在同样的分辨率下培训速度速度较高5％，同时实现几乎相同的图像质量。此外，我们的潜在空间具有类似的属性，使我们的方法可以及时传播的空间操纵。我们可以在任意高帧速率下任意长的视频，而现有工作努力以固定速率生成均匀的64个帧。我们的模型在四个现代256美元$ ^ 2 $视频综合基准测试中实现最先进的结果，一个1024美元$ ^ 2 $ state。视频和源代码在项目网站上提供：https://universome.github.io/stylegan-v。

We have witnessed rapid progress on 3D-aware image synthesis, leveraging recent advances in generative visual models and neural rendering. Existing approaches however fall short in two ways: first, they may lack an underlying 3D representation or rely on view-inconsistent rendering, hence synthesizing images that are not multi-view consistent; second, they often depend upon representation network architectures that are not expressive enough, and their results thus lack in image quality. We propose a novel generative model, named Periodic Implicit Generative Adversarial Networks (π-GAN or pi-GAN), for high-quality 3D-aware image synthesis. π-GAN leverages neural representations with periodic activation functions and volumetric rendering to represent scenes as view-consistent radiance fields. The proposed approach obtains state-of-the-art results for 3D-aware image synthesis with multiple real and synthetic datasets.

制作生成模型3D感知桥梁2D图像空间和3D物理世界仍然挑战。最近尝试用神经辐射场（NERF）配备生成的对抗性网络（GAN），其将3D坐标映射到像素值，作为3D之前。然而，nerf中的隐式功能具有一个非常局部的接收领域，使得发电机难以意识到全局结构。与此同时，NERF建立在体积渲染上，这可能太昂贵，无法产生高分辨率结果，提高优化难度。为了减轻这两个问题，我们通过明确学习结构表示和纹理表示，向高保真3D感知图像综合提出了一种作为Volumegan称为Volumegan的新颖框架。我们首先学习一个特征卷来表示底层结构，然后使用类似NERF的模型转换为特征字段。特征字段进一步累积到作为纹理表示的2D特征图中，然后是用于外观合成的神经渲染器。这种设计使得能够独立控制形状和外观。广泛的数据集的大量实验表明，我们的方法比以前的方法实现了足够更高的图像质量和更好的3D控制。

While 2D generative adversarial networks have enabled high-resolution image synthesis, they largely lack an understanding of the 3D world and the image formation process. Thus, they do not provide precise control over camera viewpoint or object pose. To address this problem, several recent approaches leverage intermediate voxel-based representations in combination with differentiable rendering. However, existing methods either produce low image resolution or fall short in disentangling camera and scene properties, e.g., the object identity may vary with the viewpoint. In this paper, we propose a generative model for radiance fields which have recently proven successful for novel view synthesis of a single scene. In contrast to voxelbased representations, radiance fields are not confined to a coarse discretization of the 3D space, yet allow for disentangling camera and scene properties while degrading gracefully in the presence of reconstruction ambiguity. By introducing a multi-scale patch-based discriminator, we demonstrate synthesis of high-resolution images while training our model from unposed 2D images alone. We systematically analyze our approach on several challenging synthetic and real-world datasets. Our experiments reveal that radiance fields are a powerful representation for generative image synthesis, leading to 3D consistent models that render with high fidelity.

最近的作品表明，经过非结构化单图像收集训练的3D感知gan可以生成新颖实例的多视图像。实现此目的的关键基础是3D辐射场发电机和卷渲染过程。但是，由于神经量渲染的高计算成本，现有方法无法生成高分辨率图像（例如，最高256x256），或者依靠2D CNN来进行图像空间上采样，从而危害了不同视图的3D一致性。本文提出了一种新颖的3D感知gan，可以产生高分辨率图像（最高1024x1024），同时保持严格的3D一致性，如音量渲染。我们的动机是直接在3D空间中实现超分辨率，以保持3D一致性。我们通过在最近的生成辐射歧管（GRAM）方法中定义的一组2D辐射歧管上应用2D卷积，避免了原本高昂的计算成本，并应用专门的损失函数以高分辨率进行有效的GAN训练。 FFHQ和AFHQV2数据集的实验表明，我们的方法可以产生高质量的3D一致性结果，从而大大胜过现有方法。

Existing 3D-aware image synthesis approaches mainly focus on generating a single canonical object and show limited capacity in composing a complex scene containing a variety of objects. This work presents DisCoScene: a 3Daware generative model for high-quality and controllable scene synthesis. The key ingredient of our method is a very abstract object-level representation (i.e., 3D bounding boxes without semantic annotation) as the scene layout prior, which is simple to obtain, general to describe various scene contents, and yet informative to disentangle objects and background. Moreover, it serves as an intuitive user control for scene editing. Based on such a prior, the proposed model spatially disentangles the whole scene into object-centric generative radiance fields by learning on only 2D images with the global-local discrimination. Our model obtains the generation fidelity and editing flexibility of individual objects while being able to efficiently compose objects and the background into a complete scene. We demonstrate state-of-the-art performance on many scene datasets, including the challenging Waymo outdoor dataset. Project page: https://snap-research.github.io/discoscene/

生成模型已成为许多图像合成和编辑任务的基本构件。该领域的最新进展还使得能够生成具有多视图或时间一致性的高质量3D或视频内容。在我们的工作中，我们探索了学习无条件生成3D感知视频的4D生成对抗网络（GAN）。通过将神经隐式表示与时间感知歧视器相结合，我们开发了一个GAN框架，该框架仅通过单眼视频进行监督的3D视频。我们表明，我们的方法学习了可分解的3D结构和动作的丰富嵌入，这些结构和动作可以使时空渲染的新视觉效果，同时以与现有3D或视频gan相当的质量产生图像。

随着几个行业正在朝着建模大规模的3D虚拟世界迈进，因此需要根据3D内容的数量，质量和多样性来扩展的内容创建工具的需求变得显而易见。在我们的工作中，我们旨在训练Parterant 3D生成模型，以合成纹理网格，可以通过3D渲染引擎直接消耗，因此立即在下游应用中使用。 3D生成建模的先前工作要么缺少几何细节，因此在它们可以生成的网格拓扑中受到限制，通常不支持纹理，或者在合成过程中使用神经渲染器，这使得它们在常见的3D软件中使用。在这项工作中，我们介绍了GET3D，这是一种生成模型，该模型直接生成具有复杂拓扑，丰富几何细节和高保真纹理的显式纹理3D网格。我们在可区分的表面建模，可区分渲染以及2D生成对抗网络中桥接了最新成功，以从2D图像集合中训练我们的模型。 GET3D能够生成高质量的3D纹理网格，从汽车，椅子，动物，摩托车和人类角色到建筑物，对以前的方法进行了重大改进。

Generative models have shown great promise in synthesizing photorealistic 3D objects, but they require large amounts of training data. We introduce SinGRAF, a 3D-aware generative model that is trained with a few input images of a single scene. Once trained, SinGRAF generates different realizations of this 3D scene that preserve the appearance of the input while varying scene layout. For this purpose, we build on recent progress in 3D GAN architectures and introduce a novel progressive-scale patch discrimination approach during training. With several experiments, we demonstrate that the results produced by SinGRAF outperform the closest related works in both quality and diversity by a large margin.

即使自然图像有多种尺寸，生成模型也以固定分辨率运行。由于高分辨率的细节被删除并完全丢弃了低分辨率图像，因此丢失了宝贵的监督。我们认为，每个像素都很重要，并创建具有可变大小图像的数据集，该图像以本机分辨率收集。为了利用各种大小的数据，我们引入了连续尺度训练，该过程以随机尺度进行采样以训练具有可变输出分辨率的新发电机。首先，对生成器进行调节，可以使我们能够生成比以前更高的分辨率图像，而无需在模型中添加层。其次，通过对连续坐标进行调节，我们可以采样仍然遵守一致的全局布局的贴片，这也允许在更高分辨率下进行可扩展的训练。受控的FFHQ实验表明，与离散的多尺度方法相比，我们的方法可以更好地利用多分辨率培训数据，从而获得更好的FID分数和更清洁的高频细节。我们还训练包括教堂，山脉和鸟类在内的其他自然图像领域，并通过连贯的全球布局和现实的本地细节来展示任意量表的综合，超出了我们的实验中的2K分辨率。我们的项目页面可在以下网址找到：https：//chail.github.io/anyres-gan/。

综合照片 - 现实图像和视频是计算机图形的核心，并且是几十年的研究焦点。传统上，使用渲染算法（如光栅化或射线跟踪）生成场景的合成图像，其将几何形状和材料属性的表示为输入。统称，这些输入定义了实际场景和呈现的内容，并且被称为场景表示（其中场景由一个或多个对象组成）。示例场景表示是具有附带纹理的三角形网格（例如，由艺术家创建），点云（例如，来自深度传感器），体积网格（例如，来自CT扫描）或隐式曲面函数（例如，截短的符号距离）字段）。使用可分辨率渲染损耗的观察结果的这种场景表示的重建被称为逆图形或反向渲染。神经渲染密切相关，并将思想与经典计算机图形和机器学习中的思想相结合，以创建用于合成来自真实观察图像的图像的算法。神经渲染是朝向合成照片现实图像和视频内容的目标的跨越。近年来，我们通过数百个出版物显示了这一领域的巨大进展，这些出版物显示了将被动组件注入渲染管道的不同方式。这种最先进的神经渲染进步的报告侧重于将经典渲染原则与学习的3D场景表示结合的方法，通常现在被称为神经场景表示。这些方法的一个关键优势在于它们是通过设计的3D-一致，使诸如新颖的视点合成捕获场景的应用。除了处理静态场景的方法外，我们还涵盖了用于建模非刚性变形对象的神经场景表示...

真正需要什么才能使现有的2D GAN 3D了解？为了回答这个问题，我们会尽可能少地修改经典的gan，即styleganv2。我们发现只有两次修改是绝对必要的：1）一个多层图像样式生成器分支，该分支在其深度上产生一组Alpha地图；2）姿势条件歧视者。我们将生成的输出称为“生成多层图像”（GMPI），并强调其渲染不仅是高质量的，而且保证是持续的，这使GMPIS与许多先前的作品不同。重要的是，可以动态调整Alpha地图的数量，并且在训练和推理之间可能有所不同，减轻记忆问题，并在不到半天的时间内以1024^2美元的分辨率在不到半天的时间内快速训练GMPIS。我们的发现在三个具有挑战性和常见的高分辨率数据集（包括FFHQ，AFHQV2和METFACE）中是一致的。

我们提出了一种无监督的方法，用于对铰接对象的3D几何形式表示学习，其中不使用图像置态对或前景口罩进行训练。尽管可以通过现有的3D神经表示的明确姿势控制铰接物体的影像图像，但这些方法需要地面真相3D姿势和前景口罩进行训练，这是昂贵的。我们通过学习GAN培训来学习表示形式来消除这种需求。该发电机经过训练，可以通过对抗训练从随机姿势和潜在向量产生逼真的铰接物体图像。为了避免GAN培训的高计算成本，我们提出了基于三平面的铰接对象的有效神经表示形式，然后为其无监督培训提供了基于GAN的框架。实验证明了我们方法的效率，并表明基于GAN的培训可以在没有配对监督的情况下学习可控的3D表示。

生成辐射场的进步推动了3D感知图像合成的边界。通过观察到3D对象应该从多个观点看起来真实的观察，这些方法将多视图约束引入正则化以从2D图像学习有效的3D辐射场。尽管有了进步，但由于形状彩色模糊，它们通常会缺少准确的3D形状，这限制了它们在下游任务中的适用性。在这项工作中，我们通过提出一种新的阴影引导的生成隐式模型来解决这种模糊性，能够学习持续改进的形状表示。我们的主要洞察力是，在不同的照明条件下，精确的3D形状还应产生逼真的渲染。通过明确地模拟照明和具有各种照明条件的阴影来实现这种多照明约束。通过将合成的图像馈送到鉴别器来导出梯度。为了补偿计算表面法线的额外计算负担，我们进一步通过表面跟踪设计了高效的体积渲染策略，将培训和推理时间分别将培训和推理时间减少了24％和48％。我们在多个数据集上的实验表明，该方法在捕获准确的基础3D形状时实现了光电型3D感知图像合成。我们展示了我们对现有方法的3D形重建的方法的改进性能，并展示了其对图像复兴的适用性。我们的代码将在https://github.com/xingangpan/shadegan发布。

We introduce 3inGAN, an unconditional 3D generative model trained from 2D images of a single self-similar 3D scene. Such a model can be used to produce 3D "remixes" of a given scene, by mapping spatial latent codes into a 3D volumetric representation, which can subsequently be rendered from arbitrary views using physically based volume rendering. By construction, the generated scenes remain view-consistent across arbitrary camera configurations, without any flickering or spatio-temporal artifacts. During training, we employ a combination of 2D, obtained through differentiable volume tracing, and 3D Generative Adversarial Network (GAN) losses, across multiple scales, enforcing realism on both its 3D structure and the 2D renderings. We show results on semi-stochastic scenes of varying scale and complexity, obtained from real and synthetic sources. We demonstrate, for the first time, the feasibility of learning plausible view-consistent 3D scene variations from a single exemplar scene and provide qualitative and quantitative comparisons against recent related methods.