最近的研究表明，基于预训练的gan的可控图像生成可以使广泛的计算机视觉任务受益。但是，较少的关注专用于3D视觉任务。鉴于此，我们提出了一个新颖的图像条件神经隐式领域，该领域可以利用GAN生成的多视图图像的2D监督，并执行通用对象的单视图重建。首先，提出了一个新颖的基于脱机的发电机，以生成具有对视点的完全控制的合理伪图像。然后，我们建议利用神经隐式函数，以及可区分的渲染器，从带有对象掩模和粗糙姿势初始化的伪图像中学习3D几何形状。为了进一步检测不可靠的监督，我们引入了一个新颖的不确定性模块来预测不确定性图，该模块可以补救伪图像中不确定区域的负面影响，从而导致更好的重建性能。我们方法的有效性是通过通用对象的出色单视3D重建结果证明的。

StyleGAN has achieved great progress in 2D face reconstruction and semantic editing via image inversion and latent editing. While studies over extending 2D StyleGAN to 3D faces have emerged, a corresponding generic 3D GAN inversion framework is still missing, limiting the applications of 3D face reconstruction and semantic editing. In this paper, we study the challenging problem of 3D GAN inversion where a latent code is predicted given a single face image to faithfully recover its 3D shapes and detailed textures. The problem is ill-posed: innumerable compositions of shape and texture could be rendered to the current image. Furthermore, with the limited capacity of a global latent code, 2D inversion methods cannot preserve faithful shape and texture at the same time when applied to 3D models. To solve this problem, we devise an effective self-training scheme to constrain the learning of inversion. The learning is done efficiently without any real-world 2D-3D training pairs but proxy samples generated from a 3D GAN. In addition, apart from a global latent code that captures the coarse shape and texture information, we augment the generation network with a local branch, where pixel-aligned features are added to faithfully reconstruct face details. We further consider a new pipeline to perform 3D view-consistent editing. Extensive experiments show that our method outperforms state-of-the-art inversion methods in both shape and texture reconstruction quality. Code and data will be released.

随着几个行业正在朝着建模大规模的3D虚拟世界迈进，因此需要根据3D内容的数量，质量和多样性来扩展的内容创建工具的需求变得显而易见。在我们的工作中，我们旨在训练Parterant 3D生成模型，以合成纹理网格，可以通过3D渲染引擎直接消耗，因此立即在下游应用中使用。 3D生成建模的先前工作要么缺少几何细节，因此在它们可以生成的网格拓扑中受到限制，通常不支持纹理，或者在合成过程中使用神经渲染器，这使得它们在常见的3D软件中使用。在这项工作中，我们介绍了GET3D，这是一种生成模型，该模型直接生成具有复杂拓扑，丰富几何细节和高保真纹理的显式纹理3D网格。我们在可区分的表面建模，可区分渲染以及2D生成对抗网络中桥接了最新成功，以从2D图像集合中训练我们的模型。 GET3D能够生成高质量的3D纹理网格，从汽车，椅子，动物，摩托车和人类角色到建筑物，对以前的方法进行了重大改进。

我们介绍了我们称呼STYLESDF的高分辨率，3D一致的图像和形状生成技术。我们的方法仅在单视图RGB数据上培训，并站在StyleGan2的肩部，用于图像生成，同时解决3D感知GANS中的两个主要挑战：1）RGB图像的高分辨率，视图 - 一致生成RGB图像，以及2）详细的3D形状。通过使用基于样式的2D发生器合并基于SDF的3D表示来实现这一目标。我们的3D隐式网络呈现出低分辨率的特征映射，其中基于样式的网络生成了View-Consive，1024x1024图像。值得注意的是，基于SDF的3D建模定义了详细的3D曲面，导致一致的卷渲染。在视觉和几何质量方面，我们的方法显示出更高的质量结果。

2D图像是对用几何形状，材料和照明组件描绘的3D物理世界的观察。从2D图像（也称为逆渲染）中恢复这些基本的内在组件通常需要有监督的设置，并从多个观点和照明条件中收集的配对图像，这是资源要求的。在这项工作中，我们提出了GAN2X，这是一种无监督的逆渲染方法，仅使用未配对的图像进行训练。与以前主要集中在3D形状的形状 - 从GAN的方法不同，我们首次尝试通过利用GAN生成的伪配对数据来恢复非陆层材料的性能。为了实现精确的逆渲染，我们设计了一种镜面感知的神经表面表示，该表示连续建模几何和材料特性。采用基于阴影的改进技术来进一步提炼目标图像中的信息并恢复更多细节。实验表明，GAN2X可以准确地将2D图像分解为不同对象类别的3D形状，反照率和镜面特性，并实现无监督的单视图3D面部重建的最先进性能。我们还显示了其在下游任务中的应用，包括真实的图像编辑和将2D GAN抬高到分解3D GAN。

无监督的生成的虚拟人类具有各种外观和动画姿势对于创建3D人体化身和其他AR/VR应用非常重要。现有方法要么仅限于刚性对象建模，要么不生成，因此无法合成高质量的虚拟人类并使它们进行动画化。在这项工作中，我们提出了Avatargen，这是第一种不仅可以具有不同外观的非刚性人类产生的方法，而且还可以完全控制姿势和观点，同时仅需要2D图像进行训练。具体而言，它通过利用粗糙的人体模型作为代理将观察空间扭曲到规范空间下的标准头像，将最近的3D甘斯扩展到了人类的衣服。为了建模非刚性动力学，它引入了一个变形网络，以学习规范空间中的姿势依赖性变形。为了提高生成的人类化身的几何质量，它利用签名距离字段作为几何表示，从而可以从几何学学习上的身体模型中进行更直接的正则化。从这些设计中受益，我们的方法可以生成具有高质量外观和几何形状建模的动画人体化身，从而极大地表现了先前的3D gan。此外，它有能力用于许多应用，例如单视重构造，复活和文本引导的合成。代码和预培训模型将可用。

The neural radiance field (NeRF) has shown promising results in preserving the fine details of objects and scenes. However, unlike mesh-based representations, it remains an open problem to build dense correspondences across different NeRFs of the same category, which is essential in many downstream tasks. The main difficulties of this problem lie in the implicit nature of NeRF and the lack of ground-truth correspondence annotations. In this paper, we show it is possible to bypass these challenges by leveraging the rich semantics and structural priors encapsulated in a pre-trained NeRF-based GAN. Specifically, we exploit such priors from three aspects, namely 1) a dual deformation field that takes latent codes as global structural indicators, 2) a learning objective that regards generator features as geometric-aware local descriptors, and 3) a source of infinite object-specific NeRF samples. Our experiments demonstrate that such priors lead to 3D dense correspondence that is accurate, smooth, and robust. We also show that established dense correspondence across NeRFs can effectively enable many NeRF-based downstream applications such as texture transfer.

神经隐式表示在新的视图合成和来自多视图图像的高质量3D重建方面显示了其有效性。但是，大多数方法都集中在整体场景表示上，但忽略了其中的各个对象，从而限制了潜在的下游应用程序。为了学习对象组合表示形式，一些作品将2D语义图作为训练中的提示，以掌握对象之间的差异。但是他们忽略了对象几何和实例语义信息之间的牢固联系，这导致了单个实例的不准确建模。本文提出了一个新颖的框架ObjectsDF，以在3D重建和对象表示中构建具有高保真度的对象复合神经隐式表示。观察常规音量渲染管道的歧义，我们通过组合单个对象的签名距离函数（SDF）来对场景进行建模，以发挥明确的表面约束。区分不同实例的关键是重新审视单个对象的SDF和语义标签之间的牢固关联。特别是，我们将语义信息转换为对象SDF的函数，并为场景和对象开发统一而紧凑的表示形式。实验结果表明，ObjectSDF框架在表示整体对象组合场景和各个实例方面的优越性。可以在https://qianyiwu.github.io/objectsdf/上找到代码

What is a rose, visually? A rose comprises its intrinsics, including the distribution of geometry, texture, and material specific to its object category. With knowledge of these intrinsic properties, we may render roses of different sizes and shapes, in different poses, and under different lighting conditions. In this work, we build a generative model that learns to capture such object intrinsics from a single image, such as a photo of a bouquet. Such an image includes multiple instances of an object type. These instances all share the same intrinsics, but appear different due to a combination of variance within these intrinsics and differences in extrinsic factors, such as pose and illumination. Experiments show that our model successfully learns object intrinsics (distribution of geometry, texture, and material) for a wide range of objects, each from a single Internet image. Our method achieves superior results on multiple downstream tasks, including intrinsic image decomposition, shape and image generation, view synthesis, and relighting.

Generative models, as an important family of statistical modeling, target learning the observed data distribution via generating new instances. Along with the rise of neural networks, deep generative models, such as variational autoencoders (VAEs) and generative adversarial network (GANs), have made tremendous progress in 2D image synthesis. Recently, researchers switch their attentions from the 2D space to the 3D space considering that 3D data better aligns with our physical world and hence enjoys great potential in practice. However, unlike a 2D image, which owns an efficient representation (i.e., pixel grid) by nature, representing 3D data could face far more challenges. Concretely, we would expect an ideal 3D representation to be capable enough to model shapes and appearances in details, and to be highly efficient so as to model high-resolution data with fast speed and low memory cost. However, existing 3D representations, such as point clouds, meshes, and recent neural fields, usually fail to meet the above requirements simultaneously. In this survey, we make a thorough review of the development of 3D generation, including 3D shape generation and 3D-aware image synthesis, from the perspectives of both algorithms and more importantly representations. We hope that our discussion could help the community track the evolution of this field and further spark some innovative ideas to advance this challenging task.

综合照片 - 现实图像和视频是计算机图形的核心，并且是几十年的研究焦点。传统上，使用渲染算法（如光栅化或射线跟踪）生成场景的合成图像，其将几何形状和材料属性的表示为输入。统称，这些输入定义了实际场景和呈现的内容，并且被称为场景表示（其中场景由一个或多个对象组成）。示例场景表示是具有附带纹理的三角形网格（例如，由艺术家创建），点云（例如，来自深度传感器），体积网格（例如，来自CT扫描）或隐式曲面函数（例如，截短的符号距离）字段）。使用可分辨率渲染损耗的观察结果的这种场景表示的重建被称为逆图形或反向渲染。神经渲染密切相关，并将思想与经典计算机图形和机器学习中的思想相结合，以创建用于合成来自真实观察图像的图像的算法。神经渲染是朝向合成照片现实图像和视频内容的目标的跨越。近年来，我们通过数百个出版物显示了这一领域的巨大进展，这些出版物显示了将被动组件注入渲染管道的不同方式。这种最先进的神经渲染进步的报告侧重于将经典渲染原则与学习的3D场景表示结合的方法，通常现在被称为神经场景表示。这些方法的一个关键优势在于它们是通过设计的3D-一致，使诸如新颖的视点合成捕获场景的应用。除了处理静态场景的方法外，我们还涵盖了用于建模非刚性变形对象的神经场景表示...

从单眼图像中恢复纹理的3D网格是高度挑战的，尤其是对于缺乏3D地面真理的野外物体。在这项工作中，我们提出了网络文化，这是一个新的框架，可通过利用3D GAN预先训练的3D纹理网格合成的3D GAN的生成性先验。重建是通过在3D GAN中搜索最类似于目标网格的潜在空间来实现重建。由于预先训练的GAN以网状几何形状和纹理封装了丰富的3D语义，因此在GAN歧管内进行搜索，因此自然地使重建的真实性和忠诚度正常。重要的是，这种正则化直接应用于3D空间，从而提供了在2D空间中未观察到的网格零件的关键指导。标准基准测试的实验表明，我们的框架获得了忠实的3D重建，并在观察到的部分和未观察到的部分中都具有一致的几何形状和纹理。此外，它可以很好地推广到不太常见的网格中，例如可变形物体的扩展表达。代码在https://github.com/junzhezhang/mesh-inversion上发布

Recent years have witnessed the tremendous progress of 3D GANs for generating view-consistent radiance fields with photo-realism. Yet, high-quality generation of human radiance fields remains challenging, partially due to the limited human-related priors adopted in existing methods. We present HumanGen, a novel 3D human generation scheme with detailed geometry and $\text{360}^{\circ}$ realistic free-view rendering. It explicitly marries the 3D human generation with various priors from the 2D generator and 3D reconstructor of humans through the design of "anchor image". We introduce a hybrid feature representation using the anchor image to bridge the latent space of HumanGen with the existing 2D generator. We then adopt a pronged design to disentangle the generation of geometry and appearance. With the aid of the anchor image, we adapt a 3D reconstructor for fine-grained details synthesis and propose a two-stage blending scheme to boost appearance generation. Extensive experiments demonstrate our effectiveness for state-of-the-art 3D human generation regarding geometry details, texture quality, and free-view performance. Notably, HumanGen can also incorporate various off-the-shelf 2D latent editing methods, seamlessly lifting them into 3D.

制作生成模型3D感知桥梁2D图像空间和3D物理世界仍然挑战。最近尝试用神经辐射场（NERF）配备生成的对抗性网络（GAN），其将3D坐标映射到像素值，作为3D之前。然而，nerf中的隐式功能具有一个非常局部的接收领域，使得发电机难以意识到全局结构。与此同时，NERF建立在体积渲染上，这可能太昂贵，无法产生高分辨率结果，提高优化难度。为了减轻这两个问题，我们通过明确学习结构表示和纹理表示，向高保真3D感知图像综合提出了一种作为Volumegan称为Volumegan的新颖框架。我们首先学习一个特征卷来表示底层结构，然后使用类似NERF的模型转换为特征字段。特征字段进一步累积到作为纹理表示的2D特征图中，然后是用于外观合成的神经渲染器。这种设计使得能够独立控制形状和外观。广泛的数据集的大量实验表明，我们的方法比以前的方法实现了足够更高的图像质量和更好的3D控制。

我们向渲染和时间（4D）重建人类的渲染和时间（4D）重建的神经辐射场，通过稀疏的摄像机捕获或甚至来自单眼视频。我们的方法将思想与神经场景表示，新颖的综合合成和隐式统计几何人称的人类表示相结合，耦合使用新颖的损失功能。在先前使用符号距离功能表示的结构化隐式人体模型，而不是使用统一的占用率来学习具有统一占用的光域字段。这使我们能够从稀疏视图中稳健地融合信息，并概括超出在训练中观察到的姿势或视图。此外，我们应用几何限制以共同学习观察到的主题的结构 - 包括身体和衣服 - 并将辐射场正规化为几何合理的解决方案。在多个数据集上的广泛实验证明了我们方法的稳健性和准确性，其概括能力显着超出了一系列的姿势和视图，以及超出所观察到的形状的统计外推。

最近已经示出了从2D图像中提取隐式3D表示的生成神经辐射场（GNERF）模型，以产生代表刚性物体的现实图像，例如人面或汽车。然而，他们通常难以产生代表非刚性物体的高质量图像，例如人体，这对许多计算机图形应用具有很大的兴趣。本文提出了一种用于人类图像综合的3D感知语义导向生成模型（3D-SAGGA），其集成了GNERF和纹理发生器。前者学习人体的隐式3D表示，并输出一组2D语义分段掩模。后者将这些语义面部掩模转化为真实的图像，为人类的外观添加了逼真的纹理。如果不需要额外的3D信息，我们的模型可以使用照片现实可控生成学习3D人类表示。我们在Deepfashion DataSet上的实验表明，3D-SAGGAN显着优于最近的基线。

We propose a differentiable sphere tracing algorithm to bridge the gap between inverse graphics methods and the recently proposed deep learning based implicit signed distance function. Due to the nature of the implicit function, the rendering process requires tremendous function queries, which is particularly problematic when the function is represented as a neural network. We optimize both the forward and backward passes of our rendering layer to make it run efficiently with affordable memory consumption on a commodity graphics card. Our rendering method is fully differentiable such that losses can be directly computed on the rendered 2D observations, and the gradients can be propagated backwards to optimize the 3D geometry. We show that our rendering method can effectively reconstruct accurate 3D shapes from various inputs, such as sparse depth and multi-view images, through inverse optimization. With the geometry based reasoning, our 3D shape prediction methods show excellent generalization capability and robustness against various noises. * Work done while Shaohui Liu was an academic guest at ETH Zurich.

与传统的头像创建管道相反，这是一个昂贵的过程，现代生成方法直接从照片中学习数据分布，而艺术的状态现在可以产生高度的照片现实图像。尽管大量作品试图扩展无条件的生成模型并达到一定程度的可控性，但要确保多视图一致性，尤其是在大型姿势中，仍然具有挑战性。在这项工作中，我们提出了一个3D肖像生成网络，该网络可产生3D一致的肖像，同时根据有关姿势，身份，表达和照明的语义参数可控。生成网络使用神经场景表示在3D中建模肖像，其生成以支持明确控制的参数面模型为指导。尽管可以通过将图像与部分不同的属性进行对比，但可以进一步增强潜在的分离，但在非面积区域（例如，在动画表达式）时，仍然存在明显的不一致。我们通过提出一种体积混合策略来解决此问题，在该策略中，我们通过将动态和静态辐射场融合在一起，形成一个复合输出，并从共同学习的语义场中分割了两个部分。我们的方法在广泛的实验中优于先前的艺术，在自由视点中观看时，在自然照明中产生了逼真的肖像。所提出的方法还证明了真实图像以及室外卡通面孔的概括能力，在实际应用中显示出巨大的希望。其他视频结果和代码将在项目网页上提供。

我们介绍了一种基于神经辐射场的生成3D模型的方法，仅从每个对象的单个视图训练。虽然产生现实图像不再是一项艰巨的任务，产生相应的3D结构，使得它们可以从不同视图呈现是非微不足道的。我们表明，与现有方法不同，一个不需要多视图数据来实现这一目标。具体而言，我们表明，通过将许多图像对齐，与在共享潜在空间上的单个网络调节的近似规范姿势对齐，您可以学习模型为一类对象的形状和外观的辐射字段的空间。我们通过培训模型来展示这一点，以使用仅包含每个拍摄对象的一个视图的数据集重建对象类别而没有深度或几何信息。我们的实验表明，我们实现最先进的导致单眼深度预测的综合合成和竞争结果。

While 2D generative adversarial networks have enabled high-resolution image synthesis, they largely lack an understanding of the 3D world and the image formation process. Thus, they do not provide precise control over camera viewpoint or object pose. To address this problem, several recent approaches leverage intermediate voxel-based representations in combination with differentiable rendering. However, existing methods either produce low image resolution or fall short in disentangling camera and scene properties, e.g., the object identity may vary with the viewpoint. In this paper, we propose a generative model for radiance fields which have recently proven successful for novel view synthesis of a single scene. In contrast to voxelbased representations, radiance fields are not confined to a coarse discretization of the 3D space, yet allow for disentangling camera and scene properties while degrading gracefully in the presence of reconstruction ambiguity. By introducing a multi-scale patch-based discriminator, we demonstrate synthesis of high-resolution images while training our model from unposed 2D images alone. We systematically analyze our approach on several challenging synthetic and real-world datasets. Our experiments reveal that radiance fields are a powerful representation for generative image synthesis, leading to 3D consistent models that render with high fidelity.