本文考虑了从野外单视图像中无监督的3D对象重建的问题。由于歧义性和内在的不良性，这个问题本质上难以解决，因此需要强大的正则化以实现不同潜在因素的分离。与现有的作品将明确的正规化引入目标功能不同，我们研究了一个不同的空间进行隐式正则化 - 潜在空间的结构。具体而言，我们限制了潜在空间的结构，以捕获潜在因素的拓扑因果排序（即代表因果关系作为定向无环形图）。我们首先表明，不同的因果顺序对于3D重建至关重要，然后探索几种方法以找到与任务有关的因果因素排序。我们的实验表明，潜在空间结构确实是隐式正规化，并引入了有益于重建的电感偏见。

传统上，本征成像或内在图像分解被描述为将图像分解为两层：反射率，材料的反射率;和一个阴影，由光和几何之间的相互作用产生。近年来，深入学习技术已广泛应用，以提高这些分离的准确性。在本调查中，我们概述了那些在知名内在图像数据集和文献中使用的相关度量的结果，讨论了预测所需的内在图像分解的适用性。虽然Lambertian的假设仍然是许多方法的基础，但我们表明，对图像形成过程更复杂的物理原理组件的潜力越来越意识到，这是光学准确的材料模型和几何形状，更完整的逆轻型运输估计。考虑使用的前瞻和模型以及驾驶分解过程的学习架构和方法，我们将这些方法分类为分解的类型。考虑到最近神经，逆和可微分的渲染技术的进步，我们还提供了关于未来研究方向的见解。

随着增强的焦点和虚拟现实应用（XR）来说，可以对可以将物体从图像和视频升力到适合各种相关3D任务的表示的算法。 XR设备和应用程序的大规模部署意味着我们不能仅仅依赖于监督学习，因为收集和注释现实世界中无限各种物体的数据是不可行的。我们提出了一种弱监督的方法，能够将物体的单个图像分解成形状（深度和正规），材料（反射率，反射率和发光）和全局照明参数。对于培训，该方法仅依赖于训练对象的粗略初始形状估计来引导学习过程。这种形状监督可以例如从预先预制的深度网络或 - 从传统的结构 - 来自运动管道中的普罗维尔或 - 更慷慨地实现。在我们的实验中，我们表明该方法可以将2D图像成功地将2D图像成功渲染为分解的3D表示并推广到未经证明的对象类别。由于缺乏频繁的评估因缺乏地面真理数据而困难，我们还介绍了一种允许定量评估的照片 - 现实的合成测试集。

本文提出了在适当的监督信息下进行分解的生成因果代表（亲爱的）学习方法。与实施潜在变量独立性的现有分解方法不同，我们考虑了一种基本利益因素可以因果关系相关的一般情况。我们表明，即使在监督下，先前具有独立先验的方法也无法解散因果关系。在这一发现的激励下，我们提出了一种称为DEAR的新的解开学习方法，该方法可以使因果可控的产生和因果代表学习。这种新公式的关键要素是使用结构性因果模型（SCM）作为双向生成模型的先验分布。然后，使用合适的GAN算法与发电机和编码器共同训练了先验，并与有关地面真相因子及其基本因果结构的监督信息合并。我们提供了有关该方法的可识别性和渐近收敛性的理论理由。我们对合成和真实数据集进行了广泛的实验，以证明DEAR在因果可控生成中的有效性，以及在样本效率和分布鲁棒性方面，学到的表示表示对下游任务的好处。

综合照片 - 现实图像和视频是计算机图形的核心，并且是几十年的研究焦点。传统上，使用渲染算法（如光栅化或射线跟踪）生成场景的合成图像，其将几何形状和材料属性的表示为输入。统称，这些输入定义了实际场景和呈现的内容，并且被称为场景表示（其中场景由一个或多个对象组成）。示例场景表示是具有附带纹理的三角形网格（例如，由艺术家创建），点云（例如，来自深度传感器），体积网格（例如，来自CT扫描）或隐式曲面函数（例如，截短的符号距离）字段）。使用可分辨率渲染损耗的观察结果的这种场景表示的重建被称为逆图形或反向渲染。神经渲染密切相关，并将思想与经典计算机图形和机器学习中的思想相结合，以创建用于合成来自真实观察图像的图像的算法。神经渲染是朝向合成照片现实图像和视频内容的目标的跨越。近年来，我们通过数百个出版物显示了这一领域的巨大进展，这些出版物显示了将被动组件注入渲染管道的不同方式。这种最先进的神经渲染进步的报告侧重于将经典渲染原则与学习的3D场景表示结合的方法，通常现在被称为神经场景表示。这些方法的一个关键优势在于它们是通过设计的3D-一致，使诸如新颖的视点合成捕获场景的应用。除了处理静态场景的方法外，我们还涵盖了用于建模非刚性变形对象的神经场景表示...

2D图像是对用几何形状，材料和照明组件描绘的3D物理世界的观察。从2D图像（也称为逆渲染）中恢复这些基本的内在组件通常需要有监督的设置，并从多个观点和照明条件中收集的配对图像，这是资源要求的。在这项工作中，我们提出了GAN2X，这是一种无监督的逆渲染方法，仅使用未配对的图像进行训练。与以前主要集中在3D形状的形状 - 从GAN的方法不同，我们首次尝试通过利用GAN生成的伪配对数据来恢复非陆层材料的性能。为了实现精确的逆渲染，我们设计了一种镜面感知的神经表面表示，该表示连续建模几何和材料特性。采用基于阴影的改进技术来进一步提炼目标图像中的信息并恢复更多细节。实验表明，GAN2X可以准确地将2D图像分解为不同对象类别的3D形状，反照率和镜面特性，并实现无监督的单视图3D面部重建的最先进性能。我们还显示了其在下游任务中的应用，包括真实的图像编辑和将2D GAN抬高到分解3D GAN。

学习分离旨在寻找低维表示，该表示由观察数据的多个解释性和生成因素组成。变异自动编码器（VAE）的框架通常用于将独立因素从观察中解散。但是，在实际情况下，具有语义的因素不一定是独立的。取而代之的是，可能存在基本的因果结构，从而使这些因素取决于这些因素。因此，我们提出了一个名为Causalvae的新的基于VAE的框架，该框架包括一个因果层，将独立的外源性因子转化为因果内源性因素，这些因子与数据中的因果关系相关概念相对应。我们进一步分析了模型，表明从观测值中学到的拟议模型可以在一定程度上恢复真实的模型。实验是在各种数据集上进行的，包括合成和真实的基准Celeba。结果表明，因果关系学到的因果表示是可以解释的，并且其因果关系作为定向无环形图（DAG）的因果关系良好地鉴定出来。此外，我们证明了所提出的Causalvae模型能够通过因果因素的“操作”来生成反事实数据。

In recent years, substantial progress has been achieved in learning-based reconstruction of 3D objects. At the same time, generative models were proposed that can generate highly realistic images. However, despite this success in these closely related tasks, texture reconstruction of 3D objects has received little attention from the research community and state-of-the-art methods are either limited to comparably low resolution or constrained experimental setups. A major reason for these limitations is that common representations of texture are inefficient or hard to interface for modern deep learning techniques. In this paper, we propose Texture Fields, a novel texture representation which is based on regressing a continuous 3D function parameterized with a neural network. Our approach circumvents limiting factors like shape discretization and parameterization, as the proposed texture representation is independent of the shape representation of the 3D object. We show that Texture Fields are able to represent high frequency texture and naturally blend with modern deep learning techniques. Experimentally, we find that Texture Fields compare favorably to state-of-the-art methods for conditional texture reconstruction of 3D objects and enable learning of probabilistic generative models for texturing unseen 3D models. We believe that Texture Fields will become an important building block for the next generation of generative 3D models.

甚至在没有受限，监督的情况下，也提出了甚至在没有受限或有限的情况下学习普遍陈述的方法。使用适度数量的数据可以微调新的目标任务，或者直接在相应任务中实现显着性能的无奈域中使用的良好普遍表示。这种缓解数据和注释要求为计算机愿景和医疗保健的应用提供了诱人的前景。在本辅导纸上，我们激励了对解散的陈述，目前关键理论和详细的实际构建块和学习此类表示的标准的需求。我们讨论医学成像和计算机视觉中的应用，强调了在示例钥匙作品中进行的选择。我们通过呈现剩下的挑战和机会来结束。

因果表示学习是识别基本因果变量及其从高维观察（例如图像）中的关系的任务。最近的工作表明，可以从观测的时间序列中重建因果变量，假设它们之间没有瞬时因果关系。但是，在实际应用中，我们的测量或帧速率可能比许多因果效应要慢。这有效地产生了“瞬时”效果，并使以前的可识别性结果无效。为了解决这个问题，我们提出了ICITRI，这是一种因果表示学习方法，当具有已知干预目标的完美干预措施时，可以在时间序列中处理瞬时效应。 Icitris从时间观察中识别因果因素，同时使用可区分的因果发现方法来学习其因果图。在三个视频数据集的实验中，Icitris准确地识别了因果因素及其因果图。

机器学习的最近进步已经创造了利用一类基于坐标的神经网络来解决视觉计算问题的兴趣，该基于坐标的神经网络在空间和时间跨空间和时间的场景或对象的物理属性。我们称之为神经领域的这些方法已经看到在3D形状和图像的合成中成功应用，人体的动画，3D重建和姿势估计。然而，由于在短时间内的快速进展，许多论文存在，但尚未出现全面的审查和制定问题。在本报告中，我们通过提供上下文，数学接地和对神经领域的文学进行广泛综述来解决这一限制。本报告涉及两种维度的研究。在第一部分中，我们通过识别神经字段方法的公共组件，包括不同的表示，架构，前向映射和泛化方法来专注于神经字段的技术。在第二部分中，我们专注于神经领域的应用在视觉计算中的不同问题，超越（例如，机器人，音频）。我们的评论显示了历史上和当前化身的视觉计算中已覆盖的主题的广度，展示了神经字段方法所带来的提高的质量，灵活性和能力。最后，我们展示了一个伴随着贡献本综述的生活版本，可以由社区不断更新。

单视图重建的方法通常依赖于观点注释，剪影，缺乏背景，同一实例的多个视图，模板形状或对称性。我们通过明确利用不同对象实例的图像之间的一致性来避免所有此类监督和假设。结果，我们的方法可以从描述相同对象类别的大量未标记图像中学习。我们的主要贡献是利用跨境一致性的两种方法：（i）渐进式调理，一种培训策略，以逐步将模型从类别中逐步专业为课程学习方式进行实例； （ii）邻居重建，具有相似形状或纹理的实例之间的损失。对于我们方法的成功也至关重要的是：我们的结构化自动编码体系结构将图像分解为显式形状，纹理，姿势和背景；差异渲染的适应性公式；以及一个新的优化方案在3D和姿势学习之间交替。我们将我们的方法（独角兽）在多样化的合成造型数据集上进行比较，这是需要多种视图作为监督的方法的经典基准 - 以及标准的实数基准（Pascal3d+ Car，Cub，Cub，Cub，Cub），大多数方法都需要已知的模板和Silhouette注释。我们还展示了对更具挑战性的现实收藏集（Compcars，LSUN）的适用性，在该收藏中，剪影不可用，图像没有在物体周围裁剪。

从单个图像重建高保真3D面部纹理是一个具有挑战性的任务，因为缺乏完整的面部信息和3D面和2D图像之间的域间隙。最新作品通过应用基于代或基于重建的方法来解决面部纹理重建问题。尽管各种方法具有自身的优势，但它们不能恢复高保真和可重新可传送的面部纹理，其中术语“重新可调剂”要求面部质地在空间地完成和与环境照明中脱颖而出。在本文中，我们提出了一种新颖的自我监督学习框架，用于从野外的单视图重建高质量的3D面。我们的主要思想是首先利用先前的一代模块来生产先前的Albedo，然后利用细节细化模块来获得详细的Albedo。为了进一步使面部纹理解开照明，我们提出了一种新颖的详细的照明表示，该表现在一起与详细的Albedo一起重建。我们还在反照侧和照明方面设计了几种正规化损失功能，以便于解散这两个因素。最后，由于可怜的渲染技术，我们的神经网络可以以自我监督的方式有效地培训。关于具有挑战性的数据集的广泛实验表明，我们的框架在定性和定量比较方面显着优于最先进的方法。

现代计算机视觉已超越了互联网照片集的领域，并进入了物理世界，通过非结构化的环境引导配备摄像头的机器人和自动驾驶汽车。为了使这些体现的代理与现实世界对象相互作用，相机越来越多地用作深度传感器，重建了各种下游推理任务的环境。机器学习辅助的深度感知或深度估计会预测图像中每个像素的距离。尽管已经在深入估算中取得了令人印象深刻的进步，但仍然存在重大挑战：（1）地面真相深度标签很难大规模收集，（2）通常认为相机信息是已知的，但通常是不可靠的，并且（3）限制性摄像机假设很常见，即使在实践中使用了各种各样的相机类型和镜头。在本论文中，我们专注于放松这些假设，并描述将相机变成真正通用深度传感器的最终目标的贡献。

Unsupervised learning with generative models has the potential of discovering rich representations of 3D scenes. While geometric deep learning has explored 3Dstructure-aware representations of scene geometry, these models typically require explicit 3D supervision. Emerging neural scene representations can be trained only with posed 2D images, but existing methods ignore the three-dimensional structure of scenes. We propose Scene Representation Networks (SRNs), a continuous, 3Dstructure-aware scene representation that encodes both geometry and appearance. SRNs represent scenes as continuous functions that map world coordinates to a feature representation of local scene properties. By formulating the image formation as a differentiable ray-marching algorithm, SRNs can be trained end-toend from only 2D images and their camera poses, without access to depth or shape. This formulation naturally generalizes across scenes, learning powerful geometry and appearance priors in the process. We demonstrate the potential of SRNs by evaluating them for novel view synthesis, few-shot reconstruction, joint shape and appearance interpolation, and unsupervised discovery of a non-rigid face model. 1

where the highest resolution is required, using facial performance capture as a case in point.

Understanding the 3D world without supervision is currently a major challenge in computer vision as the annotations required to supervise deep networks for tasks in this domain are expensive to obtain on a large scale. In this paper, we address the problem of unsupervised viewpoint estimation. We formulate this as a self-supervised learning task, where image reconstruction provides the supervision needed to predict the camera viewpoint. Specifically, we make use of pairs of images of the same object at training time, from unknown viewpoints, to self-supervise training by combining the viewpoint information from one image with the appearance information from the other. We demonstrate that using a perspective spatial transformer allows efficient viewpoint learning, outperforming existing unsupervised approaches on synthetic data, and obtains competitive results on the challenging PASCAL3D+ dataset.

生成辐射场的进步推动了3D感知图像合成的边界。通过观察到3D对象应该从多个观点看起来真实的观察，这些方法将多视图约束引入正则化以从2D图像学习有效的3D辐射场。尽管有了进步，但由于形状彩色模糊，它们通常会缺少准确的3D形状，这限制了它们在下游任务中的适用性。在这项工作中，我们通过提出一种新的阴影引导的生成隐式模型来解决这种模糊性，能够学习持续改进的形状表示。我们的主要洞察力是，在不同的照明条件下，精确的3D形状还应产生逼真的渲染。通过明确地模拟照明和具有各种照明条件的阴影来实现这种多照明约束。通过将合成的图像馈送到鉴别器来导出梯度。为了补偿计算表面法线的额外计算负担，我们进一步通过表面跟踪设计了高效的体积渲染策略，将培训和推理时间分别将培训和推理时间减少了24％和48％。我们在多个数据集上的实验表明，该方法在捕获准确的基础3D形状时实现了光电型3D感知图像合成。我们展示了我们对现有方法的3D形重建的方法的改进性能，并展示了其对图像复兴的适用性。我们的代码将在https://github.com/xingangpan/shadegan发布。

生产级别的工作流程用于产生令人信服的3D动态人体面孔长期以来依赖各种劳动密集型工具用于几何和纹理生成，运动捕获和索具以及表达合成。最近的神经方法可以使单个组件自动化，但是相应的潜在表示不能像常规工具一样为艺术家提供明确的控制。在本文中，我们提出了一种新的基于学习的，视频驱动的方法，用于生成具有高质量基于物理资产的动态面部几何形状。对于数据收集，我们构建了一个混合多视频测量捕获阶段，与超快速摄像机耦合以获得原始的3D面部资产。然后，我们着手使用单独的VAE对面部表达，几何形状和基于物理的纹理进行建模，我们在各个网络的潜在范围内强加了基于全局MLP的表达映射，以保留各个属性的特征。我们还将增量信息建模为基于物理的纹理的皱纹图，从而达到高质量的4K动态纹理。我们展示了我们在高保真表演者特异性面部捕获和跨认同面部运动重新定位中的方法。此外，我们的基于多VAE的神经资产以及快速适应方案也可以部署以处理内部视频。此外，我们通过提供具有较高现实主义的各种有希望的基于身体的编辑结果来激发我们明确的面部解散策略的实用性。综合实验表明，与以前的视频驱动的面部重建和动画方法相比，我们的技术提供了更高的准确性和视觉保真度。

从单个图像中的新视图综合最近实现了显着的结果，尽管在训练时需要某种形式的3D，姿势或多视图监管限制了实际情况的部署。这项工作旨在放松这些假设，可实现新颖的观看综合的条件生成模型，以完全无人监测。我们首先使用3D感知GaN制定预先列车纯粹的生成解码器模型，同时训练编码器网络将映射从潜空间颠覆到图像。然后，我们将编码器和解码器交换，并将网络作为条件GaN培训，其混合物类似于自动化器的物镜和自蒸馏。在测试时间，给定对象的视图，我们的模型首先将图像内容嵌入到潜在代码中并通过保留代码固定并改变姿势来生成它的新颖视图。我们在ShapeNet等合成数据集上测试我们的框架，如ShapeNet和无约束的自然图像集合，在那里没有竞争方法可以训练。