我们提出了一种从单个图像中编辑复杂室内照明的方法，其深度和光源分割掩码。这是一个极具挑战性的问题，需要对复杂的光传输进行建模，并仅通过对场景的部分LDR观察，将HDR照明从材料和几何形状中解散。我们使用两个新颖的组件解决了这个问题：1）一种整体场景重建方法，该方法估计场景反射率和参数3D照明，以及2）一个神经渲染框架，从我们的预测中重新呈现场景。我们使用基于物理的室内光表示，可以进行直观的编辑，并推断可见和看不见的光源。我们的神经渲染框架结合了基于物理的直接照明和阴影渲染，深层网络近似于全球照明。它可以捕获具有挑战性的照明效果，例如柔软的阴影，定向照明，镜面材料和反射。以前的单个图像逆渲染方法通常纠缠场景照明和几何形状，仅支持对象插入等应用程序。取而代之的是，通过将参数3D照明估计与神经场景渲染相结合，我们演示了从单个图像中实现完整场景重新确定（包括光源插入，删除和替换）的第一种自动方法。所有源代码和数据将公开发布。

Indoor scenes typically exhibit complex, spatially-varying appearance from global illumination, making inverse rendering a challenging ill-posed problem. This work presents an end-to-end, learning-based inverse rendering framework incorporating differentiable Monte Carlo raytracing with importance sampling. The framework takes a single image as input to jointly recover the underlying geometry, spatially-varying lighting, and photorealistic materials. Specifically, we introduce a physically-based differentiable rendering layer with screen-space ray tracing, resulting in more realistic specular reflections that match the input photo. In addition, we create a large-scale, photorealistic indoor scene dataset with significantly richer details like complex furniture and dedicated decorations. Further, we design a novel out-of-view lighting network with uncertainty-aware refinement leveraging hypernetwork-based neural radiance fields to predict lighting outside the view of the input photo. Through extensive evaluations on common benchmark datasets, we demonstrate superior inverse rendering quality of our method compared to state-of-the-art baselines, enabling various applications such as complex object insertion and material editing with high fidelity. Code and data will be made available at \url{https://jingsenzhu.github.io/invrend}.

我们考虑了户外照明估算的挑战性问题，即影像逼真的虚拟对象将其插入照片中的目标。现有在室外照明估计的作品通常将场景照明简化为环境图，该图无法捕获室外场景中的空间变化的照明效果。在这项工作中，我们提出了一种神经方法，该方法可以从单个图像中估算5D HDR光场，以及一个可区分的对象插入公式，该公式可以通过基于图像的损失来端对端训练，从而鼓励现实主义。具体而言，我们设计了针对室外场景量身定制的混合照明表示，其中包含一个HDR Sky Dome，可处理太阳的极端强度，并具有体积的照明表示，该代表模拟了周围场景的空间变化外观。通过估计的照明，我们的阴影感知对象插入是完全可区分的，这使得对复合图像的对抗训练可以为照明预测提供其他监督信号。我们在实验上证明，混合照明表示比现有的室外照明估计方法更具性能。我们进一步显示了AR对象插入在自主驾驶应用程序中的好处，在对我们的增强数据进行培训时，我们可以在其中获得3D对象检测器的性能提高。

We present a multi-view inverse rendering method for large-scale real-world indoor scenes that reconstructs global illumination and physically-reasonable SVBRDFs. Unlike previous representations, where the global illumination of large scenes is simplified as multiple environment maps, we propose a compact representation called Texture-based Lighting (TBL). It consists of 3D meshs and HDR textures, and efficiently models direct and infinite-bounce indirect lighting of the entire large scene. Based on TBL, we further propose a hybrid lighting representation with precomputed irradiance, which significantly improves the efficiency and alleviate the rendering noise in the material optimization. To physically disentangle the ambiguity between materials, we propose a three-stage material optimization strategy based on the priors of semantic segmentation and room segmentation. Extensive experiments show that the proposed method outperforms the state-of-the-arts quantitatively and qualitatively, and enables physically-reasonable mixed-reality applications such as material editing, editable novel view synthesis and relighting. The project page is at https://lzleejean.github.io/TexIR.

传统上，本征成像或内在图像分解被描述为将图像分解为两层：反射率，材料的反射率;和一个阴影，由光和几何之间的相互作用产生。近年来，深入学习技术已广泛应用，以提高这些分离的准确性。在本调查中，我们概述了那些在知名内在图像数据集和文献中使用的相关度量的结果，讨论了预测所需的内在图像分解的适用性。虽然Lambertian的假设仍然是许多方法的基础，但我们表明，对图像形成过程更复杂的物理原理组件的潜力越来越意识到，这是光学准确的材料模型和几何形状，更完整的逆轻型运输估计。考虑使用的前瞻和模型以及驾驶分解过程的学习架构和方法，我们将这些方法分类为分解的类型。考虑到最近神经，逆和可微分的渲染技术的进步，我们还提供了关于未来研究方向的见解。

由于任意多样化的物体形状，空间变化的材料和复杂的照明之间的无数相互作用，室内场景表现出显着的外观变化。由可见光和看不见的光源引起的阴影，亮点和反射需要有关反向渲染的远程相互作用的推理，该相互作用旨在恢复图像形成的组成部分，即形状，形状，材料和照明。在这项工作中，我们的直觉是，变压器体系结构学到的长期关注非常适合解决单像逆渲染中的长期挑战。我们通过对密集视力变压器Irisformer的特定实例化进行了证明，该实例是在单任务和多任务反向渲染所需的单任务和多任务推理上表现出色。具体而言，我们提出了一个变压器体系结构，以同时估算室内场景的单个图像中的深度，正态，空间变化的反照率，粗糙度和照明。我们在基准数据集上进行的广泛评估显示了上述每个任务的最新结果，从而使应用程序诸如对象插入和材料编辑之类的应用程序具有比先前的作品更大的光真实性的材料编辑。代码和数据将在https://github.com/vilab-ucsd/irisformer上公开发布。

随着增强的焦点和虚拟现实应用（XR）来说，可以对可以将物体从图像和视频升力到适合各种相关3D任务的表示的算法。 XR设备和应用程序的大规模部署意味着我们不能仅仅依赖于监督学习，因为收集和注释现实世界中无限各种物体的数据是不可行的。我们提出了一种弱监督的方法，能够将物体的单个图像分解成形状（深度和正规），材料（反射率，反射率和发光）和全局照明参数。对于培训，该方法仅依赖于训练对象的粗略初始形状估计来引导学习过程。这种形状监督可以例如从预先预制的深度网络或 - 从传统的结构 - 来自运动管道中的普罗维尔或 - 更慷慨地实现。在我们的实验中，我们表明该方法可以将2D图像成功地将2D图像成功渲染为分解的3D表示并推广到未经证明的对象类别。由于缺乏频繁的评估因缺乏地面真理数据而困难，我们还介绍了一种允许定量评估的照片 - 现实的合成测试集。

大多数室内3D场景重建方法都致力于恢复3D几何和场景布局。在这项工作中，我们超越了这一点提出Photoscene，该框架是一个场景的输入图像以及大约对齐的CAD几何（自动或手动指定的重建），并构建具有高质量材料和高质量材料和高质量的材料的photorealistic Digital Twin类似的照明。我们使用程序材料图对场景材料进行建模；这样的图代表了逼真的和分辨率无关的材料。我们优化了这些图的参数及其纹理量表和旋转，以及场景照明，以通过可区分的渲染层最好地匹配输入图像。我们评估了从扫描仪，Sun RGB-D和库存照片的对象和布局重建的技术，并证明我们的方法重建高质量的，完全可重新可重新可重新的3D场景，这些场景可以在任意观点，Zooms和Lighting下重新渲染。

我们解决了从由一个未知照明条件照射的物体的多视图图像（及其相机姿势）从多视图图像（和它们的相机姿势）恢复物体的形状和空间变化的空间变化的问题。这使得能够在任意环境照明下呈现对象的新颖视图和对象的材料属性的编辑。我们呼叫神经辐射分解（NERFVERTOR）的方法的关键是蒸馏神经辐射场（NERF）的体积几何形状[MILDENHALL等人。 2020]将物体表示为表面表示，然后在求解空间改变的反射率和环境照明时共同细化几何形状。具体而言，Nerfactor仅使用重新渲染丢失，简单的光滑度Provers以及从真实学中学到的数据驱动的BRDF而无任何监督的表面法线，光可视性，Albedo和双向反射率和双向反射分布函数（BRDF）的3D神经领域-world brdf测量。通过显式建模光可视性，心脏请能够将来自Albedo的阴影分离，并在任意照明条件下合成现实的软或硬阴影。 Nerfactor能够在这场具有挑战性和实际场景的挑战和捕获的捕获设置中恢复令人信服的3D模型进行令人满意的3D模型。定性和定量实验表明，在各种任务中，内容越优于基于经典和基于深度的学习状态。我们的视频，代码和数据可在peoptom.csail.mit.edu/xiuming/projects/nerfactor/上获得。

We present a method for estimating lighting from a single perspective image of an indoor scene. Previous methods for predicting indoor illumination usually focus on either simple, parametric lighting that lack realism, or on richer representations that are difficult or even impossible to understand or modify after prediction. We propose a pipeline that estimates a parametric light that is easy to edit and allows renderings with strong shadows, alongside with a non-parametric texture with high-frequency information necessary for realistic rendering of specular objects. Once estimated, the predictions obtained with our model are interpretable and can easily be modified by an artist/user with a few mouse clicks. Quantitative and qualitative results show that our approach makes indoor lighting estimation easier to handle by a casual user, while still producing competitive results.

We present a physics-based inverse rendering method that learns the illumination, geometry, and materials of a scene from posed multi-view RGB images. To model the illumination of a scene, existing inverse rendering works either completely ignore the indirect illumination or model it by coarse approximations, leading to sub-optimal illumination, geometry, and material prediction of the scene. In this work, we propose a physics-based illumination model that explicitly traces the incoming indirect lights at each surface point based on interreflection, followed by estimating each identified indirect light through an efficient neural network. Furthermore, we utilize the Leibniz's integral rule to resolve non-differentiability in the proposed illumination model caused by one type of environment light -- the tangent lights. As a result, the proposed interreflection-aware illumination model can be learned end-to-end together with geometry and materials estimation. As a side product, our physics-based inverse rendering model also facilitates flexible and realistic material editing as well as relighting. Extensive experiments on both synthetic and real-world datasets demonstrate that the proposed method performs favorably against existing inverse rendering methods on novel view synthesis and inverse rendering.

Google Research Basecolor Metallic Roughness Normal Multi-View Images NeRD Volume Decomposed BRDF Relighting & View synthesis Textured MeshFigure 1: Neural Reflectance Decomposition for Relighting. We encode multiple views of an object under varying or fixed illumination into the NeRD volume.We decompose each given image into geometry, spatially-varying BRDF parameters and a rough approximation of the incident illumination in a globally consistent manner. We then extract a relightable textured mesh that can be re-rendered under novel illumination conditions in real-time.

我们建议使用以光源方向为条件的神经辐射场（NERF）的扩展来解决多视光度立体声问题。我们神经表示的几何部分预测表面正常方向，使我们能够理解局部表面反射率。我们的神经表示的外观部分被分解为神经双向反射率函数（BRDF），作为拟合过程的一部分学习，阴影预测网络（以光源方向为条件），使我们能够对明显的BRDF进行建模。基于物理图像形成模型的诱导偏差的学到的组件平衡使我们能够远离训练期间观察到的光源和查看器方向。我们证明了我们在多视光学立体基准基准上的方法，并表明可以通过NERF的神经密度表示可以获得竞争性能。

我们提出了一种新的方法来获取来自在线图像集合的对象表示，从具有不同摄像机，照明和背景的照片捕获任意物体的高质量几何形状和材料属性。这使得各种以各种对象渲染应用诸如新颖的综合，致密和协调的背景组合物，从疯狂的内部输入。使用多级方法延伸神经辐射场，首先推断表面几何形状并优化粗估计的初始相机参数，同时利用粗糙的前景对象掩模来提高训练效率和几何质量。我们还介绍了一种强大的正常估计技术，其消除了几何噪声的效果，同时保持了重要细节。最后，我们提取表面材料特性和环境照明，以球形谐波表示，具有处理瞬态元素的延伸部，例如，锋利的阴影。这些组件的结合导致高度模块化和有效的对象采集框架。广泛的评估和比较证明了我们在捕获高质量的几何形状和外观特性方面的方法，可用于渲染应用。

传统的多视图光度立体声（MVP）方法通常由多个不相交阶段组成，从而导致明显的累积错误。在本文中，我们提出了一种基于隐式表示的MVP的神经反向渲染方法。给定通过多个未知方向灯照亮的非陆层物体的多视图图像，我们的方法共同估计几何形状，材料和灯光。我们的方法首先采用多光图像来估计每视图正常地图，这些图用于使从神经辐射场得出的正态定向。然后，它可以根据具有阴影可区分的渲染层共同优化表面正态，空间变化的BRDF和灯。优化后，重建的对象可用于新颖的视图渲染，重新定义和材料编辑。合成数据集和真实数据集的实验表明，与现有的MVP和神经渲染方法相比，我们的方法实现了更准确的形状重建。我们的代码和模型可以在https://ywq.github.io/psnerf上找到。

给定一组场景的图像，从新颖的观点和照明条件中重新渲染了这个场景是计算机视觉和图形中的一个重要且具有挑战性的问题。一方面，计算机视觉中的大多数现有作品通常对图像形成过程（例如直接照明和预定义的材料，以使场景参数估计可进行。另一方面，成熟的计算机图形工具允许对所有场景参数进行复杂的照片现实光传输的建模。结合了这些方法，我们通过学习神经预先计算的辐射转移功能，提出了一种在新观点下重新考虑的场景方法，该方法使用新颖的环境图隐含地处理全球照明效应。在单个未知的照明条件下，我们的方法可以仅在场景的一组真实图像上进行监督。为了消除训练期间的任务，我们在训练过程中紧密整合了可区分的路径示踪剂，并提出了合成的OLAT和真实图像丢失的组合。结果表明，场景参数的恢复分离在目前的现状，因此，我们的重新渲染结果也更加现实和准确。

阴影对于逼真的图像合成至关重要。基于物理的阴影渲染方法需要3D几何形状，这并不总是可用。基于深度学习的阴影综合方法从光信息到对象的阴影中学习映射，而无需明确建模阴影几何形状。尽管如此，它们仍然缺乏控制，并且容易出现视觉伪像。我们介绍了Pixel Heigh，这是一种新颖的几何表示，它编码对象，地面和相机姿势之间的相关性。像素高度可以根据3D几何形状计算，并在2D图像上手动注释，也可以通过有监督的方法从单视RGB图像中预测。它可用于根据投影几何形状计算2D图像中的硬阴影，从而精确控制阴影的方向和形状。此外，我们提出了一个数据驱动的软影子生成器，以基于软性输入参数将软性应用于硬阴影。定性和定量评估表明，所提出的像素高度显着提高了阴影产生的质量，同时允许可控性。

推断从单个图像的场景照明是计算机视觉和计算机图形中的必不可少的且挑战性的任务。通过回归代表照明参数或直接生成照明映射来估计照明。然而，这些方法通常遭受差的准确性和泛化。本文介绍了几何移动器的光（GMLight），一种采用回归网络和用于有效照明估计的生成投影仪的照明估计框架。我们根据几何光分布，光强度，环境术语和辅助深度参数化照明场景，这可以由回归网络估计。灵感来自地球移动器的距离，我们设计了一种新颖的几何动力损失，以指导光分布参数的准确回归。利用估计的光参数，生成投影机用现实的外观和高频细节合成全景照明图。广泛的实验表明，GALLIVEVES实现了准确的照明估计和卓越的保真度，在欣赏3D对象插入时。该代码可在\ href {https://github.com/fnzhan/illumination- istimation} {https://github.com/fnzhan/illumination-istimation}。

照片中的户外场景的照片拟实的编辑需要对图像形成过程的深刻理解和场景几何，反射和照明的准确估计。然后可以在保持场景Albedo和几何形状的同时进行照明的微妙操纵。我们呈现NERF-OSR，即，基于神经辐射场的户外场景复兴的第一种方法。与现有技术相比，我们的技术允许仅使用在不受控制的设置中拍摄的户外照片集合的场景照明和相机视点。此外，它能够直接控制通过球面谐波模型所定义的场景照明。它还包括用于阴影再现的专用网络，这对于高质量的室外场景致密至关重要。为了评估所提出的方法，我们收集了几个户外站点的新基准数据集，其中每个站点从多个视点拍摄和不同的时间。对于每个定时，360度环境映射与颜色校准Chequerboard一起捕获，以允许对实际真实的真实数据进行准确的数值评估。反对本领域的状态的比较表明，NERF-OSR能够以更高的质量和逼真的自阴影再现来实现可控的照明和视点编辑。我们的方法和数据集将在https://4dqv.mpi-inf.mpg.de/nerf-OSR/上公开可用。

单像人类的重新构成旨在通过将输入图像分解为反照率，形状和照明，以在新的照明条件下重新确定目标人。尽管可以实现合理的重新确定结果，但以前的方法均遭受反照率和照明之间的纠缠以及缺乏硬阴影的纠缠，这大大降低了现实主义。为了解决这两个问题，我们提出了一个几何学意识到的单像人类重心框架，该框架利用单位图几何重建来共同部署传统的图形渲染和神经渲染技术。对于脱光灯，我们探索了UNET架构的缺点，并提出了修改后的HRNET，从而在反照率和照明之间获得了更好的分解。为了获得重新，我们引入了一个基于射线跟踪的每个像素照明表示形式，该表示明确地对高频阴影进行了建模，并提出了一个基于学习的阴影修补模块，以恢复来自射线追踪的阴影图的逼真的逼真的阴影（包括硬铸造阴影）。我们的框架能够生成照片逼真的高频阴影，例如在挑战性的照明条件下铸造阴影。广泛的实验表明，我们提出的方法在合成图像和真实图像上都优于先前的方法。