We present a method for estimating lighting from a single perspective image of an indoor scene. Previous methods for predicting indoor illumination usually focus on either simple, parametric lighting that lack realism, or on richer representations that are difficult or even impossible to understand or modify after prediction. We propose a pipeline that estimates a parametric light that is easy to edit and allows renderings with strong shadows, alongside with a non-parametric texture with high-frequency information necessary for realistic rendering of specular objects. Once estimated, the predictions obtained with our model are interpretable and can easily be modified by an artist/user with a few mouse clicks. Quantitative and qualitative results show that our approach makes indoor lighting estimation easier to handle by a casual user, while still producing competitive results.

我们提出了Panohdr-nerf，这是一种新颖的管道，可随意捕获大型室内场景的合理的全HDR辐射场，而无需精心设计或复杂的捕获协议。首先，用户通过在场景中自由挥舞现成的摄像头来捕获场景的低动态范围（LDR）全向视频。然后，LDR2HDR网络将捕获的LDR帧提升到HDR，随后用于训练定制的NERF ++模型。由此产生的Panohdr-NERF管道可以从场景的任何位置估算完整的HDR全景。通过在一个新的测试数据集上进行各种真实场景的实验，并在训练过程中未见的位置捕获了地面真相HDR辐射，我们表明PanoHDR-NERF可以预测任何场景点的合理辐射。我们还表明，PanoHDR-NERF产生的HDR图像可以合成正确的照明效果，从而可以使用正确点亮的合成对象来增强室内场景。

Indoor scenes typically exhibit complex, spatially-varying appearance from global illumination, making inverse rendering a challenging ill-posed problem. This work presents an end-to-end, learning-based inverse rendering framework incorporating differentiable Monte Carlo raytracing with importance sampling. The framework takes a single image as input to jointly recover the underlying geometry, spatially-varying lighting, and photorealistic materials. Specifically, we introduce a physically-based differentiable rendering layer with screen-space ray tracing, resulting in more realistic specular reflections that match the input photo. In addition, we create a large-scale, photorealistic indoor scene dataset with significantly richer details like complex furniture and dedicated decorations. Further, we design a novel out-of-view lighting network with uncertainty-aware refinement leveraging hypernetwork-based neural radiance fields to predict lighting outside the view of the input photo. Through extensive evaluations on common benchmark datasets, we demonstrate superior inverse rendering quality of our method compared to state-of-the-art baselines, enabling various applications such as complex object insertion and material editing with high fidelity. Code and data will be made available at \url{https://jingsenzhu.github.io/invrend}.

我们提出了一种从单个图像中编辑复杂室内照明的方法，其深度和光源分割掩码。这是一个极具挑战性的问题，需要对复杂的光传输进行建模，并仅通过对场景的部分LDR观察，将HDR照明从材料和几何形状中解散。我们使用两个新颖的组件解决了这个问题：1）一种整体场景重建方法，该方法估计场景反射率和参数3D照明，以及2）一个神经渲染框架，从我们的预测中重新呈现场景。我们使用基于物理的室内光表示，可以进行直观的编辑，并推断可见和看不见的光源。我们的神经渲染框架结合了基于物理的直接照明和阴影渲染，深层网络近似于全球照明。它可以捕获具有挑战性的照明效果，例如柔软的阴影，定向照明，镜面材料和反射。以前的单个图像逆渲染方法通常纠缠场景照明和几何形状，仅支持对象插入等应用程序。取而代之的是，通过将参数3D照明估计与神经场景渲染相结合，我们演示了从单个图像中实现完整场景重新确定（包括光源插入，删除和替换）的第一种自动方法。所有源代码和数据将公开发布。

我们考虑了户外照明估算的挑战性问题，即影像逼真的虚拟对象将其插入照片中的目标。现有在室外照明估计的作品通常将场景照明简化为环境图，该图无法捕获室外场景中的空间变化的照明效果。在这项工作中，我们提出了一种神经方法，该方法可以从单个图像中估算5D HDR光场，以及一个可区分的对象插入公式，该公式可以通过基于图像的损失来端对端训练，从而鼓励现实主义。具体而言，我们设计了针对室外场景量身定制的混合照明表示，其中包含一个HDR Sky Dome，可处理太阳的极端强度，并具有体积的照明表示，该代表模拟了周围场景的空间变化外观。通过估计的照明，我们的阴影感知对象插入是完全可区分的，这使得对复合图像的对抗训练可以为照明预测提供其他监督信号。我们在实验上证明，混合照明表示比现有的室外照明估计方法更具性能。我们进一步显示了AR对象插入在自主驾驶应用程序中的好处，在对我们的增强数据进行培训时，我们可以在其中获得3D对象检测器的性能提高。

推断从单个图像的场景照明是计算机视觉和计算机图形中的必不可少的且挑战性的任务。通过回归代表照明参数或直接生成照明映射来估计照明。然而，这些方法通常遭受差的准确性和泛化。本文介绍了几何移动器的光（GMLight），一种采用回归网络和用于有效照明估计的生成投影仪的照明估计框架。我们根据几何光分布，光强度，环境术语和辅助深度参数化照明场景，这可以由回归网络估计。灵感来自地球移动器的距离，我们设计了一种新颖的几何动力损失，以指导光分布参数的准确回归。利用估计的光参数，生成投影机用现实的外观和高频细节合成全景照明图。广泛的实验表明，GALLIVEVES实现了准确的照明估计和卓越的保真度，在欣赏3D对象插入时。该代码可在\ href {https://github.com/fnzhan/illumination- istimation} {https://github.com/fnzhan/illumination-istimation}。

传统上，本征成像或内在图像分解被描述为将图像分解为两层：反射率，材料的反射率;和一个阴影，由光和几何之间的相互作用产生。近年来，深入学习技术已广泛应用，以提高这些分离的准确性。在本调查中，我们概述了那些在知名内在图像数据集和文献中使用的相关度量的结果，讨论了预测所需的内在图像分解的适用性。虽然Lambertian的假设仍然是许多方法的基础，但我们表明，对图像形成过程更复杂的物理原理组件的潜力越来越意识到，这是光学准确的材料模型和几何形状，更完整的逆轻型运输估计。考虑使用的前瞻和模型以及驾驶分解过程的学习架构和方法，我们将这些方法分类为分解的类型。考虑到最近神经，逆和可微分的渲染技术的进步，我们还提供了关于未来研究方向的见解。

鉴于一个人的肖像图像和目标照明的环境图，肖像重新旨在重新刷新图像中的人，就好像该人出现在具有目标照明的环境中一样。为了获得高质量的结果，最近的方法依靠深度学习。一种有效的方法是用高保真输入输出对的高保真数据集监督对深神经网络的培训，并以光阶段捕获。但是，获取此类数据需要昂贵的特殊捕获钻机和耗时的工作，从而限制了对少数机智的实验室的访问。为了解决限制，我们提出了一种新方法，该方法可以与最新的（SOTA）重新确定方法相提并论，而无需光阶段。我们的方法基于这样的意识到，肖像图像的成功重新重新取决于两个条件。首先，该方法需要模仿基于物理的重新考虑的行为。其次，输出必须是逼真的。为了满足第一个条件，我们建议通过通过虚拟光阶段生成的训练数据来训练重新网络，该培训数据在不同的环境图下对各种3D合成人体进行了基于物理的渲染。为了满足第二种条件，我们开发了一种新型的合成对真实方法，以将光真实主义带入重新定向网络输出。除了获得SOTA结果外，我们的方法还提供了与先前方法相比的几个优点，包括可控的眼镜和更暂时的结果以重新欣赏视频。

照片中的户外场景的照片拟实的编辑需要对图像形成过程的深刻理解和场景几何，反射和照明的准确估计。然后可以在保持场景Albedo和几何形状的同时进行照明的微妙操纵。我们呈现NERF-OSR，即，基于神经辐射场的户外场景复兴的第一种方法。与现有技术相比，我们的技术允许仅使用在不受控制的设置中拍摄的户外照片集合的场景照明和相机视点。此外，它能够直接控制通过球面谐波模型所定义的场景照明。它还包括用于阴影再现的专用网络，这对于高质量的室外场景致密至关重要。为了评估所提出的方法，我们收集了几个户外站点的新基准数据集，其中每个站点从多个视点拍摄和不同的时间。对于每个定时，360度环境映射与颜色校准Chequerboard一起捕获，以允许对实际真实的真实数据进行准确的数值评估。反对本领域的状态的比较表明，NERF-OSR能够以更高的质量和逼真的自阴影再现来实现可控的照明和视点编辑。我们的方法和数据集将在https://4dqv.mpi-inf.mpg.de/nerf-OSR/上公开可用。

We present a multi-view inverse rendering method for large-scale real-world indoor scenes that reconstructs global illumination and physically-reasonable SVBRDFs. Unlike previous representations, where the global illumination of large scenes is simplified as multiple environment maps, we propose a compact representation called Texture-based Lighting (TBL). It consists of 3D meshs and HDR textures, and efficiently models direct and infinite-bounce indirect lighting of the entire large scene. Based on TBL, we further propose a hybrid lighting representation with precomputed irradiance, which significantly improves the efficiency and alleviate the rendering noise in the material optimization. To physically disentangle the ambiguity between materials, we propose a three-stage material optimization strategy based on the priors of semantic segmentation and room segmentation. Extensive experiments show that the proposed method outperforms the state-of-the-arts quantitatively and qualitatively, and enables physically-reasonable mixed-reality applications such as material editing, editable novel view synthesis and relighting. The project page is at https://lzleejean.github.io/TexIR.

我们提出了一种从单个图像中推断360 {\ deg}视野的方法，该图像允许用户控制的综合外部绘制内容。为此，我们建议改进现有的基于GAN的镶嵌体系结构，以进行底漆全景图表。我们的方法获得了最先进的结果，并且优于标准图像质量指标的先前方法。为了允许受控的外部修饰的合成，我们引入了一个新型的指导共调整框架，该框架通过常见的鉴别模型驱动图像生成过程。这样做可以保持生成的全景图的高视觉质量，同时在推断的视野中启用用户控制的语义内容。我们在定性和定量上展示了我们方法的最新方法，从而提供了对我们新颖的编辑功能的彻底分析。最后，我们证明我们的方法受益于在照片中对高光泽对象的影片虚拟插入。

我们提出了一个新的照明估计和编辑框架，以从单个有限视野（LFOV）图像中生成高动力范围（HDR）室内全景照明，该图像由低动力范围（LDR）摄像机捕获。现有的照明估计方法要么直接回归照明表示参数，要么将此问题分解为LFOV到panorama和LDR-TO-HDR照明子任务。但是，由于部分观察，高动力范围的照明以及场景的内在歧义，照明估计仍然是一项艰巨的任务。为了解决这个问题，我们建议将LDR和HDR Panorama合成融合到统一框架中，提出了一个耦合的双式全景全景合成网络（Stylelight）。 LDR和HDR Panorama合成共享类似的发电机，但具有单独的歧视器。在推断期间，给定LDR LFOV图像，我们提出了一种焦点掩盖的GAN反转方法，以通过LDR Panorama合成分支找到其潜在代码，然后通过HDR Panorama合成分支合成HDR Panorama。 Stylelight将LFOV-TO-PANORAMA和LDR-HDR LIGHTING GENTARTION带入统一的框架，从而大大改善了照明估计。广泛的实验表明，我们的框架在室内照明估计上实现了优于最先进方法的表现。值得注意的是，Stylelight还可以在室内HDR Panoramas上进行直观的照明编辑，这适用于现实世界中的应用。代码可从https://style-light.github.io获得。

图像协调旨在调整前景的外观，使其更兼容背景。由于对背景照明方向缺乏了解，现有的作品无法产生现实的前景着色。在本文中，我们将图像协调分解为两个子问题：1）背景图像的照明估计和前景对象的渲染。在解决这两个子问题之前，我们首先通过神经渲染框架学习方向感知的照明描述符，其中密钥是一个着色模块，其将阴影场分解为给定深度信息的多个着色组件。然后我们设计背景照明估计模块，以从背景中提取方向感知的照明描述符。最后，照明描述符与神经渲染框架结合使用，以生成包含新颖谐波阴影的统一前景图像。此外，我们构建了一种照片 - 现实的合成图像协调数据集，其包含基于图像的照明的许多阴影变化。对该数据集的广泛实验证明了该方法的有效性。我们的数据集和代码将公开可用。

大多数室内3D场景重建方法都致力于恢复3D几何和场景布局。在这项工作中，我们超越了这一点提出Photoscene，该框架是一个场景的输入图像以及大约对齐的CAD几何（自动或手动指定的重建），并构建具有高质量材料和高质量材料和高质量的材料的photorealistic Digital Twin类似的照明。我们使用程序材料图对场景材料进行建模；这样的图代表了逼真的和分辨率无关的材料。我们优化了这些图的参数及其纹理量表和旋转，以及场景照明，以通过可区分的渲染层最好地匹配输入图像。我们评估了从扫描仪，Sun RGB-D和库存照片的对象和布局重建的技术，并证明我们的方法重建高质量的，完全可重新可重新可重新的3D场景，这些场景可以在任意观点，Zooms和Lighting下重新渲染。

在过去几年中，许多面部分析任务已经完成了惊人的性能，其中应用包括来自单个“野外”图像的面部生成和3D面重建。尽管如此，据我们所知，没有方法可以从“野外”图像中产生渲染的高分辨率3D面，并且这可以归因于：（a）可用数据的跨度进行培训（b）缺乏可以成功应用于非常高分辨率数据的强大方法。在这项工作中，我们介绍了一种能够从单个“野外”图像中重建光电型渲染3D面部几何和BRDF的第一种方法。我们捕获了一个大型的面部形状和反射率，我们已经公开了。我们用精确的面部皮肤漫射和镜面反射，自遮挡和地下散射近似来定义快速面部光电型拟型渲染方法。有了这一点，我们训练一个网络，将面部漫射和镜面BRDF组件与烘焙照明的形状和质地一起脱颖而出，以最先进的3DMM配件方法重建。我们的方法通过显着的余量优于现有技术，并从单个低分辨率图像重建高分辨率3D面，这可以在各种应用中呈现，并桥接不一体谷。

Google Research Basecolor Metallic Roughness Normal Multi-View Images NeRD Volume Decomposed BRDF Relighting & View synthesis Textured MeshFigure 1: Neural Reflectance Decomposition for Relighting. We encode multiple views of an object under varying or fixed illumination into the NeRD volume.We decompose each given image into geometry, spatially-varying BRDF parameters and a rough approximation of the incident illumination in a globally consistent manner. We then extract a relightable textured mesh that can be re-rendered under novel illumination conditions in real-time.

综合照片 - 现实图像和视频是计算机图形的核心，并且是几十年的研究焦点。传统上，使用渲染算法（如光栅化或射线跟踪）生成场景的合成图像，其将几何形状和材料属性的表示为输入。统称，这些输入定义了实际场景和呈现的内容，并且被称为场景表示（其中场景由一个或多个对象组成）。示例场景表示是具有附带纹理的三角形网格（例如，由艺术家创建），点云（例如，来自深度传感器），体积网格（例如，来自CT扫描）或隐式曲面函数（例如，截短的符号距离）字段）。使用可分辨率渲染损耗的观察结果的这种场景表示的重建被称为逆图形或反向渲染。神经渲染密切相关，并将思想与经典计算机图形和机器学习中的思想相结合，以创建用于合成来自真实观察图像的图像的算法。神经渲染是朝向合成照片现实图像和视频内容的目标的跨越。近年来，我们通过数百个出版物显示了这一领域的巨大进展，这些出版物显示了将被动组件注入渲染管道的不同方式。这种最先进的神经渲染进步的报告侧重于将经典渲染原则与学习的3D场景表示结合的方法，通常现在被称为神经场景表示。这些方法的一个关键优势在于它们是通过设计的3D-一致，使诸如新颖的视点合成捕获场景的应用。除了处理静态场景的方法外，我们还涵盖了用于建模非刚性变形对象的神经场景表示...

随着增强的焦点和虚拟现实应用（XR）来说，可以对可以将物体从图像和视频升力到适合各种相关3D任务的表示的算法。 XR设备和应用程序的大规模部署意味着我们不能仅仅依赖于监督学习，因为收集和注释现实世界中无限各种物体的数据是不可行的。我们提出了一种弱监督的方法，能够将物体的单个图像分解成形状（深度和正规），材料（反射率，反射率和发光）和全局照明参数。对于培训，该方法仅依赖于训练对象的粗略初始形状估计来引导学习过程。这种形状监督可以例如从预先预制的深度网络或 - 从传统的结构 - 来自运动管道中的普罗维尔或 - 更慷慨地实现。在我们的实验中，我们表明该方法可以将2D图像成功地将2D图像成功渲染为分解的3D表示并推广到未经证明的对象类别。由于缺乏频繁的评估因缺乏地面真理数据而困难，我们还介绍了一种允许定量评估的照片 - 现实的合成测试集。

从数字艺术到AR和VR体验，图像编辑和合成已经变得无处不在。为了生产精美的复合材料，需要对相机进行几何校准，这可能很乏味，需要进行物理校准目标。代替传统的多图像校准过程，我们建议使用深层卷积神经网络直接从单个图像中直接从单个图像中推断摄像机校准参数，例如音高，滚动，视场和镜头失真。我们使用大规模全景数据集中自动生成样品训练该网络，从而在标准L2误差方面产生了竞争精度。但是，我们认为将这种标准误差指标最小化可能不是许多应用程序的最佳选择。在这项工作中，我们研究了人类对几何相机校准中不准确性的敏感性。为此，我们进行了一项大规模的人类感知研究，我们要求参与者以正确和有偏见的摄像机校准参数判断3D对象的现实主义。基于这项研究，我们为摄像机校准开发了一种新的感知度量，并证明我们的深校准网络在标准指标以及这一新型感知度量方面都优于先前基于单像的校准方法。最后，我们演示了将校准网络用于多种应用程序，包括虚拟对象插入，图像检索和合成。可以在https://lvsn.github.io/deepcalib上获得我们方法的演示。

我们建议使用以光源方向为条件的神经辐射场（NERF）的扩展来解决多视光度立体声问题。我们神经表示的几何部分预测表面正常方向，使我们能够理解局部表面反射率。我们的神经表示的外观部分被分解为神经双向反射率函数（BRDF），作为拟合过程的一部分学习，阴影预测网络（以光源方向为条件），使我们能够对明显的BRDF进行建模。基于物理图像形成模型的诱导偏差的学到的组件平衡使我们能够远离训练期间观察到的光源和查看器方向。我们证明了我们在多视光学立体基准基准上的方法，并表明可以通过NERF的神经密度表示可以获得竞争性能。