最近的神经渲染方法通过用神经网络预测体积密度和颜色来证明了准确的视图插值。虽然可以在静态和动态场景上监督这种体积表示，但是现有方法隐含地将完整的场景光传输释放到一个神经网络中，用于给定场景，包括曲面建模，双向散射分布函数和间接照明效果。与传统的渲染管道相比，这禁止在场景中改变表面反射率，照明或构成其他物体。在这项工作中，我们明确地模拟了场景表面之间的光传输，我们依靠传统的集成方案和渲染方程来重建场景。所提出的方法允许BSDF恢复，具有未知的光条件和诸如路径传输的经典光传输。通过在传统渲染方法中建立的表面表示的分解传输，该方法自然促进了编辑形状，反射率，照明和场景组成。该方法优于神经，在已知的照明条件下可发光，并为refit和编辑场景产生现实的重建。我们验证了从综合和捕获的视图上了解的场景编辑，致密和反射率估算的建议方法，并捕获了神经数据集的子集。

We present a method that takes as input a set of images of a scene illuminated by unconstrained known lighting, and produces as output a 3D representation that can be rendered from novel viewpoints under arbitrary lighting conditions. Our method represents the scene as a continuous volumetric function parameterized as MLPs whose inputs are a 3D location and whose outputs are the following scene properties at that input location: volume density, surface normal, material parameters, distance to the first surface intersection in any direction, and visibility of the external environment in any direction. Together, these allow us to render novel views of the object under arbitrary lighting, including indirect illumination effects. The predicted visibility and surface intersection fields are critical to our model's ability to simulate direct and indirect illumination during training, because the brute-force techniques used by prior work are intractable for lighting conditions outside of controlled setups with a single light. Our method outperforms alternative approaches for recovering relightable 3D scene representations, and performs well in complex lighting settings that have posed a significant challenge to prior work.

给定一组场景的图像，从新颖的观点和照明条件中重新渲染了这个场景是计算机视觉和图形中的一个重要且具有挑战性的问题。一方面，计算机视觉中的大多数现有作品通常对图像形成过程（例如直接照明和预定义的材料，以使场景参数估计可进行。另一方面，成熟的计算机图形工具允许对所有场景参数进行复杂的照片现实光传输的建模。结合了这些方法，我们通过学习神经预先计算的辐射转移功能，提出了一种在新观点下重新考虑的场景方法，该方法使用新颖的环境图隐含地处理全球照明效应。在单个未知的照明条件下，我们的方法可以仅在场景的一组真实图像上进行监督。为了消除训练期间的任务，我们在训练过程中紧密整合了可区分的路径示踪剂，并提出了合成的OLAT和真实图像丢失的组合。结果表明，场景参数的恢复分离在目前的现状，因此，我们的重新渲染结果也更加现实和准确。

我们解决了从由一个未知照明条件照射的物体的多视图图像（及其相机姿势）从多视图图像（和它们的相机姿势）恢复物体的形状和空间变化的空间变化的问题。这使得能够在任意环境照明下呈现对象的新颖视图和对象的材料属性的编辑。我们呼叫神经辐射分解（NERFVERTOR）的方法的关键是蒸馏神经辐射场（NERF）的体积几何形状[MILDENHALL等人。 2020]将物体表示为表面表示，然后在求解空间改变的反射率和环境照明时共同细化几何形状。具体而言，Nerfactor仅使用重新渲染丢失，简单的光滑度Provers以及从真实学中学到的数据驱动的BRDF而无任何监督的表面法线，光可视性，Albedo和双向反射率和双向反射分布函数（BRDF）的3D神经领域-world brdf测量。通过显式建模光可视性，心脏请能够将来自Albedo的阴影分离，并在任意照明条件下合成现实的软或硬阴影。 Nerfactor能够在这场具有挑战性和实际场景的挑战和捕获的捕获设置中恢复令人信服的3D模型进行令人满意的3D模型。定性和定量实验表明，在各种任务中，内容越优于基于经典和基于深度的学习状态。我们的视频，代码和数据可在peoptom.csail.mit.edu/xiuming/projects/nerfactor/上获得。

综合照片 - 现实图像和视频是计算机图形的核心，并且是几十年的研究焦点。传统上，使用渲染算法（如光栅化或射线跟踪）生成场景的合成图像，其将几何形状和材料属性的表示为输入。统称，这些输入定义了实际场景和呈现的内容，并且被称为场景表示（其中场景由一个或多个对象组成）。示例场景表示是具有附带纹理的三角形网格（例如，由艺术家创建），点云（例如，来自深度传感器），体积网格（例如，来自CT扫描）或隐式曲面函数（例如，截短的符号距离）字段）。使用可分辨率渲染损耗的观察结果的这种场景表示的重建被称为逆图形或反向渲染。神经渲染密切相关，并将思想与经典计算机图形和机器学习中的思想相结合，以创建用于合成来自真实观察图像的图像的算法。神经渲染是朝向合成照片现实图像和视频内容的目标的跨越。近年来，我们通过数百个出版物显示了这一领域的巨大进展，这些出版物显示了将被动组件注入渲染管道的不同方式。这种最先进的神经渲染进步的报告侧重于将经典渲染原则与学习的3D场景表示结合的方法，通常现在被称为神经场景表示。这些方法的一个关键优势在于它们是通过设计的3D-一致，使诸如新颖的视点合成捕获场景的应用。除了处理静态场景的方法外，我们还涵盖了用于建模非刚性变形对象的神经场景表示...

可区分渲染的最新进展已实现了从多视图图像中对3D场景的高质量重建。大多数方法都依赖于简单渲染算法：预滤波的直接照明或学习的辐照度表示。我们表明，更现实的阴影模型，结合了射线追踪和蒙特卡洛整合，大大改善了形状，材料和照明的分解。不幸的是，即使在大型样本计数下，蒙特卡洛集成也能提供巨大的噪音，这使得基于梯度的逆渲染非常具有挑战性。为了解决这个问题，我们将多重重要性采样和降解纳入新的逆渲染管道中。这显着改善了收敛性，并在低样本计数下实现了基于梯度的优化。我们提出了一种有效的方法，可以共同重建几何形状（显式三角形网格），材料和照明，与以前的工作相比，它显着改善了材料和光分离。我们认为，Denoising可以成为高质量逆渲染管道的组成部分。

我们建议使用以光源方向为条件的神经辐射场（NERF）的扩展来解决多视光度立体声问题。我们神经表示的几何部分预测表面正常方向，使我们能够理解局部表面反射率。我们的神经表示的外观部分被分解为神经双向反射率函数（BRDF），作为拟合过程的一部分学习，阴影预测网络（以光源方向为条件），使我们能够对明显的BRDF进行建模。基于物理图像形成模型的诱导偏差的学到的组件平衡使我们能够远离训练期间观察到的光源和查看器方向。我们证明了我们在多视光学立体基准基准上的方法，并表明可以通过NERF的神经密度表示可以获得竞争性能。

重建反向渲染技术的最新趋势使用神经网络将3D表示作为神经领域。基于NERF的技术将多层感知器（MLP）拟合到一组训练图像，以估算一个辐射场字段，然后可以通过卷渲染算法从任何虚拟摄像机呈现。这些表示形式的主要缺点是缺乏定义明确的表面和非交互式渲染时间，因为必须查询宽大和深的MLP，每个框架必须查询数百万次。这些限制最近被单一克服了，但是设法同时完成了这一限制，从而打开了新的用例。我们提出了Kiloneus，这是一种新的神经对象表示，可以在交互式框架速率下的路径跟踪场景中渲染。 Kiloneus可以在共享场景中对神经和经典原语之间的逼真的光相互作用进行模拟，并且它可以实时执行，并有足够的空间进行未来的优化和扩展。

Google Research Basecolor Metallic Roughness Normal Multi-View Images NeRD Volume Decomposed BRDF Relighting & View synthesis Textured MeshFigure 1: Neural Reflectance Decomposition for Relighting. We encode multiple views of an object under varying or fixed illumination into the NeRD volume.We decompose each given image into geometry, spatially-varying BRDF parameters and a rough approximation of the incident illumination in a globally consistent manner. We then extract a relightable textured mesh that can be re-rendered under novel illumination conditions in real-time.

我们提出了一种有效的方法，用于从多视图图像观察中联合优化拓扑，材料和照明。与最近的多视图重建方法不同，通常在神经网络中产生纠缠的3D表示，我们将三角形网格输出具有空间不同的材料和环境照明，这些方法可以在任何传统的图形引擎中未修改。我们利用近期工作在可差异化的渲染中，基于坐标的网络紧凑地代表体积纹理，以及可微分的游行四边形，以便直接在表面网上直接实现基于梯度的优化。最后，我们介绍了环境照明的分流和近似的可分辨率配方，以有效地回收全频照明。实验表明我们的提取模型用于高级场景编辑，材料分解和高质量的视图插值，全部以三角形的渲染器（光栅化器和路径示踪剂）的交互式速率运行。

We propose an end-to-end inverse rendering pipeline called SupeRVol that allows us to recover 3D shape and material parameters from a set of color images in a super-resolution manner. To this end, we represent both the bidirectional reflectance distribution function (BRDF) and the signed distance function (SDF) by multi-layer perceptrons. In order to obtain both the surface shape and its reflectance properties, we revert to a differentiable volume renderer with a physically based illumination model that allows us to decouple reflectance and lighting. This physical model takes into account the effect of the camera's point spread function thereby enabling a reconstruction of shape and material in a super-resolution quality. Experimental validation confirms that SupeRVol achieves state of the art performance in terms of inverse rendering quality. It generates reconstructions that are sharper than the individual input images, making this method ideally suited for 3D modeling from low-resolution imagery.

Reflections on glossy objects contain valuable and hidden information about the surrounding environment. By converting these objects into cameras, we can unlock exciting applications, including imaging beyond the camera's field-of-view and from seemingly impossible vantage points, e.g. from reflections on the human eye. However, this task is challenging because reflections depend jointly on object geometry, material properties, the 3D environment, and the observer viewing direction. Our approach converts glossy objects with unknown geometry into radiance-field cameras to image the world from the object's perspective. Our key insight is to convert the object surface into a virtual sensor that captures cast reflections as a 2D projection of the 5D environment radiance field visible to the object. We show that recovering the environment radiance fields enables depth and radiance estimation from the object to its surroundings in addition to beyond field-of-view novel-view synthesis, i.e. rendering of novel views that are only directly-visible to the glossy object present in the scene, but not the observer. Moreover, using the radiance field we can image around occluders caused by close-by objects in the scene. Our method is trained end-to-end on multi-view images of the object and jointly estimates object geometry, diffuse radiance, and the 5D environment radiance field.

神经辐射场（NERF）是一种普遍的视图综合技术，其表示作为连续体积函数的场景，由多层的感知来参数化，其提供每个位置处的体积密度和视图相关的发射辐射。虽然基于NERF的技术在代表精细的几何结构时，具有平稳变化的视图依赖性外观，但它们通常无法精确地捕获和再现光泽表面的外观。我们通过引入Ref-nerf来解决这些限制，该ref-nerf替换了nerf的视图依赖性输出辐射的参数化，使用反射辐射的表示和使用空间不同场景属性的集合来构造该函数的表示。我们展示了与正常载体上的规范器一起，我们的模型显着提高了镜面反射的现实主义和准确性。此外，我们表明我们的模型的外向光线的内部表示是可解释的，可用于场景编辑。

We present a physics-based inverse rendering method that learns the illumination, geometry, and materials of a scene from posed multi-view RGB images. To model the illumination of a scene, existing inverse rendering works either completely ignore the indirect illumination or model it by coarse approximations, leading to sub-optimal illumination, geometry, and material prediction of the scene. In this work, we propose a physics-based illumination model that explicitly traces the incoming indirect lights at each surface point based on interreflection, followed by estimating each identified indirect light through an efficient neural network. Furthermore, we utilize the Leibniz's integral rule to resolve non-differentiability in the proposed illumination model caused by one type of environment light -- the tangent lights. As a result, the proposed interreflection-aware illumination model can be learned end-to-end together with geometry and materials estimation. As a side product, our physics-based inverse rendering model also facilitates flexible and realistic material editing as well as relighting. Extensive experiments on both synthetic and real-world datasets demonstrate that the proposed method performs favorably against existing inverse rendering methods on novel view synthesis and inverse rendering.

Human modeling and relighting are two fundamental problems in computer vision and graphics, where high-quality datasets can largely facilitate related research. However, most existing human datasets only provide multi-view human images captured under the same illumination. Although valuable for modeling tasks, they are not readily used in relighting problems. To promote research in both fields, in this paper, we present UltraStage, a new 3D human dataset that contains more than 2K high-quality human assets captured under both multi-view and multi-illumination settings. Specifically, for each example, we provide 32 surrounding views illuminated with one white light and two gradient illuminations. In addition to regular multi-view images, gradient illuminations help recover detailed surface normal and spatially-varying material maps, enabling various relighting applications. Inspired by recent advances in neural representation, we further interpret each example into a neural human asset which allows novel view synthesis under arbitrary lighting conditions. We show our neural human assets can achieve extremely high capture performance and are capable of representing fine details such as facial wrinkles and cloth folds. We also validate UltraStage in single image relighting tasks, training neural networks with virtual relighted data from neural assets and demonstrating realistic rendering improvements over prior arts. UltraStage will be publicly available to the community to stimulate significant future developments in various human modeling and rendering tasks.

创建高质量的动画和可重新可靠的3D人体化身的独特挑战是对人的眼睛进行建模。合成眼睛的挑战是多重的，因为它需要1）适当的表示眼和眼周区域的适当表示，以进行连贯的视点合成，能够表示弥漫性，折射和高度反射表面，2）2）脱离皮肤和眼睛外观这样的照明使其可以在新的照明条件下呈现，3）捕获眼球运动和周围皮肤的变形以使重新注视。传统上，这些挑战需要使用昂贵且繁琐的捕获设置来获得高质量的结果，即使那样，整体上的眼睛区域建模仍然难以捉摸。我们提出了一种新颖的几何形状和外观表示形式，该形式仅使用一组稀疏的灯光和摄像头，可以捕获高保真的捕获和感性动画，观察眼睛区域的综合和重新定位。我们的杂种表示将眼球的显式参数表面模型与眼周区域和眼内部的隐式变形体积表示结合在一起。这种新颖的混合模型旨在解决具有挑战性的面部面积的各个部分 - 明确的眼球表面允许在角膜处建模折射和高频镜面反射，而隐性表示非常适合通过模拟低频皮肤反射。球形谐波可以代表非表面结构，例如头发或弥漫性体积物体，这两者都是显式表面模型的挑战。我们表明，对于高分辨率的眼睛特写，我们的模型可以从看不见的照明条件下的新颖观点中综合高保真动画的目光。

在本文中，我们为复杂场景进行了高效且强大的深度学习解决方案。在我们的方法中，3D场景表示为光场，即，一组光线，每组在到达图像平面时具有相应的颜色。对于高效的新颖视图渲染，我们采用了光场的双面参数化，其中每个光线的特征在于4D参数。然后，我们将光场配向作为4D函数，即将4D坐标映射到相应的颜色值。我们训练一个深度完全连接的网络以优化这种隐式功能并记住3D场景。然后，特定于场景的模型用于综合新颖视图。与以前需要密集的视野的方法不同，需要密集的视野采样来可靠地呈现新颖的视图，我们的方法可以通过采样光线来呈现新颖的视图并直接从网络查询每种光线的颜色，从而使高质量的灯场呈现稀疏集合训练图像。网络可以可选地预测每光深度，从而使诸如自动重新焦点的应用。我们的小说视图合成结果与最先进的综合结果相当，甚至在一些具有折射和反射的具有挑战性的场景中优越。我们在保持交互式帧速率和小的内存占地面积的同时实现这一点。

传统的多视图光度立体声（MVP）方法通常由多个不相交阶段组成，从而导致明显的累积错误。在本文中，我们提出了一种基于隐式表示的MVP的神经反向渲染方法。给定通过多个未知方向灯照亮的非陆层物体的多视图图像，我们的方法共同估计几何形状，材料和灯光。我们的方法首先采用多光图像来估计每视图正常地图，这些图用于使从神经辐射场得出的正态定向。然后，它可以根据具有阴影可区分的渲染层共同优化表面正态，空间变化的BRDF和灯。优化后，重建的对象可用于新颖的视图渲染，重新定义和材料编辑。合成数据集和真实数据集的实验表明，与现有的MVP和神经渲染方法相比，我们的方法实现了更准确的形状重建。我们的代码和模型可以在https://ywq.github.io/psnerf上找到。

我们提出了一种使用高质量的OCTREE发射的代表来渲染复杂灯具的有效方法。复杂的灯具在渲染中是一个特别具有挑战性的问题，因为它们的腐蚀性光路在灯具内部。我们通过使用简单的代理几何形状来降低照明器的几何复杂性，并使用神经辐射场编码视觉复杂的发射光场。我们通过提出专门的损失函数来应对代表灯具的多重挑战，包括其高动态范围，高频含量和空发射区域。为了进行渲染，我们将灯具的nerf提炼成圆锥状的，我们可以轻松地将其集成到传统的渲染系统中。我们的方法允许在包含最小误差的复杂灯具的场景中加速2个数量级。

我们提出了一种方法，可以在神经SDF渲染器中相对于几何场景参数自动计算正确的梯度。最近基于物理的可区分渲染技术用于网格采样来处理不连续性，尤其是在对象轮廓上，但是SDF没有简单的参数形式，可用于采样。取而代之的是，我们的方法建立在区域采样技术的基础上，并为SDFS开发了连续的翘曲功能，以解决这些不连续性。我们的方法利用了在SDF中编码的表面的距离，并在球形示踪剂点上使用正交来计算此翘曲功能。我们进一步表明，这可以通过对要点进行次采样来使神经SDF的方法进行。我们可区分的渲染器可用于优化从多视图图像中的神经形状，并对最近基于SDF的反向渲染方法产生可比较的3D重建，而无需2D分割掩码来指导几何形状优化，而无需对几何形状进行体积近似。