我们介绍了一种新型的多视图立体声（MVS）方法，该方法不仅可以同时恢复每个像素深度，而且还可以恢复表面正常状态，以及在已知但自然照明下捕获的无纹理，复杂的非斜面表面的反射。我们的关键想法是将MVS作为端到端的可学习网络，我们称为NLMVS-NET，该网络无缝地集成了放射线线索，以利用表面正常状态作为视图的表面特征，以实现学习成本量的构建和过滤。它首先通过新颖的形状从阴影网络估算出每个视图的像素概率密度。然后，这些每个像素表面正常密度和输入多视图图像将输入到一个新颖的成本量滤波网络中，该网络学会恢复每个像素深度和表面正常。通过与几何重建交替进行交替估计反射率。对新建立的合成和现实世界数据集进行了广泛的定量评估表明，NLMVS-NET可以稳健而准确地恢复自然设置中复杂物体的形状和反射率。

传统的多视图光度立体声（MVP）方法通常由多个不相交阶段组成，从而导致明显的累积错误。在本文中，我们提出了一种基于隐式表示的MVP的神经反向渲染方法。给定通过多个未知方向灯照亮的非陆层物体的多视图图像，我们的方法共同估计几何形状，材料和灯光。我们的方法首先采用多光图像来估计每视图正常地图，这些图用于使从神经辐射场得出的正态定向。然后，它可以根据具有阴影可区分的渲染层共同优化表面正态，空间变化的BRDF和灯。优化后，重建的对象可用于新颖的视图渲染，重新定义和材料编辑。合成数据集和真实数据集的实验表明，与现有的MVP和神经渲染方法相比，我们的方法实现了更准确的形状重建。我们的代码和模型可以在https://ywq.github.io/psnerf上找到。

尽管通过自学意识到，基于多层感知的方法在形状和颜色恢复方面取得了令人鼓舞的结果，但在学习深层隐式表面表示方面通常会遭受沉重的计算成本。由于渲染每个像素需要一个向前的网络推断，因此合成整个图像是非常密集的。为了应对这些挑战，我们提出了一种有效的粗到精细方法，以从本文中从多视图中恢复纹理网格。具体而言，采用可区分的泊松求解器来表示对象的形状，该求解器能够产生拓扑 - 敏捷和水密表面。为了说明深度信息，我们通过最小化渲染网格与多视图立体声预测深度之间的差异来优化形状几何形状。与形状和颜色的隐式神经表示相反，我们引入了一种基于物理的逆渲染方案，以共同估计环境照明和对象的反射率，该方案能够实时呈现高分辨率图像。重建的网格的质地是从可学习的密集纹理网格中插值的。我们已经对几个多视图立体数据集进行了广泛的实验，其有希望的结果证明了我们提出的方法的功效。该代码可在https://github.com/l1346792580123/diff上找到。

我们建议使用以光源方向为条件的神经辐射场（NERF）的扩展来解决多视光度立体声问题。我们神经表示的几何部分预测表面正常方向，使我们能够理解局部表面反射率。我们的神经表示的外观部分被分解为神经双向反射率函数（BRDF），作为拟合过程的一部分学习，阴影预测网络（以光源方向为条件），使我们能够对明显的BRDF进行建模。基于物理图像形成模型的诱导偏差的学到的组件平衡使我们能够远离训练期间观察到的光源和查看器方向。我们证明了我们在多视光学立体基准基准上的方法，并表明可以通过NERF的神经密度表示可以获得竞争性能。

Google Research Basecolor Metallic Roughness Normal Multi-View Images NeRD Volume Decomposed BRDF Relighting & View synthesis Textured MeshFigure 1: Neural Reflectance Decomposition for Relighting. We encode multiple views of an object under varying or fixed illumination into the NeRD volume.We decompose each given image into geometry, spatially-varying BRDF parameters and a rough approximation of the incident illumination in a globally consistent manner. We then extract a relightable textured mesh that can be re-rendered under novel illumination conditions in real-time.

在许多计算机视觉和图形应用程序中，从2D图像重建3D室内场景是一项重要任务。这项任务中的一个主要挑战是，典型的室内场景中的无纹理区域使现有方法难以产生令人满意的重建结果。我们提出了一种名为Neuris的新方法，以高质量地重建室内场景。 Neuris的关键思想是将估计的室内场景正常整合为神经渲染框架中的先验，以重建大型无纹理形状，并且重要的是，以适应性的方式进行此操作，以便重建不规则的形状，并具有很好的细节。 。具体而言，我们通过检查优化过程中重建的多视图一致性来评估正常先验的忠诚。只有被接受为忠实的正常先验才能用于3D重建，通常发生在平滑形状的区域中，可能具有弱质地。但是，对于那些具有小物体或薄结构的区域，普通先验通常不可靠，我们只能依靠输入图像的视觉特征，因为此类区域通常包含相对较丰富的视觉特征（例如，阴影变化和边界轮廓）。广泛的实验表明，在重建质量方面，Neuris明显优于最先进的方法。

Human modeling and relighting are two fundamental problems in computer vision and graphics, where high-quality datasets can largely facilitate related research. However, most existing human datasets only provide multi-view human images captured under the same illumination. Although valuable for modeling tasks, they are not readily used in relighting problems. To promote research in both fields, in this paper, we present UltraStage, a new 3D human dataset that contains more than 2K high-quality human assets captured under both multi-view and multi-illumination settings. Specifically, for each example, we provide 32 surrounding views illuminated with one white light and two gradient illuminations. In addition to regular multi-view images, gradient illuminations help recover detailed surface normal and spatially-varying material maps, enabling various relighting applications. Inspired by recent advances in neural representation, we further interpret each example into a neural human asset which allows novel view synthesis under arbitrary lighting conditions. We show our neural human assets can achieve extremely high capture performance and are capable of representing fine details such as facial wrinkles and cloth folds. We also validate UltraStage in single image relighting tasks, training neural networks with virtual relighted data from neural assets and demonstrating realistic rendering improvements over prior arts. UltraStage will be publicly available to the community to stimulate significant future developments in various human modeling and rendering tasks.

我们介绍了Sparseneus，这是一种基于神经渲染的新方法，用于从多视图图像中进行表面重建的任务。当仅提供稀疏图像作为输入时，此任务变得更加困难，这种情况通常会产生不完整或失真的结果。此外，他们无法概括看不见的新场景会阻碍他们在实践中的应用。相反，Sparseneus可以概括为新场景，并与稀疏的图像（仅2或3）良好合作。 Sparseneus采用签名的距离函数（SDF）作为表面表示，并通过引入代码编码通用表面预测的几何形状来从图像特征中学习可概括的先验。此外，引入了几种策略，以有效利用稀疏视图来进行高质量重建，包括1）多层几何推理框架以粗略的方式恢复表面； 2）多尺度的颜色混合方案，以实现更可靠的颜色预测； 3）一种一致性意识的微调方案，以控制由遮挡和噪声引起的不一致区域。广泛的实验表明，我们的方法不仅胜过最先进的方法，而且表现出良好的效率，可推广性和灵活性。

我们解决了从由一个未知照明条件照射的物体的多视图图像（及其相机姿势）从多视图图像（和它们的相机姿势）恢复物体的形状和空间变化的空间变化的问题。这使得能够在任意环境照明下呈现对象的新颖视图和对象的材料属性的编辑。我们呼叫神经辐射分解（NERFVERTOR）的方法的关键是蒸馏神经辐射场（NERF）的体积几何形状[MILDENHALL等人。 2020]将物体表示为表面表示，然后在求解空间改变的反射率和环境照明时共同细化几何形状。具体而言，Nerfactor仅使用重新渲染丢失，简单的光滑度Provers以及从真实学中学到的数据驱动的BRDF而无任何监督的表面法线，光可视性，Albedo和双向反射率和双向反射分布函数（BRDF）的3D神经领域-world brdf测量。通过显式建模光可视性，心脏请能够将来自Albedo的阴影分离，并在任意照明条件下合成现实的软或硬阴影。 Nerfactor能够在这场具有挑战性和实际场景的挑战和捕获的捕获设置中恢复令人信服的3D模型进行令人满意的3D模型。定性和定量实验表明，在各种任务中，内容越优于基于经典和基于深度的学习状态。我们的视频，代码和数据可在peoptom.csail.mit.edu/xiuming/projects/nerfactor/上获得。

本文提出了一种接近光的光度立体声方法，该方法忠实地保留了3D重建中的尖锐深度边缘。与以前依靠有限分化来近似深度部分衍生物和表面正常的方法不同，我们在近光照度立体声中引入了一个分析上可区分的神经表面，以避免在尖锐的深度边缘下的分化误差，其中深度表示为表示深度的神经误差。图像坐标。通过进一步将兰伯特式反映物作为由表面正常和深度产生的因变量，我们的方法不准确地深度初始化。在合成场景和现实世界场景上进行的实验证明了我们方法在边缘保存中详细形状恢复的有效性。

A polarization camera has great potential for 3D reconstruction since the angle of polarization (AoP) and the degree of polarization (DoP) of reflected light are related to an object's surface normal. In this paper, we propose a novel 3D reconstruction method called Polarimetric Multi-View Inverse Rendering (Polarimetric MVIR) that effectively exploits geometric, photometric, and polarimetric cues extracted from input multi-view color-polarization images. We first estimate camera poses and an initial 3D model by geometric reconstruction with a standard structure-from-motion and multi-view stereo pipeline. We then refine the initial model by optimizing photometric rendering errors and polarimetric errors using multi-view RGB, AoP, and DoP images, where we propose a novel polarimetric cost function that enables an effective constraint on the estimated surface normal of each vertex, while considering four possible ambiguous azimuth angles revealed from the AoP measurement. The weight for the polarimetric cost is effectively determined based on the DoP measurement, which is regarded as the reliability of polarimetric information. Experimental results using both synthetic and real data demonstrate that our Polarimetric MVIR can reconstruct a detailed 3D shape without assuming a specific surface material and lighting condition.

综合照片 - 现实图像和视频是计算机图形的核心，并且是几十年的研究焦点。传统上，使用渲染算法（如光栅化或射线跟踪）生成场景的合成图像，其将几何形状和材料属性的表示为输入。统称，这些输入定义了实际场景和呈现的内容，并且被称为场景表示（其中场景由一个或多个对象组成）。示例场景表示是具有附带纹理的三角形网格（例如，由艺术家创建），点云（例如，来自深度传感器），体积网格（例如，来自CT扫描）或隐式曲面函数（例如，截短的符号距离）字段）。使用可分辨率渲染损耗的观察结果的这种场景表示的重建被称为逆图形或反向渲染。神经渲染密切相关，并将思想与经典计算机图形和机器学习中的思想相结合，以创建用于合成来自真实观察图像的图像的算法。神经渲染是朝向合成照片现实图像和视频内容的目标的跨越。近年来，我们通过数百个出版物显示了这一领域的巨大进展，这些出版物显示了将被动组件注入渲染管道的不同方式。这种最先进的神经渲染进步的报告侧重于将经典渲染原则与学习的3D场景表示结合的方法，通常现在被称为神经场景表示。这些方法的一个关键优势在于它们是通过设计的3D-一致，使诸如新颖的视点合成捕获场景的应用。除了处理静态场景的方法外，我们还涵盖了用于建模非刚性变形对象的神经场景表示...

We present a method that synthesizes novel views of complex scenes by interpolating a sparse set of nearby views. The core of our method is a network architecture that includes a multilayer perceptron and a ray transformer that estimates radiance and volume density at continuous 5D locations (3D spatial locations and 2D viewing directions), drawing appearance information on the fly from multiple source views. By drawing on source views at render time, our method hearkens back to classic work on image-based rendering (IBR), and allows us to render high-resolution imagery. Unlike neural scene representation work that optimizes per-scene functions for rendering, we learn a generic view interpolation function that generalizes to novel scenes. We render images using classic volume rendering, which is fully differentiable and allows us to train using only multiview posed images as supervision. Experiments show that our method outperforms recent novel view synthesis methods that also seek to generalize to novel scenes. Further, if fine-tuned on each scene, our method is competitive with state-of-the-art single-scene neural rendering methods. 1

在不同观点之间找到准确的对应关系是无监督的多视图立体声（MVS）的跟腱。现有方法是基于以下假设：相应的像素具有相似的光度特征。但是，在实际场景中，多视图图像观察到非斜面的表面和经验遮挡。在这项工作中，我们提出了一种新颖的方法，即神经渲染（RC-MVSNET），以解决观点之间对应关系的歧义问题。具体而言，我们施加了一个深度渲染一致性损失，以限制靠近对象表面的几何特征以减轻遮挡。同时，我们引入了参考视图综合损失，以产生一致的监督，即使是针对非兰伯特表面。关于DTU和TANKS \＆Temples基准测试的广泛实验表明，我们的RC-MVSNET方法在无监督的MVS框架上实现了最先进的性能，并对许多有监督的方法进行了竞争性能。该代码在https://github.com/上发布。 BOESE0601/RC-MVSNET

给定一组场景的图像，从新颖的观点和照明条件中重新渲染了这个场景是计算机视觉和图形中的一个重要且具有挑战性的问题。一方面，计算机视觉中的大多数现有作品通常对图像形成过程（例如直接照明和预定义的材料，以使场景参数估计可进行。另一方面，成熟的计算机图形工具允许对所有场景参数进行复杂的照片现实光传输的建模。结合了这些方法，我们通过学习神经预先计算的辐射转移功能，提出了一种在新观点下重新考虑的场景方法，该方法使用新颖的环境图隐含地处理全球照明效应。在单个未知的照明条件下，我们的方法可以仅在场景的一组真实图像上进行监督。为了消除训练期间的任务，我们在训练过程中紧密整合了可区分的路径示踪剂，并提出了合成的OLAT和真实图像丢失的组合。结果表明，场景参数的恢复分离在目前的现状，因此，我们的重新渲染结果也更加现实和准确。

Photometric stereo recovers the surface normals of an object from multiple images with varying shading cues, i.e., modeling the relationship between surface orientation and intensity at each pixel. Photometric stereo prevails in superior per-pixel resolution and fine reconstruction details. However, it is a complicated problem because of the non-linear relationship caused by non-Lambertian surface reflectance. Recently, various deep learning methods have shown a powerful ability in the context of photometric stereo against non-Lambertian surfaces. This paper provides a comprehensive review of existing deep learning-based calibrated photometric stereo methods. We first analyze these methods from different perspectives, including input processing, supervision, and network architecture. We summarize the performance of deep learning photometric stereo models on the most widely-used benchmark data set. This demonstrates the advanced performance of deep learning-based photometric stereo methods. Finally, we give suggestions and propose future research trends based on the limitations of existing models.

where the highest resolution is required, using facial performance capture as a case in point.

Pixel-aligned Implicit function (PIFu): We present pixel-aligned implicit function (PIFu), which allows recovery of high-resolution 3D textured surfaces of clothed humans from a single input image (top row). Our approach can digitize intricate variations in clothing, such as wrinkled skirts and high-heels, including complex hairstyles. The shape and textures can be fully recovered including largely unseen regions such as the back of the subject. PIFu can also be naturally extended to multi-view input images (bottom row).

We present a method that takes as input a set of images of a scene illuminated by unconstrained known lighting, and produces as output a 3D representation that can be rendered from novel viewpoints under arbitrary lighting conditions. Our method represents the scene as a continuous volumetric function parameterized as MLPs whose inputs are a 3D location and whose outputs are the following scene properties at that input location: volume density, surface normal, material parameters, distance to the first surface intersection in any direction, and visibility of the external environment in any direction. Together, these allow us to render novel views of the object under arbitrary lighting, including indirect illumination effects. The predicted visibility and surface intersection fields are critical to our model's ability to simulate direct and indirect illumination during training, because the brute-force techniques used by prior work are intractable for lighting conditions outside of controlled setups with a single light. Our method outperforms alternative approaches for recovering relightable 3D scene representations, and performs well in complex lighting settings that have posed a significant challenge to prior work.

我们提出了一种新的方法来获取来自在线图像集合的对象表示，从具有不同摄像机，照明和背景的照片捕获任意物体的高质量几何形状和材料属性。这使得各种以各种对象渲染应用诸如新颖的综合，致密和协调的背景组合物，从疯狂的内部输入。使用多级方法延伸神经辐射场，首先推断表面几何形状并优化粗估计的初始相机参数，同时利用粗糙的前景对象掩模来提高训练效率和几何质量。我们还介绍了一种强大的正常估计技术，其消除了几何噪声的效果，同时保持了重要细节。最后，我们提取表面材料特性和环境照明，以球形谐波表示，具有处理瞬态元素的延伸部，例如，锋利的阴影。这些组件的结合导致高度模块化和有效的对象采集框架。广泛的评估和比较证明了我们在捕获高质量的几何形状和外观特性方面的方法，可用于渲染应用。