A polarization camera has great potential for 3D reconstruction since the angle of polarization (AoP) and the degree of polarization (DoP) of reflected light are related to an object's surface normal. In this paper, we propose a novel 3D reconstruction method called Polarimetric Multi-View Inverse Rendering (Polarimetric MVIR) that effectively exploits geometric, photometric, and polarimetric cues extracted from input multi-view color-polarization images. We first estimate camera poses and an initial 3D model by geometric reconstruction with a standard structure-from-motion and multi-view stereo pipeline. We then refine the initial model by optimizing photometric rendering errors and polarimetric errors using multi-view RGB, AoP, and DoP images, where we propose a novel polarimetric cost function that enables an effective constraint on the estimated surface normal of each vertex, while considering four possible ambiguous azimuth angles revealed from the AoP measurement. The weight for the polarimetric cost is effectively determined based on the DoP measurement, which is regarded as the reliability of polarimetric information. Experimental results using both synthetic and real data demonstrate that our Polarimetric MVIR can reconstruct a detailed 3D shape without assuming a specific surface material and lighting condition.

当前的极化3D重建方法，包括具有偏振文献的良好形状的方法，均在正交投影假设下开发。但是，在较大的视野中，此假设不存在，并且可能导致对此假设的方法发生重大的重建错误。为了解决此问题，我们介绍适用于透视摄像机的透视相位角（PPA）模型。与拼字法模型相比，提出的PPA模型准确地描述了在透视投影下极化相位角与表面正常之间的关系。此外，PPA模型使得仅从一个单视相位映射估算表面正态，并且不遭受所谓的{\ pi} - ambiguity问题。实际数据上的实验表明，PPA模型对于具有透视摄像机的表面正常估计比拼字法模型更准确。

传统的多视图光度立体声（MVP）方法通常由多个不相交阶段组成，从而导致明显的累积错误。在本文中，我们提出了一种基于隐式表示的MVP的神经反向渲染方法。给定通过多个未知方向灯照亮的非陆层物体的多视图图像，我们的方法共同估计几何形状，材料和灯光。我们的方法首先采用多光图像来估计每视图正常地图，这些图用于使从神经辐射场得出的正态定向。然后，它可以根据具有阴影可区分的渲染层共同优化表面正态，空间变化的BRDF和灯。优化后，重建的对象可用于新颖的视图渲染，重新定义和材料编辑。合成数据集和真实数据集的实验表明，与现有的MVP和神经渲染方法相比，我们的方法实现了更准确的形状重建。我们的代码和模型可以在https://ywq.github.io/psnerf上找到。

尽管通过自学意识到，基于多层感知的方法在形状和颜色恢复方面取得了令人鼓舞的结果，但在学习深层隐式表面表示方面通常会遭受沉重的计算成本。由于渲染每个像素需要一个向前的网络推断，因此合成整个图像是非常密集的。为了应对这些挑战，我们提出了一种有效的粗到精细方法，以从本文中从多视图中恢复纹理网格。具体而言，采用可区分的泊松求解器来表示对象的形状，该求解器能够产生拓扑 - 敏捷和水密表面。为了说明深度信息，我们通过最小化渲染网格与多视图立体声预测深度之间的差异来优化形状几何形状。与形状和颜色的隐式神经表示相反，我们引入了一种基于物理的逆渲染方案，以共同估计环境照明和对象的反射率，该方案能够实时呈现高分辨率图像。重建的网格的质地是从可学习的密集纹理网格中插值的。我们已经对几个多视图立体数据集进行了广泛的实验，其有希望的结果证明了我们提出的方法的功效。该代码可在https://github.com/l1346792580123/diff上找到。

椭圆测量技术允许测量材料的极化信息，需要具有不同灯和传感器配置的光学组件的精确旋转。这会导致繁琐的捕获设备，在实验室条件下仔细校准，并且在很长的获取时间，通常按照每个物体几天的顺序。最近的技术允许捕获偏振偏光的反射率信息，但仅限于单个视图，或涵盖所有视图方向，但仅限于单个均匀材料制成的球形对象。我们提出了稀疏椭圆测量法，这是一种便携式偏光获取方法，同时同时捕获极化SVBRDF和3D形状。我们的手持设备由现成的固定光学组件组成。每个物体的总收购时间在二十分钟之间变化，而不是天数。我们开发了一个完整的极化SVBRDF模型，其中包括分散和镜面成分以及单个散射，并通过生成模型来设计一种新型的极化逆渲染算法，并通过数据增强镜面反射样品的数据增强。我们的结果表明，与现实世界对象捕获的极化BRDF的最新基础数据集有很强的一致性。

本文解决了3D对象重建的未校准光度立体声的任务，其中对象形状，对象反射率和照明方向均未知。这是一项极其困难的任务，挑战与光度法立体声中众所周知的普遍浮雕（GBR）歧义的存在进一步更加复杂。解决这种歧义的先前方法要么依赖于过度简化的反射模型，要么假设特殊的光分布。我们提出了一种新方法，该方法在一般表面和灯光假设下共同优化对象形状，光方向和光强度。镜面可显式地通过神经反向渲染过程求解未校准的光度立体声。我们使用新型的进行性镜面底座逐渐拟合从闪亮到粗糙的镜面。我们的方法通过最大程度地减少对每个对象基础的重建误差来利用基于物理的渲染方程。我们的方法证明了在现实世界数据集上的光估计和形状恢复中的最新精度。

Specularity prediction is essential to many computer vision applications, giving important visual cues usable in Augmented Reality (AR), Simultaneous Localisation and Mapping (SLAM), 3D reconstruction and material modeling. However, it is a challenging task requiring numerous information from the scene including the camera pose, the geometry of the scene, the light sources and the material properties. Our previous work addressed this task by creating an explicit model using an ellipsoid whose projection fits the specularity image contours for a given camera pose. These ellipsoid-based approaches belong to a family of models called JOint-LIght MAterial Specularity (JOLIMAS), which we have gradually improved by removing assumptions on the scene geometry. However, our most recent approach is still limited to uniformly curved surfaces. This paper generalises JOLIMAS to any surface geometry while improving the quality of specularity prediction, without sacrificing computation performances. The proposed method establishes a link between surface curvature and specularity shape in order to lift the geometric assumptions made in previous work. Contrary to previous work, our new model is built from a physics-based local illumination model namely Torrance-Sparrow, providing an improved reconstruction. Specularity prediction using our new model is tested against the most recent JOLIMAS version on both synthetic and real sequences with objects of various general shapes. Our method outperforms previous approaches in specularity prediction, including the real-time setup, as shown in the supplementary videos.

我们介绍了一种新型的多视图立体声（MVS）方法，该方法不仅可以同时恢复每个像素深度，而且还可以恢复表面正常状态，以及在已知但自然照明下捕获的无纹理，复杂的非斜面表面的反射。我们的关键想法是将MVS作为端到端的可学习网络，我们称为NLMVS-NET，该网络无缝地集成了放射线线索，以利用表面正常状态作为视图的表面特征，以实现学习成本量的构建和过滤。它首先通过新颖的形状从阴影网络估算出每个视图的像素概率密度。然后，这些每个像素表面正常密度和输入多视图图像将输入到一个新颖的成本量滤波网络中，该网络学会恢复每个像素深度和表面正常。通过与几何重建交替进行交替估计反射率。对新建立的合成和现实世界数据集进行了广泛的定量评估表明，NLMVS-NET可以稳健而准确地恢复自然设置中复杂物体的形状和反射率。

在这项工作中，我们提出了一种新的方法，用于利用极化线索来详细地重建透明对象。大多数现有方法通常缺乏足够的限制，并且遭受了过度平滑的问题。因此，我们将极化信息作为互补提示引入。我们将对象的几何形状隐式表示为神经网络，而极化渲染能够从给定的形状和照明配置中呈现对象的极化图像。由于透明对象的传输，将渲染的极化图像与现实世界捕获的图像进行直接比较将存在其他错误。为了解决这个问题，引入了代表反射部分比例的反射百分比的概念。反射百分比由射线示踪剂计算，然后用于加权极化损失。我们为多视图透明形状重建构建极化数据集以验证我们的方法。实验结果表明，我们的方法能够恢复详细的形状并提高透明物体的重建质量。我们的数据集和代码将在https://github.com/shaomq2187/transpir上公开获得。

我们介绍了一种新的数据驱动方法，具有基于物理的前沿，从单个偏振图像到场景级正常估计。来自偏振（SFP）的现有形状主要专注于估计单个物体的正常，而不是野外的复杂场景。高质量场景级SFP的关键障碍是复杂场景中缺乏现实世界的SFP数据。因此，我们贡献了第一个现实世界场景级SFP数据集，具有配对输入偏振图像和地理正常映射。然后，我们提出了一种基于学习的框架，具有多头自我注意模块和观察编码，该框架被设计为处理由场景级SFP中的复杂材料和非正交投影引起的增加的偏振模糊。由于偏振光和表面法线之间的关系不受距离的影响，我们训练的模型可以广泛地展开到远场户外场景。实验结果表明，我们的方法在两个数据集中显着优于现有的SFP模型。我们的数据集和源代码将公开可用于\ url {https://github.com/chenyanglei/sfp-wild}。

由于在扫描和量化过程中引入了不可避免的噪声，因此通过RGB-D传感器进行的3D重建在几何和纹理中遇到了错误，导致了诸如摄像机漂移，网格失真，纹理幽灵和模糊之类的伪像。考虑到不完美的重建3D模型，大多数以前的方法都集中在几何，纹理或摄像头姿势的完善上。或在以前的关节优化方法中使用了不同的优化方案和优化每个组件的目标，形成了复杂的系统。在本文中，我们提出了一种基于可区分渲染的新型优化方法，该方法通过在渲染结果与相应的RGB-D输入之间执行一致性，将相机姿势，几何形状和纹理的优化整合到统一框架中。基于统一的框架，我们引入了一种联合优化方法，以完全利用几何，纹理和摄像头之间的相互关系，并描述一种自适应交织策略，以提高优化稳定性和效率。使用可区分的渲染，应用图像级的对抗损失用于进一步改善3D模型，从而使其更加逼真。使用定量和定性评估进行合成和真实数据的实验证明了我们在恢复高尺度几何形状和高保真质地方面的优越性。

传统上，本征成像或内在图像分解被描述为将图像分解为两层：反射率，材料的反射率;和一个阴影，由光和几何之间的相互作用产生。近年来，深入学习技术已广泛应用，以提高这些分离的准确性。在本调查中，我们概述了那些在知名内在图像数据集和文献中使用的相关度量的结果，讨论了预测所需的内在图像分解的适用性。虽然Lambertian的假设仍然是许多方法的基础，但我们表明，对图像形成过程更复杂的物理原理组件的潜力越来越意识到，这是光学准确的材料模型和几何形状，更完整的逆轻型运输估计。考虑使用的前瞻和模型以及驾驶分解过程的学习架构和方法，我们将这些方法分类为分解的类型。考虑到最近神经，逆和可微分的渲染技术的进步，我们还提供了关于未来研究方向的见解。

View-dependent effects such as reflections pose a substantial challenge for image-based and neural rendering algorithms. Above all, curved reflectors are particularly hard, as they lead to highly non-linear reflection flows as the camera moves. We introduce a new point-based representation to compute Neural Point Catacaustics allowing novel-view synthesis of scenes with curved reflectors, from a set of casually-captured input photos. At the core of our method is a neural warp field that models catacaustic trajectories of reflections, so complex specular effects can be rendered using efficient point splatting in conjunction with a neural renderer. One of our key contributions is the explicit representation of reflections with a reflection point cloud which is displaced by the neural warp field, and a primary point cloud which is optimized to represent the rest of the scene. After a short manual annotation step, our approach allows interactive high-quality renderings of novel views with accurate reflection flow. Additionally, the explicit representation of reflection flow supports several forms of scene manipulation in captured scenes, such as reflection editing, cloning of specular objects, reflection tracking across views, and comfortable stereo viewing. We provide the source code and other supplemental material on https://repo-sam.inria.fr/ fungraph/neural_catacaustics/

Google Research Basecolor Metallic Roughness Normal Multi-View Images NeRD Volume Decomposed BRDF Relighting & View synthesis Textured MeshFigure 1: Neural Reflectance Decomposition for Relighting. We encode multiple views of an object under varying or fixed illumination into the NeRD volume.We decompose each given image into geometry, spatially-varying BRDF parameters and a rough approximation of the incident illumination in a globally consistent manner. We then extract a relightable textured mesh that can be re-rendered under novel illumination conditions in real-time.

光有许多可以通过视觉传感器被动测量的特性。色带分离波长和强度可以说是单眼6D对象姿态估计的最常用的波长。本文探讨了互补偏振信息的互补信息，即光波振荡的方向，可以影响姿态预测的准确性。一种混合模型，利用数据驱动的学习策略共同利用物理代理，并在具有不同量的光度复杂度的物体上进行设计和仔细测试。我们的设计不仅显着提高了与光度 - 最先进的方法相关的姿态精度，而且还使对象姿势估计用于高反射性和透明的物体。

We present a novel neural surface reconstruction method called NeuralRoom for reconstructing room-sized indoor scenes directly from a set of 2D images. Recently, implicit neural representations have become a promising way to reconstruct surfaces from multiview images due to their high-quality results and simplicity. However, implicit neural representations usually cannot reconstruct indoor scenes well because they suffer severe shape-radiance ambiguity. We assume that the indoor scene consists of texture-rich and flat texture-less regions. In texture-rich regions, the multiview stereo can obtain accurate results. In the flat area, normal estimation networks usually obtain a good normal estimation. Based on the above observations, we reduce the possible spatial variation range of implicit neural surfaces by reliable geometric priors to alleviate shape-radiance ambiguity. Specifically, we use multiview stereo results to limit the NeuralRoom optimization space and then use reliable geometric priors to guide NeuralRoom training. Then the NeuralRoom would produce a neural scene representation that can render an image consistent with the input training images. In addition, we propose a smoothing method called perturbation-residual restrictions to improve the accuracy and completeness of the flat region, which assumes that the sampling points in a local surface should have the same normal and similar distance to the observation center. Experiments on the ScanNet dataset show that our method can reconstruct the texture-less area of indoor scenes while maintaining the accuracy of detail. We also apply NeuralRoom to more advanced multiview reconstruction algorithms and significantly improve their reconstruction quality.

我们解决了从由一个未知照明条件照射的物体的多视图图像（及其相机姿势）从多视图图像（和它们的相机姿势）恢复物体的形状和空间变化的空间变化的问题。这使得能够在任意环境照明下呈现对象的新颖视图和对象的材料属性的编辑。我们呼叫神经辐射分解（NERFVERTOR）的方法的关键是蒸馏神经辐射场（NERF）的体积几何形状[MILDENHALL等人。 2020]将物体表示为表面表示，然后在求解空间改变的反射率和环境照明时共同细化几何形状。具体而言，Nerfactor仅使用重新渲染丢失，简单的光滑度Provers以及从真实学中学到的数据驱动的BRDF而无任何监督的表面法线，光可视性，Albedo和双向反射率和双向反射分布函数（BRDF）的3D神经领域-world brdf测量。通过显式建模光可视性，心脏请能够将来自Albedo的阴影分离，并在任意照明条件下合成现实的软或硬阴影。 Nerfactor能够在这场具有挑战性和实际场景的挑战和捕获的捕获设置中恢复令人信服的3D模型进行令人满意的3D模型。定性和定量实验表明，在各种任务中，内容越优于基于经典和基于深度的学习状态。我们的视频，代码和数据可在peoptom.csail.mit.edu/xiuming/projects/nerfactor/上获得。

我们提出了一种从单个图像中编辑复杂室内照明的方法，其深度和光源分割掩码。这是一个极具挑战性的问题，需要对复杂的光传输进行建模，并仅通过对场景的部分LDR观察，将HDR照明从材料和几何形状中解散。我们使用两个新颖的组件解决了这个问题：1）一种整体场景重建方法，该方法估计场景反射率和参数3D照明，以及2）一个神经渲染框架，从我们的预测中重新呈现场景。我们使用基于物理的室内光表示，可以进行直观的编辑，并推断可见和看不见的光源。我们的神经渲染框架结合了基于物理的直接照明和阴影渲染，深层网络近似于全球照明。它可以捕获具有挑战性的照明效果，例如柔软的阴影，定向照明，镜面材料和反射。以前的单个图像逆渲染方法通常纠缠场景照明和几何形状，仅支持对象插入等应用程序。取而代之的是，通过将参数3D照明估计与神经场景渲染相结合，我们演示了从单个图像中实现完整场景重新确定（包括光源插入，删除和替换）的第一种自动方法。所有源代码和数据将公开发布。

随着增强的焦点和虚拟现实应用（XR）来说，可以对可以将物体从图像和视频升力到适合各种相关3D任务的表示的算法。 XR设备和应用程序的大规模部署意味着我们不能仅仅依赖于监督学习，因为收集和注释现实世界中无限各种物体的数据是不可行的。我们提出了一种弱监督的方法，能够将物体的单个图像分解成形状（深度和正规），材料（反射率，反射率和发光）和全局照明参数。对于培训，该方法仅依赖于训练对象的粗略初始形状估计来引导学习过程。这种形状监督可以例如从预先预制的深度网络或 - 从传统的结构 - 来自运动管道中的普罗维尔或 - 更慷慨地实现。在我们的实验中，我们表明该方法可以将2D图像成功地将2D图像成功渲染为分解的3D表示并推广到未经证明的对象类别。由于缺乏频繁的评估因缺乏地面真理数据而困难，我们还介绍了一种允许定量评估的照片 - 现实的合成测试集。

获取房间规模场景的高质量3D重建对于即将到来的AR或VR应用是至关重要的。这些范围从混合现实应用程序进行电话会议，虚拟测量，虚拟房间刨，到机器人应用。虽然使用神经辐射场（NERF）的基于卷的视图合成方法显示有希望再现对象或场景的外观，但它们不会重建实际表面。基于密度的表面的体积表示在使用行进立方体提取表面时导致伪影，因为在优化期间，密度沿着射线累积，并且不在单个样本点处于隔离点。我们建议使用隐式函数（截短的签名距离函数）来代表表面来代表表面。我们展示了如何在NERF框架中纳入此表示，并将其扩展为使用来自商品RGB-D传感器的深度测量，例如Kinect。此外，我们提出了一种姿势和相机细化技术，可提高整体重建质量。相反，与集成NERF的深度前瞻性的并发工作，其专注于新型视图合成，我们的方法能够重建高质量的韵律3D重建。