神经隐式表面已成为多视图3D重建的重要技术，但它们的准确性仍然有限。在本文中，我们认为这来自难以学习和呈现具有神经网络的高频纹理。因此，我们建议在不同视图中添加标准神经渲染优化直接照片一致性术语。直观地，我们优化隐式几何体，以便以一致的方式扭曲彼此的视图。我们证明，两个元素是这种方法成功的关键：（i）使用沿着每条光线的预测占用和3D点的预测占用和法线来翘曲整个补丁，并用稳健的结构相似度测量它们的相似性; （ii）以这种方式处理可见性和遮挡，使得不正确的扭曲不会给出太多的重要性，同时鼓励重建尽可能完整。我们评估了我们的方法，在标准的DTU和EPFL基准上被称为NeuralWarp，并表明它在两个数据集上以超过20％重建的艺术态度优于未经监督的隐式表面。

With the success of neural volume rendering in novel view synthesis, neural implicit reconstruction with volume rendering has become popular. However, most methods optimize per-scene functions and are unable to generalize to novel scenes. We introduce VolRecon, a generalizable implicit reconstruction method with Signed Ray Distance Function (SRDF). To reconstruct with fine details and little noise, we combine projection features, aggregated from multi-view features with a view transformer, and volume features interpolated from a coarse global feature volume. A ray transformer computes SRDF values of all the samples along a ray to estimate the surface location, which are used for volume rendering of color and depth. Extensive experiments on DTU and ETH3D demonstrate the effectiveness and generalization ability of our method. On DTU, our method outperforms SparseNeuS by about 30% in sparse view reconstruction and achieves comparable quality as MVSNet in full view reconstruction. Besides, our method shows good generalization ability on the large-scale ETH3D benchmark. Project page: https://fangjinhuawang.github.io/VolRecon.

我们介绍了一种新的神经表面重建方法，称为Neus，用于重建具有高保真的对象和场景，从2D图像输入。现有的神经表面重建方法，例如DVR和IDR，需要前景掩模作为监控，容易被捕获在局部最小值中，因此与具有严重自动遮挡或薄结构的物体的重建斗争。同时，新型观测合成的最近神经方法，例如Nerf及其变体，使用体积渲染来产生具有优化的稳健性的神经场景表示，即使对于高度复杂的物体。然而，从该学习的内隐式表示提取高质量表面是困难的，因为表示表示没有足够的表面约束。在Neus中，我们建议将表面代表为符号距离功能（SDF）的零级集，并开发一种新的卷渲染方法来训练神经SDF表示。我们观察到传统的体积渲染方法导致表面重建的固有的几何误差（即偏置），因此提出了一种新的制剂，其在第一阶的第一阶偏差中没有偏置，因此即使没有掩码监督，也导致更准确的表面重建。 DTU数据集的实验和BlendedMVS数据集显示，Neus在高质量的表面重建中优于最先进的，特别是对于具有复杂结构和自动闭塞的物体和场景。

我们介绍了Sparseneus，这是一种基于神经渲染的新方法，用于从多视图图像中进行表面重建的任务。当仅提供稀疏图像作为输入时，此任务变得更加困难，这种情况通常会产生不完整或失真的结果。此外，他们无法概括看不见的新场景会阻碍他们在实践中的应用。相反，Sparseneus可以概括为新场景，并与稀疏的图像（仅2或3）良好合作。 Sparseneus采用签名的距离函数（SDF）作为表面表示，并通过引入代码编码通用表面预测的几何形状来从图像特征中学习可概括的先验。此外，引入了几种策略，以有效利用稀疏视图来进行高质量重建，包括1）多层几何推理框架以粗略的方式恢复表面； 2）多尺度的颜色混合方案，以实现更可靠的颜色预测； 3）一种一致性意识的微调方案，以控制由遮挡和噪声引起的不一致区域。广泛的实验表明，我们的方法不仅胜过最先进的方法，而且表现出良好的效率，可推广性和灵活性。

在本文中，我们解决了多视图3D形状重建的问题。尽管最近与隐式形状表示相关的最新可区分渲染方法提供了突破性的表现，但它们仍然在计算上很重，并且在估计的几何形状上通常缺乏精确性。为了克服这些局限性，我们研究了一种基于体积的新型表示形式建立的新计算方法，就像在最近的可区分渲染方法中一样，但是用深度图进行了参数化，以更好地实现形状表面。与此表示相关的形状能量可以评估给定颜色图像的3D几何形状，并且不需要外观预测，但在优化时仍然受益于体积整合。在实践中，我们提出了一个隐式形状表示，SRDF基于签名距离，我们通过沿摄像头射线进行参数化。相关的形状能量考虑了深度预测一致性和光度一致性之间的一致性，这是在体积表示内的3D位置。可以考虑各种照片一致先验的基础基线，或者像学习功能一样详细的标准。该方法保留具有深度图的像素准确性，并且可行。我们对标准数据集进行的实验表明，它提供了有关具有隐式形状表示的最新方法以及传统的多视角立体方法的最新结果。

获取房间规模场景的高质量3D重建对于即将到来的AR或VR应用是至关重要的。这些范围从混合现实应用程序进行电话会议，虚拟测量，虚拟房间刨，到机器人应用。虽然使用神经辐射场（NERF）的基于卷的视图合成方法显示有希望再现对象或场景的外观，但它们不会重建实际表面。基于密度的表面的体积表示在使用行进立方体提取表面时导致伪影，因为在优化期间，密度沿着射线累积，并且不在单个样本点处于隔离点。我们建议使用隐式函数（截短的签名距离函数）来代表表面来代表表面。我们展示了如何在NERF框架中纳入此表示，并将其扩展为使用来自商品RGB-D传感器的深度测量，例如Kinect。此外，我们提出了一种姿势和相机细化技术，可提高整体重建质量。相反，与集成NERF的深度前瞻性的并发工作，其专注于新型视图合成，我们的方法能够重建高质量的韵律3D重建。

我们提出了可区分的立体声，这是一种多视图立体方法，可从几乎没有输入视图和嘈杂摄像机中重建形状和纹理。我们将传统的立体定向和现代可区分渲染配对，以构建端到端模型，该模型可以预测具有不同拓扑和形状的物体的纹理3D网眼。我们将立体定向作为优化问题，并通过简单的梯度下降同时更新形状和相机。我们进行了广泛的定量分析，并与传统的多视图立体声技术和基于最先进的学习方法进行比较。我们展示了令人信服的重建，这些重建是在挑战现实世界的场景上，以及具有复杂形状，拓扑和纹理的大量对象类型。项目网页：https：//shubham-goel.github.io/ds/

Neural implicit 3D representations have emerged as a powerful paradigm for reconstructing surfaces from multiview images and synthesizing novel views. Unfortunately, existing methods such as DVR or IDR require accurate perpixel object masks as supervision. At the same time, neural radiance fields have revolutionized novel view synthesis. However, NeRF's estimated volume density does not admit accurate surface reconstruction. Our key insight is that implicit surface models and radiance fields can be formulated in a unified way, enabling both surface and volume rendering using the same model. This unified perspective enables novel, more efficient sampling procedures and the ability to reconstruct accurate surfaces without input masks. We compare our method on the DTU, BlendedMVS, and a synthetic indoor dataset. Our experiments demonstrate that we outperform NeRF in terms of reconstruction quality while performing on par with IDR without requiring masks.

https://video-nerf.github.io Figure 1. Our method takes a single casually captured video as input and learns a space-time neural irradiance field. (Top) Sample frames from the input video. (Middle) Novel view images rendered from textured meshes constructed from depth maps. (Bottom) Our results rendered from the proposed space-time neural irradiance field.

在不同观点之间找到准确的对应关系是无监督的多视图立体声（MVS）的跟腱。现有方法是基于以下假设：相应的像素具有相似的光度特征。但是，在实际场景中，多视图图像观察到非斜面的表面和经验遮挡。在这项工作中，我们提出了一种新颖的方法，即神经渲染（RC-MVSNET），以解决观点之间对应关系的歧义问题。具体而言，我们施加了一个深度渲染一致性损失，以限制靠近对象表面的几何特征以减轻遮挡。同时，我们引入了参考视图综合损失，以产生一致的监督，即使是针对非兰伯特表面。关于DTU和TANKS \＆Temples基准测试的广泛实验表明，我们的RC-MVSNET方法在无监督的MVS框架上实现了最先进的性能，并对许多有监督的方法进行了竞争性能。该代码在https://github.com/上发布。 BOESE0601/RC-MVSNET

尽管通过自学意识到，基于多层感知的方法在形状和颜色恢复方面取得了令人鼓舞的结果，但在学习深层隐式表面表示方面通常会遭受沉重的计算成本。由于渲染每个像素需要一个向前的网络推断，因此合成整个图像是非常密集的。为了应对这些挑战，我们提出了一种有效的粗到精细方法，以从本文中从多视图中恢复纹理网格。具体而言，采用可区分的泊松求解器来表示对象的形状，该求解器能够产生拓扑 - 敏捷和水密表面。为了说明深度信息，我们通过最小化渲染网格与多视图立体声预测深度之间的差异来优化形状几何形状。与形状和颜色的隐式神经表示相反，我们引入了一种基于物理的逆渲染方案，以共同估计环境照明和对象的反射率，该方案能够实时呈现高分辨率图像。重建的网格的质地是从可学习的密集纹理网格中插值的。我们已经对几个多视图立体数据集进行了广泛的实验，其有希望的结果证明了我们提出的方法的功效。该代码可在https://github.com/l1346792580123/diff上找到。

在许多计算机视觉和图形应用程序中，从2D图像重建3D室内场景是一项重要任务。这项任务中的一个主要挑战是，典型的室内场景中的无纹理区域使现有方法难以产生令人满意的重建结果。我们提出了一种名为Neuris的新方法，以高质量地重建室内场景。 Neuris的关键思想是将估计的室内场景正常整合为神经渲染框架中的先验，以重建大型无纹理形状，并且重要的是，以适应性的方式进行此操作，以便重建不规则的形状，并具有很好的细节。 。具体而言，我们通过检查优化过程中重建的多视图一致性来评估正常先验的忠诚。只有被接受为忠实的正常先验才能用于3D重建，通常发生在平滑形状的区域中，可能具有弱质地。但是，对于那些具有小物体或薄结构的区域，普通先验通常不可靠，我们只能依靠输入图像的视觉特征，因为此类区域通常包含相对较丰富的视觉特征（例如，阴影变化和边界轮廓）。广泛的实验表明，在重建质量方面，Neuris明显优于最先进的方法。

综合照片 - 现实图像和视频是计算机图形的核心，并且是几十年的研究焦点。传统上，使用渲染算法（如光栅化或射线跟踪）生成场景的合成图像，其将几何形状和材料属性的表示为输入。统称，这些输入定义了实际场景和呈现的内容，并且被称为场景表示（其中场景由一个或多个对象组成）。示例场景表示是具有附带纹理的三角形网格（例如，由艺术家创建），点云（例如，来自深度传感器），体积网格（例如，来自CT扫描）或隐式曲面函数（例如，截短的符号距离）字段）。使用可分辨率渲染损耗的观察结果的这种场景表示的重建被称为逆图形或反向渲染。神经渲染密切相关，并将思想与经典计算机图形和机器学习中的思想相结合，以创建用于合成来自真实观察图像的图像的算法。神经渲染是朝向合成照片现实图像和视频内容的目标的跨越。近年来，我们通过数百个出版物显示了这一领域的巨大进展，这些出版物显示了将被动组件注入渲染管道的不同方式。这种最先进的神经渲染进步的报告侧重于将经典渲染原则与学习的3D场景表示结合的方法，通常现在被称为神经场景表示。这些方法的一个关键优势在于它们是通过设计的3D-一致，使诸如新颖的视点合成捕获场景的应用。除了处理静态场景的方法外，我们还涵盖了用于建模非刚性变形对象的神经场景表示...

神经隐式功能最近显示了来自多个视图的表面重建的有希望的结果。但是，当重建无限或复杂的场景时，当前的方法仍然遭受过度复杂性和稳健性不佳。在本文中，我们介绍了RegSDF，这表明适当的点云监督和几何正规化足以产生高质量和健壮的重建结果。具体而言，RegSDF将额外的定向点云作为输入，并优化了可区分渲染框架内的签名距离字段和表面灯场。我们还介绍了这两个关键的正规化。第一个是在给定嘈杂和不完整输入的整个距离字段中平稳扩散签名距离值的Hessian正则化。第二个是最小的表面正则化，可紧凑并推断缺失的几何形状。大量实验是在DTU，BlendenDMV以及储罐和寺庙数据集上进行的。与最近的神经表面重建方法相比，RegSDF即使对于具有复杂拓扑和非结构化摄像头轨迹的开放场景，RegSDF也能够重建表面。

由于其成功在从稀疏的输入图像集合中合成了场景的新颖视图，最近越来越受欢迎。到目前为止，通过通用密度函数建模了神经体积渲染技术的几何形状。此外，使用通向嘈杂的任意水平函数的任意水平集合来提取几何形状本身，通常是低保真重建。本文的目标是改善神经体积渲染中的几何形象和重建。我们通过将体积密度建模为几何形状来实现这一点。这与以前的工作与体积密度的函数建模几何。更详细地，我们将音量密度函数定义为Laplace的累积分发功能（CDF）应用于符号距离功能（SDF）表示。这种简单的密度表示有三个好处：（i）它为神经体积渲染过程中学到的几何形状提供了有用的电感偏差; （ii）它促进了缺陷近似误差的束缚，导致观看光线的准确采样。精确的采样对于提供几何和光线的精确耦合非常重要; （iii）允许高效无监督的脱位形状和外观在体积渲染中。将此新密度表示应用于具有挑战性的场景多视图数据集生产了高质量的几何重建，表现优于相关的基线。此外，由于两者的解剖学，场景之间的切换形状和外观是可能的。

In this work we address the challenging problem of multiview 3D surface reconstruction. We introduce a neural network architecture that simultaneously learns the unknown geometry, camera parameters, and a neural renderer that approximates the light reflected from the surface towards the camera. The geometry is represented as a zero level-set of a neural network, while the neural renderer, derived from the rendering equation, is capable of (implicitly) modeling a wide set of lighting conditions and materials. We trained our network on real world 2D images of objects with different material properties, lighting conditions, and noisy camera initializations from the DTU MVS dataset. We found our model to produce state of the art 3D surface reconstructions with high fidelity, resolution and detail.

我们提出了一种有效的方法，用于从多视图图像观察中联合优化拓扑，材料和照明。与最近的多视图重建方法不同，通常在神经网络中产生纠缠的3D表示，我们将三角形网格输出具有空间不同的材料和环境照明，这些方法可以在任何传统的图形引擎中未修改。我们利用近期工作在可差异化的渲染中，基于坐标的网络紧凑地代表体积纹理，以及可微分的游行四边形，以便直接在表面网上直接实现基于梯度的优化。最后，我们介绍了环境照明的分流和近似的可分辨率配方，以有效地回收全频照明。实验表明我们的提取模型用于高级场景编辑，材料分解和高质量的视图插值，全部以三角形的渲染器（光栅化器和路径示踪剂）的交互式速率运行。

We present a novel neural surface reconstruction method called NeuralRoom for reconstructing room-sized indoor scenes directly from a set of 2D images. Recently, implicit neural representations have become a promising way to reconstruct surfaces from multiview images due to their high-quality results and simplicity. However, implicit neural representations usually cannot reconstruct indoor scenes well because they suffer severe shape-radiance ambiguity. We assume that the indoor scene consists of texture-rich and flat texture-less regions. In texture-rich regions, the multiview stereo can obtain accurate results. In the flat area, normal estimation networks usually obtain a good normal estimation. Based on the above observations, we reduce the possible spatial variation range of implicit neural surfaces by reliable geometric priors to alleviate shape-radiance ambiguity. Specifically, we use multiview stereo results to limit the NeuralRoom optimization space and then use reliable geometric priors to guide NeuralRoom training. Then the NeuralRoom would produce a neural scene representation that can render an image consistent with the input training images. In addition, we propose a smoothing method called perturbation-residual restrictions to improve the accuracy and completeness of the flat region, which assumes that the sampling points in a local surface should have the same normal and similar distance to the observation center. Experiments on the ScanNet dataset show that our method can reconstruct the texture-less area of indoor scenes while maintaining the accuracy of detail. We also apply NeuralRoom to more advanced multiview reconstruction algorithms and significantly improve their reconstruction quality.

神经渲染可用于在没有3D监督的情况下重建形状的隐式表示。然而，当前的神经表面重建方法难以学习形状的高频细节，因此经常过度厚度地呈现重建形状。我们提出了一种新的方法来提高神经渲染中表面重建的质量。我们遵循最近的工作，将表面模型为签名的距离字段。首先，我们提供了一个派生，以分析签名的距离函数，体积密度，透明度函数和体积渲染方程中使用的加权函数之间的关系。其次，我们观察到，试图在单个签名的距离函数中共同编码高频和低频组件会导致不稳定的优化。我们建议在基本函数和位移函数中分解签名的距离函数以及粗到最新的策略，以逐渐增加高频细节。最后，我们建议使用一种自适应策略，使优化能够专注于改善签名距离场具有伪影的表面附近的某些区域。我们的定性和定量结果表明，我们的方法可以重建高频表面细节，并获得比目前的现状更好的表面重建质量。代码将在https://github.com/yiqun-wang/hfs上发布。

虚拟内容创建和互动在现代3D应用中起着重要作用，例如AR和VR。从真实场景中恢复详细的3D模型可以显着扩大其应用程序的范围，并在计算机视觉和计算机图形社区中进行了数十年的研究。我们提出了基于体素的隐式表面表示Vox-Surf。我们的Vox-Surf将空间分为有限的体素。每个体素将几何形状和外观信息存储在其角顶点。 Vox-Surf得益于从体素表示继承的稀疏性，几乎适用于任何情况，并且可以轻松地从多个视图图像中训练。我们利用渐进式训练程序逐渐提取重要体素，以进一步优化，以便仅保留有效的体素，从而大大减少了采样点的数量并增加了渲染速度。细素还可以视为碰撞检测的边界量。该实验表明，与其他方法相比，Vox-Surf表示可以学习精致的表面细节和准确的颜色，并以更少的记忆力和更快的渲染速度来学习。我们还表明，Vox-Surf在场景编辑和AR应用中可能更实用。