We present a method for novel view synthesis from input images that are freely distributed around a scene. Our method does not rely on a regular arrangement of input views, can synthesize images for free camera movement through the scene, and works for general scenes with unconstrained geometric layouts. We calibrate the input images via SfM and erect a coarse geometric scaffold via MVS. This scaffold is used to create a proxy depth map for a novel view of the scene. Based on this depth map, a recurrent encoder-decoder network processes reprojected features from nearby views and synthesizes the new view. Our network does not need to be optimized for a given scene. After training on a dataset, it works in previously unseen environments with no finetuning or per-scene optimization. We evaluate the presented approach on challenging real-world datasets, including Tanks and Temples, where we demonstrate successful view synthesis for the first time and substantially outperform prior and concurrent work.

我们重新审视NPBG，这是一种流行的新型视图合成方法，引入了无处不在的点神经渲染范式。我们对具有快速视图合成的数据效率学习特别感兴趣。除前景/背景场景渲染分裂以及改善的损失外，我们还通过基于视图的网状点描述符栅格化来实现这一目标。通过仅在一个场景上训练，我们的表现就超过了在扫描仪上接受过培训的NPBG，然后进行了填充场景。我们还针对最先进的方法SVS进行了竞争性，该方法已在完整的数据集（DTU，坦克和寺庙）上进行了培训，然后进行了对现场的培训，尽管它们具有更深的神经渲染器。

我们提出了HRF-NET，这是一种基于整体辐射场的新型视图合成方法，该方法使用一组稀疏输入来呈现新视图。最近的概括视图合成方法还利用了光辉场，但渲染速度不是实时的。现有的方法可以有效地训练和呈现新颖的观点，但它们无法概括地看不到场景。我们的方法解决了用于概括视图合成的实时渲染问题，并由两个主要阶段组成：整体辐射场预测指标和基于卷积的神经渲染器。该架构不仅基于隐式神经场的一致场景几何形状，而且还可以使用单个GPU有效地呈现新视图。我们首先在DTU数据集的多个3D场景上训练HRF-NET，并且网络只能仅使用光度损耗就看不见的真实和合成数据产生合理的新视图。此外，我们的方法可以利用单个场景的密集参考图像集来产生准确的新颖视图，而无需依赖其他明确表示，并且仍然保持了预训练模型的高速渲染。实验结果表明，HRF-NET优于各种合成和真实数据集的最先进的神经渲染方法。

本文旨在减少透明辐射场的渲染时间。一些最近的作品用图像编码器配备了神经辐射字段，能够跨越场景概括，这避免了每场景优化。但是，它们的渲染过程通常很慢。主要因素是，在推断辐射场时，它们在空间中的大量点。在本文中，我们介绍了一个混合场景表示，它结合了最佳的隐式辐射场和显式深度映射，以便有效渲染。具体地，我们首先构建级联成本量，以有效地预测场景的粗糙几何形状。粗糙几何允许我们在场景表面附近的几个点来样，并显着提高渲染速度。该过程是完全可疑的，使我们能够仅从RGB图像共同学习深度预测和辐射现场网络。实验表明，该方法在DTU，真正的前瞻性和NERF合成数据集上展示了最先进的性能，而不是比以前的最可推广的辐射现场方法快至少50倍。我们还展示了我们的方法实时综合动态人类执行者的自由观点视频。代码将在https://zju3dv.github.io/enerf/处提供。

We present a method that synthesizes novel views of complex scenes by interpolating a sparse set of nearby views. The core of our method is a network architecture that includes a multilayer perceptron and a ray transformer that estimates radiance and volume density at continuous 5D locations (3D spatial locations and 2D viewing directions), drawing appearance information on the fly from multiple source views. By drawing on source views at render time, our method hearkens back to classic work on image-based rendering (IBR), and allows us to render high-resolution imagery. Unlike neural scene representation work that optimizes per-scene functions for rendering, we learn a generic view interpolation function that generalizes to novel scenes. We render images using classic volume rendering, which is fully differentiable and allows us to train using only multiview posed images as supervision. Experiments show that our method outperforms recent novel view synthesis methods that also seek to generalize to novel scenes. Further, if fine-tuned on each scene, our method is competitive with state-of-the-art single-scene neural rendering methods. 1

我们呈现Geonerf，一种基于神经辐射场的完全光电素质性新颖性研究综合方法。我们的方法由两个主要阶段组成：几何推理和渲染器。为了渲染新颖的视图，几何件推理首先为每个附近的源视图构造级联成本卷。然后，使用基于变压器的注意力机制和级联成本卷，渲染器Infers的几何和外观，并通过经典音量渲染技术呈现细节的图像。特别是该架构允许复杂的遮挡推理，从一致的源视图中收集信息。此外，我们的方法可以在单个场景中轻松进行微调，通过每场比较优化的神经渲染方法呈现竞争结果，其数量是计算成本。实验表明，Geonerf优于各种合成和实时数据集的最先进的最新神经渲染模型。最后，随着对几何推理的略微修改，我们还提出了一种适应RGBD图像的替代模型。由于深度传感器，该模型通常直接利用经常使用的深度信息。实施代码将公开可用。

我们介绍了神经点光场，它用稀疏点云上的轻场隐含地表示场景。结合可分辨率的体积渲染与学习的隐式密度表示使得可以合成用于小型场景的新颖视图的照片现实图像。作为神经体积渲染方法需要潜在的功能场景表示的浓密采样，在沿着射线穿过体积的数百个样本，它们从根本上限制在具有投影到数百个训练视图的相同对象的小场景。向神经隐式光线推广稀疏点云允许我们有效地表示每个光线的单个隐式采样操作。这些点光场作为光线方向和局部点特征邻域的函数，允许我们在没有密集的物体覆盖和视差的情况下插入光场条件训练图像。我们评估大型驾驶场景的新型视图综合的提出方法，在那里我们综合了现实的看法，即现有的隐式方法未能代表。我们验证了神经点光场可以通过显式建模场景来实现沿着先前轨迹的视频来预测沿着看不见的轨迹的视频。

Volumetric neural rendering methods like NeRF generate high-quality view synthesis results but are optimized per-scene leading to prohibitive reconstruction time. On the other hand, deep multi-view stereo methods can quickly reconstruct scene geometry via direct network inference. Point-NeRF combines the advantages of these two approaches by using neural 3D point clouds, with associated neural features, to model a radiance field. Point-NeRF can be rendered efficiently by aggregating neural point features near scene surfaces, in a ray marching-based rendering pipeline. Moreover, Point-NeRF can be initialized via direct inference of a pre-trained deep network to produce a neural point cloud; this point cloud can be finetuned to surpass the visual quality of NeRF with 30X faster training time. Point-NeRF can be combined with other 3D reconstruction methods and handles the errors and outliers in such methods via a novel pruning and growing mechanism. The experiments on the DTU, the NeRF Synthetics , the ScanNet and the Tanks and Temples datasets demonstrate Point-NeRF can surpass the existing methods and achieve the state-of-the-art results.

神经辐射字段（NERF）将场景编码为神经表示，使得能够实现新颖视图的照片逼真。然而，RGB图像的成功重建需要在静态条件下拍摄的大量输入视图 - 通常可以为房间尺寸场景的几百个图像。我们的方法旨在将整个房间的小说视图从数量级的图像中合成。为此，我们利用密集的深度前导者来限制NERF优化。首先，我们利用从用于估计相机姿势的运动（SFM）预处理步骤的结构自由提供的稀疏深度数据。其次，我们使用深度完成将这些稀疏点转换为密集的深度图和不确定性估计，用于指导NERF优化。我们的方法使数据有效的新颖观看综合在挑战室内场景中，使用少量为整个场景的18张图像。

Fast and easy handheld capture with guideline: closest object moves at most D pixels between views Promote sampled views to local light field via layered scene representation Blend neighboring local light fields to render novel views

用于运动中的人类的新型视图综合是一个具有挑战性的计算机视觉问题，使得诸如自由视视频之类的应用。现有方法通常使用具有多个输入视图，3D监控或预训练模型的复杂设置，这些模型不会概括为新标识。旨在解决这些限制，我们提出了一种新颖的视图综合框架，以从单视图传感器捕获的任何人的看法生成现实渲染，其具有稀疏的RGB-D，类似于低成本深度摄像头，而没有参与者特定的楷模。我们提出了一种架构来学习由基于球体的神经渲染获得的小说视图中的密集功能，并使用全局上下文修复模型创建完整的渲染。此外，增强剂网络利用了整体保真度，即使在原始视图中的遮挡区域中也能够产生细节的清晰渲染。我们展示了我们的方法为单个稀疏RGB-D输入产生高质量的合成和真实人体演员的新颖视图。它概括了看不见的身份，新的姿势，忠实地重建面部表情。我们的方法优于现有人体观测合成方法，并且对不同水平的输入稀疏性具有稳健性。

基于3D点云表示的视图合成方法已证明有效性。但是，现有的方法通常仅从单个源视图中综合新视图，并且概括它们以处理多个源视图以追求更高的重建质量是不平凡的。在本文中，我们提出了一种新的基于深度学习的视图综合范式，该范式从不同的源视图中学习了统一的3D点云。具体而言，我们首先通过根据其深度图将源视图投影到3D空间来构建子点云。然后，我们通过在子点云联合定义的本地社区中自适应地融合点来学习统一的3D点云。此外，我们还提出了一个3D几何引导的图像恢复模块，以填充孔并恢复渲染的新型视图的高频细节。三个基准数据集的实验结果表明，我们的方法在数量和视觉上都在很大程度上优于最先进的综合方法。

我们介绍了Fadiv-Syn，一种快速深入的新型观点合成方法。相关方法通常受到它们的深度估计阶段的限制，其中不正确的深度预测可能导致大的投影误差。为避免此问题，我们将输入图像有效地将输入图像呈现为目标帧，以为一系列假定的深度平面。得到的平面扫描量（PSV）直接进入我们的网络，首先以自我监督的方式估计软PSV掩模，然后直接产生新颖的输出视图。因此，我们侧行显式深度估计。这提高了透明，反光，薄，特色场景部件上的效率和性能。 Fadiv-syn可以在大规模Realestate10K数据集上执行插值和外推任务，优于最先进的外推方法。与可比方法相比，它由于其轻量级架构而实现了实时性能。我们彻底评估消融，例如去除软掩蔽网络，从更少的示例中培训以及更高的分辨率和更强深度离散化的概括。

In this work, we address the lack of 3D understanding of generative neural networks by introducing a persistent 3D feature embedding for view synthesis. To this end, we propose DeepVoxels, a learned representation that encodes the view-dependent appearance of a 3D scene without having to explicitly model its geometry. At its core, our approach is based on a Cartesian 3D grid of persistent embedded features that learn to make use of the underlying 3D scene structure. Our approach combines insights from 3D geometric computer vision with recent advances in learning image-to-image mappings based on adversarial loss functions. DeepVoxels is supervised, without requiring a 3D reconstruction of the scene, using a 2D re-rendering loss and enforces perspective and multi-view geometry in a principled manner. We apply our persistent 3D scene representation to the problem of novel view synthesis demonstrating high-quality results for a variety of challenging scenes.

新型视图合成（NVS）是一项具有挑战性的任务，需要系统从新观点中生成场景的影像图像，在新观点中，质量和速度对应用都很重要。以前的基于图像的渲染（IBR）方法很快，但是当输入视图稀疏时质量较差。最近的神经辐射场（NERF）和可推广的变体可带来令人印象深刻的结果，但不是实时的。在我们的论文中，我们提出了一种具有稀疏输入的可推广的NVS方法，称为FWD，该方法可实时提供高质量的合成。凭借明确的深度和可区分的渲染，它以130-1000 X的加速和更好的感知质量取得了SOTA方法的竞争结果。如果有的话，我们可以在训练或推理过程中无缝整合传感器深度，以提高图像质量，同时保持实时速度。随着深度传感器的越来越多的流行率，我们希望使用深度的方法将变得越来越有用。

A recent strand of work in view synthesis uses deep learning to generate multiplane images-a camera-centric, layered 3D representation-given two or more input images at known viewpoints. We apply this representation to singleview view synthesis, a problem which is more challenging but has potentially much wider application. Our method learns to predict a multiplane image directly from a single image input, and we introduce scale-invariant view synthesis for supervision, enabling us to train on online video. We show this approach is applicable to several different datasets, that it additionally generates reasonable depth maps, and that it learns to fill in content behind the edges of foreground objects in background layers.Project page at https://single-view-mpi.github.io/.

我们研究了从3D对象组成的场景的稀疏源观察的新型视图综合的问题。我们提出了一种简单但有效的方法，既不是持续的也不是隐含的，挑战近期观测综合的趋势。我们的方法将观察显式编码为启用摊销渲染的体积表示。我们证明，虽然由于其表现力，但由于其表现力，但由于其富有力的力量，我们的简单方法获得了与最新的基线的比较比较了与最先进的基线的相当甚至更好的新颖性重建质量，同时增加了渲染速度超过400倍。我们的模型采用类别无关方式培训，不需要特定于场景的优化。因此，它能够将新颖的视图合成概括为在训练期间未见的对象类别。此外，我们表明，通过简单的制定，我们可以使用视图综合作为自我监控信号，以便在没有明确的3D监督的情况下高效学习3D几何。

Neural Radiance Fields (NeRFs) are emerging as a ubiquitous scene representation that allows for novel view synthesis. Increasingly, NeRFs will be shareable with other people. Before sharing a NeRF, though, it might be desirable to remove personal information or unsightly objects. Such removal is not easily achieved with the current NeRF editing frameworks. We propose a framework to remove objects from a NeRF representation created from an RGB-D sequence. Our NeRF inpainting method leverages recent work in 2D image inpainting and is guided by a user-provided mask. Our algorithm is underpinned by a confidence based view selection procedure. It chooses which of the individual 2D inpainted images to use in the creation of the NeRF, so that the resulting inpainted NeRF is 3D consistent. We show that our method for NeRF editing is effective for synthesizing plausible inpaintings in a multi-view coherent manner. We validate our approach using a new and still-challenging dataset for the task of NeRF inpainting.

新型视图综合的古典光场渲染可以准确地再现视图依赖性效果，例如反射，折射和半透明，但需要一个致密的视图采样的场景。基于几何重建的方法只需要稀疏的视图，但不能准确地模拟非兰伯语的效果。我们介绍了一个模型，它结合了强度并减轻了这两个方向的局限性。通过在光场的四维表示上操作，我们的模型学会准确表示依赖视图效果。通过在训练和推理期间强制执行几何约束，从稀疏的视图集中毫无屏蔽地学习场景几何。具体地，我们介绍了一种基于两级变压器的模型，首先沿着ePipoll线汇总特征，然后沿参考视图聚合特征以产生目标射线的颜色。我们的模型在多个前进和360 {\ DEG}数据集中优于最先进的，具有较大的差别依赖变化的场景更大的边缘。