自从神经辐射场（NERF）出现以来，神经渲染引起了极大的关注，并且已经大大推动了新型视图合成的最新作品。最近的重点是在模型上过度适合单个场景，以及学习模型的一些尝试，这些模型可以综合看不见的场景的新型视图，主要包括将深度卷积特征与类似NERF的模型组合在一起。我们提出了一个不同的范式，不需要深层特征，也不需要类似NERF的体积渲染。我们的方法能够直接从现场采样的贴片集中直接预测目标射线的颜色。我们首先利用表现几何形状沿着每个参考视图的异性线提取斑块。每个贴片线性地投影到1D特征向量和一系列变压器处理集合中。对于位置编码，我们像在光场表示中一样对射线进行参数化，并且至关重要的差异是坐标是相对于目标射线的规范化的，这使我们的方法与参考帧无关并改善了概括。我们表明，即使接受比先前的工作要少得多的数据训练，我们的方法在新颖的综合综合方面都超出了最新的视图综合。

新型视图综合的古典光场渲染可以准确地再现视图依赖性效果，例如反射，折射和半透明，但需要一个致密的视图采样的场景。基于几何重建的方法只需要稀疏的视图，但不能准确地模拟非兰伯语的效果。我们介绍了一个模型，它结合了强度并减轻了这两个方向的局限性。通过在光场的四维表示上操作，我们的模型学会准确表示依赖视图效果。通过在训练和推理期间强制执行几何约束，从稀疏的视图集中毫无屏蔽地学习场景几何。具体地，我们介绍了一种基于两级变压器的模型，首先沿着ePipoll线汇总特征，然后沿参考视图聚合特征以产生目标射线的颜色。我们的模型在多个前进和360 {\ DEG}数据集中优于最先进的，具有较大的差别依赖变化的场景更大的边缘。

我们提出了可推广的NERF变压器（GNT），这是一种纯粹的，统一的基于变压器的体系结构，可以从源视图中有效地重建神经辐射场（NERF）。与NERF上的先前作品不同，通过颠倒手工渲染方程来优化人均隐式表示，GNT通过封装两个基于变压器的阶段来实现可概括的神经场景表示和渲染。 GNT的第一阶段，称为View Transformer，利用多视图几何形状作为基于注意力的场景表示的电感偏差，并通过在相邻视图上从异性线中汇总信息来预测与坐标对齐的特征。 GNT的第二阶段，名为Ray Transformer，通过Ray Marching呈现新视图，并使用注意机制直接解码采样点特征的序列。我们的实验表明，当在单个场景上进行优化时，GNT可以在不明确渲染公式的情况下成功重建NERF，甚至由于可学习的射线渲染器，在复杂的场景上甚至将PSNR提高了〜1.3db。当在各种场景中接受培训时，GNT转移到前面的LLFF数据集（LPIPS〜20％，SSIM〜25％$）和合成搅拌器数据集（LPIPS〜20％，SSIM 〜25％$）时，GNN会始终达到最先进的性能4％）。此外，我们表明可以从学习的注意图中推断出深度和遮挡，这意味着纯粹的注意机制能够学习一个物理地面渲染过程。所有这些结果使我们更接近将变形金刚作为“通用建模工具”甚至用于图形的诱人希望。请参阅我们的项目页面以获取视频结果：https：//vita-group.github.io/gnt/。

We present a method that synthesizes novel views of complex scenes by interpolating a sparse set of nearby views. The core of our method is a network architecture that includes a multilayer perceptron and a ray transformer that estimates radiance and volume density at continuous 5D locations (3D spatial locations and 2D viewing directions), drawing appearance information on the fly from multiple source views. By drawing on source views at render time, our method hearkens back to classic work on image-based rendering (IBR), and allows us to render high-resolution imagery. Unlike neural scene representation work that optimizes per-scene functions for rendering, we learn a generic view interpolation function that generalizes to novel scenes. We render images using classic volume rendering, which is fully differentiable and allows us to train using only multiview posed images as supervision. Experiments show that our method outperforms recent novel view synthesis methods that also seek to generalize to novel scenes. Further, if fine-tuned on each scene, our method is competitive with state-of-the-art single-scene neural rendering methods. 1

神经辐射场（NERFS）产生最先进的视图合成结果。然而，它们慢渲染，需要每像素数百个网络评估，以近似卷渲染积分。将nerfs烘烤到明确的数据结构中实现了有效的渲染，但导致内存占地面积的大幅增加，并且在许多情况下，质量降低。在本文中，我们提出了一种新的神经光场表示，相反，相反，紧凑，直接预测沿线的集成光线。我们的方法支持使用每个像素的单个网络评估，用于小基线光场数据集，也可以应用于每个像素的几个评估的较大基线。在我们的方法的核心，是一个光线空间嵌入网络，将4D射线空间歧管映射到中间可间可动子的潜在空间中。我们的方法在诸如斯坦福光场数据集等密集的前置数据集中实现了最先进的质量。此外，对于带有稀疏输入的面对面的场景，我们可以在质量方面实现对基于NERF的方法具有竞争力的结果，同时提供更好的速度/质量/内存权衡，网络评估较少。

我们提出了HRF-NET，这是一种基于整体辐射场的新型视图合成方法，该方法使用一组稀疏输入来呈现新视图。最近的概括视图合成方法还利用了光辉场，但渲染速度不是实时的。现有的方法可以有效地训练和呈现新颖的观点，但它们无法概括地看不到场景。我们的方法解决了用于概括视图合成的实时渲染问题，并由两个主要阶段组成：整体辐射场预测指标和基于卷积的神经渲染器。该架构不仅基于隐式神经场的一致场景几何形状，而且还可以使用单个GPU有效地呈现新视图。我们首先在DTU数据集的多个3D场景上训练HRF-NET，并且网络只能仅使用光度损耗就看不见的真实和合成数据产生合理的新视图。此外，我们的方法可以利用单个场景的密集参考图像集来产生准确的新颖视图，而无需依赖其他明确表示，并且仍然保持了预训练模型的高速渲染。实验结果表明，HRF-NET优于各种合成和真实数据集的最先进的神经渲染方法。

计算机愿景中的经典问题是推断从几个可用于以交互式速率渲染新颖视图的图像的3D场景表示。以前的工作侧重于重建预定定义的3D表示，例如，纹理网格或隐式表示，例如隐式表示。辐射字段，并且通常需要输入图像，具有精确的相机姿势和每个新颖场景的长处理时间。在这项工作中，我们提出了场景表示变换器（SRT），一种方法，该方法处理新的区域的构成或未铺设的RGB图像，Infers Infers“设置 - 潜在场景表示”，并合成新颖的视图，全部在一个前馈中经过。为了计算场景表示，我们提出了视觉变压器的概括到图像组，实现全局信息集成，从而实现3D推理。一个有效的解码器变压器通过参加场景表示来参加光场以呈现新颖的视图。通过最大限度地减少新型视图重建错误，学习是通过最终到底的。我们表明，此方法在PSNR和Synthetic DataSets上的速度方面优于最近的基线，包括为纸张创建的新数据集。此外，我们展示了使用街景图像支持现实世界户外环境的交互式可视化和语义分割。

Input: 3 views of held-out scene NeRF pixelNeRF Output: Rendered new views Input Novel views Input Novel views Input Novel views Figure 1: NeRF from one or few images. We present pixelNeRF, a learning framework that predicts a Neural Radiance Field (NeRF) representation from a single (top) or few posed images (bottom). PixelNeRF can be trained on a set of multi-view images, allowing it to generate plausible novel view synthesis from very few input images without test-time optimization (bottom left). In contrast, NeRF has no generalization capabilities and performs poorly when only three input views are available (bottom right).

在本文中，我们为复杂场景进行了高效且强大的深度学习解决方案。在我们的方法中，3D场景表示为光场，即，一组光线，每组在到达图像平面时具有相应的颜色。对于高效的新颖视图渲染，我们采用了光场的双面参数化，其中每个光线的特征在于4D参数。然后，我们将光场配向作为4D函数，即将4D坐标映射到相应的颜色值。我们训练一个深度完全连接的网络以优化这种隐式功能并记住3D场景。然后，特定于场景的模型用于综合新颖视图。与以前需要密集的视野的方法不同，需要密集的视野采样来可靠地呈现新颖的视图，我们的方法可以通过采样光线来呈现新颖的视图并直接从网络查询每种光线的颜色，从而使高质量的灯场呈现稀疏集合训练图像。网络可以可选地预测每光深度，从而使诸如自动重新焦点的应用。我们的小说视图合成结果与最先进的综合结果相当，甚至在一些具有折射和反射的具有挑战性的场景中优越。我们在保持交互式帧速率和小的内存占地面积的同时实现这一点。

我们介绍了神经点光场，它用稀疏点云上的轻场隐含地表示场景。结合可分辨率的体积渲染与学习的隐式密度表示使得可以合成用于小型场景的新颖视图的照片现实图像。作为神经体积渲染方法需要潜在的功能场景表示的浓密采样，在沿着射线穿过体积的数百个样本，它们从根本上限制在具有投影到数百个训练视图的相同对象的小场景。向神经隐式光线推广稀疏点云允许我们有效地表示每个光线的单个隐式采样操作。这些点光场作为光线方向和局部点特征邻域的函数，允许我们在没有密集的物体覆盖和视差的情况下插入光场条件训练图像。我们评估大型驾驶场景的新型视图综合的提出方法，在那里我们综合了现实的看法，即现有的隐式方法未能代表。我们验证了神经点光场可以通过显式建模场景来实现沿着先前轨迹的视频来预测沿着看不见的轨迹的视频。

Photo-realistic free-viewpoint rendering of real-world scenes using classical computer graphics techniques is challenging, because it requires the difficult step of capturing detailed appearance and geometry models. Recent studies have demonstrated promising results by learning scene representations that implicitly encode both geometry and appearance without 3D supervision. However, existing approaches in practice often show blurry renderings caused by the limited network capacity or the difficulty in finding accurate intersections of camera rays with the scene geometry. Synthesizing high-resolution imagery from these representations often requires time-consuming optical ray marching. In this work, we introduce Neural Sparse Voxel Fields (NSVF), a new neural scene representation for fast and high-quality free-viewpoint rendering. NSVF defines a set of voxel-bounded implicit fields organized in a sparse voxel octree to model local properties in each cell. We progressively learn the underlying voxel structures with a diffentiable ray-marching operation from only a set of posed RGB images. With the sparse voxel octree structure, rendering novel views can be accelerated by skipping the voxels containing no relevant scene content. Our method is typically over 10 times faster than the state-of-the-art (namely, NeRF (Mildenhall et al., 2020)) at inference time while achieving higher quality results. Furthermore, by utilizing an explicit sparse voxel representation, our method can easily be applied to scene editing and scene composition. We also demonstrate several challenging tasks, including multi-scene learning, free-viewpoint rendering of a moving human, and large-scale scene rendering. Code and data are available at our website: https://github.com/facebookresearch/NSVF.

我们探索了基于神经光场表示的几种新颖观点合成的新策略。给定目标摄像头姿势，隐式神经网络将每个射线映射到其目标像素的颜色。该网络的条件是根据来自显式3D特征量的粗量渲染产生的本地射线特征。该卷是由使用3D Convnet的输入图像构建的。我们的方法在基于最先进的神经辐射场竞争方面，在合成和真实MVS数据上实现了竞争性能，同时提供了100倍的渲染速度。

多视图立体声（MVS）是3D计算机视觉中的核心任务。随着新颖的深度学习方法的激增，学习的MVS超过了经典方法的准确性，但仍然依赖于建立记忆密集型密集的成本量。新型视图合成（NVS）是一项平行的研究线，最近发现神经辐射场（NERF）模型的普及程度增加，该模型优化了每个场景辐射场。但是，NERF方法不会推广到新颖的场景，并且训练和测试速度很慢。我们建议用一个可以恢复3D场景几何形状作为距离函数的新型网络以及高分辨率的颜色图像来弥合这两种方法之间的差距。我们的方法仅使用一组稀疏的图像作为输入，可以很好地推广到新颖的场景。此外，我们提出了一种粗糙的球形追踪方法，以显着提高速度。我们在各种数据集上表明，我们的方法达到了与人均优化方法的可比精度，同时能够概括和运行速度更快。我们在https://github.com/ais-bonn/neural_mvs上提供源代码

尽管神经辐射场（NERF）在新型视图合成方面表现出了令人印象深刻的进步，但大多数方法通常需要具有准确的相机姿势的同一场景的多个输入图像。在这项工作中，我们试图将输入实质上减少到单个未予以的图像。现有的方法在本地图像功能上有条件重建一个3D对象，但通常会在远离源视图的视点处进行模糊的预测。为了解决这个问题，我们建议利用全球和本地功能形成表现力的3D表示。全局功能是从视觉变压器中学到的，而本地功能则从2D卷积网络中提取。为了综合一种新型视图，我们训练以学习的3D表示条件进行量渲染的多层感知器（MLP）网络。这种新颖的3D表示允许网络重建看不见的区域，而无需执行对称或规范坐标系等约束。我们的方法只能从单个输入图像中渲染新视图，并使用单个模型在多个对象类别中概括。定量和定性评估表明，所提出的方法可实现最先进的绩效，并使细节比现有方法更丰富。

我们提出了一个基于变压器的NERF（Transnerf），以学习在新视图合成任务的观察视图图像上进行的通用神经辐射场。相比之下，现有的基于MLP的NERF无法直接接收具有任意号码的观察视图，并且需要基于辅助池的操作来融合源视图信息，从而导致源视图与目标渲染视图之间缺少复杂的关系。此外，当前方法分别处理每个3D点，忽略辐射场场景表示的局部一致性。这些局限性可能会在挑战现实世界应用中降低其性能，在这些应用程序中可能存在巨大的差异和新颖的渲染视图之间的巨大差异。为了应对这些挑战，我们的Transnerf利用注意机制自然地将任意数量的源视图的深层关联解码为基于坐标的场景表示。在统一变压器网络中，在射线铸造空间和周围视图空间中考虑了形状和外观的局部一致性。实验表明，与基于图像的最先进的基于图像的神经渲染方法相比，我们在各种场景上接受过培训的Transnf可以在场景 - 敏捷和每个场景的燃烧场景中获得更好的性能。源视图与渲染视图之间的差距很大。

We present a method that achieves state-of-the-art results for synthesizing novel views of complex scenes by optimizing an underlying continuous volumetric scene function using a sparse set of input views. Our algorithm represents a scene using a fully-connected (nonconvolutional) deep network, whose input is a single continuous 5D coordinate (spatial location (x, y, z) and viewing direction (θ, φ)) and whose output is the volume density and view-dependent emitted radiance at that spatial location. We synthesize views by querying 5D coordinates along camera rays and use classic volume rendering techniques to project the output colors and densities into an image. Because volume rendering is naturally differentiable, the only input required to optimize our representation is a set of images with known camera poses. We describe how to effectively optimize neural radiance fields to render photorealistic novel views of scenes with complicated geometry and appearance, and demonstrate results that outperform prior work on neural rendering and view synthesis. View synthesis results are best viewed as videos, so we urge readers to view our supplementary video for convincing comparisons.

我们呈现Geonerf，一种基于神经辐射场的完全光电素质性新颖性研究综合方法。我们的方法由两个主要阶段组成：几何推理和渲染器。为了渲染新颖的视图，几何件推理首先为每个附近的源视图构造级联成本卷。然后，使用基于变压器的注意力机制和级联成本卷，渲染器Infers的几何和外观，并通过经典音量渲染技术呈现细节的图像。特别是该架构允许复杂的遮挡推理，从一致的源视图中收集信息。此外，我们的方法可以在单个场景中轻松进行微调，通过每场比较优化的神经渲染方法呈现竞争结果，其数量是计算成本。实验表明，Geonerf优于各种合成和实时数据集的最先进的最新神经渲染模型。最后，随着对几何推理的略微修改，我们还提出了一种适应RGBD图像的替代模型。由于深度传感器，该模型通常直接利用经常使用的深度信息。实施代码将公开可用。

We address the problem of synthesizing novel views from a monocular video depicting a complex dynamic scene. State-of-the-art methods based on temporally varying Neural Radiance Fields (aka dynamic NeRFs) have shown impressive results on this task. However, for long videos with complex object motions and uncontrolled camera trajectories, these methods can produce blurry or inaccurate renderings, hampering their use in real-world applications. Instead of encoding the entire dynamic scene within the weights of an MLP, we present a new approach that addresses these limitations by adopting a volumetric image-based rendering framework that synthesizes new viewpoints by aggregating features from nearby views in a scene-motion-aware manner. Our system retains the advantages of prior methods in its ability to model complex scenes and view-dependent effects, but also enables synthesizing photo-realistic novel views from long videos featuring complex scene dynamics with unconstrained camera trajectories. We demonstrate significant improvements over state-of-the-art methods on dynamic scene datasets, and also apply our approach to in-the-wild videos with challenging camera and object motion, where prior methods fail to produce high-quality renderings. Our project webpage is at dynibar.github.io.

在本文中，我们提出了一个简单的SEQ2SEQ公式，用于查看合成，其中我们将一组射线点作为输入和输出颜色对应于射线。在此SEQ2SEQ公式上直接应用标准变压器具有两个局限性。首先，标准注意力不能成功拟合体积渲染过程，因此在合成视图中缺少高频组件。其次，将全球关注应用于所有射线和像素非常效率极低。受神经辐射场（NERF）的启发，我们建议NERF注意（NERFA）解决上述问题。一方面，Nerfa将体积渲染方程视为软特征调制过程。通过这种方式，特征调制可以通过类似NERF的电感偏置增强变压器。另一方面，Nerfa执行多阶段的关注以减少计算开销。此外，NERFA模型采用射线和像素变压器来学习射线和像素之间的相互作用。 Nerfa在四个数据集上展示了比NERF和Nerformer出色的性能：DeepVoxels，Blender，LLFF和CO3D。此外，Nerfa在两个设置下建立了一个新的最新技术：单场视图合成和以类别为中心的小说视图合成。该代码将公开可用。

我们呈现NERF-SR，一种用于高分辨率（HR）新型视图合成的解决方案，主要是低分辨率（LR）输入。我们的方法是基于神经辐射场（NERF）的内置，其预测每点密度和颜色，具有多层的射击。在在任意尺度上产生图像时，NERF与超越观察图像的分辨率努力。我们的关键识别是NERF具有本地之前的，这意味着可以在附近区域传播3D点的预测，并且保持准确。我们首先通过超级采样策略来利用它，该策略在每个图像像素处射击多个光线，这在子像素级别强制了多视图约束。然后，我们表明，NERF-SR可以通过改进网络进一步提高超级采样的性能，该细化网络利用估计的深度来实现HR参考图像上的相关补丁的幻觉。实验结果表明，NERF-SR在合成和现实世界数据集的HR上为新型视图合成产生高质量结果。