Recent neural radiance field (NeRF) representation has achieved great success in the tasks of novel view synthesis and 3D reconstruction. However, they suffer from the catastrophic forgetting problem when continuously learning from streaming data without revisiting the previous training data. This limitation prohibits the application of existing NeRF models to scenarios where images come in sequentially. In view of this, we explore the task of incremental learning for neural radiance field representation in this work. We first propose a student-teacher pipeline to mitigate the catastrophic forgetting problem. Specifically, we iterate the process of using the student as the teacher at the end of each incremental step and let the teacher guide the training of the student in the next step. In this way, the student network is able to learn new information from the streaming data and retain old knowledge from the teacher network simultaneously. Given that not all information from the teacher network is helpful since it is only trained with the old data, we further introduce a random inquirer and an uncertainty-based filter to filter useful information. We conduct experiments on the NeRF-synthetic360 and NeRF-real360 datasets, where our approach significantly outperforms the baselines by 7.3% and 25.2% in terms of PSNR. Furthermore, we also show that our approach can be applied to the large-scale camera facing-outwards dataset ScanNet, where we surpass the baseline by 60.0% in PSNR.

Hinged on the representation power of neural networks, neural radiance fields (NeRF) have recently emerged as one of the promising and widely applicable methods for 3D object and scene representation. However, NeRF faces challenges in practical applications, such as large-scale scenes and edge devices with a limited amount of memory, where data needs to be processed sequentially. Under such incremental learning scenarios, neural networks are known to suffer catastrophic forgetting: easily forgetting previously seen data after training with new data. We observe that previous incremental learning algorithms are limited by either low performance or memory scalability issues. As such, we develop a Memory-Efficient Incremental Learning algorithm for NeRF (MEIL-NeRF). MEIL-NeRF takes inspiration from NeRF itself in that a neural network can serve as a memory that provides the pixel RGB values, given rays as queries. Upon the motivation, our framework learns which rays to query NeRF to extract previous pixel values. The extracted pixel values are then used to train NeRF in a self-distillation manner to prevent catastrophic forgetting. As a result, MEIL-NeRF demonstrates constant memory consumption and competitive performance.

Recent efforts in Neural Rendering Fields (NeRF) have shown impressive results on novel view synthesis by utilizing implicit neural representation to represent 3D scenes. Due to the process of volumetric rendering, the inference speed for NeRF is extremely slow, limiting the application scenarios of utilizing NeRF on resource-constrained hardware, such as mobile devices. Many works have been conducted to reduce the latency of running NeRF models. However, most of them still require high-end GPU for acceleration or extra storage memory, which is all unavailable on mobile devices. Another emerging direction utilizes the neural light field (NeLF) for speedup, as only one forward pass is performed on a ray to predict the pixel color. Nevertheless, to reach a similar rendering quality as NeRF, the network in NeLF is designed with intensive computation, which is not mobile-friendly. In this work, we propose an efficient network that runs in real-time on mobile devices for neural rendering. We follow the setting of NeLF to train our network. Unlike existing works, we introduce a novel network architecture that runs efficiently on mobile devices with low latency and small size, i.e., saving $15\times \sim 24\times$ storage compared with MobileNeRF. Our model achieves high-resolution generation while maintaining real-time inference for both synthetic and real-world scenes on mobile devices, e.g., $18.04$ms (iPhone 13) for rendering one $1008\times756$ image of real 3D scenes. Additionally, we achieve similar image quality as NeRF and better quality than MobileNeRF (PSNR $26.15$ vs. $25.91$ on the real-world forward-facing dataset).

关于神经辐射场（NERF）的最新研究爆炸表明，具有神经网络的复杂场面具有令人鼓舞的潜力。 NERF的一个主要缺点是它的推理时间：渲染单像素需要数百次查询NERF网络。为了解决它，现有的努力主要试图减少所需的采样点的数量。但是，迭代采样的问题仍然存在。另一方面，神经光场（NELF）在新型视图合成中对NERF提出了更直接的表示 - 像素的渲染相当于一个单一的正向通行，而无需射线建设。在这项工作中，我们提出了一个深层残留的MLP网络（88层），以有效地学习光场。我们展示了成功学习这种深度NELF网络的关键，就是拥有足够的数据，我们通过数据蒸馏从预训练的NERF模型中转移知识。在合成和现实世界场景上进行的广泛实验表明，我们方法比其他对应算法的优点。在合成场景中，我们实现了26-35倍的拖鞋（每个摄像头射线）和28-31倍的运行时加速，同时提供了比NERF的呈现质量（1.4-2.8 dB的平均PSNR改善），而无需任何定制的并行性要求。

我们呈现高动态范围神经辐射字段（HDR-NERF），以从一组低动态范围（LDR）视图的HDR辐射率字段与不同的曝光。使用HDR-NERF，我们能够在不同的曝光下生成新的HDR视图和新型LDR视图。我们方法的关键是模拟物理成像过程，该过程决定了场景点的辐射与具有两个隐式功能的LDR图像中的像素值转换为：RADIACE字段和音调映射器。辐射场对场景辐射（值在0到+末端之间的值变化），其通过提供相应的射线源和光线方向来输出光线的密度和辐射。 TONE MAPPER模拟映射过程，即在相机传感器上击中的光线变为像素值。通过将辐射和相应的曝光时间送入音调映射器来预测光线的颜色。我们使用经典的卷渲染技术将输出辐射，颜色和密度投影为HDR和LDR图像，同时只使用输入的LDR图像作为监控。我们收集了一个新的前瞻性的HDR数据集，以评估所提出的方法。综合性和现实世界场景的实验结果验证了我们的方法不仅可以准确控制合成视图的曝光，还可以用高动态范围呈现视图。

神经辐射场（NERF）在代表3D场景和合成新颖视图中示出了很大的潜力，但是在推理阶段的NERF的计算开销仍然很重。为了减轻负担，我们进入了NERF的粗细分，分层采样过程，并指出粗阶段可以被我们命名神经样本场的轻量级模块代替。所提出的示例场地图光线进入样本分布，可以将其转换为点坐标并进料到radiance字段以进行体积渲染。整体框架被命名为Neusample。我们在现实合成360 $ ^ {\ circ} $和真正的前瞻性，两个流行的3D场景集上进行实验，并表明Neusample在享受更快推理速度时比NERF实现更好的渲染质量。Neusample进一步压缩，以提出的样品场提取方法朝向质量和速度之间的更好的权衡。

最近，神经辐射场（NERF）在重建3D场景并从一组稀疏的2D图像中综合新视图方面表现出了有希望的表演。尽管有效，但NERF的性能受到训练样品质量的很大影响。由于现场有限的图像，Nerf无法很好地概括到新颖的观点，并可能崩溃到未观察到的区域中的琐碎解决方案。这使得在资源约束的情况下不切实际。在本文中，我们提出了一个新颖的学习框架Activenerf，旨在模拟一个3D场景，并具有限制的输入预算。具体而言，我们首先将不确定性估计纳入NERF模型，该模型在很少的观察下确保了鲁棒性，并提供了NERF如何理解场景的解释。在此基础上，我们建议根据积极学习方案将现有的培训设置补充新捕获的样本。通过评估给定新输入的不确定性的降低，我们选择了带来最多信息增益的样本。这样，可以通过最少的额外资源来提高新型视图合成的质量。广泛的实验验证了我们模型在现实和合成场景上的性能，尤其是在稀缺的训练数据中。代码将在\ url {https://github.com/leaplabthu/activenerf}上发布。

在本文中，我们为复杂场景进行了高效且强大的深度学习解决方案。在我们的方法中，3D场景表示为光场，即，一组光线，每组在到达图像平面时具有相应的颜色。对于高效的新颖视图渲染，我们采用了光场的双面参数化，其中每个光线的特征在于4D参数。然后，我们将光场配向作为4D函数，即将4D坐标映射到相应的颜色值。我们训练一个深度完全连接的网络以优化这种隐式功能并记住3D场景。然后，特定于场景的模型用于综合新颖视图。与以前需要密集的视野的方法不同，需要密集的视野采样来可靠地呈现新颖的视图，我们的方法可以通过采样光线来呈现新颖的视图并直接从网络查询每种光线的颜色，从而使高质量的灯场呈现稀疏集合训练图像。网络可以可选地预测每光深度，从而使诸如自动重新焦点的应用。我们的小说视图合成结果与最先进的综合结果相当，甚至在一些具有折射和反射的具有挑战性的场景中优越。我们在保持交互式帧速率和小的内存占地面积的同时实现这一点。

我们提出了一种基于神经隐式表示的少量新型视图综合信息 - 理论正规化技术。所提出的方法最小化由于在每个光线中强制密度的熵约束而发生的潜在的重建不一致。另外，当从几乎冗余的观点获取所有训练图像时，为了减轻潜在的退化问题，我们还通过限制来自一对略微不同观点的光线的信息增益来将空间平滑度约束纳入估计的图像。我们的算法的主要思想是使重建的场景沿各个光线紧凑，并在附近的光线上一致。所提出的常规方基于Nerf以直接的方式插入大部分现有的神经体积渲染技术。尽管其简单性，但是，与现有的神经观察合成方法通过大量标准基准测试的现有神经观察方法相比，我们实现了一致的性能。我们的项目网站可用于\ url {http://cvlab.snu.ac.kr/research/infonerf}。

由于其显着的合成质量，最近，神经辐射场（NERF）最近对3D场景重建和新颖的视图合成进行了相当大的关注。然而，由散焦或运动引起的图像模糊，这通常发生在野外的场景中，显着降低了其重建质量。为了解决这个问题，我们提出了DeBlur-nerf，这是一种可以从模糊输入恢复尖锐的nerf的第一种方法。我们采用逐合成方法来通过模拟模糊过程来重建模糊的视图，从而使NERF对模糊输入的鲁棒。该仿真的核心是一种新型可变形稀疏内核（DSK）模块，其通过在每个空间位置变形规范稀疏内核来模拟空间变形模糊内核。每个内核点的射线起源是共同优化的，受到物理模糊过程的启发。该模块作为MLP参数化，具有能够概括为各种模糊类型。联合优化NERF和DSK模块允许我们恢复尖锐的NERF。我们证明我们的方法可用于相机运动模糊和散焦模糊：真实场景中的两个最常见的模糊。合成和现实世界数据的评估结果表明，我们的方法优于几个基线。合成和真实数据集以及源代码将公开可用于促进未来的研究。

We represent the ResNeRF, a novel geometry-guided two-stage framework for indoor scene novel view synthesis. Be aware of that a good geometry would greatly boost the performance of novel view synthesis, and to avoid the geometry ambiguity issue, we propose to characterize the density distribution of the scene based on a base density estimated from scene geometry and a residual density parameterized by the geometry. In the first stage, we focus on geometry reconstruction based on SDF representation, which would lead to a good geometry surface of the scene and also a sharp density. In the second stage, the residual density is learned based on the SDF learned in the first stage for encoding more details about the appearance. In this way, our method can better learn the density distribution with the geometry prior for high-fidelity novel view synthesis while preserving the 3D structures. Experiments on large-scale indoor scenes with many less-observed and textureless areas show that with the good 3D surface, our method achieves state-of-the-art performance for novel view synthesis.

由于其简单性和最先进的性能，神经辐射场（NERF）被出现为新型视图综合任务的强大表示。虽然NERF可以在许多输入视图可用时产生看不见的观点的光静观渲染，但是当该数量减少时，其性能显着下降。我们观察到，稀疏输入方案中的大多数伪像是由估计场景几何中的错误引起的，并且在训练开始时通过不同的行为引起。我们通过规范从未观察的视点呈现的修补程序的几何和外观来解决这一点，并在训练期间退火光线采样空间。我们还使用规范化的流模型来规范未观察的视点的颜色。我们的车型不仅优于优化单个场景的其他方法，而是在许多情况下，还有条件模型，这些模型在大型多视图数据集上广泛预先培训。

Photo-realistic free-viewpoint rendering of real-world scenes using classical computer graphics techniques is challenging, because it requires the difficult step of capturing detailed appearance and geometry models. Recent studies have demonstrated promising results by learning scene representations that implicitly encode both geometry and appearance without 3D supervision. However, existing approaches in practice often show blurry renderings caused by the limited network capacity or the difficulty in finding accurate intersections of camera rays with the scene geometry. Synthesizing high-resolution imagery from these representations often requires time-consuming optical ray marching. In this work, we introduce Neural Sparse Voxel Fields (NSVF), a new neural scene representation for fast and high-quality free-viewpoint rendering. NSVF defines a set of voxel-bounded implicit fields organized in a sparse voxel octree to model local properties in each cell. We progressively learn the underlying voxel structures with a diffentiable ray-marching operation from only a set of posed RGB images. With the sparse voxel octree structure, rendering novel views can be accelerated by skipping the voxels containing no relevant scene content. Our method is typically over 10 times faster than the state-of-the-art (namely, NeRF (Mildenhall et al., 2020)) at inference time while achieving higher quality results. Furthermore, by utilizing an explicit sparse voxel representation, our method can easily be applied to scene editing and scene composition. We also demonstrate several challenging tasks, including multi-scene learning, free-viewpoint rendering of a moving human, and large-scale scene rendering. Code and data are available at our website: https://github.com/facebookresearch/NSVF.

Representing and synthesizing novel views in real-world dynamic scenes from casual monocular videos is a long-standing problem. Existing solutions typically approach dynamic scenes by applying geometry techniques or utilizing temporal information between several adjacent frames without considering the underlying background distribution in the entire scene or the transmittance over the ray dimension, limiting their performance on static and occlusion areas. Our approach $\textbf{D}$istribution-$\textbf{D}$riven neural radiance fields offers high-quality view synthesis and a 3D solution to $\textbf{D}$etach the background from the entire $\textbf{D}$ynamic scene, which is called $\text{D}^4$NeRF. Specifically, it employs a neural representation to capture the scene distribution in the static background and a 6D-input NeRF to represent dynamic objects, respectively. Each ray sample is given an additional occlusion weight to indicate the transmittance lying in the static and dynamic components. We evaluate $\text{D}^4$NeRF on public dynamic scenes and our urban driving scenes acquired from an autonomous-driving dataset. Extensive experiments demonstrate that our approach outperforms previous methods in rendering texture details and motion areas while also producing a clean static background. Our code will be released at https://github.com/Luciferbobo/D4NeRF.

最近，神经辐射场（NERF）正在彻底改变新型视图合成（NVS）的卓越性能。但是，NERF及其变体通常需要进行冗长的每场训练程序，其中将多层感知器（MLP）拟合到捕获的图像中。为了解决挑战，已经提出了体素网格表示，以显着加快训练的速度。但是，这些现有方法只能处理静态场景。如何开发有效，准确的动态视图合成方法仍然是一个开放的问题。将静态场景的方法扩展到动态场景并不简单，因为场景几何形状和外观随时间变化。在本文中，基于素素网格优化的最新进展，我们提出了一种快速变形的辐射场方法来处理动态场景。我们的方法由两个模块组成。第一个模块采用变形网格来存储3D动态功能，以及使用插值功能将观测空间中的3D点映射到规范空间的变形的轻巧MLP。第二个模块包含密度和颜色网格，以建模场景的几何形状和密度。明确对阻塞进行了建模，以进一步提高渲染质量。实验结果表明，我们的方法仅使用20分钟的训练就可以实现与D-NERF相当的性能，该训练比D-NERF快70倍以上，这清楚地证明了我们提出的方法的效率。

我们提出了一种基于神经辐射场（NERF）的单个$ 360^\ PANORAMA图像合成新视图的方法。在类似环境中的先前研究依赖于多层感知的邻居插值能力来完成由遮挡引起的丢失区域，这导致其预测中的伪像。我们提出了360Fusionnerf，这是一个半监督的学习框架，我们介绍几何监督和语义一致性，以指导渐进式培训过程。首先，将输入图像重新投影至$ 360^\ Circ $图像，并在其他相机位置提取辅助深度图。除NERF颜色指导外，深度监督还改善了合成视图的几何形状。此外，我们引入了语义一致性损失，鼓励新观点的现实渲染。我们使用预先训练的视觉编码器（例如剪辑）提取这些语义功能，这是一个视觉变压器，经过数以千计的不同2D照片，并通过自然语言监督从网络中挖掘出来。实验表明，我们提出的方法可以在保留场景的特征的同时产生未观察到的区域的合理完成。 360fusionnerf在各种场景中接受培训时，转移到合成结构3D数据集（PSNR〜5％，SSIM〜3％lpips〜13％）时，始终达到最先进的性能，SSIM〜3％LPIPS〜9％）和replica360数据集（PSNR〜8％，SSIM〜2％LPIPS〜18％）。

神经辐射场（NERF）通过通过地面真相监督差异渲染多视图图像来回归神经参数化场景。但是，当插值新颖的观点时，NERF通常会产生不一致和视觉上不平滑的几何结果，我们认为这是可见和看不见的观点之间的概括差距。卷积神经网络的最新进展表明，随机或学到的先进的强大数据增强有望增强分布和分布外的概括。受此启发，我们提出了增强的NERF（Aug-nerf），这首先将强大的数据增强功能带入正规化NERF培训。特别是，我们的提议学会了将最坏情况的扰动无缝融合到NERF管道的三个不同级别，并包括（1）输入坐标，以模拟图像捕获中的不精确的摄像机参数； （2）中间特征，以平滑固有特征歧管； （3）预先渲染的输出，以说明多视图图像监督中的潜在降解因子。广泛的结果表明，Aug-nerf在新型视图合成（高达1.5dB PSNR增益）和基础几何重建中有效地提高了NERF性能。此外，得益于三级增强的隐含平稳先验，Aug-nerf甚至可以从严重损坏的图像中恢复场景，这是一个高度挑战性的环境，以前没有被隔离。我们的代码可在https://github.com/vita-group/aug-nerf中找到。

我们提出了高动态范围辐射（HDR）字段，HDR-PLENOXELS，它学习了3D HDR辐射场的肺化功能，几何信息和2D低动态范围（LDR）图像中固有的不同摄像机设置。我们基于体素的卷渲染管道可重建HDR辐射字段，仅以端到端的方式从不同的相机设置中拍摄的多视图LDR图像，并且具有快速的收敛速度。为了在现实世界中处理各种摄像机，我们引入了一个音调映射模块，该模块模拟了数字相机内成像管道（ISP）（ISP）和DISTANGLES辐射测定设置。我们的音调映射模块可以通过控制每个新型视图的辐射设置来渲染。最后，我们构建一个具有不同摄像机条件的多视图数据集，适合我们的问题设置。我们的实验表明，HDR-Plenoxels可以从具有各种相机的LDR图像中表达细节和高质量的HDR新型视图。

Point of View & TimeFigure 1: We propose D-NeRF, a method for synthesizing novel views, at an arbitrary point in time, of dynamic scenes with complex non-rigid geometries. We optimize an underlying deformable volumetric function from a sparse set of input monocular views without the need of ground-truth geometry nor multi-view images. The figure shows two scenes under variable points of view and time instances synthesised by the proposed model.

神经辐射场（NERF）具有密集捕获的输入图像实现光真实的视图合成。然而，鉴于稀疏的视图，NERF的几何形状极为严重，从而导致新观点合成质量的显着降解。受到自我监督的深度估计方法的启发，我们提出了structnerf，这是针对稀疏输入的室内场景的新型视图合成的解决方案。 structnerf利用自然嵌入多视图输入中的结构提示来处理NERF中无约束的几何问题。具体而言，它分别解决了纹理和非纹理区域：提出了基于贴片的多视图一致的光度损失来限制纹理区域的几何形状；对于非纹理的，我们明确地将它们限制为3D一致的平面。通过密集的自我监督深度约束，我们的方法可以改善NERF的几何形状和视图综合性能，而无需对外部数据进行任何其他培训。在几个现实世界数据集上进行的广泛实验表明，构造者超过了针对室内场景的最新方法，这些方法具有稀疏输入的定量和定性。