We present a learning-based method for synthesizing novel views of complex scenes using only unstructured collections of in-the-wild photographs. We build on Neural Radiance Fields (NeRF), which uses the weights of a multilayer perceptron to model the density and color of a scene as a function of 3D coordinates. While NeRF works well on images of static subjects captured under controlled settings, it is incapable of modeling many ubiquitous, real-world phenomena in uncontrolled images, such as variable illumination or transient occluders. We introduce a series of extensions to NeRF to address these issues, thereby enabling accurate reconstructions from unstructured image collections taken from the internet. We apply our system, dubbed NeRF-W, to internet photo collections of famous landmarks, and demonstrate temporally consistent novel view renderings that are significantly closer to photorealism than the prior state of the art.

神经辐射场（NERF）最近获得了令人印象深刻的新型观点综合能力的普及。本文研究了幻觉的nerf问题：即，在一组旅游形象的一天的不同时间恢复现实的nerf。现有解决方案采用NERF具有可控外观嵌入，以在各种条件下呈现新颖的视图，但不能以看不见的外观呈现视图 - 一致的图像。为了解决这个问题，我们提出了一种用于构建幻觉的nerf的端到端框架，称为H-nerf。具体地，我们提出了一种外观幻觉模块，以处理时变的外观，并将其转移到新颖的视图中。考虑到旅游图像的复杂遮挡，引入防遮挡模块以准确地分解静态受体的静态对象。合成数据和真实旅游照片集合的实验结果表明，我们的方法不仅可以幻觉所需的外观，还可以从不同视图中呈现无遮挡图像。项目和补充材料可在https://rover-xingyu.github.io/h-nerf/上获得。

我们提出了一种新的方法来获取来自在线图像集合的对象表示，从具有不同摄像机，照明和背景的照片捕获任意物体的高质量几何形状和材料属性。这使得各种以各种对象渲染应用诸如新颖的综合，致密和协调的背景组合物，从疯狂的内部输入。使用多级方法延伸神经辐射场，首先推断表面几何形状并优化粗估计的初始相机参数，同时利用粗糙的前景对象掩模来提高训练效率和几何质量。我们还介绍了一种强大的正常估计技术，其消除了几何噪声的效果，同时保持了重要细节。最后，我们提取表面材料特性和环境照明，以球形谐波表示，具有处理瞬态元素的延伸部，例如，锋利的阴影。这些组件的结合导致高度模块化和有效的对象采集框架。广泛的评估和比较证明了我们在捕获高质量的几何形状和外观特性方面的方法，可用于渲染应用。

这项工作的目标是通过扫描平台捕获的数据进行3D重建和新颖的观看综合，该平台在城市室外环境中常设世界映射（例如，街景）。给定一系列由摄像机和扫描仪通过室外场景的摄像机和扫描仪进行的序列，我们产生可以从中提取3D表面的模型，并且可以合成新颖的RGB图像。我们的方法扩展了神经辐射字段，已经证明了用于在受控设置中的小型场景中的逼真新颖的图像，用于利用异步捕获的LIDAR数据，用于寻址捕获图像之间的曝光变化，以及利用预测的图像分段来监督密度。在光线指向天空。这三个扩展中的每一个都在街道视图数据上的实验中提供了显着的性能改进。我们的系统产生最先进的3D表面重建，并与传统方法（例如〜Colmap）和最近的神经表示（例如〜MIP-NERF）相比，合成更高质量的新颖视图。

Figure 1: Our method can synthesize novel views in both space and time from a single monocular video of a dynamic scene. Here we show video results with various configurations of fixing and interpolating view and time (left), as well as a visualization of the recovered scene geometry (right). Please view with Adobe Acrobat or KDE Okular to see animations.

我们呈现高动态范围神经辐射字段（HDR-NERF），以从一组低动态范围（LDR）视图的HDR辐射率字段与不同的曝光。使用HDR-NERF，我们能够在不同的曝光下生成新的HDR视图和新型LDR视图。我们方法的关键是模拟物理成像过程，该过程决定了场景点的辐射与具有两个隐式功能的LDR图像中的像素值转换为：RADIACE字段和音调映射器。辐射场对场景辐射（值在0到+末端之间的值变化），其通过提供相应的射线源和光线方向来输出光线的密度和辐射。 TONE MAPPER模拟映射过程，即在相机传感器上击中的光线变为像素值。通过将辐射和相应的曝光时间送入音调映射器来预测光线的颜色。我们使用经典的卷渲染技术将输出辐射，颜色和密度投影为HDR和LDR图像，同时只使用输入的LDR图像作为监控。我们收集了一个新的前瞻性的HDR数据集，以评估所提出的方法。综合性和现实世界场景的实验结果验证了我们的方法不仅可以准确控制合成视图的曝光，还可以用高动态范围呈现视图。

We present a method that achieves state-of-the-art results for synthesizing novel views of complex scenes by optimizing an underlying continuous volumetric scene function using a sparse set of input views. Our algorithm represents a scene using a fully-connected (nonconvolutional) deep network, whose input is a single continuous 5D coordinate (spatial location (x, y, z) and viewing direction (θ, φ)) and whose output is the volume density and view-dependent emitted radiance at that spatial location. We synthesize views by querying 5D coordinates along camera rays and use classic volume rendering techniques to project the output colors and densities into an image. Because volume rendering is naturally differentiable, the only input required to optimize our representation is a set of images with known camera poses. We describe how to effectively optimize neural radiance fields to render photorealistic novel views of scenes with complicated geometry and appearance, and demonstrate results that outperform prior work on neural rendering and view synthesis. View synthesis results are best viewed as videos, so we urge readers to view our supplementary video for convincing comparisons.

神经辐射场（NERF）是一种普遍的视图综合技术，其表示作为连续体积函数的场景，由多层的感知来参数化，其提供每个位置处的体积密度和视图相关的发射辐射。虽然基于NERF的技术在代表精细的几何结构时，具有平稳变化的视图依赖性外观，但它们通常无法精确地捕获和再现光泽表面的外观。我们通过引入Ref-nerf来解决这些限制，该ref-nerf替换了nerf的视图依赖性输出辐射的参数化，使用反射辐射的表示和使用空间不同场景属性的集合来构造该函数的表示。我们展示了与正常载体上的规范器一起，我们的模型显着提高了镜面反射的现实主义和准确性。此外，我们表明我们的模型的外向光线的内部表示是可解释的，可用于场景编辑。

虽然神经辐射场（NERF）已经证明了令人印象深刻的视图合成结果对物体和小型空间区域的结果，但它们在“无界”场景上挣扎，其中相机可以在任何方向上点，并且内容在任何距离处都存在。在此设置中，现有的形式的类似形式模型通常会产生模糊或低分辨率渲染（由于附近和远处物体的不平衡细节和规模），慢慢训练，并且由于任务的固有歧义而可能表现出伪影从一小部分图像重建大场景。我们介绍了MIP-NERF（一个NERF变体，用于解决采样和混叠的NERF变体），其使用非线性场景参数化，在线蒸馏和基于新的失真的常规程序来克服无限性场景所呈现的挑战。我们的模型，我们将“MIP-NERF 360”为瞄准相机围绕一点旋转360度的瞄准场景，与MIP NERF相比将平均平方误差减少54％，并且能够产生逼真的合成视图和用于高度复杂，无限性的现实景区的详细深度图。

We present a method that takes as input a set of images of a scene illuminated by unconstrained known lighting, and produces as output a 3D representation that can be rendered from novel viewpoints under arbitrary lighting conditions. Our method represents the scene as a continuous volumetric function parameterized as MLPs whose inputs are a 3D location and whose outputs are the following scene properties at that input location: volume density, surface normal, material parameters, distance to the first surface intersection in any direction, and visibility of the external environment in any direction. Together, these allow us to render novel views of the object under arbitrary lighting, including indirect illumination effects. The predicted visibility and surface intersection fields are critical to our model's ability to simulate direct and indirect illumination during training, because the brute-force techniques used by prior work are intractable for lighting conditions outside of controlled setups with a single light. Our method outperforms alternative approaches for recovering relightable 3D scene representations, and performs well in complex lighting settings that have posed a significant challenge to prior work.

Figure 1. Given a monocular image sequence, NR-NeRF reconstructs a single canonical neural radiance field to represent geometry and appearance, and a per-time-step deformation field. We can render the scene into a novel spatio-temporal camera trajectory that significantly differs from the input trajectory. NR-NeRF also learns rigidity scores and correspondences without direct supervision on either. We can use the rigidity scores to remove the foreground, we can supersample along the time dimension, and we can exaggerate or dampen motion.

神经辐射字段（NERF）将场景编码为神经表示，使得能够实现新颖视图的照片逼真。然而，RGB图像的成功重建需要在静态条件下拍摄的大量输入视图 - 通常可以为房间尺寸场景的几百个图像。我们的方法旨在将整个房间的小说视图从数量级的图像中合成。为此，我们利用密集的深度前导者来限制NERF优化。首先，我们利用从用于估计相机姿势的运动（SFM）预处理步骤的结构自由提供的稀疏深度数据。其次，我们使用深度完成将这些稀疏点转换为密集的深度图和不确定性估计，用于指导NERF优化。我们的方法使数据有效的新颖观看综合在挑战室内场景中，使用少量为整个场景的18张图像。

Google Research Basecolor Metallic Roughness Normal Multi-View Images NeRD Volume Decomposed BRDF Relighting & View synthesis Textured MeshFigure 1: Neural Reflectance Decomposition for Relighting. We encode multiple views of an object under varying or fixed illumination into the NeRD volume.We decompose each given image into geometry, spatially-varying BRDF parameters and a rough approximation of the incident illumination in a globally consistent manner. We then extract a relightable textured mesh that can be re-rendered under novel illumination conditions in real-time.

We address the problem of synthesizing novel views from a monocular video depicting a complex dynamic scene. State-of-the-art methods based on temporally varying Neural Radiance Fields (aka dynamic NeRFs) have shown impressive results on this task. However, for long videos with complex object motions and uncontrolled camera trajectories, these methods can produce blurry or inaccurate renderings, hampering their use in real-world applications. Instead of encoding the entire dynamic scene within the weights of an MLP, we present a new approach that addresses these limitations by adopting a volumetric image-based rendering framework that synthesizes new viewpoints by aggregating features from nearby views in a scene-motion-aware manner. Our system retains the advantages of prior methods in its ability to model complex scenes and view-dependent effects, but also enables synthesizing photo-realistic novel views from long videos featuring complex scene dynamics with unconstrained camera trajectories. We demonstrate significant improvements over state-of-the-art methods on dynamic scene datasets, and also apply our approach to in-the-wild videos with challenging camera and object motion, where prior methods fail to produce high-quality renderings. Our project webpage is at dynibar.github.io.

Point of View & TimeFigure 1: We propose D-NeRF, a method for synthesizing novel views, at an arbitrary point in time, of dynamic scenes with complex non-rigid geometries. We optimize an underlying deformable volumetric function from a sparse set of input monocular views without the need of ground-truth geometry nor multi-view images. The figure shows two scenes under variable points of view and time instances synthesised by the proposed model.

给定一个单眼视频，在恢复静态环境时进行分割和解耦动态对象是机器智能中广泛研究的问题。现有的解决方案通常在图像域中解决此问题，从而限制其对环境的性能和理解。我们介绍了脱钩的动态神经辐射场（D $^2 $ nerf），这是一种自制的方法，采用单眼视频，并学习了一个3D场景表示，该表示将移动对象（包括它们的阴影）从静态背景中解脱出来。我们的方法通过两个单独的神经辐射场表示移动对象和静态背景，只有一个允许时间变化。这种方法的幼稚实现导致动态组件接管静态的成分，因为前者的表示本质上更一般并且容易过度拟合。为此，我们提出了一种新颖的损失，以促进现象的正确分离。我们进一步提出了一个阴影场网络，以检测和解除动态移动的阴影。我们介绍了一个新的数据集，其中包含各种动态对象和阴影，并证明我们的方法可以在解耦动态和静态3D对象，遮挡和阴影删除以及移动对象的图像分段中获得比最新方法更好的性能。

我们建议使用以光源方向为条件的神经辐射场（NERF）的扩展来解决多视光度立体声问题。我们神经表示的几何部分预测表面正常方向，使我们能够理解局部表面反射率。我们的神经表示的外观部分被分解为神经双向反射率函数（BRDF），作为拟合过程的一部分学习，阴影预测网络（以光源方向为条件），使我们能够对明显的BRDF进行建模。基于物理图像形成模型的诱导偏差的学到的组件平衡使我们能够远离训练期间观察到的光源和查看器方向。我们证明了我们在多视光学立体基准基准上的方法，并表明可以通过NERF的神经密度表示可以获得竞争性能。

计算机愿景中的经典问题是推断从几个可用于以交互式速率渲染新颖视图的图像的3D场景表示。以前的工作侧重于重建预定定义的3D表示，例如，纹理网格或隐式表示，例如隐式表示。辐射字段，并且通常需要输入图像，具有精确的相机姿势和每个新颖场景的长处理时间。在这项工作中，我们提出了场景表示变换器（SRT），一种方法，该方法处理新的区域的构成或未铺设的RGB图像，Infers Infers“设置 - 潜在场景表示”，并合成新颖的视图，全部在一个前馈中经过。为了计算场景表示，我们提出了视觉变压器的概括到图像组，实现全局信息集成，从而实现3D推理。一个有效的解码器变压器通过参加场景表示来参加光场以呈现新颖的视图。通过最大限度地减少新型视图重建错误，学习是通过最终到底的。我们表明，此方法在PSNR和Synthetic DataSets上的速度方面优于最近的基线，包括为纸张创建的新数据集。此外，我们展示了使用街景图像支持现实世界户外环境的交互式可视化和语义分割。

我们提出了高动态范围辐射（HDR）字段，HDR-PLENOXELS，它学习了3D HDR辐射场的肺化功能，几何信息和2D低动态范围（LDR）图像中固有的不同摄像机设置。我们基于体素的卷渲染管道可重建HDR辐射字段，仅以端到端的方式从不同的相机设置中拍摄的多视图LDR图像，并且具有快速的收敛速度。为了在现实世界中处理各种摄像机，我们引入了一个音调映射模块，该模块模拟了数字相机内成像管道（ISP）（ISP）和DISTANGLES辐射测定设置。我们的音调映射模块可以通过控制每个新型视图的辐射设置来渲染。最后，我们构建一个具有不同摄像机条件的多视图数据集，适合我们的问题设置。我们的实验表明，HDR-Plenoxels可以从具有各种相机的LDR图像中表达细节和高质量的HDR新型视图。

新型视图综合的古典光场渲染可以准确地再现视图依赖性效果，例如反射，折射和半透明，但需要一个致密的视图采样的场景。基于几何重建的方法只需要稀疏的视图，但不能准确地模拟非兰伯语的效果。我们介绍了一个模型，它结合了强度并减轻了这两个方向的局限性。通过在光场的四维表示上操作，我们的模型学会准确表示依赖视图效果。通过在训练和推理期间强制执行几何约束，从稀疏的视图集中毫无屏蔽地学习场景几何。具体地，我们介绍了一种基于两级变压器的模型，首先沿着ePipoll线汇总特征，然后沿参考视图聚合特征以产生目标射线的颜色。我们的模型在多个前进和360 {\ DEG}数据集中优于最先进的，具有较大的差别依赖变化的场景更大的边缘。