我们提出EV-NERF，这是一个从事件数据得出的神经辐射场。虽然事件摄像机可以测量高框架速率的细微亮度变化，但低照明或极端运动的测量却遭受了显着的域差异，并具有复杂的噪声。结果，基于事件的视觉任务的性能不会转移到具有挑战性的环境中，在这种环境中，事件摄像机预计会在普通摄像机上蓬勃发展。我们发现，NERF的多视图一致性提供了强大的自我实施信号，以消除虚假测量结果并提取一致的基础结构，尽管输入高度嘈杂。 EV-NERF的输入不是原始NERF的图像，而是事件测量值，并伴随着传感器的运动。使用反映传感器测量模型的损耗函数，EV-NERF创建了一个集成的神经体积，该量总结了捕获约2-4秒的非结构化和稀疏数据点。生成的神经体积还可以从具有合理深度估计的新型视图中产生强度图像，这可以作为各种基于视觉任务的高质量输入。我们的结果表明，EV-NERF在极端噪声条件和高动力范围成像下实现了强度图像重建的竞争性能。
translated by 谷歌翻译
到目前为止，已经研究了基于学习坐标的体积3D场景表示，例如神经辐射场（NERF），假设RGB或RGB-D图像是输入。同时，从神经科学文献中知道，人类视觉系统（HVS）的定制是为了处理异步亮度而不是同步的RGB图像，以构建和不断更新周围环境的心理3D表示，以进行导航和生存。受HVS原理启发的视觉传感器是事件摄像机。因此，事件是稀疏和异步的每个像素亮度（或颜色通道）更改信号。与神经3D场景表示学习的现有作品相反，本文从新的角度解决了问题。我们证明，可以从异步事件流中学习适用于RGB空间中新型视图合成的NERF。我们的模型在RGB空间中具有挑战性场景的新颖的视野具有很高的视觉准确性，即使它们的数据训练得多（即，来自单个事件摄像机的事件流围绕对象移动）并更有效（由于其效率更高（由于其培训）（由于事件流的固有稀疏性）比现有的NERF模型接受了RGB图像。我们将发布我们的数据集和源代码，请参见https://4dqv.mpi-inf.mpg.de/eventnerf/。
translated by 谷歌翻译
从理想图像中估算神经辐射场（NERF）已在计算机视觉社区中进行了广泛的研究。大多数方法都采用最佳照明和缓慢的相机运动。这些假设通常在机器人应用中违反，其中图像包含运动模糊，场景可能没有合适的照明。这可能会给下游任务（例如导航，检查或可视化场景）带来重大问题。为了减轻我们提出的E-NERF的这些问题，这是第一种方法，该方法以快速移动的事件摄像机的形式估算了以NERF的形式进行体积的场景表示形式。我们的方法可以在非常快速的运动和高动态范围条件下恢复NERF，而基于框架的方法失败。我们证明，仅提供事件流作为输入，可以渲染高质量的帧。此外，通过结合事件和框架，我们可以在严重的运动模糊下估计比最先进的方法更高的质量。我们还表明，将事件和帧组合可以克服在只有很少的输入视图的情况下，无需额外正则化的方案中的NERF估计案例。
translated by 谷歌翻译
我们提出了一种便携式多型摄像头系统，该系统具有专用模型，用于动态场景中的新型视图和时间综合。我们的目标是使用我们的便携式多座相机从任何角度从任何角度出发为动态场景提供高质量的图像。为了实现这种新颖的观点和时间综合，我们开发了一个配备了五个相机的物理多型摄像头，以在时间和空间域中训练神经辐射场（NERF），以进行动态场景。我们的模型将6D坐标（3D空间位置，1D时间坐标和2D观看方向）映射到观看依赖性且随时间变化的发射辐射和体积密度。量渲染用于在指定的相机姿势和时间上渲染光真实的图像。为了提高物理相机的鲁棒性，我们提出了一个摄像机参数优化模块和一个时间框架插值模块，以促进跨时间的信息传播。我们对现实世界和合成数据集进行了实验以评估我们的系统，结果表明，我们的方法在定性和定量上优于替代解决方案。我们的代码和数据集可从https://yuenfuilau.github.io获得。
translated by 谷歌翻译
在本文中，我们为复杂场景进行了高效且强大的深度学习解决方案。在我们的方法中，3D场景表示为光场，即，一组光线，每组在到达图像平面时具有相应的颜色。对于高效的新颖视图渲染，我们采用了光场的双面参数化，其中每个光线的特征在于4D参数。然后，我们将光场配向作为4D函数，即将4D坐标映射到相应的颜色值。我们训练一个深度完全连接的网络以优化这种隐式功能并记住3D场景。然后，特定于场景的模型用于综合新颖视图。与以前需要密集的视野的方法不同，需要密集的视野采样来可靠地呈现新颖的视图，我们的方法可以通过采样光线来呈现新颖的视图并直接从网络查询每种光线的颜色，从而使高质量的灯场呈现稀疏集合训练图像。网络可以可选地预测每光深度，从而使诸如自动重新焦点的应用。我们的小说视图合成结果与最先进的综合结果相当，甚至在一些具有折射和反射的具有挑战性的场景中优越。我们在保持交互式帧速率和小的内存占地面积的同时实现这一点。
translated by 谷歌翻译
https://video-nerf.github.io Figure 1. Our method takes a single casually captured video as input and learns a space-time neural irradiance field. (Top) Sample frames from the input video. (Middle) Novel view images rendered from textured meshes constructed from depth maps. (Bottom) Our results rendered from the proposed space-time neural irradiance field.
translated by 谷歌翻译
Figure 1: Our method can synthesize novel views in both space and time from a single monocular video of a dynamic scene. Here we show video results with various configurations of fixing and interpolating view and time (left), as well as a visualization of the recovered scene geometry (right). Please view with Adobe Acrobat or KDE Okular to see animations.
translated by 谷歌翻译
Point of View & TimeFigure 1: We propose D-NeRF, a method for synthesizing novel views, at an arbitrary point in time, of dynamic scenes with complex non-rigid geometries. We optimize an underlying deformable volumetric function from a sparse set of input monocular views without the need of ground-truth geometry nor multi-view images. The figure shows two scenes under variable points of view and time instances synthesised by the proposed model.
translated by 谷歌翻译
神经场景表示，例如神经辐射场（NERF），基于训练多层感知器（MLP），使用一组具有已知姿势的彩色图像。现在，越来越多的设备产生RGB-D（颜色 +深度）信息，这对于各种任务非常重要。因此，本文的目的是通过将深度信息与颜色图像结合在一起，研究这些有希望的隐式表示可以进行哪些改进。特别是，最近建议的MIP-NERF方法使用圆锥形的圆丝而不是射线进行音量渲染，它使人们可以考虑具有距离距离摄像头中心距离的像素的不同区域。所提出的方法还模拟了深度不确定性。这允许解决基于NERF的方法的主要局限性，包括提高几何形状的准确性，减少伪像，更快的训练时间和缩短预测时间。实验是在众所周知的基准场景上进行的，并且比较在场景几何形状和光度重建中的准确性提高，同时将训练时间减少了3-5次。
translated by 谷歌翻译
神经网络可以表示和准确地重建静态3D场景的辐射场（例如，NERF）。有几种作品将这些功能扩展到用单眼视频捕获的动态场景，具有很有希望的性能。然而，已知单眼设置是一个受限制的问题，因此方法依赖于数据驱动的前导者来重建动态内容。我们用飞行时间（TOF）相机的测量来替换这些前沿，并根据连续波TOF相机的图像形成模型引入神经表示。我们而不是使用加工的深度映射，我们模拟了原始的TOF传感器测量，以改善重建质量，避免低反射区域，多路径干扰和传感器的明确深度范围的问题。我们表明，这种方法改善了动态场景重建对错误校准和大型运动的鲁棒性，并讨论了现在可在现代智能手机上提供的RGB + TOF传感器的好处和限制。
translated by 谷歌翻译
我们呈现高动态范围神经辐射字段（HDR-NERF），以从一组低动态范围（LDR）视图的HDR辐射率字段与不同的曝光。使用HDR-NERF，我们能够在不同的曝光下生成新的HDR视图和新型LDR视图。我们方法的关键是模拟物理成像过程，该过程决定了场景点的辐射与具有两个隐式功能的LDR图像中的像素值转换为：RADIACE字段和音调映射器。辐射场对场景辐射（值在0到+末端之间的值变化），其通过提供相应的射线源和光线方向来输出光线的密度和辐射。 TONE MAPPER模拟映射过程，即在相机传感器上击中的光线变为像素值。通过将辐射和相应的曝光时间送入音调映射器来预测光线的颜色。我们使用经典的卷渲染技术将输出辐射，颜色和密度投影为HDR和LDR图像，同时只使用输入的LDR图像作为监控。我们收集了一个新的前瞻性的HDR数据集，以评估所提出的方法。综合性和现实世界场景的实验结果验证了我们的方法不仅可以准确控制合成视图的曝光，还可以用高动态范围呈现视图。
translated by 谷歌翻译
我们提出了一种基于神经辐射场（NERF）的单个$ 360^\ PANORAMA图像合成新视图的方法。在类似环境中的先前研究依赖于多层感知的邻居插值能力来完成由遮挡引起的丢失区域，这导致其预测中的伪像。我们提出了360Fusionnerf，这是一个半监督的学习框架，我们介绍几何监督和语义一致性，以指导渐进式培训过程。首先，将输入图像重新投影至$ 360^\ Circ $图像，并在其他相机位置提取辅助深度图。除NERF颜色指导外，深度监督还改善了合成视图的几何形状。此外，我们引入了语义一致性损失，鼓励新观点的现实渲染。我们使用预先训练的视觉编码器（例如剪辑）提取这些语义功能，这是一个视觉变压器，经过数以千计的不同2D照片，并通过自然语言监督从网络中挖掘出来。实验表明，我们提出的方法可以在保留场景的特征的同时产生未观察到的区域的合理完成。 360fusionnerf在各种场景中接受培训时，转移到合成结构3D数据集（PSNR〜5％，SSIM〜3％lpips〜13％）时，始终达到最先进的性能，SSIM〜3％LPIPS〜9％）和replica360数据集（PSNR〜8％，SSIM〜2％LPIPS〜18％）。
translated by 谷歌翻译
我们提出了高动态范围辐射（HDR）字段，HDR-PLENOXELS，它学习了3D HDR辐射场的肺化功能，几何信息和2D低动态范围（LDR）图像中固有的不同摄像机设置。我们基于体素的卷渲染管道可重建HDR辐射字段，仅以端到端的方式从不同的相机设置中拍摄的多视图LDR图像，并且具有快速的收敛速度。为了在现实世界中处理各种摄像机，我们引入了一个音调映射模块，该模块模拟了数字相机内成像管道（ISP）（ISP）和DISTANGLES辐射测定设置。我们的音调映射模块可以通过控制每个新型视图的辐射设置来渲染。最后，我们构建一个具有不同摄像机条件的多视图数据集，适合我们的问题设置。我们的实验表明，HDR-Plenoxels可以从具有各种相机的LDR图像中表达细节和高质量的HDR新型视图。
translated by 谷歌翻译
我们提出了Panohdr-nerf，这是一种新颖的管道，可随意捕获大型室内场景的合理的全HDR辐射场，而无需精心设计或复杂的捕获协议。首先，用户通过在场景中自由挥舞现成的摄像头来捕获场景的低动态范围（LDR）全向视频。然后，LDR2HDR网络将捕获的LDR帧提升到HDR，随后用于训练定制的NERF ++模型。由此产生的Panohdr-NERF管道可以从场景的任何位置估算完整的HDR全景。通过在一个新的测试数据集上进行各种真实场景的实验，并在训练过程中未见的位置捕获了地面真相HDR辐射，我们表明PanoHDR-NERF可以预测任何场景点的合理辐射。我们还表明，PanoHDR-NERF产生的HDR图像可以合成正确的照明效果，从而可以使用正确点亮的合成对象来增强室内场景。
translated by 谷歌翻译
我们提出了一种基于神经隐式表示的少量新型视图综合信息 - 理论正规化技术。所提出的方法最小化由于在每个光线中强制密度的熵约束而发生的潜在的重建不一致。另外，当从几乎冗余的观点获取所有训练图像时，为了减轻潜在的退化问题，我们还通过限制来自一对略微不同观点的光线的信息增益来将空间平滑度约束纳入估计的图像。我们的算法的主要思想是使重建的场景沿各个光线紧凑，并在附近的光线上一致。所提出的常规方基于Nerf以直接的方式插入大部分现有的神经体积渲染技术。尽管其简单性，但是，与现有的神经观察合成方法通过大量标准基准测试的现有神经观察方法相比，我们实现了一致的性能。我们的项目网站可用于\ url {http://cvlab.snu.ac.kr/research/infonerf}。
translated by 谷歌翻译
这项工作的目标是通过扫描平台捕获的数据进行3D重建和新颖的观看综合，该平台在城市室外环境中常设世界映射（例如，街景）。给定一系列由摄像机和扫描仪通过室外场景的摄像机和扫描仪进行的序列，我们产生可以从中提取3D表面的模型，并且可以合成新颖的RGB图像。我们的方法扩展了神经辐射字段，已经证明了用于在受控设置中的小型场景中的逼真新颖的图像，用于利用异步捕获的LIDAR数据，用于寻址捕获图像之间的曝光变化，以及利用预测的图像分段来监督密度。在光线指向天空。这三个扩展中的每一个都在街道视图数据上的实验中提供了显着的性能改进。我们的系统产生最先进的3D表面重建，并与传统方法（例如〜Colmap）和最近的神经表示（例如〜MIP-NERF）相比，合成更高质量的新颖视图。
translated by 谷歌翻译
综合照片 - 现实图像和视频是计算机图形的核心，并且是几十年的研究焦点。传统上，使用渲染算法（如光栅化或射线跟踪）生成场景的合成图像，其将几何形状和材料属性的表示为输入。统称，这些输入定义了实际场景和呈现的内容，并且被称为场景表示（其中场景由一个或多个对象组成）。示例场景表示是具有附带纹理的三角形网格（例如，由艺术家创建），点云（例如，来自深度传感器），体积网格（例如，来自CT扫描）或隐式曲面函数（例如，截短的符号距离）字段）。使用可分辨率渲染损耗的观察结果的这种场景表示的重建被称为逆图形或反向渲染。神经渲染密切相关，并将思想与经典计算机图形和机器学习中的思想相结合，以创建用于合成来自真实观察图像的图像的算法。神经渲染是朝向合成照片现实图像和视频内容的目标的跨越。近年来，我们通过数百个出版物显示了这一领域的巨大进展，这些出版物显示了将被动组件注入渲染管道的不同方式。这种最先进的神经渲染进步的报告侧重于将经典渲染原则与学习的3D场景表示结合的方法，通常现在被称为神经场景表示。这些方法的一个关键优势在于它们是通过设计的3D-一致，使诸如新颖的视点合成捕获场景的应用。除了处理静态场景的方法外，我们还涵盖了用于建模非刚性变形对象的神经场景表示...
translated by 谷歌翻译
We present a learning-based method for synthesizing novel views of complex scenes using only unstructured collections of in-the-wild photographs. We build on Neural Radiance Fields (NeRF), which uses the weights of a multilayer perceptron to model the density and color of a scene as a function of 3D coordinates. While NeRF works well on images of static subjects captured under controlled settings, it is incapable of modeling many ubiquitous, real-world phenomena in uncontrolled images, such as variable illumination or transient occluders. We introduce a series of extensions to NeRF to address these issues, thereby enabling accurate reconstructions from unstructured image collections taken from the internet. We apply our system, dubbed NeRF-W, to internet photo collections of famous landmarks, and demonstrate temporally consistent novel view renderings that are significantly closer to photorealism than the prior state of the art.
translated by 谷歌翻译
我们建议使用以光源方向为条件的神经辐射场（NERF）的扩展来解决多视光度立体声问题。我们神经表示的几何部分预测表面正常方向，使我们能够理解局部表面反射率。我们的神经表示的外观部分被分解为神经双向反射率函数（BRDF），作为拟合过程的一部分学习，阴影预测网络（以光源方向为条件），使我们能够对明显的BRDF进行建模。基于物理图像形成模型的诱导偏差的学到的组件平衡使我们能够远离训练期间观察到的光源和查看器方向。我们证明了我们在多视光学立体基准基准上的方法，并表明可以通过NERF的神经密度表示可以获得竞争性能。
translated by 谷歌翻译
神经辐射字段（NERF）将场景编码为神经表示，使得能够实现新颖视图的照片逼真。然而，RGB图像的成功重建需要在静态条件下拍摄的大量输入视图 - 通常可以为房间尺寸场景的几百个图像。我们的方法旨在将整个房间的小说视图从数量级的图像中合成。为此，我们利用密集的深度前导者来限制NERF优化。首先，我们利用从用于估计相机姿势的运动（SFM）预处理步骤的结构自由提供的稀疏深度数据。其次，我们使用深度完成将这些稀疏点转换为密集的深度图和不确定性估计，用于指导NERF优化。我们的方法使数据有效的新颖观看综合在挑战室内场景中，使用少量为整个场景的18张图像。
translated by 谷歌翻译