隐式神经表示显示了3D场景重建的有希望的潜力。最近的工作将其应用于自主3D重建，通过学习信息获得图路径计划的信息增益。有效，信息增益的计算很昂贵，并且与使用体积表示相比，使用隐式表示为3D点进行碰撞检查要慢得多。在本文中，我们建议1）利用神经网络作为信息增益场的隐式函数近似器，以及2）将隐式细粒表示与粗量表示形式结合起来，以提高效率。随着效率的提高，我们提出了基于基于图的计划者的新型信息路径计划。我们的方法表明，与具有隐性和明确表示的自主重建相比，重建质量和计划效率的显着提高。我们将该方法部署在真正的无人机上，结果表明我们的方法可以计划信息意见并以高质量重建场景。

隐式神经表示表现出了令人信服的结果3D重建，并且最近也证明了在线大满贯系统的潜力。但是，将它们应用于自主3D重建，在此尚未研究机器人探索场景并计划重建的视图路径的情况下。在本文中，我们首次通过解决两个关键挑战来首次探索自动3D场景重建的可能性：1）寻求标准以根据新表示形式衡量候选人观点的质量，以及2）从可以推广到不同场景的数据而不是手工制作的数据中学习标准。对于第一个挑战，提出了峰值信噪比（PSNR）的代理来量化观点质量。代理是通过将场景中空间点的颜色视为在高斯分布下而不是确定性分布下的随机变量来获得的；分布的方差量化了重建的不确定性并组成代理。在第二个挑战中，代理与场景隐式神经网络的参数共同优化。通过提出的视图质量标准，我们可以将新表示形式应用于自动3D重建。我们的方法证明了与使用TSDF或重建的变体相比，在没有视图计划的情况下，与使用TSDF或重建的变体相比，对各种指标的各种指标进行了重大改进。

对未知环境的探索是机器人技术中的一个基本问题，也是自治系统应用中的重要组成部分。探索未知环境的一个主要挑战是，机器人必须计划每个时间步骤可用的有限信息。尽管大多数当前的方法都依靠启发式方法和假设来根据这些部分观察来规划路径，但我们提出了一种新颖的方式，通过利用3D场景完成来将深度学习整合到探索中，以获取知情，安全，可解释的探索映射和计划。我们的方法，SC-explorer，使用新型的增量融合机制和新提出的分层多层映射方法结合了场景的完成，以确保机器人的安全性和效率。我们进一步提出了一种信息性的路径计划方法，利用了我们的映射方法的功能和新颖的场景完整感知信息增益。虽然我们的方法通常适用，但我们在微型航空车辆（MAV）的用例中进行了评估。我们仅使用移动硬件彻底研究了高保真仿真实验中的每个组件，并证明我们的方法可以使环境的覆盖范围增加73％，而不是基线，而MAP准确性的降低仅最少。即使最终地图中未包含场景的完成，我们也可以证明它们可以用于指导机器人选择更多信息的路径，从而加快机器人传感器的测量值35％。我们将我们的方法作为开源。

在本文中，我们解决了物体的主动机器人3D重建问题。特别是，我们研究了带有武器摄像机的移动机器人如何选择有利数量的视图来有效地恢复对象的3D形状。与现有的问题解决方案相反，我们利用了流行的神经辐射字段的对象表示，最近对各种计算机视觉任务显示了令人印象深刻的结果。但是，直接推荐使用这种表示形式的对象的显式3D几何细节，这并不是很直接的，这使得对密度3D重建的下一最佳视图选择问题具有挑战性。本文介绍了基于射线的容积不确定性估计器，该估计量沿对象隐式神经表示的每个光线沿每个射线的重量分布计算重量分布的熵。我们表明，考虑到提出的估计量的新观点，可以推断基础3D几何形状的不确定性。然后，我们提出了一个由基于射线的体积不确定性在基于神经辐射字段的表示中的指导下进行的最佳视图选择策略。令人鼓舞的关于合成和现实世界数据的实验结果表明，本文提出的方法可以使新的研究方向在机器人视觉应用中使用隐式的3D对象表示对次要的观察问题，从而将我们的方法与现有方法区分开依赖于显式3D几何建模的方法。

由于温室环境中的较高变化和遮挡，机器人对番茄植物的视觉重建非常具有挑战性。 Active-Vision的范式通过推理先前获取的信息并系统地计划相机观点来收集有关植物的新信息，从而有助于克服这些挑战。但是，现有的主动视觉算法不能在有针对性的感知目标（例如叶子节点的3D重建）上表现良好，因为它们不能区分需要重建的植物零件和植物的其余部分。在本文中，我们提出了一种注意力驱动的主动视觉算法，该算法仅根据任务进行任务，仅考虑相关的植物零件。在模拟环境中评估了所提出的方法，该方法是针对番茄植物3D重建的任务，即各种关注水平，即整个植物，主茎和叶子节点。与预定义和随机方法相比，我们的方法将3D重建的准确性提高了9.7％和5.3％的整个植物的准确性，主茎的准确性为14.2％和7.9％，叶子源分别为25.9％和17.3％。前3个观点。同样，与预定义和随机方法相比，我们的方法重建了整个植物的80％和主茎，在1个较少的角度和80％的叶子节点中重建了3个较小的观点。我们还证明，尽管植物模型发生了变化，遮挡量，候选观点的数量和重建决议，但注意力驱动的NBV规划师仍有效地工作。通过在活动视觉上添加注意力机制，可以有效地重建整个植物和靶向植物部分。我们得出的结论是，有必要的注意机制对于显着提高复杂农业食品环境中的感知质量是必要的。

https://video-nerf.github.io Figure 1. Our method takes a single casually captured video as input and learns a space-time neural irradiance field. (Top) Sample frames from the input video. (Middle) Novel view images rendered from textured meshes constructed from depth maps. (Bottom) Our results rendered from the proposed space-time neural irradiance field.

虚拟内容创建和互动在现代3D应用中起着重要作用，例如AR和VR。从真实场景中恢复详细的3D模型可以显着扩大其应用程序的范围，并在计算机视觉和计算机图形社区中进行了数十年的研究。我们提出了基于体素的隐式表面表示Vox-Surf。我们的Vox-Surf将空间分为有限的体素。每个体素将几何形状和外观信息存储在其角顶点。 Vox-Surf得益于从体素表示继承的稀疏性，几乎适用于任何情况，并且可以轻松地从多个视图图像中训练。我们利用渐进式训练程序逐渐提取重要体素，以进一步优化，以便仅保留有效的体素，从而大大减少了采样点的数量并增加了渲染速度。细素还可以视为碰撞检测的边界量。该实验表明，与其他方法相比，Vox-Surf表示可以学习精致的表面细节和准确的颜色，并以更少的记忆力和更快的渲染速度来学习。我们还表明，Vox-Surf在场景编辑和AR应用中可能更实用。

在本文中，我们为复杂场景进行了高效且强大的深度学习解决方案。在我们的方法中，3D场景表示为光场，即，一组光线，每组在到达图像平面时具有相应的颜色。对于高效的新颖视图渲染，我们采用了光场的双面参数化，其中每个光线的特征在于4D参数。然后，我们将光场配向作为4D函数，即将4D坐标映射到相应的颜色值。我们训练一个深度完全连接的网络以优化这种隐式功能并记住3D场景。然后，特定于场景的模型用于综合新颖视图。与以前需要密集的视野的方法不同，需要密集的视野采样来可靠地呈现新颖的视图，我们的方法可以通过采样光线来呈现新颖的视图并直接从网络查询每种光线的颜色，从而使高质量的灯场呈现稀疏集合训练图像。网络可以可选地预测每光深度，从而使诸如自动重新焦点的应用。我们的小说视图合成结果与最先进的综合结果相当，甚至在一些具有折射和反射的具有挑战性的场景中优越。我们在保持交互式帧速率和小的内存占地面积的同时实现这一点。

Photo-realistic free-viewpoint rendering of real-world scenes using classical computer graphics techniques is challenging, because it requires the difficult step of capturing detailed appearance and geometry models. Recent studies have demonstrated promising results by learning scene representations that implicitly encode both geometry and appearance without 3D supervision. However, existing approaches in practice often show blurry renderings caused by the limited network capacity or the difficulty in finding accurate intersections of camera rays with the scene geometry. Synthesizing high-resolution imagery from these representations often requires time-consuming optical ray marching. In this work, we introduce Neural Sparse Voxel Fields (NSVF), a new neural scene representation for fast and high-quality free-viewpoint rendering. NSVF defines a set of voxel-bounded implicit fields organized in a sparse voxel octree to model local properties in each cell. We progressively learn the underlying voxel structures with a diffentiable ray-marching operation from only a set of posed RGB images. With the sparse voxel octree structure, rendering novel views can be accelerated by skipping the voxels containing no relevant scene content. Our method is typically over 10 times faster than the state-of-the-art (namely, NeRF (Mildenhall et al., 2020)) at inference time while achieving higher quality results. Furthermore, by utilizing an explicit sparse voxel representation, our method can easily be applied to scene editing and scene composition. We also demonstrate several challenging tasks, including multi-scene learning, free-viewpoint rendering of a moving human, and large-scale scene rendering. Code and data are available at our website: https://github.com/facebookresearch/NSVF.

我们介绍了第一个基于学习的可重建性预测指标，以改善使用无人机的大规模3D城市场景获取的视图和路径计划。与以前的启发式方法相反，我们的方法学习了一个模型，该模型明确预测了从一组观点重建3D城市场景的能力。为了使这种模型可训练并同时适用于无人机路径计划，我们在培训期间模拟了基于代理的3D场景重建以设置预测。具体而言，我们设计的神经网络经过训练，可以预测场景的重构性，这是代理几何学的函数，一组观点，以及在飞行中获得的一系列场景图像。为了重建一个新的城市场景，我们首先构建了3D场景代理，然后依靠我们网络的预测重建质量和不确定性度量，基于代理几何形状，以指导无人机路径计划。我们证明，与先前的启发式措施相比，我们的数据驱动的可重建性预测与真实的重建质量更加紧密相关。此外，我们学到的预测变量可以轻松地集成到现有的路径计划中，以产生改进。最后，我们根据学习的可重建性设计了一个新的迭代视图计划框架，并在重建合成场景和真实场景时展示新计划者的卓越性能。

我们解决了在室内环境中对于具有有限感应功能和有效载荷/功率限制的微型航空车的高效3-D勘探问题。我们开发了一个室内探索框架，该框架利用学习来预测看不见的区域的占用，提取语义特征，样本观点，以预测不同探索目标的信息收益以及计划的信息轨迹，以实现安全和智能的探索。在模拟和实际环境中进行的广泛实验表明，就结构化室内环境中的总路径长度而言，所提出的方法的表现优于最先进的勘探框架，并且在勘探过程中的成功率更高。

自主探索是移动机器人的重要功能，因为他们的大多数应用程序都需要有效收集有关其周围环境的信息。在文献中，有几种方法，从基于边境的方法到涉及计划本地和全球探索道路的能力的混合解决方案，但只有少数人专注于通过正确调整计划的轨迹来改善本地探索，通常会导致导致“停留”行为。在这项工作中，我们提出了一种新颖的RRT启发的B \'Ezier的次数次数轨迹计划者，能够处理快速局部探索的问题。高斯工艺推论用于保证快速探索获得的检索，同时仍与勘探任务保持一致。将所提出的方法与其他可用的最先进算法进行比较，并在现实情况下进行了测试。实施的代码将作为开源代码公开发布，以鼓励进一步的开发和基准测试。

我们提出了一种新颖的方法，以基于在线RGBD重建与语义分割的在线RGBD重建，提出了一种对未知的室内场景的机器人工作的主动理解。在我们的方法中，探索机器人扫描是由场景中语义对象的识别和分割的驱动和定位。我们的算法基于体积深度融合框架（例如，KinectFusion）之上，并在在线重建卷上执行实时Voxel的语义标记。机器人通过在2D位置和方位角旋转的3D空间上参数化的在线估计的离散观看截由场（VSF）。 VSF为每个网格存储相应视图的分数，测量它减少了几何重建和语义标记的不确定性（熵）。基于VSF，我们选择每个时间步骤的下一个最佳视图（NBV）作为目标。然后，我们通过沿路径和轨迹最大化积分观看分数（信息增益）来共同优化遍历两个相邻的NBV之间的横向路径和相机轨迹。通过广泛的评估，我们表明我们的方法在探索性扫描期间实现了高效准确的在线场景解析。

对于旨在提供家庭服务，搜索和救援，狭窄的检查和医疗援助的机器人来说，在未知，混乱的环境中进行积极的感测和计划是一个公开挑战。尽管存在许多主动感应方法，但它们通常考虑开放空间，假设已知设置，或者大多不概括为现实世界的场景。我们介绍了活跃的神经传感方法，该方法通过手持摄像头生成机器人操纵器的运动学可行视点序列，以收集重建基础环境所需的最小观测值。我们的框架积极收集视觉RGBD观测值，将它们汇总到场景表示中，并执行对象形状推断，以避免与环境的不必要的机器人相互作用。我们使用域随机化训练我们的合成数据方法，并通过SIM到实现的传递成功地执行了其成功执行，以重建狭窄，覆盖的，现实的机柜环境，这些环境杂乱无章。由于周围的障碍物和环境较低的照明条件，自然机柜场景对机器人运动和场景重建构成了重大挑战。然而，尽管设置不利，但就各种环境重建指标（包括计划速度，观点数量和整体场景覆盖）而言，我们的方法与基线相比表现出高性能。

获取房间规模场景的高质量3D重建对于即将到来的AR或VR应用是至关重要的。这些范围从混合现实应用程序进行电话会议，虚拟测量，虚拟房间刨，到机器人应用。虽然使用神经辐射场（NERF）的基于卷的视图合成方法显示有希望再现对象或场景的外观，但它们不会重建实际表面。基于密度的表面的体积表示在使用行进立方体提取表面时导致伪影，因为在优化期间，密度沿着射线累积，并且不在单个样本点处于隔离点。我们建议使用隐式函数（截短的签名距离函数）来代表表面来代表表面。我们展示了如何在NERF框架中纳入此表示，并将其扩展为使用来自商品RGB-D传感器的深度测量，例如Kinect。此外，我们提出了一种姿势和相机细化技术，可提高整体重建质量。相反，与集成NERF的深度前瞻性的并发工作，其专注于新型视图合成，我们的方法能够重建高质量的韵律3D重建。

We present a method that achieves state-of-the-art results for synthesizing novel views of complex scenes by optimizing an underlying continuous volumetric scene function using a sparse set of input views. Our algorithm represents a scene using a fully-connected (nonconvolutional) deep network, whose input is a single continuous 5D coordinate (spatial location (x, y, z) and viewing direction (θ, φ)) and whose output is the volume density and view-dependent emitted radiance at that spatial location. We synthesize views by querying 5D coordinates along camera rays and use classic volume rendering techniques to project the output colors and densities into an image. Because volume rendering is naturally differentiable, the only input required to optimize our representation is a set of images with known camera poses. We describe how to effectively optimize neural radiance fields to render photorealistic novel views of scenes with complicated geometry and appearance, and demonstrate results that outperform prior work on neural rendering and view synthesis. View synthesis results are best viewed as videos, so we urge readers to view our supplementary video for convincing comparisons.

我们提出了GO-SURF，这是一种直接特征网格优化方法，可从RGB-D序列进行准确和快速的表面重建。我们用学习的分层特征素网格对基础场景进行建模，该网络封装了多级几何和外观本地信息。特征向量被直接优化，使得三线性插值后，由两个浅MLP解码为签名的距离和辐射度值，并通过表面体积渲染渲染，合成和观察到的RGB/DEPTH值之间的差异最小化。我们的监督信号-RGB，深度和近似SDF可以直接从输入图像中获得，而无需融合或后处理。我们制定了一种新型的SDF梯度正则化项，该项鼓励表面平滑度和孔填充，同时保持高频细节。 GO-SURF可以优化$ 1 $ - $ 2 $ K框架的序列，价格为$ 15 $ - $ 45 $分钟，$ \ times60 $的速度超过了NeuralRGB-D，这是基于MLP表示的最相关的方法，同时保持PAR性能在PAR上的性能标准基准。项目页面：https：//jingwenwang95.github.io/go_surf/

Volumetric neural rendering methods like NeRF generate high-quality view synthesis results but are optimized per-scene leading to prohibitive reconstruction time. On the other hand, deep multi-view stereo methods can quickly reconstruct scene geometry via direct network inference. Point-NeRF combines the advantages of these two approaches by using neural 3D point clouds, with associated neural features, to model a radiance field. Point-NeRF can be rendered efficiently by aggregating neural point features near scene surfaces, in a ray marching-based rendering pipeline. Moreover, Point-NeRF can be initialized via direct inference of a pre-trained deep network to produce a neural point cloud; this point cloud can be finetuned to surpass the visual quality of NeRF with 30X faster training time. Point-NeRF can be combined with other 3D reconstruction methods and handles the errors and outliers in such methods via a novel pruning and growing mechanism. The experiments on the DTU, the NeRF Synthetics , the ScanNet and the Tanks and Temples datasets demonstrate Point-NeRF can surpass the existing methods and achieve the state-of-the-art results.

最近，神经辐射场（NERF）正在彻底改变新型视图合成（NVS）的卓越性能。但是，NERF及其变体通常需要进行冗长的每场训练程序，其中将多层感知器（MLP）拟合到捕获的图像中。为了解决挑战，已经提出了体素网格表示，以显着加快训练的速度。但是，这些现有方法只能处理静态场景。如何开发有效，准确的动态视图合成方法仍然是一个开放的问题。将静态场景的方法扩展到动态场景并不简单，因为场景几何形状和外观随时间变化。在本文中，基于素素网格优化的最新进展，我们提出了一种快速变形的辐射场方法来处理动态场景。我们的方法由两个模块组成。第一个模块采用变形网格来存储3D动态功能，以及使用插值功能将观测空间中的3D点映射到规范空间的变形的轻巧MLP。第二个模块包含密度和颜色网格，以建模场景的几何形状和密度。明确对阻塞进行了建模，以进一步提高渲染质量。实验结果表明，我们的方法仅使用20分钟的训练就可以实现与D-NERF相当的性能，该训练比D-NERF快70倍以上，这清楚地证明了我们提出的方法的效率。

In this work, we present a dense tracking and mapping system named Vox-Fusion, which seamlessly fuses neural implicit representations with traditional volumetric fusion methods. Our approach is inspired by the recently developed implicit mapping and positioning system and further extends the idea so that it can be freely applied to practical scenarios. Specifically, we leverage a voxel-based neural implicit surface representation to encode and optimize the scene inside each voxel. Furthermore, we adopt an octree-based structure to divide the scene and support dynamic expansion, enabling our system to track and map arbitrary scenes without knowing the environment like in previous works. Moreover, we proposed a high-performance multi-process framework to speed up the method, thus supporting some applications that require real-time performance. The evaluation results show that our methods can achieve better accuracy and completeness than previous methods. We also show that our Vox-Fusion can be used in augmented reality and virtual reality applications. Our source code is publicly available at https://github.com/zju3dv/Vox-Fusion.