具有高质量注释的大规模培训数据对于训练语义和实例分割模型至关重要。不幸的是，像素的注释是劳动密集型且昂贵的，从而提高了对更有效的标签策略的需求。在这项工作中，我们提出了一种新颖的3D到2D标签传输方法，即Panoptic Nerf，该方法旨在从易于体现的粗3D边界原始基原始素中获取每个像素2D语义和实例标签。我们的方法利用NERF作为可区分的工具来统一从现有数据集中传输的粗3D注释和2D语义提示。我们证明，这种组合允许通过语义信息指导的几何形状，从而使跨多个视图的准确语义图渲染。此外，这种融合过程解决了粗3D注释的标签歧义，并过滤了2D预测中的噪声。通过推断3D空间并渲染到2D标签，我们的2D语义和实例标签是按设计一致的多视图。实验结果表明，在挑战Kitti-360数据集的挑战性城市场景方面，Pastic Nerf的表现优于现有标签传输方法。

We propose Panoptic Lifting, a novel approach for learning panoptic 3D volumetric representations from images of in-the-wild scenes. Once trained, our model can render color images together with 3D-consistent panoptic segmentation from novel viewpoints. Unlike existing approaches which use 3D input directly or indirectly, our method requires only machine-generated 2D panoptic segmentation masks inferred from a pre-trained network. Our core contribution is a panoptic lifting scheme based on a neural field representation that generates a unified and multi-view consistent, 3D panoptic representation of the scene. To account for inconsistencies of 2D instance identifiers across views, we solve a linear assignment with a cost based on the model's current predictions and the machine-generated segmentation masks, thus enabling us to lift 2D instances to 3D in a consistent way. We further propose and ablate contributions that make our method more robust to noisy, machine-generated labels, including test-time augmentations for confidence estimates, segment consistency loss, bounded segmentation fields, and gradient stopping. Experimental results validate our approach on the challenging Hypersim, Replica, and ScanNet datasets, improving by 8.4, 13.8, and 10.6% in scene-level PQ over state of the art.

人类可以从少量的2D视图中从3D中感知场景。对于AI代理商，只有几个图像的任何视点识别场景的能力使它们能够有效地与场景及其对象交互。在这项工作中，我们试图通过这种能力赋予机器。我们提出了一种模型，它通过将新场景的几个RGB图像进行输入，并通过将其分割为语义类别来识别新的视点中的场景。所有这一切都没有访问这些视图的RGB图像。我们将2D场景识别与隐式3D表示，并从数百个场景的多视图2D注释中学习，而无需超出相机姿势的3D监督。我们试验具有挑战性的数据集，并展示我们模型的能力，共同捕捉新颖场景的语义和几何形状，具有不同的布局，物体类型和形状。

神经隐式表示在新的视图合成和来自多视图图像的高质量3D重建方面显示了其有效性。但是，大多数方法都集中在整体场景表示上，但忽略了其中的各个对象，从而限制了潜在的下游应用程序。为了学习对象组合表示形式，一些作品将2D语义图作为训练中的提示，以掌握对象之间的差异。但是他们忽略了对象几何和实例语义信息之间的牢固联系，这导致了单个实例的不准确建模。本文提出了一个新颖的框架ObjectsDF，以在3D重建和对象表示中构建具有高保真度的对象复合神经隐式表示。观察常规音量渲染管道的歧义，我们通过组合单个对象的签名距离函数（SDF）来对场景进行建模，以发挥明确的表面约束。区分不同实例的关键是重新审视单个对象的SDF和语义标签之间的牢固关联。特别是，我们将语义信息转换为对象SDF的函数，并为场景和对象开发统一而紧凑的表示形式。实验结果表明，ObjectSDF框架在表示整体对象组合场景和各个实例方面的优越性。可以在https://qianyiwu.github.io/objectsdf/上找到代码

神经辐射场（NERF）的最新进展实现了最新的新型视图合成，并促进了场景特性的密集估计。但是，在非常稀疏的视图下捕获的大型无界场景通常会失败，而场景内容集中在远离相机的情况下，这是典型的现场机器人应用程序。特别是，NERF风格的算法的性能很差：（1）当视图不足而呈姿势多样性的情况不足时，（2）当场景包含饱和度和阴影时，以及（3）当对具有精细结构的大型无界场景进行精心采样时，计算中就会大量强度。本文提出了克隆器，它通过允许从稀疏输入传感器视图中观察到的大型户外驾驶场景来对NERF进行显着改善。这是通过将NERF框架内的占用和颜色学习分离成分别使用LIDAR和相机数据训练的单独的多层感知器（MLP）来实现的。此外，本文提出了一种新的方法，可以在NERF模型旁边构建可区分的3D占用网格图（OGM），并利用此占用网格来改进沿射线的点采样，以在度量空间中进行体积渲染。通过在Kitti数据集的场景上进行的广泛定量和定性实验，本文表明，在新的视图合成和密集的深度预测任务上对稀疏输入数据培训时，所提出的方法在新型视图合成和密集的深度预测任务上都优于最先进的NERF模型。

这项工作的目标是通过扫描平台捕获的数据进行3D重建和新颖的观看综合，该平台在城市室外环境中常设世界映射（例如，街景）。给定一系列由摄像机和扫描仪通过室外场景的摄像机和扫描仪进行的序列，我们产生可以从中提取3D表面的模型，并且可以合成新颖的RGB图像。我们的方法扩展了神经辐射字段，已经证明了用于在受控设置中的小型场景中的逼真新颖的图像，用于利用异步捕获的LIDAR数据，用于寻址捕获图像之间的曝光变化，以及利用预测的图像分段来监督密度。在光线指向天空。这三个扩展中的每一个都在街道视图数据上的实验中提供了显着的性能改进。我们的系统产生最先进的3D表面重建，并与传统方法（例如〜Colmap）和最近的神经表示（例如〜MIP-NERF）相比，合成更高质量的新颖视图。

Panoptic图像分割是计算机视觉任务，即在图像中查找像素组并为其分配语义类别和对象实例标识符。由于其在机器人技术和自动驾驶中的关键应用，图像细分的研究变得越来越流行。因此，研究社区依靠公开可用的基准数据集来推进计算机视觉中的最新技术。但是，由于将图像标记为高昂的成本，因此缺乏适合全景分割的公开地面真相标签。高标签成本还使得将现有数据集扩展到视频域和多相机设置是一项挑战。因此，我们介绍了Waymo Open DataSet：全景视频全景分割数据集，这是一个大型数据集，它提供了用于自主驾驶的高质量的全景分割标签。我们使用公开的Waymo打开数据集生成数据集，利用各种相机图像集。随着时间的推移，我们的标签是一致的，用于视频处理，并且在车辆上安装的多个摄像头保持一致，以了解全景的理解。具体而言，我们为28个语义类别和2,860个时间序列提供标签，这些标签由在三个不同地理位置驾驶的自动驾驶汽车上安装的五个摄像机捕获，从而导致总共标记为100k标记的相机图像。据我们所知，这使我们的数据集比现有的数据集大量数据集大的数量级。我们进一步提出了一个新的基准，用于全景视频全景分割，并根据DeepLab模型家族建立许多强大的基准。我们将公开制作基准和代码。在https://waymo.com/open上找到数据集。

我们呈现NESF，一种用于单独从构成的RGB图像中生成3D语义场的方法。代替经典的3D表示，我们的方法在最近的基础上建立了隐式神经场景表示的工作，其中3D结构被点亮功能捕获。我们利用这种方法来恢复3D密度领域，我们然后在其中培训由构成的2D语义地图监督的3D语义分段模型。尽管仅在2D信号上培训，我们的方法能够从新颖的相机姿势生成3D一致的语义地图，并且可以在任意3D点查询。值得注意的是，NESF与产生密度场的任何方法兼容，并且随着密度场的质量改善，其精度可提高。我们的实证分析在复杂的实际呈现的合成场景中向竞争性2D和3D语义分割基线表现出可比的质量。我们的方法是第一个提供真正密集的3D场景分段，需要仅需要2D监督培训，并且不需要任何关于新颖场景的推论的语义输入。我们鼓励读者访问项目网站。

在不同观点之间找到准确的对应关系是无监督的多视图立体声（MVS）的跟腱。现有方法是基于以下假设：相应的像素具有相似的光度特征。但是，在实际场景中，多视图图像观察到非斜面的表面和经验遮挡。在这项工作中，我们提出了一种新颖的方法，即神经渲染（RC-MVSNET），以解决观点之间对应关系的歧义问题。具体而言，我们施加了一个深度渲染一致性损失，以限制靠近对象表面的几何特征以减轻遮挡。同时，我们引入了参考视图综合损失，以产生一致的监督，即使是针对非兰伯特表面。关于DTU和TANKS \＆Temples基准测试的广泛实验表明，我们的RC-MVSNET方法在无监督的MVS框架上实现了最先进的性能，并对许多有监督的方法进行了竞争性能。该代码在https://github.com/上发布。 BOESE0601/RC-MVSNET

在许多计算机视觉和图形应用程序中，从2D图像重建3D室内场景是一项重要任务。这项任务中的一个主要挑战是，典型的室内场景中的无纹理区域使现有方法难以产生令人满意的重建结果。我们提出了一种名为Neuris的新方法，以高质量地重建室内场景。 Neuris的关键思想是将估计的室内场景正常整合为神经渲染框架中的先验，以重建大型无纹理形状，并且重要的是，以适应性的方式进行此操作，以便重建不规则的形状，并具有很好的细节。 。具体而言，我们通过检查优化过程中重建的多视图一致性来评估正常先验的忠诚。只有被接受为忠实的正常先验才能用于3D重建，通常发生在平滑形状的区域中，可能具有弱质地。但是，对于那些具有小物体或薄结构的区域，普通先验通常不可靠，我们只能依靠输入图像的视觉特征，因为此类区域通常包含相对较丰富的视觉特征（例如，阴影变化和边界轮廓）。广泛的实验表明，在重建质量方面，Neuris明显优于最先进的方法。

神经辐射字段（NERF）将场景编码为神经表示，使得能够实现新颖视图的照片逼真。然而，RGB图像的成功重建需要在静态条件下拍摄的大量输入视图 - 通常可以为房间尺寸场景的几百个图像。我们的方法旨在将整个房间的小说视图从数量级的图像中合成。为此，我们利用密集的深度前导者来限制NERF优化。首先，我们利用从用于估计相机姿势的运动（SFM）预处理步骤的结构自由提供的稀疏深度数据。其次，我们使用深度完成将这些稀疏点转换为密集的深度图和不确定性估计，用于指导NERF优化。我们的方法使数据有效的新颖观看综合在挑战室内场景中，使用少量为整个场景的18张图像。

我们介绍了MGNET，这是一个多任务框架，用于单眼几何场景。我们将单眼几何场景的理解定义为两个已知任务的组合：全景分割和自我监管的单眼深度估计。全景分段不仅在语义上，而且在实例的基础上捕获完整场景。自我监督的单眼深度估计使用摄像机测量模型得出的几何约束，以便从单眼视频序列中测量深度。据我们所知，我们是第一个在一个模型中提出这两个任务的组合的人。我们的模型专注于低潜伏期，以实时在单个消费级GPU上实时提供快速推断。在部署过程中，我们的模型将产生密集的3D点云，其中具有来自单个高分辨率摄像头图像的实例意识到语义标签。我们对两个流行的自动驾驶基准（即CityScapes and Kitti）评估了模型，并在其他能够实时的方法中表现出竞争性能。源代码可从https://github.com/markusschoen/mgnet获得。

神经辐射场（NERF）具有密集捕获的输入图像实现光真实的视图合成。然而，鉴于稀疏的视图，NERF的几何形状极为严重，从而导致新观点合成质量的显着降解。受到自我监督的深度估计方法的启发，我们提出了structnerf，这是针对稀疏输入的室内场景的新型视图合成的解决方案。 structnerf利用自然嵌入多视图输入中的结构提示来处理NERF中无约束的几何问题。具体而言，它分别解决了纹理和非纹理区域：提出了基于贴片的多视图一致的光度损失来限制纹理区域的几何形状；对于非纹理的，我们明确地将它们限制为3D一致的平面。通过密集的自我监督深度约束，我们的方法可以改善NERF的几何形状和视图综合性能，而无需对外部数据进行任何其他培训。在几个现实世界数据集上进行的广泛实验表明，构造者超过了针对室内场景的最新方法，这些方法具有稀疏输入的定量和定性。

Neural Radiance Fields (NeRFs) are emerging as a ubiquitous scene representation that allows for novel view synthesis. Increasingly, NeRFs will be shareable with other people. Before sharing a NeRF, though, it might be desirable to remove personal information or unsightly objects. Such removal is not easily achieved with the current NeRF editing frameworks. We propose a framework to remove objects from a NeRF representation created from an RGB-D sequence. Our NeRF inpainting method leverages recent work in 2D image inpainting and is guided by a user-provided mask. Our algorithm is underpinned by a confidence based view selection procedure. It chooses which of the individual 2D inpainted images to use in the creation of the NeRF, so that the resulting inpainted NeRF is 3D consistent. We show that our method for NeRF editing is effective for synthesizing plausible inpaintings in a multi-view coherent manner. We validate our approach using a new and still-challenging dataset for the task of NeRF inpainting.

Figure 1: Our method can synthesize novel views in both space and time from a single monocular video of a dynamic scene. Here we show video results with various configurations of fixing and interpolating view and time (left), as well as a visualization of the recovered scene geometry (right). Please view with Adobe Acrobat or KDE Okular to see animations.

https://video-nerf.github.io Figure 1. Our method takes a single casually captured video as input and learns a space-time neural irradiance field. (Top) Sample frames from the input video. (Middle) Novel view images rendered from textured meshes constructed from depth maps. (Bottom) Our results rendered from the proposed space-time neural irradiance field.

了解单个图像的3D场景是各种任务的基础，例如用于机器人，运动规划或增强现实。来自单个RGB图像的3D感知的现有工作倾向于专注于几何重建，或用语义分割或实例分割的几何重建。受到2D Panoptic分割的启发，我们建议统一几何重建，3D语义分割和3D实例分段的任务，进入Panoptic 3D场景重建的任务 - 从单个RGB图像预测相机中场景的完整几何重建图像的截图，以及语义和实例分割。因此，我们为从单个RGB图像提出了一种全新3D场景的新方法，该方法学习从输入图像到达3D容量场景表示来升力和传播2D特征。我们证明，这种联合场景重建，语义和实例分割的整体视图是有益的，独立地处理任务，从而优于替代方法。

我们介绍了Sparseneus，这是一种基于神经渲染的新方法，用于从多视图图像中进行表面重建的任务。当仅提供稀疏图像作为输入时，此任务变得更加困难，这种情况通常会产生不完整或失真的结果。此外，他们无法概括看不见的新场景会阻碍他们在实践中的应用。相反，Sparseneus可以概括为新场景，并与稀疏的图像（仅2或3）良好合作。 Sparseneus采用签名的距离函数（SDF）作为表面表示，并通过引入代码编码通用表面预测的几何形状来从图像特征中学习可概括的先验。此外，引入了几种策略，以有效利用稀疏视图来进行高质量重建，包括1）多层几何推理框架以粗略的方式恢复表面； 2）多尺度的颜色混合方案，以实现更可靠的颜色预测； 3）一种一致性意识的微调方案，以控制由遮挡和噪声引起的不一致区域。广泛的实验表明，我们的方法不仅胜过最先进的方法，而且表现出良好的效率，可推广性和灵活性。

对人类的逼真渲染和安息对于实现增强现实体验至关重要。我们提出了一个新颖的框架，以重建人类和场景，可以用新颖的人类姿势和景色从一个单一的野外视频中呈现。给定一个由移动摄像机捕获的视频，我们训练了两个NERF模型：人类NERF模型和一个场景NERF模型。为了训练这些模型，我们依靠现有方法来估计人类和场景的粗糙几何形状。这些粗糙的几何估计值使我们能够创建一个从观察空间到独立姿势独立的空间的翘曲场10秒的视频剪辑，并以新颖的观点以及背景提供新颖的姿势，提供人类的高质量效果。

本文旨在减少透明辐射场的渲染时间。一些最近的作品用图像编码器配备了神经辐射字段，能够跨越场景概括，这避免了每场景优化。但是，它们的渲染过程通常很慢。主要因素是，在推断辐射场时，它们在空间中的大量点。在本文中，我们介绍了一个混合场景表示，它结合了最佳的隐式辐射场和显式深度映射，以便有效渲染。具体地，我们首先构建级联成本量，以有效地预测场景的粗糙几何形状。粗糙几何允许我们在场景表面附近的几个点来样，并显着提高渲染速度。该过程是完全可疑的，使我们能够仅从RGB图像共同学习深度预测和辐射现场网络。实验表明，该方法在DTU，真正的前瞻性和NERF合成数据集上展示了最先进的性能，而不是比以前的最可推广的辐射现场方法快至少50倍。我们还展示了我们的方法实时综合动态人类执行者的自由观点视频。代码将在https://zju3dv.github.io/enerf/处提供。