了解单个图像的3D场景是各种任务的基础，例如用于机器人，运动规划或增强现实。来自单个RGB图像的3D感知的现有工作倾向于专注于几何重建，或用语义分割或实例分割的几何重建。受到2D Panoptic分割的启发，我们建议统一几何重建，3D语义分割和3D实例分段的任务，进入Panoptic 3D场景重建的任务 - 从单个RGB图像预测相机中场景的完整几何重建图像的截图，以及语义和实例分割。因此，我们为从单个RGB图像提出了一种全新3D场景的新方法，该方法学习从输入图像到达3D容量场景表示来升力和传播2D特征。我们证明，这种联合场景重建，语义和实例分割的整体视图是有益的，独立地处理任务，从而优于替代方法。

我们呈现ROCA，一种新的端到端方法，可以从形状数据库到单个输入图像中检索并对齐3D CAD模型。这使得从2D RGB观察开始观察到的场景的3D感知，其特征在于轻质，紧凑，清洁的CAD表示。我们的方法的核心是我们基于密集的2D-3D对象对应关系和促使对齐的可差的对准优化。因此，罗卡可以提供强大的CAD对准，同时通过利用2D-3D对应关系来学习几何上类似CAD模型来同时通知CAD检索。SCANNET的真实世界图像实验表明，Roca显着提高了现有技术，从检索感知CAD准确度为9.5％至17.6％。

执行单个图像整体理解和3D重建是计算机视觉中的核心任务。本文介绍了从单个RGB图像的室内和室外场景执行整体图像分段，对象检测，实例分段，深度估计和对象实例3D重建。我们命名我们的系统Panoptic 3D解析，其中Panoptic Segsation（“填写”分割和“检测/分割”的“检测/分割”。我们设计了一个舞台明智的系统，其中不存在一整套注释。此外，我们介绍了一个端到端的管道，在合成数据集上培训，具有全套注释。我们在室内（3D-Flact）和户外（可可和城市）的场景上显示结果。我们提出的Panoptic 3D解析框架指向计算机愿景中有希望的方向。它可以应用于各种应用，包括自主驾驶，映射，机器人，设计，计算机图形学，机器人，人机互动和增强现实。

This paper focuses on semantic scene completion, a task for producing a complete 3D voxel representation of volumetric occupancy and semantic labels for a scene from a single-view depth map observation. Previous work has considered scene completion and semantic labeling of depth maps separately. However, we observe that these two problems are tightly intertwined. To leverage the coupled nature of these two tasks, we introduce the semantic scene completion network (SSCNet), an end-to-end 3D convolutional network that takes a single depth image as input and simultaneously outputs occupancy and semantic labels for all voxels in the camera view frustum. Our network uses a dilation-based 3D context module to efficiently expand the receptive field and enable 3D context learning. To train our network, we construct SUNCG -a manually created largescale dataset of synthetic 3D scenes with dense volumetric annotations. Our experiments demonstrate that the joint model outperforms methods addressing each task in isolation and outperforms alternative approaches on the semantic scene completion task. The dataset, code and pretrained model will be available online upon acceptance.

We propose Panoptic Lifting, a novel approach for learning panoptic 3D volumetric representations from images of in-the-wild scenes. Once trained, our model can render color images together with 3D-consistent panoptic segmentation from novel viewpoints. Unlike existing approaches which use 3D input directly or indirectly, our method requires only machine-generated 2D panoptic segmentation masks inferred from a pre-trained network. Our core contribution is a panoptic lifting scheme based on a neural field representation that generates a unified and multi-view consistent, 3D panoptic representation of the scene. To account for inconsistencies of 2D instance identifiers across views, we solve a linear assignment with a cost based on the model's current predictions and the machine-generated segmentation masks, thus enabling us to lift 2D instances to 3D in a consistent way. We further propose and ablate contributions that make our method more robust to noisy, machine-generated labels, including test-time augmentations for confidence estimates, segment consistency loss, bounded segmentation fields, and gradient stopping. Experimental results validate our approach on the challenging Hypersim, Replica, and ScanNet datasets, improving by 8.4, 13.8, and 10.6% in scene-level PQ over state of the art.

具有高质量注释的大规模培训数据对于训练语义和实例分割模型至关重要。不幸的是，像素的注释是劳动密集型且昂贵的，从而提高了对更有效的标签策略的需求。在这项工作中，我们提出了一种新颖的3D到2D标签传输方法，即Panoptic Nerf，该方法旨在从易于体现的粗3D边界原始基原始素中获取每个像素2D语义和实例标签。我们的方法利用NERF作为可区分的工具来统一从现有数据集中传输的粗3D注释和2D语义提示。我们证明，这种组合允许通过语义信息指导的几何形状，从而使跨多个视图的准确语义图渲染。此外，这种融合过程解决了粗3D注释的标签歧义，并过滤了2D预测中的噪声。通过推断3D空间并渲染到2D标签，我们的2D语义和实例标签是按设计一致的多视图。实验结果表明，在挑战Kitti-360数据集的挑战性城市场景方面，Pastic Nerf的表现优于现有标签传输方法。

6D object pose estimation problem has been extensively studied in the field of Computer Vision and Robotics. It has wide range of applications such as robot manipulation, augmented reality, and 3D scene understanding. With the advent of Deep Learning, many breakthroughs have been made; however, approaches continue to struggle when they encounter unseen instances, new categories, or real-world challenges such as cluttered backgrounds and occlusions. In this study, we will explore the available methods based on input modality, problem formulation, and whether it is a category-level or instance-level approach. As a part of our discussion, we will focus on how 6D object pose estimation can be used for understanding 3D scenes.

我们在野外的一对立体声RGB图像上介绍了基于类别级3D对象检测和隐式形状估计的基于学习的框架。传统的立体声3D对象检测方法仅使用3D边界框来描述检测到的对象，无法推断出完全的表面几何形状，这使得创造难以创造逼真的户外沉浸体验。相比之下，我们提出了一种新的模型S-3D-RCNN，可以执行精确的本地化，并为检测到的对象提供完整和分辨不可行的形状描述。我们首先使用全局本地框架从形状重建估计对象坐标系估计。然后，我们提出了一种新的实例级网络，通过从立体声区域的基于点的表示来解决未经遵守的表面幻觉问题，并且Infers具有预测的完整表面几何形状的隐式形状码。广泛的实验使用Kitti基准测试的现有和新指标验证我们的方法的卓越性能。此HTTPS URL可提供代码和预先接受的型号。

Our method completes a partial 3D scan using a 3D Encoder-Predictor network that leverages semantic features from a 3D classification network. The predictions are correlated with a shape database, which we use in a multi-resolution 3D shape synthesis step. We obtain completed high-resolution meshes that are inferred from partial, low-resolution input scans.

在本文中，我们提出了一个新颖的对象级映射系统，该系统可以同时在动态场景中分段，跟踪和重建对象。它可以通过对深度输入的重建和类别级别的重建来进一步预测并完成其完整的几何形状，其目的是完成对象几何形状会导致更好的对象重建和跟踪准确性。对于每个传入的RGB-D帧，我们执行实例分割以检测对象并在检测和现有对象图之间构建数据关联。将为每个无与伦比的检测创建一个新的对象映射。对于每个匹配的对象，我们使用几何残差和差分渲染残留物共同优化其姿势和潜在的几何表示形式，并完成其形状之前和完成的几何形状。与使用传统的体积映射或学习形状的先验方法相比，我们的方法显示出更好的跟踪和重建性能。我们通过定量和定性测试合成和现实世界序列来评估其有效性。

Panoptic图像分割是计算机视觉任务，即在图像中查找像素组并为其分配语义类别和对象实例标识符。由于其在机器人技术和自动驾驶中的关键应用，图像细分的研究变得越来越流行。因此，研究社区依靠公开可用的基准数据集来推进计算机视觉中的最新技术。但是，由于将图像标记为高昂的成本，因此缺乏适合全景分割的公开地面真相标签。高标签成本还使得将现有数据集扩展到视频域和多相机设置是一项挑战。因此，我们介绍了Waymo Open DataSet：全景视频全景分割数据集，这是一个大型数据集，它提供了用于自主驾驶的高质量的全景分割标签。我们使用公开的Waymo打开数据集生成数据集，利用各种相机图像集。随着时间的推移，我们的标签是一致的，用于视频处理，并且在车辆上安装的多个摄像头保持一致，以了解全景的理解。具体而言，我们为28个语义类别和2,860个时间序列提供标签，这些标签由在三个不同地理位置驾驶的自动驾驶汽车上安装的五个摄像机捕获，从而导致总共标记为100k标记的相机图像。据我们所知，这使我们的数据集比现有的数据集大量数据集大的数量级。我们进一步提出了一个新的基准，用于全景视频全景分割，并根据DeepLab模型家族建立许多强大的基准。我们将公开制作基准和代码。在https://waymo.com/open上找到数据集。

尽管3D形状表示能够在许多视觉和感知应用中实现强大的推理，但学习3D形状先验倾向于将其限制在培训的特定类别中，从而导致学习效率低下，尤其是对于具有看不见类别的一般应用。因此，我们提出了补丁程序，该贴片可以根据多分辨率的本地贴片来学习有效的形状先验，这些贴片通常比完整的形状（例如，椅子和桌子经常共享腿）更一般，因此可以对看不见的类别类别进行几何推理。为了学习这些共享的子结构，我们学习了所有火车类别的多分辨率补丁验证者，然后通过整个贴片研究人员的注意与输入部分形状观察相关联，并最终被解码为完整的形状重建。此类基于补丁的先验避免过度适合特定的火车类别，并在测试时间对完全看不见的类别进行重建。我们证明了方法对合成造型数据的有效性以及扫描仪的挑战的实扫描对象，包括噪音和混乱，在新型类别形状的完成状态下改善了塑形距离的新型类别形状的状态，并提高了19.3％扫描仪9.0％。

我们提出了一种新的方法，用于从室内环境中的RGB-D序列进行连接3D多对象跟踪和重建。为此，我们在每个帧中检测并重建对象，同时预测密集的对应关系映射到归一化对象空间中。我们利用这些对应关系来告知图神经网络，以解决所有对象的最佳，时间一致的7-DOF姿势轨迹。我们方法的新颖性是两个方面：首先，我们提出了一种基于图的新方法，用于随着时间的流逝而进行区分姿势估计，以学习最佳的姿势轨迹。其次，我们提出了沿时间轴的重建和姿势估计的联合公式，以实现健壮和几何一致的多对象跟踪。为了验证我们的方法，我们引入了一个新的合成数据集，其中包含2381个唯一室内序列，总共有60k渲染的RGB-D图像，用于多对象跟踪，并带有移动对象和来自合成3D-Front数据集的相机位置。我们证明，与现有最新方法相比，我们的方法将所有测试序列的累积MOTA得分提高了24.8％。在关于合成和现实世界序列的几个消融中，我们表明我们的基于图的完全端到端学习方法可以显着提高跟踪性能。

用于LIDAR点云的快速准确的Panoptic分割系统对于自主驾驶车辆来了解周围物体和场景至关重要。现有方法通常依赖于提案或聚类到分段前景实例。结果，他们努力实现实时性能。在本文中，我们提出了一种用于LIDAR点云的新型实时端到端Panoptic分段网络，称为CPSEG。特别地，CPSEG包括共享编码器，双解码器，任务感知注意模块（TAM）和无簇实例分段头。 TAM旨在强制执行这两个解码器以学习用于语义和实例嵌入的丰富的任务感知功能。此外，CPSEG包含一个新的无簇实例分割头，以根据学习嵌入的嵌入动态占据前景点。然后，它通过找到具有成对嵌入比较的连接的柱子来获取实例标签。因此，将传统的基于提议的或基于聚类的实例分段转换为对成对嵌入比较矩阵的二进制分段问题。为了帮助网络回归实例嵌入，提出了一种快速和确定的深度完成算法，以实时计算每个点云的表面法线。该方法在两个大型自主驾驶数据集中基准测试，即Semantickitti和Nuscenes。值得注意的是，广泛的实验结果表明，CPSEG在两个数据集的实时方法中实现了最先进的结果。

人类可以从少量的2D视图中从3D中感知场景。对于AI代理商，只有几个图像的任何视点识别场景的能力使它们能够有效地与场景及其对象交互。在这项工作中，我们试图通过这种能力赋予机器。我们提出了一种模型，它通过将新场景的几个RGB图像进行输入，并通过将其分割为语义类别来识别新的视点中的场景。所有这一切都没有访问这些视图的RGB图像。我们将2D场景识别与隐式3D表示，并从数百个场景的多视图2D注释中学习，而无需超出相机姿势的3D监督。我们试验具有挑战性的数据集，并展示我们模型的能力，共同捕捉新颖场景的语义和几何形状，具有不同的布局，物体类型和形状。

视频分析的图像分割在不同的研究领域起着重要作用，例如智能城市，医疗保健，计算机视觉和地球科学以及遥感应用。在这方面，最近致力于发展新的细分策略;最新的杰出成就之一是Panoptic细分。后者是由语义和实例分割的融合引起的。明确地，目前正在研究Panoptic细分，以帮助获得更多对视频监控，人群计数，自主驾驶，医学图像分析的图像场景的更细致的知识，以及一般对场景更深入的了解。为此，我们介绍了本文的首次全面审查现有的Panoptic分段方法，以获得作者的知识。因此，基于所采用的算法，应用场景和主要目标的性质，执行现有的Panoptic技术的明确定义分类。此外，讨论了使用伪标签注释新数据集的Panoptic分割。继续前进，进行消融研究，以了解不同观点的Panoptic方法。此外，讨论了适合于Panoptic分割的评估度量，并提供了现有解决方案性能的比较，以告知最先进的并识别其局限性和优势。最后，目前对主题技术面临的挑战和吸引不久的将来吸引相当兴趣的未来趋势，可以成为即将到来的研究研究的起点。提供代码的文件可用于：https：//github.com/elharroussomar/awesome-panoptic-egation

点云的语义场景重建是3D场景理解的必不可少的任务。此任务不仅需要识别场景中的每个实例，而且还需要根据部分观察到的点云恢复其几何形状。现有方法通常尝试基于基于检测的主链的不完整点云建议直接预测完整对象的占用值。但是，由于妨碍了各种检测到的假阳性对象建议以及对完整对象学习占用值的不完整点观察的歧义，因此该框架始终无法重建高保真网格。为了绕开障碍，我们提出了一个分离的实例网格重建（DIMR）框架，以了解有效的点场景。采用基于分割的主链来减少假阳性对象建议，这进一步使我们对识别与重建之间关系的探索有益。根据准确的建议，我们利用网状意识的潜在代码空间来解开形状完成和网格生成的过程，从而缓解了由不完整的点观测引起的歧义。此外，通过在测试时间访问CAD型号池，我们的模型也可以通过在没有额外训练的情况下执行网格检索来改善重建质量。我们用多个指标彻底评估了重建的网格质量，并证明了我们在具有挑战性的扫描仪数据集上的优越性。代码可在\ url {https://github.com/ashawkey/dimr}上获得。

我们为RGB视频提供了基于变压器的神经网络体系结构，用于多对象3D重建。它依赖于表示知识的两种替代方法：作为特征的全局3D网格和一系列特定的2D网格。我们通过专用双向注意机制在两者之间逐步交换信息。我们利用有关图像形成过程的知识，以显着稀疏注意力重量矩阵，从而使我们的体系结构在记忆和计算方面可行。我们在3D特征网格的顶部附上一个detr风格的头，以检测场景中的对象并预测其3D姿势和3D形状。与以前的方法相比，我们的体系结构是单阶段，端到端可训练，并且可以从整体上考虑来自多个视频帧的场景，而无需脆弱的跟踪步骤。我们在挑战性的SCAN2CAD数据集上评估了我们的方法，在该数据集中，我们的表现要优于RGB视频的3D对象姿势估算的最新最新方法； （2）将多视图立体声与RGB-D CAD对齐结合的强大替代方法。我们计划发布我们的源代码。

神经隐式表示在新的视图合成和来自多视图图像的高质量3D重建方面显示了其有效性。但是，大多数方法都集中在整体场景表示上，但忽略了其中的各个对象，从而限制了潜在的下游应用程序。为了学习对象组合表示形式，一些作品将2D语义图作为训练中的提示，以掌握对象之间的差异。但是他们忽略了对象几何和实例语义信息之间的牢固联系，这导致了单个实例的不准确建模。本文提出了一个新颖的框架ObjectsDF，以在3D重建和对象表示中构建具有高保真度的对象复合神经隐式表示。观察常规音量渲染管道的歧义，我们通过组合单个对象的签名距离函数（SDF）来对场景进行建模，以发挥明确的表面约束。区分不同实例的关键是重新审视单个对象的SDF和语义标签之间的牢固关联。特别是，我们将语义信息转换为对象SDF的函数，并为场景和对象开发统一而紧凑的表示形式。实验结果表明，ObjectSDF框架在表示整体对象组合场景和各个实例方面的优越性。可以在https://qianyiwu.github.io/objectsdf/上找到代码

代表物体粒度的场景是场景理解和决策的先决条件。我们提出PrisMoNet，一种基于先前形状知识的新方法，用于学习多对象3D场景分解和来自单个图像的表示。我们的方法学会在平面曲面上分解具有多个对象的合成场景的图像，进入其组成场景对象，并从单个视图推断它们的3D属性。经常性编码器从输入的RGB图像中回归3D形状，姿势和纹理的潜在表示。通过可差异化的渲染，我们培训我们的模型以自我监督方式从RGB-D图像中分解场景。 3D形状在功能空间中连续表示，作为我们以监督方式从示例形状预先训练的符号距离函数。这些形状的前沿提供弱监管信号，以更好地条件挑战整体学习任务。我们评估我们模型在推断3D场景布局方面的准确性，展示其生成能力，评估其对真实图像的概括，并指出了学习的表示的益处。