执行单个图像整体理解和3D重建是计算机视觉中的核心任务。本文介绍了从单个RGB图像的室内和室外场景执行整体图像分段，对象检测，实例分段，深度估计和对象实例3D重建。我们命名我们的系统Panoptic 3D解析，其中Panoptic Segsation（“填写”分割和“检测/分割”的“检测/分割”。我们设计了一个舞台明智的系统，其中不存在一整套注释。此外，我们介绍了一个端到端的管道，在合成数据集上培训，具有全套注释。我们在室内（3D-Flact）和户外（可可和城市）的场景上显示结果。我们提出的Panoptic 3D解析框架指向计算机愿景中有希望的方向。它可以应用于各种应用，包括自主驾驶，映射，机器人，设计，计算机图形学，机器人，人机互动和增强现实。

了解单个图像的3D场景是各种任务的基础，例如用于机器人，运动规划或增强现实。来自单个RGB图像的3D感知的现有工作倾向于专注于几何重建，或用语义分割或实例分割的几何重建。受到2D Panoptic分割的启发，我们建议统一几何重建，3D语义分割和3D实例分段的任务，进入Panoptic 3D场景重建的任务 - 从单个RGB图像预测相机中场景的完整几何重建图像的截图，以及语义和实例分割。因此，我们为从单个RGB图像提出了一种全新3D场景的新方法，该方法学习从输入图像到达3D容量场景表示来升力和传播2D特征。我们证明，这种联合场景重建，语义和实例分割的整体视图是有益的，独立地处理任务，从而优于替代方法。

一个3D场景由一组对象组成，每个对象都有一个形状和一个布局，使其在太空中的位置。从2D图像中了解3D场景是一个重要的目标，并具有机器人技术和图形的应用。尽管最近在预测单个图像的3D形状和布局方面取得了进步，但大多数方法都依赖于3D地面真相来进行训练，这很昂贵。我们克服了这些局限性，并提出了一种方法，该方法学会预测对象的3D形状和布局，而无需任何地面真相形状或布局信息：相反，我们依靠具有2D监督的多视图图像，可以更轻松地按大规模收集。通过在3D仓库，Hypersim和扫描仪上进行的广泛实验，我们证明了我们的进近量表与逼真的图像的大型数据集相比，并与依赖3D地面真理的方法进行了比较。在Hypersim和Scannet上，如果没有可靠的3D地面真相，我们的方法优于在较小和较少的数据集上训练的监督方法。

视频分析的图像分割在不同的研究领域起着重要作用，例如智能城市，医疗保健，计算机视觉和地球科学以及遥感应用。在这方面，最近致力于发展新的细分策略;最新的杰出成就之一是Panoptic细分。后者是由语义和实例分割的融合引起的。明确地，目前正在研究Panoptic细分，以帮助获得更多对视频监控，人群计数，自主驾驶，医学图像分析的图像场景的更细致的知识，以及一般对场景更深入的了解。为此，我们介绍了本文的首次全面审查现有的Panoptic分段方法，以获得作者的知识。因此，基于所采用的算法，应用场景和主要目标的性质，执行现有的Panoptic技术的明确定义分类。此外，讨论了使用伪标签注释新数据集的Panoptic分割。继续前进，进行消融研究，以了解不同观点的Panoptic方法。此外，讨论了适合于Panoptic分割的评估度量，并提供了现有解决方案性能的比较，以告知最先进的并识别其局限性和优势。最后，目前对主题技术面临的挑战和吸引不久的将来吸引相当兴趣的未来趋势，可以成为即将到来的研究研究的起点。提供代码的文件可用于：https：//github.com/elharroussomar/awesome-panoptic-egation

Rapid advances in 2D perception have led to systems that accurately detect objects in real-world images. However, these systems make predictions in 2D, ignoring the 3D structure of the world. Concurrently, advances in 3D shape prediction have mostly focused on synthetic benchmarks and isolated objects. We unify advances in these two areas. We propose a system that detects objects in real-world images and produces a triangle mesh giving the full 3D shape of each detected object. Our system, called Mesh R-CNN, augments Mask R-CNN with a mesh prediction branch that outputs meshes with varying topological structure by first predicting coarse voxel representations which are converted to meshes and refined with a graph convolution network operating over the mesh's vertices and edges. We validate our mesh prediction branch on ShapeNet, where we outperform prior work on single-image shape prediction. We then deploy our full Mesh R-CNN system on Pix3D, where we jointly detect objects and predict their 3D shapes. Project page: https://gkioxari.github.io/meshrcnn/.

我们提出了一个新的框架，以重建整体3D室内场景，包括单视图像的房间背景和室内对象。由于室内场景的严重阻塞，现有方法只能产生具有有限几何质量的室内物体的3D形状。为了解决这个问题，我们提出了一个与实例一致的隐式函数（InstPifu），以进行详细的对象重建。与实例对齐的注意模块结合使用，我们的方法有权将混合的局部特征与遮挡实例相结合。此外，与以前的方法不同，该方法仅代表房间背景为3D边界框，深度图或一组平面，我们通过隐式表示恢复了背景的精细几何形状。在E SUN RGB-D，PIX3D，3D-FUTURE和3D-FRONT数据集上进行的广泛实验表明，我们的方法在背景和前景对象重建中均优于现有方法。我们的代码和模型将公开可用。

现有的计算机视觉系统可以与人类竞争，以理解物体的可见部分，但在描绘部分被遮挡物体的无形部分时，仍然远远远远没有达到人类。图像Amodal的完成旨在使计算机具有类似人类的Amodal完成功能，以了解完整的对象，尽管该对象被部分遮住。这项调查的主要目的是对图像Amodal完成领域的研究热点，关键技术和未来趋势提供直观的理解。首先，我们对这个新兴领域的最新文献进行了全面的评论，探讨了图像Amodal完成中的三个关键任务，包括Amodal形状完成，Amodal外观完成和订单感知。然后，我们检查了与图像Amodal完成有关的流行数据集及其共同的数据收集方法和评估指标。最后，我们讨论了现实世界中的应用程序和未来的研究方向，以实现图像的完成，从而促进了读者对现有技术和即将到来的研究趋势的挑战的理解。

深度学习识别的进步导致使用2D图像准确的对象检测。然而，这些2D感知方法对于完整的3D世界信息不足。同时，高级3D形状估计接近形状本身的焦点，而不考虑公制量表。这些方法无法确定对象的准确位置和方向。为了解决这个问题，我们提出了一个框架，该框架共同估计了从单个RGB图像的度量标度形状和姿势。我们的框架有两个分支：公制刻度对象形状分支（MSO）和归一化对象坐标空间分支（NOC）。 MSOS分支估计在相机坐标中观察到的度量标准形状。 NOCS分支预测归一化对象坐标空间（NOCS）映射，并从预测的度量刻度网格与渲染的深度图执行相似性转换，以获得6D姿势和大小。此外，我们介绍了归一化对象中心估计（NOCE），以估计从相机到物体中心的几何对齐距离。我们在合成和实际数据集中验证了我们的方法，以评估类别级对象姿势和形状。

本文提出了一个统一的神经网络结构，用于联合3D对象检测和点云分段。我们利用检测和分割标签的丰富监督，而不是使用其中一个。另外，基于广泛应用于3D场景和对象理解的隐式功能，提出了基于单级对象检测器的扩展。扩展分支从对象检测模块作为输入采用最终特征映射，并产生隐式功能，为其对应的体素中心产生每个点的语义分布。我们展示了我们在NUSCENES-LIDARSEG上的结构的表现，这是一个大型户外数据集。我们的解决方案在与对象检测解决方案相比，在3D对象检测和点云分割中实现了针对现有的方法的竞争结果。通过实验验证了所提出的方法的有效弱监管语义分割的能力。

The goal of this paper is to estimate the 6D pose and dimensions of unseen object instances in an RGB-D image. Contrary to "instance-level" 6D pose estimation tasks, our problem assumes that no exact object CAD models are available during either training or testing time. To handle different and unseen object instances in a given category, we introduce Normalized Object Coordinate Space (NOCS)-a shared canonical representation for all possible object instances within a category. Our region-based neural network is then trained to directly infer the correspondence from observed pixels to this shared object representation (NOCS) along with other object information such as class label and instance mask. These predictions can be combined with the depth map to jointly estimate the metric 6D pose and dimensions of multiple objects in a cluttered scene. To train our network, we present a new contextaware technique to generate large amounts of fully annotated mixed reality data. To further improve our model and evaluate its performance on real data, we also provide a fully annotated real-world dataset with large environment and instance variation. Extensive experiments demonstrate that the proposed method is able to robustly estimate the pose and size of unseen object instances in real environments while also achieving state-of-the-art performance on standard 6D pose estimation benchmarks.

点云的语义场景重建是3D场景理解的必不可少的任务。此任务不仅需要识别场景中的每个实例，而且还需要根据部分观察到的点云恢复其几何形状。现有方法通常尝试基于基于检测的主链的不完整点云建议直接预测完整对象的占用值。但是，由于妨碍了各种检测到的假阳性对象建议以及对完整对象学习占用值的不完整点观察的歧义，因此该框架始终无法重建高保真网格。为了绕开障碍，我们提出了一个分离的实例网格重建（DIMR）框架，以了解有效的点场景。采用基于分割的主链来减少假阳性对象建议，这进一步使我们对识别与重建之间关系的探索有益。根据准确的建议，我们利用网状意识的潜在代码空间来解开形状完成和网格生成的过程，从而缓解了由不完整的点观测引起的歧义。此外，通过在测试时间访问CAD型号池，我们的模型也可以通过在没有额外训练的情况下执行网格检索来改善重建质量。我们用多个指标彻底评估了重建的网格质量，并证明了我们在具有挑战性的扫描仪数据集上的优越性。代码可在\ url {https://github.com/ashawkey/dimr}上获得。

In this paper, we propose a unified panoptic segmentation network (UPSNet) for tackling the newly proposed panoptic segmentation task. On top of a single backbone residual network, we first design a deformable convolution based semantic segmentation head and a Mask R-CNN style instance segmentation head which solve these two subtasks simultaneously. More importantly, we introduce a parameter-free panoptic head which solves the panoptic segmentation via pixel-wise classification. It first leverages the logits from the previous two heads and then innovatively expands the representation for enabling prediction of an extra unknown class which helps better resolve the conflicts between semantic and instance segmentation. Additionally, it handles the challenge caused by the varying number of instances and permits back propagation to the bottom modules in an end-to-end manner. Extensive experimental results on Cityscapes, COCO and our internal dataset demonstrate that our UPSNet achieves stateof-the-art performance with much faster inference. Code has been made available at: https://github.com/ uber-research/UPSNet. * Equal contribution.† This work was done when Hengshuang Zhao was an intern at Uber ATG.

我们呈现ROCA，一种新的端到端方法，可以从形状数据库到单个输入图像中检索并对齐3D CAD模型。这使得从2D RGB观察开始观察到的场景的3D感知，其特征在于轻质，紧凑，清洁的CAD表示。我们的方法的核心是我们基于密集的2D-3D对象对应关系和促使对齐的可差的对准优化。因此，罗卡可以提供强大的CAD对准，同时通过利用2D-3D对应关系来学习几何上类似CAD模型来同时通知CAD检索。SCANNET的真实世界图像实验表明，Roca显着提高了现有技术，从检索感知CAD准确度为9.5％至17.6％。

In this work, we study 3D object detection from RGB-D data in both indoor and outdoor scenes. While previous methods focus on images or 3D voxels, often obscuring natural 3D patterns and invariances of 3D data, we directly operate on raw point clouds by popping up RGB-D scans. However, a key challenge of this approach is how to efficiently localize objects in point clouds of large-scale scenes (region proposal). Instead of solely relying on 3D proposals, our method leverages both mature 2D object detectors and advanced 3D deep learning for object localization, achieving efficiency as well as high recall for even small objects. Benefited from learning directly in raw point clouds, our method is also able to precisely estimate 3D bounding boxes even under strong occlusion or with very sparse points. Evaluated on KITTI and SUN RGB-D 3D detection benchmarks, our method outperforms the state of the art by remarkable margins while having real-time capability. * Majority of the work done as an intern at Nuro, Inc. depth to point cloud 2D region (from CNN) to 3D frustum 3D box (from PointNet)

6D object pose estimation problem has been extensively studied in the field of Computer Vision and Robotics. It has wide range of applications such as robot manipulation, augmented reality, and 3D scene understanding. With the advent of Deep Learning, many breakthroughs have been made; however, approaches continue to struggle when they encounter unseen instances, new categories, or real-world challenges such as cluttered backgrounds and occlusions. In this study, we will explore the available methods based on input modality, problem formulation, and whether it is a category-level or instance-level approach. As a part of our discussion, we will focus on how 6D object pose estimation can be used for understanding 3D scenes.

The recently introduced panoptic segmentation task has renewed our community's interest in unifying the tasks of instance segmentation (for thing classes) and semantic segmentation (for stuff classes). However, current state-ofthe-art methods for this joint task use separate and dissimilar networks for instance and semantic segmentation, without performing any shared computation. In this work, we aim to unify these methods at the architectural level, designing a single network for both tasks. Our approach is to endow Mask R-CNN, a popular instance segmentation method, with a semantic segmentation branch using a shared Feature Pyramid Network (FPN) backbone. Surprisingly, this simple baseline not only remains effective for instance segmentation, but also yields a lightweight, topperforming method for semantic segmentation. In this work, we perform a detailed study of this minimally extended version of Mask R-CNN with FPN, which we refer to as Panoptic FPN, and show it is a robust and accurate baseline for both tasks. Given its effectiveness and conceptual simplicity, we hope our method can serve as a strong baseline and aid future research in panoptic segmentation.

最近提出的深度感知视频Panoptic分段（DVPS）旨在预测视频中的Panoptic分段结果和深度映射，这是一个具有挑战性的场景理解问题。在本文中，我们提供了多相变压器，揭示了DVPS任务下的所有子任务。我们的方法通过基于查询的学习探讨了深度估计与Panoptic分割的关系。特别是，我们设计三个不同的查询，包括查询，填写询问和深度查询的东西。然后我们建议通过门控融合来学习这些查询之间的相关性。从实验中，我们从深度估计和Panoptic分割方面证明了我们设计的好处。由于每个物品查询还对实例信息进行了编码，因此通过具有外观学习的裁剪实例掩码功能来执行跟踪是自然的。我们的方法在ICCV-2021 BMTT挑战视频+深度轨道上排名第一。据报道，消融研究表明我们如何提高性能。代码将在https://github.com/harboryuan/polyphonicformer提供。

Understanding 3D environments semantically is pivotal in autonomous driving applications where multiple computer vision tasks are involved. Multi-task models provide different types of outputs for a given scene, yielding a more holistic representation while keeping the computational cost low. We propose a multi-task model for panoptic segmentation and depth completion using RGB images and sparse depth maps. Our model successfully predicts fully dense depth maps and performs semantic segmentation, instance segmentation, and panoptic segmentation for every input frame. Extensive experiments were done on the Virtual KITTI 2 dataset and we demonstrate that our model solves multiple tasks, without a significant increase in computational cost, while keeping high accuracy performance. Code is available at https://github.com/juanb09111/PanDepth.git

我们为RGB视频提供了基于变压器的神经网络体系结构，用于多对象3D重建。它依赖于表示知识的两种替代方法：作为特征的全局3D网格和一系列特定的2D网格。我们通过专用双向注意机制在两者之间逐步交换信息。我们利用有关图像形成过程的知识，以显着稀疏注意力重量矩阵，从而使我们的体系结构在记忆和计算方面可行。我们在3D特征网格的顶部附上一个detr风格的头，以检测场景中的对象并预测其3D姿势和3D形状。与以前的方法相比，我们的体系结构是单阶段，端到端可训练，并且可以从整体上考虑来自多个视频帧的场景，而无需脆弱的跟踪步骤。我们在挑战性的SCAN2CAD数据集上评估了我们的方法，在该数据集中，我们的表现要优于RGB视频的3D对象姿势估算的最新最新方法； （2）将多视图立体声与RGB-D CAD对齐结合的强大替代方法。我们计划发布我们的源代码。

具有高质量注释的大规模培训数据对于训练语义和实例分割模型至关重要。不幸的是，像素的注释是劳动密集型且昂贵的，从而提高了对更有效的标签策略的需求。在这项工作中，我们提出了一种新颖的3D到2D标签传输方法，即Panoptic Nerf，该方法旨在从易于体现的粗3D边界原始基原始素中获取每个像素2D语义和实例标签。我们的方法利用NERF作为可区分的工具来统一从现有数据集中传输的粗3D注释和2D语义提示。我们证明，这种组合允许通过语义信息指导的几何形状，从而使跨多个视图的准确语义图渲染。此外，这种融合过程解决了粗3D注释的标签歧义，并过滤了2D预测中的噪声。通过推断3D空间并渲染到2D标签，我们的2D语义和实例标签是按设计一致的多视图。实验结果表明，在挑战Kitti-360数据集的挑战性城市场景方面，Pastic Nerf的表现优于现有标签传输方法。