Understanding 3D environments semantically is pivotal in autonomous driving applications where multiple computer vision tasks are involved. Multi-task models provide different types of outputs for a given scene, yielding a more holistic representation while keeping the computational cost low. We propose a multi-task model for panoptic segmentation and depth completion using RGB images and sparse depth maps. Our model successfully predicts fully dense depth maps and performs semantic segmentation, instance segmentation, and panoptic segmentation for every input frame. Extensive experiments were done on the Virtual KITTI 2 dataset and we demonstrate that our model solves multiple tasks, without a significant increase in computational cost, while keeping high accuracy performance. Code is available at https://github.com/juanb09111/PanDepth.git

整体场景的理解对于自动机器的性能至关重要。在本文中，我们提出了一个新的端到端模型，用于共同执行语义细分和深度完成。最近的绝大多数方法已发展为独立任务的语义细分和深度完成。我们的方法取决于RGB和稀疏深度作为我们模型的输入，并产生密集的深度图和相应的语义分割图像。它由特征提取器，深度完成分支，语义分割分支和联合分支组成，该分支进一步处理语义和深度信息。在Virtual Kitti 2数据集上进行的实验，证明并提供了进一步的证据，即在多任务网络中将两个任务，语义细分和深度完成都结合在一起，可以有效地提高每个任务的性能。代码可从https://github.com/juanb09111/smantic Depth获得。

我们介绍了MGNET，这是一个多任务框架，用于单眼几何场景。我们将单眼几何场景的理解定义为两个已知任务的组合：全景分割和自我监管的单眼深度估计。全景分段不仅在语义上，而且在实例的基础上捕获完整场景。自我监督的单眼深度估计使用摄像机测量模型得出的几何约束，以便从单眼视频序列中测量深度。据我们所知，我们是第一个在一个模型中提出这两个任务的组合的人。我们的模型专注于低潜伏期，以实时在单个消费级GPU上实时提供快速推断。在部署过程中，我们的模型将产生密集的3D点云，其中具有来自单个高分辨率摄像头图像的实例意识到语义标签。我们对两个流行的自动驾驶基准（即CityScapes and Kitti）评估了模型，并在其他能够实时的方法中表现出竞争性能。源代码可从https://github.com/markusschoen/mgnet获得。

视频分析的图像分割在不同的研究领域起着重要作用，例如智能城市，医疗保健，计算机视觉和地球科学以及遥感应用。在这方面，最近致力于发展新的细分策略;最新的杰出成就之一是Panoptic细分。后者是由语义和实例分割的融合引起的。明确地，目前正在研究Panoptic细分，以帮助获得更多对视频监控，人群计数，自主驾驶，医学图像分析的图像场景的更细致的知识，以及一般对场景更深入的了解。为此，我们介绍了本文的首次全面审查现有的Panoptic分段方法，以获得作者的知识。因此，基于所采用的算法，应用场景和主要目标的性质，执行现有的Panoptic技术的明确定义分类。此外，讨论了使用伪标签注释新数据集的Panoptic分割。继续前进，进行消融研究，以了解不同观点的Panoptic方法。此外，讨论了适合于Panoptic分割的评估度量，并提供了现有解决方案性能的比较，以告知最先进的并识别其局限性和优势。最后，目前对主题技术面临的挑战和吸引不久的将来吸引相当兴趣的未来趋势，可以成为即将到来的研究研究的起点。提供代码的文件可用于：https：//github.com/elharroussomar/awesome-panoptic-egation

点云的Panoptic分割是一种重要的任务，使自动车辆能够使用高精度可靠的激光雷达传感器来理解其附近。现有的自上而下方法通过将独立的任务特定网络或转换方法从图像域转换为忽略激光雷达数据的复杂性，因此通常会导致次优性性能来解决这个问题。在本文中，我们提出了新的自上而下的高效激光乐光线分割（有效的LID）架构，该架构解决了分段激光雷达云中的多种挑战，包括距离依赖性稀疏性，严重的闭塞，大规模变化和重新投影误差。高效地板包括一种新型共享骨干，可以通过加强的几何变换建模容量进行编码，并聚合语义丰富的范围感知多尺度特征。它结合了新的不变语义和实例分段头以及由我们提出的Panoptic外围损耗功能监督的Panoptic Fusion模块。此外，我们制定了正则化的伪标签框架，通过对未标记数据的培训进行进一步提高高效性的性能。我们在两个大型LIDAR数据集中建议模型基准：NUSCENES，我们还提供了地面真相注释和Semantickitti。值得注意的是，高效地将在两个数据集上设置新的最先进状态。

深度完成旨在预测从深度传感器（例如Lidars）中捕获的极稀疏图的密集像素深度。它在各种应用中起着至关重要的作用，例如自动驾驶，3D重建，增强现实和机器人导航。基于深度学习的解决方案已经证明了这项任务的最新成功。在本文中，我们首次提供了全面的文献综述，可帮助读者更好地掌握研究趋势并清楚地了解当前的进步。我们通过通过对现有方法进行分类的新型分类法提出建议，研究网络体系结构，损失功能，基准数据集和学习策略的设计方面的相关研究。此外，我们在包括室内和室外数据集（包括室内和室外数据集）上进行了三个广泛使用基准测试的模型性能进行定量比较。最后，我们讨论了先前作品的挑战，并为读者提供一些有关未来研究方向的见解。

Image segmentation is a key topic in image processing and computer vision with applications such as scene understanding, medical image analysis, robotic perception, video surveillance, augmented reality, and image compression, among many others. Various algorithms for image segmentation have been developed in the literature. Recently, due to the success of deep learning models in a wide range of vision applications, there has been a substantial amount of works aimed at developing image segmentation approaches using deep learning models. In this survey, we provide a comprehensive review of the literature at the time of this writing, covering a broad spectrum of pioneering works for semantic and instance-level segmentation, including fully convolutional pixel-labeling networks, encoder-decoder architectures, multi-scale and pyramid based approaches, recurrent networks, visual attention models, and generative models in adversarial settings. We investigate the similarity, strengths and challenges of these deep learning models, examine the most widely used datasets, report performances, and discuss promising future research directions in this area.

作为许多自主驾驶和机器人活动的基本组成部分，如自我运动估计，障碍避免和场景理解，单眼深度估计（MDE）引起了计算机视觉和机器人社区的极大关注。在过去的几十年中，已经开发了大量方法。然而，据我们所知，对MDE没有全面调查。本文旨在通过审查1970年至2021年之间发布的197个相关条款来弥补这一差距。特别是，我们为涵盖各种方法的MDE提供了全面的调查，介绍了流行的绩效评估指标并汇总公开的数据集。我们还总结了一些代表方法的可用开源实现，并比较了他们的表演。此外，我们在一些重要的机器人任务中审查了MDE的应用。最后，我们通过展示一些有希望的未来研究方向来结束本文。预计本调查有助于读者浏览该研究领域。

The recently introduced panoptic segmentation task has renewed our community's interest in unifying the tasks of instance segmentation (for thing classes) and semantic segmentation (for stuff classes). However, current state-ofthe-art methods for this joint task use separate and dissimilar networks for instance and semantic segmentation, without performing any shared computation. In this work, we aim to unify these methods at the architectural level, designing a single network for both tasks. Our approach is to endow Mask R-CNN, a popular instance segmentation method, with a semantic segmentation branch using a shared Feature Pyramid Network (FPN) backbone. Surprisingly, this simple baseline not only remains effective for instance segmentation, but also yields a lightweight, topperforming method for semantic segmentation. In this work, we perform a detailed study of this minimally extended version of Mask R-CNN with FPN, which we refer to as Panoptic FPN, and show it is a robust and accurate baseline for both tasks. Given its effectiveness and conceptual simplicity, we hope our method can serve as a strong baseline and aid future research in panoptic segmentation.

基于激光雷达的3D对象检测，语义分割和全景分段通常在具有独特架构的专业网络中实现，这些网络很难相互适应。本文介绍了Lidarmultinet，这是一个基于激光雷达的多任务网络，该网络统一了这三个主要的激光感知任务。在其许多好处中，多任务网络可以通过在多个任务中分享权重和计算来降低总成本。但是，与独立组合的单任务模型相比，它通常表现不佳。拟议的Lidarmultinet旨在弥合多任务网络和多个单任务网络之间的性能差距。 Lidarmultinet的核心是一个强大的基于3D Voxel的编码器架构，具有全局上下文池（GCP）模块，从激光雷达框架中提取全局上下文特征。特定于任务的头部添加在网络之上，以执行三个激光雷达感知任务。只需添加新的任务特定的头部，可以在引入几乎没有额外成本的同时，就可以实现更多任务。还提出了第二阶段来完善第一阶段的分割并生成准确的全景分割结果。 Lidarmultinet在Waymo Open数据集和Nuscenes数据集上进行了广泛的测试，这首先证明了主要的激光雷达感知任务可以统一在单个强大的网络中，该网络是经过训练的端到端，并实现了最先进的性能。值得注意的是，Lidarmultinet在Waymo Open数据集3D语义分割挑战2022中达到了最高的MIOU和最佳准确性，对于测试集中的22个类中的大多数，仅使用LIDAR点作为输入。它还为Waymo 3D对象检测基准和三个Nuscenes基准测试的单个模型设置了新的最新模型。

语义场景的理解对于在各种环境中作用的移动代理至关重要。尽管语义细分已经提供了大量信息，但缺少有关单个对象以及一般场景的详细信息，但对于许多现实世界应用程序所必需。但是，分别解决多个任务是昂贵的，并且在移动平台上计算和电池能力有限，无法实时完成。在本文中，我们提出了一种有效的多任务方法，用于RGB-D场景分析〜（EMSANET），该方法同时执行语义和实例分割〜（Panoptic分割），实例方向估计和场景分类。我们表明，所有任务都可以在移动平台上实时使用单个神经网络完成，而不会降低性能 - 相比之下，各个任务能够彼此受益。为了评估我们的多任务方法，我们扩展了常见的RGB-D室内数据集NYUV2和SUNRGB-D的注释，例如分割和方向估计。据我们所知，我们是第一个为NYUV2和SUNRGB-D上的室内场景分析提供如此全面的多任务设置的结果。

Pastic分割结合了语义和实例细分的优势，可以为智能车辆提供像素级和实例级别的环境感知信息。但是，它挑战各种尺度的对象，尤其是在极小的和小的物体上。在这项工作中，我们提出了两个轻量级模块来减轻此问题。首先，Pixel-ReSation Block旨在为大规模事物建模全局上下文信息，该信息基于与查询无关的公式，并带来小参数增量。然后，构建对流网络以收集针对小规模内容的额外高分辨率信息，为下游分割分支提供更合适的语义功能。基于这两个模块，我们提出了一个端到端尺度意识到的统一网络（Sunet），该网络更适合多尺度对象。对城市景观和可可的广泛实验证明了所提出的方法的有效性。

In this paper, we propose a unified panoptic segmentation network (UPSNet) for tackling the newly proposed panoptic segmentation task. On top of a single backbone residual network, we first design a deformable convolution based semantic segmentation head and a Mask R-CNN style instance segmentation head which solve these two subtasks simultaneously. More importantly, we introduce a parameter-free panoptic head which solves the panoptic segmentation via pixel-wise classification. It first leverages the logits from the previous two heads and then innovatively expands the representation for enabling prediction of an extra unknown class which helps better resolve the conflicts between semantic and instance segmentation. Additionally, it handles the challenge caused by the varying number of instances and permits back propagation to the bottom modules in an end-to-end manner. Extensive experimental results on Cityscapes, COCO and our internal dataset demonstrate that our UPSNet achieves stateof-the-art performance with much faster inference. Code has been made available at: https://github.com/ uber-research/UPSNet. * Equal contribution.† This work was done when Hengshuang Zhao was an intern at Uber ATG.

对于现代自治系统来说，可靠的场景理解是必不可少的。当前基于学习的方法通常试图根据仅考虑分割质量的细分指标来最大化其性能。但是，对于系统在现实世界中的安全操作，考虑预测的不确定性也至关重要。在这项工作中，我们介绍了不确定性感知的全景分段的新任务，该任务旨在预测每个像素语义和实例分割，以及每个像素不确定性估计。我们定义了两个新颖的指标，以促进其定量分析，不确定性感知的综合质量（UPQ）和全景预期校准误差（PECE）。我们进一步提出了新型的自上而下的证据分割网络（EVPSNET），以解决此任务。我们的架构采用了一个简单而有效的概率融合模块，该模块利用了预测的不确定性。此外，我们提出了一种新的LOV \'ASZ证据损失函数，以优化使用深度证据学习概率的分割的IOU。此外，我们提供了几个强大的基线，将最新的泛型分割网络与无抽样的不确定性估计技术相结合。广泛的评估表明，我们的EVPSNET可以实现标准综合质量（PQ）的新最新技术，以及我们的不确定性倾斜度指标。

现有的计算机视觉系统可以与人类竞争，以理解物体的可见部分，但在描绘部分被遮挡物体的无形部分时，仍然远远远远没有达到人类。图像Amodal的完成旨在使计算机具有类似人类的Amodal完成功能，以了解完整的对象，尽管该对象被部分遮住。这项调查的主要目的是对图像Amodal完成领域的研究热点，关键技术和未来趋势提供直观的理解。首先，我们对这个新兴领域的最新文献进行了全面的评论，探讨了图像Amodal完成中的三个关键任务，包括Amodal形状完成，Amodal外观完成和订单感知。然后，我们检查了与图像Amodal完成有关的流行数据集及其共同的数据收集方法和评估指标。最后，我们讨论了现实世界中的应用程序和未来的研究方向，以实现图像的完成，从而促进了读者对现有技术和即将到来的研究趋势的挑战的理解。

单眼深度估计和语义分割是场景理解的两个基本目标。由于任务交互的优点，许多作品研究了联合任务学习算法。但是，大多数现有方法都无法充分利用语义标签，忽略提供的上下文结构，并且仅使用它们来监督分段拆分的预测，这限制了两个任务的性能。在本文中，我们提出了一个网络注入了上下文信息（CI-Net）来解决问题。具体而言，我们在编码器中引入自我关注块以产生注意图。通过由语义标签创建的理想注意图的监督，网络嵌入了上下文信息，使得它可以更好地理解场景并利用相关特征来进行准确的预测。此外，构造了一个特征共享模块，以使任务特征深入融合，并且设计了一致性损耗，以使特征相互引导。我们在NYU-Deaft-V2和Sun-RGBD数据集上评估所提出的CI-Net。实验结果验证了我们所提出的CI-Net可以有效提高语义分割和深度估计的准确性。

执行单个图像整体理解和3D重建是计算机视觉中的核心任务。本文介绍了从单个RGB图像的室内和室外场景执行整体图像分段，对象检测，实例分段，深度估计和对象实例3D重建。我们命名我们的系统Panoptic 3D解析，其中Panoptic Segsation（“填写”分割和“检测/分割”的“检测/分割”。我们设计了一个舞台明智的系统，其中不存在一整套注释。此外，我们介绍了一个端到端的管道，在合成数据集上培训，具有全套注释。我们在室内（3D-Flact）和户外（可可和城市）的场景上显示结果。我们提出的Panoptic 3D解析框架指向计算机愿景中有希望的方向。它可以应用于各种应用，包括自主驾驶，映射，机器人，设计，计算机图形学，机器人，人机互动和增强现实。

用于LIDAR点云的快速准确的Panoptic分割系统对于自主驾驶车辆来了解周围物体和场景至关重要。现有方法通常依赖于提案或聚类到分段前景实例。结果，他们努力实现实时性能。在本文中，我们提出了一种用于LIDAR点云的新型实时端到端Panoptic分段网络，称为CPSEG。特别地，CPSEG包括共享编码器，双解码器，任务感知注意模块（TAM）和无簇实例分段头。 TAM旨在强制执行这两个解码器以学习用于语义和实例嵌入的丰富的任务感知功能。此外，CPSEG包含一个新的无簇实例分割头，以根据学习嵌入的嵌入动态占据前景点。然后，它通过找到具有成对嵌入比较的连接的柱子来获取实例标签。因此，将传统的基于提议的或基于聚类的实例分段转换为对成对嵌入比较矩阵的二进制分段问题。为了帮助网络回归实例嵌入，提出了一种快速和确定的深度完成算法，以实时计算每个点云的表面法线。该方法在两个大型自主驾驶数据集中基准测试，即Semantickitti和Nuscenes。值得注意的是，广泛的实验结果表明，CPSEG在两个数据集的实时方法中实现了最先进的结果。

Point cloud learning has lately attracted increasing attention due to its wide applications in many areas, such as computer vision, autonomous driving, and robotics. As a dominating technique in AI, deep learning has been successfully used to solve various 2D vision problems. However, deep learning on point clouds is still in its infancy due to the unique challenges faced by the processing of point clouds with deep neural networks. Recently, deep learning on point clouds has become even thriving, with numerous methods being proposed to address different problems in this area. To stimulate future research, this paper presents a comprehensive review of recent progress in deep learning methods for point clouds. It covers three major tasks, including 3D shape classification, 3D object detection and tracking, and 3D point cloud segmentation. It also presents comparative results on several publicly available datasets, together with insightful observations and inspiring future research directions.

最近提出的深度感知视频Panoptic分段（DVPS）旨在预测视频中的Panoptic分段结果和深度映射，这是一个具有挑战性的场景理解问题。在本文中，我们提供了多相变压器，揭示了DVPS任务下的所有子任务。我们的方法通过基于查询的学习探讨了深度估计与Panoptic分割的关系。特别是，我们设计三个不同的查询，包括查询，填写询问和深度查询的东西。然后我们建议通过门控融合来学习这些查询之间的相关性。从实验中，我们从深度估计和Panoptic分割方面证明了我们设计的好处。由于每个物品查询还对实例信息进行了编码，因此通过具有外观学习的裁剪实例掩码功能来执行跟踪是自然的。我们的方法在ICCV-2021 BMTT挑战视频+深度轨道上排名第一。据报道，消融研究表明我们如何提高性能。代码将在https://github.com/harboryuan/polyphonicformer提供。