全景部分分割（PPS）旨在将泛型分割和部分分割统一为一个任务。先前的工作主要利用分离的方法来处理事物，物品和部分预测，而无需执行任何共享的计算和任务关联。在这项工作中，我们旨在将这些任务统一在架构层面上，设计第一个名为Panoptic-Partformer的端到端统一方法。特别是，由于视觉变压器的最新进展，我们将事物，内容和部分建模为对象查询，并直接学会优化所有三个预测作为统一掩码的预测和分类问题。我们设计了一个脱钩的解码器，以分别生成零件功能和事物/东西功能。然后，我们建议利用所有查询和相应的特征共同执行推理。最终掩码可以通过查询和相应特征之间的内部产品获得。广泛的消融研究和分析证明了我们框架的有效性。我们的全景局势群体在CityScapes PPS和Pascal Context PPS数据集上实现了新的最新结果，至少有70％的GFLOPS和50％的参数降低。特别是，在Pascal上下文PPS数据集上采用SWIN Transformer后，我们可以通过RESNET50骨干链和10％的改进获得3.4％的相对改进。据我们所知，我们是第一个通过\ textit {统一和端到端变压器模型来解决PPS问题的人。鉴于其有效性和概念上的简单性，我们希望我们的全景贡献者能够充当良好的基准，并帮助未来的PPS统一研究。我们的代码和型号可在https://github.com/lxtgh/panoptic-partformer上找到。

Panoptic Part Segmentation (PPS) unifies panoptic segmentation and part segmentation into one task. Previous works utilize separated approaches to handle thing, stuff, and part predictions without shared computation and task association. We aim to unify these tasks at the architectural level, designing the first end-to-end unified framework named Panoptic-PartFormer. Moreover, we find the previous metric PartPQ biases to PQ. To handle both issues, we make the following contributions: Firstly, we design a meta-architecture that decouples part feature and things/stuff feature, respectively. We model things, stuff, and parts as object queries and directly learn to optimize all three forms of prediction as a unified mask prediction and classification problem. We term our model as Panoptic-PartFormer. Secondly, we propose a new metric Part-Whole Quality (PWQ) to better measure such task from both pixel-region and part-whole perspectives. It can also decouple the error for part segmentation and panoptic segmentation. Thirdly, inspired by Mask2Former, based on our meta-architecture, we propose Panoptic-PartFormer++ and design a new part-whole cross attention scheme to further boost part segmentation qualities. We design a new part-whole interaction method using masked cross attention. Finally, the extensive ablation studies and analysis demonstrate the effectiveness of both Panoptic-PartFormer and Panoptic-PartFormer++. Compared with previous Panoptic-PartFormer, our Panoptic-PartFormer++ achieves 2% PartPQ and 3% PWQ improvements on the Cityscapes PPS dataset and 5% PartPQ on the Pascal Context PPS dataset. On both datasets, Panoptic-PartFormer++ achieves new state-of-the-art results with a significant cost drop of 70% on GFlops and 50% on parameters. Our models can serve as a strong baseline and aid future research in PPS. Code will be available.

人类时尚理解是一项至关重要的计算机视觉任务，因为它具有用于现实世界应用的全面信息。这种关注人类时装细分和属性识别。与以前的作品相反，将每个任务分别建模为多头预测问题，我们的见解是通过Vision Transformer建模将这两个任务用一个统一的模型桥接，以使每个任务受益。特别是，我们介绍了分割的对象查询和属性预测的属性查询。查询及其相应的功能都可以通过掩码预测链接。然后，我们采用两流查询学习框架来学习解耦的查询表示。我们为属性流设计了一种新颖的多层渲染模块，以探索更细粒度的功能。解码器设计与DETR具有相同的精神。因此，我们将提出的方法\ textit {fahsionformer}命名。在三个人类时尚数据集上进行的广泛实验说明了我们方法的有效性。特别是，在\ textit {a intivit {a intim trictric（ap $^{\ text {mask}} _ {_ {\ text {iou+f text {iou+f textiT { } _1} $）用于分割和属性识别}。据我们所知，我们是人类时装分析的第一个统一的端到端视觉变压器框架。我们希望这种简单而有效的方法可以作为时尚分析的新灵活基准。代码可从https://github.com/xushilin1/fashionformer获得。

最近提出的深度感知视频Panoptic分段（DVPS）旨在预测视频中的Panoptic分段结果和深度映射，这是一个具有挑战性的场景理解问题。在本文中，我们提供了多相变压器，揭示了DVPS任务下的所有子任务。我们的方法通过基于查询的学习探讨了深度估计与Panoptic分割的关系。特别是，我们设计三个不同的查询，包括查询，填写询问和深度查询的东西。然后我们建议通过门控融合来学习这些查询之间的相关性。从实验中，我们从深度估计和Panoptic分割方面证明了我们设计的好处。由于每个物品查询还对实例信息进行了编码，因此通过具有外观学习的裁剪实例掩码功能来执行跟踪是自然的。我们的方法在ICCV-2021 BMTT挑战视频+深度轨道上排名第一。据报道，消融研究表明我们如何提高性能。代码将在https://github.com/harboryuan/polyphonicformer提供。

现代方法通常将语义分割标记为每个像素分类任务，而使用替代掩码分类处理实例级分割。我们的主要洞察力：掩码分类是足够的一般，可以使用完全相同的模型，丢失和培训过程来解决语义和实例级分段任务。在此观察之后，我们提出了一个简单的掩模分类模型，该模型预测了一组二进制掩码，每个模型与单个全局类标签预测相关联。总的来说，所提出的基于掩模分类的方法简化了语义和Panoptic分割任务的有效方法的景观，并显示出优异的经验结果。特别是，当类的数量大时，我们观察到掩码形成器优于每个像素分类基线。我们的面具基于分类的方法优于当前最先进的语义（ADE20K上的55.6 miou）和Panoptic Seation（Coco）模型的Panoptic Seationation（52.7 PQ）。

Panoptic semonation涉及联合语义分割和实例分割的组合，其中图像内容分为两种类型：事物和东西。我们展示了Panoptic SegFormer，是与变压器的Panoptic Semonation的一般框架。它包含三个创新组件：高效的深度监督掩模解码器，查询解耦策略以及改进的后处理方法。我们还使用可变形的DETR来有效地处理多尺度功能，这是一种快速高效的DETR版本。具体而言，我们以层式方式监督掩模解码器中的注意模块。这种深度监督策略让注意模块快速关注有意义的语义区域。与可变形的DETR相比，它可以提高性能并将所需培训纪元的数量减少一半。我们的查询解耦策略对查询集的职责解耦并避免了事物和东西之间的相互干扰。此外，我们的后处理策略通过联合考虑分类和分割质量来解决突出的面具重叠而没有额外成本的情况。我们的方法会在基线DETR模型上增加6.2 \％PQ。 Panoptic SegFormer通过56.2 \％PQ实现最先进的结果。它还显示出对现有方法的更强大的零射鲁布利。代码释放\ url {https://github.com/zhiqi-li/panoptic-segformer}。

在本文中，我们专注于探索有效的方法，以更快，准确和域的不可知性语义分割。受到相邻视频帧之间运动对齐的光流的启发，我们提出了一个流对齐模块（FAM），以了解相邻级别的特征映射之间的\ textit {语义流}，并将高级特征广播到高分辨率特征有效地，有效地有效。 。此外，将我们的FAM与共同特征的金字塔结构集成在一起，甚至在轻量重量骨干网络（例如Resnet-18和DFNET）上也表现出优于其他实时方法的性能。然后，为了进一步加快推理过程，我们还提出了一个新型的封闭式双流对齐模块，以直接对齐高分辨率特征图和低分辨率特征图，在该图中我们将改进版本网络称为SFNET-LITE。广泛的实验是在几个具有挑战性的数据集上进行的，结果显示了SFNET和SFNET-LITE的有效性。特别是，建议的SFNET-LITE系列在使用RESNET-18主链和78.8 MIOU以120 fps运行的情况下，使用RTX-3090上的STDC主链在120 fps运行时，在60 fps运行时达到80.1 miou。此外，我们将四个具有挑战性的驾驶数据集（即CityScapes，Mapillary，IDD和BDD）统一到一个大数据集中，我们将其命名为Unified Drive细分（UDS）数据集。它包含不同的域和样式信息。我们基准了UDS上的几项代表性作品。 SFNET和SFNET-LITE仍然可以在UDS上取得最佳的速度和准确性权衡，这在如此新的挑战性环境中是强大的基准。所有代码和模型均可在https://github.com/lxtgh/sfsegnets上公开获得。

Universal Image Segmentation is not a new concept. Past attempts to unify image segmentation in the last decades include scene parsing, panoptic segmentation, and, more recently, new panoptic architectures. However, such panoptic architectures do not truly unify image segmentation because they need to be trained individually on the semantic, instance, or panoptic segmentation to achieve the best performance. Ideally, a truly universal framework should be trained only once and achieve SOTA performance across all three image segmentation tasks. To that end, we propose OneFormer, a universal image segmentation framework that unifies segmentation with a multi-task train-once design. We first propose a task-conditioned joint training strategy that enables training on ground truths of each domain (semantic, instance, and panoptic segmentation) within a single multi-task training process. Secondly, we introduce a task token to condition our model on the task at hand, making our model task-dynamic to support multi-task training and inference. Thirdly, we propose using a query-text contrastive loss during training to establish better inter-task and inter-class distinctions. Notably, our single OneFormer model outperforms specialized Mask2Former models across all three segmentation tasks on ADE20k, CityScapes, and COCO, despite the latter being trained on each of the three tasks individually with three times the resources. With new ConvNeXt and DiNAT backbones, we observe even more performance improvement. We believe OneFormer is a significant step towards making image segmentation more universal and accessible. To support further research, we open-source our code and models at https://github.com/SHI-Labs/OneFormer

以前的多任务密集预测研究开发了复杂的管道，例如在多个阶段进行多模式蒸馏或为每个任务寻找任务关系上下文。这些方法以外的核心洞察力是最大程度地利用每个任务之间的相互作用。受到最近基于查询的变压器的启发，我们提出了一条更简单的管道，称为Multi-Querti-Transformer（MQTRANSFORMER），该管道配备了来自不同任务的多个查询，以促进多个任务之间的推理并简化交叉任务管道。我们没有在不同任务之间建模每个像素上下文的密集上下文，而是寻求特定于任务的代理，以通过每个查询编码与任务相关的上下文进行编码的多个查询执行交叉任务推理。 MQTRANSFORMER由三个关键组件组成：共享编码器，交叉任务注意和共享解码器。我们首先将每个任务与任务相关且具有比例意识的查询对每个任务进行建模，然后将功能提取器的图像功能输出和与任务相关的查询功能都馈入共享编码器，从而从图像功能中编码查询功能。其次，我们设计了一个交叉任务注意模块，以从两个角度来推理多个任务和特征量表之间的依赖项，包括相同尺度的不同任务和同一任务的不同尺度。然后，我们使用共享解码器逐渐使用来自不同任务的合理查询功能来逐步完善图像功能。对两个密集的预测数据集（NYUD-V2和Pascal-Context）的广泛实验结果表明，该方法是一种有效的方法，并实现了最新结果。

尽管有不同的相关框架，已经通过不同和专门的框架解决了语义，实例和Panoptic分段。本文为这些基本相似的任务提供了统一，简单，有效的框架。该框架，名为K-Net，段段由一组被学习内核持续一致，其中每个内核负责为潜在实例或填充类生成掩码。要解决区分各种实例的困难，我们提出了一个内核更新策略，使每个内核动态和条件在输入图像中的有意义的组上。 K-NET可以以结尾的方式培训，具有二分匹配，其培训和推论是自然的NMS和无框。没有钟声和口哨，K-Net超越了先前发表的全面的全面的单一模型，在ADE20K Val上的MS Coco Test-Dev分割和语义分割上分别与55.2％PQ和54.3％Miou分裂。其实例分割性能也与MS COCO上的级联掩模R-CNN相同，具有60％-90％的推理速度。代码和模型将在https://github.com/zwwwayne/k-net/发布。

图像分割是关于使用不同语义的分组像素，例如类别或实例成员身份，其中每个语义选择定义任务。虽然只有每个任务的语义不同，但目前的研究侧重于为每项任务设计专业架构。我们提出了蒙面关注掩模变压器（Mask2Former），这是一种能够寻址任何图像分段任务（Panoptic，实例或语义）的新架构。其关键部件包括屏蔽注意，通过限制预测掩模区域内的横向提取局部特征。除了将研究工作减少三次之外，它还优于四个流行的数据集中的最佳专业架构。最值得注意的是，Mask2Former为Panoptic semonation（Coco 57.8 PQ）设置了新的最先进的，实例分段（Coco上50.1 AP）和语义分割（ADE20K上的57.7 miou）。

视频实例分割（VIS）是一个新的固有多任务问题，旨在在视频序列中检测，细分和跟踪每个实例。现有方法主要基于单帧功能或多个帧的单尺度功能，其中忽略了时间信息或多尺度信息。为了结合时间和比例信息，我们提出了一种时间金字塔路由（TPR）策略，以从两个相邻帧的特征金字塔对有条件地对齐和进行像素级聚集。具体而言，TPR包含两个新的组件，包括动态对齐细胞路由（DACR）和交叉金字塔路由（CPR），其中DACR设计用于跨时间维度对齐和门控金字塔特征，而CPR则在跨音阶范围内暂时汇总的特征。此外，我们的方法是轻巧和插件模块，可以轻松地应用于现有的实例分割方法。在包括YouTube-Vis（2019，2021）和CityScapes-VP在内的三个数据集上进行的广泛实验证明了拟议方法对几种最先进的视频实例和全盘细分方法的有效性和效率。代码将在\ url {https://github.com/lxtgh/temporalpyramidrouting}上公开获得。

In this paper, we propose a unified panoptic segmentation network (UPSNet) for tackling the newly proposed panoptic segmentation task. On top of a single backbone residual network, we first design a deformable convolution based semantic segmentation head and a Mask R-CNN style instance segmentation head which solve these two subtasks simultaneously. More importantly, we introduce a parameter-free panoptic head which solves the panoptic segmentation via pixel-wise classification. It first leverages the logits from the previous two heads and then innovatively expands the representation for enabling prediction of an extra unknown class which helps better resolve the conflicts between semantic and instance segmentation. Additionally, it handles the challenge caused by the varying number of instances and permits back propagation to the bottom modules in an end-to-end manner. Extensive experimental results on Cityscapes, COCO and our internal dataset demonstrate that our UPSNet achieves stateof-the-art performance with much faster inference. Code has been made available at: https://github.com/ uber-research/UPSNet. * Equal contribution.† This work was done when Hengshuang Zhao was an intern at Uber ATG.

最近建议的MaskFormer \ Cite {MaskFormer}对语义分割的任务提供了刷新的透视图：它从流行的像素级分类范例转移到蒙版级分类方法。实质上，它生成对应于类别段的配对概率和掩码，并在推理的分割映射期间结合它们。因此，分割质量依赖于查询如何捕获类别的语义信息及其空间位置。在我们的研究中，我们发现单尺度特征顶部的每个掩模分类解码器不足以提取可靠的概率或掩模。对于挖掘功能金字塔的丰富语义信息，我们提出了一个基于变压器的金字塔融合变压器（PFT），用于多尺度特征顶部的每个掩模方法语义分段。为了有效地利用不同分辨率的图像特征而不会产生过多的计算开销，PFT使用多尺度变压器解码器，具有跨尺度间间的关注来交换互补信息。广泛的实验评估和消融展示了我们框架的功效。特别是，与屏蔽Former相比，我们通过Reset-101c实现了3.2 miou改进了Reset-101c。此外，在ADE20K验证集上，我们的Swin-B骨架的结果与单尺度和多尺寸推断的屏蔽骨架中的较大的Swin-L骨架相匹配，分别实现54.1 miou和55.3 miou。使用Swin-L骨干，我们在ADE20K验证集中实现了56.0 Miou单尺度结果和57.2多尺度结果，从而获得数据集的最先进的性能。

In this paper we present Mask DINO, a unified object detection and segmentation framework. Mask DINO extends DINO (DETR with Improved Denoising Anchor Boxes) by adding a mask prediction branch which supports all image segmentation tasks (instance, panoptic, and semantic). It makes use of the query embeddings from DINO to dot-product a high-resolution pixel embedding map to predict a set of binary masks. Some key components in DINO are extended for segmentation through a shared architecture and training process. Mask DINO is simple, efficient, and scalable, and it can benefit from joint large-scale detection and segmentation datasets. Our experiments show that Mask DINO significantly outperforms all existing specialized segmentation methods, both on a ResNet-50 backbone and a pre-trained model with SwinL backbone. Notably, Mask DINO establishes the best results to date on instance segmentation (54.5 AP on COCO), panoptic segmentation (59.4 PQ on COCO), and semantic segmentation (60.8 mIoU on ADE20K) among models under one billion parameters. Code is available at \url{https://github.com/IDEACVR/MaskDINO}.

视频Panoptic semonation（VPS）旨在为每个像素分配类标签，唯一地分割和识别所有帧的所有对象实例。经典解决方案通常将VPS任务分解为多个子任务，并利用多个代理（例如框和掩码，中心和偏移）来表示对象。然而，这种鸿沟和征服策略需要在空间和时间域中进行复杂的后处理，并且易于来自代理任务的失败。在本文中，灵感来自以对象为中心的学习，它学习紧凑且强大的对象表示，我们呈现了Slot-VPS，这是此任务的第一个端到端框架。我们在视频中编码所有Panoptic实体，包括前景实例和后台语义，其中包含称为Panoptic插槽的统一表示。通过提出的视频Panoptic Retriever检索并将相干的时空对象的信息检索并编码到Panoptic插槽中，使其能够以统一的方式本地化，段，区分和关联对象。最后，输出Panoptic插槽可以直接转换为视频中Panoptic对象的类，掩码和对象ID。我们开展广泛的消融研究，并展示了我们对两个基准数据集，CityCAPE-VPS（\ Texit {Val}和测试集）和Viper（\ Texit {val}集）的有效性，实现了新的最先进的性能分别为63.7,63.3和56.2 VPQ。

我们提出了聚类蒙版变压器（CMT-DeepLab），这是一种基于变压器的框架，用于围绕聚类设计的泛型分割。它重新考虑了用于分割和检测的现有变压器架构；CMT-DeepLab认为对象查询是群集中心，该中心填充了应用于分割时将像素分组的作用。群集通过交替的过程计算，首先通过其功能亲和力将像素分配给簇，然后更新集群中心和像素功能。这些操作共同包含聚类蒙版变压器（CMT）层，该层产生了越野器的交叉注意，并且与最终的分割任务更加一致。CMT-DeepLab在可可Test-DEV集中实现了55.7％的PQ的新最先进的PQ，可显着提高先前ART的性能。

视觉任务中变形金刚的兴起不仅可以推进网络骨干设计，而且还启动了一个全新的页面，以实现端到端的图像识别（例如，对象检测和泛型分段）。源自自然语言处理（NLP）的变压器体系结构，包括自我注意力和交叉注意力，有效地学习了序列中元素之间的远距离相互作用。但是，我们观察到，大多数现有的基于变压器的视觉模型只是从NLP中借用了这个想法，忽略了语言和图像之间的关键差异，尤其是空间扁平的像素特征的极高序列长度。随后，这阻碍了像素特征和对象查询之间的交叉注意力学习。在本文中，我们重新考虑像素和对象查询之间的关系，并建议将交叉注意学习作为一个聚类过程进行重新重新制定。受传统K-均值聚类算法的启发，我们开发了K-Means面膜Xformer（Kmax-Deeplab）进行细分任务，这不仅可以改善最先进的艺术品，而且享有简单而优雅的设计。结果，我们的Kmax-Deeplab在Coco Val设置上以58.0％的PQ实现了新的最先进的性能，而CityScapes Val设置为68.4％PQ，44.0％AP和83.5％MIOU，而无需测试时间增加或外部数据集。我们希望我们的工作能够阐明设计为视觉任务量身定制的变压器。代码和型号可在https://github.com/google-research/deeplab2上找到

In this work, we focus on instance-level open vocabulary segmentation, intending to expand a segmenter for instance-wise novel categories without mask annotations. We investigate a simple yet effective framework with the help of image captions, focusing on exploiting thousands of object nouns in captions to discover instances of novel classes. Rather than adopting pretrained caption models or using massive caption datasets with complex pipelines, we propose an end-to-end solution from two aspects: caption grounding and caption generation. In particular, we devise a joint Caption Grounding and Generation (CGG) framework based on a Mask Transformer baseline. The framework has a novel grounding loss that performs explicit and implicit multi-modal feature alignments. We further design a lightweight caption generation head to allow for additional caption supervision. We find that grounding and generation complement each other, significantly enhancing the segmentation performance for novel categories. We conduct extensive experiments on the COCO dataset with two settings: Open Vocabulary Instance Segmentation (OVIS) and Open Set Panoptic Segmentation (OSPS). The results demonstrate the superiority of our CGG framework over previous OVIS methods, achieving a large improvement of 6.8% mAP on novel classes without extra caption data. Our method also achieves over 15% PQ improvements for novel classes on the OSPS benchmark under various settings.

In dense image segmentation tasks (e.g., semantic, panoptic), existing methods can hardly generalize well to unseen image domains, predefined classes, and image resolution & quality variations. Motivated by these observations, we construct a large-scale entity segmentation dataset to explore fine-grained entity segmentation, with a strong focus on open-world and high-quality dense segmentation. The dataset contains images spanning diverse image domains and resolutions, along with high-quality mask annotations for training and testing. Given the high-quality and -resolution nature of the dataset, we propose CropFormer for high-quality segmentation, which can improve mask prediction using high-res image crops that provide more fine-grained image details than the full image. CropFormer is the first query-based Transformer architecture that can effectively ensemble mask predictions from multiple image crops, by learning queries that can associate the same entities across the full image and its crop. With CropFormer, we achieve a significant AP gain of $1.9$ on the challenging fine-grained entity segmentation task. The dataset and code will be released at http://luqi.info/entityv2.github.io/.