最近，基于合成数据的实例分割已成为一种极其有利的优化范式，因为它利用模拟渲染和物理学来生成高质量的图像宣传对。在本文中，我们提出了一个并行预训练的变压器（PPT）框架，以完成基于合成数据的实例分割任务。具体而言，我们利用现成的预训练的视觉变压器来减轻自然数据和合成数据之间的差距，这有助于在下游合成数据场景中提供良好的概括，几乎没有样本。基于SWIN-B基的CBNET V2，基于SWINL的CBNET V2和SWIN-L基统一器用于并行特征学习，并且这三个模型的结果由像素级非最大最大抑制（NMS）算法融合来获得更强大的结果。实验结果表明，PPT在CVPR2022 AVA可访问性视觉和自主性挑战中排名第一，地图为65.155％。

AVA挑战的目标是提供与可访问性相关的基于视觉的基准和方法。在本文中，我们将提交的技术细节介绍给CVPR2022 AVA挑战赛。首先，我们进行了一些实验，以帮助采用适当的模型和数据增强策略来完成此任务。其次，采用有效的培训策略来提高性能。第三，我们整合了两个不同分割框架的结果，以进一步提高性能。实验结果表明，我们的方法可以在AVA测试集上获得竞争结果。最后，我们的方法在CVPR2022 AVA挑战赛的测试集上实现了63.008 \％ap@0.50：0.95。

ACM MMSPORTS2022 DEEPSPORTRADAR实例细分挑战的目标是解决个人人类的细分，包括球员，教练和裁判在篮球场上。这项挑战的主要特征是，玩家之间存在很高的阻塞，数据量也非常有限。为了解决这些问题，我们设计了一个强大的实例分割管道。首先，我们对此任务采用了适当的数据增强策略，主要包括光度失真变换和复制式策略，该策略可以生成更多具有更广泛分布的图像实例。其次，我们采用了强大的分割模型，基于SWIN基础的CBNETV2骨架上的基于混合任务级联的检测器，并将Maskiou Head添加到HTCMASKHEAD，可以简单有效地改善实例细分的性能。最后，采用了SWA培训策略来进一步提高性能。实验结果表明，所提出的管道可以在DeepSportradar挑战中取得竞争成果，而挑战集则以0.768AP@0.50：0.95。源代码可在https://github.com/yjingyu/instanc_segentation_pro中获得。

Building instance segmentation models that are dataefficient and can handle rare object categories is an important challenge in computer vision. Leveraging data augmentations is a promising direction towards addressing this challenge. Here, we perform a systematic study of the Copy-Paste augmentation (e.g., [13,12]) for instance segmentation where we randomly paste objects onto an image. Prior studies on Copy-Paste relied on modeling the surrounding visual context for pasting the objects. However, we find that the simple mechanism of pasting objects randomly is good enough and can provide solid gains on top of strong baselines. Furthermore, we show Copy-Paste is additive with semi-supervised methods that leverage extra data through pseudo labeling (e.g. self-training). On COCO instance segmentation, we achieve 49.1 mask AP and 57.3 box AP, an improvement of +0.6 mask AP and +1.5 box AP over the previous state-of-the-art. We further demonstrate that Copy-Paste can lead to significant improvements on the LVIS benchmark. Our baseline model outperforms the LVIS 2020 Challenge winning entry by +3.6 mask AP on rare categories.

This report introduces the technical details of the team FuXi-Fresher for LVIS Challenge 2021. Our method focuses on the problem in following two aspects: the long-tail distribution and the segmentation quality of mask and boundary. Based on the advanced HTC instance segmentation algorithm, we connect transformer backbone(Swin-L) through composite connections inspired by CBNetv2 to enhance the baseline results. To alleviate the problem of long-tail distribution, we design a Distribution Balanced method which includes dataset balanced and loss function balaced modules. Further, we use a Mask and Boundary Refinement method composed with mask scoring and refine-mask algorithms to improve the segmentation quality. In addition, we are pleasantly surprised to find that early stopping combined with EMA method can achieve a great improvement. Finally, by using multi-scale testing and increasing the upper limit of the number of objects detected per image, we achieved more than 45.4% boundary AP on the val set of LVIS Challenge 2021. On the test data of LVIS Challenge 2021, we rank 1st and achieve 48.1% AP. Notably, our APr 47.5% is very closed to the APf 48.0%. * indicates equal contribution.

许多开放世界应用程序需要检测新的对象，但最先进的对象检测和实例分段网络在此任务中不屈服。关键问题在于他们假设没有任何注释的地区应被抑制为否定，这教导了将未经讨犯的对象视为背景的模型。为了解决这个问题，我们提出了一个简单但令人惊讶的强大的数据增强和培训方案，我们呼唤学习来检测每件事（LDET）。为避免抑制隐藏的对象，背景对象可见但未标记，我们粘贴在从原始图像的小区域采样的背景图像上粘贴带有的注释对象。由于仅对这种综合增强的图像培训遭受域名，我们将培训与培训分为两部分：1）培训区域分类和回归头在增强图像上，2）在原始图像上训练掩模头。通过这种方式，模型不学习将隐藏对象作为背景分类，同时概括到真实图像。 LDET导致开放式世界实例分割任务中的许多数据集的重大改进，表现出CoCo上的交叉类别概括的基线，以及对UVO和城市的交叉数据集评估。

This paper presents a new vision Transformer, called Swin Transformer, that capably serves as a general-purpose backbone for computer vision. Challenges in adapting Transformer from language to vision arise from differences between the two domains, such as large variations in the scale of visual entities and the high resolution of pixels in images compared to words in text. To address these differences, we propose a hierarchical Transformer whose representation is computed with Shifted windows. The shifted windowing scheme brings greater efficiency by limiting self-attention computation to non-overlapping local windows while also allowing for cross-window connection. This hierarchical architecture has the flexibility to model at various scales and has linear computational complexity with respect to image size. These qualities of Swin Transformer make it compatible with a broad range of vision tasks, including image classification (87.3 top-1 accuracy on ImageNet-1K) and dense prediction tasks such as object detection (58.7 box AP and 51.1 mask AP on COCO testdev) and semantic segmentation (53.5 mIoU on ADE20K val). Its performance surpasses the previous state-of-theart by a large margin of +2.7 box AP and +2.6 mask AP on COCO, and +3.2 mIoU on ADE20K, demonstrating the potential of Transformer-based models as vision backbones. The hierarchical design and the shifted window approach also prove beneficial for all-MLP architectures. The code and models are publicly available at https://github. com/microsoft/Swin-Transformer.

自我监督学习的一个重要目标是使模型预训练能够从几乎无限的数据中受益。但是，一种最近变得流行的方法，即掩盖图像建模（MIM），被怀疑无法从较大的数据中受益。在这项工作中，我们通过广泛的实验打破了这一误解，数据量表从10 \％imagenet-1k到完整的Imagenet-22K，型号的尺寸从4,900万到10亿，培训长度从125k迭代到500k迭代迭代范围不等。我们的研究表明：（i）蒙版的图像建模也要求对较大的数据进行要求。我们观察到，非常大的模型被相对较小的数据过度。 （ii）培训的时间长度。接受掩盖图像建模训练的大型模型可以从更多的数据中受益，并具有更长的培训。 （iii）预训练中的验证损失是衡量模型在多个任务上进行微调的表现的好指标。该观察结果使我们能够预先评估预训练的模型，而无需对下游任务进行昂贵的试用和错误评估。我们希望我们的发现能够从缩放能力方面提高对蒙版图像建模的理解。

Copy-Paste is a simple and effective data augmentation strategy for instance segmentation. By randomly pasting object instances onto new background images, it creates new training data for free and significantly boosts the segmentation performance, especially for rare object categories. Although diverse, high-quality object instances used in Copy-Paste result in more performance gain, previous works utilize object instances either from human-annotated instance segmentation datasets or rendered from 3D object models, and both approaches are too expensive to scale up to obtain good diversity. In this paper, we revisit Copy-Paste at scale with the power of newly emerged zero-shot recognition models (e.g., CLIP) and text2image models (e.g., StableDiffusion). We demonstrate for the first time that using a text2image model to generate images or zero-shot recognition model to filter noisily crawled images for different object categories is a feasible way to make Copy-Paste truly scalable. To make such success happen, we design a data acquisition and processing framework, dubbed "X-Paste", upon which a systematic study is conducted. On the LVIS dataset, X-Paste provides impressive improvements over the strong baseline CenterNet2 with Swin-L as the backbone. Specifically, it archives +2.6 box AP and +2.1 mask AP gains on all classes and even more significant gains with +6.8 box AP +6.5 mask AP on long-tail classes.

我们探索普通的非层次视觉变压器（VIT）作为用于对象检测的骨干网络。该设计使原始的VIT体系结构可以进行微调以进行对象检测，而无需重新设计层次结构的主链以进行预训练。随着微调的最低适应性，我们的纯净背骨检测器可以取得竞争成果。令人惊讶的是，我们观察到：（i）足以从单尺度特征映射（没有常见的FPN设计）构建一个简单的特征金字塔，并且（ii）足以使用窗户注意力（无需转移），很少有帮助跨窗口传播块。凭借普通的VIT骨架作为掩盖自动编码器（MAE），我们的探测器（名为VITDET）可以与先前基于层次结构骨架的先前领先方法竞争，仅使用ImagEnet-1k Pre Pre pre to Coco Dataset上的61.3 ap_box竞争-训练。我们希望我们的研究能够引起人们对普通背骨检测器的研究。 VITDET的代码可在detectron2中获得。

在本文中，我们将多尺度视觉变压器（MVIT）作为图像和视频分类的统一架构，以及对象检测。我们提出了一种改进的MVIT版本，它包含分解的相对位置嵌入和残余汇集连接。我们以五种尺寸实例化此架构，并评估Imagenet分类，COCO检测和动力学视频识别，在此优先效果。我们进一步比较了MVITS的汇集注意力来窗口注意力机制，其中它在准确性/计算中优于后者。如果没有钟声，MVIT在3个域中具有最先进的性能：ImageNet分类的准确性为88.8％，Coco对象检测的56.1盒AP和动力学-400视频分类的86.1％。代码和模型将公开可用。

在本文中，我们介绍了一种在2021 Vipriors实例分段挑战中使用的数据有效的实例分段方法。我们的解决方案是一个修改版的Swin变压器，基于MMDetection，它是一个强大的工具箱。为了解决数据缺乏问题，我们利用了数据增强，包括随机翻转和多尺度培训来培训我们的模型。在推理期间，多尺度融合用于提高性能。我们在整个培训和测试阶段仅使用单个GPU。最后，我们的团队在测试集上实现了0.366的结果：0.95，在测试集上与其他排名方法竞争，而仅使用一个GPU。此外，我们的方法达到了AP@0.50：0.95（中等）0.592，其中排名第二。最后，我们的团队在组织者宣布的所有参赛者中排名第三。

随着深度学习的兴起，视频对象细分（VOS）取得了重大进展。但是，仍然存在一些棘手的问题，例如，类似的对象很容易混淆，很难找到微小的对象。为了解决这些问题并进一步提高VOS的性能，我们为这项任务提出了一个简单而有效的解决方案。在解决方案中，我们首先分析YouTube-VOS数据集的分布，并通过引入公共静态和视频分割数据集来补充数据集。然后，我们改善了具有不同特征的三个网络体系结构，并训练多个网络以学习视频中对象的不同特征。之后，我们使用一种简单的方法来集成所有结果，以确保不同的模型相互补充。最后，进行了微妙的后处理，以确保具有精确边界的准确视频对象分割。 YouTube-VOS数据集的大量实验表明，该建议的解决方案在YouTube-VOS 2022测试集上以86.1％的总分达到了最先进的性能，这是YouTube视频对象细分的第五名-VOS挑战2022。

变压器模型在处理各种视觉任务方面表现出了有希望的有效性。但是，与训练卷积神经网络（CNN）模型相比，训练视觉变压器（VIT）模型更加困难，并且依赖于大规模训练集。为了解释这一观察结果，我们做出了一个假设，即\ textit {vit模型在捕获图像的高频组件方面的有效性较小，而不是CNN模型}，并通过频率分析对其进行验证。受这一发现的启发，我们首先研究了现有技术从新的频率角度改进VIT模型的影响，并发现某些技术（例如，randaugment）的成功可以归因于高频组件的更好使用。然后，为了补偿这种不足的VIT模型能力，我们提出了HAT，该HAT可以通过对抗训练直接增强图像的高频组成部分。我们表明，HAT可以始终如一地提高各种VIT模型的性能（例如VIT-B的 +1.2％，Swin-B的 +0.5％），尤其是提高了仅使用Imagenet-的高级模型Volo-D5至87.3％ 1K数据，并且优势也可以维持在分发数据的数据上，并转移到下游任务。该代码可在以下网址获得：https：//github.com/jiawangbai/hat。

最近的进展表明，使用对比图像文本对的大规模预训练可以是从自然语言监督的高质量视觉表演学习的有前途的替代方案。从更广泛的监督来源受益，这种新的范例展示了对下游分类任务和数据集的令人印象深刻的可转移性。然而，从图像文本对中学习的知识转移到更复杂的密集预测任务的问题几乎没有访问过。在这项工作中，我们通过隐式和明确地利用来自剪辑的预先训练的知识来提出了一种新的密集预测框架。具体地，我们将剪辑中的原始图像文本匹配问题转换为像素文本匹配问题，并使用像素文本分数图来指导致密预测模型的学习。通过进一步使用图像中的上下文信息来提示语言模型，我们能够促进我们的模型来更好地利用预先接受训练的知识。我们的方法是模型 - 不可行的，它可以应用于任意密集的预测系统和各种预先训练的视觉底座，包括夹模型和想象成预先训练的模型。广泛的实验证明了我们对语义分割，对象检测和实例分段任务的方法的卓越性能。代码可在https://github.com/raoyongming/denseclip获得

Recently, diffusion frameworks have achieved comparable performance with previous state-of-the-art image generation models. Researchers are curious about its variants in discriminative tasks because of its powerful noise-to-image denoising pipeline. This paper proposes DiffusionInst, a novel framework that represents instances as instance-aware filters and formulates instance segmentation as a noise-to-filter denoising process. The model is trained to reverse the noisy groundtruth without any inductive bias from RPN. During inference, it takes a randomly generated filter as input and outputs mask in one-step or multi-step denoising. Extensive experimental results on COCO and LVIS show that DiffusionInst achieves competitive performance compared to existing instance segmentation models. We hope our work could serve as a simple yet effective baseline, which could inspire designing more efficient diffusion frameworks for challenging discriminative tasks. Our code is available in https://github.com/chenhaoxing/DiffusionInst.

图像分割是关于使用不同语义的分组像素，例如类别或实例成员身份，其中每个语义选择定义任务。虽然只有每个任务的语义不同，但目前的研究侧重于为每项任务设计专业架构。我们提出了蒙面关注掩模变压器（Mask2Former），这是一种能够寻址任何图像分段任务（Panoptic，实例或语义）的新架构。其关键部件包括屏蔽注意，通过限制预测掩模区域内的横向提取局部特征。除了将研究工作减少三次之外，它还优于四个流行的数据集中的最佳专业架构。最值得注意的是，Mask2Former为Panoptic semonation（Coco 57.8 PQ）设置了新的最先进的，实例分段（Coco上50.1 AP）和语义分割（ADE20K上的57.7 miou）。

本文对实例分割模型进行了全面评估，这些模型与现实世界图像损坏以及室外图像集合，例如与培训数据集不同的设置捕获的图像。室外图像评估显示了模型的概括能力，现实世界应用的一个基本方面以及广泛研究的域适应性主题。当设计用于现实世界应用程序的实例分割模型并选择现成的预期模型以直接用于手头的任务时，这些提出的鲁棒性和泛化评估很重要。具体而言，这项基准研究包括最先进的网络架构，网络骨架，标准化层，从头开始训练的模型，从头开始与预处理的网络以及多任务培训对稳健性和概括的影响。通过这项研究，我们获得了一些见解。例如，我们发现组归一化增强了跨损坏的网络的鲁棒性，其中图像内容保持不变，但损坏却添加在顶部。另一方面，分批归一化改善了图像特征统计信息在不同数据集上的概括。我们还发现，单阶段探测器比其训练大小不太概括到更大的图像分辨率。另一方面，多阶段探测器可以轻松地用于不同尺寸的图像上。我们希望我们的全面研究能够激发更强大和可靠的实例细分模型的发展。

Open-World实例细分（OWIS）旨在从图像中分割类不足的实例，该图像具有广泛的现实应用程序，例如自主驾驶。大多数现有方法遵循两阶段的管道：首先执行类不足的检测，然后再进行特定于类的掩模分段。相比之下，本文提出了一个单阶段框架，以直接为每个实例生成掩码。另外，实例掩码注释在现有数据集中可能很吵。为了克服这个问题，我们引入了新的正规化损失。具体而言，我们首先训练一个额外的分支来执行预测前景区域的辅助任务（即属于任何对象实例的区域），然后鼓励辅助分支的预测与实例掩码的预测一致。关键的见解是，这种交叉任务一致性损失可以充当误差校正机制，以打击注释中的错误。此外，我们发现所提出的跨任务一致性损失可以应用于图像，而无需任何注释，将自己借给了半监督的学习方法。通过广泛的实验，我们证明了所提出的方法可以在完全监督和半监督的设置中获得令人印象深刻的结果。与SOTA方法相比，所提出的方法将$ ap_ {100} $得分提高了4.75 \％\％\％\ rightarrow $ uvo设置和4.05 \％\％\％\％\％\％\ rightarrow $ uvo设置。在半监督学习的情况下，我们的模型仅使用30 \％标记的数据学习，甚至超过了其完全监督的数据，并具有5​​0 \％标记的数据。该代码将很快发布。

在混合完成的多任务，多域和多模式数据上进行预训练仍然是视力感知预训练的开放挑战。在本文中，我们提出了GPPF，这是一个普遍的感知预训练框架，预先培训任务级的动态网络，该网络是由在标签的多任务和多域数据集上的各层知识“乐高”组成的。通过检查人类在复杂环境中学习的先天能力，我们识别并将三个关键要素转移到深网上：（1）同时暴露于每个批次中的各种交叉任务和跨域信息。 （2）由知识共享驱动的单独的乐高单元中的分区知识存储。 （3）用于训练和下游任务的乐高单元子集的稀疏激活。值得注意的是，由于其在输入形状，损失功能，输出格式，数据分布等方面的差异，不同视觉任务的联合培训是不平凡的。因此，我们创新地开发了插件的多任务培训算法，该培训算法是支持单个迭代多个任务（SIMT）同时培训。 Simt用大型多任务多任务数据集为预训练的基础奠定了基础，并且被证明对于我们的GPPF实验中的稳定培训至关重要。令人兴奋的是，详尽的实验表明，我们的GPPF-R50型号在GPPF-15M中的8个预训练预培训任务的强大基线上取得了显着改善，并在22个下游任务中收获了一系列SOTA，并具有相似的计算预算。我们还验证了GPPF对SOTA视觉变压器的概括能力，并具有一致的改进。这些可靠的实验结果充分证明了我们新颖的GPPF框架提供的有效的知识学习，存储，共享和转移。