就像其他少量学习问题一样，很少拍摄的细分旨在最大限度地减少手动注释的需求，这在分割任务中特别昂贵。即使少量拍摄设置降低了新型测试类的这种成本，仍然需要注释培训数据。为了减轻这种需求，我们提出了一种自我监督的培训方法，用于学习几次射门分割模型。我们首先使用无监督的显着性估计来获得图像上的伪掩码。然后，我们将在不同的伪掩模的不同分割和增强图像的不同分裂上培训一个简单的原型模型。我们广泛的实验表明，该方法达到了有希望的结果，突出了自我监督培训的潜力。据我们所知，这是第一个解决自然图像上无监督的少量分割问题的第一项工作。

几次拍摄的语义分割旨在将新颖的类对象分段为仅具有少数标记的支持图像。大多数高级解决方案利用度量学习框架，通过将每个查询功能与学习的类特定的原型匹配来执行分段。然而，由于特征比较不完整，该框架遭受了偏见的分类。为了解决这个问题，我们通过引入类别特定的和类别不可知的原型来提出自适应原型表示，从而构建与查询功能学习语义对齐的完整样本对。互补特征学习方式有效地丰富了特征比较，并有助于在几次拍摄设置中产生一个非偏见的分段模型。它用双分支端到端网络（\即，特定于类分支和类别不可知分支）实现，它生成原型，然后组合查询特征以执行比较。此外，所提出的类别无神不可话的分支简单而且有效。在实践中，它可以自适应地为查询图像生成多种类别 - 不可知的原型，并以自我对比方式学习特征对齐。广泛的Pascal-5 $ ^ i $和Coco-20 $ ^ i $展示了我们方法的优越性。在不牺牲推理效率的费用中，我们的模型实现了最先进的，导致1-Shot和5-Shot Settings进行语义分割。

很少有分割的目的是仅给出少数标记的样品，旨在细分看不见的级对象。原型学习，支持功能通过平均全局和局部对象信息产生单个原型，在FSS中已广泛使用。但是，仅利用原型矢量可能不足以代表所有训练数据的功能。为了提取丰富的特征并做出更精确的预测，我们提出了一个多相似性和注意力网络（MSANET），包括两个新型模块，一个多相似性模块和一个注意模块。多相似模块利用支持图像和查询图像的多个特征图来估计准确的语义关系。注意模块指示网络专注于相关的信息。该网络在标准FSS数据集，Pascal-5i 1-Shot，Pascal-5i 5-Shot，Coco-20i 1-Shot和Coco-20i 5-Shot上进行了测试。具有RESNET-101骨架的MSANET可在所有4基准测试数据集中达到最先进的性能，而平均交叉点（MIOU）为69.13％，73.99％，51.09％，56.80％。代码可在https://github.com/aivresearch/msanet上获得

Few-shot segmentation aims to devise a generalizing model that segments query images from unseen classes during training with the guidance of a few support images whose class tally with the class of the query. There exist two domain-specific problems mentioned in the previous works, namely spatial inconsistency and bias towards seen classes. Taking the former problem into account, our method compares the support feature map with the query feature map at multi scales to become scale-agnostic. As a solution to the latter problem, a supervised model, called as base learner, is trained on available classes to accurately identify pixels belonging to seen classes. Hence, subsequent meta learner has a chance to discard areas belonging to seen classes with the help of an ensemble learning model that coordinates meta learner with the base learner. We simultaneously address these two vital problems for the first time and achieve state-of-the-art performances on both PASCAL-5i and COCO-20i datasets.

在视觉识别任务中，很少的学习需要在很少的支持示例中学习对象类别的能力。鉴于深度学习的发展，它的重新流行主要是图像分类。这项工作着重于几片语义细分，这仍然是一个未开发的领域。最近的一些进步通常仅限于单级少量分段。在本文中，我们首先介绍了一个新颖的多通道（类）编码和解码体系结构，该体系结构有效地将多尺度查询信息和多类支持信息融合到一个查询支持嵌入中。多级分割直接在此嵌入后解码。为了获得更好的特征融合，在体系结构中提出了多层注意机制，其中包括对支持功能调制的关注和多尺度组合的注意力。最后，为了增强嵌入式空间学习，引入了一个额外的像素度量学习模块，并在输入图像的像素级嵌入式上提出了三重损失。对标准基准Pascal-5i和Coco-20i进行的广泛实验显示了我们方法对最新技术的明显好处

Despite the remarkable success of existing methods for few-shot segmentation, there remain two crucial challenges. First, the feature learning for novel classes is suppressed during the training on base classes in that the novel classes are always treated as background. Thus, the semantics of novel classes are not well learned. Second, most of existing methods fail to consider the underlying semantic gap between the support and the query resulting from the representative bias by the scarce support samples. To circumvent these two challenges, we propose to activate the discriminability of novel classes explicitly in both the feature encoding stage and the prediction stage for segmentation. In the feature encoding stage, we design the Semantic-Preserving Feature Learning module (SPFL) to first exploit and then retain the latent semantics contained in the whole input image, especially those in the background that belong to novel classes. In the prediction stage for segmentation, we learn an Self-Refined Online Foreground-Background classifier (SROFB), which is able to refine itself using the high-confidence pixels of query image to facilitate its adaptation to the query image and bridge the support-query semantic gap. Extensive experiments on PASCAL-5$^i$ and COCO-20$^i$ datasets demonstrates the advantages of these two novel designs both quantitatively and qualitatively.

几次拍摄的语义分割解决了学习任务，其中只有几个具有地面真理像素级标签的图像可用于新颖的感兴趣的景点。通常需要将大量数据（即基类）收集具有这样的地面真理信息，然后是元学习策略来解决上述学习任务。当在训练和测试期间只能观察到图像级语义标签时，它被认为是弱监督少量语义细分的更具挑战性的任务。为了解决这个问题，我们提出了一种新的元学习框架，其预测来自有限量的数据和它们的语义标签的伪像素级分段掩模。更重要的是，我们的学习方案进一步利用了具有分段保证的查询图像输入的产生的像素级信息。因此，我们提出的学习模型可以被视为像素级元学习者。通过对基准数据集的广泛实验，我们表明我们的模型在完全监督的环境下实现了令人满意的性能，但在弱势监督的环境下对最先进的方法进行了有利的方法。

很少有语义细分旨在识别一个看不见类别的对象区域，只有几个带注释的示例作为监督。几次分割的关键是在支持图像和查询图像之间建立牢固的语义关系，并防止过度拟合。在本文中，我们提出了一个有效的多相似性超关联网络（MSHNET），以解决几个射击语义分割问题。在MSHNET中，我们提出了一种新的生成原型相似性（GPS），与余弦相似性可以在支持图像和查询图像之间建立牢固的语义关系。基于全局特征的本地生成的原型相似性在逻辑上与基于本地特征的全局余弦相似性互补，并且可以通过同时使用两个相似性来更全面地表达查询图像和受支持图像之间的关系。此外，我们提出了MSHNET中的对称合并块（SMB），以有效合并多层，多弹射和多相似性超相关特征。 MSHNET是基于相似性而不是特定类别特征而构建的，这些特征可以实现更一般的统一性并有效地减少过度拟合。在两个基准的语义分割数据集Pascal-5i和Coco-20i上，MSHNET在1次和5次语义分段任务上实现了新的最先进的表演。

我们解决了几次拍摄语义分割（FSS）的问题，该问题旨在通过一些带有一些注释的样本分段为目标图像中的新型类对象。尽管通过结合基于原型的公制学习来进行最近的进步，但由于其特征表示差，现有方法仍然显示出在极端内部对象变化和语义相似的类别对象下的有限性能。为了解决这个问题，我们提出了一种针对FSS任务定制的双重原型对比学习方法，以有效地捕获代表性的语义。主要思想是通过增加阶级距离来鼓励原型更差异，同时减少了原型特征空间中的课堂距离。为此，我们首先向类别特定的对比丢失丢失具有动态原型字典，该字典字典存储在训练期间的类感知原型，从而实现相同的类原型和不同的类原型是不同的。此外，我们通过压缩每集内语义类的特征分布来提高类别无话的对比损失，以提高未经看不见的类别的概念能力。我们表明，所提出的双重原型对比学习方法优于Pascal-5i和Coco-20i数据集的最先进的FSS方法。该代码可用于：https：//github.com/kwonjunn01/dpcl1。

Few-shot semantic segmentation aims to learn to segment new object classes with only a few annotated examples, which has a wide range of real-world applications. Most existing methods either focus on the restrictive setting of one-way few-shot segmentation or suffer from incomplete coverage of object regions. In this paper, we propose a novel few-shot semantic segmentation framework based on the prototype representation. Our key idea is to decompose the holistic class representation into a set of part-aware prototypes, capable of capturing diverse and fine-grained object features. In addition, we propose to leverage unlabeled data to enrich our part-aware prototypes, resulting in better modeling of intra-class variations of semantic objects. We develop a novel graph neural network model to generate and enhance the proposed part-aware prototypes based on labeled and unlabeled images. Extensive experimental evaluations on two benchmarks show that our method outperforms the prior art with a sizable margin.

很少有分段旨在学习一个细分模型，该模型可以推广到只有几个培训图像的新课程。在本文中，我们提出了一个交叉引用和局部全球条件网络（CRCNET），以进行几次分割。与以前仅预测查询图像掩码的作品不同，我们提出的模型同时对支持图像和查询图像进行了预测。我们的网络可以更好地在两个图像中使用交叉引用机制找到同时出现的对象，从而有助于少量分割任务。为了进一步改善功能比较，我们开发了一个局部全球条件模块，以捕获全球和本地关系。我们还开发了一个掩模修补模块，以重新完善前景区域的预测。Pascal VOC 2012，MS Coco和FSS-1000数据集的实验表明，我们的网络实现了新的最新性能。

深度学习极大地提高了语义细分的性能，但是，它的成功依赖于大量注释的培训数据的可用性。因此，许多努力致力于域自适应语义分割，重点是将语义知识从标记的源域转移到未标记的目标域。现有的自我训练方法通常需要多轮训练，而基于对抗训练的另一个流行框架已知对超参数敏感。在本文中，我们提出了一个易于训练的框架，该框架学习了域自适应语义分割的域不变原型。特别是，我们表明域的适应性与很少的学习共享一个共同的角色，因为两者都旨在识别一些从大量可见数据中学到的知识的看不见的数据。因此，我们提出了一个统一的框架，用于域适应和很少的学习。核心思想是使用从几个镜头注释的目标图像中提取的类原型来对源图像和目标图像的像素进行分类。我们的方法仅涉及一个阶段训练，不需要对大规模的未经通知的目标图像进行培训。此外，我们的方法可以扩展到域适应性和几乎没有射击学习的变体。关于适应GTA5到CITYSCAPES和合成景观的实验表明，我们的方法实现了对最先进的竞争性能。

对少量语义分割（FSS）的研究引起了极大的关注，目的是在查询图像中仅给出目标类别的少数注释的支持图像。这项具有挑战性的任务的关键是通过利用查询和支持图像之间的细粒度相关性来充分利用支持图像中的信息。但是，大多数现有方法要么将支持信息压缩为几个班级原型，要么在像素级别上使用的部分支持信息（例如，唯一的前景），从而导致不可忽略的信息损失。在本文中，我们提出了密集的像素，互源和支持的注意力加权面膜聚合（DCAMA），其中前景和背景支持信息都是通过配对查询和支持特征之间的多级像素的相关性通过多级像素的相关性充分利用的。 DCAMA在变压器体系结构中以缩放点产生的关注实现，将每个查询像素视为令牌，计算其与所有支持像素的相似之处，并预测其分割标签是所有支持像素标签的添加剂聚集 - 相似之处。基于DCAMA的唯一公式，我们进一步提出了对N-shot分割的有效有效的一通推断，其中所有支持图像的像素立即为掩模聚集收集。实验表明，我们的DCAMA在Pascal-5i，Coco-20i和FSS-1000的标准FSS基准上显着提高了最先进的状态以前的最佳记录。烧烤研究还验证了设计dcama。

几乎没有射击的细分是一项具有挑战性的密集预测任务，它需要分割新的查询图像，仅给出一个小注释的支持集。因此，关键问题是设计一种方法，该方法可以从支持集中汇总详细信息，同时对外观和上下文的巨大变化进行稳健。为此，我们提出了基于密集的高斯过程（GP）回归的几种分割方法。鉴于支持集，我们密集的GP了解了从局部深层图像特征到掩模值的映射，能够捕获复杂的外观分布。此外，它提供了一种捕获不确定性的原则方法，这是CNN解码器获得的最终分割的另一种强大提示。我们进一步利用了我们方法的端到端学习能力，以学习GP的高维输出空间。我们的方法在Pascal-5 $^i $和Coco-20 $^i $ Benchmarks上设定了新的最新技术，在Coco-20 $^i $中获得了绝对的$+8.4 $ MIOU的绝对增益5杆设置。此外，在增加支撑设置大小时，我们的方法的分割质量会优雅地缩放，同时实现强大的跨数据库转移。代码和训练有素的模型可在\ url {https://github.com/joakimjohnander/dgpnet}上获得。

Few-shot segmentation (FSS) aims to segment unseen classes using a few annotated samples. Typically, a prototype representing the foreground class is extracted from annotated support image(s) and is matched to features representing each pixel in the query image. However, models learnt in this way are insufficiently discriminatory, and often produce false positives: misclassifying background pixels as foreground. Some FSS methods try to address this issue by using the background in the support image(s) to help identify the background in the query image. However, the backgrounds of theses images is often quite distinct, and hence, the support image background information is uninformative. This article proposes a method, QSR, that extracts the background from the query image itself, and as a result is better able to discriminate between foreground and background features in the query image. This is achieved by modifying the training process to associate prototypes with class labels including known classes from the training data and latent classes representing unknown background objects. This class information is then used to extract a background prototype from the query image. To successfully associate prototypes with class labels and extract a background prototype that is capable of predicting a mask for the background regions of the image, the machinery for extracting and using foreground prototypes is induced to become more discriminative between different classes. Experiments for both 1-shot and 5-shot FSS on both the PASCAL-5i and COCO-20i datasets demonstrate that the proposed method results in a significant improvement in performance for the baseline methods it is applied to. As QSR operates only during training, these improved results are produced with no extra computational complexity during testing.

标记数据通常昂贵且耗时，特别是对于诸如对象检测和实例分割之类的任务，这需要对图像的密集标签进行密集的标签。虽然几张拍摄对象检测是关于培训小说中的模型（看不见的）对象类具有很少的数据，但它仍然需要在许多标记的基础（见）类的课程上进行训练。另一方面，自我监督的方法旨在从未标记数据学习的学习表示，该数据转移到诸如物体检测的下游任务。结合几次射击和自我监督的物体检测是一个有前途的研究方向。在本调查中，我们审查并表征了几次射击和自我监督对象检测的最新方法。然后，我们给我们的主要外卖，并讨论未来的研究方向。https://gabrielhuang.github.io/fsod-survey/的项目页面

以前的人类解析模型仅限于将人类解析为预定义的类，这对于通常具有新时尚项目类的实用时尚应用是不灵活的。在本文中，我们定义了一个新颖的单次人类解析（OSHP）任务，该任务需要将人解析为任何测试示例定义的一组开放式类别。在培训期间，仅公开基础课程，这仅与一部分测试时间类别重叠。为了解决OSHP中的三个主要挑战，即小型，测试偏见和类似部分，我们设计了一个端到端的一击人类解析网络（EOP-NET）。首先，提出了一个端到端的人解析框架，以将查询图像解析为粗粒和细粒度的人类类别，该框架建立了一个强大的嵌入网络，具有在不同粒度上共享的丰富语义信息，从人类阶级。然后，我们通过逐步平滑训练时间静态原型来提出学习势头更新的原型，这有助于稳定训练并学习健壮的功能。此外，我们设计了一种双重度量学习方案，该方案鼓励网络增强特征的表示能力和可传递性。因此，我们的EOP-NET可以学习代表性功能，这些功能可以快速适应新颖的类并减轻测试偏置问题。此外，我们在原型水平上采用了对比损失，从而在细粒度度量空间中执行了类别之间的距离，以区分相似的部分。我们根据OSHP任务量身定制了三个现有的人类解析基准。新基准测试的实验表明，EOP-NET的表现优于大量边缘的代表性单次分割模型，这是进一步研究这项新任务的强大基线。源代码可从https://github.com/charleshhy/one-shot-human-parsing获得。

自我监督学习的进步带来了强大的一般图像表示学习方法。到目前为止，它主要集中在图像级学习上。反过来，诸如无监督图像细分之类的任务并没有从这种趋势中受益，因为它们需要空间多样性的表示。但是，学习密集的表示具有挑战性，因为在无监督的环境中，尚不清楚如何指导模型学习与各种潜在对象类别相对应的表示形式。在本文中，我们认为对物体部分的自我监督学习是解决此问题的方法。对象部分是可以推广的：它们是独立于对象定义的先验性，但可以分组以形成对象后验。为此，我们利用最近提出的视觉变压器参与对象的能力，并将其与空间密集的聚类任务相结合，以微调空间令牌。我们的方法超过了三个语义分割基准的最新方法，提高了17％-3％，表明我们的表示在各种对象定义下都是用途广泛的。最后，我们将其扩展到完全无监督的分割 - 即使在测试时间也可以完全避免使用标签信息 - 并证明了一种基于社区检测的自动合并发现的对象零件的简单方法可产生可观的收益。

Semantic segmentation assigns a class label to each image pixel. This dense prediction problem requires large amounts of manually annotated data, which is often unavailable. Few-shot learning aims to learn the pattern of a new category with only a few annotated examples. In this paper, we formulate the few-shot semantic segmentation problem from 1-way (class) to N-way (classes). Inspired by few-shot classification, we propose a generalized framework for few-shot semantic segmentation with an alternative training scheme. The framework is based on prototype learning and metric learning. Our approach outperforms the baselines by a large margin and shows comparable performance for 1-way few-shot semantic segmentation on PASCAL VOC 2012 dataset.

FSS(Few-shot segmentation)~aims to segment a target class with a small number of labeled images (support Set). To extract information relevant to target class, a dominant approach in best performing FSS baselines removes background features using support mask. We observe that this support mask presents an information bottleneck in several challenging FSS cases e.g., for small targets and/or inaccurate target boundaries. To this end, we present a novel method (MSI), which maximizes the support-set information by exploiting two complementary source of features in generating super correlation maps. We validate the effectiveness of our approach by instantiating it into three recent and strong FSS baselines. Experimental results on several publicly available FSS benchmarks show that our proposed method consistently improves the performance by visible margins and allows faster convergence. Our codes and models will be publicly released.