基于深度学习的视网膜病变分割方法通常需要大量精确的像素注释数据。但是，概述病变区域的圆形或椭圆等粗糙注释的效率可能是像素级注释的六倍。因此，本文提出了一个注释细化网络，以将粗注释转换为像素级分割掩码。我们的主要新颖性是原型学习范式的应用来增强不同数据集或类型病变的概括能力。我们还引入了一个原型称量模块，以处理过度较小的病变的具有挑战性的病例。提出的方法对公开可用的IDRID数据集进行了培训，然后概括为公共DDR和我们的现实世界私人数据集。实验表明，我们的方法显着改善了初始的粗蒙版，并以较大的边缘优于非概率基线。此外，我们证明了原型称量模块在跨数据库和跨阶级设置中的实用性。

Despite the great progress made by deep CNNs in image semantic segmentation, they typically require a large number of densely-annotated images for training and are difficult to generalize to unseen object categories. Few-shot segmentation has thus been developed to learn to perform segmentation from only a few annotated examples. In this paper, we tackle the challenging few-shot segmentation problem from a metric learning perspective and present PANet, a novel prototype alignment network to better utilize the information of the support set. Our PANet learns classspecific prototype representations from a few support images within an embedding space and then performs segmentation over the query images through matching each pixel to the learned prototypes. With non-parametric metric learning, PANet offers high-quality prototypes that are representative for each semantic class and meanwhile discriminative for different classes. Moreover, PANet introduces a prototype alignment regularization between support and query. With this, PANet fully exploits knowledge from the support and provides better generalization on few-shot segmentation. Significantly, our model achieves the mIoU score of 48.1% and 55.7% on PASCAL-5 i for 1-shot and 5-shot settings respectively, surpassing the state-of-the-art method by 1.8% and 8.6%.

深度学习在计算机视觉方面取得了巨大的成功，而由于数据注释的稀缺性，医疗图像细分（MIS）仍然是一个挑战。几次分割的元学习技术（meta-fs）已被广泛用于应对这一挑战，而它们忽略了查询图像和支持集之间可能的分配变化。相比之下，经验丰富的临床医生可以通过从查询图像中借用信息，然后相应地对其（她）先前的认知模型进行微调或校准。在此灵感的启发下，我们提出了一种Q-NET，这是一种质疑的Meta-FSS方法，它在精神上模仿了专家临床医生的学习机制。我们基于ADNET构建Q-NET，这是一种最近提出的异常检测启发方法。具体而言，我们将两个查询信息的计算模块添加到ADNET中，即一个查询信息的阈值适应模块和一个查询信息的原型细化模块。将它们与特征提取模块的双路扩展相结合，Q-NET在两个广泛使用的数据集上实现了最先进的性能，分别由腹部MR图像和心脏MR图像组成。我们的作品通过利用查询信息来改善元FSS技术的新颖方法。

几次拍摄的语义分割旨在将新颖的类对象分段为仅具有少数标记的支持图像。大多数高级解决方案利用度量学习框架，通过将每个查询功能与学习的类特定的原型匹配来执行分段。然而，由于特征比较不完整，该框架遭受了偏见的分类。为了解决这个问题，我们通过引入类别特定的和类别不可知的原型来提出自适应原型表示，从而构建与查询功能学习语义对齐的完整样本对。互补特征学习方式有效地丰富了特征比较，并有助于在几次拍摄设置中产生一个非偏见的分段模型。它用双分支端到端网络（\即，特定于类分支和类别不可知分支）实现，它生成原型，然后组合查询特征以执行比较。此外，所提出的类别无神不可话的分支简单而且有效。在实践中，它可以自适应地为查询图像生成多种类别 - 不可知的原型，并以自我对比方式学习特征对齐。广泛的Pascal-5 $ ^ i $和Coco-20 $ ^ i $展示了我们方法的优越性。在不牺牲推理效率的费用中，我们的模型实现了最先进的，导致1-Shot和5-Shot Settings进行语义分割。

现有的少数射击分段方法基于支持 - 引人入胜的匹配框架取得了巨大进展。但是，他们仍然受到所提供的少量支撑的覆盖率有限的覆盖范围。由简单的格式塔原理激励，即属于同一对象的像素比同一班级的不同对象的像素更相似，我们提出了一种新颖的自支撑匹配策略来减轻此问题，该策略使用查询原型来匹配查询功能查询原型是从高信心查询预测中收集的。该策略可以有效地捕获查询对象的一致潜在特性，从而符合查询功能。我们还提出了一个自适应的自支持背景原型生成模块和自支撑损失，以进一步促进自支撑匹配过程。我们的自支撑网络大大提高了原型质量，更强的骨架和更多支持，并在多个数据集上实现了SOTA。代码位于\ url {https://github.com/fanq15/ssp}。

Accurate polyp segmentation is of great importance for colorectal cancer diagnosis and treatment. However, due to the high cost of producing accurate mask annotations, existing polyp segmentation methods suffer from severe data shortage and impaired model generalization. Reversely, coarse polyp bounding box annotations are more accessible. Thus, in this paper, we propose a boosted BoxPolyp model to make full use of both accurate mask and extra coarse box annotations. In practice, box annotations are applied to alleviate the over-fitting issue of previous polyp segmentation models, which generate fine-grained polyp area through the iterative boosted segmentation model. To achieve this goal, a fusion filter sampling (FFS) module is firstly proposed to generate pixel-wise pseudo labels from box annotations with less noise, leading to significant performance improvements. Besides, considering the appearance consistency of the same polyp, an image consistency (IC) loss is designed. Such IC loss explicitly narrows the distance between features extracted by two different networks, which improves the robustness of the model. Note that our BoxPolyp is a plug-and-play model, which can be merged into any appealing backbone. Quantitative and qualitative experimental results on five challenging benchmarks confirm that our proposed model outperforms previous state-of-the-art methods by a large margin.

弱监督语义分段（WSSS）的现有研究已经利用了类激活映射（CAM）来本地化类对象。然而，由于分类损失不足以提供精确的物区域，因此凸轮倾向于偏向辨别模式（即，稀疏），并且不提供精确的对象边界信息（即，不确定）。为了解决这些限制，我们提出了一种新颖的框架（由MainNet和SupportNet组成），从给定的图像级监督导出像素级自我监督。在我们的框架中，借助拟议的区域对比模块（RCM）和多尺寸细分模块（MAM），MainNet由来自SupportNet的自我监督训练。 RCM从SupportNet中提取两种形式的自我监督：（1）从凸轮和（2）根据类区域掩码的特征获得的（2）类的类别区域掩模。然后，主目的的每个像素明智的特征被原型训练以对比的方式，锐化所产生的凸轮。 MAM利用从SupportNet的多个尺度推断的凸轮作为自我监控来指导MailNet。基于Mainnet和SupportNet的多尺度凸轮之间的不相似性，来自主目的的凸轮训练以扩展到较少辨别的区域。该方法在Pascal VOC 2012数据集上显示了在列车和验证集上的最先进的WSSS性能。为了再现性，代码将很快公开提供。

Recently, due to the increasing requirements of medical imaging applications and the professional requirements of annotating medical images, few-shot learning has gained increasing attention in the medical image semantic segmentation field. To perform segmentation with limited number of labeled medical images, most existing studies use Proto-typical Networks (PN) and have obtained compelling success. However, these approaches overlook the query image features extracted from the proposed representation network, failing to preserving the spatial connection between query and support images. In this paper, we propose a novel self-supervised few-shot medical image segmentation network and introduce a novel Cycle-Resemblance Attention (CRA) module to fully leverage the pixel-wise relation between query and support medical images. Notably, we first line up multiple attention blocks to refine more abundant relation information. Then, we present CRAPNet by integrating the CRA module with a classic prototype network, where pixel-wise relations between query and support features are well recaptured for segmentation. Extensive experiments on two different medical image datasets, e.g., abdomen MRI and abdomen CT, demonstrate the superiority of our model over existing state-of-the-art methods.

很少有分割的目的是仅给出少数标记的样品，旨在细分看不见的级对象。原型学习，支持功能通过平均全局和局部对象信息产生单个原型，在FSS中已广泛使用。但是，仅利用原型矢量可能不足以代表所有训练数据的功能。为了提取丰富的特征并做出更精确的预测，我们提出了一个多相似性和注意力网络（MSANET），包括两个新型模块，一个多相似性模块和一个注意模块。多相似模块利用支持图像和查询图像的多个特征图来估计准确的语义关系。注意模块指示网络专注于相关的信息。该网络在标准FSS数据集，Pascal-5i 1-Shot，Pascal-5i 5-Shot，Coco-20i 1-Shot和Coco-20i 5-Shot上进行了测试。具有RESNET-101骨架的MSANET可在所有4基准测试数据集中达到最先进的性能，而平均交叉点（MIOU）为69.13％，73.99％，51.09％，56.80％。代码可在https://github.com/aivresearch/msanet上获得

以前的人类解析模型仅限于将人类解析为预定义的类，这对于通常具有新时尚项目类的实用时尚应用是不灵活的。在本文中，我们定义了一个新颖的单次人类解析（OSHP）任务，该任务需要将人解析为任何测试示例定义的一组开放式类别。在培训期间，仅公开基础课程，这仅与一部分测试时间类别重叠。为了解决OSHP中的三个主要挑战，即小型，测试偏见和类似部分，我们设计了一个端到端的一击人类解析网络（EOP-NET）。首先，提出了一个端到端的人解析框架，以将查询图像解析为粗粒和细粒度的人类类别，该框架建立了一个强大的嵌入网络，具有在不同粒度上共享的丰富语义信息，从人类阶级。然后，我们通过逐步平滑训练时间静态原型来提出学习势头更新的原型，这有助于稳定训练并学习健壮的功能。此外，我们设计了一种双重度量学习方案，该方案鼓励网络增强特征的表示能力和可传递性。因此，我们的EOP-NET可以学习代表性功能，这些功能可以快速适应新颖的类并减轻测试偏置问题。此外，我们在原型水平上采用了对比损失，从而在细粒度度量空间中执行了类别之间的距离，以区分相似的部分。我们根据OSHP任务量身定制了三个现有的人类解析基准。新基准测试的实验表明，EOP-NET的表现优于大量边缘的代表性单次分割模型，这是进一步研究这项新任务的强大基线。源代码可从https://github.com/charleshhy/one-shot-human-parsing获得。

美国和全球的两个主要死亡原因是中风和心肌梗塞。两者的根本原因是由破裂或侵蚀的不稳定的动脉粥样硬化斑块释放的，这些斑块阻塞了心脏（心肌梗塞）或大脑（中风）的血管。临床研究表明，在斑块破裂或侵蚀事件中，斑块组成比病变大小更重要。为了确定斑块组成，计算了3D心血管免疫荧光图像的各种细胞类型的斑块病变。但是，手动计算这些细胞是昂贵的，耗时的，并且容易发生人为错误。手动计数的这些挑战激发了对自动化方法进行定位和计算图像中细胞的需求。这项研究的目的是开发一种自动方法，以最少的注释工作在3D免疫荧光图像中准确检测和计数细胞。在这项研究中，我们使用弱监督的学习方法使用点注释来训练悬停网络分割模型，以检测荧光图像中的核。使用点注释的优点是，与像素的注释相比，它们需要更少的精力。为了使用点注释训练悬停的网络模型，我们采用了一种普遍使用的群集标记方法，将点注释转换为精确的细胞核二进制掩模。传统上，这些方法从点注释产生了二进制面具，使该物体周围的区域未标记（通常在模型训练中被忽略）。但是，这些区域可能包含重要信息，有助于确定细胞之间的边界。因此，我们在这些区域使用了熵最小化的损失函数，以鼓励模型在未标记区域上输出更自信的预测。我们的比较研究表明，使用我们的弱训练的悬停网络模型...

深度神经网络通常需要准确和大量注释，以在医学图像分割中实现出色的性能。单次分割和弱监督学习是有前途的研究方向，即通过仅从一个注释图像学习新类并利用粗标签来降低标签努力。以前的作品通常未能利用解剖结构并遭受阶级不平衡和低对比度问题。因此，我们为3D医学图像分割的创新框架提供了一次性和弱监督的设置。首先，提出了一种传播重建网络，以基于不同人体中的解剖模式类似的假设将来自注释体积的划痕投射到未标记的3D图像。然后，双级功能去噪模块旨在基于解剖结构和像素级别来改进涂鸦。在将涂鸦扩展到伪掩码后，我们可以使用嘈杂的标签培训策略培训新课程的分段模型。一个腹部的实验和一个头部和颈部CT数据集显示所提出的方法对最先进的方法获得显着改善，即使在严重的阶级不平衡和低对比度下也能够稳健地执行。

Few-shot semantic segmentation aims to learn to segment new object classes with only a few annotated examples, which has a wide range of real-world applications. Most existing methods either focus on the restrictive setting of one-way few-shot segmentation or suffer from incomplete coverage of object regions. In this paper, we propose a novel few-shot semantic segmentation framework based on the prototype representation. Our key idea is to decompose the holistic class representation into a set of part-aware prototypes, capable of capturing diverse and fine-grained object features. In addition, we propose to leverage unlabeled data to enrich our part-aware prototypes, resulting in better modeling of intra-class variations of semantic objects. We develop a novel graph neural network model to generate and enhance the proposed part-aware prototypes based on labeled and unlabeled images. Extensive experimental evaluations on two benchmarks show that our method outperforms the prior art with a sizable margin.

通过使用图像级分类掩模监督其学习过程，弱监督对象本地化（WSOL）放宽对对象本地化的密度注释的要求。然而，当前的WSOL方法遭受背景位置的过度激活，并且需要后处理以获得定位掩模。本文将这些问题归因于背景提示的不明显，并提出了背景感知分类激活映射（B-CAM），以便仅使用图像级标签同时学习对象和背景的本地化分数。在我们的B-CAM中，两个图像级功能，由潜在背景和对象位置的像素级别功能聚合，用于从对象相关的背景中净化对象功能，并表示纯背景样本的功能，分别。然后基于这两个特征，学习对象分类器和背景分类器，以确定二进制对象本地化掩码。我们的B-CAM可以基于提出的错开分类损失以端到端的方式培训，这不仅可以改善对象本地化，而且还抑制了背景激活。实验表明，我们的B-CAM在Cub-200，OpenImages和VOC2012数据集上优于一级WSOL方法。

很少有分段旨在学习一个细分模型，该模型可以推广到只有几个培训图像的新课程。在本文中，我们提出了一个交叉引用和局部全球条件网络（CRCNET），以进行几次分割。与以前仅预测查询图像掩码的作品不同，我们提出的模型同时对支持图像和查询图像进行了预测。我们的网络可以更好地在两个图像中使用交叉引用机制找到同时出现的对象，从而有助于少量分割任务。为了进一步改善功能比较，我们开发了一个局部全球条件模块，以捕获全球和本地关系。我们还开发了一个掩模修补模块，以重新完善前景区域的预测。Pascal VOC 2012，MS Coco和FSS-1000数据集的实验表明，我们的网络实现了新的最新性能。

Despite the remarkable success of existing methods for few-shot segmentation, there remain two crucial challenges. First, the feature learning for novel classes is suppressed during the training on base classes in that the novel classes are always treated as background. Thus, the semantics of novel classes are not well learned. Second, most of existing methods fail to consider the underlying semantic gap between the support and the query resulting from the representative bias by the scarce support samples. To circumvent these two challenges, we propose to activate the discriminability of novel classes explicitly in both the feature encoding stage and the prediction stage for segmentation. In the feature encoding stage, we design the Semantic-Preserving Feature Learning module (SPFL) to first exploit and then retain the latent semantics contained in the whole input image, especially those in the background that belong to novel classes. In the prediction stage for segmentation, we learn an Self-Refined Online Foreground-Background classifier (SROFB), which is able to refine itself using the high-confidence pixels of query image to facilitate its adaptation to the query image and bridge the support-query semantic gap. Extensive experiments on PASCAL-5$^i$ and COCO-20$^i$ datasets demonstrates the advantages of these two novel designs both quantitatively and qualitatively.

经过图像级标签训练的弱监督图像分割通常在伪地面上的生成期间因物体区域的覆盖率不准确。这是因为对象激活图受到分类目标的训练，并且缺乏概括的能力。为了提高客观激活图的一般性，我们提出了一个区域原型网络RPNET来探索训练集的跨图像对象多样性。通过区域特征比较确定了跨图像的相似对象零件。区域之间传播对象信心，以发现新的对象区域，同时抑制了背景区域。实验表明，该提出的方法会生成更完整和准确的伪对象掩模，同时在Pascal VOC 2012和MS Coco上实现最先进的性能。此外，我们研究了提出的方法在减少训练集方面的鲁棒性。

最先进的（SOTA）深度学习乳房X线照片分类器接受了弱标记的图像训练，通常依赖于产生有限解释性预测的全球模型，这是他们成功地转化为临床实践的关键障碍。另一方面，基于原型的模型通过将预测与训练图像原型相关联，改善了可解释性，但是它们的准确性不如全球模型，其原型往往具有差的多样性。我们通过BraixProtopnet ++的建议解决了这两个问题，该问题通过将基于原型的模型结合起来，为全局模型增添了解释性。 BraixProtopnet ++在训练基于原型的模型以提高合奏的分类精度时，会提炼全局模型的知识。此外，我们提出了一种方法来通过保证所有原型都与不同的训练图像相关联，以增加原型多样性。对弱标记的私人和公共数据集进行的实验表明，BraixProtopnet ++的分类精度比基于SOTA Global和基于原型的模型具有更高的分类精度。使用病变定位来评估模型可解释性，我们显示BraixProtopnet ++比其他基于原型的模型和全球模型的事后解释更有效。最后，我们表明，BraixProtopnet ++学到的原型的多样性优于基于SOTA原型的方法。

核细胞分割是数字病理分析中的基本任务，可以通过基于深度学习的方法自动化。然而，这种自动化方法的发展需要大量数据具有精确的注释掩模，这很难获得。具有弱标记数据的培训是减少注释工作量的流行解决方案。在本文中，我们提出了一种新的基于元学习的核细胞分段方法，其跟随标签校正范例，以利用嘈杂的面具利用数据。具体而言，我们设计一个完全传统的元模型，可以使用少量清洁的元数据来纠正嘈杂的掩模。然后，纠正的掩模可用于监督分割模型的训练。同时，采用双级优化方法来交替地以端到端的方式更新主要分段模型和元模型的参数。两个核细分数据集的广泛实验结果表明，我们的方法实现了最先进的结果。它甚至可以在一些嘈杂的设置中实现了对监督数据的模型培训相当的性能。

虽然图像级弱监督的语义分割（WSSS）与类激活地图（CAM）作为基石取得了很大的进展，但分类和分割之间的大型监督差距仍然妨碍模型以产生用于分割的更完整和精确的伪掩模。在这项研究中，我们提出了弱监管的像素到原型对比度，其可以提供像素级监控信号来缩小间隙。由两个直观的前沿引导，我们的方法在不同视图和图像的单个视图中执行，旨在施加跨视图特征语义一致性正则化，并促进特征空间的帧内（互联）紧凑性（色散）。我们的方法可以无缝地纳入现有的WSSS模型，而没有对基础网络的任何更改，并且不会产生任何额外的推断负担。广泛的实验表明，我们的方法始终如一地通过大幅度改善两个强的基线，证明了有效性。具体而言，建于接缝的顶部，我们将初始种子Miou 2012从55.4％提高到Pascal VOC上。此外，通过我们的方法武装，我们从70.8％增加到73.6％的EPS分割Miou，实现了新的最先进。