自我监督的学习（SSL）方法正在实现越来越多的深度学习模型，可以在难以获得标签的域中的图像数据集上进行培训。但是，这些方法难以扩展到医学成像数据集的高分辨率，在这些数据集中，它们对于在标签 - 筛选医学图像数据集上良好的概括至关重要。在这项工作中，我们提出了组织病理学数据集体（HDGAN）框架，该框架是图像生成和分割的数据集团半监督框架的扩展，可很好地扩展到大分辨率的组织病理学图像。我们从原始框架中进行了几个改编，包括更新生成骨干，从发电机中选择性提取潜在功能以及切换到内存映射数组。这些变化减少了框架的记忆消耗，改善了其对医学成像域的适用性。我们在血栓形成微型病变高分辨率瓷砖数据集上评估HDGAN，这表明高分辨率的图像通量生成任务的性能很强。我们希望这项工作能够在医学成像域中更多地探索对医学成像域中的自我监管框架的更多探索，从而使更多深度学习模型在医学数据集中进行更多应用。

监管基于深度学习的方法，产生医学图像分割的准确结果。但是，它们需要大量标记的数据集，并获得它们是一种艰苦的任务，需要临床专业知识。基于半/自我监督的学习方法通​​过利用未标记的数据以及有限的注释数据来解决此限制。最近的自我监督学习方法使用对比损失来从未标记的图像中学习良好的全球层面表示，并在像想象网那样的流行自然图像数据集上实现高性能。在诸如分段的像素级预测任务中，对于学习良好的本地级别表示以及全局表示来说至关重要，以实现更好的准确性。然而，现有的局部对比损失的方法的影响仍然是学习良好本地表现的限制，因为类似于随机增强和空间接近定义了类似和不同的局部区域;由于半/自我监督设置缺乏大规模专家注释，而不是基于当地地区的语义标签。在本文中，我们提出了局部对比损失，以便通过利用从未标记的图像的未标记图像的伪标签获得的语义标签信息来学习用于分割的良好像素级别特征。特别地，我们定义了建议的损失，以鼓励具有相同伪标签/标签的像素的类似表示，同时与数据集中的不同伪标签/标签的像素的表示。我们通过联合优化标记和未标记的集合和仅限于标记集的分割损失，通过联合优化拟议的对比损失来进行基于伪标签的自培训和培训网络。我们在三个公共心脏和前列腺数据集上进行了评估，并获得高分割性能。

在过去的几年中，监督语义医学图像细分的深度学习方法越来越流行。在资源约束的设置中，获得大量带注释的图像非常困难，因为它主要需要专家，昂贵且耗时。监督分割可以是一个有吸引力的解决方案，其中使用了很少的标记图像以及大量未标记的图像。尽管在过去的几年中，针对分类问题已经大大减少了监督和半监督方法之间的差距，但分割方法仍然存在较大的差距。在这项工作中，我们将最先进的半监督分类方法FIXMATCH修复到语义分割任务中，并引入FixMatchSeg。 FIXMATCHSEG在不同的不同解剖结构和不同方式的四个不同的公开数据集中进行了评估：心脏超声，胸部X射线，视网膜眼睛图像和皮肤图像。当标签很少时，我们表明FixMatchSeg与强有力的监督基线相同。

基于深度学习的半监督学习（SSL）方法在医学图像细分中实现了强大的性能，可以通过使用大量未标记的数据来减轻医生昂贵的注释。与大多数现有的半监督学习方法不同，基于对抗性训练的方法通过学习分割图的数据分布来区分样本与不同来源，导致细分器生成更准确的预测。我们认为，此类方法的当前绩效限制是特征提取和学习偏好的问题。在本文中，我们提出了一种新的半监督的对抗方法，称为贴片置信疗法训练（PCA），用于医疗图像分割。我们提出的歧视器不是单个标量分类结果或像素级置信度图，而是创建贴片置信图，并根据斑块的规模进行分类。未标记数据的预测学习了每个贴片中的像素结构和上下文信息，以获得足够的梯度反馈，这有助于歧视器以融合到最佳状态，并改善半监督的分段性能。此外，在歧视者的输入中，我们补充了图像上的语义信息约束，使得未标记的数据更简单，以适合预期的数据分布。关于自动心脏诊断挑战（ACDC）2017数据集和脑肿瘤分割（BRATS）2019挑战数据集的广泛实验表明，我们的方法优于最先进的半监督方法，这证明了其对医疗图像分割的有效性。

在许多图像引导的临床方法中，医学图像分割是一个基本和关键的步骤。基于深度学习的细分方法的最新成功通常取决于大量标记的数据，这特别困难且昂贵，尤其是在医学成像领域中，只有专家才能提供可靠和准确的注释。半监督学习已成为一种吸引人的策略，并广泛应用于医学图像分割任务，以训练注释有限的深层模型。在本文中，我们对最近提议的半监督学习方法进行了全面综述，并总结了技术新颖性和经验结果。此外，我们分析和讨论现有方法的局限性和几个未解决的问题。我们希望这篇评论可以激发研究界探索解决这一挑战的解决方案，并进一步促进医学图像细分领域的发展。

产生密集的注释数据是医学成像应用的困难而繁琐的任务。为了解决这个问题，我们提出了一种新颖的方法来为半监督语义细分产生监督。我们认为标记和未标记的图像之间的视觉上类似的区域可能包含相同的语义，因此应分享其标签。在此思想之后，我们使用少量标记的图像作为参考材料，并将未标记图像中的像素匹配到参考集中的最佳配合像素的语义。这样，我们避免诸如确认偏差的陷阱，纯粹是基于预测的伪标记。由于我们的方法不需要任何架构更改或伴随网络，因此可以轻松地将其插入现有框架中。我们在X射线解剖分段上实现了与标准完全监督模型相同的性能，尽管标记图像较少95％。除了对我们提出的方法的不同方面的深入分析，我们还通过比较我们对现有方法的方法对具有竞争性能的视网膜流体细分的现有方法来展示我们的参考引导学习范例的有效性，因为我们改进最近的工作15％的意思是iou。

Recently deep neural networks, which require a large amount of annotated samples, have been widely applied in nuclei instance segmentation of H\&E stained pathology images. However, it is inefficient and unnecessary to label all pixels for a dataset of nuclei images which usually contain similar and redundant patterns. Although unsupervised and semi-supervised learning methods have been studied for nuclei segmentation, very few works have delved into the selective labeling of samples to reduce the workload of annotation. Thus, in this paper, we propose a novel full nuclei segmentation framework that chooses only a few image patches to be annotated, augments the training set from the selected samples, and achieves nuclei segmentation in a semi-supervised manner. In the proposed framework, we first develop a novel consistency-based patch selection method to determine which image patches are the most beneficial to the training. Then we introduce a conditional single-image GAN with a component-wise discriminator, to synthesize more training samples. Lastly, our proposed framework trains an existing segmentation model with the above augmented samples. The experimental results show that our proposed method could obtain the same-level performance as a fully-supervised baseline by annotating less than 5% pixels on some benchmarks.

有了大规模标记的数据集，深度学习在医学图像分割方面已取得了重大成功。但是，由于广泛的专业知识要求和昂贵的标签工作，在临床实践中获取大量注释是具有挑战性的。最近，对比学习表明，在未标记的数据上进行视觉表示学习的能力很强，在许多领域中实现了令人印象深刻的性能与监督的学习。在这项工作中，我们提出了一个新型的多尺度多视图全球对比度学习（MMGL）框架，以彻底探索不同尺度的全球和局部特征，并观察到可靠的对比度学习表现，从而通过有限的注释来改善细分性能。在MM-WHS数据集上进行的广泛实验证明了MMGL框架对半监视的心脏图像分割的有效性，从而超过了最先进的对比度学习方法，这是通过较大的余量。

The success of state-of-the-art deep neural networks heavily relies on the presence of large-scale labelled datasets, which are extremely expensive and time-consuming to annotate. This paper focuses on tackling semi-supervised part segmentation tasks by generating high-quality images with a pre-trained GAN and labelling the generated images with an automatic annotator. In particular, we formulate the annotator learning as a learning-to-learn problem. Given a pre-trained GAN, the annotator learns to label object parts in a set of randomly generated images such that a part segmentation model trained on these synthetic images with their predicted labels obtains low segmentation error on a small validation set of manually labelled images. We further reduce this nested-loop optimization problem to a simple gradient matching problem and efficiently solve it with an iterative algorithm. We show that our method can learn annotators from a broad range of labelled images including real images, generated images, and even analytically rendered images. Our method is evaluated with semi-supervised part segmentation tasks and significantly outperforms other semi-supervised competitors when the amount of labelled examples is extremely limited.

带有像素天标签的注释图像是耗时和昂贵的过程。最近，DataSetGan展示了有希望的替代方案 - 通过利用一小组手动标记的GaN生成的图像来通过生成的对抗网络（GAN）来综合大型标记数据集。在这里，我们将DataSetGan缩放到ImageNet类别的规模。我们从ImageNet上训练的类条件生成模型中拍摄图像样本，并为所有1K类手动注释每个类的5张图像。通过在Biggan之上培训有效的特征分割架构，我们将Bigan转换为标记的DataSet生成器。我们进一步表明，VQGan可以类似地用作数据集生成器，利用已经注释的数据。我们通过在各种设置中标记一组8K实图像并在各种设置中评估分段性能来创建一个新的想象因基准。通过广泛的消融研究，我们展示了利用大型生成的数据集来培训在像素 - 明智的任务上培训不同的监督和自我监督的骨干模型的大增益。此外，我们证明，使用我们的合成数据集进行预培训，以改善在几个下游数据集上的标准Imagenet预培训，例如Pascal-VOC，MS-Coco，Citycapes和Chink X射线以及任务（检测，细分）。我们的基准将公开并维护一个具有挑战性的任务的排行榜。项目页面：https://nv-tlabs.github.io/big-dataseTgan/

现有突出物体检测模型的成功依赖于大像素标记的训练数据集。如何，收集这样的数据集不仅耗时，而且非常昂贵。为了减少标签负担，我们研究半监督的突出物体检测，并通过识别具有较小自信预测的像素来将其作为未标记的数据集像素级置信度估计问题。具体地，我们在有效的潜在空间探索之前引入了一种新的潜在变量模型，以获得有效的潜伏空间探索，导致更可靠的置信度图。通过拟议的策略，未标记的图像可以有效地参与模型培训。实验结果表明，与原始培训数据集仅有1/16的注释，与最先进的完全监督模型相比，所提出的解决方案实现了竞争性能。

Current state-of-the-art segmentation techniques for ocular images are critically dependent on large-scale annotated datasets, which are labor-intensive to gather and often raise privacy concerns. In this paper, we present a novel framework, called BiOcularGAN, capable of generating synthetic large-scale datasets of photorealistic (visible light and near-infrared) ocular images, together with corresponding segmentation labels to address these issues. At its core, the framework relies on a novel Dual-Branch StyleGAN2 (DB-StyleGAN2) model that facilitates bimodal image generation, and a Semantic Mask Generator (SMG) component that produces semantic annotations by exploiting latent features of the DB-StyleGAN2 model. We evaluate BiOcularGAN through extensive experiments across five diverse ocular datasets and analyze the effects of bimodal data generation on image quality and the produced annotations. Our experimental results show that BiOcularGAN is able to produce high-quality matching bimodal images and annotations (with minimal manual intervention) that can be used to train highly competitive (deep) segmentation models (in a privacy aware-manner) that perform well across multiple real-world datasets. The source code for the BiOcularGAN framework is publicly available at https://github.com/dariant/BiOcularGAN.

医学图像分割是许多临床方法的基本和关键步骤。半监督学习已被广​​泛应用于医学图像分割任务，因为它减轻了收购专家审查的注释的沉重负担，并利用了更容易获得的未标记数据的优势。虽然已被证明是通过实施不同分布下的预测的不变性的一致性学习，但现有方法无法充分利用来自未标记数据的区域级形状约束和边界级距离信息。在本文中，我们提出了一种新颖的不确定性引导的相互一致学习框架，通过将任务中的一致性学习与自组合和交叉任务一致性学习从任务级正则化的最新预测集成了任务内的一致性学习，从而有效地利用了未标记的数据利用几何形状信息。该框架是由模型的估计分割不确定性指导，以便为一致性学习选择相对某些预测，以便有效地利用来自未标记数据的更可靠的信息。我们在两个公开的基准数据集中广泛地验证了我们提出的方法：左心房分割（LA）数据集和大脑肿瘤分割（BRATS）数据集。实验结果表明，我们的方法通过利用未标记的数据和优于现有的半监督分段方法来实现性能增益。

近年来，弱监督学习已成为一种流行的技术。在本文中，我们提出了一种新的医学图像分类算法，称为弱监督的生成对抗网络（Wsgan），其仅使用少量的真实图像而没有标签来生成假图像或掩模图像以放大训练的样本大小放。首先，我们将与MixMatch相结合以生成假图像和未标记图像的伪标签进行分类。其次，将对比学习和自我关注机制引入提出的问题，以提高分类准确性。第三，模式崩溃的问题通过循环一致性损失很好地解决。最后，我们设计全局和本地分类器，可以通过分类所需的关键信息来补充彼此。在四个医学图像数据集上的实验结果表明，Wsgan可以通过使用少数标记和未标记的数据来获得相对高的学习性能。例如，Wsgan的分类准确性高于具有100个标记的Mixmatch的11％，在10个标记的图像和OCT数据集上有1000个未标记的图像。此外，我们还开展了消融实验来验证我们算法的有效性。

本文为半监督医学图像分割提供了一个简单而有效的两阶段框架。我们的主要洞察力是探索用标记和未标记的（即伪标记）图像的特征表示学习，以增强分段性能。在第一阶段，我们介绍了一种炼层的不确定感知方法，即Aua，以改善产生高质量伪标签的分割性能。考虑到医学图像的固有歧义，Aua自适应地规范了具有低歧义的图像的一致性。为了提高代表学习，我们提出了一种舞台适应性的对比学习方法，包括边界意识的对比损失，以规范第一阶段中标记的图像，并在第二阶段中的原型感知对比损失优化标记和伪标记的图像阶段。边界意识的对比损失仅优化分段边界周围的像素，以降低计算成本。原型感知对比损失通过为每个类构建质心来充分利用标记的图像和伪标记的图像，以减少对比较的计算成本。我们的方法在两个公共医学图像分割基准上实现了最佳结果。值得注意的是，我们的方法在结肠肿瘤分割的骰子上以5.7％的骰子依赖于只有5％标记的图像而表现出5.7％。

深度学习已成为火星探索的强大工具。火星地形细分是一项重要的火星愿景任务，它是漫游者自动计划和安全驾驶的基础。但是，现有的基于深度学习的地形细分方法遇到了两个问题：一个是缺乏足够的详细和高信心注释，另一个是模型过度依赖于注释的培训数据。在本文中，我们从联合数据和方法设计的角度解决了这两个问题。我们首先提出了一个新的火星地形细分数据集，该数据集包含6K高分辨率图像，并根据置信度稀疏注释，以确保标签的高质量。然后从这些稀疏的数据中学习，我们为火星地形细分的基于表示的学习框架，包括一个自我监督的学习阶段（用于预训练）和半监督的学习阶段（用于微调）。具体而言，对于自我监督的学习，我们设计了一个基于掩盖图像建模（MIM）概念的多任务机制，以强调图像的纹理信息。对于半监督的学习，由于我们的数据集很少注释，因此我们鼓励该模型通过在线生成和利用伪标签来挖掘每个图像中未标记的区域的信息。我们将数据集和方法命名为MARS（S $^{5} $ MARS）的自我监督和半监督分割。实验结果表明，我们的方法可以超越最先进的方法，并通过很大的边距提高地形分割性能。

半监督语义分割的流行方法主要采用了使用卷积神经网络（CNN）（CNN）的统一网络模型，并在应用于输入或模型的小型扰动上实施模型预测的一致性。但是，这种学习范式受到a）基于CNN模型的学习能力有限； b）学习未标记数据的判别特征的能力有限； c）从整个图像中对全球和本地信息的学习有限。在本文中，我们提出了一种新型的半监督学习方法，称为Transformer-CNN队列（TCC），该方法由两个基于视觉变压器（VIT）的学生组成，另一种是基于CNN的学生。我们的方法巧妙地通过伪标记来纳入预测和异质特征空间上的多级一致性正则化，用于未标记的数据。首先，由于VIT学生的输入是图像贴片，因此特征地图提取了编码至关重要的类统计。为此，我们建议首先利用每个学生作为伪标签并生成类吸引功能（CF）映射的班级感知功能一致性蒸馏（CFCD）。然后，它通过学生之间的CF地图传输知识。其次，随着VIT学生对所有层具有更统一的表示，我们提出一致性感知的交叉蒸馏以在类像素方面的预测之间转移知识。我们在CityScapes和Pascal VOC 2012数据集上验证了TCC框架，该数据集大大优于现有的半监督方法。

半监督学习在医疗领域取得了重大进展，因为它减轻了收集丰富的像素的沉重负担，用于针对语义分割任务。现有的半监督方法增强了利用从有限标记数据获得的现有知识从未标记数据提取功能的能力。然而，由于标记数据的稀缺性，模型提取的特征在监督学习中受到限制，并且对未标记数据的预测质量也无法保证。两者都将妨碍一致培训。为此，我们提出了一种新颖的不确定性感知计划，以使模型自动学习地区。具体而言，我们采用Monte Carlo采样作为获得不确定性地图的估计方法，该方法可以作为损失损失的重量，以强制根据监督学习和无监督学习的特征将模型专注于有价值的区域。同时，在后退过程中，我们通过增强不同任务之间的梯度流动，联合无监督和监督损失来加速网络的融合。定量地，我们对三个挑战的医疗数据集进行了广泛的实验。实验结果表明，最先进的对应物的理想改善。

这项工作提出了一个新颖的框架CISFA（对比图像合成和自我监督的特征适应），该框架建立在图像域翻译和无监督的特征适应性上，以进行跨模式生物医学图像分割。与现有作品不同，我们使用单方面的生成模型，并在输入图像的采样贴片和相应的合成图像之间添加加权贴片对比度损失，该图像用作形状约束。此外，我们注意到生成的图像和输入图像共享相似的结构信息，但具有不同的方式。因此，我们在生成的图像和输入图像上强制实施对比损失，以训练分割模型的编码器，以最大程度地减少学到的嵌入空间中成对图像之间的差异。与依靠对抗性学习进行特征适应的现有作品相比，这种方法使编码器能够以更明确的方式学习独立于域的功能。我们对包含腹腔和全心的CT和MRI图像的分割任务进行了广泛评估。实验结果表明，所提出的框架不仅输出了较小的器官形状变形的合成图像，而且还超过了最先进的域适应方法的较大边缘。

Recently, due to the increasing requirements of medical imaging applications and the professional requirements of annotating medical images, few-shot learning has gained increasing attention in the medical image semantic segmentation field. To perform segmentation with limited number of labeled medical images, most existing studies use Proto-typical Networks (PN) and have obtained compelling success. However, these approaches overlook the query image features extracted from the proposed representation network, failing to preserving the spatial connection between query and support images. In this paper, we propose a novel self-supervised few-shot medical image segmentation network and introduce a novel Cycle-Resemblance Attention (CRA) module to fully leverage the pixel-wise relation between query and support medical images. Notably, we first line up multiple attention blocks to refine more abundant relation information. Then, we present CRAPNet by integrating the CRA module with a classic prototype network, where pixel-wise relations between query and support features are well recaptured for segmentation. Extensive experiments on two different medical image datasets, e.g., abdomen MRI and abdomen CT, demonstrate the superiority of our model over existing state-of-the-art methods.