医学图像分析中的自动分割是一个具有挑战性的任务，需要大量手动标记的数据。然而，手动注释的医疗数据通常是费力的，并且大多数现有的基于学习的方法都无法准确地描绘对象边界而没有有效的几何约束。对比学习，自我监督学习的子区域最近被指出在多个应用领域的有希望的方向。在这项工作中，我们提出了一种具有几何约束的新型对比体Voxel-Wise表示蒸馏（CVRD）方法，用于学习具有有限注释的体积医学图像分割的全球局部视觉表示。我们的框架可以通过捕获3D空间上下文和丰富的解剖信息，有效地学习全球和局部特征。具体地，我们引入了一种体素到体积对比算法来学习来自3D图像的全局信息，并建议对局部体素到体素蒸馏进行，以明确地利用嵌入空间中的本地线索。此外，我们将基于弹性交互的主动轮廓模型集成为几何正则化术语，以实现以端到端的学习方式实现快速且可靠的对象划分。结果对心房分割挑战，数据集展示了我们所提出的方案的优势，尤其是在具有非常有限数量的注释数据的设置中。代码将在https://github.com/charlesyou999648/cvrd上获得。

医学图像分割是许多临床方法的基本和关键步骤。半监督学习已被广​​泛应用于医学图像分割任务，因为它减轻了收购专家审查的注释的沉重负担，并利用了更容易获得的未标记数据的优势。虽然已被证明是通过实施不同分布下的预测的不变性的一致性学习，但现有方法无法充分利用来自未标记数据的区域级形状约束和边界级距离信息。在本文中，我们提出了一种新颖的不确定性引导的相互一致学习框架，通过将任务中的一致性学习与自组合和交叉任务一致性学习从任务级正则化的最新预测集成了任务内的一致性学习，从而有效地利用了未标记的数据利用几何形状信息。该框架是由模型的估计分割不确定性指导，以便为一致性学习选择相对某些预测，以便有效地利用来自未标记数据的更可靠的信息。我们在两个公开的基准数据集中广泛地验证了我们提出的方法：左心房分割（LA）数据集和大脑肿瘤分割（BRATS）数据集。实验结果表明，我们的方法通过利用未标记的数据和优于现有的半监督分段方法来实现性能增益。

Training deep convolutional neural networks usually requires a large amount of labeled data. However, it is expensive and timeconsuming to annotate data for medical image segmentation tasks. In this paper, we present a novel uncertainty-aware semi-supervised framework for left atrium segmentation from 3D MR images. Our framework can effectively leverage the unlabeled data by encouraging consistent predictions of the same input under different perturbations. Concretely, the framework consists of a student model and a teacher model, and the student model learns from the teacher model by minimizing a segmentation loss and a consistency loss with respect to the targets of the teacher model. We design a novel uncertainty-aware scheme to enable the student model to gradually learn from the meaningful and reliable targets by exploiting the uncertainty information. Experiments show that our method achieves high performance gains by incorporating the unlabeled data. Our method outperforms the state-of-the-art semi-supervised methods, demonstrating the potential of our framework for the challenging semi-supervised problems 3 .

有了大规模标记的数据集，深度学习在医学图像分割方面已取得了重大成功。但是，由于广泛的专业知识要求和昂贵的标签工作，在临床实践中获取大量注释是具有挑战性的。最近，对比学习表明，在未标记的数据上进行视觉表示学习的能力很强，在许多领域中实现了令人印象深刻的性能与监督的学习。在这项工作中，我们提出了一个新型的多尺度多视图全球对比度学习（MMGL）框架，以彻底探索不同尺度的全球和局部特征，并观察到可靠的对比度学习表现，从而通过有限的注释来改善细分性能。在MM-WHS数据集上进行的广泛实验证明了MMGL框架对半监视的心脏图像分割的有效性，从而超过了最先进的对比度学习方法，这是通过较大的余量。

本文为半监督医学图像分割提供了一个简单而有效的两阶段框架。我们的主要洞察力是探索用标记和未标记的（即伪标记）图像的特征表示学习，以增强分段性能。在第一阶段，我们介绍了一种炼层的不确定感知方法，即Aua，以改善产生高质量伪标签的分割性能。考虑到医学图像的固有歧义，Aua自适应地规范了具有低歧义的图像的一致性。为了提高代表学习，我们提出了一种舞台适应性的对比学习方法，包括边界意识的对比损失，以规范第一阶段中标记的图像，并在第二阶段中的原型感知对比损失优化标记和伪标记的图像阶段。边界意识的对比损失仅优化分段边界周围的像素，以降低计算成本。原型感知对比损失通过为每个类构建质心来充分利用标记的图像和伪标记的图像，以减少对比较的计算成本。我们的方法在两个公共医学图像分割基准上实现了最佳结果。值得注意的是，我们的方法在结肠肿瘤分割的骰子上以5.7％的骰子依赖于只有5％标记的图像而表现出5.7％。

在本文中，我们提出了一个新型的相互一致性网络（MC-NET+），以有效利用未标记的数据进行半监督的医学图像分割。 MC-NET+模型的动机是通过观察到的，即经过有限注释训练的深模型很容易输出不确定的，易于分类的预测，例如模棱两可的区域（例如，粘合边缘或薄分支）进行医学图像分割。利用这些具有挑战性的样品可以使半监督分割模型训练更有效。因此，我们提出的MC-NET+模型由两个新设计组成。首先，该模型包含一个共享的编码器和多个略有不同的解码器（即使用不同的上采样策略）。计算多个解码器输出的统计差异以表示模型的不确定性，这表明未标记的硬区域。其次，我们在一个解码器的概率输出和其他解码器的软伪标签之间应用了一种新颖的相互一致性约束。通过这种方式，我们最大程度地减少了训练过程中多个输出（即模型不确定性）的差异，并迫使模型在此类具有挑战性的区域中产生不变的结果，旨在使模型训练正规化。我们将MC-NET+模型的细分结果与三个公共医疗数据集中的五种最先进的半监督方法进行了比较。具有两个标准半监督设置的扩展实验证明了我们模型的优越性能，而不是其他方法，这为半监督医学图像分割设定了新的最新技术。我们的代码将在https://github.com/ycwu1997/mc-net上公开发布。

一致性培训已被证明是一个先进的半监督框架，通过实施在不同意见的不同视图上的预测的不变性，实现了医学图像分割任务的有希望的结果。然而，随着模型参数的迭代更新，模型将倾向于达到耦合状态，最终失去利用未标记数据的能力。为了解决这个问题，我们提出了一种基于参数解耦策略的新型半监督分段模型，以鼓励来自不同视图的一致预测。具体地，我们首先采用双分支网络来同时为每个图像产生预测。在培训过程中，我们通过二次余弦距离与两个预测分支参数分离，以构建潜伏空间中的不同视图。基于此，特征提取器被约束以鼓励在多样化特征下由分类器生成的概率图的一致性。在整体训练过程中，特征提取器和分类器的参数通过一致性正则化操作和解耦操作来交替更新，以逐步提高模型的泛化性能。我们的方法在心房细分挑战数据集上实现了最先进的半监督方法，展示了我们框架的有效性。代码可在https://github.com/bx0903/pdc上获得。

在许多图像引导的临床方法中，医学图像分割是一个基本和关键的步骤。基于深度学习的细分方法的最新成功通常取决于大量标记的数据，这特别困难且昂贵，尤其是在医学成像领域中，只有专家才能提供可靠和准确的注释。半监督学习已成为一种吸引人的策略，并广泛应用于医学图像分割任务，以训练注释有限的深层模型。在本文中，我们对最近提议的半监督学习方法进行了全面综述，并总结了技术新颖性和经验结果。此外，我们分析和讨论现有方法的局限性和几个未解决的问题。我们希望这篇评论可以激发研究界探索解决这一挑战的解决方案，并进一步促进医学图像细分领域的发展。

关于对比学习的最新研究仅通过在医学图像分割的背景下利用很少的标签来实现出色的性能。现有方法主要关注实例歧视和不变映射。但是，他们面临三个常见的陷阱：（1）尾巴：医疗图像数据通常遵循隐式的长尾分配。盲目利用训练中的所有像素会导致数据失衡问题，并导致性能恶化； （2）一致性：尚不清楚分割模型是否由于不同解剖学特征之间的类内变化而学会了有意义但一致的解剖学特征； （3）多样性：整个数据集中的切片内相关性已得到明显降低的关注。这促使我们寻求一种有原则的方法来战略利用数据集本身，以发现不同解剖学观点的类似但不同的样本。在本文中，我们介绍了一种新型的半监督医学图像分割框架，称其为您自己的解剖结构（MONA），并做出了三个贡献。首先，先前的工作认为，每个像素对模型培训都同样重要。我们从经验上观察到，仅此单单就不太可能定义有意义的解剖特征，这主要是由于缺乏监督信号。我们通过使用更强大的数据增强和最近的邻居展示了学习不变的两个简单解决方案。其次，我们构建了一组目标，鼓励模型能够以无监督的方式将医学图像分解为解剖特征的集合。最后，我们在具有不同标记设置的三个基准数据集上的广泛结果验证了我们提出的MONA的有效性，该数据在不同的标签设置下实现了新的最新设置。

监管基于深度学习的方法，产生医学图像分割的准确结果。但是，它们需要大量标记的数据集，并获得它们是一种艰苦的任务，需要临床专业知识。基于半/自我监督的学习方法通​​过利用未标记的数据以及有限的注释数据来解决此限制。最近的自我监督学习方法使用对比损失来从未标记的图像中学习良好的全球层面表示，并在像想象网那样的流行自然图像数据集上实现高性能。在诸如分段的像素级预测任务中，对于学习良好的本地级别表示以及全局表示来说至关重要，以实现更好的准确性。然而，现有的局部对比损失的方法的影响仍然是学习良好本地表现的限制，因为类似于随机增强和空间接近定义了类似和不同的局部区域;由于半/自我监督设置缺乏大规模专家注释，而不是基于当地地区的语义标签。在本文中，我们提出了局部对比损失，以便通过利用从未标记的图像的未标记图像的伪标签获得的语义标签信息来学习用于分割的良好像素级别特征。特别地，我们定义了建议的损失，以鼓励具有相同伪标签/标签的像素的类似表示，同时与数据集中的不同伪标签/标签的像素的表示。我们通过联合优化标记和未标记的集合和仅限于标记集的分割损失，通过联合优化拟议的对比损失来进行基于伪标签的自培训和培训网络。我们在三个公共心脏和前列腺数据集上进行了评估，并获得高分割性能。

We propose a novel teacher-student model for semi-supervised multi-organ segmentation. In teacher-student model, data augmentation is usually adopted on unlabeled data to regularize the consistent training between teacher and student. We start from a key perspective that fixed relative locations and variable sizes of different organs can provide distribution information where a multi-organ CT scan is drawn. Thus, we treat the prior anatomy as a strong tool to guide the data augmentation and reduce the mismatch between labeled and unlabeled images for semi-supervised learning. More specifically, we propose a data augmentation strategy based on partition-and-recovery N$^3$ cubes cross- and within- labeled and unlabeled images. Our strategy encourages unlabeled images to learn organ semantics in relative locations from the labeled images (cross-branch) and enhances the learning ability for small organs (within-branch). For within-branch, we further propose to refine the quality of pseudo labels by blending the learned representations from small cubes to incorporate local attributes. Our method is termed as MagicNet, since it treats the CT volume as a magic-cube and $N^3$-cube partition-and-recovery process matches with the rule of playing a magic-cube. Extensive experiments on two public CT multi-organ datasets demonstrate the effectiveness of MagicNet, and noticeably outperforms state-of-the-art semi-supervised medical image segmentation approaches, with +7% DSC improvement on MACT dataset with 10% labeled images.

自动描绘器官风险（OAR）和总肿瘤体积（GTV）对于放射治疗计划具有重要意义。然而，在有限的像素（体素）向内注释下，学习强大的描绘的强大表示是一个具有挑战性的任务。在像素级别的对比学习可以通过从未标记数据学习密集的表示来缓解对注释的依赖性。最近在该方向上的研究设计了特征图上的各种对比损失，以产生地图中每个像素的鉴别特征。然而，同一地图中的像素不可避免地共享语义，其实际上可能影响同一地图中的像素的辨别，并导致与其他地图中的像素相比。为了解决这些问题，我们提出了分离的区域级对比学习计划，即Separeg，其核心是将每个图像分离成区域并分别对每个区域进行编码。具体地，Separeg包括两个组件：结构感知图像分离（SIS）模块和器官和室内间蒸馏（IID）模块。 SIS被提出在图像集上运行以重建在结构信息的指导下设置的区域。将通过典型的对比损失交叉区域从此学习机关间代表。另一方面，提出了IID来解决设定的区域中的数量不平衡，因为通过利用器官表示，微小器官可以产生较少的区域。我们进行了广泛的实验，以评估公共数据集和两个私有数据集的提出模型。实验结果表明了拟议模型的有效性，始终如一地实现比最先进的方法更好的性能。代码可在https://github.com/jcwang123/separate_cl上获得。

医学图像分割或计算voxelwise语义面具是一个基本又具有挑战性的任务，用于计算体素级语义面具。为了提高编码器 - 解码器神经网络在大型临床队列中执行这项任务的能力，对比学习提供了稳定模型初始化和增强编码器而无需标签的机会。然而，多个目标对象（具有不同的语义含义）可能存在于单个图像中，这使得适应传统的对比学习方法从普遍的“图像级分类”到“像素级分段”中的问题。在本文中，我们提出了一种简单的语义感知对比学习方法，利用注意掩模来推进多对象语义分割。简而言之，我们将不同的语义对象嵌入不同的群集而不是传统的图像级嵌入。我们在与内部数据和Miccai挑战2015 BTCV数据集中的多器官医学图像分段任务中评估我们提出的方法。与目前的最先进的培训策略相比，我们拟议的管道分别产生了两种医学图像分割队列的骰子评分的大幅提高5.53％和6.09％（P值<0.01）。通过Pascal VOC 2012 DataSet进一步评估了所提出的方法的性能，并在MiOU（P值<0.01）上实现了2.75％的大幅提高。

Automated detecting lung infections from computed tomography (CT) data plays an important role for combating COVID-19. However, there are still some challenges for developing AI system. 1) Most current COVID-19 infection segmentation methods mainly relied on 2D CT images, which lack 3D sequential constraint. 2) Existing 3D CT segmentation methods focus on single-scale representations, which do not achieve the multiple level receptive field sizes on 3D volume. 3) The emergent breaking out of COVID-19 makes it hard to annotate sufficient CT volumes for training deep model. To address these issues, we first build a multiple dimensional-attention convolutional neural network (MDA-CNN) to aggregate multi-scale information along different dimension of input feature maps and impose supervision on multiple predictions from different CNN layers. Second, we assign this MDA-CNN as a basic network into a novel dual multi-scale mean teacher network (DM${^2}$T-Net) for semi-supervised COVID-19 lung infection segmentation on CT volumes by leveraging unlabeled data and exploring the multi-scale information. Our DM${^2}$T-Net encourages multiple predictions at different CNN layers from the student and teacher networks to be consistent for computing a multi-scale consistency loss on unlabeled data, which is then added to the supervised loss on the labeled data from multiple predictions of MDA-CNN. Third, we collect two COVID-19 segmentation datasets to evaluate our method. The experimental results show that our network consistently outperforms the compared state-of-the-art methods.

最近，已经提出了几种半监督医学图像分割的贝叶斯深度学习方法。尽管他们在医疗基准方面取得了令人鼓舞的结果，但仍然存在一些问题。首先，他们的整体体系结构属于判别模型，因此，在培训的早期阶段，它们仅使用标记的数据进行培训，这可能会使它们过于贴合标记的数据。其次，实际上，它们仅部分基于贝叶斯深度学习，因为它们的整体体系结构不是在贝叶斯框架下设计的。但是，统一贝叶斯观点下的整体体系结构可以使体系结构具有严格的理论依据，因此体系结构的每个部分都可以具有明确的概率解释。因此，为了解决问题，我们提出了一种新的生成贝叶斯深度学习（GBDL）体系结构。 GBDL属于生成模型，其目标是估计输入医疗量及其相应标签的联合分布。估计联合分布隐式涉及数据的分布，因此在培训的早期阶段都可以使用标记和未标记的数据，从而减轻潜在的过度拟合问题。此外，GBDL是在贝叶斯框架下完全设计的，因此我们提供了其完整的贝叶斯配方，这为我们的建筑奠定了理论上的概率基础。广泛的实验表明，我们的GBDL在三个公共医疗数据集上的四个常用评估指标方面优于先前的最新方法。

While deep learning methods hitherto have achieved considerable success in medical image segmentation, they are still hampered by two limitations: (i) reliance on large-scale well-labeled datasets, which are difficult to curate due to the expert-driven and time-consuming nature of pixel-level annotations in clinical practices, and (ii) failure to generalize from one domain to another, especially when the target domain is a different modality with severe domain shifts. Recent unsupervised domain adaptation~(UDA) techniques leverage abundant labeled source data together with unlabeled target data to reduce the domain gap, but these methods degrade significantly with limited source annotations. In this study, we address this underexplored UDA problem, investigating a challenging but valuable realistic scenario, where the source domain not only exhibits domain shift~w.r.t. the target domain but also suffers from label scarcity. In this regard, we propose a novel and generic framework called ``Label-Efficient Unsupervised Domain Adaptation"~(LE-UDA). In LE-UDA, we construct self-ensembling consistency for knowledge transfer between both domains, as well as a self-ensembling adversarial learning module to achieve better feature alignment for UDA. To assess the effectiveness of our method, we conduct extensive experiments on two different tasks for cross-modality segmentation between MRI and CT images. Experimental results demonstrate that the proposed LE-UDA can efficiently leverage limited source labels to improve cross-domain segmentation performance, outperforming state-of-the-art UDA approaches in the literature. Code is available at: https://github.com/jacobzhaoziyuan/LE-UDA.

基于深度学习的半监督学习（SSL）方法在医学图像细分中实现了强大的性能，可以通过使用大量未标记的数据来减轻医生昂贵的注释。与大多数现有的半监督学习方法不同，基于对抗性训练的方法通过学习分割图的数据分布来区分样本与不同来源，导致细分器生成更准确的预测。我们认为，此类方法的当前绩效限制是特征提取和学习偏好的问题。在本文中，我们提出了一种新的半监督的对抗方法，称为贴片置信疗法训练（PCA），用于医疗图像分割。我们提出的歧视器不是单个标量分类结果或像素级置信度图，而是创建贴片置信图，并根据斑块的规模进行分类。未标记数据的预测学习了每个贴片中的像素结构和上下文信息，以获得足够的梯度反馈，这有助于歧视器以融合到最佳状态，并改善半监督的分段性能。此外，在歧视者的输入中，我们补充了图像上的语义信息约束，使得未标记的数据更简单，以适合预期的数据分布。关于自动心脏诊断挑战（ACDC）2017数据集和脑肿瘤分割（BRATS）2019挑战数据集的广泛实验表明，我们的方法优于最先进的半监督方法，这证明了其对医疗图像分割的有效性。

A key requirement for the success of supervised deep learning is a large labeled dataset -a condition that is difficult to meet in medical image analysis. Selfsupervised learning (SSL) can help in this regard by providing a strategy to pre-train a neural network with unlabeled data, followed by fine-tuning for a downstream task with limited annotations. Contrastive learning, a particular variant of SSL, is a powerful technique for learning image-level representations. In this work, we propose strategies for extending the contrastive learning framework for segmentation of volumetric medical images in the semi-supervised setting with limited annotations, by leveraging domain-specific and problem-specific cues. Specifically, we propose (1) novel contrasting strategies that leverage structural similarity across volumetric medical images (domain-specific cue) and (2) a local version of the contrastive loss to learn distinctive representations of local regions that are useful for per-pixel segmentation (problem-specific cue). We carry out an extensive evaluation on three Magnetic Resonance Imaging (MRI) datasets. In the limited annotation setting, the proposed method yields substantial improvements compared to other self-supervision and semi-supervised learning techniques. When combined with a simple data augmentation technique, the proposed method reaches within 8% of benchmark performance using only two labeled MRI volumes for training, corresponding to only 4% (for ACDC) of the training data used to train the benchmark. The code is made public at https://github.com/krishnabits001/domain_specific_cl. 34th Conference on Neural Information Processing Systems (NeurIPS 2020),

长期以来，半监督学习（SSL）已被证明是一种有限的标签模型的有效技术。在现有的文献中，基于一致性的基于正则化的方法，这些方法迫使扰动样本具有类似的预测，而原始的样本则引起了极大的关注。但是，我们观察到，当标签变得极为有限时，例如，每个类别的2或3标签时，此类方法的性能会大大降低。我们的实证研究发现，主要问题在于语义信息在数据增强过程中的漂移。当提供足够的监督时，可以缓解问题。但是，如果几乎没有指导，错误的正则化将误导网络并破坏算法的性能。为了解决该问题，我们（1）提出了一种基于插值的方法来构建更可靠的正样品对； （2）设计一种新颖的对比损失，以指导学习网络的嵌入以在样品之间进行线性更改，从而通过扩大保证金决策边界来提高网络的歧视能力。由于未引入破坏性正则化，因此我们提出的算法的性能在很大程度上得到了改善。具体而言，所提出的算法的表现优于第二好算法（COMATT），而当CIFAR-10数据集中的每个类只有两个标签可用时，可以实现88.73％的分类精度，占5.3％。此外，我们通过通过我们提出的策略大大改善现有最新算法的性能，进一步证明了所提出的方法的普遍性。

视觉变形金刚（VIT）S表现出可观的全球和本地陈述的自我监督学习表现，可以转移到下游应用程序。灵感来自这些结果，我们介绍了一种新的自我监督学习框架，具有用于医学图像分析的定制代理任务。具体而言，我们提出：（i）以新的3D变压器为基础的型号，被称为往返变压器（Swin Unet），具有分层编码器，用于自我监督的预训练; （ii）用于学习人类解剖学潜在模式的定制代理任务。我们展示了来自各种身体器官的5,050个公共可用的计算机断层扫描（CT）图像的提出模型的成功预培训。通过微调超出颅穹窿（BTCV）分割挑战的预先调整训练模型和来自医疗细分牌组（MSD）数据集的分割任务，通过微调训练有素的模型来验证我们的方法的有效性。我们的模型目前是MSD和BTCV数据集的公共测试排行榜上的最先进的（即第1号）。代码：https://monai.io/research/swin-unetr.