In medical image segmentation, it is often necessary to collect opinions from multiple experts to make the final decision. This clinical routine helps to mitigate individual bias. But when data is multiply annotated, standard deep learning models are often not applicable. In this paper, we propose a novel neural network framework, called Multi-Rater Prism (MrPrism) to learn the medical image segmentation from multiple labels. Inspired by the iterative half-quadratic optimization, the proposed MrPrism will combine the multi-rater confidences assignment task and calibrated segmentation task in a recurrent manner. In this recurrent process, MrPrism can learn inter-observer variability taking into account the image semantic properties, and finally converges to a self-calibrated segmentation result reflecting the inter-observer agreement. Specifically, we propose Converging Prism (ConP) and Diverging Prism (DivP) to process the two tasks iteratively. ConP learns calibrated segmentation based on the multi-rater confidence maps estimated by DivP. DivP generates multi-rater confidence maps based on the segmentation masks estimated by ConP. The experimental results show that by recurrently running ConP and DivP, the two tasks can achieve mutual improvement. The final converged segmentation result of MrPrism outperforms state-of-the-art (SOTA) strategies on a wide range of medical image segmentation tasks.

眼底图像的视盘（OD）和视杯（OC）的分割是青光眼诊断的重要基本任务。在临床实践中，通常有必要从多位专家那里收集意见，以获得最终的OD/OC注释。这种临床常规有助于减轻单个偏见。但是，当数据乘以注释时，标准深度学习模型将不适用。在本文中，我们提出了一个新型的神经网络框架，以从多评价者注释中学习OD/OC分割。分割结果通过迭代优化多评价专家的估计和校准OD/OC分割来自校准。这样，提出的方法可以实现这两个任务的相互改进，并最终获得精制的分割结果。具体而言，我们提出分化模型（DIVM）和收敛模型（CONM）分别处理这两个任务。 CONM基于DIVM提供的多评价专家图的原始图像。 DIVM从CONM提供的分割掩码中生成多评价者专家图。实验结果表明，通过经常运行CONM和DIVM，可以对结果进行自校准，从而超过一系列最新的（SOTA）多评价者分割方法。

在医学图像上，许多组织/病变可能模棱两可。这就是为什么一群临床专家通常会注释医疗细分以减轻个人偏见的原因。但是，这种临床常规也为机器学习算法的应用带来了新的挑战。如果没有确定的基础真相，将很难训练和评估深度学习模型。当从不同的级别收集注释时，一个共同的选择是多数票。然而，这样的策略忽略了分级专家之间的差异。在本文中，我们考虑使用校准的观察者间的不确定性来预测分割的任务。我们注意到，在临床实践中，医学图像分割通常用于帮助疾病诊断。受到这一观察的启发，我们提出了诊断优先的原则，该原则是将疾病诊断作为校准观察者间分段不确定性的标准。遵循这个想法，提出了一个名为诊断的诊断框架（DIFF）以估算从原始图像中进行诊断，从原始图像进行诊断。特别是，DIFF将首先学会融合多论者分段标签，以最大程度地提高单个地面真相疾病诊断表现。我们将融合的地面真相称为诊断第一基地真实（DF-GT）。我们验证了DIFF对三个不同的医学分割任务的有效性：对眼底图像的OD/OC分割，超声图像上的甲状腺结节分割以及皮肤镜图像上的皮肤病变分割。实验结果表明，拟议的DIFF能够显着促进相应的疾病诊断，这表现优于先前的最先进的多评论者学习方法。

随着深度学习技术的发展，从底眼图像中提出了越来越多的方法对视盘和杯子（OD/OC）进行分割。在临床上，多位临床专家通常会注释OD/OC细分以减轻个人偏见。但是，很难在多个标签上训练自动化的深度学习模型。解决该问题的一种普遍做法是多数投票，例如，采用多个标签的平均值。但是，这种策略忽略了医学专家的不同专家。通过观察到的观察，即在临床上通常将OD/OC分割用于青光眼诊断，在本文中，我们提出了一种新的策略，以通过青光眼诊断性能融合多评分者OD/OC分割标签。具体而言，我们通过细心的青光眼诊断网络评估每个评估者的专业性。对于每个评估者，其对诊断的贡献将被反映为专家图。为了确保对不同青光眼诊断模型的专家图是一般性的，我们进一步提出了专家生成器（EXPG），以消除优化过程中的高频组件。基于获得的专家图，多评价者标签可以融合为单个地面真相，我们将其称为诊断第一基地真相（diagfirstgt）。实验结果表明，通过将diagfirstgt用作地面真相，OD/OC分割网络将预测具有优质诊断性能的面膜。

Diffusion probabilistic model (DPM) recently becomes one of the hottest topic in computer vision. Its image generation application such as Imagen, Latent Diffusion Models and Stable Diffusion have shown impressive generation capabilities, which aroused extensive discussion in the community. Many recent studies also found it useful in many other vision tasks, like image deblurring, super-resolution and anomaly detection. Inspired by the success of DPM, we propose the first DPM based model toward general medical image segmentation tasks, which we named MedSegDiff. In order to enhance the step-wise regional attention in DPM for the medical image segmentation, we propose dynamic conditional encoding, which establishes the state-adaptive conditions for each sampling step. We further propose Feature Frequency Parser (FF-Parser), to eliminate the negative effect of high-frequency noise component in this process. We verify MedSegDiff on three medical segmentation tasks with different image modalities, which are optic cup segmentation over fundus images, brain tumor segmentation over MRI images and thyroid nodule segmentation over ultrasound images. The experimental results show that MedSegDiff outperforms state-of-the-art (SOTA) methods with considerable performance gap, indicating the generalization and effectiveness of the proposed model.

基于深度学习的半监督学习（SSL）方法在医学图像细分中实现了强大的性能，可以通过使用大量未标记的数据来减轻医生昂贵的注释。与大多数现有的半监督学习方法不同，基于对抗性训练的方法通过学习分割图的数据分布来区分样本与不同来源，导致细分器生成更准确的预测。我们认为，此类方法的当前绩效限制是特征提取和学习偏好的问题。在本文中，我们提出了一种新的半监督的对抗方法，称为贴片置信疗法训练（PCA），用于医疗图像分割。我们提出的歧视器不是单个标量分类结果或像素级置信度图，而是创建贴片置信图，并根据斑块的规模进行分类。未标记数据的预测学习了每个贴片中的像素结构和上下文信息，以获得足够的梯度反馈，这有助于歧视器以融合到最佳状态，并改善半监督的分段性能。此外，在歧视者的输入中，我们补充了图像上的语义信息约束，使得未标记的数据更简单，以适合预期的数据分布。关于自动心脏诊断挑战（ACDC）2017数据集和脑肿瘤分割（BRATS）2019挑战数据集的广泛实验表明，我们的方法优于最先进的半监督方法，这证明了其对医疗图像分割的有效性。

深度学习已被广​​泛用于医学图像分割，并且录制了录制了该领域深度学习的成功的大量论文。在本文中，我们使用深层学习技术对医学图像分割的全面主题调查。本文进行了两个原创贡献。首先，与传统调查相比，直接将深度学习的文献分成医学图像分割的文学，并为每组详细介绍了文献，我们根据从粗略到精细的多级结构分类目前流行的文献。其次，本文侧重于监督和弱监督的学习方法，而不包括无监督的方法，因为它们在许多旧调查中引入而且他们目前不受欢迎。对于监督学习方法，我们分析了三个方面的文献：骨干网络的选择，网络块的设计，以及损耗功能的改进。对于虚弱的学习方法，我们根据数据增强，转移学习和交互式分割进行调查文献。与现有调查相比，本调查将文献分类为比例不同，更方便读者了解相关理由，并将引导他们基于深度学习方法思考医学图像分割的适当改进。

在过去的十年中，卷积神经网络（Convnets）主导了医学图像分析领域。然而，发现脉搏的性能仍然可以受到它们无法模拟图像中体素之间的远程空间关系的限制。最近提出了众多视力变压器来解决哀悼缺点，在许多医学成像应用中展示最先进的表演。变压器可以是用于图像配准的强烈候选者，因为它们的自我注意机制能够更精确地理解移动和固定图像之间的空间对应。在本文中，我们呈现透射帧，一个用于体积医学图像配准的混合变压器-Cromnet模型。我们还介绍了三种变速器的变形，具有两个散晶变体，确保了拓扑保存的变形和产生良好校准的登记不确定性估计的贝叶斯变体。使用来自两个应用的体积医学图像的各种现有的登记方法和变压器架构进行广泛验证所提出的模型：患者间脑MRI注册和幻影到CT注册。定性和定量结果表明，传输和其变体导致基线方法的实质性改进，展示了用于医学图像配准的变压器的有效性。

手动注释医学图像是高度主观的，导致不可避免和巨大的注释偏见。深度学习模型可能超过各种任务的人类性能，但它们也可能模仿或放大这些偏差。虽然我们可以有多个注释器并融化它们的注释来减少随机错误，但我们无法使用这种策略来处理因注释器偏好引起的偏差。在本文中，我们突出了对医学图像分割任务的注释相关偏差问题，并提出了涉及涉及的注释分配学习（PADL）框架来解决它从解开注入者的偏好使用分配学习的随机误差的偏好来解决它由于不仅产生元分割，而且产生每个注释器的分割。在此框架下，随机误差建模（SEM）模块估计元分割图和平均随机错误映射，以及一系列人类偏好建模（HPM）模块估计每个注释器的分段和相应的随机误差。我们在具有不同的成像方式的两个医学图像基准上进行了评估了我们的PADL框架，这些模型由多个医疗专业人员注释，并在所有五种医学图像分割任务上取得了有希望的表现。

医学图像分割是基于人工智能的临床决策系统的基本问题之一。目前的自动医学图像分割方法往往未能满足临床要求。因此，提出了一系列交互式分段算法来利用专家校正信息。然而，现有方法在长期互动之后遭受一些分割炼制失败问题，以及来自专家注释的一些成本问题，这阻碍了临床应用。本文通过引入纠正措施评估，提出了一种互动分割框架，称为交互式医疗细分，通过引入纠正措施评估，该纠正措施评估结合了基于动作的置信度学习和多智能体增强学习（Marl）。通过新颖的基于行动的置信网络建立评估，并从Marl获得纠正措施。基于机密信息，旨在提供更详细的反馈，并在无监督数据上提出模拟标签生成机制，以减少对标记数据的过度依赖性的模拟标签生成机制。各种医学图像数据集的实验结果显示了所提出的算法的显着性能。

从医用试剂染色图像中分割牙齿斑块为诊断和确定随访治疗计划提供了宝贵的信息。但是，准确的牙菌斑分割是一项具有挑战性的任务，需要识别牙齿和牙齿斑块受到语义腔区域的影响（即，在牙齿和牙齿斑块之间的边界区域中存在困惑的边界）以及实例形状的复杂变化，这些变化均未完全解决。现有方法。因此，我们提出了一个语义分解网络（SDNET），该网络介绍了两个单任务分支，以分别解决牙齿和牙齿斑块的分割，并设计了其他约束，以学习每个分支的特定类别特征，从而促进语义分解并改善该类别的特征牙齿分割的性能。具体而言，SDNET以分裂方式学习了两个单独的分割分支和牙齿的牙齿，以解除它们之间的纠缠关系。指定类别的每个分支都倾向于产生准确的分割。为了帮助这两个分支更好地关注特定类别的特征，进一步提出了两个约束模块：1）通过最大化不同类别表示之间的距离来学习判别特征表示，以了解判别特征表示形式，以减少减少负面影响关于特征提取的语义腔区域； 2）结构约束模块（SCM）通过监督边界感知的几何约束提供完整的结构信息，以提供各种形状的牙菌斑。此外，我们构建了一个大规模的开源染色牙菌斑分割数据集（SDPSEG），该数据集为牙齿和牙齿提供高质量的注释。 SDPSEG数据集的实验结果显示SDNET达到了最新的性能。

Transformer-based models, capable of learning better global dependencies, have recently demonstrated exceptional representation learning capabilities in computer vision and medical image analysis. Transformer reformats the image into separate patches and realize global communication via the self-attention mechanism. However, positional information between patches is hard to preserve in such 1D sequences, and loss of it can lead to sub-optimal performance when dealing with large amounts of heterogeneous tissues of various sizes in 3D medical image segmentation. Additionally, current methods are not robust and efficient for heavy-duty medical segmentation tasks such as predicting a large number of tissue classes or modeling globally inter-connected tissues structures. Inspired by the nested hierarchical structures in vision transformer, we proposed a novel 3D medical image segmentation method (UNesT), employing a simplified and faster-converging transformer encoder design that achieves local communication among spatially adjacent patch sequences by aggregating them hierarchically. We extensively validate our method on multiple challenging datasets, consisting anatomies of 133 structures in brain, 14 organs in abdomen, 4 hierarchical components in kidney, and inter-connected kidney tumors). We show that UNesT consistently achieves state-of-the-art performance and evaluate its generalizability and data efficiency. Particularly, the model achieves whole brain segmentation task complete ROI with 133 tissue classes in single network, outperforms prior state-of-the-art method SLANT27 ensembled with 27 network tiles, our model performance increases the mean DSC score of the publicly available Colin and CANDI dataset from 0.7264 to 0.7444 and from 0.6968 to 0.7025, respectively.

计算机辅助医学图像分割已广泛应用于诊断和治疗，以获得靶器官和组织的形状和体积的临床有用信息。在过去的几年中，基于卷积神经网络（CNN）的方法（例如，U-Net）占主导地位，但仍遭受了不足的远程信息捕获。因此，最近的工作提出了用于医学图像分割任务的计算机视觉变压器变体，并获得了有希望的表现。这种变压器通过计算配对贴片关系来模拟远程依赖性。然而，它们促进了禁止的计算成本，尤其是在3D医学图像（例如，CT和MRI）上。在本文中，我们提出了一种称为扩张变压器的新方法，该方法在本地和全球范围内交替捕获的配对贴片关系进行自我关注。灵感来自扩张卷积核，我们以扩张的方式进行全球自我关注，扩大接收领域而不增加所涉及的斑块，从而降低计算成本。基于这种扩展变压器的设计，我们构造了一个用于3D医学图像分割的U形编码器解码器分层体系结构。 Synapse和ACDC数据集的实验表明，我们的D-Ager Model从头开始培训，以低计算成本从划痕训练，优于各种竞争力的CNN或基于变压器的分段模型，而不耗时的每训练过程。

人的凝视是一种成本效益的生理数据，揭示了人类的潜在注意力模式。选择性注意机制有助于通过忽略分散剂的存在，帮助认知系统专注于任务相关的视觉线索。由于这种能力，人类可以有效地从一个非常有限数量的训练样本中学习。灵感来自这种机制，我们旨在利用具有小型训练数据的医学图像分析任务的凝视。我们所提出的框架包括骨干编码器和选择性注意网络（SAN），用于模拟潜在的注意力。 SAN通过估计实际的人的凝视，隐含地编码与医学诊断任务相关的可疑区域。然后我们设计一种新颖的辅助注意力块（AAB），以允许从骨干编码器使用SAN的信息，以专注于选择性区域。具体而言，该块使用多针注意层的修改版本来模拟人类视觉搜索过程。请注意，SAN和AAB可以插入不同的底部，并且在配备有任务特定的头部时，该框架可用于多个医学图像分析任务。我们的方法经过证明在3D肿瘤分割和2D胸X射线分类任务中实现了卓越的性能。我们还表明，SAN的估计凝视概率图与由董事会认证的医生获得的实际凝视固定图一致。

集成多模式数据以改善医学图像分析，最近受到了极大的关注。但是，由于模态差异，如何使用单个模型来处理来自多种模式的数据仍然是一个开放的问题。在本文中，我们提出了一种新的方案，以实现未配对多模式医学图像的更好的像素级分割。与以前采用模式特异性和模态共享模块的以前方法不同，以适应不同方式的外观差异，同时提取共同的语义信息，我们的方法基于具有精心设计的外部注意模块（EAM）的单个变压器来学习在训练阶段，结构化的语义一致性（即语义类表示及其相关性）。在实践中，可以通过分别在模态级别和图像级别实施一致性正则化来逐步实现上述结构化语义一致性。采用了提出的EAM来学习不同尺度表示的语义一致性，并且一旦模型进行了优化，就可以丢弃。因此，在测试阶段，我们只需要为所有模态预测维护一个变压器，这可以很好地平衡模型的易用性和简单性。为了证明所提出的方法的有效性，我们对两个医学图像分割方案进行了实验：（1）心脏结构分割，（2）腹部多器官分割。广泛的结果表明，所提出的方法的表现优于最新方法，甚至通过极有限的训练样本（例如1或3个注释的CT或MRI图像）以一种特定的方式来实现竞争性能。

在许多图像引导的临床方法中，医学图像分割是一个基本和关键的步骤。基于深度学习的细分方法的最新成功通常取决于大量标记的数据，这特别困难且昂贵，尤其是在医学成像领域中，只有专家才能提供可靠和准确的注释。半监督学习已成为一种吸引人的策略，并广泛应用于医学图像分割任务，以训练注释有限的深层模型。在本文中，我们对最近提议的半监督学习方法进行了全面综述，并总结了技术新颖性和经验结果。此外，我们分析和讨论现有方法的局限性和几个未解决的问题。我们希望这篇评论可以激发研究界探索解决这一挑战的解决方案，并进一步促进医学图像细分领域的发展。

难以通过二进制面具手动准确标记含糊不清的和复杂形状的目标。在医学图像分割中突出显示二元掩模下面的弱点，其中模糊是普遍的。在多个注释的情况下，通过二元面具对临床医生达成共识更具挑战性。此外，这些不确定的区域与病变结构有关，可能含有有利于诊断的解剖信息。然而，目前关于不确定性的研究主要关注模型培训和数据标签的不确定性。他们都没有调查病变本身的模糊性质的影响。通过图像消光，透过图像消光，将Alpha Matte作为软片介绍，代表医学场景中不确定的区域，并因此提出了一种新的不确定性量化方法来填补填补差距病变结构的不确定性研究。在这项工作中，我们在多任务框架中引入了一种新的架构，以在多任务框架中生成二进制掩模和alpha掩饰，这优于所有最先进的消光算法。建议的不确定性地图能够突出模糊地区和我们提出的新型多任务损失加权策略可以进一步提高性能并证明其具体的益处。为了充分评估我们提出的方法的有效性，我们首先用alpha哑布标记了三个医疗数据集，以解决医学场景中可用消光数据集的短缺，并证明alpha遮罩是一种比定性的二进制掩模更有效的标签方法和量化方面。

Equipping predicted segmentation with calibrated uncertainty is essential for safety-critical applications. In this work, we focus on capturing the data-inherent uncertainty (aka aleatoric uncertainty) in segmentation, typically when ambiguities exist in input images. Due to the high-dimensional output space and potential multiple modes in segmenting ambiguous images, it remains challenging to predict well-calibrated uncertainty for segmentation. To tackle this problem, we propose a novel mixture of stochastic experts (MoSE) model, where each expert network estimates a distinct mode of the aleatoric uncertainty and a gating network predicts the probabilities of an input image being segmented in those modes. This yields an efficient two-level uncertainty representation. To learn the model, we develop a Wasserstein-like loss that directly minimizes the distribution distance between the MoSE and ground truth annotations. The loss can easily integrate traditional segmentation quality measures and be efficiently optimized via constraint relaxation. We validate our method on the LIDC-IDRI dataset and a modified multimodal Cityscapes dataset. Results demonstrate that our method achieves the state-of-the-art or competitive performance on all metrics.

脑肿瘤分割是医学图像分析中最具挑战性问题之一。脑肿瘤细分的目标是产生准确描绘脑肿瘤区域。近年来，深入学习方法在解决各种计算机视觉问题时表现出了有希望的性能，例如图像分类，对象检测和语义分割。基于深度学习的方法已经应用于脑肿瘤细分并取得了有希望的结果。考虑到最先进技术所制作的显着突破，我们使用本调查来提供最近开发的深层学习脑肿瘤分割技术的全面研究。在本次调查中选择并讨论了100多篇科学论文，广泛地涵盖了网络架构设计，在不平衡条件下的细分等技术方面，以及多种方式流程。我们还为未来的发展方向提供了富有洞察力的讨论。

数字医学图像的机器学习和流行的最新进展已经开辟了通过使用深卷积神经网络来解决挑战性脑肿瘤细分（BTS）任务的机会。然而，与非常广泛的RGB图像数据不同，在脑肿瘤分割中使用的医学图像数据在数据刻度方面相对稀缺，但在模态属性方面包含更丰富的信息。为此，本文提出了一种新的跨模型深度学习框架，用于从多种方式MRI数据分段脑肿瘤。核心思想是通过多模态数据挖掘丰富的模式以弥补数据量表不足。所提出的跨型号深度学习框架包括两个学习过程：跨模型特征转换（CMFT）过程和跨模型特征融合（CMFF）过程，其目的是通过跨越不同模态的知识来学习丰富的特征表示数据和融合知识分别来自不同的模态数据。在Brats基准上进行了综合实验，表明，与基线方法和最先进的方法相比，所提出的跨模型深度学习框架可以有效地提高大脑肿瘤分割性能。