批准(BN)均匀地基于一批图像的统计数据均匀地移动并缩放激活。但是,背景像素的强度分布通常主导了BN统计数据,因为背景占整个图像的很大比例。本文着重于通过前景像素的强度分布增强BN,这对于图像分割至关重要。我们提出了一种新的归一化策略,称为分类归一化(结合型),以根据分类统计数据使激活归一化。分类统计数据是通过动态调节属于前景的图像中的特定区域而获得的。结合型在从不同域获得的五个公共数据集展示了精确和稳健的分割结果,涵盖了复杂和可变的数据分布。这归因于结合体从医疗数据的多个领域(机构)捕获域不变的信息的能力。代码可从https://github.com/lambert-x/catenorm获得。
translated by 谷歌翻译
对于医学图像分割,想象一下,如果仅使用源域中的MR图像训练模型,它的性能如何直接在目标域中进行CT图像?这种设置,即概括的跨模块分割,拥有其临床潜力,其比其他相关设置更具挑战性,例如域适应。为实现这一目标,我们本文通过利用在我们更广泛的分割期间利用增强的源相似和源不同的图像来提出新的双标准化模块。具体而言,给定单个源域,旨在模拟未经证明的目标域中可能的外观变化,我们首先利用非线性变换来增加源相似和源不同的图像。然后,为了充分利用这两种类型的增强,我们所提出的基于双重定量的模型采用共享骨干但独立的批量归一化层,用于单独归一化。之后,我们提出了一种基于风格的选择方案来自动选择测试阶段的适当路径。在三个公开可用的数据集上进行了广泛的实验,即Brats,跨型心脏和腹部多器官数据集表明我们的方法优于其他最先进的域概括方法。
translated by 谷歌翻译
集成多模式数据以改善医学图像分析,最近受到了极大的关注。但是,由于模态差异,如何使用单个模型来处理来自多种模式的数据仍然是一个开放的问题。在本文中,我们提出了一种新的方案,以实现未配对多模式医学图像的更好的像素级分割。与以前采用模式特异性和模态共享模块的以前方法不同,以适应不同方式的外观差异,同时提取共同的语义信息,我们的方法基于具有精心设计的外部注意模块(EAM)的单个变压器来学习在训练阶段,结构化的语义一致性(即语义类表示及其相关性)。在实践中,可以通过分别在模态级别和图像级别实施一致性正则化来逐步实现上述结构化语义一致性。采用了提出的EAM来学习不同尺度表示的语义一致性,并且一旦模型进行了优化,就可以丢弃。因此,在测试阶段,我们只需要为所有模态预测维护一个变压器,这可以很好地平衡模型的易用性和简单性。为了证明所提出的方法的有效性,我们对两个医学图像分割方案进行了实验:(1)心脏结构分割,(2)腹部多器官分割。广泛的结果表明,所提出的方法的表现优于最新方法,甚至通过极有限的训练样本(例如1或3个注释的CT或MRI图像)以一种特定的方式来实现竞争性能。
translated by 谷歌翻译
这项工作提出了一个新颖的框架CISFA(对比图像合成和自我监督的特征适应),该框架建立在图像域翻译和无监督的特征适应性上,以进行跨模式生物医学图像分割。与现有作品不同,我们使用单方面的生成模型,并在输入图像的采样贴片和相应的合成图像之间添加加权贴片对比度损失,该图像用作形状约束。此外,我们注意到生成的图像和输入图像共享相似的结构信息,但具有不同的方式。因此,我们在生成的图像和输入图像上强制实施对比损失,以训练分割模型的编码器,以最大程度地减少学到的嵌入空间中成对图像之间的差异。与依靠对抗性学习进行特征适应的现有作品相比,这种方法使编码器能够以更明确的方式学习独立于域的功能。我们对包含腹腔和全心的CT和MRI图像的分割任务进行了广泛评估。实验结果表明,所提出的框架不仅输出了较小的器官形状变形的合成图像,而且还超过了最先进的域适应方法的较大边缘。
translated by 谷歌翻译
卷积神经网络(CNN)已经实现了医学图像细分的最先进性能,但需要大量的手动注释进行培训。半监督学习(SSL)方法有望减少注释的要求,但是当数据集大小和注释图像的数量较小时,它们的性能仍然受到限制。利用具有类似解剖结构的现有注释数据集来协助培训,这有可能改善模型的性能。然而,由于目标结构的外观不同甚至成像方式,跨解剖结构域的转移进一步挑战。为了解决这个问题,我们提出了跨解剖结构域适应(CS-CADA)的对比度半监督学习,该学习适应一个模型以在目标结构域中细分相似的结构,这仅需要通过利用一组现有现有的现有的目标域中的限制注释源域中相似结构的注释图像。我们使用特定领域的批归归量表(DSBN)来单独地标准化两个解剖域的特征图,并提出跨域对比度学习策略,以鼓励提取域不变特征。它们被整合到一个自我兼容的均值老师(SE-MT)框架中,以利用具有预测一致性约束的未标记的目标域图像。广泛的实验表明,我们的CS-CADA能够解决具有挑战性的跨解剖结构域移位问题,从而在视网膜血管图像和心脏MR图像的帮助下,在X射线图像中准确分割冠状动脉,并借助底底图像,分别仅给定目标域中的少量注释。
translated by 谷歌翻译
实现域适应是有价值的,以将学习知识从标记为CT数据集传输到腹部多器官分段的目标未标记的MR DataSet。同时,非常希望避免目标数据集的高注重成本并保护源数据集的隐私。因此,我们提出了一种有效的无核心无监督域适应方法,用于跨型号腹部多器官分段而不访问源数据集。所提出的框架的过程包括两个阶段。在第一阶段,特征映射统计损失用于对准顶部分段网络中的源和目标特征的分布,并使用熵最小化损耗来鼓励高席位细分。从顶部分段网络输出的伪标签用于指导样式补偿网络生成类似源图像。从中间分割网络输出的伪标签用于监督所需模型的学习(底部分段网络)。在第二阶段,循环学习和像素自适应掩模细化用于进一步提高所需模型的性能。通过这种方法,我们在肝脏,肾脏,左肾肾脏和脾脏的分割中实现了令人满意的性能,骰子相似系数分别为0.884,0.891,0.864和0.911。此外,当存在目标注释数据时,所提出的方法可以很容易地扩展到情况。该性能在平均骰子相似度系数的0.888至0.922增加到0.888至0.922,靠近监督学习(0.929),只有一个标记的MR卷。
translated by 谷歌翻译
脾脏是钝性腹腔创伤中最常见的固体器官之一。来自多相CT的自动分割系统的开发用于脾血管损伤的脾血管损伤,可以增强严重程度,以改善临床决策支持和结果预测。然而,由于以下原因,脾血管损伤的准确细分是具有挑战性的:1)脾血管损伤可以是高度变体的形状,质地,尺寸和整体外观; 2)数据采集是一种复杂和昂贵的程序,需要来自数据科学家和放射科学家的密集努力,这使得大规模的注释数据集难以获取。鉴于这些挑战,我们在此设计了一种用于多相脾血管损伤分割的新框架,尤其是数据有限。一方面,我们建议利用外部数据作为矿井伪脾面罩作为空间关注,被称为外部关注,用于引导脾血管损伤的分割。另一方面,我们开发一个合成相位增强模块,它在生成的对抗网络上构建,通过完全利用不同阶段之间的关系来填充内部数据。通过联合实施外部注意力和填充内部数据表示,我们提出的方法优于其他竞争方法,并且在平均DSC方面大大改善了超过7%的流行Deeplab-V3 +基线,这证实了其有效性。
translated by 谷歌翻译
对于医学图像分析,在一个或几个领域训练的分割模型由于不同数据采集策略之间的差异而缺乏概括性的能力,无法看不见域。我们认为,分割性能的退化主要归因于过度拟合源域和域移位。为此,我们提出了一种新颖的可推广医学图像分割方法。要具体而言,我们通过将分割模型与自学域特异性图像恢复(DSIR)模块相结合,将方法设计为多任务范式。我们还设计了一个随机的振幅混音(RAM)模块,该模块结合了不同域图像的低级频率信息以合成新图像。为了指导我们的模型对域转移有抵抗力,我们引入了语义一致性损失。我们证明了我们在医学图像中两个可公开的分段基准测试中的方法的性能,这证实了我们的方法可以实现最先进的性能。
translated by 谷歌翻译
无监督的交叉模式医学图像适应旨在减轻不同成像方式之间的严重域间隙,而无需使用目标域标签。该活动的关键依赖于对齐源和目标域的分布。一种常见的尝试是强制两个域之间的全局对齐,但是,这忽略了致命的局部不平衡域间隙问题,即,一些具有较大域间隙的局部特征很难转移。最近,某些方法进行一致性,重点是地方区域,以提高模型学习的效率。尽管此操作可能会导致上下文中关键信息的缺陷。为了应对这一限制,我们提出了一种新的策略,以减轻医学图像的特征,即全球本地联盟的一致性,以减轻域间隙不平衡。具体而言,功能 - 触发样式转移模块首先合成类似目标的源包含图像,以减少全局域间隙。然后,集成了本地功能掩码,以通过优先考虑具有较大域间隙的判别特征来减少本地特征的“间隙”。全球和局部对齐的这种组合可以精确地将关键区域定位在分割目标中,同时保持整体语义一致性。我们进行了一系列具有两个跨模式适应任务的实验,i,e。心脏子结构和腹部多器官分割。实验结果表明,我们的方法在这两个任务中都达到了最新的性能。
translated by 谷歌翻译
小儿肌肉骨骼系统的临床诊断依赖于医学成像检查的分析。在医学图像处理管道中,使用深度学习算法的语义分割使人可以自动生成患者特定的三维解剖模型,这对于形态学评估至关重要。但是,小儿成像资源的稀缺性可能导致单个深层分割模型的准确性和泛化性能降低。在这项研究中,我们建议设计一个新型的多任务多任务多域学习框架,在该框架中,单个分割网络对由解剖学的不同部分产生的多个数据集进行了优化。与以前的方法不同,我们同时考虑多个强度域和分割任务来克服小儿数据的固有稀缺性,同时利用成像数据集之间的共享特征。为了进一步提高概括能力,我们从自然图像分类中采用了转移学习方案,以及旨在在共享表示中促进域特异性群集的多尺度对比正则化,以及多连接解剖学先验来执行解剖学上一致的预测。我们评估了使用脚踝,膝盖和肩关节的三个稀缺和小儿成像数据集进行骨分割的贡献。我们的结果表明,所提出的方法在骰子指标中的表现优于个人,转移和共享分割方案,并具有统计学上足够的利润。拟议的模型为智能使用成像资源和更好地管理小儿肌肉骨骼疾病提供了新的观点。
translated by 谷歌翻译
无监督的域适应性(UDA)是一个至关重要的协议,用于迁移从标记的源域中学到的信息,以促进未标记的异质目标域中的实现。尽管UDA通常经过来自两个域的数据的共同培训,但由于对患者数据隐私或知识产权的担忧,访问标记的源域数据通常受到限制。为了避开此问题,我们提出了“现成的(OS)” UDA(OSUDA),针对图像分割,通过调整在源域中训练的OS进行调整到目标域,在适应中没有源域数据的情况下, 。为了实现这一目标,我们旨在开发新的批准归一化(BN)统计适应框架。特别是,我们通过指数型衰减策略逐渐适应了特定于域的低阶BN统计数据,例如平均值和差异,同时明确执行可共享的可共享高阶BN统计的一致性,例如,扩展和转移因子缩放和转移因子。 ,通过我们的优化目标。我们还通过低阶统计差异和缩放因素来自适应量化通道的可传递性,以评估每个通道的重要性。记忆一致的自我训练策略利用可靠的伪标签来稳定,有效的无监督适应。我们评估了基于OSUDA的跨模式和交叉型脑肿瘤分割和心脏MR到CT分割任务的框架。我们的实验结果表明,我们的内存一致性的OSUDA的性能优于现有的 - 源 - 删除的UDA方法,并且具有与源数据的UDA方法相似的性能。
translated by 谷歌翻译
语义细分是自动驾驶汽车和机器人中的场景理解的重要任务,旨在为图像中的所有像素分配密集标签。现有工作通常通过在目标数据集上探索不同的网络架构来提高语义分割性能。由于不同数据集的固有分布移位,通过同时从多个数据集同时学习,已经支付了很少的注意。在本文中,我们提出了一种简单,灵活,一般的语义分割方法,称为交叉数据集协作学习(CDCL)。我们的目标是通过利用来自所有数据集的信息来培训统一的模型来提高每个数据集中的性能。具体来说,我们首先将一个数据集感知块(DAB)作为网络的基本计算单元推出,这有助于在不同的数据集中捕获均匀的卷积表示和异构统计数据。其次,我们提供了一个数据集交替培训(DAT)机制,以促进协作优化程序。我们对自动驾驶的多样性分割数据集进行广泛的评估。实验表明,我们的方法始终如一地实现了对现有的单数据集和交叉数据集训练方法的显着改进,而不会引入额外的拖鞋。特别是,具有相同的PSPNet(Reset-18)的架构,我们的方法分别在CityScapes,BDD100K,Camvid的验证组上以5.65 \%,6.57 \%和5.79 \%Miou表示。我们还将CDCL应用于点云3D语义分割,实现了改进的性能,进一步验证了我们方法的优势和一般性。代码和模型将被释放。
translated by 谷歌翻译
We propose a novel unsupervised domain adaptation framework based on domain-specific batch normalization in deep neural networks. We aim to adapt to both domains by specializing batch normalization layers in convolutional neural networks while allowing them to share all other model parameters, which is realized by a twostage algorithm. In the first stage, we estimate pseudolabels for the examples in the target domain using an external unsupervised domain adaptation algorithm-for example, MSTN [27] or CPUA [14]-integrating the proposed domain-specific batch normalization. The second stage learns the final models using a multi-task classification loss for the source and target domains. Note that the two domains have separate batch normalization layers in both stages. Our framework can be easily incorporated into the domain adaptation techniques based on deep neural networks with batch normalization layers. We also present that our approach can be extended to the problem with multiple source domains. The proposed algorithm is evaluated on multiple benchmark datasets and achieves the state-of-theart accuracy in the standard setting and the multi-source domain adaption scenario.
translated by 谷歌翻译
深度学习已被广​​泛用于医学图像分割,并且录制了录制了该领域深度学习的成功的大量论文。在本文中,我们使用深层学习技术对医学图像分割的全面主题调查。本文进行了两个原创贡献。首先,与传统调查相比,直接将深度学习的文献分成医学图像分割的文学,并为每组详细介绍了文献,我们根据从粗略到精细的多级结构分类目前流行的文献。其次,本文侧重于监督和弱监督的学习方法,而不包括无监督的方法,因为它们在许多旧调查中引入而且他们目前不受欢迎。对于监督学习方法,我们分析了三个方面的文献:骨干网络的选择,网络块的设计,以及损耗功能的改进。对于虚弱的学习方法,我们根据数据增强,转移学习和交互式分割进行调查文献。与现有调查相比,本调查将文献分类为比例不同,更方便读者了解相关理由,并将引导他们基于深度学习方法思考医学图像分割的适当改进。
translated by 谷歌翻译
Solving variational image segmentation problems with hidden physics is often expensive and requires different algorithms and manually tunes model parameter. The deep learning methods based on the U-Net structure have obtained outstanding performances in many different medical image segmentation tasks, but designing such networks requires a lot of parameters and training data, not always available for practical problems. In this paper, inspired by traditional multi-phase convexity Mumford-Shah variational model and full approximation scheme (FAS) solving the nonlinear systems, we propose a novel variational-model-informed network (denoted as FAS-Unet) that exploits the model and algorithm priors to extract the multi-scale features. The proposed model-informed network integrates image data and mathematical models, and implements them through learning a few convolution kernels. Based on the variational theory and FAS algorithm, we first design a feature extraction sub-network (FAS-Solution module) to solve the model-driven nonlinear systems, where a skip-connection is employed to fuse the multi-scale features. Secondly, we further design a convolution block to fuse the extracted features from the previous stage, resulting in the final segmentation possibility. Experimental results on three different medical image segmentation tasks show that the proposed FAS-Unet is very competitive with other state-of-the-art methods in qualitative, quantitative and model complexity evaluations. Moreover, it may also be possible to train specialized network architectures that automatically satisfy some of the mathematical and physical laws in other image problems for better accuracy, faster training and improved generalization.The code is available at \url{https://github.com/zhuhui100/FASUNet}.
translated by 谷歌翻译
域的概括通常需要来自多个源域的数据才能进行模型学习。但是,这种强大的假设可能并不总是在实践中成立,尤其是在数据共享高度关注,有时由于隐私问题而高度刺激的医学领域。本文研究了重要但具有挑战性的单个领域概括问题,其中在最坏情况下仅具有一个源域,可以直接概括到不同看不见的目标域。我们提出了一种在医学图像分割中解决此问题的新方法,该方法可以提取并集成了跨域不变的分割的语义形状的先验信息,即使是从单个域数据中也可以很好地捕捉,以促进分布偏移下的分割。此外,进一步设计了具有双偶然性正则化的测试时间适应策略,以促进每个看不见的域下这些形状先验的动态融合,以提高模型的通用性。对两个医学图像分割任务进行的广泛实验证明了我们在各种看不见的领域中的方法的一致改进,以及在最坏情况下,它比最先进的方法相比,它优于最先进的方法。
translated by 谷歌翻译
Medical image segmentation methods typically rely on numerous dense annotated images for model training, which are notoriously expensive and time-consuming to collect. To alleviate this burden, weakly supervised techniques have been exploited to train segmentation models with less expensive annotations. In this paper, we propose a novel point-supervised contrastive variance method (PSCV) for medical image semantic segmentation, which only requires one pixel-point from each organ category to be annotated. The proposed method trains the base segmentation network by using a novel contrastive variance (CV) loss to exploit the unlabeled pixels and a partial cross-entropy loss on the labeled pixels. The CV loss function is designed to exploit the statistical spatial distribution properties of organs in medical images and their variance distribution map representations to enforce discriminative predictions over the unlabeled pixels. Experimental results on two standard medical image datasets demonstrate that the proposed method outperforms the state-of-the-art weakly supervised methods on point-supervised medical image semantic segmentation tasks.
translated by 谷歌翻译
由于医学图像的数据稀缺性和数据异质性是普遍存在的,因此在部署到新站点时,使用先前的归一化方法训练有素的卷积神经网络(CNN)可能会表现不佳。但是,现实世界应用程序的可靠模型应该能够在分布(IND)和分布(OOD)数据(例如新站点数据)上很好地概括。在这项研究中,我们提出了一种称为窗口归一化(WIN)的新型归一化技术,这是现有标准化方法的简单而有效的替代方法。具体而言,赢得了与特征窗口上计算的本地统计数据的归一化统计数据。此功能级增强技术可以很好地规范模型,并显着改善了其OOD的概括。利用它的优势,我们提出了一种称为Win Win的新型自我鉴定方法,以进一步改善分类中的OOD概括。通过两次向前传球和一致性约束可以轻松实现双赢,这对于现有方法来说是一个简单的扩展。关于各种任务(例如青光眼检测,乳腺癌检测,染色体分类,视盘和杯赛分割等)和数据集(26个数据集)的广泛实验结果证明了我们方法的一般性和有效性。该代码可从https://github.com/joe1chief/windownormalizaion获得。
translated by 谷歌翻译
尽管进行了多年的研究,但跨域的概括仍然是深层网络的语义分割的关键弱点。先前的研究取决于静态模型的假设,即训练过程完成后,模型参数在测试时间保持固定。在这项工作中,我们通过一种自适应方法来挑战这一前提,用于语义分割,将推理过程调整为每个输入样本。自我适应在两个级别上运行。首先,它采用了自我监督的损失,该损失将网络中卷积层的参数定制为输入图像。其次,在批准层中,自适应近似于整个测试数据的平均值和方差,这是不可用的。它通过在训练和从单个测试样本得出的参考分布之间进行插值来实现这一目标。为了凭经验分析我们的自适应推理策略,我们制定并遵循严格的评估协议,以解决先前工作的严重局限性。我们的广泛分析得出了一个令人惊讶的结论:使用标准训练程序,自我适应大大优于强大的基准,并在多域基准测试方面设定了新的最先进的准确性。我们的研究表明,自适应推断可以补充培训时间的既定模型正规化实践,以改善深度网络的概括到异域数据。
translated by 谷歌翻译
Recently, due to the increasing requirements of medical imaging applications and the professional requirements of annotating medical images, few-shot learning has gained increasing attention in the medical image semantic segmentation field. To perform segmentation with limited number of labeled medical images, most existing studies use Proto-typical Networks (PN) and have obtained compelling success. However, these approaches overlook the query image features extracted from the proposed representation network, failing to preserving the spatial connection between query and support images. In this paper, we propose a novel self-supervised few-shot medical image segmentation network and introduce a novel Cycle-Resemblance Attention (CRA) module to fully leverage the pixel-wise relation between query and support medical images. Notably, we first line up multiple attention blocks to refine more abundant relation information. Then, we present CRAPNet by integrating the CRA module with a classic prototype network, where pixel-wise relations between query and support features are well recaptured for segmentation. Extensive experiments on two different medical image datasets, e.g., abdomen MRI and abdomen CT, demonstrate the superiority of our model over existing state-of-the-art methods.
translated by 谷歌翻译