对于医学图像分割,想象一下,如果仅使用源域中的MR图像训练模型,它的性能如何直接在目标域中进行CT图像?这种设置,即概括的跨模块分割,拥有其临床潜力,其比其他相关设置更具挑战性,例如域适应。为实现这一目标,我们本文通过利用在我们更广泛的分割期间利用增强的源相似和源不同的图像来提出新的双标准化模块。具体而言,给定单个源域,旨在模拟未经证明的目标域中可能的外观变化,我们首先利用非线性变换来增加源相似和源不同的图像。然后,为了充分利用这两种类型的增强,我们所提出的基于双重定量的模型采用共享骨干但独立的批量归一化层,用于单独归一化。之后,我们提出了一种基于风格的选择方案来自动选择测试阶段的适当路径。在三个公开可用的数据集上进行了广泛的实验,即Brats,跨型心脏和腹部多器官数据集表明我们的方法优于其他最先进的域概括方法。
translated by 谷歌翻译
对于医学图像分析,在一个或几个领域训练的分割模型由于不同数据采集策略之间的差异而缺乏概括性的能力,无法看不见域。我们认为,分割性能的退化主要归因于过度拟合源域和域移位。为此,我们提出了一种新颖的可推广医学图像分割方法。要具体而言,我们通过将分割模型与自学域特异性图像恢复(DSIR)模块相结合,将方法设计为多任务范式。我们还设计了一个随机的振幅混音(RAM)模块,该模块结合了不同域图像的低级频率信息以合成新图像。为了指导我们的模型对域转移有抵抗力,我们引入了语义一致性损失。我们证明了我们在医学图像中两个可公开的分段基准测试中的方法的性能,这证实了我们的方法可以实现最先进的性能。
translated by 谷歌翻译
卷积神经网络(CNN)已经实现了医学图像细分的最先进性能,但需要大量的手动注释进行培训。半监督学习(SSL)方法有望减少注释的要求,但是当数据集大小和注释图像的数量较小时,它们的性能仍然受到限制。利用具有类似解剖结构的现有注释数据集来协助培训,这有可能改善模型的性能。然而,由于目标结构的外观不同甚至成像方式,跨解剖结构域的转移进一步挑战。为了解决这个问题,我们提出了跨解剖结构域适应(CS-CADA)的对比度半监督学习,该学习适应一个模型以在目标结构域中细分相似的结构,这仅需要通过利用一组现有现有的现有的目标域中的限制注释源域中相似结构的注释图像。我们使用特定领域的批归归量表(DSBN)来单独地标准化两个解剖域的特征图,并提出跨域对比度学习策略,以鼓励提取域不变特征。它们被整合到一个自我兼容的均值老师(SE-MT)框架中,以利用具有预测一致性约束的未标记的目标域图像。广泛的实验表明,我们的CS-CADA能够解决具有挑战性的跨解剖结构域移位问题,从而在视网膜血管图像和心脏MR图像的帮助下,在X射线图像中准确分割冠状动脉,并借助底底图像,分别仅给定目标域中的少量注释。
translated by 谷歌翻译
无监督的域适应性(UDA)是一个至关重要的协议,用于迁移从标记的源域中学到的信息,以促进未标记的异质目标域中的实现。尽管UDA通常经过来自两个域的数据的共同培训,但由于对患者数据隐私或知识产权的担忧,访问标记的源域数据通常受到限制。为了避开此问题,我们提出了“现成的(OS)” UDA(OSUDA),针对图像分割,通过调整在源域中训练的OS进行调整到目标域,在适应中没有源域数据的情况下, 。为了实现这一目标,我们旨在开发新的批准归一化(BN)统计适应框架。特别是,我们通过指数型衰减策略逐渐适应了特定于域的低阶BN统计数据,例如平均值和差异,同时明确执行可共享的可共享高阶BN统计的一致性,例如,扩展和转移因子缩放和转移因子。 ,通过我们的优化目标。我们还通过低阶统计差异和缩放因素来自适应量化通道的可传递性,以评估每个通道的重要性。记忆一致的自我训练策略利用可靠的伪标签来稳定,有效的无监督适应。我们评估了基于OSUDA的跨模式和交叉型脑肿瘤分割和心脏MR到CT分割任务的框架。我们的实验结果表明,我们的内存一致性的OSUDA的性能优于现有的 - 源 - 删除的UDA方法,并且具有与源数据的UDA方法相似的性能。
translated by 谷歌翻译
域间隙主要由可变的医学图像质量引起的构成,这是训练实验室中的分割模型与应用训练的模型在未见临床数据之间的路径上的主要障碍。为了解决这个问题,已经提出了域泛化方法,但是通常使用静态卷积,并且灵活性较低。在本文中,我们提出了一个基于域和内容自适应卷积(DCAC)的多源域概括模型,以分割不同模式的医学图像。具体而言,我们设计了域自适应卷积(DAC)模块和内容自适应卷积(CAC)模块,并将两者都合并到编码器解码器中。在DAC模块中,动态卷积头是根据输入的预测域代码进行的,以使我们的模型适应看不见的目标域。在CAC模块中,动态卷积头在全局图像特征上进行条件,以使我们的模型适应测试图像。我们针对基线的DCAC模型和针对前列腺分割,COVID-19病变分段和视频杯/视盘分段任务的四种最先进的域概括方法评估了DCAC模型。我们的结果不仅表明所提出的DCAC模型在每个分割任务上都优于所有竞争方法,而且还证明了DAC和CAC模块的有效性。代码可在\ url {https://git.io/dcac}上获得。
translated by 谷歌翻译
现代深层神经网络在部署到现实世界应用程序时努力转移知识并跨越不同领域的知识。当前,引入了域的概括(DG),以从多个域中学习通用表示,以提高看不见的域的网络泛化能力。但是,以前的DG方法仅关注数据级的一致性方案,而无需考虑不同一致性方案之间的协同正则化。在本文中,我们通过通过协同整合外在的一致性和内在的一致性来提出一个新型的域概括(HCDG)层次一致性框架。特别是对于外部一致性,我们利用跨多个源域的知识来强制数据级的一致性。为了更好地提高这种一致性,我们将新型的高斯混合策略设计为基于傅立叶的数据增强,称为domainup。对于固有的一致性,我们在双重任务方案下对同一实例执行任务级的一致性。我们在两个医学图像分割任务上评估了提出的HCDG框架,即对眼底图像和前列腺MRI分割的视频杯/圆盘分割。广泛的实验结果表明了我们的HCDG框架的有效性和多功能性。
translated by 谷歌翻译
无监督的交叉模式医学图像适应旨在减轻不同成像方式之间的严重域间隙,而无需使用目标域标签。该活动的关键依赖于对齐源和目标域的分布。一种常见的尝试是强制两个域之间的全局对齐,但是,这忽略了致命的局部不平衡域间隙问题,即,一些具有较大域间隙的局部特征很难转移。最近,某些方法进行一致性,重点是地方区域,以提高模型学习的效率。尽管此操作可能会导致上下文中关键信息的缺陷。为了应对这一限制,我们提出了一种新的策略,以减轻医学图像的特征,即全球本地联盟的一致性,以减轻域间隙不平衡。具体而言,功能 - 触发样式转移模块首先合成类似目标的源包含图像,以减少全局域间隙。然后,集成了本地功能掩码,以通过优先考虑具有较大域间隙的判别特征来减少本地特征的“间隙”。全球和局部对齐的这种组合可以精确地将关键区域定位在分割目标中,同时保持整体语义一致性。我们进行了一系列具有两个跨模式适应任务的实验,i,e。心脏子结构和腹部多器官分割。实验结果表明,我们的方法在这两个任务中都达到了最新的性能。
translated by 谷歌翻译
实现域适应是有价值的,以将学习知识从标记为CT数据集传输到腹部多器官分段的目标未标记的MR DataSet。同时,非常希望避免目标数据集的高注重成本并保护源数据集的隐私。因此,我们提出了一种有效的无核心无监督域适应方法,用于跨型号腹部多器官分段而不访问源数据集。所提出的框架的过程包括两个阶段。在第一阶段,特征映射统计损失用于对准顶部分段网络中的源和目标特征的分布,并使用熵最小化损耗来鼓励高席位细分。从顶部分段网络输出的伪标签用于指导样式补偿网络生成类似源图像。从中间分割网络输出的伪标签用于监督所需模型的学习(底部分段网络)。在第二阶段,循环学习和像素自适应掩模细化用于进一步提高所需模型的性能。通过这种方法,我们在肝脏,肾脏,左肾肾脏和脾脏的分割中实现了令人满意的性能,骰子相似系数分别为0.884,0.891,0.864和0.911。此外,当存在目标注释数据时,所提出的方法可以很容易地扩展到情况。该性能在平均骰子相似度系数的0.888至0.922增加到0.888至0.922,靠近监督学习(0.929),只有一个标记的MR卷。
translated by 谷歌翻译
While deep learning methods hitherto have achieved considerable success in medical image segmentation, they are still hampered by two limitations: (i) reliance on large-scale well-labeled datasets, which are difficult to curate due to the expert-driven and time-consuming nature of pixel-level annotations in clinical practices, and (ii) failure to generalize from one domain to another, especially when the target domain is a different modality with severe domain shifts. Recent unsupervised domain adaptation~(UDA) techniques leverage abundant labeled source data together with unlabeled target data to reduce the domain gap, but these methods degrade significantly with limited source annotations. In this study, we address this underexplored UDA problem, investigating a challenging but valuable realistic scenario, where the source domain not only exhibits domain shift~w.r.t. the target domain but also suffers from label scarcity. In this regard, we propose a novel and generic framework called ``Label-Efficient Unsupervised Domain Adaptation"~(LE-UDA). In LE-UDA, we construct self-ensembling consistency for knowledge transfer between both domains, as well as a self-ensembling adversarial learning module to achieve better feature alignment for UDA. To assess the effectiveness of our method, we conduct extensive experiments on two different tasks for cross-modality segmentation between MRI and CT images. Experimental results demonstrate that the proposed LE-UDA can efficiently leverage limited source labels to improve cross-domain segmentation performance, outperforming state-of-the-art UDA approaches in the literature. Code is available at: https://github.com/jacobzhaoziyuan/LE-UDA.
translated by 谷歌翻译
无监督的域适应性(UDA)是解决一个问题的关键技术之一,很难获得监督学习所需的地面真相标签。通常,UDA假设在培训过程中可以使用来自源和目标域中的所有样本。但是,在涉及数据隐私问题的应用下,这不是现实的假设。为了克服这一限制,最近提出了无源数据的UDA,即无源无监督的域适应性(SFUDA)。在这里,我们提出了一种用于医疗图像分割的SFUDA方法。除了在UDA中通常使用的熵最小化方法外,我们还引入了一个损失函数,以避免目标域中的特征规范和在保留目标器官的形状约束之前。我们使用数据集进行实验,包括多种类型的源目标域组合,以显示我们方法的多功能性和鲁棒性。我们确认我们的方法优于所有数据集中的最先进。
translated by 谷歌翻译
这项工作提出了一个新颖的框架CISFA(对比图像合成和自我监督的特征适应),该框架建立在图像域翻译和无监督的特征适应性上,以进行跨模式生物医学图像分割。与现有作品不同,我们使用单方面的生成模型,并在输入图像的采样贴片和相应的合成图像之间添加加权贴片对比度损失,该图像用作形状约束。此外,我们注意到生成的图像和输入图像共享相似的结构信息,但具有不同的方式。因此,我们在生成的图像和输入图像上强制实施对比损失,以训练分割模型的编码器,以最大程度地减少学到的嵌入空间中成对图像之间的差异。与依靠对抗性学习进行特征适应的现有作品相比,这种方法使编码器能够以更明确的方式学习独立于域的功能。我们对包含腹腔和全心的CT和MRI图像的分割任务进行了广泛评估。实验结果表明,所提出的框架不仅输出了较小的器官形状变形的合成图像,而且还超过了最先进的域适应方法的较大边缘。
translated by 谷歌翻译
批准(BN)均匀地基于一批图像的统计数据均匀地移动并缩放激活。但是,背景像素的强度分布通常主导了BN统计数据,因为背景占整个图像的很大比例。本文着重于通过前景像素的强度分布增强BN,这对于图像分割至关重要。我们提出了一种新的归一化策略,称为分类归一化(结合型),以根据分类统计数据使激活归一化。分类统计数据是通过动态调节属于前景的图像中的特定区域而获得的。结合型在从不同域获得的五个公共数据集展示了精确和稳健的分割结果,涵盖了复杂和可变的数据分布。这归因于结合体从医疗数据的多个领域(机构)捕获域不变的信息的能力。代码可从https://github.com/lambert-x/catenorm获得。
translated by 谷歌翻译
域的概括通常需要来自多个源域的数据才能进行模型学习。但是,这种强大的假设可能并不总是在实践中成立,尤其是在数据共享高度关注,有时由于隐私问题而高度刺激的医学领域。本文研究了重要但具有挑战性的单个领域概括问题,其中在最坏情况下仅具有一个源域,可以直接概括到不同看不见的目标域。我们提出了一种在医学图像分割中解决此问题的新方法,该方法可以提取并集成了跨域不变的分割的语义形状的先验信息,即使是从单个域数据中也可以很好地捕捉,以促进分布偏移下的分割。此外,进一步设计了具有双偶然性正则化的测试时间适应策略,以促进每个看不见的域下这些形状先验的动态融合,以提高模型的通用性。对两个医学图像分割任务进行的广泛实验证明了我们在各种看不见的领域中的方法的一致改进,以及在最坏情况下,它比最先进的方法相比,它优于最先进的方法。
translated by 谷歌翻译
卷积神经网络已广泛应用于医学图像分割,并取得了相当大的性能。但是,性能可能会受到训练数据(源域)和测试数据(目标域)之间域间隙的显着影响。为了解决此问题,我们提出了一种基于数据操作的域泛化方法,称为域概括(AADG)的自动增强。我们的AADG框架可以有效地采样数据增强策略,从而产生新的领域并从适当的搜索空间中多样化训练集。具体而言,我们介绍了一项新的代理任务,以最大程度地提高了多个增强新颖的域之间的多样性,该域通过单位球体空间中的凹痕距离来衡量,从而使自动化的增强可牵引。对抗性训练和深入的强化学习有效地搜索了目标。全面执行了11个公开底部的底面图像数据集的定量和定性实验(四个用于视网膜血管分割,四个用于视盘和杯子和杯(OD/OC)分割(OD/OC)分割,视网膜病变细分进行了三个)。两个用于视网膜脉管系统分割的八八个数据集进一步涉及验证跨模式泛化。我们提出的AADG通过视网膜船,OD/OC和病变细分任务的相当大的利润来表现出最新的概括性能,并优于现有方法。学到的政策在经验上得到了证实为模型不平衡,并且可以很好地转移到其他模型中。源代码可在https://github.com/crazorback/aadg上找到。
translated by 谷歌翻译
磁共振图像(MRI)被广泛用于量化前庭切片瘤和耳蜗。最近,深度学习方法显示了用于分割这些结构的最先进的性能。但是,培训细分模型可能需要目标域中的手动标签,这是昂贵且耗时的。为了克服这个问题,域的适应是一种有效的方法,可以利用来自源域的信息来获得准确的分割,而无需在目标域中进行手动标签。在本文中,我们提出了一个无监督的学习框架,以分割VS和耳蜗。我们的框架从对比增强的T1加权(CET1-W)MRI及其标签中利用信息,并为T2加权MRIS产生分割,而目标域中没有任何标签。我们首先应用了一个发电机来实现图像到图像翻译。接下来,我们从不同模型的集合中集合输出以获得最终的分割。为了应对来自不同站点/扫描仪的MRI,我们在培训过程中应用了各种“在线”增强量,以更好地捕获几何变异性以及图像外观和质量的可变性。我们的方法易于构建和产生有希望的分割,在验证集中,VS和耳蜗的平均骰子得分分别为0.7930和0.7432。
translated by 谷歌翻译
深度学习模型通常遭受域移位问题,其中一个源域培训的模型不会概括到其他看不见的域。在这项工作中,我们调查了单源域泛化问题:培训一个深入的网络,在训练数据仅从一个源域中获得的训练数据中的条件,这是在医学成像应用程序中常见的情况下。我们在跨域医学图像分割的背景下解决这个问题。在这种情况下,域移主要由不同的采集过程引起。我们提出了一种简单的因果关系激发数据增强方法,使分段模型暴露于合成域移位的训练示例。具体而言,1)使得深度模型在图像强度和纹理中的差异差异,我们采用了一系列随机加权浅网络。他们使用不同的外观变换来增强训练图像。 2)此外,我们表明图像中物体之间的虚假相关性对域的鲁棒性有害。网络可能被网络作为特定于域的线索进行预测的相关性,并且它们可能会破坏看不见的域。我们通过因果干预删除这些杂散相关性。这是通过分层潜在相关对象的外表来实现的。所提出的方法在三个横域分割任务上验证:跨型号(CT-MRI)腹部图像分割,串序(BSSFP-LGE)心动MRI分割和跨中心前列腺MRI分段。当在看不见的域测试时,所提出的方法与竞争方法相比,与竞争方法相比产生一致的性能。
translated by 谷歌翻译
最近,由于受监督人员重新识别(REID)的表现不佳,域名概括(DG)人REID引起了很多关注,旨在学习一个不敏感的模型,并可以抵抗域的影响偏见。在本文中,我们首先通过实验验证样式因素是域偏差的重要组成部分。基于这个结论,我们提出了一种样式变量且无关紧要的学习方法(SVIL)方法,以消除样式因素对模型的影响。具体来说,我们在SVIL中设计了样式的抖动模块(SJM)。 SJM模块可以丰富特定源域的样式多样性,并减少各种源域的样式差异。这导致该模型重点关注与身份相关的信息,并对样式变化不敏感。此外,我们将SJM模块与元学习算法有机结合,从而最大程度地提高了好处并进一步提高模型的概括能力。请注意,我们的SJM模块是插件和推理,无需成本。广泛的实验证实了我们的SVIL的有效性,而我们的方法的表现优于DG-REID基准测试的最先进方法。
translated by 谷歌翻译
The crossMoDA challenge aims to automatically segment the vestibular schwannoma (VS) tumor and cochlea regions of unlabeled high-resolution T2 scans by leveraging labeled contrast-enhanced T1 scans. The 2022 edition extends the segmentation task by including multi-institutional scans. In this work, we proposed an unpaired cross-modality segmentation framework using data augmentation and hybrid convolutional networks. Considering heterogeneous distributions and various image sizes for multi-institutional scans, we apply the min-max normalization for scaling the intensities of all scans between -1 and 1, and use the voxel size resampling and center cropping to obtain fixed-size sub-volumes for training. We adopt two data augmentation methods for effectively learning the semantic information and generating realistic target domain scans: generative and online data augmentation. For generative data augmentation, we use CUT and CycleGAN to generate two groups of realistic T2 volumes with different details and appearances for supervised segmentation training. For online data augmentation, we design a random tumor signal reducing method for simulating the heterogeneity of VS tumor signals. Furthermore, we utilize an advanced hybrid convolutional network with multi-dimensional convolutions to adaptively learn sparse inter-slice information and dense intra-slice information for accurate volumetric segmentation of VS tumor and cochlea regions in anisotropic scans. On the crossMoDA2022 validation dataset, our method produces promising results and achieves the mean DSC values of 72.47% and 76.48% and ASSD values of 3.42 mm and 0.53 mm for VS tumor and cochlea regions, respectively.
translated by 谷歌翻译
尽管数据增强和转移学习有所进步,但卷积神经网络(CNNS)难以推广到看不见的域。在分割大脑扫描时,CNN对分辨率和对比度的变化非常敏感:即使在相同的MRI模式内,则性能可能会跨数据集减少。在这里,我们介绍了Synthseg,第一个分段CNN无关紧要对比和分辨率。 Synthseg培训,用从分段上的生成模型采样的合成数据培训。至关重要,我们采用域随机化策略,我们完全随机开启了合成培训数据的对比度和解决。因此,Synthseg可以在没有再培训或微调的情况下对任何目标结构域进行真实扫描,这是首次分析大量的异构临床数据。因为Synthseg仅需要进行培训(无图像),所以它可以从通过不同群体的对象(例如,老化和患病)的自动化方法获得的标签中学习,从而实现广泛的形态变异性的鲁棒性。我们展示了Synthseg在六种方式的5,300扫描和十项决议中,与监督CNN,最先进的域适应和贝叶斯分割相比,它表现出无与伦比的泛化。最后,我们通过将其施加到心脏MRI和CT分割来证明SyntheeG的恒定性。
translated by 谷歌翻译
最小化分布匹配损失是在图像分类的背景下的域适应的原则方法。但是,在适应分割网络中,它基本上被忽略,目前由对抗模型主导。我们提出了一系列损失函数,鼓励在网络输出空间中直接核心密度匹配,直至从未标记的输入计算的一些几何变换。我们的直接方法而不是使用中间域鉴别器,而不是使用单一损失统一分发匹配和分段。因此,它通过避免额外的对抗步骤来简化分段适应,同时提高培训的质量,稳定性和效率。我们通过网络输出空间的对抗培训使我们对最先进的分段适应的方法并置。在对不同磁共振图像(MRI)方式相互调整脑细分的具有挑战性的任务中,我们的方法在准确性和稳定性方面取得了明显的结果。
translated by 谷歌翻译