我们提出了一种无监督的域适应(UDA)方法,用于白质超强度(WMH)分割,其使用具有不确定性依赖标签改进的自我训练(果馅乳头)。最近被引入自我培训作为UDA的高效方法,这是基于自我产生的伪标签。但是,伪标签可能非常嘈杂,因此模型性能恶化。我们建议预测伪标签的不确定性,并将其整合在培训过程中,以不确定性导向的损失功能来突出以高确定性突出标签。通过在伪标签生成中结合现有方法的分割输出,进一步改善了馅馅乳头片,其显示为WMH分割的高稳健性。在我们的实验中,我们评估具有标准U-Net和具有更高接受领域的修改网络的批发力。我们的结果在数据集中的WMH分割展示了标准自我训练方面的恒星的显着改善。
translated by 谷歌翻译
多发性硬化症(MS)是中枢神经系统的慢性炎症和退行性疾病,其特征在于,白色和灰质的外观与个体患者的神经症状和标志进行地平整相关。磁共振成像(MRI)提供了详细的体内结构信息,允许定量和分类MS病变,其批判性地通知疾病管理。传统上,MS病变在2D MRI切片上手动注释,一个流程效率低,易于观察室内误差。最近,已经提出了自动统计成像分析技术以基于MRI体素强度检测和分段段病变。然而,它们的有效性受到MRI数据采集技术的异质性和MS病变的外观的限制。通过直接从图像学习复杂的病变表现,深度学习技术已经在MS病变分割任务中取得了显着的突破。在这里,我们提供了全面审查最先进的自动统计和深度学习MS分段方法,并讨论当前和未来的临床应用。此外,我们审查了域适应等技术策略,以增强现实世界临床环境中的MS病变分段。
translated by 谷歌翻译
Objective: Thigh muscle group segmentation is important for assessment of muscle anatomy, metabolic disease and aging. Many efforts have been put into quantifying muscle tissues with magnetic resonance (MR) imaging including manual annotation of individual muscles. However, leveraging publicly available annotations in MR images to achieve muscle group segmentation on single slice computed tomography (CT) thigh images is challenging. Method: We propose an unsupervised domain adaptation pipeline with self-training to transfer labels from 3D MR to single CT slice. First, we transform the image appearance from MR to CT with CycleGAN and feed the synthesized CT images to a segmenter simultaneously. Single CT slices are divided into hard and easy cohorts based on the entropy of pseudo labels inferenced by the segmenter. After refining easy cohort pseudo labels based on anatomical assumption, self-training with easy and hard splits is applied to fine tune the segmenter. Results: On 152 withheld single CT thigh images, the proposed pipeline achieved a mean Dice of 0.888(0.041) across all muscle groups including sartorius, hamstrings, quadriceps femoris and gracilis. muscles Conclusion: To our best knowledge, this is the first pipeline to achieve thigh imaging domain adaptation from MR to CT. The proposed pipeline is effective and robust in extracting muscle groups on 2D single slice CT thigh images.The container is available for public use at https://github.com/MASILab/DA_CT_muscle_seg
translated by 谷歌翻译
尽管数据增强和转移学习有所进步,但卷积神经网络(CNNS)难以推广到看不见的域。在分割大脑扫描时,CNN对分辨率和对比度的变化非常敏感:即使在相同的MRI模式内,则性能可能会跨数据集减少。在这里,我们介绍了Synthseg,第一个分段CNN无关紧要对比和分辨率。 Synthseg培训,用从分段上的生成模型采样的合成数据培训。至关重要,我们采用域随机化策略,我们完全随机开启了合成培训数据的对比度和解决。因此,Synthseg可以在没有再培训或微调的情况下对任何目标结构域进行真实扫描,这是首次分析大量的异构临床数据。因为Synthseg仅需要进行培训(无图像),所以它可以从通过不同群体的对象(例如,老化和患病)的自动化方法获得的标签中学习,从而实现广泛的形态变异性的鲁棒性。我们展示了Synthseg在六种方式的5,300扫描和十项决议中,与监督CNN,最先进的域适应和贝叶斯分割相比,它表现出无与伦比的泛化。最后,我们通过将其施加到心脏MRI和CT分割来证明SyntheeG的恒定性。
translated by 谷歌翻译
无监督的域适应性(UDA)是一个至关重要的协议,用于迁移从标记的源域中学到的信息,以促进未标记的异质目标域中的实现。尽管UDA通常经过来自两个域的数据的共同培训,但由于对患者数据隐私或知识产权的担忧,访问标记的源域数据通常受到限制。为了避开此问题,我们提出了“现成的(OS)” UDA(OSUDA),针对图像分割,通过调整在源域中训练的OS进行调整到目标域,在适应中没有源域数据的情况下, 。为了实现这一目标,我们旨在开发新的批准归一化(BN)统计适应框架。特别是,我们通过指数型衰减策略逐渐适应了特定于域的低阶BN统计数据,例如平均值和差异,同时明确执行可共享的可共享高阶BN统计的一致性,例如,扩展和转移因子缩放和转移因子。 ,通过我们的优化目标。我们还通过低阶统计差异和缩放因素来自适应量化通道的可传递性,以评估每个通道的重要性。记忆一致的自我训练策略利用可靠的伪标签来稳定,有效的无监督适应。我们评估了基于OSUDA的跨模式和交叉型脑肿瘤分割和心脏MR到CT分割任务的框架。我们的实验结果表明,我们的内存一致性的OSUDA的性能优于现有的 - 源 - 删除的UDA方法,并且具有与源数据的UDA方法相似的性能。
translated by 谷歌翻译
域适应(DA)最近在医学影像社区提出了强烈的兴趣。虽然已经提出了大量DA技术进行了用于图像分割,但大多数这些技术已经在私有数据集或小公共可用数据集上验证。此外,这些数据集主要解决了单级问题。为了解决这些限制,与第24届医学图像计算和计算机辅助干预(Miccai 2021)结合第24届国际会议组织交叉模态域适应(Crossmoda)挑战。 Crossmoda是无监督跨型号DA的第一个大型和多级基准。挑战的目标是分割参与前庭施瓦新瘤(VS)的后续和治疗规划的两个关键脑结构:VS和Cochleas。目前,使用对比度增强的T1(CET1)MRI进行VS患者的诊断和监测。然而,使用诸如高分辨率T2(HRT2)MRI的非对比度序列越来越感兴趣。因此,我们创建了一个无人监督的跨模型分段基准。训练集提供注释CET1(n = 105)和未配对的非注释的HRT2(n = 105)。目的是在测试集中提供的HRT2上自动对HRT2进行单侧VS和双侧耳蜗分割(n = 137)。共有16支球队提交了评估阶段的算法。顶级履行团队达成的表现水平非常高(最佳中位数骰子 - vs:88.4%; Cochleas:85.7%)并接近完全监督(中位数骰子 - vs:92.5%;耳蜗:87.7%)。所有顶级执行方法都使用图像到图像转换方法将源域图像转换为伪目标域图像。然后使用这些生成的图像和为源图像提供的手动注释进行培训分割网络。
translated by 谷歌翻译
基于对抗性学习的现有无监督的域适应方法在多个医学成像任务中取得了良好的表现。但是,这些方法仅着眼于全局分布适应,而忽略了类别级别的分布约束,这将导致次级适应性的性能。本文基于类别级别的正则化提出了一个无监督的域适应框架,该框架从三个角度正规化了类别分布。具体而言,对于域间类别的正则化,提出了一个自适应原型比对模块,以使源和目标域中同一类别的特征原型对齐。此外,对于域内类别的正则化,我们分别针对源和目标域定制了正则化技术。在源域中,提出了原型引导的判别性损失,以通过执行阶层内紧凑性和类间的分离性来学习更多的判别特征表示,并作为对传统监督损失的补充。在目标域中,提出了增强的一致性类别的正则化损失,以迫使该模型为增强/未增强目标图像提供一致的预测,这鼓励在语义上相似的区域给予相同的标签。在两个公共底面数据集上进行的广泛实验表明,所提出的方法显着优于其他最先进的比较算法。
translated by 谷歌翻译
半监督学习在医疗领域取得了重大进展,因为它减轻了收集丰富的像素的沉重负担,用于针对语义分割任务。现有的半监督方法增强了利用从有限标记数据获得的现有知识从未标记数据提取功能的能力。然而,由于标记数据的稀缺性,模型提取的特征在监督学习中受到限制,并且对未标记数据的预测质量也无法保证。两者都将妨碍一致培训。为此,我们提出了一种新颖的不确定性感知计划,以使模型自动学习地区。具体而言,我们采用Monte Carlo采样作为获得不确定性地图的估计方法,该方法可以作为损失损失的重量,以强制根据监督学习和无监督学习的特征将模型专注于有价值的区域。同时,在后退过程中,我们通过增强不同任务之间的梯度流动,联合无监督和监督损失来加速网络的融合。定量地,我们对三个挑战的医疗数据集进行了广泛的实验。实验结果表明,最先进的对应物的理想改善。
translated by 谷歌翻译
实现域适应是有价值的,以将学习知识从标记为CT数据集传输到腹部多器官分段的目标未标记的MR DataSet。同时,非常希望避免目标数据集的高注重成本并保护源数据集的隐私。因此,我们提出了一种有效的无核心无监督域适应方法,用于跨型号腹部多器官分段而不访问源数据集。所提出的框架的过程包括两个阶段。在第一阶段,特征映射统计损失用于对准顶部分段网络中的源和目标特征的分布,并使用熵最小化损耗来鼓励高席位细分。从顶部分段网络输出的伪标签用于指导样式补偿网络生成类似源图像。从中间分割网络输出的伪标签用于监督所需模型的学习(底部分段网络)。在第二阶段,循环学习和像素自适应掩模细化用于进一步提高所需模型的性能。通过这种方法,我们在肝脏,肾脏,左肾肾脏和脾脏的分割中实现了令人满意的性能,骰子相似系数分别为0.884,0.891,0.864和0.911。此外,当存在目标注释数据时,所提出的方法可以很容易地扩展到情况。该性能在平均骰子相似度系数的0.888至0.922增加到0.888至0.922,靠近监督学习(0.929),只有一个标记的MR卷。
translated by 谷歌翻译
形状信息在医学图像中分割器官方面是强大而有价值的先验。但是,当前大多数基于深度学习的分割算法尚未考虑形状信息,这可能导致对纹理的偏见。我们旨在明确地对形状进行建模并使用它来帮助医疗图像分割。先前的方法提出了基于变异的自动编码器(VAE)模型,以了解特定器官的形状分布,并通过将其拟合到学习的形状分布中来自动评估分割预测的质量。我们旨在将VAE纳入当前的分割管道中。具体而言,我们提出了一种基于伪损失和在教师学习范式下的VAE重建损失的新的无监督域适应管道。两种损失都是同时优化的,作为回报,提高了分割任务性能。对三个公共胰腺细分数据集以及两个内部胰腺细分数据集进行了广泛的实验,显示了一致的改进,骰子分数中至少有2.8分的增益,这表明了我们方法在挑战无监督的域适应性方案中对医学图像分割的有效性。我们希望这项工作能够在医学成像中提高形状分析和几何学习。
translated by 谷歌翻译
卷积神经网络(CNN)已经实现了医学图像细分的最先进性能,但需要大量的手动注释进行培训。半监督学习(SSL)方法有望减少注释的要求,但是当数据集大小和注释图像的数量较小时,它们的性能仍然受到限制。利用具有类似解剖结构的现有注释数据集来协助培训,这有可能改善模型的性能。然而,由于目标结构的外观不同甚至成像方式,跨解剖结构域的转移进一步挑战。为了解决这个问题,我们提出了跨解剖结构域适应(CS-CADA)的对比度半监督学习,该学习适应一个模型以在目标结构域中细分相似的结构,这仅需要通过利用一组现有现有的现有的目标域中的限制注释源域中相似结构的注释图像。我们使用特定领域的批归归量表(DSBN)来单独地标准化两个解剖域的特征图,并提出跨域对比度学习策略,以鼓励提取域不变特征。它们被整合到一个自我兼容的均值老师(SE-MT)框架中,以利用具有预测一致性约束的未标记的目标域图像。广泛的实验表明,我们的CS-CADA能够解决具有挑战性的跨解剖结构域移位问题,从而在视网膜血管图像和心脏MR图像的帮助下,在X射线图像中准确分割冠状动脉,并借助底底图像,分别仅给定目标域中的少量注释。
translated by 谷歌翻译
While deep learning methods hitherto have achieved considerable success in medical image segmentation, they are still hampered by two limitations: (i) reliance on large-scale well-labeled datasets, which are difficult to curate due to the expert-driven and time-consuming nature of pixel-level annotations in clinical practices, and (ii) failure to generalize from one domain to another, especially when the target domain is a different modality with severe domain shifts. Recent unsupervised domain adaptation~(UDA) techniques leverage abundant labeled source data together with unlabeled target data to reduce the domain gap, but these methods degrade significantly with limited source annotations. In this study, we address this underexplored UDA problem, investigating a challenging but valuable realistic scenario, where the source domain not only exhibits domain shift~w.r.t. the target domain but also suffers from label scarcity. In this regard, we propose a novel and generic framework called ``Label-Efficient Unsupervised Domain Adaptation"~(LE-UDA). In LE-UDA, we construct self-ensembling consistency for knowledge transfer between both domains, as well as a self-ensembling adversarial learning module to achieve better feature alignment for UDA. To assess the effectiveness of our method, we conduct extensive experiments on two different tasks for cross-modality segmentation between MRI and CT images. Experimental results demonstrate that the proposed LE-UDA can efficiently leverage limited source labels to improve cross-domain segmentation performance, outperforming state-of-the-art UDA approaches in the literature. Code is available at: https://github.com/jacobzhaoziyuan/LE-UDA.
translated by 谷歌翻译
简介白质超强度(WMHS)的自动分割是磁共振成像(MRI)神经影像分析的重要步骤。流体减弱的反转恢复(FLAIR加权)是MRI对比度,对于可视化和量化WMHS,这是脑小血管疾病和阿尔茨海默氏病(AD)特别有用的。临床MRI方案迁移到三维(3D)FLAIR加权的采集,以在所有三个体素维度中实现高空间分辨率。当前的研究详细介绍了深度学习工具的部署,以使自动化的WMH分割和表征从获得的3D Flair加权图像作为国家广告成像计划的一部分获得。 DDI研究中的642名参与者(283名男性,平均年龄:(65.18 +/- 9.33)年)中的材料和方法,在五个国家收集地点进行了培训和验证两个内部网络。在642名参与者的内部数据和一个外部数据集中,对三个模型进行了测试,其中包含来自国际合作者的29个情况。这些测试集进行了独立评估。使用了五个已建立的WMH性能指标与地面真理人体分割进行比较。测试的三个网络的结果,3D NNU-NET具有最佳性能,平均骰子相似性系数得分为0.78 +/- 0.10,其性能优于内部开发的2.5D模型和SOTA DEEP DEEP BAYESIAN网络。结论MRI协议中3D Flair加权图像的使用越来越多,我们的结果表明,WMH分割模型可以在3D数据上进行训练,并产生与无需更高的或更好的无需先进的WMH分割性能用于包括T1加权图像系列。
translated by 谷歌翻译
在许多图像引导的临床方法中,医学图像分割是一个基本和关键的步骤。基于深度学习的细分方法的最新成功通常取决于大量标记的数据,这特别困难且昂贵,尤其是在医学成像领域中,只有专家才能提供可靠和准确的注释。半监督学习已成为一种吸引人的策略,并广泛应用于医学图像分割任务,以训练注释有限的深层模型。在本文中,我们对最近提议的半监督学习方法进行了全面综述,并总结了技术新颖性和经验结果。此外,我们分析和讨论现有方法的局限性和几个未解决的问题。我们希望这篇评论可以激发研究界探索解决这一挑战的解决方案,并进一步促进医学图像细分领域的发展。
translated by 谷歌翻译
医学图像分割是许多临床方法的基本和关键步骤。半监督学习已被广​​泛应用于医学图像分割任务,因为它减轻了收购专家审查的注释的沉重负担,并利用了更容易获得的未标记数据的优势。虽然已被证明是通过实施不同分布下的预测的不变性的一致性学习,但现有方法无法充分利用来自未标记数据的区域级形状约束和边界级距离信息。在本文中,我们提出了一种新颖的不确定性引导的相互一致学习框架,通过将任务中的一致性学习与自组合和交叉任务一致性学习从任务级正则化的最新预测集成了任务内的一致性学习,从而有效地利用了未标记的数据利用几何形状信息。该框架是由模型的估计分割不确定性指导,以便为一致性学习选择相对某些预测,以便有效地利用来自未标记数据的更可靠的信息。我们在两个公开的基准数据集中广泛地验证了我们提出的方法:左心房分割(LA)数据集和大脑肿瘤分割(BRATS)数据集。实验结果表明,我们的方法通过利用未标记的数据和优于现有的半监督分段方法来实现性能增益。
translated by 谷歌翻译
深度学习模型的最新发展,捕捉作物物候的复杂的时间模式有卫星图像时间序列(坐在),大大高级作物分类。然而,当施加到目标区域从训练区空间上不同的,这些模型差没有任何目标标签由于作物物候区域之间的时间位移进行。为了解决这个无人监督跨区域适应环境,现有方法学域不变特征没有任何目标的监督,而不是时间偏移本身。因此,这些技术提供了SITS只有有限的好处。在本文中,我们提出TimeMatch,一种新的无监督领域适应性方法SITS直接占时移。 TimeMatch由两个部分组成:1)时间位移的估计,其估计具有源极训练模型的未标记的目标区域的时间偏移,和2)TimeMatch学习,它结合了时间位移估计与半监督学习到一个分类适应未标记的目标区域。我们还引进了跨区域适应的开放式访问的数据集与来自欧洲四个不同区域的旁边。在此数据集,我们证明了TimeMatch优于所有竞争的方法,通过11%的在五个不同的适应情景F1-得分,创下了新的国家的最先进的跨区域适应性。
translated by 谷歌翻译
Diabetic Retinopathy (DR) is a leading cause of vision loss in the world, and early DR detection is necessary to prevent vision loss and support an appropriate treatment. In this work, we leverage interactive machine learning and introduce a joint learning framework, termed DRG-Net, to effectively learn both disease grading and multi-lesion segmentation. Our DRG-Net consists of two modules: (i) DRG-AI-System to classify DR Grading, localize lesion areas, and provide visual explanations; (ii) DRG-Expert-Interaction to receive feedback from user-expert and improve the DRG-AI-System. To deal with sparse data, we utilize transfer learning mechanisms to extract invariant feature representations by using Wasserstein distance and adversarial learning-based entropy minimization. Besides, we propose a novel attention strategy at both low- and high-level features to automatically select the most significant lesion information and provide explainable properties. In terms of human interaction, we further develop DRG-Net as a tool that enables expert users to correct the system's predictions, which may then be used to update the system as a whole. Moreover, thanks to the attention mechanism and loss functions constraint between lesion features and classification features, our approach can be robust given a certain level of noise in the feedback of users. We have benchmarked DRG-Net on the two largest DR datasets, i.e., IDRID and FGADR, and compared it to various state-of-the-art deep learning networks. In addition to outperforming other SOTA approaches, DRG-Net is effectively updated using user feedback, even in a weakly-supervised manner.
translated by 谷歌翻译
Unsupervised domain adaptation (UDA) via deep learning has attracted appealing attention for tackling domain-shift problems caused by distribution discrepancy across different domains. Existing UDA approaches highly depend on the accessibility of source domain data, which is usually limited in practical scenarios due to privacy protection, data storage and transmission cost, and computation burden. To tackle this issue, many source-free unsupervised domain adaptation (SFUDA) methods have been proposed recently, which perform knowledge transfer from a pre-trained source model to unlabeled target domain with source data inaccessible. A comprehensive review of these works on SFUDA is of great significance. In this paper, we provide a timely and systematic literature review of existing SFUDA approaches from a technical perspective. Specifically, we categorize current SFUDA studies into two groups, i.e., white-box SFUDA and black-box SFUDA, and further divide them into finer subcategories based on different learning strategies they use. We also investigate the challenges of methods in each subcategory, discuss the advantages/disadvantages of white-box and black-box SFUDA methods, conclude the commonly used benchmark datasets, and summarize the popular techniques for improved generalizability of models learned without using source data. We finally discuss several promising future directions in this field.
translated by 谷歌翻译
Recent deep networks achieved state of the art performance on a variety of semantic segmentation tasks. Despite such progress, these models often face challenges in real world "wild tasks" where large difference between labeled training/source data and unseen test/target data exists. In particular, such difference is often referred to as "domain gap", and could cause significantly decreased performance which cannot be easily remedied by further increasing the representation power. Unsupervised domain adaptation (UDA) seeks to overcome such problem without target domain labels. In this paper, we propose a novel UDA framework based on an iterative self-training (ST) procedure, where the problem is formulated as latent variable loss minimization, and can be solved by alternatively generating pseudo labels on target data and re-training the model with these labels. On top of ST, we also propose a novel classbalanced self-training (CBST) framework to avoid the gradual dominance of large classes on pseudo-label generation, and introduce spatial priors to refine generated labels. Comprehensive experiments show that the proposed methods achieve state of the art semantic segmentation performance under multiple major UDA settings.⋆ indicates equal contribution.
translated by 谷歌翻译
目的:多发性硬化症(MS)是一种自身免疫和脱髓鞘疾病,导致中枢神经系统的病变。可以使用磁共振成像(MRI)跟踪和诊断该疾病。到目前为止,多数多层自动生物医学方法用于在成本,时间和可用性方面对患者没有有益的病变。本文的作者提出了一种使用只有一个模态(Flair Image)的方法,准确地将MS病变分段。方法:由3D-Reset和空间通道注意模块进行设计,灵活的基于补丁的卷积神经网络(CNN),以段MS病变。该方法由三个阶段组成:(1)对比度限制自适应直方图均衡(CLAHE)被施加到原始图像并连接到提取的边缘以形成4D图像; (2)尺寸80 * 80 * 80 * 2的贴片从4D图像中随机选择; (3)将提取的贴片传递到用于分割病变的关注的CNN中。最后,将所提出的方法与先前的相同数据集进行比较。结果:目前的研究评估了模型,具有测试集的ISIB挑战数据。实验结果表明,该方法在骰子相似性和绝对体积差方面显着超越了现有方法,而该方法仅使用一种模态(Flair)来分割病变。结论:作者推出了一种自动化的方法来分割基于最多两种方式作为输入的损伤。所提出的架构由卷积,解卷积和SCA-VOXRES模块作为注意模块组成。结果表明,所提出的方法优于与其他方法相比良好。
translated by 谷歌翻译