Skull stripping is a crucial prerequisite step in the analysis of brain magnetic resonance images (MRI). Although many excellent works or tools have been proposed, they suffer from low generalization capability. For instance, the model trained on a dataset with specific imaging parameters cannot be well applied to other datasets with different imaging parameters. Especially, for the lifespan datasets, the model trained on an adult dataset is not applicable to an infant dataset due to the large domain difference. To address this issue, numerous methods have been proposed, where domain adaptation based on feature alignment is the most common. Unfortunately, this method has some inherent shortcomings, which need to be retrained for each new domain and requires concurrent access to the input images of both domains. In this paper, we design a plug-and-play shape refinement (PSR) framework for multi-site and lifespan skull stripping. To deal with the domain shift between multi-site lifespan datasets, we take advantage of the brain shape prior, which is invariant to imaging parameters and ages. Experiments demonstrate that our framework can outperform the state-of-the-art methods on multi-site lifespan datasets.
translated by 谷歌翻译
对于医学图像分割,想象一下,如果仅使用源域中的MR图像训练模型,它的性能如何直接在目标域中进行CT图像?这种设置,即概括的跨模块分割,拥有其临床潜力,其比其他相关设置更具挑战性,例如域适应。为实现这一目标,我们本文通过利用在我们更广泛的分割期间利用增强的源相似和源不同的图像来提出新的双标准化模块。具体而言,给定单个源域,旨在模拟未经证明的目标域中可能的外观变化,我们首先利用非线性变换来增加源相似和源不同的图像。然后,为了充分利用这两种类型的增强,我们所提出的基于双重定量的模型采用共享骨干但独立的批量归一化层,用于单独归一化。之后,我们提出了一种基于风格的选择方案来自动选择测试阶段的适当路径。在三个公开可用的数据集上进行了广泛的实验,即Brats,跨型心脏和腹部多器官数据集表明我们的方法优于其他最先进的域概括方法。
translated by 谷歌翻译
域的概括通常需要来自多个源域的数据才能进行模型学习。但是,这种强大的假设可能并不总是在实践中成立,尤其是在数据共享高度关注,有时由于隐私问题而高度刺激的医学领域。本文研究了重要但具有挑战性的单个领域概括问题,其中在最坏情况下仅具有一个源域,可以直接概括到不同看不见的目标域。我们提出了一种在医学图像分割中解决此问题的新方法,该方法可以提取并集成了跨域不变的分割的语义形状的先验信息,即使是从单个域数据中也可以很好地捕捉,以促进分布偏移下的分割。此外,进一步设计了具有双偶然性正则化的测试时间适应策略,以促进每个看不见的域下这些形状先验的动态融合,以提高模型的通用性。对两个医学图像分割任务进行的广泛实验证明了我们在各种看不见的领域中的方法的一致改进,以及在最坏情况下,它比最先进的方法相比,它优于最先进的方法。
translated by 谷歌翻译
The crossMoDA challenge aims to automatically segment the vestibular schwannoma (VS) tumor and cochlea regions of unlabeled high-resolution T2 scans by leveraging labeled contrast-enhanced T1 scans. The 2022 edition extends the segmentation task by including multi-institutional scans. In this work, we proposed an unpaired cross-modality segmentation framework using data augmentation and hybrid convolutional networks. Considering heterogeneous distributions and various image sizes for multi-institutional scans, we apply the min-max normalization for scaling the intensities of all scans between -1 and 1, and use the voxel size resampling and center cropping to obtain fixed-size sub-volumes for training. We adopt two data augmentation methods for effectively learning the semantic information and generating realistic target domain scans: generative and online data augmentation. For generative data augmentation, we use CUT and CycleGAN to generate two groups of realistic T2 volumes with different details and appearances for supervised segmentation training. For online data augmentation, we design a random tumor signal reducing method for simulating the heterogeneity of VS tumor signals. Furthermore, we utilize an advanced hybrid convolutional network with multi-dimensional convolutions to adaptively learn sparse inter-slice information and dense intra-slice information for accurate volumetric segmentation of VS tumor and cochlea regions in anisotropic scans. On the crossMoDA2022 validation dataset, our method produces promising results and achieves the mean DSC values of 72.47% and 76.48% and ASSD values of 3.42 mm and 0.53 mm for VS tumor and cochlea regions, respectively.
translated by 谷歌翻译
未经监督的域适应(UDA)在两个明显不同的域之间学习高级语义对齐是一个至关重要的又具有挑战性的任务。〜在此目的,在这项工作中,我们建议利用低级边缘信息来促进适应作为前体任务具有小的跨域间隙,与语义分割相比具有小的跨域间隙。〜精确的轮廓然后提供用于引导语义适应的空间信息。更具体地,我们提出了一种多任务框架来学习轮廓调整网络以及语义分割适应网络,其将磁共振成像(MRI)切片及其初始边缘图作为输入。〜这两个网络是共同训练的源域标签,以及特征和边缘地图级对冲学习进行跨域对齐。此外,还包含自熵最小化,以进一步提高分割性能。我们在Brats2018数据库中评估了脑肿瘤的跨态分割的框架,呈现了与竞争方法相比我们方法的有效性和优越性。
translated by 谷歌翻译
基于图像补丁重建的自我监督学习方法在培训自动编码器方面取得了巨大的成功,其预训练的权重可以转移到微调图像理解的其他下游任务。但是,现有方法很少研究重建斑块的各种重要性和解剖结构的对称性,当它们应用于3D医学图像时。在本文中,我们提出了一种基于3D脑MRI分割任务的视觉变压器(VIT)的新颖的对称自动编码器(ASA)。我们猜想,强迫自动编码器恢复信息性图像区域可以收获更多的判别性表示,而不是恢复光滑的图像贴片。然后,我们采用基于梯度的指标来估计每个图像补丁的重要性。在预训练阶段,提议的自动编码器更多地注意根据梯度指标重建信息贴片。此外,我们求助于大脑结构的先验,并开发一种对称位置编码(SPE)方法,以更好地利用远距离但空间对称区域之间的相关性以获得有效的特征。实验结果表明,我们提出的细心对称自动编码器的表现优于三个大脑MRI分割基准的最先进的自我监督学习方法和医学图像分割模型。
translated by 谷歌翻译
精确的心脏计算,多种式图像的分析和建模对于心脏病的诊断和治疗是重要的。晚期钆增强磁共振成像(LGE MRI)是一种有希望的技术,可视化和量化心肌梗塞(MI)和心房疤痕。由于LGE MRI的低图像质量和复杂的增强图案,MI和心房疤痕的自动化量可能是具有挑战性的。此外,与带金标准标签的其他序列LGE MRIS相比特别有限,这表示用于开发用于自动分割和LGE MRIS定量的新型算法的另一个障碍。本章旨在总结最先进的基于深度学习的多模态心脏图像分析的先进贡献。首先,我们向基于多序心脏MRI的心肌和病理分割介绍了两个基准工作。其次,提出了两种新的左心房瘢痕分割和从LGE MRI定量的新型框架。第三,我们为跨型心脏图像分割提出了三种无监督的域适应技术。
translated by 谷歌翻译
从磁共振成像(MRI)数据(称为颅骨条状)中去除非脑信号是许多神经图像分析流的组成部分。尽管它们很丰富,但通常是针对具有特定采集特性的图像量身定制的,即近乎各向异性的分辨率和T1加权(T1W)MRI对比度,这些分辨率在研究环境中很普遍。结果,现有的工具倾向于适应其他图像类型,例如在诊所常见的快速旋转回声(FSE)MRI中获得的厚切片。尽管近年来基于学习的大脑提取方法已获得吸引力,但这些方法面临着类似的负担,因为它们仅对训练过程中看到的图像类型有效。为了在成像协议的景观中实现强大的颅骨缠身,我们引入了Synthstrip,这是一种快速,基于学习的脑萃取工具。通过利用解剖学分割来生成具有解剖学,强度分布和远远超过现实医学图像范围的完全合成训练数据集,Synthstrip学会了成功推广到各种真实获得的大脑图像,从而消除了使用训练数据的需求目标对比。我们证明了合成条的功效对受试者人群的各种图像采集和决议的功效,从新生儿到成人。我们显示出与流行的颅骨基线的准确性的实质性提高 - 所有这些基线都采用单个训练有素的模型。我们的方法和标记的评估数据可在https://w3id.org/synthstrip上获得。
translated by 谷歌翻译
多发性硬化症(MS)是中枢神经系统的慢性炎症和退行性疾病,其特征在于,白色和灰质的外观与个体患者的神经症状和标志进行地平整相关。磁共振成像(MRI)提供了详细的体内结构信息,允许定量和分类MS病变,其批判性地通知疾病管理。传统上,MS病变在2D MRI切片上手动注释,一个流程效率低,易于观察室内误差。最近,已经提出了自动统计成像分析技术以基于MRI体素强度检测和分段段病变。然而,它们的有效性受到MRI数据采集技术的异质性和MS病变的外观的限制。通过直接从图像学习复杂的病变表现,深度学习技术已经在MS病变分割任务中取得了显着的突破。在这里,我们提供了全面审查最先进的自动统计和深度学习MS分段方法,并讨论当前和未来的临床应用。此外,我们审查了域适应等技术策略,以增强现实世界临床环境中的MS病变分段。
translated by 谷歌翻译
在多模式分割领域中,可以考虑不同方式之间的相关性以改善分段结果。考虑到不同MR模型之间的相关性,在本文中,我们提出了一种由新型三关注融合引导的多模态分段网络。我们的网络包括与N个图像源,三关注融合块,双关注融合块和解码路径的N个独立于模型编码路径。独立编码路径的模型可以从n个模式捕获模态特征。考虑到从编码器中提取的所有功能都非常有用,我们建议使用基于双重的融合来重量沿模态和空间路径的特征,可以抑制更少的信息特征,并强调每个模态的有用的功能在不同的位置。由于不同模式之间存在强烈的相关性,基于双重关注融合块,我们提出了一种相关注意模块来形成三关注融合块。在相关性注意模块中,首先使用相关描述块来学习模态之间的相关性,然后基于相关性的约束来指导网络以学习对分段更相关的潜在相关特征。最后,通过解码器投影所获得的融合特征表示以获得分段结果。我们对Brats 2018年脑肿瘤分割进行测试的实验结果证明了我们提出的方法的有效性。
translated by 谷歌翻译
MRI中胎儿结构的体积测量很耗时,并且容易发生错误,因此需要自动分割。由于胎盘模糊边界和胎儿脑皮层复杂的褶皱,胎盘分割和准确的胎儿脑分割进行回旋评估特别具有挑战性。在本文中,我们研究了对问题的轮廓骰子损失的使用,并将其与其他边界损失以及联合骰子和横向内向损失进行比较。通过侵蚀,扩张和XOR操作员有效地计算出每个切片的损失。我们描述了类似于轮廓骰子指标的损失的新公式。骰子损失和轮廓骰子的组合为胎盘分割提供了最佳性能。对于胎儿脑部分割,最佳性能的损失是结合骰子丢失,随后是骰子和轮廓骰子损失的骰子,其性能比其他边界损失更好。
translated by 谷歌翻译
临床实践中使用的医学图像是异质的,与学术研究中研究的扫描质量不同。在解剖学,伪影或成像参数不寻常或方案不同的极端情况下,预处理会分解。最需要对这些变化的方法可靠。提出了一种新颖的深度学习方法,以将人脑快速分割为132个区域。提出的模型使用有效的U-NET型网络,并从不同视图和分层关系的交点上受益,以在端到端训练期间融合正交2D平面和脑标签。部署了弱监督的学习,以利用部分标记的数据来进行整个大脑分割和颅内体积(ICV)的估计。此外,数据增强用于通过生成具有较高的脑扫描的磁共振成像(MRI)数据来扩展模型训练,同时保持数据隐私。提出的方法可以应用于脑MRI数据,包括头骨或任何其他工件,而无需预处理图像或性能下降。与最新的一些实验相比,使用了不同的Atlases的几项实验,以评估受过训练模型的分割性能,并且与不同内部和不同内部和不同内部方法的现有方法相比,结果显示了较高的分割精度和鲁棒性。间域数据集。
translated by 谷歌翻译
卷积神经网络(CNN)已经实现了医学图像细分的最先进性能,但需要大量的手动注释进行培训。半监督学习(SSL)方法有望减少注释的要求,但是当数据集大小和注释图像的数量较小时,它们的性能仍然受到限制。利用具有类似解剖结构的现有注释数据集来协助培训,这有可能改善模型的性能。然而,由于目标结构的外观不同甚至成像方式,跨解剖结构域的转移进一步挑战。为了解决这个问题,我们提出了跨解剖结构域适应(CS-CADA)的对比度半监督学习,该学习适应一个模型以在目标结构域中细分相似的结构,这仅需要通过利用一组现有现有的现有的目标域中的限制注释源域中相似结构的注释图像。我们使用特定领域的批归归量表(DSBN)来单独地标准化两个解剖域的特征图,并提出跨域对比度学习策略,以鼓励提取域不变特征。它们被整合到一个自我兼容的均值老师(SE-MT)框架中,以利用具有预测一致性约束的未标记的目标域图像。广泛的实验表明,我们的CS-CADA能够解决具有挑战性的跨解剖结构域移位问题,从而在视网膜血管图像和心脏MR图像的帮助下,在X射线图像中准确分割冠状动脉,并借助底底图像,分别仅给定目标域中的少量注释。
translated by 谷歌翻译
磁共振图像(MRI)被广泛用于量化前庭切片瘤和耳蜗。最近,深度学习方法显示了用于分割这些结构的最先进的性能。但是,培训细分模型可能需要目标域中的手动标签,这是昂贵且耗时的。为了克服这个问题,域的适应是一种有效的方法,可以利用来自源域的信息来获得准确的分割,而无需在目标域中进行手动标签。在本文中,我们提出了一个无监督的学习框架,以分割VS和耳蜗。我们的框架从对比增强的T1加权(CET1-W)MRI及其标签中利用信息,并为T2加权MRIS产生分割,而目标域中没有任何标签。我们首先应用了一个发电机来实现图像到图像翻译。接下来,我们从不同模型的集合中集合输出以获得最终的分割。为了应对来自不同站点/扫描仪的MRI,我们在培训过程中应用了各种“在线”增强量,以更好地捕获几何变异性以及图像外观和质量的可变性。我们的方法易于构建和产生有希望的分割,在验证集中,VS和耳蜗的平均骰子得分分别为0.7930和0.7432。
translated by 谷歌翻译
前列腺活检和图像引导的治疗程序通常是在与磁共振图像(MRI)的超声指导下进行的。准确的图像融合依赖于超声图像上前列腺的准确分割。然而,超声图像中降低的信噪比和工件(例如,斑点和阴影)限制了自动前列腺分割技术的性能,并将这些方法推广到新的图像域是本质上很难的。在这项研究中,我们通过引入一种新型的2.5D深神经网络来解决这些挑战,用于超声图像上的前列腺分割。我们的方法通过组合有监督的域适应技术和知识蒸馏损失,解决了转移学习和填充方法的局限性(即,在更新模型权重时,在更新模型权重时的性能下降)。知识蒸馏损失允许保留先前学习的知识,并在新数据集上的模型填充后降低性能下降。此外,我们的方法依赖于注意模块,该模块认为模型特征定位信息以提高分割精度。我们对一个机构的764名受试者进行了培训,并仅使用后续机构中的十个受试者对我们的模型进行了审核。我们分析了方法在三个大型数据集上的性能,其中包括来自三个不同机构的2067名受试者。我们的方法达到了平均骰子相似性系数(骰子)为$ 94.0 \ pm0.03 $,而Hausdorff距离(HD95)为2.28 $ mm $,在第一机构的独立受试者中。此外,我们的模型在其他两个机构的研究中都很好地概括了(骰子:$ 91.0 \ pm0.03 $; hd95:3.7 $ mm $ and Dice:$ 82.0 \ pm0.03 $; hd95 $; hd95:7.1 $ mm $)。
translated by 谷歌翻译
实现域适应是有价值的,以将学习知识从标记为CT数据集传输到腹部多器官分段的目标未标记的MR DataSet。同时,非常希望避免目标数据集的高注重成本并保护源数据集的隐私。因此,我们提出了一种有效的无核心无监督域适应方法,用于跨型号腹部多器官分段而不访问源数据集。所提出的框架的过程包括两个阶段。在第一阶段,特征映射统计损失用于对准顶部分段网络中的源和目标特征的分布,并使用熵最小化损耗来鼓励高席位细分。从顶部分段网络输出的伪标签用于指导样式补偿网络生成类似源图像。从中间分割网络输出的伪标签用于监督所需模型的学习(底部分段网络)。在第二阶段,循环学习和像素自适应掩模细化用于进一步提高所需模型的性能。通过这种方法,我们在肝脏,肾脏,左肾肾脏和脾脏的分割中实现了令人满意的性能,骰子相似系数分别为0.884,0.891,0.864和0.911。此外,当存在目标注释数据时,所提出的方法可以很容易地扩展到情况。该性能在平均骰子相似度系数的0.888至0.922增加到0.888至0.922,靠近监督学习(0.929),只有一个标记的MR卷。
translated by 谷歌翻译
Many clinical and research studies of the human brain require an accurate structural MRI segmentation. While traditional atlas-based methods can be applied to volumes from any acquisition site, recent deep learning algorithms ensure very high accuracy only when tested on data from the same sites exploited in training (i.e., internal data). The performance degradation experienced on external data (i.e., unseen volumes from unseen sites) is due to the inter-site variabilities in intensity distributions induced by different MR scanner models, acquisition parameters, and unique artefacts. To mitigate this site-dependency, often referred to as the scanner effect, we propose LOD-Brain, a 3D convolutional neural network with progressive levels-of-detail (LOD) able to segment brain data from any site. Coarser network levels are responsible to learn a robust anatomical prior useful for identifying brain structures and their locations, while finer levels refine the model to handle site-specific intensity distributions and anatomical variations. We ensure robustness across sites by training the model on an unprecedented rich dataset aggregating data from open repositories: almost 27,000 T1w volumes from around 160 acquisition sites, at 1.5 - 3T, from a population spanning from 8 to 90 years old. Extensive tests demonstrate that LOD-Brain produces state-of-the-art results, with no significant difference in performance between internal and external sites, and robust to challenging anatomical variations. Its portability opens the way for large scale application across different healthcare institutions, patient populations, and imaging technology manufacturers. Code, model, and demo are available at the project website.
translated by 谷歌翻译
无监督的域适应性(UDA)是解决一个问题的关键技术之一,很难获得监督学习所需的地面真相标签。通常,UDA假设在培训过程中可以使用来自源和目标域中的所有样本。但是,在涉及数据隐私问题的应用下,这不是现实的假设。为了克服这一限制,最近提出了无源数据的UDA,即无源无监督的域适应性(SFUDA)。在这里,我们提出了一种用于医疗图像分割的SFUDA方法。除了在UDA中通常使用的熵最小化方法外,我们还引入了一个损失函数,以避免目标域中的特征规范和在保留目标器官的形状约束之前。我们使用数据集进行实验,包括多种类型的源目标域组合,以显示我们方法的多功能性和鲁棒性。我们确认我们的方法优于所有数据集中的最先进。
translated by 谷歌翻译
前列腺癌是美国男性癌症死亡的第二大原因。前列腺MRI的诊断通常依赖于准确的前列腺区域分割。但是,最新的自动分割方法通常无法产生前列腺区域的含有良好的体积分割,因为某些切片的前列腺MRI(例如碱基和顶点片)比其他切片更难分割。可以通过考虑相邻切片之间的跨片段关系来克服这一困难,但是当前的方法不能完全学习和利用这种关系。在本文中,我们提出了一种新型的跨板夹心注意机制,我们在变压器模块中使用该机制,以系统地学习不同尺度的跨斜纹关系。该模块可以在任何基于Skip Connections的现有基于学习的细分框架中使用。实验表明,我们的跨板块注意力能够捕获前列腺区域分割中的跨板片信息,并提高当前最新方法的性能。我们的方法提高了外围区域的分割精度,从而使所有前列腺切片(Apex,Mid-Gland和Base)的分割结果保持一致。
translated by 谷歌翻译
Achieving accurate and automated tumor segmentation plays an important role in both clinical practice and radiomics research. Segmentation in medicine is now often performed manually by experts, which is a laborious, expensive and error-prone task. Manual annotation relies heavily on the experience and knowledge of these experts. In addition, there is much intra- and interobserver variation. Therefore, it is of great significance to develop a method that can automatically segment tumor target regions. In this paper, we propose a deep learning segmentation method based on multimodal positron emission tomography-computed tomography (PET-CT), which combines the high sensitivity of PET and the precise anatomical information of CT. We design an improved spatial attention network(ISA-Net) to increase the accuracy of PET or CT in detecting tumors, which uses multi-scale convolution operation to extract feature information and can highlight the tumor region location information and suppress the non-tumor region location information. In addition, our network uses dual-channel inputs in the coding stage and fuses them in the decoding stage, which can take advantage of the differences and complementarities between PET and CT. We validated the proposed ISA-Net method on two clinical datasets, a soft tissue sarcoma(STS) and a head and neck tumor(HECKTOR) dataset, and compared with other attention methods for tumor segmentation. The DSC score of 0.8378 on STS dataset and 0.8076 on HECKTOR dataset show that ISA-Net method achieves better segmentation performance and has better generalization. Conclusions: The method proposed in this paper is based on multi-modal medical image tumor segmentation, which can effectively utilize the difference and complementarity of different modes. The method can also be applied to other multi-modal data or single-modal data by proper adjustment.
translated by 谷歌翻译