深度学习方法为多级医学图像细分实现了令人印象深刻的表现。但是,它们的编码不同类别(例如遏制和排除)之间拓扑相互作用的能力受到限制。这些约束自然出现在生物医学图像中,对于提高分割质量至关重要。在本文中,我们介绍了一个新型的拓扑交互模块,将拓扑相互作用编码为深神经网络。该实施完全基于卷积,因此非常有效。这使我们有能力将约束结合到端到端培训中,并丰富神经网络的功能表示。该方法的功效在不同类型的相互作用上得到了验证。我们还证明了该方法在2D和3D设置以及跨越CT和超声之类的不同模式中的专有和公共挑战数据集上的普遍性。代码可在以下网址找到:https://github.com/topoxlab/topointeraction
translated by 谷歌翻译
除了每个像素精度外,拓扑正确性也对具有微尺度结构的图像的分割也至关重要,例如卫星图像和生物医学图像。在本文中,通过利用数字拓扑理论,我们识别对拓扑至关重要的图像中的位置。通过专注于这些关键的位置,我们提出了一种新的同谐扭曲损失来培训深度图像分割网络以获得更好的拓扑精度。为了有效地识别这些拓扑关键的位置,我们提出了一种利用距离变换的新算法。所提出的算法以及损耗函数,自然地推广到2D和3D设置中的不同拓扑结构。拟议的损失函数有助于深度网络在拓扑知识的指标方面实现更好的性能,优于最先进的拓扑保存分段方法。
translated by 谷歌翻译
计算机断层扫描(CT)图像中腹部器官的自动分割可以支持放射治疗和图像引导的手术工作流程。这种自动解决方案的开发仍然挑战,主要是由于CT图像中的复杂器官相互作用和模糊边界。为了解决这些问题,我们专注于有效的空间上下文建模和显式边缘分段前提。因此,我们提出了一个3D网络,其中四个主要组件训练了端到端,包括共享编码器,边缘检测器,具有边缘跳过连接的解码器(ESC)和复制特征传播头(RFP-head)。为了捕获宽范围的空间依赖性,RFP-磁头通过以有效的切片方式配制的定向非循环图(DAG)传播和收集局部特征,以高效的切片方式,关于图像单元的空间排列。为了利用边缘信息,边缘探测器通过利用边缘监控来学习专门针对语义分割专门调整的边缘知识。然后,ESC通过多级解码器特征聚合边缘知识,以学习判别特征的层次结构明确地建模器官内部和边缘之间的互补性进行分割。我们对具有八个带电器官的两个挑战性腹部CT数据集进行了广泛的实验。实验结果表明,所提出的网络优于几种最先进的模型,特别是对于小而复杂的结构(胆囊,食道,胃,胰腺和十二指肠)的分割。该代码将公开。
translated by 谷歌翻译
与许多研究领域相关的管状网络样结构(例如血管,神经元或道路)的准确分割与许多研究领域有关。对于这种结构,拓扑是它们最重要的特征。特别保留连接性:在血管网络的情况下,缺少连接的容器完全改变了血液流动的动力学。我们介绍了一种新颖的相似性度量,称为Centerlinedice(短CLDICE),该度量是根据分割掩模及其(形态)骨骼的相交进行计算的。从理论上讲,我们证明,CLDICE保证拓扑保存至二进制2D和3D分割的同型等效性。扩展这一点,我们提出了一种计算高效,可区分的损失函数(软性的),用于训练任意的神经分割网络。我们在五个公共数据集上基准了软性损失,包括船只,道路和神经元(2D和3D)。对软性播放的培训可通过更准确的连通性信息,更高的图形相似性和更好的体积分数进行分割。
translated by 谷歌翻译
捕获图像的全局拓扑对于提出对其域的准确分割至关重要。但是,大多数现有的分割方法都不能保留给定输入的初始拓扑,这对许多下游基于对象的任务有害。对于大多数在本地尺度上工作的深度学习模型来说,这是更真实的。在本文中,我们提出了一种新的拓扑深度图像分割方法,该方法依赖于新的泄漏损失:Pathloss。我们的方法是Baloss [1]的扩展,其中我们希望改进泄漏检测,以更好地恢复图像分割的接近度。这种损失使我们能够正确定位并修复预测中可能发生的关键点(边界中的泄漏),并基于最短路径搜索算法。这样,损失最小化仅在必要时才能强制连接,并最终提供了图像中对象边界的良好定位。此外,根据我们的研究,与无需使用拓扑损失的方法相比,我们的Pathloss学会了保持更强的细长结构。通过我们的拓扑损失函数培训,我们的方法在两个代表性数据集上优于最先进的拓扑感知方法:电子显微镜和历史图。
translated by 谷歌翻译
我们提出了一种使用持久性同源性(pH)的新的更有效的方法,一种方法来比较两个数据集的拓扑,用于训练深度网络以在空中图像中描绘道路网络和显微镜扫描中的神经元过程。它的本质是一种新的过滤功能,从两个现有技术的融合导出:基于阈值的过滤,以前用于将深网络培训到分段医学图像,并用高度函数过滤,以便在比较2D和3D形状之前使用。我们通过实验证明,深入的网络培训了我们的持久性同源性的损失,即道路网络和神经元过程的重建,这些过程比现有的拓扑和非拓扑损失功能更好地保持原件的连接性。
translated by 谷歌翻译
机器学习和计算机视觉技术近年来由于其自动化,适合性和产生惊人结果的能力而迅速发展。因此,在本文中,我们调查了2014年至2022年之间发表的关键研究,展示了不同的机器学习算法研究人员用来分割肝脏,肝肿瘤和肝脉管结构的研究。我们根据感兴趣的组织(肝果,肝肿瘤或肝毒剂)对被调查的研究进行了划分,强调了同时解决多个任务的研究。此外,机器学习算法被归类为受监督或无监督的,如果属于某个方案的工作量很大,则将进一步分区。此外,对文献和包含上述组织面具的网站发现的不同数据集和挑战进行了彻底讨论,强调了组织者的原始贡献和其他研究人员的贡献。同样,在我们的评论中提到了文献中过度使用的指标,这强调了它们与手头的任务的相关性。最后,强调创新研究人员应对需要解决的差距的关键挑战和未来的方向,例如许多关于船舶分割挑战的研究的稀缺性以及为什么需要早日处理他们的缺席。
translated by 谷歌翻译
Owing to the success of transformer models, recent works study their applicability in 3D medical segmentation tasks. Within the transformer models, the self-attention mechanism is one of the main building blocks that strives to capture long-range dependencies, compared to the local convolutional-based design. However, the self-attention operation has quadratic complexity which proves to be a computational bottleneck, especially in volumetric medical imaging, where the inputs are 3D with numerous slices. In this paper, we propose a 3D medical image segmentation approach, named UNETR++, that offers both high-quality segmentation masks as well as efficiency in terms of parameters and compute cost. The core of our design is the introduction of a novel efficient paired attention (EPA) block that efficiently learns spatial and channel-wise discriminative features using a pair of inter-dependent branches based on spatial and channel attention. Our spatial attention formulation is efficient having linear complexity with respect to the input sequence length. To enable communication between spatial and channel-focused branches, we share the weights of query and key mapping functions that provide a complimentary benefit (paired attention), while also reducing the overall network parameters. Our extensive evaluations on three benchmarks, Synapse, BTCV and ACDC, reveal the effectiveness of the proposed contributions in terms of both efficiency and accuracy. On Synapse dataset, our UNETR++ sets a new state-of-the-art with a Dice Similarity Score of 87.2%, while being significantly efficient with a reduction of over 71% in terms of both parameters and FLOPs, compared to the best existing method in the literature. Code: https://github.com/Amshaker/unetr_plus_plus.
translated by 谷歌翻译
CT图像中的椎骨定位,分割和识别是众多临床应用的关键。尽管近年来,深度学习策略已为该领域带来了重大改进,但由于其在培训数据集中的代表性不佳,过渡性和病理椎骨仍在困扰大多数现有方法。另外,提出的基于非学习的方法可以利用先验知识来处理这种特定情况。在这项工作中,我们建议将这两种策略结合起来。为此,我们引入了一个迭代循环,在该循环中,单个椎骨被递归地定位,分割和使用深网鉴定,而使用统计先验则实施解剖一致性。在此策略中,通过在图形模型中编码其配置来处理过渡性椎骨识别,该模型将局部深网预测汇总为解剖上一致的最终结果。我们的方法在Verse20挑战基准上取得了最新的结果,并且优于过渡性椎骨的所有方法以及对Verse19挑战基准的概括。此外,我们的方法可以检测和报告不满足解剖学一致性先验的不一致的脊柱区域。我们的代码和模型公开用于研究目的。
translated by 谷歌翻译
心肌的准确分割和运动估计在临床领域一直很重要,这基本上有助于下游诊断。但是,现有方法不能始终保证心肌分割的形状完整性。此外,运动估计需要在不同帧上对心肌区域的点对应关系。在本文中,我们提出了一种新型的端到端深度统计形状模型,以关注具有形状完整性和边界对应关系的心肌分割。具体而言,心肌形状由固定数量的点表示,其变化是通过主成分分析(PCA)提取的。深神经网络用于预测转换参数(仿射和变形),然后将其用于将平均点云转转到图像域。此外,引入了一个可区分的渲染层,以将掩码的监督纳入框架中,以了解更准确的点云。通过这种方式,所提出的方法能够在不进行后处理的情况下始终如一地产生解剖上合理的分割掩码。此外,预测的点云还保证了顺序图像的边界对应关系,这有助于下游任务,例如心肌的运动估计。我们进行了几项实验,以证明在几个基准数据集上提出的方法的有效性。
translated by 谷歌翻译
人类生理学中的各种结构遵循特异性形态,通常在非常细的尺度上表达复杂性。这种结构的例子是胸前气道,视网膜血管和肝血管。可以观察到可以观察到可以观察到可以观察到可以观察到空间排列的磁共振成像(MRI),计算机断层扫描(CT),光学相干断层扫描(OCT)等医学成像模式(MRI),计算机断层扫描(CT),可以观察到空间排列的大量2D和3D图像的集合。这些结构在医学成像中的分割非常重要,因为对结构的分析提供了对疾病诊断,治疗计划和预后的见解。放射科医生手动标记广泛的数据通常是耗时且容易出错的。结果,在过去的二十年中,自动化或半自动化的计算模型已成为医学成像的流行研究领域,迄今为止,许多计算模型已经开发出来。在这项调查中,我们旨在对当前公开可用的数据集,细分算法和评估指标进行全面审查。此外,讨论了当前的挑战和未来的研究方向。
translated by 谷歌翻译
难以通过二进制面具手动准确标记含糊不清的和复杂形状的目标。在医学图像分割中突出显示二元掩模下面的弱点,其中模糊是普遍的。在多个注释的情况下,通过二元面具对临床医生达成共识更具挑战性。此外,这些不确定的区域与病变结构有关,可能含有有利于诊断的解剖信息。然而,目前关于不确定性的研究主要关注模型培训和数据标签的不确定性。他们都没有调查病变本身的模糊性质的影响。通过图像消光,透过图像消光,将Alpha Matte作为软片介绍,代表医学场景中不确定的区域,并因此提出了一种新的不确定性量化方法来填补填补差距病变结构的不确定性研究。在这项工作中,我们在多任务框架中引入了一种新的架构,以在多任务框架中生成二进制掩模和alpha掩饰,这优于所有最先进的消光算法。建议的不确定性地图能够突出模糊地区和我们提出的新型多任务损失加权策略可以进一步提高性能并证明其具体的益处。为了充分评估我们提出的方法的有效性,我们首先用alpha哑布标记了三个医疗数据集,以解决医学场景中可用消光数据集的短缺,并证明alpha遮罩是一种比定性的二进制掩模更有效的标签方法和量化方面。
translated by 谷歌翻译
准确的几何表示对于开发有限元模型至关重要。尽管通常只有很少的数据在准确细分精美特征,例如缝隙和薄结构方面,虽然只有很少的数据就有良好的深度学习分割方法。随后,分段的几何形状需要劳动密集型手动修改,以达到可用于模拟目的的质量。我们提出了一种使用转移学习来重复使用分段差的数据集的策略,并结合了交互式学习步骤,其中数据对数据进行微调导致解剖上精确的分割适合模拟。我们使用改良的多平台UNET,该UNET使用下髋关节分段和专用损耗函数进行预训练,以学习间隙区域和后处理,以纠正由于旋转不变性而在对称类别上的微小不准确性。我们证明了这种可靠但概念上简单的方法,采用了临床验证的髋关节扫描扫描的临床验证结果。代码和结果3D模型可在以下网址提供:\ url {https://github.com/miccai2022-155/autoseg}
translated by 谷歌翻译
从医用试剂染色图像中分割牙齿斑块为诊断和确定随访治疗计划提供了宝贵的信息。但是,准确的牙菌斑分割是一项具有挑战性的任务,需要识别牙齿和牙齿斑块受到语义腔区域的影响(即,在牙齿和牙齿斑块之间的边界区域中存在困惑的边界)以及实例形状的复杂变化,这些变化均未完全解决。现有方法。因此,我们提出了一个语义分解网络(SDNET),该网络介绍了两个单任务分支,以分别解决牙齿和牙齿斑块的分割,并设计了其他约束,以学习每个分支的特定类别特征,从而促进语义分解并改善该类别的特征牙齿分割的性能。具体而言,SDNET以分裂方式学习了两个单独的分割分支和牙齿的牙齿,以解除它们之间的纠缠关系。指定类别的每个分支都倾向于产生准确的分割。为了帮助这两个分支更好地关注特定类别的特征,进一步提出了两个约束模块:1)通过最大化不同类别表示之间的距离来学习判别特征表示,以了解判别特征表示形式,以减少减少负面影响关于特征提取的语义腔区域; 2)结构约束模块(SCM)通过监督边界感知的几何约束提供完整的结构信息,以提供各种形状的牙菌斑。此外,我们构建了一个大规模的开源染色牙菌斑分割数据集(SDPSEG),该数据集为牙齿和牙齿提供高质量的注释。 SDPSEG数据集的实验结果显示SDNET达到了最新的性能。
translated by 谷歌翻译
Solving variational image segmentation problems with hidden physics is often expensive and requires different algorithms and manually tunes model parameter. The deep learning methods based on the U-Net structure have obtained outstanding performances in many different medical image segmentation tasks, but designing such networks requires a lot of parameters and training data, not always available for practical problems. In this paper, inspired by traditional multi-phase convexity Mumford-Shah variational model and full approximation scheme (FAS) solving the nonlinear systems, we propose a novel variational-model-informed network (denoted as FAS-Unet) that exploits the model and algorithm priors to extract the multi-scale features. The proposed model-informed network integrates image data and mathematical models, and implements them through learning a few convolution kernels. Based on the variational theory and FAS algorithm, we first design a feature extraction sub-network (FAS-Solution module) to solve the model-driven nonlinear systems, where a skip-connection is employed to fuse the multi-scale features. Secondly, we further design a convolution block to fuse the extracted features from the previous stage, resulting in the final segmentation possibility. Experimental results on three different medical image segmentation tasks show that the proposed FAS-Unet is very competitive with other state-of-the-art methods in qualitative, quantitative and model complexity evaluations. Moreover, it may also be possible to train specialized network architectures that automatically satisfy some of the mathematical and physical laws in other image problems for better accuracy, faster training and improved generalization.The code is available at \url{https://github.com/zhuhui100/FASUNet}.
translated by 谷歌翻译
晚期钆增强磁共振成像(LGE MRI)的左心房(LA)和心房瘢痕分割是临床实践中的重要任务。 %,引导消融治疗和预测心房颤动(AF)患者的治疗结果。然而,由于图像质量差,各种La形状,薄壁和周围增强区域,自动分割仍然具有挑战性。以前的方法通常独立解决了这两个任务,并忽略了洛杉矶和疤痕之间的内在空间关系。在这项工作中,我们开发了一个新的框架,即atrialjsqnet,其中La分段,在La表面上的瘢痕投影以及疤痕量化,在端到端的样式中进行。我们通过明确的表面投影提出了一种形状注意(SA),以利用LA和LA瘢痕之间的固有相关性。具体而言,SA方案嵌入到多任务架构中以执行联合LA分段和瘢痕量化。此外,引入了空间编码(SE)丢失以包含目标的连续空间信息,以便在预测的分割中减少嘈杂的斑块。我们从Miccai2018 La挑战中评估了60 LGE MRIS上提出的框架。在公共数据集上的广泛实验表明了拟议的ATRIALJSQNET的效果,从而实现了最先进的竞争性能。明确探索了LA分割和瘢痕量化之间的相关性,并对这两个任务显示出显着的性能改进。一旦稿件接受通过https://zmiclab.github.io/projects.html,就会公开发布的代码和结果。
translated by 谷歌翻译
许多生物学和医疗任务需要描绘出图像体积的3D曲线结构,例如血管和神经突。这通常是使用通过最大程度地减少不捕获这些结构拓扑特性的体素损失函数来训练的神经网络完成的。结果,回收结构的连通性通常是错误的,这减少了它们的实用性。在本文中,我们建议通过最大程度地减少其2D预测的拓扑感知损失的总和来提高结果的3D连接性。这足以提高准确性并减少提供所需的注释培训数据所需的注释工作。
translated by 谷歌翻译
由于超声图像中的成像伪影和低信噪比,自动骨表面分割网络通常会产生碎片的预测,从而阻碍超声引导的计算机辅助手术程序的成功。由于缺乏执行连通性的监督,现有的像素预测通常无法捕获骨组织的准确拓扑。在这项工作中,我们提出了一个定向引导的图形卷积网络,以改善连通性,同时分割骨表面。我们还提出了有关骨表面方向的额外监督,以进一步施加连通性。我们在1042 Vivo US扫描股骨,膝盖,脊柱和远端半径上验证了我们的方法。我们的方法将最新方法的连通性指标提高了5.01%。
translated by 谷歌翻译
整个腹部器官分割起着腹部损伤诊断,放射治疗计划的重要作用,并随访。然而,划定肿瘤学家所有腹部器官手工费时且非常昂贵的。近日,深学习型医学图像分割显示,以减少人工划定努力的潜力,但它仍然需要培训的大型精细注释的数据集。虽然在这个任务很多努力,但仍然覆盖整个腹部区域与整个腹腔脏器分割准确和详细的注解几个大的图像数据集。在这项工作中,我们建立了一个大型的\ textit【W】孔腹部\ textit {} OR甘斯\ textit {d} ataset(\ {textit WORD})的算法研究和临床应用的发展。此数据集包含150个腹部CT体积(30495片),并且每个卷具有16个机关用细像素级注释和涂鸦基于稀疏注释,这可能是与整个腹部器官注释最大数据集。状态的最先进的几个分割方法是在该数据集进行评估。而且,我们还邀请了临床肿瘤学家修改模型预测测量深度学习方法和真实的肿瘤学家之间的差距。我们进一步介绍和评价这一数据集一个新的基于涂鸦,弱监督分割。该工作腹部多器官分割任务提供了新的基准,这些实验可以作为基准对未来的研究和临床应用的发展。 https://github.com/HiLab-git/WORD:代码库和数据集将被释放
translated by 谷歌翻译
在过去的十年中,卷积神经网络(Convnets)主导了医学图像分析领域。然而,发现脉搏的性能仍然可以受到它们无法模拟图像中体素之间的远程空间关系的限制。最近提出了众多视力变压器来解决哀悼缺点,在许多医学成像应用中展示最先进的表演。变压器可以是用于图像配准的强烈候选者,因为它们的自我注意机制能够更精确地理解移动和固定图像之间的空间对应。在本文中,我们呈现透射帧,一个用于体积医学图像配准的混合变压器-Cromnet模型。我们还介绍了三种变速器的变形,具有两个散晶变体,确保了拓扑保存的变形和产生良好校准的登记不确定性估计的贝叶斯变体。使用来自两个应用的体积医学图像的各种现有的登记方法和变压器架构进行广泛验证所提出的模型:患者间脑MRI注册和幻影到CT注册。定性和定量结果表明,传输和其变体导致基线方法的实质性改进,展示了用于医学图像配准的变压器的有效性。
translated by 谷歌翻译