Three-dimensional (3D) ultrasound imaging technique has been applied for scoliosis assessment, but current assessment method only uses coronal projection image and cannot illustrate the 3D deformity and vertebra rotation. The vertebra detection is essential to reveal 3D spine information, but the detection task is challenging due to complex data and limited annotations. We propose VertMatch, a two-step framework to detect vertebral structures in 3D ultrasound volume by utilizing unlabeled data in semi-supervised manner. The first step is to detect the possible positions of structures on transverse slice globally, and then the local patches are cropped based on detected positions. The second step is to distinguish whether the patches contain real vertebral structures and screen the predicted positions from the first step. VertMatch develops three novel components for semi-supervised learning: for position detection in the first step, (1) anatomical prior is used to screen pseudo labels generated from confidence threshold method; (2) multi-slice consistency is used to utilize more unlabeled data by inputting multiple adjacent slices; (3) for patch identification in the second step, the categories are rebalanced in each batch to solve imbalance problem. Experimental results demonstrate that VertMatch can detect vertebra accurately in ultrasound volume and outperforms state-of-the-art methods. VertMatch is also validated in clinical application on forty ultrasound scans, and it can be a promising approach for 3D assessment of scoliosis.
translated by 谷歌翻译
在许多图像引导的临床方法中,医学图像分割是一个基本和关键的步骤。基于深度学习的细分方法的最新成功通常取决于大量标记的数据,这特别困难且昂贵,尤其是在医学成像领域中,只有专家才能提供可靠和准确的注释。半监督学习已成为一种吸引人的策略,并广泛应用于医学图像分割任务,以训练注释有限的深层模型。在本文中,我们对最近提议的半监督学习方法进行了全面综述,并总结了技术新颖性和经验结果。此外,我们分析和讨论现有方法的局限性和几个未解决的问题。我们希望这篇评论可以激发研究界探索解决这一挑战的解决方案,并进一步促进医学图像细分领域的发展。
translated by 谷歌翻译
Brain midline shift (MLS) is one of the most critical factors to be considered for clinical diagnosis and treatment decision-making for intracranial hemorrhage. Existing computational methods on MLS quantification not only require intensive labeling in millimeter-level measurement but also suffer from poor performance due to their dependence on specific landmarks or simplified anatomical assumptions. In this paper, we propose a novel semi-supervised framework to accurately measure the scale of MLS from head CT scans. We formulate the MLS measurement task as a deformation estimation problem and solve it using a few MLS slices with sparse labels. Meanwhile, with the help of diffusion models, we are able to use a great number of unlabeled MLS data and 2793 non-MLS cases for representation learning and regularization. The extracted representation reflects how the image is different from a non-MLS image and regularization serves an important role in the sparse-to-dense refinement of the deformation field. Our experiment on a real clinical brain hemorrhage dataset has achieved state-of-the-art performance and can generate interpretable deformation fields.
translated by 谷歌翻译
注释的医学图像昂贵,有时甚至无法在一定程度上获得地标检测精度。半监督学习通过利用未标记的数据来了解解剖标志性的人口结构来减轻对大规模注释数据的依赖。全局形状约束是解剖标识的固有属性,为更加一致的伪标签提供了有价值的指导,这些指南在先前的半监督方法中被忽略。在本文中,我们通过完全考虑全局形状约束,提出了一种用于半监控地标检测的模型 - 不可知的形状调节的自我训练框架。具体而言,为了确保伪标签是可靠且保持一致的,基于PCA的形状模型调整伪标签并消除异常。一种新的区域注意力损失,使网络自动关注伪标签周围的结构一致区域。广泛的实验表明,我们的方法优于其他半监督方法,并在三个医学图像数据集中实现了显着的改进。此外,我们的框架是灵活的,可用作集成到最具监控方法的即插即用模块,以进一步提高性能。
translated by 谷歌翻译
深度神经网络通常需要准确和大量注释,以在医学图像分割中实现出色的性能。单次分割和弱监督学习是有前途的研究方向,即通过仅从一个注释图像学习新类并利用粗标签来降低标签努力。以前的作品通常未能利用解剖结构并遭受阶级不平衡和低对比度问题。因此,我们为3D医学图像分割的创新框架提供了一次性和弱监督的设置。首先,提出了一种传播重建网络,以基于不同人体中的解剖模式类似的假设将来自注释体积的划痕投射到未标记的3D图像。然后,双级功能去噪模块旨在基于解剖结构和像素级别来改进涂鸦。在将涂鸦扩展到伪掩码后,我们可以使用嘈杂的标签培训策略培训新课程的分段模型。一个腹部的实验和一个头部和颈部CT数据集显示所提出的方法对最先进的方法获得显着改善,即使在严重的阶级不平衡和低对比度下也能够稳健地执行。
translated by 谷歌翻译
We propose a novel teacher-student model for semi-supervised multi-organ segmentation. In teacher-student model, data augmentation is usually adopted on unlabeled data to regularize the consistent training between teacher and student. We start from a key perspective that fixed relative locations and variable sizes of different organs can provide distribution information where a multi-organ CT scan is drawn. Thus, we treat the prior anatomy as a strong tool to guide the data augmentation and reduce the mismatch between labeled and unlabeled images for semi-supervised learning. More specifically, we propose a data augmentation strategy based on partition-and-recovery N$^3$ cubes cross- and within- labeled and unlabeled images. Our strategy encourages unlabeled images to learn organ semantics in relative locations from the labeled images (cross-branch) and enhances the learning ability for small organs (within-branch). For within-branch, we further propose to refine the quality of pseudo labels by blending the learned representations from small cubes to incorporate local attributes. Our method is termed as MagicNet, since it treats the CT volume as a magic-cube and $N^3$-cube partition-and-recovery process matches with the rule of playing a magic-cube. Extensive experiments on two public CT multi-organ datasets demonstrate the effectiveness of MagicNet, and noticeably outperforms state-of-the-art semi-supervised medical image segmentation approaches, with +7% DSC improvement on MACT dataset with 10% labeled images.
translated by 谷歌翻译
运动估计是用于评估目标器官解剖学和功能的动态医学图像处理的基本步骤。然而,通过评估局部图像相似性通过评估局部图像相似性优化运动场的基于图像的运动估计方法,易于产生令人难以置信的估计,尤其是在大运动的情况下。在这项研究中,我们提供了一种新颖的稀疏密度(DSD)的运动估计框架,其包括两个阶段。在第一阶段,我们处理原始密集图像以提取稀疏地标以表示目标器官解剖拓扑,并丢弃对运动估计不必要的冗余信息。为此目的,我们介绍一个无监督的3D地标检测网络,以提取用于目标器官运动估计的空间稀疏但代表性的地标。在第二阶段,我们从两个不同时间点的两个图像的提取稀疏地标的稀疏运动位移得出。然后,我们通过将稀疏地标位移突出回致密图像域,呈现运动重建网络来构造运动场。此外,我们从我们的两级DSD框架中使用估计的运动场作为初始化,并提高轻量级且有效的迭代优化中的运动估计质量。我们分别评估了两种动态医学成像任务的方法,分别为模型心脏运动和肺呼吸运动。与现有的比较方法相比,我们的方法产生了出色的运动估计精度。此外,广泛的实验结果表明,我们的解决方案可以提取良好代表性解剖标志,而无需手动注释。我们的代码在线公开提供。
translated by 谷歌翻译
Automated detecting lung infections from computed tomography (CT) data plays an important role for combating COVID-19. However, there are still some challenges for developing AI system. 1) Most current COVID-19 infection segmentation methods mainly relied on 2D CT images, which lack 3D sequential constraint. 2) Existing 3D CT segmentation methods focus on single-scale representations, which do not achieve the multiple level receptive field sizes on 3D volume. 3) The emergent breaking out of COVID-19 makes it hard to annotate sufficient CT volumes for training deep model. To address these issues, we first build a multiple dimensional-attention convolutional neural network (MDA-CNN) to aggregate multi-scale information along different dimension of input feature maps and impose supervision on multiple predictions from different CNN layers. Second, we assign this MDA-CNN as a basic network into a novel dual multi-scale mean teacher network (DM${^2}$T-Net) for semi-supervised COVID-19 lung infection segmentation on CT volumes by leveraging unlabeled data and exploring the multi-scale information. Our DM${^2}$T-Net encourages multiple predictions at different CNN layers from the student and teacher networks to be consistent for computing a multi-scale consistency loss on unlabeled data, which is then added to the supervised loss on the labeled data from multiple predictions of MDA-CNN. Third, we collect two COVID-19 segmentation datasets to evaluate our method. The experimental results show that our network consistently outperforms the compared state-of-the-art methods.
translated by 谷歌翻译
基于深度学习的半监督学习(SSL)方法在医学图像细分中实现了强大的性能,可以通过使用大量未标记的数据来减轻医生昂贵的注释。与大多数现有的半监督学习方法不同,基于对抗性训练的方法通过学习分割图的数据分布来区分样本与不同来源,导致细分器生成更准确的预测。我们认为,此类方法的当前绩效限制是特征提取和学习偏好的问题。在本文中,我们提出了一种新的半监督的对抗方法,称为贴片置信疗法训练(PCA),用于医疗图像分割。我们提出的歧视器不是单个标量分类结果或像素级置信度图,而是创建贴片置信图,并根据斑块的规模进行分类。未标记数据的预测学习了每个贴片中的像素结构和上下文信息,以获得足够的梯度反馈,这有助于歧视器以融合到最佳状态,并改善半监督的分段性能。此外,在歧视者的输入中,我们补充了图像上的语义信息约束,使得未标记的数据更简单,以适合预期的数据分布。关于自动心脏诊断挑战(ACDC)2017数据集和脑肿瘤分割(BRATS)2019挑战数据集的广泛实验表明,我们的方法优于最先进的半监督方法,这证明了其对医疗图像分割的有效性。
translated by 谷歌翻译
Automatic parsing of human anatomies at instance-level from 3D computed tomography (CT) scans is a prerequisite step for many clinical applications. The presence of pathologies, broken structures or limited field-of-view (FOV) all can make anatomy parsing algorithms vulnerable. In this work, we explore how to exploit and conduct the prosperous detection-then-segmentation paradigm in 3D medical data, and propose a steerable, robust, and efficient computing framework for detection, identification, and segmentation of anatomies in CT scans. Considering complicated shapes, sizes and orientations of anatomies, without lose of generality, we present the nine degrees-of-freedom (9-DoF) pose estimation solution in full 3D space using a novel single-stage, non-hierarchical forward representation. Our whole framework is executed in a steerable manner where any anatomy of interest can be directly retrieved to further boost the inference efficiency. We have validated the proposed method on three medical imaging parsing tasks of ribs, spine, and abdominal organs. For rib parsing, CT scans have been annotated at the rib instance-level for quantitative evaluation, similarly for spine vertebrae and abdominal organs. Extensive experiments on 9-DoF box detection and rib instance segmentation demonstrate the effectiveness of our framework (with the identification rate of 97.0% and the segmentation Dice score of 90.9%) in high efficiency, compared favorably against several strong baselines (e.g., CenterNet, FCOS, and nnU-Net). For spine identification and segmentation, our method achieves a new state-of-the-art result on the public CTSpine1K dataset. Last, we report highly competitive results in multi-organ segmentation at FLARE22 competition. Our annotations, code and models will be made publicly available at: https://github.com/alibaba-damo-academy/Med_Query.
translated by 谷歌翻译
脊柱退化困扰着许多长老,办公室工作者,甚至是年轻世代。有效的药剂或外科干预措施可以帮助缓解退行性脊柱条件。然而,传统的诊断程序往往太费力了。临床专家需要从脊柱磁共振成像(MRI)或计算机断层扫描(CT)图像中检测椎间盘和椎骨作为进行病理诊断或术前评价的初步步骤。已经开发了机器学习系统,以帮助这一程序通常在两级方法之后:首先进行解剖定位,然后进行病理分类。为了更高效和准确的诊断,我们提出了一种单阶段检测框架,称为Spineone,同时定位和分类来自MRI切片的退化椎间盘和椎骨。脊柱内置于以下三个关键技术:1)Keypoint Heatmap的新设计,以促进同时关键点本地化和分类; 2)使用注意力模块更好地区分光盘和椎骨之间的表示; 3)一种新颖的梯度引导的客观协会机制,将多个学习目标与后来的培训阶段相关联。脊髓疾病智能诊断的经验结果Tianchi竞争(SDID-TC)550考试的数据集表明,我们的方法通过大幅度超越现有方法。
translated by 谷歌翻译
在本文中,我们提出了一个新型的相互一致性网络(MC-NET+),以有效利用未标记的数据进行半监督的医学图像分割。 MC-NET+模型的动机是通过观察到的,即经过有限注释训练的深模型很容易输出不确定的,易于分类的预测,例如模棱两可的区域(例如,粘合边缘或薄分支)进行医学图像分割。利用这些具有挑战性的样品可以使半监督分割模型训练更有效。因此,我们提出的MC-NET+模型由两个新设计组成。首先,该模型包含一个共享的编码器和多个略有不同的解码器(即使用不同的上采样策略)。计算多个解码器输出的统计差异以表示模型的不确定性,这表明未标记的硬区域。其次,我们在一个解码器的概率输出和其他解码器的软伪标签之间应用了一种新颖的相互一致性约束。通过这种方式,我们最大程度地减少了训练过程中多个输出(即模型不确定性)的差异,并迫使模型在此类具有挑战性的区域中产生不变的结果,旨在使模型训练正规化。我们将MC-NET+模型的细分结果与三个公共医疗数据集中的五种最先进的半监督方法进行了比较。具有两个标准半监督设置的扩展实验证明了我们模型的优越性能,而不是其他方法,这为半监督医学图像分割设定了新的最新技术。我们的代码将在https://github.com/ycwu1997/mc-net上公开发布。
translated by 谷歌翻译
3D医学图像分割中卷积神经网络(CNN)的成功取决于大量的完全注释的3D体积,用于训练,这些训练是耗时且劳动力密集的。在本文中,我们建议在3D医学图像中只有7个点注释分段目标,并设计一个两阶段弱监督的学习框架PA-SEG。在第一阶段,我们采用大地距离变换来扩展种子点以提供更多的监督信号。为了在培训期间进一步处理未注释的图像区域,我们提出了两种上下文正则化策略,即多视图条件随机场(MCRF)损失和差异最小化(VM)损失,其中第一个鼓励具有相似特征的像素以具有一致的标签,第二个分别可以最大程度地减少分段前景和背景的强度差异。在第二阶段,我们使用在第一阶段预先训练的模型获得的预测作为伪标签。为了克服伪标签中的噪音,我们引入了一种自我和交叉监测(SCM)策略,该策略将自我训练与跨知识蒸馏(CKD)结合在主要模型和辅助模型之间,该模型从彼此生成的软标签中学习。在公共数据集的前庭造型瘤(VS)分割和脑肿瘤分割(BRAT)上的实验表明,我们在第一阶段训练的模型优于现有的最先进的弱监督方法,并在使用SCM之后,以提供其他scm来获得其他额外的scm培训,与Brats数据集中完全有监督的对应物相比,该模型可以实现竞争性能。
translated by 谷歌翻译
晚期钆增强磁共振成像(LGE MRI)通常用于可视化和量化左心房(LA)疤痕。疤痕的位置和程度提供了心理生理学和心房颤动进展的重要信息(AF)。因此,LGE MRI的La Scar分段和量化可用于AF患者的计算机辅助诊断和治疗分层。由于手动描绘可能是耗时的,并且经过专家内和专家间变异性,因此非常需要自动化这种计算,这然而仍然仍然具有挑战性和研究。本文旨在为La腔,墙壁,瘢痕和消融差距分割和LGE MRI的定量提供系统审查,以及AF研究的相关文献。具体而言,我们首先总结AF相关的成像技术,特别是LGE MRI。然后,我们详细介绍了四个计算任务的方法,并总结了每个任务中应用的验证策略。最后,概述了未来可能的未来发展,简要调查了上述方法的潜在临床应用。审查表明,该主题的研究仍处于早期阶段。虽然已经提出了几种方法,但特别是对于LA分割,由于与图像采集的高度变化相关的性能问题和图像采集差异有关的性能问题,仍有很大的算法发展。
translated by 谷歌翻译
产生密集的注释数据是医学成像应用的困难而繁琐的任务。为了解决这个问题,我们提出了一种新颖的方法来为半监督语义细分产生监督。我们认为标记和未标记的图像之间的视觉上类似的区域可能包含相同的语义,因此应分享其标签。在此思想之后,我们使用少量标记的图像作为参考材料,并将未标记图像中的像素匹配到参考集中的最佳配合像素的语义。这样,我们避免诸如确认偏差的陷阱,纯粹是基于预测的伪标记。由于我们的方法不需要任何架构更改或伴随网络,因此可以轻松地将其插入现有框架中。我们在X射线解剖分段上实现了与标准完全监督模型相同的性能,尽管标记图像较少95%。除了对我们提出的方法的不同方面的深入分析,我们还通过比较我们对现有方法的方法对具有竞争性能的视网膜流体细分的现有方法来展示我们的参考引导学习范例的有效性,因为我们改进最近的工作15%的意思是iou。
translated by 谷歌翻译
机器学习和计算机视觉技术近年来由于其自动化,适合性和产生惊人结果的能力而迅速发展。因此,在本文中,我们调查了2014年至2022年之间发表的关键研究,展示了不同的机器学习算法研究人员用来分割肝脏,肝肿瘤和肝脉管结构的研究。我们根据感兴趣的组织(肝果,肝肿瘤或肝毒剂)对被调查的研究进行了划分,强调了同时解决多个任务的研究。此外,机器学习算法被归类为受监督或无监督的,如果属于某个方案的工作量很大,则将进一步分区。此外,对文献和包含上述组织面具的网站发现的不同数据集和挑战进行了彻底讨论,强调了组织者的原始贡献和其他研究人员的贡献。同样,在我们的评论中提到了文献中过度使用的指标,这强调了它们与手头的任务的相关性。最后,强调创新研究人员应对需要解决的差距的关键挑战和未来的方向,例如许多关于船舶分割挑战的研究的稀缺性以及为什么需要早日处理他们的缺席。
translated by 谷歌翻译
作为许多医疗应用的重要上游任务,监督的地标本地化仍然需要不可忽略的注释成本才能实现理想的绩效。此外,由于繁琐的收集程序,医疗地标数据集的规模有限,会影响大规模自我监督的预训练方法的有效性。为了应对这些挑战,我们提出了一个两阶段的单次医疗地标本地化框架,该框架首先通过无监督的注册从标记的示例中删除了地标,以便未​​标记的目标,然后利用这些嘈杂的伪标签来训练健壮的探测器。为了处理重要的结构变化,我们在包含边缘信息的新型损失函数的指导下学习了全球对齐和局部变形的端到端级联。在第二阶段,我们探索了选择可靠的伪标签和半监视学习的跨矛盾的自持矛盾。我们的方法在不同身体部位的公共数据集上实现了最先进的表现,这证明了其一般适用性。
translated by 谷歌翻译
我们提出了一种新颖的形状意识的关系网络,用于内窥镜粘膜颌下粘膜释放(ESD)手术中的准确和实时地标检测。这项任务具有很大的临床意义,但由于复杂的手术环境中出血,照明反射和运动模糊而极其挑战。与现有解决方案相比,通过使用复杂的聚合方案忽略靶向对象之间的几何关系或捕获关系,所提出的网络能够实现令人满意的精度,同时通过充分利用地标之间的空间关系来保持实时性能。我们首先设计一种算法来自动生成关系关键点热量表,其能够直观地代表地标之间的空间关系的先验知识,而无需使用任何额外的手动注释工作。然后,我们开发两个互补正规计划,以逐步将先验知识纳入培训过程。虽然一个方案通过多任务学习引入像素级正则化,但另一个方案通过利用新设计的分组的一致性评估器来实现全局级正则化,该评估将关系约束以越野方式添加到所提出的网络。这两个方案都有利于训练模型,并且可以随时推动才能卸载,以实现实时检测。我们建立了一个大型内部数据集的ESD手术,用于食管癌,以验证我们提出的方法的有效性。广泛的实验结果表明,我们的方法在准确性和效率方面优于最先进的方法,更快地实现了更好的检测结果。在两个下游应用的有希望的结果进一步证实了我们在ESD临床实践中的方法的巨大潜力。
translated by 谷歌翻译
半监督学习方法已成为对打击获得大量注释数据的挑战的活跃研究领域。为了提高半监督学习方法表现的目标,我们提出了一种新颖的框架,Hiematch,一种半监督方法,利用分层信息来降低标签成本并表现以及vanilla半监督学习方法。分层信息通常是具有细粒标签的粗标签(例如,啄木鸟)的粗标签(例如,啄木鸟)的现有知识(例如,柔软的啄木鸟或金朝啄木鸟)。但是,尚未探讨使用使用粗类标签来改进半监督技术的监督。在没有细粒度的标签的情况下,Himatch利用标签层次结构,并使用粗级标签作为弱监控信号。此外,Himatch是一种改进任何半熟的学习框架的通用方法,我们使用我们的结果在最近的最先进的技术Mixmatch和Fixmatch上展示了这一点。我们评估了在两个基准数据集,即CiFar-100和Nabirds上的Himatch疗效。与MixMatch相比,HOMACHACT可以在CIFAR-100上减少50%的粒度标签50%的用量,仅在前1个精度的边缘下降0.59%。代码:https://github.com/07agarg/hiermatch.
translated by 谷歌翻译
医学图像分割是许多临床方法的基本和关键步骤。半监督学习已被广​​泛应用于医学图像分割任务,因为它减轻了收购专家审查的注释的沉重负担,并利用了更容易获得的未标记数据的优势。虽然已被证明是通过实施不同分布下的预测的不变性的一致性学习,但现有方法无法充分利用来自未标记数据的区域级形状约束和边界级距离信息。在本文中,我们提出了一种新颖的不确定性引导的相互一致学习框架,通过将任务中的一致性学习与自组合和交叉任务一致性学习从任务级正则化的最新预测集成了任务内的一致性学习,从而有效地利用了未标记的数据利用几何形状信息。该框架是由模型的估计分割不确定性指导,以便为一致性学习选择相对某些预测,以便有效地利用来自未标记数据的更可靠的信息。我们在两个公开的基准数据集中广泛地验证了我们提出的方法:左心房分割(LA)数据集和大脑肿瘤分割(BRATS)数据集。实验结果表明,我们的方法通过利用未标记的数据和优于现有的半监督分段方法来实现性能增益。
translated by 谷歌翻译