准确的牙齿体积分割是计算机辅助牙齿分析的先决条件。基于深度学习的牙齿分割方法已经达到了令人满意的表现,但需要大量的牙齿数据。公开可用的牙科数据是有限的,这意味着无法在临床实践中复制,评估和应用现有方法。在本文中,我们建立了一个3D Dental CBCT数据集Ctooth+,具有22个完全注释的卷和146个未标记的体积。我们进一步评估了基于完全监督的学习,半监督学习和积极学习的几种最先进的牙齿量细分策略,并定义了绩效原则。这项工作为牙齿体积分割任务提供了新的基准,该实验可以作为未来基于AI的牙科成像研究和临床应用开发的基线。
translated by 谷歌翻译
3D牙齿分割是计算机辅助牙齿诊断和治疗的先决条件。但是,将所有牙齿区域分割为主观且耗时。最近,基于深度学习的细分方法产生了令人信服的结果并减少了手动注释的工作,但是它需要大量的基础真相进行培训。据我们所知,3D分割研究几乎没有牙齿数据。在本文中,我们建立了带有牙齿金标准的完全注释的锥束计算机断层扫描数据集。该数据集包含22卷(7363片),并带有经验丰富的射线照相解释者注释的精细牙齿标签。为了确保相对的数据采样分布,数据方差包括在牙齿中,包括缺失的牙齿和牙齿修复。在此数据集上评估了几种最新的分割方法。之后,我们进一步总结并应用了一系列基于3D注意的UNET变体以分割牙齿。这项工作为牙齿体积分割任务提供了新的基准。实验证据证明,3D UNET结构的注意力模块增强了牙齿区域中的反应,并抑制背景和噪声的影响。 3D UNET使用SKNET注意模块实现了最佳性能,分别为88.04 \%骰子和78.71 \%IOU。基于注意力的UNET框架的表现优于Ctooth数据集上的其他最新方法。代码库和数据集已发布。
translated by 谷歌翻译
整个腹部器官分割起着腹部损伤诊断,放射治疗计划的重要作用,并随访。然而,划定肿瘤学家所有腹部器官手工费时且非常昂贵的。近日,深学习型医学图像分割显示,以减少人工划定努力的潜力,但它仍然需要培训的大型精细注释的数据集。虽然在这个任务很多努力,但仍然覆盖整个腹部区域与整个腹腔脏器分割准确和详细的注解几个大的图像数据集。在这项工作中,我们建立了一个大型的\ textit【W】孔腹部\ textit {} OR甘斯\ textit {d} ataset(\ {textit WORD})的算法研究和临床应用的发展。此数据集包含150个腹部CT体积(30495片),并且每个卷具有16个机关用细像素级注释和涂鸦基于稀疏注释,这可能是与整个腹部器官注释最大数据集。状态的最先进的几个分割方法是在该数据集进行评估。而且,我们还邀请了临床肿瘤学家修改模型预测测量深度学习方法和真实的肿瘤学家之间的差距。我们进一步介绍和评价这一数据集一个新的基于涂鸦,弱监督分割。该工作腹部多器官分割任务提供了新的基准,这些实验可以作为基准对未来的研究和临床应用的发展。 https://github.com/HiLab-git/WORD:代码库和数据集将被释放
translated by 谷歌翻译
背景和目标:现有的医学图像分割的深度学习平台主要集中于完全监督的细分,该分段假设可以使用充分而准确的像素级注释。我们旨在开发一种新的深度学习工具包,以支持对医学图像分割的注释有效学习,该学习可以加速并简单地开发具有有限注释预算的深度学习模型,例如,从部分,稀疏或嘈杂的注释中学习。方法:我们提出的名为Pymic的工具包是用于医学图像分割任务的模块化深度学习平台。除了支持开发高性能模型以进行全面监督分割的基本组件外,它还包含几个高级组件,这些高级组件是针对从不完善的注释中学习的几个高级组件,例如加载带注释和未经通知的图像,未经通知的,部分或无效的注释图像的损失功能,以及多个网络之间共同学习的培训程序。Pymic构建了Pytorch框架,并支持半监督,弱监督和噪声的学习方法用于医学图像分割。结果:我们介绍了基于PYMIC的四个说明性医学图像细分任务:(1)在完全监督的学习上实现竞争性能; (2)半监督心脏结构分割,只有10%的训练图像; (3)使用涂鸦注释弱监督的分割; (4)从嘈杂的标签中学习以进行胸部X光片分割。结论:Pymic工具包易于使用,并促进具有不完美注释的医学图像分割模型的有效开发。它是模块化和灵活的,它使研究人员能够开发出低注释成本的高性能模型。源代码可在以下网址获得:https://github.com/hilab-git/pymic。
translated by 谷歌翻译
最近,使用像涂鸦这样的弱注释进行弱监督的图像分割引起了人们的关注,因为与像素/体素水平上的耗时和标签密集型标记相比,这种注释更容易获得。但是,由于涂鸦缺乏感兴趣区域(ROI)的结构信息,因此现有的基于涂鸦的方法的边界定位不良。此外,大多数当前方法都是为2D图像分割而设计的,如果直接应用于图像切片,它们不会完全利用体积信息。在本文中,我们提出了一个基于涂鸦的体积图像分割,Scribble2D5,该图像对3D各向异性图像进行分割并改善边界预测。为了实现这一目标,我们使用提出的标签传播模块增强了2.5D注意的UNET,以扩展涂鸦的语义信息以及静态和主动边界预测的组合,以学习ROI的边界并正常其形状。在三个公共数据集上进行的广泛实验证明了Scribble2d5显着优于当前基于涂鸦的方法,并处理了完全监督的方法的性能。我们的代码可在线提供。
translated by 谷歌翻译
Automated detecting lung infections from computed tomography (CT) data plays an important role for combating COVID-19. However, there are still some challenges for developing AI system. 1) Most current COVID-19 infection segmentation methods mainly relied on 2D CT images, which lack 3D sequential constraint. 2) Existing 3D CT segmentation methods focus on single-scale representations, which do not achieve the multiple level receptive field sizes on 3D volume. 3) The emergent breaking out of COVID-19 makes it hard to annotate sufficient CT volumes for training deep model. To address these issues, we first build a multiple dimensional-attention convolutional neural network (MDA-CNN) to aggregate multi-scale information along different dimension of input feature maps and impose supervision on multiple predictions from different CNN layers. Second, we assign this MDA-CNN as a basic network into a novel dual multi-scale mean teacher network (DM${^2}$T-Net) for semi-supervised COVID-19 lung infection segmentation on CT volumes by leveraging unlabeled data and exploring the multi-scale information. Our DM${^2}$T-Net encourages multiple predictions at different CNN layers from the student and teacher networks to be consistent for computing a multi-scale consistency loss on unlabeled data, which is then added to the supervised loss on the labeled data from multiple predictions of MDA-CNN. Third, we collect two COVID-19 segmentation datasets to evaluate our method. The experimental results show that our network consistently outperforms the compared state-of-the-art methods.
translated by 谷歌翻译
尽管近年来从CT/MRI扫描中自动腹部多器官分割取得了很大进展,但由于缺乏各种临床方案的大规模基准,对模型的能力的全面评估受到阻碍。收集和标记3D医学数据的高成本的限制,迄今为止的大多数深度学习模型都由具有有限数量的感兴趣或样品器官的数据集驱动,这仍然限制了现代深层模型的力量提供各种方法的全面且公平的估计。为了减轻局限性,我们提出了AMO,这是一个大规模,多样的临床数据集,用于腹部器官分割。 AMOS提供了从多中心,多供应商,多模式,多相,多疾病患者收集的500 CT和100次MRI扫描,每个患者均具有15个腹部器官的体素级注释,提供了具有挑战性的例子,并提供了挑战性的例子和测试结果。在不同的目标和场景下研究健壮的分割算法。我们进一步基准了几种最先进的医疗细分模型,以评估此新挑战性数据集中现有方法的状态。我们已公开提供数据集,基准服务器和基线,并希望激发未来的研究。信息可以在https://amos22.grand-challenge.org上找到。
translated by 谷歌翻译
最近,利用卷积神经网络(CNNS)和变压器的深度学习表明,令人鼓舞的医学图像细分导致结果。但是,他们仍然具有挑战性,以实现有限的培训的良好表现。在这项工作中,我们通过在CNN和变压器之间引入交叉教学,为半监控医学图像分割提供了一个非常简单但有效的框架。具体而言,我们简化了从一致性正则化的经典深度共同训练交叉教学,其中网络的预测用作伪标签,直接端到端监督其他网络。考虑到CNN和变压器之间的学习范例的差异,我们在CNN和变压器之间引入了交叉教学,而不是使用CNNS。在公共基准测试中的实验表明,我们的方法优于八个现有的半监督学习方法,只需更简单的框架。值得注意的是,这项工作可能是第一次尝试将CNN和变压器组合以进行半监督的医学图像分割,并在公共基准上实现有前途的结果。该代码将发布:https://github.com/hilab-git/sl4mis。
translated by 谷歌翻译
Optical coherence tomography angiography (OCTA) is a novel imaging modality that has been widely utilized in ophthalmology and neuroscience studies to observe retinal vessels and microvascular systems. However, publicly available OCTA datasets remain scarce. In this paper, we introduce the largest and most comprehensive OCTA dataset dubbed OCTA-500, which contains OCTA imaging under two fields of view (FOVs) from 500 subjects. The dataset provides rich images and annotations including two modalities (OCT/OCTA volumes), six types of projections, four types of text labels (age / gender / eye / disease) and seven types of segmentation labels (large vessel/capillary/artery/vein/2D FAZ/3D FAZ/retinal layers). Then, we propose a multi-object segmentation task called CAVF, which integrates capillary segmentation, artery segmentation, vein segmentation, and FAZ segmentation under a unified framework. In addition, we optimize the 3D-to-2D image projection network (IPN) to IPN-V2 to serve as one of the segmentation baselines. Experimental results demonstrate that IPN-V2 achieves an ~10% mIoU improvement over IPN on CAVF task. Finally, we further study the impact of several dataset characteristics: the training set size, the model input (OCT/OCTA, 3D volume/2D projection), the baseline networks, and the diseases. The dataset and code are publicly available at: https://ieee-dataport.org/open-access/octa-500.
translated by 谷歌翻译
在许多图像引导的临床方法中,医学图像分割是一个基本和关键的步骤。基于深度学习的细分方法的最新成功通常取决于大量标记的数据,这特别困难且昂贵,尤其是在医学成像领域中,只有专家才能提供可靠和准确的注释。半监督学习已成为一种吸引人的策略,并广泛应用于医学图像分割任务,以训练注释有限的深层模型。在本文中,我们对最近提议的半监督学习方法进行了全面综述,并总结了技术新颖性和经验结果。此外,我们分析和讨论现有方法的局限性和几个未解决的问题。我们希望这篇评论可以激发研究界探索解决这一挑战的解决方案,并进一步促进医学图像细分领域的发展。
translated by 谷歌翻译
深度神经网络通常需要准确和大量注释,以在医学图像分割中实现出色的性能。单次分割和弱监督学习是有前途的研究方向,即通过仅从一个注释图像学习新类并利用粗标签来降低标签努力。以前的作品通常未能利用解剖结构并遭受阶级不平衡和低对比度问题。因此,我们为3D医学图像分割的创新框架提供了一次性和弱监督的设置。首先,提出了一种传播重建网络,以基于不同人体中的解剖模式类似的假设将来自注释体积的划痕投射到未标记的3D图像。然后,双级功能去噪模块旨在基于解剖结构和像素级别来改进涂鸦。在将涂鸦扩展到伪掩码后,我们可以使用嘈杂的标签培训策略培训新课程的分段模型。一个腹部的实验和一个头部和颈部CT数据集显示所提出的方法对最先进的方法获得显着改善,即使在严重的阶级不平衡和低对比度下也能够稳健地执行。
translated by 谷歌翻译
胎儿超声(US)中胎盘的自动分割由于(i)(i)胎盘外观的高度多样性而具有挑战性我们禁止在妊娠晚期进行整个胎盘评估的观点。在这项工作中,我们通过多任务学习方法解决了这三个挑战,该方法结合了单个卷积神经网络中胎盘位置(例如,前,后部)和语义胎盘分段的分类。通过分类任务,模型可以从更大,更多样化的数据集中学习,同时在有限的训练集条件下提高分割任务的准确性。通过这种方法,我们研究了多个评估者的注释的变异性,并表明我们的自动分割(前胎盘的骰子为0.86,后胎盘的骰子为0.83),与观察者内和观察者间的变异性相比,我们的自动段性能达到了人级的性能。最后,我们的方法可以使用由三个阶段组成的多视图US采集管道提供整个胎盘分割:多探针图像采集,图像融合和图像分段。这会导致对较大结构(例如胎盘中的胎盘)的高质量分割,其图像伪像降低,这超出了单个探针的视野。
translated by 谷歌翻译
不工会是骨科诊所面临的针对技术困难和高成本拍摄骨间毛细血管面临的挑战之一。细分容器和填充毛细血管对于理解毛细血管生长遇到的障碍至关重要。但是,现有用于血管分割的数据集主要集中在人体的大血管上,缺乏标记的毛细管图像数据集极大地限制了血管分割和毛细血管填充的方法论开发和应用。在这里,我们提出了一个名为IFCIS-155的基准数据集,由155个2D毛细管图像组成,该图像具有分割边界和由生物医学专家注释的血管填充物,以及19个大型高分辨率3D 3D毛细管图像。为了获得更好的骨间毛细血管图像,我们利用最先进的免疫荧光成像技术来突出骨间毛细血管的丰富血管形态。我们进行全面的实验,以验证数据集和基准测试深度学习模型的有效性(\ eg UNET/UNET ++和修改后的UNET/UNET ++)。我们的工作提供了一个基准数据集,用于培训毛细管图像细分的深度学习模型,并为未来的毛细管研究提供了潜在的工具。 IFCIS-155数据集和代码均可在\ url {https://github.com/ncclabsustech/ifcis-55}上公开获得。
translated by 谷歌翻译
前列腺活检和图像引导的治疗程序通常是在与磁共振图像(MRI)的超声指导下进行的。准确的图像融合依赖于超声图像上前列腺的准确分割。然而,超声图像中降低的信噪比和工件(例如,斑点和阴影)限制了自动前列腺分割技术的性能,并将这些方法推广到新的图像域是本质上很难的。在这项研究中,我们通过引入一种新型的2.5D深神经网络来解决这些挑战,用于超声图像上的前列腺分割。我们的方法通过组合有监督的域适应技术和知识蒸馏损失,解决了转移学习和填充方法的局限性(即,在更新模型权重时,在更新模型权重时的性能下降)。知识蒸馏损失允许保留先前学习的知识,并在新数据集上的模型填充后降低性能下降。此外,我们的方法依赖于注意模块,该模块认为模型特征定位信息以提高分割精度。我们对一个机构的764名受试者进行了培训,并仅使用后续机构中的十个受试者对我们的模型进行了审核。我们分析了方法在三个大型数据集上的性能,其中包括来自三个不同机构的2067名受试者。我们的方法达到了平均骰子相似性系数(骰子)为$ 94.0 \ pm0.03 $,而Hausdorff距离(HD95)为2.28 $ mm $,在第一机构的独立受试者中。此外,我们的模型在其他两个机构的研究中都很好地概括了(骰子:$ 91.0 \ pm0.03 $; hd95:3.7 $ mm $ and Dice:$ 82.0 \ pm0.03 $; hd95 $; hd95:7.1 $ mm $)。
translated by 谷歌翻译
Delineation of the left ventricular cavity, myocardium and right ventricle from cardiac magnetic resonance images (multi-slice 2D cine MRI) is a common clinical task to establish diagnosis. The automation of the corresponding tasks has thus been the subject of intense research over the past decades. In this paper, we introduce the "Automatic Cardiac Diagnosis Challenge" dataset (ACDC), the largest publicly-available and fully-annotated dataset for the purpose of Cardiac MRI (CMR) assessment. The dataset contains data from 150 multi-equipments CMRI recordings with reference measurements and classification O. Bernard and F. Cervenansky are with the
translated by 谷歌翻译
深度学习方法已被证明可以有效地分割医学成像中的结构和病理。但是,它们需要大量注释的数据集,其手动分割是一项繁琐且耗时的任务,尤其是对于大型结构。我们提出了一种新的部分注释方法,该方法使用每次扫描中的一小部分连续注释切片,其注释工作仅等于很少的注释情况。通过仅使用带注释的块进行部分注释的培训,将有关切片的信息包含在感兴趣的结构之外,并修改批处理损失函数以仅考虑带注释的切片。为了促进低数据制度中的培训,我们使用两步优化过程。我们用两个MRI序列Trufi和Fiesta用流行的软骰子损失测试了该方法,并将完整的注释状态与部分注释与类似的注释工作进行了比较。对于TRUFI数据,与完整注释相比,部分注释的使用平均表现稍好一些,骰子得分从0.936增加到0.942,并且骰子的标准偏差(STD)大幅下降22%,平均对称表面距离(ASSD)提高15%。对于嘉年华的序列,部分注释还会在分布数据中分别降低骰子分数和ASSD指标的STD和ASSD指标分别降低27.5%和33%骰子得分从0.84到0.9,从7.46降低到4.01毫米。两步优化过程有助于部分注释分别分配和分布数据。因此,建议使用两步优化器的部分注释方法在低数据制度下改善分割性能。
translated by 谷歌翻译
Three-dimensional (3D) ultrasound imaging technique has been applied for scoliosis assessment, but current assessment method only uses coronal projection image and cannot illustrate the 3D deformity and vertebra rotation. The vertebra detection is essential to reveal 3D spine information, but the detection task is challenging due to complex data and limited annotations. We propose VertMatch, a two-step framework to detect vertebral structures in 3D ultrasound volume by utilizing unlabeled data in semi-supervised manner. The first step is to detect the possible positions of structures on transverse slice globally, and then the local patches are cropped based on detected positions. The second step is to distinguish whether the patches contain real vertebral structures and screen the predicted positions from the first step. VertMatch develops three novel components for semi-supervised learning: for position detection in the first step, (1) anatomical prior is used to screen pseudo labels generated from confidence threshold method; (2) multi-slice consistency is used to utilize more unlabeled data by inputting multiple adjacent slices; (3) for patch identification in the second step, the categories are rebalanced in each batch to solve imbalance problem. Experimental results demonstrate that VertMatch can detect vertebra accurately in ultrasound volume and outperforms state-of-the-art methods. VertMatch is also validated in clinical application on forty ultrasound scans, and it can be a promising approach for 3D assessment of scoliosis.
translated by 谷歌翻译
3D光学相干断层扫描图像中视网膜流体的准确分割是诊断和个性化眼部疾病的关键。尽管深度学习在这项任务上取得了成功,但受过训练的监督模型通常会因不像标记示例的图像而失败,例如对于使用不同设备获取的图像。我们在此提出了一个新型的半监督学习框架,用于从新未标记的域分割体积图像。我们共同使用受监督和对比度学习,还引入了一种对比配对方案,该方案利用3D中附近切片之间的相似性。此外,我们建议通过渠道聚合作为对比特征图投影的常规空间释放聚合的替代方法。我们评估了从(标记的)源域对(未标记的)目标域的域适应方法,每个方法都包含具有不同采集设备的图像。在目标域中,我们的方法获得了比SIMCLR(最先进的对比框架)高13.8%的骰子系数,并导致结果可与该领域中有监督的训练的上限相当。在源域中,我们的模型还通过成功利用来自许多未标记的图像的信息,将结果提高了5.4%。
translated by 谷歌翻译
有许多方法可以使用弱监管来培训网络到分段2D图像。相比之下,现有的3D方法依赖于3D图像卷的2D片的子集的全监督。在本文中,我们提出了一种真正无弱监督的方法,即我们只需要在目标对象的表面上提供一组稀疏的3D点,这是一项可以快速完成的便捷任务。我们使用3D点以使3D模板变形,使其大致与目标对象轮廓匹配,并且我们介绍了利用粗略模板提供的监控以培训网络以找到准确边界的体系结构。我们评估我们在计算机断层扫描(CT),磁共振图像(MRI)和电子显微镜(EM)图像数据集中的方法的性能。我们将表明,在减少监督成本下,它始终以3D弱监管方式表现出更传统的方法。
translated by 谷歌翻译
准确的几何表示对于开发有限元模型至关重要。尽管通常只有很少的数据在准确细分精美特征,例如缝隙和薄结构方面,虽然只有很少的数据就有良好的深度学习分割方法。随后,分段的几何形状需要劳动密集型手动修改,以达到可用于模拟目的的质量。我们提出了一种使用转移学习来重复使用分段差的数据集的策略,并结合了交互式学习步骤,其中数据对数据进行微调导致解剖上精确的分割适合模拟。我们使用改良的多平台UNET,该UNET使用下髋关节分段和专用损耗函数进行预训练,以学习间隙区域和后处理,以纠正由于旋转不变性而在对称类别上的微小不准确性。我们证明了这种可靠但概念上简单的方法,采用了临床验证的髋关节扫描扫描的临床验证结果。代码和结果3D模型可在以下网址提供:\ url {https://github.com/miccai2022-155/autoseg}
translated by 谷歌翻译