我们提出了一种叫做SkullEngine的多级粗内CNN框架,可通过协作,集成和可扩展的JSD模型和三个分段和地标检测细化模型进行高分辨率分割和大规模地标检测。我们在临床数据集中评估了由170 CBCT / CT图像组成的临床数据集,用于分割2骨骼(Midface和Mabless)的任务,并在骨骼,牙齿和软组织上检测175个临床普通的地标。
translated by 谷歌翻译
精确分割牙齿并识别牙科网格模型上的相应解剖标签在计算机辅助性正畸治疗中是必不可少的。手动执行这两个任务是耗时,繁琐的,更重要的是,由于患者牙齿的异常和大规模差异,高度依赖于矫正者的经验。一些基于机器学习的方法已经设计和应用于正畸场,以自动分割牙科网格(例如,口腔扫描)。相比之下,牙齿地标定位的研究数量仍然有限。本文提出了一种基于网格深度学习(称为TS-MDL)的两级框架,用于联合牙齿标签和原始内部扫描的地标识别。我们的TS-MDL首先采用端到端\ EMPH {i} MeshsegNet方法(即,现有网格孔的变体,具有改进的精度和效率),以在下采样扫描上标记每个牙齿。由分割输出引导,我们的TS-MDL进一步选择原始网格上的每个牙齿的感兴趣区域(ROI),以构造开头的光重变量(即PINTNET-REG),用于回归相应的地标热插块。我们的TS-MDL在实际的数据集上进行了评估,显示了有希望的细分和本地化性能。具体而言,TS-MDL的第一阶段中的\ EMPH {i} Meshsegnet达到了0.964 \ PM0.054 $ 0.964 \ PM0.054 $的平均骰子相似度系数(DSC),显着优于原始的Meshsegnet。在第二阶段,PointNet-Reg实现了0.597 \ PM0.761 \,预测和地面真理之间的平均绝对误差(MAE),以66美元的地标,与地标检测的其他网络相比,比较优越。所有这些结果表明我们在临床实践中的TS-MDL潜在使用。
translated by 谷歌翻译
运动估计是用于评估目标器官解剖学和功能的动态医学图像处理的基本步骤。然而,通过评估局部图像相似性通过评估局部图像相似性优化运动场的基于图像的运动估计方法,易于产生令人难以置信的估计,尤其是在大运动的情况下。在这项研究中,我们提供了一种新颖的稀疏密度(DSD)的运动估计框架,其包括两个阶段。在第一阶段,我们处理原始密集图像以提取稀疏地标以表示目标器官解剖拓扑,并丢弃对运动估计不必要的冗余信息。为此目的,我们介绍一个无监督的3D地标检测网络,以提取用于目标器官运动估计的空间稀疏但代表性的地标。在第二阶段,我们从两个不同时间点的两个图像的提取稀疏地标的稀疏运动位移得出。然后,我们通过将稀疏地标位移突出回致密图像域,呈现运动重建网络来构造运动场。此外,我们从我们的两级DSD框架中使用估计的运动场作为初始化,并提高轻量级且有效的迭代优化中的运动估计质量。我们分别评估了两种动态医学成像任务的方法,分别为模型心脏运动和肺呼吸运动。与现有的比较方法相比,我们的方法产生了出色的运动估计精度。此外,广泛的实验结果表明,我们的解决方案可以提取良好代表性解剖标志,而无需手动注释。我们的代码在线公开提供。
translated by 谷歌翻译
解剖标志的本地化对于临床诊断,治疗计划和研究至关重要。在本文中,我们提出了一种新的深网络,名为特征聚合和细化网络(Farnet),用于自动检测解剖标记。为了减轻医疗领域的培训数据有限的问题,我们的网络采用了在自然图像上预先培训的深网络,因为骨干网络和几个流行的网络进行了比较。我们的FARNET还包括多尺度特征聚合模块,用于多尺度特征融合和用于高分辨率热图回归的特征精制模块。粗细的监督应用于两个模块,以方便端到端培训。我们进一步提出了一种名为指数加权中心损耗的新型损失函数,用于准确的热爱回归,这侧重于地标附近的像素的损失并抑制了远处的损失。我们的网络已经在三个公开的解剖学地标检测数据集中进行了评估,包括头部测量射线照片,手射线照片和脊柱射线照相,并在所有三个数据集上实现最先进的性能。代码可用:\ url {https://github.com/juvenileinwind/farnet}
translated by 谷歌翻译
目的:我们对颅颌面(CMF)骨骼进行解剖地标,而无需明确分割它们。为此,我们提出了一种新的简单而有效的深层网络体系结构,称为\ textit {关系推理网络(RRN)},以准确地学习CMF骨骼中地标之间的本地和全球关系;具体而言,下颌骨,上颌和鼻骨。方法:拟议的RRN以端到端的方式工作,利用基于密集块单元的地标的学习关系。对于给定的少数地标作为输入,RRN将地标的过程类似于数据推出问题,而数据插图问题被认为缺少了预测的地标。结果:我们将RRN应用于从250名患者获得的锥束计算机断层扫描扫描。使用4倍的交叉验证技术,我们获得了平均均方根误差,每个地标小于2 mm。我们提出的RRN揭示了地标之间的独特关系,这些关系帮助我们推断了关于地标的信息的几个\ textit {推理}。所提出的系统即使骨骼中存在严重的病理或变形,也可以准确地识别缺失的地标性位置。结论:准确识别解剖标志是CMF手术的变形分析和手术计划的关键步骤。实现这一目标而无需明确的骨骼分割解决了基于分割方法的主要局限性,在这种方法中,分割失败(在具有严重病理或变形的骨骼中通常情况下)很容易导致地标不正确。据我们所知,这是使用深度学习发现对象的解剖学关系的第一种此类算法。
translated by 谷歌翻译
自动化的腹部多器官分割是计算机辅助诊断腹部器官相关疾病的至关重要但具有挑战性的任务。尽管许多深度学习模型在许多医学图像分割任务中取得了显着的成功,但由于腹部器官的不同大小以及它们之间的含糊界限,腹部器官的准确分割仍然具有挑战性。在本文中,我们提出了一个边界感知网络(BA-NET),以分段CT扫描和MRI扫描进行腹部器官。该模型包含共享编码器,边界解码器和分割解码器。两个解码器都采用了多尺度的深度监督策略,这可以减轻可变器官尺寸引起的问题。边界解码器在每个量表上产生的边界概率图被用作提高分割特征图的注意。我们评估了腹部多器官细分(AMOS)挑战数据集的BA-NET,并获得了CT扫描的多器官分割的平均骰子分数为89.29 $ \%$,平均骰子得分为71.92 $ \%$ \%$ \% MRI扫描。结果表明,在两个分割任务上,BA-NET优于NNUNET。
translated by 谷歌翻译
3D牙齿分割是计算机辅助牙齿诊断和治疗的先决条件。但是,将所有牙齿区域分割为主观且耗时。最近,基于深度学习的细分方法产生了令人信服的结果并减少了手动注释的工作,但是它需要大量的基础真相进行培训。据我们所知,3D分割研究几乎没有牙齿数据。在本文中,我们建立了带有牙齿金标准的完全注释的锥束计算机断层扫描数据集。该数据集包含22卷(7363片),并带有经验丰富的射线照相解释者注释的精细牙齿标签。为了确保相对的数据采样分布,数据方差包括在牙齿中,包括缺失的牙齿和牙齿修复。在此数据集上评估了几种最新的分割方法。之后,我们进一步总结并应用了一系列基于3D注意的UNET变体以分割牙齿。这项工作为牙齿体积分割任务提供了新的基准。实验证据证明,3D UNET结构的注意力模块增强了牙齿区域中的反应,并抑制背景和噪声的影响。 3D UNET使用SKNET注意模块实现了最佳性能,分别为88.04 \%骰子和78.71 \%IOU。基于注意力的UNET框架的表现优于Ctooth数据集上的其他最新方法。代码库和数据集已发布。
translated by 谷歌翻译
在医学领域,MRI的地标检测在减少扫描计划,图像登记等中的任务中减少医疗技术人员努力方面发挥着重要作用。首先,88个地标在三个相应的观点中分布在三个相应的观点中 - 矢状,冠状动脉和轴向手动注释,专家临床技术人员的后期准则被划分解剖学,以便更好地定位现有地标,以便即使在斜扫描中也定位重要的地图标志性地标。为了克服有限的数据可用性,我们实施现实的数据增强以生成合成3D容量数据。我们使用修改后的HIGHRES3DNET模型来解决脑MRI容量的地标检测问题。为了在视觉上解释我们的培训模型,并从较弱的模型中辨别更强的模型,我们实现了梯度加权类激活映射(GRAC-CAM),它产生突出显示模型聚焦的区域的粗糙定位图。我们的实验表明,该方法显示出有利的结果,并且整个管道可以扩展到可变数量的地标和其他解剖。
translated by 谷歌翻译
现在,人工智能(AI)可以自动解释医学图像以供临床使用。但是,AI在介入图像中的潜在用途(相对于参与分类或诊断的图像),例如在手术期间的指导,在很大程度上尚未开发。这是因为目前,使用现场分析对现场手术收集的数据进行了事后分析,这是因为手术AI系统具有基本和实际限制,包括道德考虑,费用,可扩展性,数据完整性以及缺乏地面真相。在这里,我们证明从人类模型中创建逼真的模拟图像是可行的替代方法,并与大规模的原位数据收集进行了补充。我们表明,对现实合成数据的训练AI图像分析模型,结合当代域的概括或适应技术,导致在实际数据上的模型与在精确匹配的真实数据训练集中训练的模型相当地执行的模型。由于从基于人类的模型尺度的合成生成培训数据,因此我们发现我们称为X射线图像分析的模型传输范式(我们称为Syntheex)甚至可以超越实际数据训练的模型,因为训练的有效性较大的数据集。我们证明了合成在三个临床任务上的潜力:髋关节图像分析,手术机器人工具检测和COVID-19肺病变分割。 Synthex提供了一个机会,可以极大地加速基于X射线药物的智能系统的概念,设计和评估。此外,模拟图像环境还提供了测试新颖仪器,设计互补手术方法的机会,并设想了改善结果,节省时间或减轻人为错误的新技术,从实时人类数据收集的道德和实际考虑方面摆脱了人为错误。
translated by 谷歌翻译
CT图像中的椎骨定位,分割和识别是众多临床应用的关键。尽管近年来,深度学习策略已为该领域带来了重大改进,但由于其在培训数据集中的代表性不佳,过渡性和病理椎骨仍在困扰大多数现有方法。另外,提出的基于非学习的方法可以利用先验知识来处理这种特定情况。在这项工作中,我们建议将这两种策略结合起来。为此,我们引入了一个迭代循环,在该循环中,单个椎骨被递归地定位,分割和使用深网鉴定,而使用统计先验则实施解剖一致性。在此策略中,通过在图形模型中编码其配置来处理过渡性椎骨识别,该模型将局部深网预测汇总为解剖上一致的最终结果。我们的方法在Verse20挑战基准上取得了最新的结果,并且优于过渡性椎骨的所有方法以及对Verse19挑战基准的概括。此外,我们的方法可以检测和报告不满足解剖学一致性先验的不一致的脊柱区域。我们的代码和模型公开用于研究目的。
translated by 谷歌翻译
Three-dimensional (3D) ultrasound imaging technique has been applied for scoliosis assessment, but current assessment method only uses coronal projection image and cannot illustrate the 3D deformity and vertebra rotation. The vertebra detection is essential to reveal 3D spine information, but the detection task is challenging due to complex data and limited annotations. We propose VertMatch, a two-step framework to detect vertebral structures in 3D ultrasound volume by utilizing unlabeled data in semi-supervised manner. The first step is to detect the possible positions of structures on transverse slice globally, and then the local patches are cropped based on detected positions. The second step is to distinguish whether the patches contain real vertebral structures and screen the predicted positions from the first step. VertMatch develops three novel components for semi-supervised learning: for position detection in the first step, (1) anatomical prior is used to screen pseudo labels generated from confidence threshold method; (2) multi-slice consistency is used to utilize more unlabeled data by inputting multiple adjacent slices; (3) for patch identification in the second step, the categories are rebalanced in each batch to solve imbalance problem. Experimental results demonstrate that VertMatch can detect vertebra accurately in ultrasound volume and outperforms state-of-the-art methods. VertMatch is also validated in clinical application on forty ultrasound scans, and it can be a promising approach for 3D assessment of scoliosis.
translated by 谷歌翻译
机器学习和计算机视觉技术近年来由于其自动化,适合性和产生惊人结果的能力而迅速发展。因此,在本文中,我们调查了2014年至2022年之间发表的关键研究,展示了不同的机器学习算法研究人员用来分割肝脏,肝肿瘤和肝脉管结构的研究。我们根据感兴趣的组织(肝果,肝肿瘤或肝毒剂)对被调查的研究进行了划分,强调了同时解决多个任务的研究。此外,机器学习算法被归类为受监督或无监督的,如果属于某个方案的工作量很大,则将进一步分区。此外,对文献和包含上述组织面具的网站发现的不同数据集和挑战进行了彻底讨论,强调了组织者的原始贡献和其他研究人员的贡献。同样,在我们的评论中提到了文献中过度使用的指标,这强调了它们与手头的任务的相关性。最后,强调创新研究人员应对需要解决的差距的关键挑战和未来的方向,例如许多关于船舶分割挑战的研究的稀缺性以及为什么需要早日处理他们的缺席。
translated by 谷歌翻译
本文提出了一个改进金字塔变压器(复制器),以进行健壮的面部标志性检测。大多数面部地标探测器都专注于学习代表性图像特征。但是,这些基于CNN的功能表示不足以处理复杂的现实世界情景,因为忽略了地标的内部结构以及地标和环境之间的关系。在这项工作中,我们制定了面部标志性检测任务,作为沿金字塔记忆的提炼里程碑式的查询。具体而言,引入了金字塔变压器头(PTH),以在地标之间建立同源关系,以及地标和跨尺度环境之间的异源关系。此外,动态里程碑改进(DLR)模块旨在将地标回归分解为端到端的细化过程,其中动态聚合的查询被转换为残留坐标预测。对四个面部标志检测基准及其各种子集进行的广泛实验结果表明,我们的框架具有卓越的性能和较高的鲁棒性。
translated by 谷歌翻译
最近关于Covid-19的研究表明,CT成像提供了评估疾病进展和协助诊断的有用信息,以及帮助理解疾病。有越来越多的研究,建议使用深度学习来使用胸部CT扫描提供快速准确地定量Covid-19。兴趣的主要任务是胸部CT扫描的肺和肺病变的自动分割,确认或疑似Covid-19患者。在这项研究中,我们使用多中心数据集比较12个深度学习算法,包括开源和内部开发的算法。结果表明,合并不同的方法可以提高肺部分割,二元病变分割和多种子病变分割的总体测试集性能,从而分别为0.982,0.724和0.469的平均骰子分别。将得到的二元病变分段为91.3ml的平均绝对体积误差。通常,区分不同病变类型的任务更加困难,分别具有152mL的平均绝对体积差,分别为整合和磨碎玻璃不透明度为0.369和0.523的平均骰子分数。所有方法都以平均体积误差进行二元病变分割,该分段优于人类评估者的视觉评估,表明这些方法足以用于临床实践中使用的大规模评估。
translated by 谷歌翻译
由于复杂的腹部内形状和腹部器官之间的复杂形状和外观变化,从不同模态的CT成像中进行的准确且健壮的腹部多器官分割是一项具有挑战性的任务。在本文中,我们提出了一个具有分层空间特征调制的概率多器官分割网络,以捕获灵活的器官语义变体,并将学习的变体注入不同的特征图尺度,以进行指导分割。更具体地说,我们通过条件变异自动编码器设计一个输入分解模块,以在低维潜在空间和模型富有器官语义变化上学习器官特异性分布,该分布在输入图像上进行条件。 -NET解码器通过空间特征转换从层次上进行分层,该特征转换能够将变化转换为空间特征映射调制并指导细尺度分割的条件仿射转换参数。提出的方法对公开可用的腹部可用数据集进行了培训,并在其他两个开放数据集上进行了评估,即100个挑战/病理测试,从腹部腹部1K完全监督的腹部器官细分基准和90例TCIA+&BTCV数据集中进行了90例病例。使用这些数据集用于四个腹部器官,肾脏,脾脏和胰腺,肾脏分数提高了7.3%,胰腺的骰子得分提高了7.7%,而胰腺的骰子得分提高了7.3%,而胰腺的较高速度比强度快7倍,较高的7倍基线分割方法(NNUNET和COTR)。
translated by 谷歌翻译
Automatic parsing of human anatomies at instance-level from 3D computed tomography (CT) scans is a prerequisite step for many clinical applications. The presence of pathologies, broken structures or limited field-of-view (FOV) all can make anatomy parsing algorithms vulnerable. In this work, we explore how to exploit and conduct the prosperous detection-then-segmentation paradigm in 3D medical data, and propose a steerable, robust, and efficient computing framework for detection, identification, and segmentation of anatomies in CT scans. Considering complicated shapes, sizes and orientations of anatomies, without lose of generality, we present the nine degrees-of-freedom (9-DoF) pose estimation solution in full 3D space using a novel single-stage, non-hierarchical forward representation. Our whole framework is executed in a steerable manner where any anatomy of interest can be directly retrieved to further boost the inference efficiency. We have validated the proposed method on three medical imaging parsing tasks of ribs, spine, and abdominal organs. For rib parsing, CT scans have been annotated at the rib instance-level for quantitative evaluation, similarly for spine vertebrae and abdominal organs. Extensive experiments on 9-DoF box detection and rib instance segmentation demonstrate the effectiveness of our framework (with the identification rate of 97.0% and the segmentation Dice score of 90.9%) in high efficiency, compared favorably against several strong baselines (e.g., CenterNet, FCOS, and nnU-Net). For spine identification and segmentation, our method achieves a new state-of-the-art result on the public CTSpine1K dataset. Last, we report highly competitive results in multi-organ segmentation at FLARE22 competition. Our annotations, code and models will be made publicly available at: https://github.com/alibaba-damo-academy/Med_Query.
translated by 谷歌翻译
整个腹部器官分割起着腹部损伤诊断,放射治疗计划的重要作用,并随访。然而,划定肿瘤学家所有腹部器官手工费时且非常昂贵的。近日,深学习型医学图像分割显示,以减少人工划定努力的潜力,但它仍然需要培训的大型精细注释的数据集。虽然在这个任务很多努力,但仍然覆盖整个腹部区域与整个腹腔脏器分割准确和详细的注解几个大的图像数据集。在这项工作中,我们建立了一个大型的\ textit【W】孔腹部\ textit {} OR甘斯\ textit {d} ataset(\ {textit WORD})的算法研究和临床应用的发展。此数据集包含150个腹部CT体积(30495片),并且每个卷具有16个机关用细像素级注释和涂鸦基于稀疏注释,这可能是与整个腹部器官注释最大数据集。状态的最先进的几个分割方法是在该数据集进行评估。而且,我们还邀请了临床肿瘤学家修改模型预测测量深度学习方法和真实的肿瘤学家之间的差距。我们进一步介绍和评价这一数据集一个新的基于涂鸦,弱监督分割。该工作腹部多器官分割任务提供了新的基准,这些实验可以作为基准对未来的研究和临床应用的发展。 https://github.com/HiLab-git/WORD:代码库和数据集将被释放
translated by 谷歌翻译
超声(US)成像数据的分割和空间比对在头三个月获得的数据对于监测整个关键时期的人类胚胎生长和发育至关重要。当前的方法是手动或半自动的,因此非常耗时,容易出现错误。为了自动执行这些任务,我们提出了一个多ATLAS框架,用于使用深度学习,以最小的监督使用深度学习,以自动分割和空间对齐。我们的框架学会了将胚胎注册到地图集,该地图集由在胎龄(GA)范围内获取的美国图像组成,分段并在空间上与预定义的标准方向排列。由此,我们可以得出胚胎的分割,并将胚胎放在标准方向上。使用在8+0到12+6周GA的美国图像,并选择了八个受试者作为地图集。我们评估了不同的融合策略,以合并多个地图集:1)使用单个主题中的地图集训练框架,2)使用所有可用地图的数据训练框架和3)3)结合每个受试者训练的框架。为了评估性能,我们计算了测试集的骰子分数。我们发现,使用所有可用地图的训练框架优于结合的结合,与对单个主题进行培训的所有框架中的最佳框架相比,给出了类似的结果。此外,我们发现,从所有可用的地图中,从GA最接近的四个图像中选择图像,无论个人质量如何,都以0.72的中位数分数获得了最佳效果。我们得出的结论是,我们的框架可以准确地分割和空间对齐孕妇在3D US图像中对胚胎进行对齐,并且对于可用地图中存在的质量变化是可靠的。我们的代码可在以下网址公开获取:https://github.com/wapbastiaansen/multi-atlas-seg-reg。
translated by 谷歌翻译
脑转移经常发生在转移性癌症的患者中。早期和准确地检测脑转移对于放射治疗的治疗计划和预后至关重要。为了提高深入学习的脑转移检测性能,提出了一种称为体积级灵敏度特异性(VSS)的定制检测损失,该损失是单个转移检测灵敏度和(子)体积水平的特异性。作为敏感性和精度始终在转移水平中始终是折射率,可以通过调节VSS损耗中的重量而无需骰子分数系数进行分段转移来实现高精度或高精度。为了减少被检测为假阳性转移的转移样结构,提出了一种时间的现有量作为神经网络的额外输入。我们提出的VSS损失提高了脑转移检测的敏感性,将灵敏度提高了86.7%至95.5%。或者,它将精度提高了68.8%至97.8%。随着额外的时间现有量,在高灵敏度模型中,约45%的假阳性转移减少,高特异性模型的精度达到99.6%。所有转移的平均骰子系数约为0.81。随着高灵敏度和高特异性模型的集合,平均每位患者的1.5个假阳性转移需要进一步检查,而大多数真正的阳性转移确认。该集合学习能够区分从需要特殊专家审查或进一步跟进的转移候选人的高信心真正的阳性转移,特别适合实际临床实践中专家支持的要求。
translated by 谷歌翻译
风险(OAR)的器官的分割是具有图像引导放射治疗的癌症治疗所需的前提。因此,分割任务的自动化是高临床相关性的。基于深度学习(DL)的医学图像分割是目前最成功的方法,但遭受背景类别和解剖学上给定的器官尺寸差异,这在头部和颈部(汉)区域中最严重。为了解决汉族地区特定的类别不平衡问题我们首先优化当前最好的通用分割框架的补丁大小,基于介绍的类不平衡测量,第二,介绍了课堂自适应骰子损失补偿高度不平衡的设置。补丁大小和损耗功能都是对类别不平衡有直接影响的参数,并且它们的优化导致骰子得分的3 \%增加了95%Hausdorff距离的22%,最后达到0.8美元\ PM0.15 $和3.17美元\ PM1.7 $ mm用于使用单个和简单的神经网络分割七汉机关的分割。补丁大小优化和类自适应骰子损耗均可在基于DL的基于DL的分段方法中简单集成,并允许提高类别不平衡分段任务的性能。
translated by 谷歌翻译