本文介绍了多智能体增强学习(MARL)在医学成像中执行3D解剖卷中的导航。我们利用神经风格转移来创建合成计算机断层扫描(CT)代理体房环境,并评估我们代理商的普遍性能力至临床CT卷。我们的框架不需要任何标记的临床数据,并通过多种图像翻译技术轻松集成,从而实现跨模式应用程序。此外,我们仅在2D片上调节我们的代理,在更加困难的成像模型中打破3D引导的地面,例如超声成像。这是在获取标准化诊断视图飞机期间对用户指导的重要一步,提高诊断一致性,并促进更好的案例比较。
translated by 谷歌翻译
数据的多样性对于对深度学习模型的成功培训至关重要。通过经常发生的生成对抗网络杠杆,我们提出了在胸部CT扫描的小型数据集上培训时产生大规模3D合成CT-SCAN卷($ \ GEQ224 \ Times224 $)的CT-SGAG。CT-SGAN为医学成像机器学习面临的两个主要挑战提供有吸引力的解决方案:少数给定的I.I.D。培训数据,以及对患者数据共享的限制,防止迅速获得更大和更多样化的数据集。我们使用包括FR \'电位距离和成立分数的各种度量来评估生成的图像的保真度和定量。我们进一步表明,通过在大量合成数据上预先训练分类器,CT-SGAN可以显着提高肺结核检测精度。
translated by 谷歌翻译
超声(US)成像通常用于协助诊断和脊柱疾病的干预,而通过手动操作探针进行标准化美国收购需要大量的经验和超声检查的培训。在这项工作中,我们提出了一种新的双代理框架,集成了强化学习(RL)代理和深度学习(DL)代理,以共同确定基于实时超声图像美国探测器的移动,以模拟专家超声检查操作者的决策过程,以实现脊柱超声自主标准视图收购。此外,通过美国传播的性质和脊柱解剖的特性的启发,我们引入一个视图特定的声影奖励利用阴影信息来隐式地引导朝向脊柱的不同标准视图探针的导航。我们的方法在从$ $ 17名志愿者获得的美国经济数据建立了一个模拟环境的定量和定性实验验证。平均导航精度朝向不同的标准视图达到$5.18毫米/ 5.25 ^ \ CIRC $ $和12.87毫米/ 17.49 ^ \ CIRC $在分子内和主体间设置,分别。结果表明,我们的方法可以有效地解释美国的图像和导航探头获取脊柱多种标准的意见。
translated by 谷歌翻译
基于深度学习的疾病检测和分割算法承诺提高许多临床过程。然而,由于数据隐私,法律障碍和非统一数据采集协议,此类算法需要大量的注释训练数据,通常在医学环境中不可用。具有注释病理学的合成数据库可以提供所需的培训数据量。我们展示了缺血性卒中的例子,即利用基于深度学习的增强的病变分割的改善是可行的。为此,我们训练不同的图像到图像转换模型,以合成大脑体积的磁共振图像,并且没有来自语义分割图的中风病变。此外,我们培养一种生成的对抗性网络来产生合成病变面具。随后,我们组合这两个组件来构建大型合成描边图像数据库。使用U-NET评估各种模型的性能,该U-NET在临床测试集上培训以进行段中风病变。我们向最佳性能报告$ \ mathbf {72.8} $%[$ \ mathbf {70.8 \ pm1.0} $%]的骰子分数,这胜过了单独临床图像培训的模型培训$ \ mathbf { 67.3} $%[$ \ mathbf {63.2 \ pm1.9} $%],并且接近人类互相互联网骰子评分$ \ mathbf {76.9} $%。此外,我们表明,对于仅为10或50个临床案例的小型数据库,与使用不使用合成数据的设置相比,合成数据增强产生了显着的改进。据我们所知,这提出了基于图像到图像翻译的合成数据增强的第一个比较分析,并将第一应用于缺血性卒中。
translated by 谷歌翻译
背景:基于学习的深度颈部淋巴结水平(HN_LNL)自动纤维与放射疗法研究和临床治疗计划具有很高的相关性,但在学术文献中仍被研究过。方法:使用35个规划CTS的专家划分的队列用于培训NNU-NEN 3D FULLES/2D-ENEBLEN模型,用于自动分片20不同的HN_LNL。验证是在独立的测试集(n = 20)中进行的。在一项完全盲目的评估中,3位临床专家在与专家创建的轮廓的正面比较中对深度学习自动分类的质量进行了评价。对于10个病例的亚组,将观察者内的变异性与深度学习自动分量性能进行了比较。研究了Autocontour与CT片平面方向的一致性对几何精度和专家评级的影响。结果:与专家创建的轮廓相比,对CT SLICE平面调整的深度学习分割的平均盲目专家评级明显好得多(81.0 vs. 79.6,p <0.001),但没有切片平面的深度学习段的评分明显差。专家创建的轮廓(77.2 vs. 79.6,p <0.001)。深度学习分割的几何准确性与观察者内变异性(平均骰子,0.78 vs. 0.77,p = 0.064)的几何准确性无关,并且在提高水平之间的准确性方面差异(p <0.001)。与CT切片平面方向一致性的临床意义未由几何精度指标(骰子,0.78 vs. 0.78 vs. 0.78,p = 0.572)结论:我们表明可以将NNU-NENE-NET 3D-FULLRES/2D-ENEMELBEND用于HN_LNL高度准确的自动限制仅使用有限的培训数据集,该数据集非常适合在研究环境中在HN_LNL的大规模标准化自动限制。几何准确度指标只是盲人专家评级的不完善的替代品。
translated by 谷歌翻译
腹主动脉瘤(AAA)是一种血管疾病,其中主动脉的一部分肿大,削弱其壁并可能破裂血管。腹部超声已用于诊断,但由于其图像质量和操作员的依赖性有限,通常需要进行CT扫描进行监测和治疗计划。最近,腹部CT数据集已成功用于训练深神经网络以进行自动主动脉分割。因此,可以利用从这项解决的任务中收集的知识来改善我们的AAA诊断和监测分段。为此,我们提出了Cactuss:一种常见的解剖CT-US空间,它是CT和美国模式之间的虚拟桥梁,以实现自动AAA筛选超声检查。仙人掌利用公开可用的标记数据来学习基于从美国和CT继承属性的中介表示。我们在此新表示中训练分割网络,并采用附加的图像到图像翻译网络,使我们的模型能够在真实的B模式图像上执行。与完全监督的方法进行的定量比较证明了在骰子评分和诊断指标方面的能力,这表明我们的方法还满足了AAA扫描和诊断的临床要求。
translated by 谷歌翻译
尽管近年来从CT/MRI扫描中自动腹部多器官分割取得了很大进展,但由于缺乏各种临床方案的大规模基准,对模型的能力的全面评估受到阻碍。收集和标记3D医学数据的高成本的限制,迄今为止的大多数深度学习模型都由具有有限数量的感兴趣或样品器官的数据集驱动,这仍然限制了现代深层模型的力量提供各种方法的全面且公平的估计。为了减轻局限性,我们提出了AMO,这是一个大规模,多样的临床数据集,用于腹部器官分割。 AMOS提供了从多中心,多供应商,多模式,多相,多疾病患者收集的500 CT和100次MRI扫描,每个患者均具有15个腹部器官的体素级注释,提供了具有挑战性的例子,并提供了挑战性的例子和测试结果。在不同的目标和场景下研究健壮的分割算法。我们进一步基准了几种最先进的医疗细分模型,以评估此新挑战性数据集中现有方法的状态。我们已公开提供数据集,基准服务器和基线,并希望激发未来的研究。信息可以在https://amos22.grand-challenge.org上找到。
translated by 谷歌翻译
动机:医学图像分析涉及帮助医师对病变或解剖结构进行定性和定量分析的任务,从而显着提高诊断和预后的准确性和可靠性。传统上,这些任务由医生或医学物理学家完成,并带来两个主要问题:(i)低效率; (ii)受个人经验的偏见。在过去的十年中,已经应用了许多机器学习方法来加速和自动化图像分析过程。与受监督和无监督的学习模型的大量部署相比,在医学图像分析中使用强化学习的尝试很少。这篇评论文章可以作为相关研究的垫脚石。意义:从我们的观察结果来看,尽管近年来增强学习逐渐增强了动力,但医学分析领域的许多研究人员发现很难理解和部署在诊所中。一个原因是缺乏组织良好的评论文章,针对缺乏专业计算机科学背景的读者。本文可能没有提供医学图像分析中所有强化学习模型的全面列表,而是可以帮助读者学习如何制定和解决他们的医学图像分析研究作为强化学习问题。方法和结果:我们从Google Scholar和PubMed中选择了已发表的文章。考虑到相关文章的稀缺性,我们还提供了一些出色的最新预印本。根据图像分析任务的类型对论文进行仔细审查和分类。我们首先回顾了强化学习的基本概念和流行模型。然后,我们探讨了增强学习模型在具有里程碑意义的检测中的应用。最后,我们通过讨论审查的强化学习方法的局限性和可能的​​改进来结束这篇文章。
translated by 谷歌翻译
我们为Covid-19的快速准确CT(DL-FACT)测试提供了一系列深度学习的计算框架。我们开发了基于CT的DL框架,通过基于DL的CT图像增强和分类来提高Covid-19(加上其变体)的测试速度和准确性。图像增强网络适用于DDNet,短暂的Dennet和基于Deconvolulate的网络。为了展示其速度和准确性,我们在Covid-19 CT图像的几个来源中评估了DL-FARE。我们的结果表明,DL-FACT可以显着缩短几天到几天的周转时间,并提高Covid-19测试精度高达91%。DL-FACT可以用作诊断和监测Covid-19的医学专业人员的软件工具。
translated by 谷歌翻译
在临床实践中,由于较短的获取时间和较低的存储成本,通常使用了平面分辨率低的各向异性体积医学图像。然而,粗分辨率可能导致医生或计算机辅助诊断算法的医学诊断困难。基于深度学习的体积超分辨率(SR)方法是改善分辨率的可行方法,其核心是卷积神经网络(CNN)。尽管进展最近,但这些方法受到卷积运算符的固有属性的限制,卷积运算符忽略内容相关性,无法有效地对远程依赖性进行建模。此外,大多数现有方法都使用伪配合的体积进行训练和评估,其中伪低分辨率(LR)体积是通过简单的高分辨率(HR)对应物的简单降解而产生的。但是,伪和现实LR之间的域间隙导致这些方法在实践中的性能不佳。在本文中,我们构建了第一个公共实用数据集RPLHR-CT作为体积SR的基准,并通过重新实现四种基于CNN的最先进的方法来提供基线结果。考虑到CNN的固有缺点,我们还提出了基于注意力机制的变压器体积超分辨率网络(TVSRN),完全与卷积分配。这是首次将纯变压器用于CT体积SR的研究。实验结果表明,TVSRN在PSNR和SSIM上的所有基准都显着胜过。此外,TVSRN方法在图像质量,参数数量和运行时间之间取得了更好的权衡。数据和代码可在https://github.com/smilenaxx/rplhr-ct上找到。
translated by 谷歌翻译
整个腹部器官分割起着腹部损伤诊断,放射治疗计划的重要作用,并随访。然而,划定肿瘤学家所有腹部器官手工费时且非常昂贵的。近日,深学习型医学图像分割显示,以减少人工划定努力的潜力,但它仍然需要培训的大型精细注释的数据集。虽然在这个任务很多努力,但仍然覆盖整个腹部区域与整个腹腔脏器分割准确和详细的注解几个大的图像数据集。在这项工作中,我们建立了一个大型的\ textit【W】孔腹部\ textit {} OR甘斯\ textit {d} ataset(\ {textit WORD})的算法研究和临床应用的发展。此数据集包含150个腹部CT体积(30495片),并且每个卷具有16个机关用细像素级注释和涂鸦基于稀疏注释,这可能是与整个腹部器官注释最大数据集。状态的最先进的几个分割方法是在该数据集进行评估。而且,我们还邀请了临床肿瘤学家修改模型预测测量深度学习方法和真实的肿瘤学家之间的差距。我们进一步介绍和评价这一数据集一个新的基于涂鸦,弱监督分割。该工作腹部多器官分割任务提供了新的基准,这些实验可以作为基准对未来的研究和临床应用的发展。 https://github.com/HiLab-git/WORD:代码库和数据集将被释放
translated by 谷歌翻译
肿瘤分割是放疗治疗计划的基本步骤。为了确定口咽癌患者(OPC)原发性肿瘤(GTVP)的准确分割,需要同时评估不同图像模态,并从不同方向探索每个图像体积。此外,分割的手动固定边界忽略了肿瘤描述中已知的空间不确定性。这项研究提出了一种新型的自动深度学习(DL)模型,以在注册的FDG PET/CT图像上进行逐片自适应GTVP分割的辐射肿瘤学家。我们包括138名在我们研究所接受过(化学)辐射治疗的OPC患者。我们的DL框架利用了间和板板的上下文。连续3片的串联FDG PET/CT图像和GTVP轮廓的序列用作输入。进行了3倍的交叉验证,进行了3​​次,对从113例患者的轴向(a),矢状(s)和冠状(c)平面提取的序列进行了训练。由于体积中的连续序列包含重叠的切片,因此每个切片产生了平均的三个结果预测。在A,S和C平面中,输出显示具有预测肿瘤的概率不同的区域。使用平均骰子得分系数(DSC)评估了25名患者的模型性能。预测是最接近地面真理的概率阈值(在A中为0.70,s为0.70,在s中为0.77,在C平面中为0.80)。提出的DL模型的有希望的结果表明,注册的FDG PET/CT图像上的概率图可以指导逐片自适应GTVP分割中的辐射肿瘤学家。
translated by 谷歌翻译
尽管数据增强和转移学习有所进步,但卷积神经网络(CNNS)难以推广到看不见的域。在分割大脑扫描时,CNN对分辨率和对比度的变化非常敏感:即使在相同的MRI模式内,则性能可能会跨数据集减少。在这里,我们介绍了Synthseg,第一个分段CNN无关紧要对比和分辨率。 Synthseg培训,用从分段上的生成模型采样的合成数据培训。至关重要,我们采用域随机化策略,我们完全随机开启了合成培训数据的对比度和解决。因此,Synthseg可以在没有再培训或微调的情况下对任何目标结构域进行真实扫描,这是首次分析大量的异构临床数据。因为Synthseg仅需要进行培训(无图像),所以它可以从通过不同群体的对象(例如,老化和患病)的自动化方法获得的标签中学习,从而实现广泛的形态变异性的鲁棒性。我们展示了Synthseg在六种方式的5,300扫描和十项决议中,与监督CNN,最先进的域适应和贝叶斯分割相比,它表现出无与伦比的泛化。最后,我们通过将其施加到心脏MRI和CT分割来证明SyntheeG的恒定性。
translated by 谷歌翻译
CT图像中的椎骨定位,分割和识别是众多临床应用的关键。尽管近年来,深度学习策略已为该领域带来了重大改进,但由于其在培训数据集中的代表性不佳,过渡性和病理椎骨仍在困扰大多数现有方法。另外,提出的基于非学习的方法可以利用先验知识来处理这种特定情况。在这项工作中,我们建议将这两种策略结合起来。为此,我们引入了一个迭代循环,在该循环中,单个椎骨被递归地定位,分割和使用深网鉴定,而使用统计先验则实施解剖一致性。在此策略中,通过在图形模型中编码其配置来处理过渡性椎骨识别,该模型将局部深网预测汇总为解剖上一致的最终结果。我们的方法在Verse20挑战基准上取得了最新的结果,并且优于过渡性椎骨的所有方法以及对Verse19挑战基准的概括。此外,我们的方法可以检测和报告不满足解剖学一致性先验的不一致的脊柱区域。我们的代码和模型公开用于研究目的。
translated by 谷歌翻译
机器学习和计算机视觉技术近年来由于其自动化,适合性和产生惊人结果的能力而迅速发展。因此,在本文中,我们调查了2014年至2022年之间发表的关键研究,展示了不同的机器学习算法研究人员用来分割肝脏,肝肿瘤和肝脉管结构的研究。我们根据感兴趣的组织(肝果,肝肿瘤或肝毒剂)对被调查的研究进行了划分,强调了同时解决多个任务的研究。此外,机器学习算法被归类为受监督或无监督的,如果属于某个方案的工作量很大,则将进一步分区。此外,对文献和包含上述组织面具的网站发现的不同数据集和挑战进行了彻底讨论,强调了组织者的原始贡献和其他研究人员的贡献。同样,在我们的评论中提到了文献中过度使用的指标,这强调了它们与手头的任务的相关性。最后,强调创新研究人员应对需要解决的差距的关键挑战和未来的方向,例如许多关于船舶分割挑战的研究的稀缺性以及为什么需要早日处理他们的缺席。
translated by 谷歌翻译
域适应(DA)最近在医学影像社区提出了强烈的兴趣。虽然已经提出了大量DA技术进行了用于图像分割,但大多数这些技术已经在私有数据集或小公共可用数据集上验证。此外,这些数据集主要解决了单级问题。为了解决这些限制,与第24届医学图像计算和计算机辅助干预(Miccai 2021)结合第24届国际会议组织交叉模态域适应(Crossmoda)挑战。 Crossmoda是无监督跨型号DA的第一个大型和多级基准。挑战的目标是分割参与前庭施瓦新瘤(VS)的后续和治疗规划的两个关键脑结构:VS和Cochleas。目前,使用对比度增强的T1(CET1)MRI进行VS患者的诊断和监测。然而,使用诸如高分辨率T2(HRT2)MRI的非对比度序列越来越感兴趣。因此,我们创建了一个无人监督的跨模型分段基准。训练集提供注释CET1(n = 105)和未配对的非注释的HRT2(n = 105)。目的是在测试集中提供的HRT2上自动对HRT2进行单侧VS和双侧耳蜗分割(n = 137)。共有16支球队提交了评估阶段的算法。顶级履行团队达成的表现水平非常高(最佳中位数骰子 - vs:88.4%; Cochleas:85.7%)并接近完全监督(中位数骰子 - vs:92.5%;耳蜗:87.7%)。所有顶级执行方法都使用图像到图像转换方法将源域图像转换为伪目标域图像。然后使用这些生成的图像和为源图像提供的手动注释进行培训分割网络。
translated by 谷歌翻译
在这项工作中,我们介绍了我们提出的方法,该方法是使用SWIN UNETR和基于U-NET的深神经网络体系结构从CT扫描中分割肺动脉的方法。六个型号,基于SWIN UNETR的三个型号以及基于3D U-NET的三个模型,使用加权平均值来制作最终的分割掩码。我们的团队通过这种方法获得了84.36%的多级骰子得分。我们的工作代码可在以下链接上提供:https://github.com/akansh12/parse2022。这项工作是Miccai Parse 2022挑战的一部分。
translated by 谷歌翻译
X射线成像是最受欢迎的医学成像技术。虽然X射线射线造影相当成本效益,但组织结构沿X射线路径叠加。另一方面,计算断层扫描(CT)重建内部结构,但CT增加辐射剂量,复杂且昂贵。在这里,我们提出了“X射线分析缩放”,以在深度学习框架中以少量的射线照相投影来分化以数字的靶器官/组织提取靶器官/组织。作为示例性实施例,我们提出了一般的X射线分解网络,专用的X射线绝地形网络和X射线成像系统以实现这些功能。我们的实验表明,在这种情况下,可以实现X射线立体术中孤立的器官,如这种情况下,表明将常规放射线读数转化为孤立器官的立体检查的可行性,这可能允许更高的敏感性和特异性,甚至目标的断层可视化。随着进一步的改进,X射线分解缩放有望成为辐射剂量和系统成本的CT级诊断的新X射线成像模型,与射线照相或造影术成像相当。
translated by 谷歌翻译
这项工作提出了一个新颖的框架CISFA(对比图像合成和自我监督的特征适应),该框架建立在图像域翻译和无监督的特征适应性上,以进行跨模式生物医学图像分割。与现有作品不同,我们使用单方面的生成模型,并在输入图像的采样贴片和相应的合成图像之间添加加权贴片对比度损失,该图像用作形状约束。此外,我们注意到生成的图像和输入图像共享相似的结构信息,但具有不同的方式。因此,我们在生成的图像和输入图像上强制实施对比损失,以训练分割模型的编码器,以最大程度地减少学到的嵌入空间中成对图像之间的差异。与依靠对抗性学习进行特征适应的现有作品相比,这种方法使编码器能够以更明确的方式学习独立于域的功能。我们对包含腹腔和全心的CT和MRI图像的分割任务进行了广泛评估。实验结果表明,所提出的框架不仅输出了较小的器官形状变形的合成图像,而且还超过了最先进的域适应方法的较大边缘。
translated by 谷歌翻译
二维(2D)徒手超声是产前护理和胎儿生长监测的中流。给定2D超声脑扫描中,在3D解剖中匹配相应的横截面平面的任务对于徒手扫描至关重要,但具有挑战性。我们提出了Adlocui,这是一个框架,该框架在3D解剖图集中自适应定位了2D超声图像,而无需使用任何外部跟踪传感器。.我们首先训练从共同的3D超声量取样的2D切片的卷积神经网络,以预测其在3D位置的位置,以预测3D的位置解剖图集。接下来,我们使用新颖的无监督周期一致性对2D徒手超声图像进行微调,这是一个事实,即3D解剖图图中的一系列图像序列的总位移等于从第一个图像到最后一个图像的位移到最后一个图像。那个顺序。我们证明,Adlocui可以适应具有不同机器和协议的三个不同的超声数据集,并且比基线获得了明显更好的本地化精度。 Adlocui可用于床边的无传感器2D徒手超声指导。源代码可在https://github.com/pakheiyeung/adlocui上获得。
translated by 谷歌翻译