冷冻切片(FS)是手术操作期间组织微观评估的制备方法。该程序的高速允许病理学医师快速评估关键的微观特征,例如肿瘤边距和恶性地位,以引导手术决策,并尽量减少对操作过程的干扰。然而,FS容易引入许多误导性的人工结构(组织学人工制品),例如核冰晶,压缩和切割人工制品,妨碍了病理学家的及时和准确的诊断判断。额外的培训和长期经验通常需要对冻结部分进行高度有效和时间关键的诊断。另一方面,福尔马林固定和石蜡嵌入(FFPE)的黄金标准组织制备技术提供了显着优越的图像质量,而是一种非常耗时的过程(12-48小时),使其不适合术语用。在本文中,我们提出了一种人工智能(AI)方法,通过在几分钟内将冻结的整个幻灯片(FS-WSIS)计算冻结的整个幻灯片(FS-WSIS)来改善FS图像质量。 AI-FFPE将FS人工制品终止了注意力机制的指导,该引导机制在利用FS输入图像和合成的FFPE样式图像之间利用建立的自正则化机制,以及综合相关特征的合成的FFPE样式图像。结果,AI-FFPE方法成功地生成了FFPE样式图像,而不会显着扩展组织处理时间,从而提高诊断准确性。我们证明了使用各种不同的定性和定量度量,包括来自20个董事会认证的病理学家的视觉图灵测试的各种不同的定性和定量度量。
translated by 谷歌翻译
组织病理学癌症诊断是基于对染色组织载玻片的视觉检查。苏木精和曙红(H \&E)是全球常规使用的标准污渍。它很容易获取和成本效益,但是细胞和组织成分与深蓝色和粉红色的色调相对低,从而使视觉评估,数字图像分析和定量变得困难。这些局限性可以通过IHC的靶蛋白的IHC染色来克服。 IHC提供了细胞和组织成分的选择性高对比度成像,但是它们的使用在很大程度上受到了更为复杂的实验室处理和高成本的限制。我们提出了一个条件周期(CCGAN)网络,以将H \&E染色的图像转换为IHC染色图像,从而促进同一幻灯片上的虚拟IHC染色。这种数据驱动的方法仅需要有限的标记数据,但会生成像素级分割结果。提出的CCGAN模型通过添加类别条件并引入两个结构性损失函数,改善了原始网络\ cite {Zhu_unpaired_2017},从而实现多重辅助翻译并提高了翻译精度。 %需要在这里给出理由。实验表明,所提出的模型在不配对的图像翻译中胜过具有多材料的原始方法。我们还探索了未配对的图像对图像翻译方法的潜力,该方法应用于其他组织学图像与不同染色技术相关的任务。
translated by 谷歌翻译
对从FFPE组织块制备的载玻片上切割的染色组织的光学显微镜检查是组织诊断的金标准。此外,任何病理学家的诊断能力和专业知识都取决于他们在常见和稀有变体形态上的直接经验。最近,深度学习方法已被用来成功显示此类任务的高度准确性。但是,获得专家级注释的图像是一项昂贵且耗时的任务,人为合成的组织学图像可能会非常有益。在这里,我们提出了一种方法,不仅可以生成组织学图像,从而重现普通疾病的诊断形态特征,而且还提供了产生新的和罕见形态的用户能力。我们的方法涉及开发一种生成的对抗网络模型,该模型综合了由类标签约束的病理图像。我们研究了该框架合成现实的前列腺和结肠组织图像的能力,并评估了这些图像在增强机器学习方法的诊断能力以及通过一组经验丰富的解剖病理学家的可用性方面的实用性。我们的框架生成的合成数据在训练深度学习模型中进行了类似于实际数据进行诊断。病理学家无法区分真实图像和合成图像,并显示出相似的前列腺癌分级的观察者间一致性。我们扩展了从结肠活检中显着复杂图像的方法,并表明也可以再现了此类组织中的复杂微环境。最后,我们介绍了用户通过简单的语义标签标记来生成深层组织学图像的能力。
translated by 谷歌翻译
人表皮生长因子受体2(HER2)生物标志物的免疫组织化学(IHC)染色在乳腺组织分析,临床前研究和诊断决策中广泛实践,指导癌症治疗和发病机制调查。 HER2染色需要由组织医学表演表演的艰苦组织处理和化学处理,这通常需要一天,以便在实验室中准备,增加分析时间和相关成本。在这里,我们描述了一种基于深度学习的虚拟HER2 IHC染色方法,其使用条件生成的对抗网络培训,训练以便将未标记/标记的乳房组织部分的自发荧光显微镜图像快速转化为明亮场当量的显微镜图像,匹配标准HER2 IHC染色在相同的组织部分上进行化学进行。通过定量分析证明了这一虚拟HER2染色框架的功效,其中三个董事会认证的乳房病理学家盲目地评级了HER2的几乎染色和免疫化化学染色的HER2整个幻灯片图像(WSIS),揭示了通过检查虚拟来确定的HER2分数IHC图像与其免疫组织化学染色的同类一样准确。通过相同的诊断师进行的第二种定量盲化研究进一步揭示了几乎染色的HER2图像在核细节,膜清晰度和染色伪像相对于其免疫组织化学染色的对应物的染色伪影等级具有相当的染色质量。这种虚拟HER2染色框架在实验室中绕过了昂贵,费力,耗时耗时的IHC染色程序,并且可以扩展到其他类型的生物标志物,以加速生命科学和生物医学工作流程的IHC组织染色。
translated by 谷歌翻译
In image-to-image translation, each patch in the output should reflect the content of the corresponding patch in the input, independent of domain. We propose a straightforward method for doing so -maximizing mutual information between the two, using a framework based on contrastive learning. The method encourages two elements (corresponding patches) to map to a similar point in a learned feature space, relative to other elements (other patches) in the dataset, referred to as negatives. We explore several critical design choices for making contrastive learning effective in the image synthesis setting. Notably, we use a multilayer, patch-based approach, rather than operate on entire images. Furthermore, we draw negatives from within the input image itself, rather than from the rest of the dataset. We demonstrate that our framework enables one-sided translation in the unpaired image-to-image translation setting, while improving quality and reducing training time. In addition, our method can even be extended to the training setting where each "domain" is only a single image.
translated by 谷歌翻译
数据分析方法的组合,提高计算能力和改进的传感器可以实现定量颗粒状,基于细胞的分析。我们描述了与组织解释和调查AI方法有关的丰富应用挑战集,目前用于应对这些挑战。我们专注于一类针对性的人体组织分析 - 组织病理学 - 旨在定量表征疾病状态,患者结果预测和治疗转向。
translated by 谷歌翻译
组织学图像中核和腺体的实例分割是用于癌症诊断,治疗计划和生存分析的计算病理学工作流程中的重要一步。随着现代硬件的出现,大规模质量公共数据集的最新可用性以及社区组织的宏伟挑战已经看到了自动化方法的激增,重点是特定领域的挑战,这对于技术进步和临床翻译至关重要。在这项调查中,深入分析了过去五年(2017-2022)中发表的原子核和腺体实例细分的126篇论文,进行了深入分析,讨论了当前方法的局限性和公开挑战。此外,提出了潜在的未来研究方向,并总结了最先进方法的贡献。此外,还提供了有关公开可用数据集的概括摘要以及关于说明每种挑战的最佳性能方法的巨大挑战的详细见解。此外,我们旨在使读者现有研究的现状和指针在未来的发展方向上开发可用于临床实践的方法,从而可以改善诊断,分级,预后和癌症的治疗计划。据我们所知,以前没有工作回顾了朝向这一方向的组织学图像中的实例细分。
translated by 谷歌翻译
生成的对抗网络(GAN)是在众多领域成功使用的一种强大的深度学习模型。它们属于一个称为生成方法的更广泛的家族,该家族通过从真实示例中学习样本分布来生成新数据。在临床背景下,与传统的生成方法相比,GAN在捕获空间复杂,非线性和潜在微妙的疾病作用方面表现出增强的能力。这篇综述评估了有关gan在各种神经系统疾病的成像研究中的应用的现有文献,包括阿尔茨海默氏病,脑肿瘤,脑老化和多发性硬化症。我们为每个应用程序提供了各种GAN方法的直观解释,并进一步讨论了在神经影像学中利用gans的主要挑战,开放问题以及有希望的未来方向。我们旨在通过强调如何利用gan来支持临床决策,并有助于更好地理解脑部疾病的结构和功能模式,从而弥合先进的深度学习方法和神经病学研究之间的差距。
translated by 谷歌翻译
机器学习和计算机视觉技术近年来由于其自动化,适合性和产生惊人结果的能力而迅速发展。因此,在本文中,我们调查了2014年至2022年之间发表的关键研究,展示了不同的机器学习算法研究人员用来分割肝脏,肝肿瘤和肝脉管结构的研究。我们根据感兴趣的组织(肝果,肝肿瘤或肝毒剂)对被调查的研究进行了划分,强调了同时解决多个任务的研究。此外,机器学习算法被归类为受监督或无监督的,如果属于某个方案的工作量很大,则将进一步分区。此外,对文献和包含上述组织面具的网站发现的不同数据集和挑战进行了彻底讨论,强调了组织者的原始贡献和其他研究人员的贡献。同样,在我们的评论中提到了文献中过度使用的指标,这强调了它们与手头的任务的相关性。最后,强调创新研究人员应对需要解决的差距的关键挑战和未来的方向,例如许多关于船舶分割挑战的研究的稀缺性以及为什么需要早日处理他们的缺席。
translated by 谷歌翻译
随着深度学习方法的进步,如深度卷积神经网络,残余神经网络,对抗网络的进步。 U-Net架构最广泛利用生物医学图像分割,以解决目标区域或子区域的识别和检测的自动化。在最近的研究中,基于U-Net的方法在不同应用中显示了最先进的性能,以便在脑肿瘤,肺癌,阿尔茨海默,乳腺癌等疾病的早期诊断和治疗中发育计算机辅助诊断系统等,使用各种方式。本文通过描述U-Net框架来提出这些方法的成功,然后通过执行1)型号的U-Net变体进行综合分析,2)模特内分类,建立更好的见解相关的挑战和解决方案。此外,本文还强调了基于U-Net框架在持续的大流行病,严重急性呼吸综合征冠状病毒2(SARS-COV-2)中的贡献也称为Covid-19。最后,分析了这些U-Net变体的优点和相似性以及生物医学图像分割所涉及的挑战,以发现该领域的未来未来的研究方向。
translated by 谷歌翻译
计算病理(CPATH)是一种具有关于组织病理研究的新兴领域,通过计算和分析组织载玻片的数字化高分辨率图像的处理算法。CPATH最近的深度学习的发展已经成功地利用了组织学图像中的原始像素数据的纯粹体积,以预测诊断域,预测,治疗敏感性和患者分层中的目标参数 - 覆盖新数据驱动的AI时代的承诺既组织病理学和肿瘤。使用作为燃料和作为发动机的燃料和AI的数据,CPATH算法准备好用于起飞和最终发射到临床和药物轨道中。在本文中,我们讨论了CPATH限制和相关挑战,使读者能够区分HIPE的希望,并为未来的研究提供指示,以克服这个崭露头角领域的一些主要挑战,以使其发射到两个轨道上。
translated by 谷歌翻译
病理学家对患病组织的视觉微观研究一直是一个多世纪以来癌症诊断和预后的基石。最近,深度学习方法在组织图像的分析和分类方面取得了重大进步。但是,关于此类模型在生成组织病理学图像的实用性方面的工作有限。这些合成图像在病理学中有多种应用,包括教育,熟练程度测试,隐私和数据共享的公用事业。最近,引入了扩散概率模型以生成高质量的图像。在这里,我们首次研究了此类模型的潜在用途以及优先的形态加权和颜色归一化,以合成脑癌的高质量组织病理学图像。我们的详细结果表明,与生成对抗网络相比,扩散概率模型能够合成各种组织病理学图像,并且具有较高的性能。
translated by 谷歌翻译
Automated synthesis of histology images has several potential applications in computational pathology. However, no existing method can generate realistic tissue images with a bespoke cellular layout or user-defined histology parameters. In this work, we propose a novel framework called SynCLay (Synthesis from Cellular Layouts) that can construct realistic and high-quality histology images from user-defined cellular layouts along with annotated cellular boundaries. Tissue image generation based on bespoke cellular layouts through the proposed framework allows users to generate different histological patterns from arbitrary topological arrangement of different types of cells. SynCLay generated synthetic images can be helpful in studying the role of different types of cells present in the tumor microenvironmet. Additionally, they can assist in balancing the distribution of cellular counts in tissue images for designing accurate cellular composition predictors by minimizing the effects of data imbalance. We train SynCLay in an adversarial manner and integrate a nuclear segmentation and classification model in its training to refine nuclear structures and generate nuclear masks in conjunction with synthetic images. During inference, we combine the model with another parametric model for generating colon images and associated cellular counts as annotations given the grade of differentiation and cell densities of different cells. We assess the generated images quantitatively and report on feedback from trained pathologists who assigned realism scores to a set of images generated by the framework. The average realism score across all pathologists for synthetic images was as high as that for the real images. We also show that augmenting limited real data with the synthetic data generated by our framework can significantly boost prediction performance of the cellular composition prediction task.
translated by 谷歌翻译
肺癌是全球癌症死亡的主要原因,肺腺癌是最普遍的肺癌形式。 EGFR阳性肺腺癌已被证明对TKI治疗的反应率很高,这是肺癌分子测试的基本性质。尽管目前的指南考虑必要测试,但很大一部分患者并未常规化,导致数百万的人未接受最佳治疗肺癌。测序是EGFR突变分子测试的黄金标准,但是结果可能需要数周的时间才能回来,这在时间限制的情况下并不理想。能够快速,便宜地检测EGFR突变的替代筛查工具的开发,同时保存组织以进行测序可以帮助减少受比较治疗的患者的数量。我们提出了一种多模式方法,该方法将病理图像和临床变量整合在一起,以预测EGFR突变状态,迄今为止最大的临床队列中的AUC为84%。这样的计算模型可以以很少的额外成本进行大部分部署。它的临床应用可以减少中国接受亚最佳治疗的患者数量53.1%,在美国将高达96.6%的患者减少96.6%。
translated by 谷歌翻译
脑转移性疾病的治疗决策依赖于主要器官位点的知识,目前用活组织检查和组织学进行。在这里,我们开发了一种具有全脑MRI数据的准确非侵入性数字组织学的新型深度学习方法。我们的IRB批准的单网回顾性研究由患者(n = 1,399)组成,提及MRI治疗规划和伽马刀放射牢房超过19年。对比增强的T1加权和T2加权流体减毒的反转恢复脑MRI考试(n = 1,582)被预处理,并输入肿瘤细分,模态转移和主要部位分类的建议深度学习工作流程为五个课程之一(肺,乳腺,黑色素瘤,肾等)。十倍的交叉验证产生的总体AUC为0.947(95%CI:0.938,0.955),肺类AUC,0.899(95%CI:0.884,0.915),乳房类AUC为0.990(95%CI:0.983,0.997) ,黑色素瘤ACAC为0.882(95%CI:0.858,0.906),肾类AUC为0.870(95%CI:0.823,0.918),以及0.885的其他AUC(95%CI:0.843,0.949)。这些数据确定全脑成像特征是判别的,以便准确诊断恶性肿瘤的主要器官位点。我们的端到端深度射出方法具有巨大的分类来自全脑MRI图像的转移性肿瘤类型。进一步的细化可以提供一种无价的临床工具,以加快对精密治疗和改进的结果的原发性癌症现场鉴定。
translated by 谷歌翻译
这项工作提出了一个新颖的框架CISFA(对比图像合成和自我监督的特征适应),该框架建立在图像域翻译和无监督的特征适应性上,以进行跨模式生物医学图像分割。与现有作品不同,我们使用单方面的生成模型,并在输入图像的采样贴片和相应的合成图像之间添加加权贴片对比度损失,该图像用作形状约束。此外,我们注意到生成的图像和输入图像共享相似的结构信息,但具有不同的方式。因此,我们在生成的图像和输入图像上强制实施对比损失,以训练分割模型的编码器,以最大程度地减少学到的嵌入空间中成对图像之间的差异。与依靠对抗性学习进行特征适应的现有作品相比,这种方法使编码器能够以更明确的方式学习独立于域的功能。我们对包含腹腔和全心的CT和MRI图像的分割任务进行了广泛评估。实验结果表明,所提出的框架不仅输出了较小的器官形状变形的合成图像,而且还超过了最先进的域适应方法的较大边缘。
translated by 谷歌翻译
深度学习已被广​​泛用于医学图像分割,并且录制了录制了该领域深度学习的成功的大量论文。在本文中,我们使用深层学习技术对医学图像分割的全面主题调查。本文进行了两个原创贡献。首先,与传统调查相比,直接将深度学习的文献分成医学图像分割的文学,并为每组详细介绍了文献,我们根据从粗略到精细的多级结构分类目前流行的文献。其次,本文侧重于监督和弱监督的学习方法,而不包括无监督的方法,因为它们在许多旧调查中引入而且他们目前不受欢迎。对于监督学习方法,我们分析了三个方面的文献:骨干网络的选择,网络块的设计,以及损耗功能的改进。对于虚弱的学习方法,我们根据数据增强,转移学习和交互式分割进行调查文献。与现有调查相比,本调查将文献分类为比例不同,更方便读者了解相关理由,并将引导他们基于深度学习方法思考医学图像分割的适当改进。
translated by 谷歌翻译
癌症是全球死亡的主要原因之一。快速安全的早期,术中和术中诊断可以显着有助于成功的癌症识别和治疗。在过去的15年中,人工智能在增强癌症诊断技术方面发挥了越来越多的作用。这篇评论涵盖了在MRI和CT等良好技术中人工智能应用的进步。此外,它显示出高潜力以及基于光谱的方法,这些方法正在开发用于移动,超快速和低侵入性诊断的方法。我将展示基于光谱的方法如何通过使薄薄或甲莫妥蛋白和欧洲蛋白染色过时来减少组织制备进行病理分析的时间。我将介绍用于快速和低侵入性前和体内组织分类的光谱工具的例子,以确定肿瘤及其边界。另外,我将讨论与MRI和CT相反,光谱测量不需要化学剂来提高癌症成像的质量,这有助于开发更安全的诊断方法。总体而言,我们将看到,光谱和人工智能的结合构成了一个非常有前途且快速发展的医疗技术领域,它将很快增加可用的癌症诊断方法。
translated by 谷歌翻译
Generative models have been very successful over the years and have received significant attention for synthetic data generation. As deep learning models are getting more and more complex, they require large amounts of data to perform accurately. In medical image analysis, such generative models play a crucial role as the available data is limited due to challenges related to data privacy, lack of data diversity, or uneven data distributions. In this paper, we present a method to generate brain tumor MRI images using generative adversarial networks. We have utilized StyleGAN2 with ADA methodology to generate high-quality brain MRI with tumors while using a significantly smaller amount of training data when compared to the existing approaches. We use three pre-trained models for transfer learning. Results demonstrate that the proposed method can learn the distributions of brain tumors. Furthermore, the model can generate high-quality synthetic brain MRI with a tumor that can limit the small sample size issues. The approach can addresses the limited data availability by generating realistic-looking brain MRI with tumors. The code is available at: ~\url{https://github.com/rizwanqureshi123/Brain-Tumor-Synthetic-Data}.
translated by 谷歌翻译
超声是医学成像中第二大大量的模式。它具有成本效益,无害,便携式和在众多临床程序中常规实施。尽管如此,图像质量的特征是外观磨砂,较差的SNR和斑点噪声。对于恶性肿瘤,边缘是模糊的。因此,非常需要改善超声图像质量。我们假设使用神经网络可以通过转化为更现实的显示,该显示模仿了整个组织的解剖学切割,可以实现这一目标。为了实现此目标,最好的方法是使用一组配对图像。但是,在我们的情况下,这实际上是不可能的。因此,使用了循环生成的对抗网络(Cyclegan),以分别学习每个域性能并强制执行跨域循环一致性。用于训练的两个数据集该模型是“乳房超声图像”(BUSI)和在我们实验室获取的家禽乳腺组织样品的一组光学图像。生成的伪解剖图像可改善对病变的视觉歧视,并具有更清晰的边界定义和明显的对比度。为了评估解剖学特征的保存,超声图像中的病变和生成的伪解剖图像均自动分割和比较。这种比较得出的良性肿瘤的中位骰子得分为0.91,恶性肿瘤的骰子得分为0.70。良性和恶性肿瘤的中位病变中心误差分别为0.58%和3.27%,良性和恶性肿瘤的中值面积误差指数分别为0.40%和4.34%。总之,这些产生的伪解剖图像以更直观的方式呈现,可以增强组织解剖结构,并有可能简化诊断并改善临床结果。
translated by 谷歌翻译