多实施学习(MIL)被广泛用于对病理整体幻灯片图像(WSIS)的计算机辅助解释,以解决缺乏像素或贴片的注释。通常,这种方法直接应用“自然图像驱动”的MIL算法,该算法忽略了WSIS的多尺度(即金字塔)性质。现成的MIL算法通常部署在单个WSIS(例如20x放大倍率)上,而人类病理学家通常以多尺度的方式汇总全球和局部模式(例如,通过放大不同大型)。在这项研究中,我们提出了一种新型的跨尺度注意机制,以明确地将尺度间相互作用汇总到单个MIL网络的克罗恩病(CD)(CD),这是炎症性肠病的一种形式。本文的贡献是两个方面:(1)提出了一种跨尺度注意机制,以从不同分辨率的多尺度相互作用汇总特征; (2)生成差异多尺度注意的可视化,以定位可解释的病变模式。通过训练来自20名CD患者的约250,000 H&E染色的上升结肠(AC)斑块,在不同尺度上训练30个健康对照样品,我们的方法在曲线下(AUC)得分为0.8924,与基线模型相比达到0.8924。官方实施可在https://github.com/hrlblab/cs-mil上公开获得。
translated by 谷歌翻译
Learning good representation of giga-pixel level whole slide pathology images (WSI) for downstream tasks is critical. Previous studies employ multiple instance learning (MIL) to represent WSIs as bags of sampled patches because, for most occasions, only slide-level labels are available, and only a tiny region of the WSI is disease-positive area. However, WSI representation learning still remains an open problem due to: (1) patch sampling on a higher resolution may be incapable of depicting microenvironment information such as the relative position between the tumor cells and surrounding tissues, while patches at lower resolution lose the fine-grained detail; (2) extracting patches from giant WSI results in large bag size, which tremendously increases the computational cost. To solve the problems, this paper proposes a hierarchical-based multimodal transformer framework that learns a hierarchical mapping between pathology images and corresponding genes. Precisely, we randomly extract instant-level patch features from WSIs with different magnification. Then a co-attention mapping between imaging and genomics is learned to uncover the pairwise interaction and reduce the space complexity of imaging features. Such early fusion makes it computationally feasible to use MIL Transformer for the survival prediction task. Our architecture requires fewer GPU resources compared with benchmark methods while maintaining better WSI representation ability. We evaluate our approach on five cancer types from the Cancer Genome Atlas database and achieved an average c-index of $0.673$, outperforming the state-of-the-art multimodality methods.
translated by 谷歌翻译
具有多吉吉像素的组织学图像产生了丰富的信息,以用于癌症诊断和预后。在大多数情况下,只能使用幻灯片级标签,因为像素的注释是劳动密集型任务。在本文中,我们提出了一条深度学习管道,以进行组织学图像中的分类。使用多个实例学习,我们试图预测基于降血石蛋白和曙红蛋白(H&E)组织学图像的鼻咽癌(NPC)的潜在膜蛋白1(LMP1)状态。我们利用了与聚合层保持剩余连接的注意机制。在我们的3倍交叉验证实验中,我们分别达到了平均准确性,AUC和F1得分为0.936、0.995和0.862。这种方法还使我们能够通过可视化注意力评分来检查模型的可解释性。据我们所知,这是使用深度学习预测NPC上LMP1状态的首次尝试。
translated by 谷歌翻译
Gigapixel全斜面图像(WSIS)上的癌症预后一直是一项艰巨的任务。大多数现有方法仅着眼于单分辨率图像。利用图像金字塔增强WSI视觉表示的多分辨率方案尚未得到足够的关注。为了探索用于提高癌症预后准确性的多分辨率解决方案,本文提出了双流构建结构,以通过图像金字塔策略对WSI进行建模。该体系结构由两个子流组成:一个是用于低分辨率WSIS,另一个是针对高分辨率的WSIS。与其他方法相比,我们的方案具有三个亮点:(i)流和分辨率之间存在一对一的关系; (ii)添加了一个平方池层以对齐两个分辨率流的斑块,从而大大降低了计算成本并启用自然流特征融合; (iii)提出了一种基于跨注意的方法,以在低分辨率的指导下在空间上在空间上进行高分辨率斑块。我们验证了三个公共可用数据集的计划,来自1,911名患者的总数为3,101个WSI。实验结果验证(1)层次双流表示比单流的癌症预后更有效,在单个低分辨率和高分辨率流中,平均C-指数上升为5.0%和1.8% ; (2)我们的双流方案可以胜过当前最新方案,而C-Index的平均平均值为5.1%; (3)具有可观察到的生存差异的癌症疾病可能对模型复杂性具有不同的偏好。我们的计划可以作为进一步促进WSI预后研究的替代工具。
translated by 谷歌翻译
尽管做出了巨大的努力,但GigapixelS的分类全扫描图像(WSI)被严重限制在整个幻灯片的约束计算资源中,或者使用不同尺度的知识利用有限。此外,以前的大多数尝试都缺乏不确定性估计的能力。通常,病理学家经常共同分析不同的宏伟速度的WSI。如果通过使用单个放大倍率来不确定病理学家,那么他们将反复更改放大倍率以发现组织的各种特征。受病理学家的诊断过程的激励,在本文中,我们为WSI提出了一个可信赖的多尺度分类框架。我们的框架利用视觉变压器作为多部门的骨干,可以共同分类建模,估计显微镜的每种放大倍率的不确定性,并整合了来自不同放大倍率的证据。此外,为了利用WSIS的歧视性补丁并减少对计算资源的需求,我们建议使用注意力推广和非最大抑制作用提出一种新颖的补丁选择模式。为了从经验研究我们的方法的有效性,使用两个基准数据库对我们的WSI分类任务进行了经验实验。获得的结果表明,与最先进的方法相比,可信赖的框架可以显着改善WSI分类性能。
translated by 谷歌翻译
多个实例学习(MIL)方法在数字病理学中对GIGA像素大小的全型图像(WSI)进行分类变得越来越流行。大多数MIL方法通过处理所有组织斑块,以单个WSI放大倍率运行。这样的公式诱导了高计算要求,并将WSI级表示的上下文化限制为单个量表。一些MIL方法扩展到多个量表,但在计算上要求更高。在本文中,受病理诊断过程的启发,我们提出了Zoommil,该方法学会了以端到端的方式执行多层缩放。Zoommil通过从多个增强元中汇总组织信息来构建WSI表示。所提出的方法在两个大数据集上的WSI分类中优于最先进的MIL方法,同时大大降低了关于浮点操作(FLOPS)和处理时间的计算需求,最高为40倍。
translated by 谷歌翻译
Graph convolutional neural networks have shown significant potential in natural and histopathology images. However, their use has only been studied in a single magnification or multi-magnification with late fusion. In order to leverage the multi-magnification information and early fusion with graph convolutional networks, we handle different embedding spaces at each magnification by introducing the Multi-Scale Relational Graph Convolutional Network (MS-RGCN) as a multiple instance learning method. We model histopathology image patches and their relation with neighboring patches and patches at other scales (i.e., magnifications) as a graph. To pass the information between different magnification embedding spaces, we define separate message-passing neural networks based on the node and edge type. We experiment on prostate cancer histopathology images to predict the grade groups based on the extracted features from patches. We also compare our MS-RGCN with multiple state-of-the-art methods with evaluations on both source and held-out datasets. Our method outperforms the state-of-the-art on both datasets and especially on the classification of grade groups 2 and 3, which are significant for clinical decisions for patient management. Through an ablation study, we test and show the value of the pertinent design features of the MS-RGCN.
translated by 谷歌翻译
由于物体的异质尺度,肾脏病理图像的全面语义分割具有挑战性。例如,在整个幻灯片图像(WSI)上,肾小球的横截面区域的距离可能比周围毛细管的64倍,这使得以相同尺度上的同一贴片对两个对象进行分割是不切实际的。为了解决这个缩放问题,先前的研究通常已经训练了多个分割网络,以匹配异质组织类型的最佳像素分辨率。这种多网络解决方案是资源密集型的,无法对组织类型之间的空间关系进行建模。在本文中,我们提出了Omni-Seg+网络,这是一种通过单个神经网络实现多对象(六种组织类型)和多尺度(5倍至40倍尺度)的多尺度(5倍至40倍尺度)的动态神经网络。本文的贡献是三个方面的:(1)提出了一种新型的量表感知控制器,以将动态神经网络从单尺度到多尺度推广; (2)引入了伪标签的半监督一致性正规化,以建模未经注释的组织类型的尺度相关性成单个端到端的学习范式; (3)直接将在人类肾脏图像训练的模型中直接应用于小鼠肾脏图像,而无需再培训,就可以证明高尺度感知的概括。通过从三种不同分辨率下从六种组织类型中学习的约150,000个人类病理图像斑块,我们的方法根据人类的视觉评估和图像词的评估(即空间转录组学)获得了卓越的分割性能。官方实施可在https://github.com/ddrrnn123/omni-seg上获得。
translated by 谷歌翻译
数字整体幻灯片图像包含大量信息,为开发自动图像分析工具提供了强大的动力。在数字病理领域的各种任务方面,特别是深层神经网络具有很高的潜力。但是,典型的深度学习算法除了大量图像数据之外还需要(手动)注释以实现有效的培训,这是一个限制。多个实例学习在没有完全注释的数据的情况下展示了一个强大的工具,可在情况下学习深神网络。这些方法在该域中特别有效,因为通常通常会捕获完整的整个幻灯片图像的标签,而用于斑块,区域或像素的标签则没有。这种潜力已经导致大量出版物,在过去三年中发表了多数。除了从医学的角度使用数据的可用性和高度动机外,功能强大的图形处理单元的可用性在该领域表现出加速器。在本文中,我们概述了广泛有效地使用了使用的深层实例学习方法,最新进展以及批判性地讨论剩余挑战和未来潜力的概念。
translated by 谷歌翻译
目的:开发和验证基于临床阴性ALN的早期乳腺癌(EBC)术后预测腋窝淋巴结(ALN)转移的深度学习(DL)的主要肿瘤活检签名。方法:从2010年5月到2020年5月,共注册了1,058名具有病理证实ALN状态的eBC患者。基于关注的多实例学习(AMIL)框架,建立了一种DL核心针活检(DL-CNB)模型利用DL特征预测ALN状态,该DL特征从两位病理学家注释的乳腺CNB样本的数字化全幻灯片(WSIS)的癌症区域提取。分析了准确性,灵敏度,特异性,接收器操作特征(ROC)曲线和ROC曲线(AUC)下的区域进行评估,评估我们的模型。结果:具有VGG16_BN的最佳性DL-CNB模型作为特征提取器实现了0.816的AUC(95%置信区间(CI):0.758,0.865),以预测独立测试队列的阳性Aln转移。此外,我们的模型包含称为DL-CNB + C的临床数据,得到了0.831的最佳精度(95%CI:0.775,0.878),特别是对于50岁以下的患者(AUC:0.918,95%CI: 0.825,0.971)。 DL-CNB模型的解释表明,最高度预测ALN转移的顶部签名的特征在于包括密度($ P $ 0.015),周长($ P $ 0.009),循环($ P $ = 0.010)和方向($ p $ = 0.012)。结论:我们的研究提供了一种基于DL的基于DL的生物标志物在原发性肿瘤CNB上,以预先验证EBC患者的术前预测ALN的转移状态。
translated by 谷歌翻译
多个实例学习(MIL)是对诊断病理学的整个幻灯片图像(WSI)进行分类的强大方法。 MIL对WSI分类的基本挑战是发现触发袋子标签的\ textit {critical Instances}。但是,先前的方法主要是在独立和相同的分布假设(\ textit {i.i.d})下设计的,忽略了肿瘤实例或异质性之间的相关性。在本文中,我们提出了一种新颖的基于多重检测的多重实例学习(MDMIL)来解决上述问题。具体而言,MDMIL是由内部查询产生模块(IQGM)和多重检测模块(MDM)构建的,并在训练过程中基于内存的对比度损失的辅助。首先,IQGM给出了实例的概率,并通过在分布分析后汇总高度可靠的功能来为后续MDM生成内部查询(IQ)。其次,在MDM中,多重检测交叉注意(MDCA)和多头自我注意力(MHSA)合作以生成WSI的最终表示形式。在此过程中,智商和可训练的变异查询(VQ)成功建立了实例之间的联系,并显着提高了模型对异质肿瘤的鲁棒性。最后,为了进一步在特征空间中实施限制并稳定训练过程,我们采用基于内存的对比损失,即使在每次迭代中有一个样本作为输入,也可以实现WSI分类。我们对三个计算病理数据集进行实验,例如CamelyOn16,TCGA-NSCLC和TCGA-RCC数据集。优越的准确性和AUC证明了我们提出的MDMIL比其他最先进方法的优越性。
translated by 谷歌翻译
B扫描超声模式中图像的精确和快速分类对于诊断眼部疾病至关重要。然而,在超声波中区分各种疾病仍然挑战经验丰富的眼科医生。因此,在这项工作中开发了一个新颖的对比度截面网络(CDNET),旨在应对超声图像中眼异常的细粒度图像分类(FGIC)挑战,包括眼内肿瘤(IOT),视网膜脱离(RD),后堆肥葡萄球菌(PSS)和玻璃体出血(VH)。 CDNET的三个基本组成部分分别是弱监督的病变定位模块(WSLL),对比度多Zoom(CMZ)策略和超级性对比度分解损失(HCD-LOSS)。这些组件促进了在输入和输出方面的细粒度识别的特征分离。所提出的CDNET在我们的ZJU Ocular Ultrasound数据集(Zjuuld)上进行了验证,该数据集由5213个样品组成。此外,在两个公共且广泛使用的胸部X射线FGIC基准上验证了CDNET的概括能力。定量和定性结果证明了我们提出的CDNET的功效,该CDNET在FGIC任务中实现了最新的性能。代码可在以下网址获得:https://github.com/zeroonegame/cdnet-for-ous-fgic。
translated by 谷歌翻译
组织病理学图像包含丰富的表型信息和病理模式,这是疾病诊断的黄金标准,对于预测患者预后和治疗结果至关重要。近年来,在临床实践中迫切需要针对组织病理学图像的计算机自动化分析技术,而卷积神经网络代表的深度学习方法已逐渐成为数字病理领域的主流。但是,在该领域获得大量细粒的注释数据是一项非常昂贵且艰巨的任务,这阻碍了基于大量注释数据的传统监督算法的进一步开发。最新的研究开始从传统的监督范式中解放出来,最有代表性的研究是基于弱注释,基于有限的注释的半监督学习范式以及基于自我监督的学习范式的弱监督学习范式的研究图像表示学习。这些新方法引发了针对注释效率的新自动病理图像诊断和分析。通过对130篇论文的调查,我们对从技术和方法论的角度来看,对计算病理学领域中有关弱监督学习,半监督学习以及自我监督学习的最新研究进行了全面的系统综述。最后,我们提出了这些技术的关键挑战和未来趋势。
translated by 谷歌翻译
变形金刚占据了自然语言处理领域,最近影响了计算机视觉区域。在医学图像分析领域中,变压器也已成功应用于全栈临床应用,包括图像合成/重建,注册,分割,检测和诊断。我们的论文旨在促进变压器在医学图像分析领域的认识和应用。具体而言,我们首先概述了内置在变压器和其他基本组件中的注意机制的核心概念。其次,我们回顾了针对医疗图像应用程序量身定制的各种变压器体系结构,并讨论其局限性。在这篇综述中,我们调查了围绕在不同学习范式中使用变压器,提高模型效率及其与其他技术的耦合的关键挑战。我们希望这篇评论可以为读者提供医学图像分析领域的读者的全面图片。
translated by 谷歌翻译
多个实例学习(MIL)广泛用于分析组织病理学全幻灯片图像(WSIS)。但是,现有的MIL方法不会明确地对数据分配进行建模,而仅通过训练分类器来歧视行李级或实例级决策边界。在本文中,我们提出了DGMIL:一个特征分布引导为WSI分类和阳性贴剂定位的深度MIL框架。我们没有设计复杂的判别网络体系结构,而是揭示组织病理学图像数据的固有特征分布可以作为分类的非常有效的指南。我们提出了一种集群条件的特征分布建模方法和基于伪标签的迭代特征空间改进策略,以便在最终特征空间中,正面和负面实例可以轻松分离。 CamelyOn16数据集和TCGA肺癌数据集的实验表明,我们的方法为全球分类和阳性贴剂定位任务提供了新的SOTA。
translated by 谷歌翻译
机器学习和深度学习方法对医学的计算机辅助预测成为必需的,在乳房X光检查领域也具有越来越多的应用。通常,这些算法训练,针对特定任务,例如,病变的分类或乳房X乳线图的病理学状态的预测。为了获得患者的综合视图,随后整合或组合所有针对同一任务培训的模型。在这项工作中,我们提出了一种管道方法,我们首先培训一组个人,任务特定的模型,随后调查其融合,与标准模型合并策略相反。我们使用混合患者模型的深度学习模型融合模型预测和高级功能,以在患者水平上构建更强的预测因子。为此,我们提出了一种多分支深度学习模型,其跨不同任务和乳房X光检查有效地融合了功能,以获得全面的患者级预测。我们在公共乳房X线摄影数据,即DDSM及其策划版本CBIS-DDSM上培训并评估我们的全部管道,并报告AUC评分为0.962,以预测任何病变和0.791的存在,以预测患者水平对恶性病变的存在。总体而言,与标准模型合并相比,我们的融合方法将显着提高AUC得分高达0.04。此外,通过提供与放射功能相关的特定于任务的模型结果,提供了与放射性特征相关的任务特定模型结果,我们的管道旨在密切支持放射科学家的阅读工作流程。
translated by 谷歌翻译
Multiple instance learning (MIL) is a variation of supervised learning where a single class label is assigned to a bag of instances. In this paper, we state the MIL problem as learning the Bernoulli distribution of the bag label where the bag label probability is fully parameterized by neural networks. Furthermore, we propose a neural network-based permutation-invariant aggregation operator that corresponds to the attention mechanism. Notably, an application of the proposed attention-based operator provides insight into the contribution of each instance to the bag label. We show empirically that our approach achieves comparable performance to the best MIL methods on benchmark MIL datasets and it outperforms other methods on a MNIST-based MIL dataset and two real-life histopathology datasets without sacrificing interpretability.
translated by 谷歌翻译
在深度学习方法进行自动医学图像分析的最新成功之前,从业者使用手工制作的放射线特征来定量描述当地的医学图像斑块。但是,提取区分性放射素特征取决于准确的病理定位,这在现实世界中很难获得。尽管疾病分类和胸部X射线的定位方面取得了进步,但许多方法未能纳入临床知名的领域知识。由于这些原因,我们提出了一个放射素引导的变压器(RGT),该变压器(RGT)与\ textit {global}图像信息与\ textit {local}知识引导的放射线信息信息提供准确的心肺病理学定位和分类\ textit {无需任何界限盒{ }。 RGT由图像变压器分支,放射线变压器分支以及聚集图像和放射线信息的融合层组成。 RGT使用对图像分支的自我注意事项,提取了一个边界框来计算放射线特征,该特征由放射线分支进一步处理。然后通过交叉注意层融合学习的图像和放射线特征。因此,RGT利用了一种新型的端到端反馈回路,该回路只能使用图像水平疾病标签引导精确的病理定位。 NIH CHESTXRAR数据集的实验表明,RGT的表现优于弱监督疾病定位的先前作品(在各个相交联合阈值的平均余量为3.6 \%)和分类(在接收器操作方下平均1.1 \%\%\%\%曲线)。接受代码和训练有素的模型将在接受后发布。
translated by 谷歌翻译
已经开发了几种深度学习算法,以使用整个幻灯片图像(WSIS)预测癌症患者的存活。但是,WSI中与患者的生存和疾病进展有关的WSI中的图像表型对临床医生而言都是困难的,以及深度学习算法。用于生存预测的大多数基于深度学习的多个实例学习(MIL)算法使用顶级实例(例如Maxpooling)或顶级/底部实例(例如,Mesonet)来识别图像表型。在这项研究中,我们假设WSI中斑块得分分布的全面信息可以更好地预测癌症的生存。我们开发了一种基于分布的多构度生存学习算法(DeepDismisl)来验证这一假设。我们使用两个大型国际大型癌症WSIS数据集设计和执行实验-MCO CRC和TCGA Coad -Read。我们的结果表明,有关WSI贴片分数的分布的信息越多,预测性能越好。包括每个选定分配位置(例如百分位数)周围的多个邻域实例可以进一步改善预测。与最近发表的最新算法相比,DeepDismisl具有优越的预测能力。此外,我们的算法是可以解释的,可以帮助理解癌症形态表型与癌症生存风险之间的关系。
translated by 谷歌翻译
多实例学习(MIL)是一种强大的工具,可以解决基于整个滑动图像(WSI)的病理学诊断中的弱监督分类。然而,目前的MIL方法通常基于独立和相同的分布假设,从而忽略不同实例之间的相关性。为了解决这个问题,我们提出了一个被称为相关的MIL的新框架,并提供了融合证明。基于此框架,我们设计了一种基于变压器的MIL(TMARMIL),其探讨了形态和空间信息。所提出的传输可以有效地处理不平衡/平衡和二元/多重分类,具有良好的可视化和可解释性。我们对三种不同的计算病理问题进行了各种实验,与最先进的方法相比,实现了更好的性能和更快的会聚。在CAMELYON16数据集中的二进制肿瘤分类的测试AUC最高可达93.09%。在TCGA-NSCLC数据集和TCGA-RCC数据集中,癌症亚型分类的AUC分别可以高达96.03%和98.82%。实现可用于:https://github.com/szc19990412/transmil。
translated by 谷歌翻译