多实施学习(MIL)被广泛用于对病理整体幻灯片图像(WSIS)的计算机辅助解释,以解决缺乏像素或贴片的注释。通常,这种方法直接应用“自然图像驱动”的MIL算法,该算法忽略了WSIS的多尺度(即金字塔)性质。现成的MIL算法通常部署在单个WSIS(例如20x放大倍率)上,而人类病理学家通常以多尺度的方式汇总全球和局部模式(例如,通过放大不同大型)。在这项研究中,我们提出了一种新型的跨尺度注意机制,以明确地将尺度间相互作用汇总到单个MIL网络的克罗恩病(CD)(CD),这是炎症性肠病的一种形式。本文的贡献是两个方面:(1)提出了一种跨尺度注意机制,以从不同分辨率的多尺度相互作用汇总特征; (2)生成差异多尺度注意的可视化,以定位可解释的病变模式。通过训练来自20名CD患者的约250,000 H&E染色的上升结肠(AC)斑块,在不同尺度上训练30个健康对照样品,我们的方法在曲线下(AUC)得分为0.8924,与基线模型相比达到0.8924。官方实施可在https://github.com/hrlblab/cs-mil上公开获得。
translated by 谷歌翻译