多个实例学习(MIL)是对诊断病理学的整个幻灯片图像(WSI)进行分类的强大方法。 MIL对WSI分类的基本挑战是发现触发袋子标签的\ textit {critical Instances}。但是,先前的方法主要是在独立和相同的分布假设(\ textit {i.i.d})下设计的,忽略了肿瘤实例或异质性之间的相关性。在本文中,我们提出了一种新颖的基于多重检测的多重实例学习(MDMIL)来解决上述问题。具体而言,MDMIL是由内部查询产生模块(IQGM)和多重检测模块(MDM)构建的,并在训练过程中基于内存的对比度损失的辅助。首先,IQGM给出了实例的概率,并通过在分布分析后汇总高度可靠的功能来为后续MDM生成内部查询(IQ)。其次,在MDM中,多重检测交叉注意(MDCA)和多头自我注意力(MHSA)合作以生成WSI的最终表示形式。在此过程中,智商和可训练的变异查询(VQ)成功建立了实例之间的联系,并显着提高了模型对异质肿瘤的鲁棒性。最后,为了进一步在特征空间中实施限制并稳定训练过程,我们采用基于内存的对比损失,即使在每次迭代中有一个样本作为输入,也可以实现WSI分类。我们对三个计算病理数据集进行实验,例如CamelyOn16,TCGA-NSCLC和TCGA-RCC数据集。优越的准确性和AUC证明了我们提出的MDMIL比其他最先进方法的优越性。
translated by 谷歌翻译
多实例学习(MIL)是一种强大的工具,可以解决基于整个滑动图像(WSI)的病理学诊断中的弱监督分类。然而,目前的MIL方法通常基于独立和相同的分布假设,从而忽略不同实例之间的相关性。为了解决这个问题,我们提出了一个被称为相关的MIL的新框架,并提供了融合证明。基于此框架,我们设计了一种基于变压器的MIL(TMARMIL),其探讨了形态和空间信息。所提出的传输可以有效地处理不平衡/平衡和二元/多重分类,具有良好的可视化和可解释性。我们对三种不同的计算病理问题进行了各种实验,与最先进的方法相比,实现了更好的性能和更快的会聚。在CAMELYON16数据集中的二进制肿瘤分类的测试AUC最高可达93.09%。在TCGA-NSCLC数据集和TCGA-RCC数据集中,癌症亚型分类的AUC分别可以高达96.03%和98.82%。实现可用于:https://github.com/szc19990412/transmil。
translated by 谷歌翻译
肺癌治疗中有针对性疗法的标准诊断程序涉及组织学亚型和随后检测关键驱动因素突变,例如EGFR。即使分子分析可以发现驱动器突变,但该过程通常很昂贵且耗时。深度学习的图像分析为直接从整个幻灯片图像(WSIS)直接发现驱动器突变提供了一种更经济的替代方法。在这项工作中,我们使用具有弱监督的自定义深度学习管道来鉴定苏木精和曙红染色的WSI的EGFR突变的形态相关性,此外还可以检测到肿瘤和组织学亚型。我们通过对两个肺癌数据集进行严格的实验和消融研究来证明管道的有效性-TCGA和来自印度的私人数据集。通过管道,我们在肿瘤检测下达到了曲线(AUC)的平均面积(AUC),在TCGA数据集上的腺癌和鳞状细胞癌之间的组织学亚型为0.942。对于EGFR检测,我们在TCGA数据集上的平均AUC为0.864,印度数据集的平均AUC为0.783。我们的关键学习点包括以下内容。首先,如果要在目标数据集中微调特征提取器,则使用对组织学训练的特征提取器层没有特别的优势。其次,选择具有较高细胞的斑块,大概是捕获肿瘤区域,并不总是有帮助的,因为疾病类别的迹象可能存在于肿瘤 - 肿瘤的基质中。
translated by 谷歌翻译
组织病理学图像包含丰富的表型信息和病理模式,这是疾病诊断的黄金标准,对于预测患者预后和治疗结果至关重要。近年来,在临床实践中迫切需要针对组织病理学图像的计算机自动化分析技术,而卷积神经网络代表的深度学习方法已逐渐成为数字病理领域的主流。但是,在该领域获得大量细粒的注释数据是一项非常昂贵且艰巨的任务,这阻碍了基于大量注释数据的传统监督算法的进一步开发。最新的研究开始从传统的监督范式中解放出来,最有代表性的研究是基于弱注释,基于有限的注释的半监督学习范式以及基于自我监督的学习范式的弱监督学习范式的研究图像表示学习。这些新方法引发了针对注释效率的新自动病理图像诊断和分析。通过对130篇论文的调查,我们对从技术和方法论的角度来看,对计算病理学领域中有关弱监督学习,半监督学习以及自我监督学习的最新研究进行了全面的系统综述。最后,我们提出了这些技术的关键挑战和未来趋势。
translated by 谷歌翻译
闭塞者重新识别(REID)旨在匹配遮挡人物在不同的相机视图上的整体上。目标行人(TP)通常受到非行人闭塞(NPO)和Nontarget行人(NTP)的干扰。以前的方法主要集中在忽略NTP的特征污染的同时越来越越来越多的模型对非NPO的鲁棒性。在本文中,我们提出了一种新颖的特征擦除和扩散网络(FED),同时处理NPO和NTP。具体地,我们的建议闭塞擦除模块(OEM)消除了NPO特征,并由NPO增强策略辅助,该策略模拟整体行人图像上的NPO并产生精确的遮挡掩模。随后,我们随后,我们将行人表示与其他记忆特征弥散,以通过学习的跨关注机构通过新颖的特征扩散模块(FDM)实现的特征空间中的NTP特征。随着OEM的闭塞分数的指导,特征扩散过程主要在可见的身体部位上进行,保证合成的NTP特性的质量。通过在我们提出的联邦网络中联合优化OEM和FDM,我们可以大大提高模型对TP的看法能力,并减轻NPO和NTP的影响。此外,所提出的FDM仅用作用于训练的辅助模块,并将在推理阶段中丢弃,从而引入很少的推理计算开销。遮挡和整体人员Reid基准的实验表明了美联储最先进的优越性,喂养的含量在封闭式封闭的内容上取得了86.3%的排名 - 1准确性,超过其他人至少4.7%。
translated by 谷歌翻译
Learning good representation of giga-pixel level whole slide pathology images (WSI) for downstream tasks is critical. Previous studies employ multiple instance learning (MIL) to represent WSIs as bags of sampled patches because, for most occasions, only slide-level labels are available, and only a tiny region of the WSI is disease-positive area. However, WSI representation learning still remains an open problem due to: (1) patch sampling on a higher resolution may be incapable of depicting microenvironment information such as the relative position between the tumor cells and surrounding tissues, while patches at lower resolution lose the fine-grained detail; (2) extracting patches from giant WSI results in large bag size, which tremendously increases the computational cost. To solve the problems, this paper proposes a hierarchical-based multimodal transformer framework that learns a hierarchical mapping between pathology images and corresponding genes. Precisely, we randomly extract instant-level patch features from WSIs with different magnification. Then a co-attention mapping between imaging and genomics is learned to uncover the pairwise interaction and reduce the space complexity of imaging features. Such early fusion makes it computationally feasible to use MIL Transformer for the survival prediction task. Our architecture requires fewer GPU resources compared with benchmark methods while maintaining better WSI representation ability. We evaluate our approach on five cancer types from the Cancer Genome Atlas database and achieved an average c-index of $0.673$, outperforming the state-of-the-art multimodality methods.
translated by 谷歌翻译
病理诊所中癌症的诊断,预后和治疗性决策现在可以基于对多吉吉像素组织图像的分析,也称为全斜图像(WSIS)。最近,已经提出了深层卷积神经网络(CNN)来得出无监督的WSI表示。这些很有吸引力,因为它们不太依赖于繁琐的专家注释。但是,一个主要的权衡是,较高的预测能力通常以解释性为代价,这对他们的临床使用构成了挑战,通常通常期望决策中的透明度。为了应对这一挑战,我们提出了一个基于Deep CNN的手工制作的框架,用于构建整体WSI级表示。基于有关变压器在自然语言处理领域的内部工作的最新发现,我们将其过程分解为一个更透明的框架,我们称其为手工制作的组织学变压器或H2T。基于我们涉及各种数据集的实验,包括总共5,306个WSI,结果表明,与最近的最新方法相比,基于H2T的整体WSI级表示具有竞争性能,并且可以轻松用于各种下游分析任务。最后,我们的结果表明,H2T框架的最大14倍,比变压器模型快14倍。
translated by 谷歌翻译
Gigapixel全斜面图像(WSIS)上的癌症预后一直是一项艰巨的任务。大多数现有方法仅着眼于单分辨率图像。利用图像金字塔增强WSI视觉表示的多分辨率方案尚未得到足够的关注。为了探索用于提高癌症预后准确性的多分辨率解决方案,本文提出了双流构建结构,以通过图像金字塔策略对WSI进行建模。该体系结构由两个子流组成:一个是用于低分辨率WSIS,另一个是针对高分辨率的WSIS。与其他方法相比,我们的方案具有三个亮点:(i)流和分辨率之间存在一对一的关系; (ii)添加了一个平方池层以对齐两个分辨率流的斑块,从而大大降低了计算成本并启用自然流特征融合; (iii)提出了一种基于跨注意的方法,以在低分辨率的指导下在空间上在空间上进行高分辨率斑块。我们验证了三个公共可用数据集的计划,来自1,911名患者的总数为3,101个WSI。实验结果验证(1)层次双流表示比单流的癌症预后更有效,在单个低分辨率和高分辨率流中,平均C-指数上升为5.0%和1.8% ; (2)我们的双流方案可以胜过当前最新方案,而C-Index的平均平均值为5.1%; (3)具有可观察到的生存差异的癌症疾病可能对模型复杂性具有不同的偏好。我们的计划可以作为进一步促进WSI预后研究的替代工具。
translated by 谷歌翻译
变形金刚占据了自然语言处理领域,最近影响了计算机视觉区域。在医学图像分析领域中,变压器也已成功应用于全栈临床应用,包括图像合成/重建,注册,分割,检测和诊断。我们的论文旨在促进变压器在医学图像分析领域的认识和应用。具体而言,我们首先概述了内置在变压器和其他基本组件中的注意机制的核心概念。其次,我们回顾了针对医疗图像应用程序量身定制的各种变压器体系结构,并讨论其局限性。在这篇综述中,我们调查了围绕在不同学习范式中使用变压器,提高模型效率及其与其他技术的耦合的关键挑战。我们希望这篇评论可以为读者提供医学图像分析领域的读者的全面图片。
translated by 谷歌翻译
整个幻灯片图像(WSI)分类是诊断和治疗疾病的基本任务;但是,精确标签的策划是耗时的,并限制了完全监督的方法的应用。为了解决这个问题,多个实例学习(MIL)是一种流行的方法,它仅使用幻灯片级标签作为一个弱监督的学习任务。尽管当前的MIL方法将注意机制的变体应用于具有更强模型的重量实例特征,但注意力不足是对数据分布的属性的不足。在这项工作中,我们建议通过使用Max-Instance(关键)功能的统计数据来重新校准WSI袋(实例)的分布。我们假设在二进制MIL中,正面袋的特征幅度大于负面,因此我们可以强制执行该模型,以最大程度地利用公制特征损失的袋子之间的差异,该袋子将正面袋模型为未分布。为了实现这一目标,与使用单批训练模式的现有MIL方法不同,我们建议平衡批次采样以有效地使用功能丢失,即同时(+/-)袋子。此外,我们采用编码模块(PEM)的位置来建模空间/形态信息,并通过变压器编码器通过多头自我注意(PSMA)进行汇总。现有基准数据集的实验结果表明我们的方法是有效的,并且对最先进的MIL方法有所改善。
translated by 谷歌翻译
在深度学习方法进行自动医学图像分析的最新成功之前,从业者使用手工制作的放射线特征来定量描述当地的医学图像斑块。但是,提取区分性放射素特征取决于准确的病理定位,这在现实世界中很难获得。尽管疾病分类和胸部X射线的定位方面取得了进步,但许多方法未能纳入临床知名的领域知识。由于这些原因,我们提出了一个放射素引导的变压器(RGT),该变压器(RGT)与\ textit {global}图像信息与\ textit {local}知识引导的放射线信息信息提供准确的心肺病理学定位和分类\ textit {无需任何界限盒{ }。 RGT由图像变压器分支,放射线变压器分支以及聚集图像和放射线信息的融合层组成。 RGT使用对图像分支的自我注意事项,提取了一个边界框来计算放射线特征,该特征由放射线分支进一步处理。然后通过交叉注意层融合学习的图像和放射线特征。因此,RGT利用了一种新型的端到端反馈回路,该回路只能使用图像水平疾病标签引导精确的病理定位。 NIH CHESTXRAR数据集的实验表明,RGT的表现优于弱监督疾病定位的先前作品(在各个相交联合阈值的平均余量为3.6 \%)和分类(在接收器操作方下平均1.1 \%\%\%\%曲线)。接受代码和训练有素的模型将在接受后发布。
translated by 谷歌翻译
Prostate cancer is the most common cancer in men worldwide and the second leading cause of cancer death in the United States. One of the prognostic features in prostate cancer is the Gleason grading of histopathology images. The Gleason grade is assigned based on tumor architecture on Hematoxylin and Eosin (H&E) stained whole slide images (WSI) by the pathologists. This process is time-consuming and has known interobserver variability. In the past few years, deep learning algorithms have been used to analyze histopathology images, delivering promising results for grading prostate cancer. However, most of the algorithms rely on the fully annotated datasets which are expensive to generate. In this work, we proposed a novel weakly-supervised algorithm to classify prostate cancer grades. The proposed algorithm consists of three steps: (1) extracting discriminative areas in a histopathology image by employing the Multiple Instance Learning (MIL) algorithm based on Transformers, (2) representing the image by constructing a graph using the discriminative patches, and (3) classifying the image into its Gleason grades by developing a Graph Convolutional Neural Network (GCN) based on the gated attention mechanism. We evaluated our algorithm using publicly available datasets, including TCGAPRAD, PANDA, and Gleason 2019 challenge datasets. We also cross validated the algorithm on an independent dataset. Results show that the proposed model achieved state-of-the-art performance in the Gleason grading task in terms of accuracy, F1 score, and cohen-kappa. The code is available at https://github.com/NabaviLab/Prostate-Cancer.
translated by 谷歌翻译
多个实例学习(MIL)广泛用于分析组织病理学全幻灯片图像(WSIS)。但是,现有的MIL方法不会明确地对数据分配进行建模,而仅通过训练分类器来歧视行李级或实例级决策边界。在本文中,我们提出了DGMIL:一个特征分布引导为WSI分类和阳性贴剂定位的深度MIL框架。我们没有设计复杂的判别网络体系结构,而是揭示组织病理学图像数据的固有特征分布可以作为分类的非常有效的指南。我们提出了一种集群条件的特征分布建模方法和基于伪标签的迭代特征空间改进策略,以便在最终特征空间中,正面和负面实例可以轻松分离。 CamelyOn16数据集和TCGA肺癌数据集的实验表明,我们的方法为全球分类和阳性贴剂定位任务提供了新的SOTA。
translated by 谷歌翻译
使用深度学习模型从组织学数据中诊断癌症提出了一些挑战。这些图像中关注区域(ROI)的癌症分级和定位通常依赖于图像和像素级标签,后者需要昂贵的注释过程。深度弱监督的对象定位(WSOL)方法为深度学习模型的低成本培训提供了不同的策略。仅使用图像级注释,可以训练这些方法以对图像进行分类,并为ROI定位进行分类类激活图(CAM)。本文综述了WSOL的​​最先进的DL方法。我们提出了一种分类法,根据模型中的信息流,将这些方法分为自下而上和自上而下的方法。尽管后者的进展有限,但最近的自下而上方法目前通过深层WSOL方法推动了很多进展。早期作品的重点是设计不同的空间合并功能。但是,这些方法达到了有限的定位准确性,并揭示了一个主要限制 - 凸轮的不足激活导致了高假阴性定位。随后的工作旨在减轻此问题并恢复完整的对象。评估和比较了两个具有挑战性的组织学数据集的分类和本地化准确性,对我们的分类学方法进行了评估和比较。总体而言,结果表明定位性能差,特别是对于最初设计用于处理自然图像的通用方法。旨在解决组织学数据挑战的方法产生了良好的结果。但是,所有方法都遭受高假阳性/阴性定位的影响。在组织学中应用深WSOL方法的应用是四个关键的挑战 - 凸轮的激活下/过度激活,对阈值的敏感性和模型选择。
translated by 谷歌翻译
胰腺癌是世界上最严重恶性的癌症之一,这种癌症迅速迅速,具有很高的死亡率。快速的现场评估(玫瑰)技术通过立即分析与现场病理学家的快速染色的细胞影析学形象来创新工作流程,这使得在这种紧压的过程中能够更快的诊断。然而,由于缺乏经验丰富的病理学家,玫瑰诊断的更广泛的扩张已经受到阻碍。为了克服这个问题,我们提出了一个混合高性能深度学习模型,以实现自动化工作流程,从而释放占据病理学家的宝贵时间。通过使用我们特定的多级混合设计将变压器块引入该字段,由卷积神经网络(CNN)产生的空间特征显着增强了变压器全球建模。转向多级空间特征作为全球关注指导,这种设计将鲁棒性与CNN的感应偏差与变压器的复杂全球建模功能相结合。收集4240朵Rose图像的数据集以评估此未开发领域的方法。所提出的多级混合变压器(MSHT)在分类精度下实现95.68%,其鲜明地高于最先进的模型。面对对可解释性的需求,MSHT以更准确的关注区域表达其对应物。结果表明,MSHT可以以前所未有的图像规模精确地区分癌症样本,奠定了部署自动决策系统的基础,并在临床实践中扩大玫瑰。代码和记录可在:https://github.com/sagizty/multi-stage-ybrid-transformer。
translated by 谷歌翻译
很少有视觉识别是指从一些标记实例中识别新颖的视觉概念。通过将查询表示形式与类表征进行比较以预测查询实例的类别,许多少数射击的视觉识别方法采用了基于公制的元学习范式。但是,当前基于度量的方法通常平等地对待所有实例,因此通常会获得有偏见的类表示,考虑到并非所有实例在总结了类级表示的实例级表示时都同样重要。例如,某些实例可能包含无代表性的信息,例如过多的背景和无关概念的信息,这使结果偏差。为了解决上述问题,我们提出了一个新型的基于公制的元学习框架,称为实例自适应类别表示网络(ICRL-net),以进行几次视觉识别。具体而言,我们开发了一个自适应实例重新平衡网络,具有在生成班级表示,通过学习和分配自适应权重的不同实例中的自适应权重时,根据其在相应类的支持集中的相对意义来解决偏见的表示问题。此外,我们设计了改进的双线性实例表示,并结合了两个新型的结构损失,即,阶层内实例聚类损失和阶层间表示区分损失,以进一步调节实例重估过程并完善类表示。我们对四个通常采用的几个基准测试:Miniimagenet,Tieredimagenet,Cifar-FS和FC100数据集进行了广泛的实验。与最先进的方法相比,实验结果证明了我们的ICRL-NET的优势。
translated by 谷歌翻译
具有多吉吉像素的组织学图像产生了丰富的信息,以用于癌症诊断和预后。在大多数情况下,只能使用幻灯片级标签,因为像素的注释是劳动密集型任务。在本文中,我们提出了一条深度学习管道,以进行组织学图像中的分类。使用多个实例学习,我们试图预测基于降血石蛋白和曙红蛋白(H&E)组织学图像的鼻咽癌(NPC)的潜在膜蛋白1(LMP1)状态。我们利用了与聚合层保持剩余连接的注意机制。在我们的3倍交叉验证实验中,我们分别达到了平均准确性,AUC和F1得分为0.936、0.995和0.862。这种方法还使我们能够通过可视化注意力评分来检查模型的可解释性。据我们所知,这是使用深度学习预测NPC上LMP1状态的首次尝试。
translated by 谷歌翻译
变压器是一种基于关注的编码器解码器架构,彻底改变了自然语言处理领域。灵感来自这一重大成就,最近在将变形式架构调整到计算机视觉(CV)领域的一些开创性作品,这已经证明了他们对各种简历任务的有效性。依靠竞争力的建模能力,与现代卷积神经网络相比在本文中,我们已经为三百不同的视觉变压器进行了全面的审查,用于三个基本的CV任务(分类,检测和分割),提出了根据其动机,结构和使用情况组织这些方法的分类。 。由于培训设置和面向任务的差异,我们还在不同的配置上进行了评估了这些方法,以便于易于和直观的比较而不是各种基准。此外,我们已经揭示了一系列必不可少的,但可能使变压器能够从众多架构中脱颖而出,例如松弛的高级语义嵌入,以弥合视觉和顺序变压器之间的差距。最后,提出了三个未来的未来研究方向进行进一步投资。
translated by 谷歌翻译
由于其弱监督性,多个实例学习(MIL)在许多现实生活中的机器学习应用中都获得了受欢迎程度。但是,解释MIL滞后的相应努力,通常仅限于提出对特定预测至关重要的袋子的实例。在本文中,我们通过引入Protomil,这是一种新型的自我解释的MIL方法,该方法受到基于案例的推理过程的启发,该方法是基于案例的推理过程,该方法在视觉原型上运行。由于将原型特征纳入对象描述中,Protomil空前加入了模型的准确性和细粒度的可解释性,我们在五个公认的MIL数据集上进行了实验。
translated by 谷歌翻译
冠状动脉血管造影(CCTA)易受各种扭曲(例如伪影和噪声)的敏感,这严重损害了心血管疾病的确切诊断。适当的CCTA血管级图像质量评估(CCTA VIQA)算法可用于降低错误诊断的风险。 CCTA VIQA的首要挑战是,冠状动脉的本地部分确定最终质量是很难找到的。为了应对挑战,我们将CCTA VIQA作为多种现实学习(MIL)问题,并利用基于变压器的MIL主链(称为T-MIL),以将沿冠状动脉中心线的多个实例汇总为最终质量。但是,并非所有实例都提供最终质量的信息。有一些质量 - 欧元/负面实例介入确切的质量评估(例如,在实例中仅涵盖背景或冠状动脉的实例是无法识别的)。因此,我们提出了一个基于渐进的增强学习的实例丢弃模块(称为PRID),以逐步删除CCTA VIQA的质量 - 欧尔特尔/否定实例。基于上述两个模块,我们根据端到端优化提出了一个加强的变压器网络(RTN),用于自动CCTA VIQA。广泛的实验结果表明,我们提出的方法实现了现实世界中CCTA数据集的最新性能,超过了以前的MIL方法。
translated by 谷歌翻译