微卫星不稳定性(MSI)和微卫星稳定性(MSS)的预测对于预测胃肠癌的治疗响应和预后至关重要。在临床实践中,建议使用通用MSI测试,但这种测试的可访问性是有限的。因此,希望更具成本效益和广泛可接近的工具来覆盖传统上未经测试的患者。在过去的几年中,已经提出了基于深度学习的算法,以预测MSI直接从血红素蛋白和曙红(H&E) - 染色的整个幻灯片图像(WSIS)。这种算法可以概括为(1)修补程序级MSI / MSS预测,以及(2)患者级聚合。与为第一阶段采用的高级深度学习方法相比,在第二阶段仅采用NA \“IVE一阶统计(例如,平均和计数)。在本文中,我们提出了一个简单而广泛概括的患者级MSI聚合(MAG)方法,以有效地集成贵重补丁级信息。简而言之,第一阶段的整个概率分布被建模为基于直方图的特征,以融合为机器学习的最终结果(例如, SVM)。所提出的MAG方法可以轻松地以即插即用方式使用,这些方法已经在五个广泛使用的深度神经网络上进行了评估:Reset,MobileNetv2,WeparessNet,DPN和ResNext。从结果,所提出的MAG方法始终如一地提高了两个公共数据集的患者级别聚合的准确性。我们希望提出的方法可能会利用基于低成本的H&E的MSI检测方法。代码o F我们的工作已在HTTPS://github.com/calvin-pang/mag公开提供。
translated by 谷歌翻译
评估患者结直肠癌的微卫星稳定性状态对于个性化治疗方案至关重要。最近,提出了卷积 - 神经网络(CNN)与转移学习方法结合使用,以规避传统的实验室测试,以确定苏木精和曙红染色的活检全幻灯片图像(WSI)的微卫星状态。但是,WSI的高分辨率实际上阻止了整个WSI的直接分类。当前方法通过先对WSI提取的小斑块进行分类,然后汇总补丁级分类徽标来推断患者级状态,从而绕过WSI高分辨率。这种方法限制了捕获位于高分辨率WSI数据的重要信息的能力。我们引入了一种有效的方法,通过对贴片嵌入的动量学习以及在这些嵌入组的组上培训患者级分类器,以利用WSI高分辨率信息。与直接的补丁级分类和患者水平聚合方法相比,我们的方法的准确性高达7.4 \%(AUC,$ 0.91 \ pm 0.01 $ vs. $ 0.85 \ $ 0.85 \ pm 0.04 $,p Value $ <0.01 $ )。我们的代码可以在https://github.com/technioncomputationalmrilab/coleroctal_cancer_ai上找到。
translated by 谷歌翻译
组织病理学仍然是各种癌症诊断的黄金标准。计算机视觉的最新进展,特别是深度学习,促进了针对各种任务的组织病理学图像的分析,包括免疫细胞检测和微卫星不稳定性分类。每个任务的最新工作通常采用鉴定的基础体系结构,这些体系结构已鉴定为图像分类。开发组织病理学分类器的标准方法倾向于将重点放在优化单个任务的模型上,而不是考虑建模创新的各个方面,从而改善了跨任务的概括。在这里,我们提出了Champkit(模型预测工具包的全面组织病理学评估):可扩展的,完全可重现的基准测试工具包,由大量的斑点级图像分类任务组成,跨不同的癌症。 Champkit能够系统地记录模型和方法中提议改进的性能影响的一种方法。 Champkit源代码和数据可在https://github.com/kaczmarj/champkit上自由访问。
translated by 谷歌翻译
病理学家通过检查载玻片上的针头活检的组织来诊断和坡度前列腺癌。癌症的严重程度和转移风险取决于格里森等级,这是基于前列腺癌腺体的组织和形态的分数。为了进行诊断检查,病理学家首先将腺体定位在整个活检核心中,如果发现癌症 - 他们分配了Gleason等级。尽管严格的诊断标准,但这种耗时的过程仍会出现错误和明显的观察者间变异性。本文提出了一个自动化的工作流程,该工作流程遵循病理学家的\ textit {modus operandi},对整个幻灯片图像(WSI)的多尺度斑块进行隔离和分类。分别对基质和腺体边界; (2)分类器网络以高放大倍数将良性与癌症分离; (3)另一个分类器可以在低放大倍率下预测每个癌症的等级。总的来说,此过程为前列腺癌分级提供了一种特定于腺体的方法,我们将其与其他基于机器学习的分级方法进行比较。
translated by 谷歌翻译
肺癌治疗中有针对性疗法的标准诊断程序涉及组织学亚型和随后检测关键驱动因素突变,例如EGFR。即使分子分析可以发现驱动器突变,但该过程通常很昂贵且耗时。深度学习的图像分析为直接从整个幻灯片图像(WSIS)直接发现驱动器突变提供了一种更经济的替代方法。在这项工作中,我们使用具有弱监督的自定义深度学习管道来鉴定苏木精和曙红染色的WSI的EGFR突变的形态相关性,此外还可以检测到肿瘤和组织学亚型。我们通过对两个肺癌数据集进行严格的实验和消融研究来证明管道的有效性-TCGA和来自印度的私人数据集。通过管道,我们在肿瘤检测下达到了曲线(AUC)的平均面积(AUC),在TCGA数据集上的腺癌和鳞状细胞癌之间的组织学亚型为0.942。对于EGFR检测,我们在TCGA数据集上的平均AUC为0.864,印度数据集的平均AUC为0.783。我们的关键学习点包括以下内容。首先,如果要在目标数据集中微调特征提取器,则使用对组织学训练的特征提取器层没有特别的优势。其次,选择具有较高细胞的斑块,大概是捕获肿瘤区域,并不总是有帮助的,因为疾病类别的迹象可能存在于肿瘤 - 肿瘤的基质中。
translated by 谷歌翻译
具有多吉吉像素的组织学图像产生了丰富的信息,以用于癌症诊断和预后。在大多数情况下,只能使用幻灯片级标签,因为像素的注释是劳动密集型任务。在本文中,我们提出了一条深度学习管道,以进行组织学图像中的分类。使用多个实例学习,我们试图预测基于降血石蛋白和曙红蛋白(H&E)组织学图像的鼻咽癌(NPC)的潜在膜蛋白1(LMP1)状态。我们利用了与聚合层保持剩余连接的注意机制。在我们的3倍交叉验证实验中,我们分别达到了平均准确性,AUC和F1得分为0.936、0.995和0.862。这种方法还使我们能够通过可视化注意力评分来检查模型的可解释性。据我们所知,这是使用深度学习预测NPC上LMP1状态的首次尝试。
translated by 谷歌翻译
数据分析方法的组合,提高计算能力和改进的传感器可以实现定量颗粒状,基于细胞的分析。我们描述了与组织解释和调查AI方法有关的丰富应用挑战集,目前用于应对这些挑战。我们专注于一类针对性的人体组织分析 - 组织病理学 - 旨在定量表征疾病状态,患者结果预测和治疗转向。
translated by 谷歌翻译
准确的术中诊断对于在脑肿瘤手术期间提供安全有效的护理至关重要。我们的护理标准诊断方法是时间,资源和劳动密集型,限制了获得最佳手术治疗的机会。为了解决这些局限性,我们提出了一种替代工作流程,该工作流程结合了刺激的拉曼组织学(SRH),一种快速的光学成像方法,以及对SRH图像的深层自动解释,用于术中脑肿瘤诊断和实时手术决策支持。在这里,我们介绍了OpenSRH,这是来自300多名脑肿瘤患者和1300多个独特全幻灯片光学图像的第一个公共数据集。 OPENSRH包含来自最常见的脑肿瘤诊断,完整的病理注释,整个幻灯片肿瘤分割,原始和加工的光学成像数据的数据,用于端到端模型的开发和验证。我们为使用弱(即患者级)诊断标签的基于补丁的整个幻灯片分类和推断提供了一个框架。最后,我们基准了两项计算机视觉任务:多类组织学脑肿瘤分类和基于斑块的对比表示学习。我们希望OpenSRH能够促进快速光学成像和基于ML的手术决策支持的临床翻译,以提高精密医学时代的癌症手术的获取,安全性和功效。数据集访问,代码和基准可在opensrh.mlins.org上找到。
translated by 谷歌翻译
乳腺癌是女性可能发生的最严重的癌症之一。通过分析组织学图像(HIS)来自动诊断乳腺癌对患者及其预后很重要。他的分类为临床医生提供了对疾病的准确了解,并使他们可以更有效地治疗患者。深度学习(DL)方法已成功地用于各种领域,尤其是医学成像,因为它们有能力自动提取功能。这项研究旨在使用他的乳腺癌对不同类型的乳腺癌进行分类。在这项研究中,我们提出了一个增强的胶囊网络,该网络使用RES2NET块和四个额外的卷积层提取多尺度特征。此外,由于使用了小的卷积内核和RES2NET块,因此所提出的方法具有较少的参数。结果,新方法的表现优于旧方法,因为它会自动学习最佳功能。测试结果表明该模型的表现优于先前的DL方法。
translated by 谷歌翻译
Prostate cancer is the most common cancer in men worldwide and the second leading cause of cancer death in the United States. One of the prognostic features in prostate cancer is the Gleason grading of histopathology images. The Gleason grade is assigned based on tumor architecture on Hematoxylin and Eosin (H&E) stained whole slide images (WSI) by the pathologists. This process is time-consuming and has known interobserver variability. In the past few years, deep learning algorithms have been used to analyze histopathology images, delivering promising results for grading prostate cancer. However, most of the algorithms rely on the fully annotated datasets which are expensive to generate. In this work, we proposed a novel weakly-supervised algorithm to classify prostate cancer grades. The proposed algorithm consists of three steps: (1) extracting discriminative areas in a histopathology image by employing the Multiple Instance Learning (MIL) algorithm based on Transformers, (2) representing the image by constructing a graph using the discriminative patches, and (3) classifying the image into its Gleason grades by developing a Graph Convolutional Neural Network (GCN) based on the gated attention mechanism. We evaluated our algorithm using publicly available datasets, including TCGAPRAD, PANDA, and Gleason 2019 challenge datasets. We also cross validated the algorithm on an independent dataset. Results show that the proposed model achieved state-of-the-art performance in the Gleason grading task in terms of accuracy, F1 score, and cohen-kappa. The code is available at https://github.com/NabaviLab/Prostate-Cancer.
translated by 谷歌翻译
已经开发了几种深度学习算法,以使用整个幻灯片图像(WSIS)预测癌症患者的存活。但是,WSI中与患者的生存和疾病进展有关的WSI中的图像表型对临床医生而言都是困难的,以及深度学习算法。用于生存预测的大多数基于深度学习的多个实例学习(MIL)算法使用顶级实例(例如Maxpooling)或顶级/底部实例(例如,Mesonet)来识别图像表型。在这项研究中,我们假设WSI中斑块得分分布的全面信息可以更好地预测癌症的生存。我们开发了一种基于分布的多构度生存学习算法(DeepDismisl)来验证这一假设。我们使用两个大型国际大型癌症WSIS数据集设计和执行实验-MCO CRC和TCGA Coad -Read。我们的结果表明,有关WSI贴片分数的分布的信息越多,预测性能越好。包括每个选定分配位置(例如百分位数)周围的多个邻域实例可以进一步改善预测。与最近发表的最新算法相比,DeepDismisl具有优越的预测能力。此外,我们的算法是可以解释的,可以帮助理解癌症形态表型与癌症生存风险之间的关系。
translated by 谷歌翻译
监督的学习任务,例如GigaiPixel全幻灯片图像(WSIS)等癌症存活预测是计算病理学中的关键挑战,需要对肿瘤微环境的复杂特征进行建模。这些学习任务通常通过不明确捕获肿瘤内异质性的深层多企业学习(MIL)模型来解决。我们开发了一种新颖的差异池体系结构,使MIL模型能够将肿瘤内异质性纳入其预测中。说明了基于代表性补丁的两个可解释性工具,以探测这些模型捕获的生物学信号。一项针对癌症基因组图集的4,479吉普像素WSI的实证研究表明,在MIL框架上增加方差汇总可改善五种癌症类型的生存预测性能。
translated by 谷歌翻译
Attention-based multiple instance learning (AMIL) algorithms have proven to be successful in utilizing gigapixel whole-slide images (WSIs) for a variety of different computational pathology tasks such as outcome prediction and cancer subtyping problems. We extended an AMIL approach to the task of survival prediction by utilizing the classical Cox partial likelihood as a loss function, converting the AMIL model into a nonlinear proportional hazards model. We applied the model to tissue microarray (TMA) slides of 330 lung cancer patients. The results show that AMIL approaches can handle very small amounts of tissue from a TMA and reach similar C-index performance compared to established survival prediction methods trained with highly discriminative clinical factors such as age, cancer grade, and cancer stage
translated by 谷歌翻译
机器学习和深度学习方法对医学的计算机辅助预测成为必需的,在乳房X光检查领域也具有越来越多的应用。通常,这些算法训练,针对特定任务,例如,病变的分类或乳房X乳线图的病理学状态的预测。为了获得患者的综合视图,随后整合或组合所有针对同一任务培训的模型。在这项工作中,我们提出了一种管道方法,我们首先培训一组个人,任务特定的模型,随后调查其融合,与标准模型合并策略相反。我们使用混合患者模型的深度学习模型融合模型预测和高级功能,以在患者水平上构建更强的预测因子。为此,我们提出了一种多分支深度学习模型,其跨不同任务和乳房X光检查有效地融合了功能,以获得全面的患者级预测。我们在公共乳房X线摄影数据,即DDSM及其策划版本CBIS-DDSM上培训并评估我们的全部管道,并报告AUC评分为0.962,以预测任何病变和0.791的存在,以预测患者水平对恶性病变的存在。总体而言,与标准模型合并相比,我们的融合方法将显着提高AUC得分高达0.04。此外,通过提供与放射功能相关的特定于任务的模型结果,提供了与放射性特征相关的任务特定模型结果,我们的管道旨在密切支持放射科学家的阅读工作流程。
translated by 谷歌翻译
背景:宫颈癌严重影响了女性生殖系统的健康。光学相干断层扫描(OCT)作为宫颈疾病检测的非侵入性,高分辨率成像技术。然而,OCT图像注释是知识密集型和耗时的,这阻碍了基于深度学习的分类模型的培训过程。目的:本研究旨在基于自我监督学习,开发一种计算机辅助诊断(CADX)方法来对体内宫颈OCT图像进行分类。方法:除了由卷积神经网络(CNN)提取的高电平语义特征外,建议的CADX方法利用了通过对比纹理学习来利用未标记的宫颈OCT图像的纹理特征。我们在中国733名患者的多中心临床研究中对OCT图像数据集进行了十倍的交叉验证。结果:在用于检测高风险疾病的二元分类任务中,包括高级鳞状上皮病变和宫颈癌,我们的方法实现了0.9798加号或减去0.0157的面积曲线值,灵敏度为91.17加或对于OCT图像贴片,减去4.99%,特异性为93.96加仑或减去4.72%;此外,它在测试集上的四位医学专家中表现出两种。此外,我们的方法在使用交叉形阈值投票策略的118名中国患者中达到了91.53%的敏感性和97.37%的特异性。结论:所提出的基于对比 - 学习的CADX方法表现优于端到端的CNN模型,并基于纹理特征提供更好的可解释性,其在“见和治疗”的临床协议中具有很大的潜力。
translated by 谷歌翻译
在这项研究中,将放射学方法扩展到用于组织分类的光学荧光分子成像数据,称为“验光”。荧光分子成像正在出现在头颈部鳞状细胞癌(HNSCC)切除期间的精确手术引导。然而,肿瘤到正常的组织对比与靶分子表皮生长因子受体(EGFR)的异质表达的内在生理局限性混淆。验光学试图通过探测荧光传达的EGFR表达中的质地模式差异来改善肿瘤识别。从荧光图像样品中提取了总共1,472个标准化的验光特征。涉及支持矢量机分类器的监督机器学习管道接受了25个顶级功能的培训,这些功能由最小冗余最大相关标准选择。通过将切除组织的图像贴片分类为组织学确认的恶性肿瘤状态,将模型预测性能与荧光强度阈值方法进行了比较。与荧光强度阈值方法相比,验光方法在所有测试集样品中提供了一致的预测准确性(无剂量)(平均精度为89%vs. 81%; P = 0.0072)。改进的性能表明,将放射线学方法扩展到荧光分子成像数据为荧光引导手术中的癌症检测提供了有希望的图像分析技术。
translated by 谷歌翻译
背景和目的:胃癌已经成为全球第五次常见的癌症,早期检测胃癌对于拯救生命至关重要。胃癌的组织病理学检查是诊断胃癌的金标准。然而,计算机辅助诊断技术是挑战,以评估由于公开胃组织病理学图像数据集的稀缺而评估。方法:在本文中,公布了一种贵族公共胃组织病理学子尺寸图像数据库(GashissdB)以识别分类器的性能。具体地,包括两种类型的数据:正常和异常,总共245,196个组织案例图像。为了证明图像分类领域的不同时期的方法在GashissdB上具有差异,我们选择各种分类器进行评估。选择七种古典机器学习分类器,三个卷积神经网络分类器和新颖的基于变压器的分类器进行测试,用于测试图像分类任务。结果:本研究采用传统机器学习和深入学习方法进行了广泛的实验,以证明不同时期的方法对GashissdB具有差异。传统的机器学习实现了86.08%的最佳精度率,最低仅为41.12%。深度学习的最佳准确性达到96.47%,最低为86.21%。分类器的精度率显着变化。结论:据我们所知,它是第一个公开的胃癌组织病理学数据集,包含大量的弱监督学习的图像。我们认为Gashissdb可以吸引研究人员来探索胃癌自动诊断的新算法,这可以帮助医生和临床环境中的患者。
translated by 谷歌翻译
病理诊所中癌症的诊断,预后和治疗性决策现在可以基于对多吉吉像素组织图像的分析,也称为全斜图像(WSIS)。最近,已经提出了深层卷积神经网络(CNN)来得出无监督的WSI表示。这些很有吸引力,因为它们不太依赖于繁琐的专家注释。但是,一个主要的权衡是,较高的预测能力通常以解释性为代价,这对他们的临床使用构成了挑战,通常通常期望决策中的透明度。为了应对这一挑战,我们提出了一个基于Deep CNN的手工制作的框架,用于构建整体WSI级表示。基于有关变压器在自然语言处理领域的内部工作的最新发现,我们将其过程分解为一个更透明的框架,我们称其为手工制作的组织学变压器或H2T。基于我们涉及各种数据集的实验,包括总共5,306个WSI,结果表明,与最近的最新方法相比,基于H2T的整体WSI级表示具有竞争性能,并且可以轻松用于各种下游分析任务。最后,我们的结果表明,H2T框架的最大14倍,比变压器模型快14倍。
translated by 谷歌翻译
Gigapixel Medical图像提供了大量的数据,包括形态学纹理和空间信息。由于组织学的数据量表较大,​​深度学习方法作为特征提取器起着越来越重要的作用。现有的解决方案在很大程度上依赖卷积神经网络(CNN)进行全局像素级分析,从而使潜在的局部几何结构(例如肿瘤微环境中的细胞之间的相互作用均未探索。事实证明,医学图像中的拓扑结构与肿瘤进化密切相关,可以很好地表征图。为了获得下游肿瘤学任务的更全面的表示,我们提出了一个融合框架,以增强CNN捕获的全局图像级表示,并使用图形神经网络(GNN)学习的细胞级空间信息的几何形状。融合层优化了全局图像和单元图的协作特征之间的集成。已经开发了两种融合策略:一种具有MLP的融合策略,这很简单,但通过微调而有效,而Transformer获得了融合多个网络的冠军。我们评估了从大型患者群体和胃癌策划的组织学数据集中的融合策略,以完成三个生物标志物预测任务。两种型号的表现都优于普通CNN或GNN,在各种网络骨架上达到了超过5%的AUC提高。实验结果在医学图像分析中将图像水平的形态特征与细胞空间关系相结合的必要性。代码可在https://github.com/yiqings/hegnnenhancecnn上找到。
translated by 谷歌翻译
计算机辅助诊断数字病理学正在变得普遍存在,因为它可以提供更有效和客观的医疗保健诊断。最近的进展表明,卷积神经网络(CNN)架构是一种完善的深度学习范式,可用于设计一种用于乳腺癌检测的计算机辅助诊断(CAD)系统。然而,探索了污染变异性因污染变异性和染色常规化的影响,尚未得到很好的挑战。此外,对于高吞吐量筛选可能是重要的网络模型的性能分析,这也不适用于高吞吐量筛查,也不熟悉。要解决这一挑战,我们考虑了一些当代CNN模型,用于涉及(1)的乳房组织病理学图像的二进制分类。使用基于自适应颜色解卷积(ACD)的颜色归一化算法来处理污染归一化图像的数据以处理染色变量; (2)应用基于转移学习的一些可动性更高效的CNN模型的培训,即视觉几何组网络(VGG16),MobileNet和效率网络。我们在公开的Brankhis数据集上验证了培训的CNN网络,适用于200倍和400x放大的组织病理学图像。实验分析表明,大多数情况下预染额网络在数据增强乳房组织病理学图像中产生更好的质量,而不是污染归一化的情况。此外,我们使用污染标准化图像评估了流行轻量级网络的性能和效率,并发现在测试精度和F1分数方面,高效网络优于VGG16和MOBILENET。我们观察到在测试时间方面的效率比其他网络更好; vgg net,mobilenet,在分类准确性下没有太大降低。
translated by 谷歌翻译