Tumor-stroma ratio (TSR) is a prognostic factor for many types of solid tumors. In this study, we propose a method for automated estimation of TSR from histopathological images of colorectal cancer. The method is based on convolutional neural networks which were trained to classify colorectal cancer tissue in hematoxylin-eosin stained samples into three classes: stroma, tumor and other. The models were trained using a data set that consists of 1343 whole slide images. Three different training setups were applied with a transfer learning approach using domain-specific data i.e. an external colorectal cancer histopathological data set. The three most accurate models were chosen as a classifier, TSR values were predicted and the results were compared to a visual TSR estimation made by a pathologist. The results suggest that classification accuracy does not improve when domain-specific data are used in the pre-training of the convolutional neural network models in the task at hand. Classification accuracy for stroma, tumor and other reached 96.1$\%$ on an independent test set. Among the three classes the best model gained the highest accuracy (99.3$\%$) for class tumor. When TSR was predicted with the best model, the correlation between the predicted values and values estimated by an experienced pathologist was 0.57. Further research is needed to study associations between computationally predicted TSR values and other clinicopathological factors of colorectal cancer and the overall survival of the patients.
translated by 谷歌翻译
乳腺癌是女性最常见的恶性肿瘤,每年负责超过50万人死亡。因此,早期和准确的诊断至关重要。人类专业知识是诊断和正确分类乳腺癌并定义适当的治疗,这取决于评价不同生物标志物如跨膜蛋白受体HER2的表达。该评估需要几个步骤,包括免疫组织化学或原位杂交等特殊技术,以评估HER2状态。通过降低诊断中的步骤和人类偏差的次数的目标,赫洛挑战是组织的,作为第16届欧洲数字病理大会的并行事件,旨在自动化仅基于苏木精和曙红染色的HER2地位的评估侵袭性乳腺癌的组织样本。评估HER2状态的方法是在全球21个团队中提出的,并通过一些提议的方法实现了潜在的观点,以推进最先进的。
translated by 谷歌翻译
骨肉瘤是最常见的原发性骨癌,其标准治疗包括术前化疗,然后切除。化学疗法反应用于预测患者的预后和进一步治疗。坏死在切除标本上的组织学幻灯片通常评估了坏死比定义为坏死肿瘤与总体肿瘤之比。已知坏死比> = 90%的患者的预后更好。多个载玻片对坏死比的手动微观综述是半定量性的,并且可能具有观察者间和观察者间的变异性。我们提出了一种基于目标和可再现的深度学习方法,以估计坏死比,并从扫描的苏木精和曙红全幻灯片图像预测结果。我们以3134个WSI的速度收集了103例骨肉瘤病例,以训练我们的深度学习模型,验证坏死比评估并评估结果预测。我们训练了深层多磁化网络,以分割多个组织亚型,包括生存的肿瘤和像素级中的坏死肿瘤,并计算来自多个WSI的病例级坏死比。我们显示了通过分割模型估算的坏死比,高度与由专家手动评估的病理报告中的坏死比高度相关,其中IV级的平均绝对差异(100%),III(> = 90%)和II(> = 50%和<50%和< 90%)坏死反应分别为4.4%,4.5%和17.8%。我们成功地对患者进行了分层,以预测P = 10^-6的总生存率,而P = 0.012的无进展生存率。我们没有可变性的可重现方法使我们能够调整截止阈值,特别是用于模型和数据集的截止阈值,为OS的80%,PFS为60%。我们的研究表明,深度学习可以支持病理学家作为一种客观的工具,可以分析组织学中骨肉瘤,以评估治疗反应并预测患者结果。
translated by 谷歌翻译
由于形态的相似性,皮肤肿瘤的组织学切片分化为个体亚型可能具有挑战性。最近,基于深度学习的方法证明了它们在这方面支持病理学家的潜力。但是,这些监督算法中的许多都需要大量的注释数据才能进行稳健开发。我们提供了一个公开可用的数据集,该数据集是七个不同的犬皮肤肿瘤的350张全滑图像,其中有13种组织学类别的12,424个多边形注释,包括7种皮肤肿瘤亚型。在评估者间实验中,我们显示了提供的标签的高稠度,尤其是对于肿瘤注释。我们通过训练深层神经网络来进一步验证数据集,以完成组织分割和肿瘤亚型分类的任务。我们的肿瘤尤其是0.7047的类平均Jaccard系数为0.7047,尤其是0.9044。对于分类,我们达到了0.9857的幻灯片级准确性。由于犬皮肤肿瘤对人肿瘤具有各种组织学同源性,因此该数据集的附加值不限于兽医病理学,而是扩展到更一般的应用领域。
translated by 谷歌翻译
乳腺癌是女性可能发生的最严重的癌症之一。通过分析组织学图像(HIS)来自动诊断乳腺癌对患者及其预后很重要。他的分类为临床医生提供了对疾病的准确了解,并使他们可以更有效地治疗患者。深度学习(DL)方法已成功地用于各种领域,尤其是医学成像,因为它们有能力自动提取功能。这项研究旨在使用他的乳腺癌对不同类型的乳腺癌进行分类。在这项研究中,我们提出了一个增强的胶囊网络,该网络使用RES2NET块和四个额外的卷积层提取多尺度特征。此外,由于使用了小的卷积内核和RES2NET块,因此所提出的方法具有较少的参数。结果,新方法的表现优于旧方法,因为它会自动学习最佳功能。测试结果表明该模型的表现优于先前的DL方法。
translated by 谷歌翻译
深度学习对组织病理学整体幻灯片图像(WSIS)的应用持有提高诊断效率和再现性,但主要取决于写入计算机代码或购买商业解决方案的能力。我们介绍了一种使用自由使用,开源软件(Qupath,DeepMib和Spenthology)的无代码管道,用于创建和部署基于深度学习的分段模型,以进行计算病理学。我们展示了从结肠粘膜中分离上皮的用例的管道。通过使用管道的主动学习开发,包括140苏木蛋白 - 曙红(HE) - 染色的WSI(HE)-SIN(HE)-SIOS和111个CD3免疫染色体活检WSIS的数据集。在36人的持有试验组上,21个CD3染色的WSIS在上皮细分上实现了96.6%的平均交叉口96.6%和95.3%。我们展示了病理学家级分割准确性和临床可接受的运行时间绩效,并显示了没有编程经验的病理学家可以仅使用自由使用软件为组织病理WSIS创建近最先进的分段解决方案。该研究进一步展示了开源解决方案的强度在其创建普遍的开放管道的能力中,其中培训的模型和预测可以无缝地以开放格式导出,从而在外部解决方案中使用。所有脚本,培训的型号,视频教程和251个WSI的完整数据集在https://github.com/andreped/nocodeSeg中公开可用,以加速在该领域的研究。
translated by 谷歌翻译
组织病理学仍然是各种癌症诊断的黄金标准。计算机视觉的最新进展,特别是深度学习,促进了针对各种任务的组织病理学图像的分析,包括免疫细胞检测和微卫星不稳定性分类。每个任务的最新工作通常采用鉴定的基础体系结构,这些体系结构已鉴定为图像分类。开发组织病理学分类器的标准方法倾向于将重点放在优化单个任务的模型上,而不是考虑建模创新的各个方面,从而改善了跨任务的概括。在这里,我们提出了Champkit(模型预测工具包的全面组织病理学评估):可扩展的,完全可重现的基准测试工具包,由大量的斑点级图像分类任务组成,跨不同的癌症。 Champkit能够系统地记录模型和方法中提议改进的性能影响的一种方法。 Champkit源代码和数据可在https://github.com/kaczmarj/champkit上自由访问。
translated by 谷歌翻译
已经开发了几种深度学习算法,以使用整个幻灯片图像(WSIS)预测癌症患者的存活。但是,WSI中与患者的生存和疾病进展有关的WSI中的图像表型对临床医生而言都是困难的,以及深度学习算法。用于生存预测的大多数基于深度学习的多个实例学习(MIL)算法使用顶级实例(例如Maxpooling)或顶级/底部实例(例如,Mesonet)来识别图像表型。在这项研究中,我们假设WSI中斑块得分分布的全面信息可以更好地预测癌症的生存。我们开发了一种基于分布的多构度生存学习算法(DeepDismisl)来验证这一假设。我们使用两个大型国际大型癌症WSIS数据集设计和执行实验-MCO CRC和TCGA Coad -Read。我们的结果表明,有关WSI贴片分数的分布的信息越多,预测性能越好。包括每个选定分配位置(例如百分位数)周围的多个邻域实例可以进一步改善预测。与最近发表的最新算法相比,DeepDismisl具有优越的预测能力。此外,我们的算法是可以解释的,可以帮助理解癌症形态表型与癌症生存风险之间的关系。
translated by 谷歌翻译
针对组织病理学图像数据的临床决策支持主要侧重于强烈监督的注释,这提供了直观的解释性,但受专业表现的束缚。在这里,我们提出了一种可解释的癌症复发预测网络(Ecarenet),并表明没有强注释的端到端学习提供最先进的性能,而可以通过注意机制包括可解释性。在前列腺癌生存预测的用例上,使用14,479个图像和仅复发时间作为注释,我们在验证集中达到0.78的累积动态AUC,与专家病理学家(以及在单独测试中的AUC为0.77放)。我们的模型是良好的校准,输出生存曲线以及每位患者的风险分数和群体。利用多实例学习层的注意重量,我们表明恶性斑块对预测的影响较高,从而提供了对预测的直观解释。我们的代码可在www.github.com/imsb-uke/ecarenet上获得。
translated by 谷歌翻译
与其他癌症相比,胰腺癌具有最差的预后之一,因为它们已被诊断出癌症已朝着后期阶段发展。当前用于诊断胰腺腺癌的手动组织学分级是耗时的,通常会导致误诊。在数字病理学中,基于AI的癌症分级必须在预测和不确定性量化方面非常准确,以提高可靠性和解释性,对于获得临床医生对技术的信任至关重要。我们提出了MGG自动化胰腺癌分级的贝叶斯卷积神经网络,他对图像进行了染色,以估计模型预测中的不确定性。我们表明,估计的不确定性与预测误差相关。具体而言,它对于使用权衡分类准确性 - 拒绝权衡和错误分类成本的度量标准来设置验收阈值很有用,可以通过超参数控制,并且可以在临床环境中使用。
translated by 谷歌翻译
Pneumonia, a respiratory infection brought on by bacteria or viruses, affects a large number of people, especially in developing and impoverished countries where high levels of pollution, unclean living conditions, and overcrowding are frequently observed, along with insufficient medical infrastructure. Pleural effusion, a condition in which fluids fill the lung and complicate breathing, is brought on by pneumonia. Early detection of pneumonia is essential for ensuring curative care and boosting survival rates. The approach most usually used to diagnose pneumonia is chest X-ray imaging. The purpose of this work is to develop a method for the automatic diagnosis of bacterial and viral pneumonia in digital x-ray pictures. This article first presents the authors' technique, and then gives a comprehensive report on recent developments in the field of reliable diagnosis of pneumonia. In this study, here tuned a state-of-the-art deep convolutional neural network to classify plant diseases based on images and tested its performance. Deep learning architecture is compared empirically. VGG19, ResNet with 152v2, Resnext101, Seresnet152, Mobilenettv2, and DenseNet with 201 layers are among the architectures tested. Experiment data consists of two groups, sick and healthy X-ray pictures. To take appropriate action against plant diseases as soon as possible, rapid disease identification models are preferred. DenseNet201 has shown no overfitting or performance degradation in our experiments, and its accuracy tends to increase as the number of epochs increases. Further, DenseNet201 achieves state-of-the-art performance with a significantly a smaller number of parameters and within a reasonable computing time. This architecture outperforms the competition in terms of testing accuracy, scoring 95%. Each architecture was trained using Keras, using Theano as the backend.
translated by 谷歌翻译
Prostate cancer is the most common cancer in men worldwide and the second leading cause of cancer death in the United States. One of the prognostic features in prostate cancer is the Gleason grading of histopathology images. The Gleason grade is assigned based on tumor architecture on Hematoxylin and Eosin (H&E) stained whole slide images (WSI) by the pathologists. This process is time-consuming and has known interobserver variability. In the past few years, deep learning algorithms have been used to analyze histopathology images, delivering promising results for grading prostate cancer. However, most of the algorithms rely on the fully annotated datasets which are expensive to generate. In this work, we proposed a novel weakly-supervised algorithm to classify prostate cancer grades. The proposed algorithm consists of three steps: (1) extracting discriminative areas in a histopathology image by employing the Multiple Instance Learning (MIL) algorithm based on Transformers, (2) representing the image by constructing a graph using the discriminative patches, and (3) classifying the image into its Gleason grades by developing a Graph Convolutional Neural Network (GCN) based on the gated attention mechanism. We evaluated our algorithm using publicly available datasets, including TCGAPRAD, PANDA, and Gleason 2019 challenge datasets. We also cross validated the algorithm on an independent dataset. Results show that the proposed model achieved state-of-the-art performance in the Gleason grading task in terms of accuracy, F1 score, and cohen-kappa. The code is available at https://github.com/NabaviLab/Prostate-Cancer.
translated by 谷歌翻译
肿瘤浸润淋巴细胞(TIL)的定量已被证明是乳腺癌患者预后的独立预测因子。通常,病理学家对含有tils的基质区域的比例进行估计,以获得TILS评分。乳腺癌(Tiger)挑战中肿瘤浸润淋巴细胞旨在评估计算机生成的TILS评分的预后意义,以预测作为COX比例风险模型的一部分的存活率。在这一挑战中,作为Tiager团队,我们已经开发了一种算法,以将肿瘤与基质与基质进行第一部分,然后将肿瘤散装区域用于TILS检测。最后,我们使用这些输出来生成每种情况的TILS分数。在初步测试中,我们的方法达到了肿瘤 - 细胞瘤的加权骰子评分为0.791,而淋巴细胞检测的FROC得分为0.572。为了预测生存,我们的模型达到了0.719的C索引。这些结果在老虎挑战的初步测试排行榜中获得了第一名。
translated by 谷歌翻译
背景:宫颈癌严重影响了女性生殖系统的健康。光学相干断层扫描(OCT)作为宫颈疾病检测的非侵入性,高分辨率成像技术。然而,OCT图像注释是知识密集型和耗时的,这阻碍了基于深度学习的分类模型的培训过程。目的:本研究旨在基于自我监督学习,开发一种计算机辅助诊断(CADX)方法来对体内宫颈OCT图像进行分类。方法:除了由卷积神经网络(CNN)提取的高电平语义特征外,建议的CADX方法利用了通过对比纹理学习来利用未标记的宫颈OCT图像的纹理特征。我们在中国733名患者的多中心临床研究中对OCT图像数据集进行了十倍的交叉验证。结果:在用于检测高风险疾病的二元分类任务中,包括高级鳞状上皮病变和宫颈癌,我们的方法实现了0.9798加号或减去0.0157的面积曲线值,灵敏度为91.17加或对于OCT图像贴片,减去4.99%,特异性为93.96加仑或减去4.72%;此外,它在测试集上的四位医学专家中表现出两种。此外,我们的方法在使用交叉形阈值投票策略的118名中国患者中达到了91.53%的敏感性和97.37%的特异性。结论:所提出的基于对比 - 学习的CADX方法表现优于端到端的CNN模型,并基于纹理特征提供更好的可解释性,其在“见和治疗”的临床协议中具有很大的潜力。
translated by 谷歌翻译
计算病理学中的图像分析任务通常使用卷积神经网络(CNN)来解决。通过探索性迭代优化,通常通过计算昂贵并且需要大量的手动工作来选择合适的CNN架构和封闭参数。本文的目标是评估神经网络架构的通用工具如何在计算病理学中进行神经网络架构搜索和普通用例的通用工具。为此目的,我们为三个不同的分类任务进行了评估了一个本地和一个基于云的工具,用于组织学图像:组织分类,突变预测和分级。我们发现,默认的CNN架构和评估的Automl Tools的参数化已经与原始出版物相提并论。尽管额外的计算工作,但这些任务的超参数优化并未显着提高性能。然而,由于非确定性效果,从单独的自动机器获得的分类器之间的性能大致不同。因此,通用CNN架构和Automl工具可以是可行的替代方案,可以手动优化CNN架构和参数化。这将允许软件解决方案的开发人员进行计算病理,以重点努力更加难以自动化的任务,例如数据策策。
translated by 谷歌翻译
已经开发了用于预测结直肠癌(CRC)在内的临床相关生物标志物(包括微卫星不稳定性(MSI))的人工智能(AI)模型。但是,当前的深度学习网络是渴望数据的,需要大型培训数据集,这些数据集通常缺乏医疗领域。在这项研究中,基于最新的层次视觉变压器使用移位窗口(SWIN-T),我们开发了CRC中生物标志物的有效工作流程(MSI,超突击,染色体不稳定性,CPG岛甲基表型,BRAF和TP53突变)需要相对较小的数据集,但实现了最新的(SOTA)预测性能。我们的SWIN-T工作流不仅在使用TCGA-CRC-DX数据集(n = 462)的研究内交叉验证实验中大大优于已发表的模型(n = 462),而且在跨研究的外部验证中表现出极好的普遍性,并提供了SOTA AUROC使用MCO数据集进行训练(n = 1065)和相同的TCGA-CRC-DX进行测试。 Echle及其同事在同一测试数据集上使用8000个培训样本(RESNET18)实现了类似的性能(AUROC = 0.91)。 Swin-T使用小型训练数据集非常有效,并且仅使用200-500个培训样本展示出强大的预测性能。这些数据表明,Swin-T的效率可能是基于RESNET18和Shufflenet的MSI当前最新算法的效率5-10倍。此外,SWIN-T模型显示出有望作为MSI状态和BRAF突变状态的预筛查测试,可以在级联的诊断工作流程中排除和减少样品,以允许降低周转时间和节省成本。
translated by 谷歌翻译
语义图像分割是手术中的背景知识和自治机器人的重要前提。本领域的状态专注于在微创手术期间获得的传统RGB视频数据,但基于光谱成像数据的全景语义分割并在开放手术期间获得几乎没有注意到日期。为了解决文献中的这种差距,我们正在研究基于在开放手术环境中获得的猪的高光谱成像(HSI)数据的以下研究问题:(1)基于神经网络的HSI数据的充分表示是完全自动化的器官分割,尤其是关于数据的空间粒度(像素与Superpixels与Patches与完整图像)的空间粒度? (2)在执行语义器官分割时,是否有利用HSI数据使用HSI数据,即RGB数据和处理的HSI数据(例如氧合等组织参数)?根据基于20猪的506个HSI图像的全面验证研究,共注释了19个类,基于深度的学习的分割性能 - 贯穿模态 - 与输入数据的空间上下文一致。未处理的HSI数据提供优于RGB数据或来自摄像机提供商的处理数据,其中优势随着输入到神经网络的输入的尺寸而增加。最大性能(应用于整个图像的HSI)产生了0.89(标准偏差(SD)0.04)的平均骰子相似度系数(DSC),其在帧间间变异性(DSC为0.89(SD 0.07)的范围内。我们得出结论,HSI可以成为全自动手术场景理解的强大的图像模型,其具有传统成像的许多优点,包括恢复额外功能组织信息的能力。
translated by 谷歌翻译
计算机辅助诊断数字病理学正在变得普遍存在,因为它可以提供更有效和客观的医疗保健诊断。最近的进展表明,卷积神经网络(CNN)架构是一种完善的深度学习范式,可用于设计一种用于乳腺癌检测的计算机辅助诊断(CAD)系统。然而,探索了污染变异性因污染变异性和染色常规化的影响,尚未得到很好的挑战。此外,对于高吞吐量筛选可能是重要的网络模型的性能分析,这也不适用于高吞吐量筛查,也不熟悉。要解决这一挑战,我们考虑了一些当代CNN模型,用于涉及(1)的乳房组织病理学图像的二进制分类。使用基于自适应颜色解卷积(ACD)的颜色归一化算法来处理污染归一化图像的数据以处理染色变量; (2)应用基于转移学习的一些可动性更高效的CNN模型的培训,即视觉几何组网络(VGG16),MobileNet和效率网络。我们在公开的Brankhis数据集上验证了培训的CNN网络,适用于200倍和400x放大的组织病理学图像。实验分析表明,大多数情况下预染额网络在数据增强乳房组织病理学图像中产生更好的质量,而不是污染归一化的情况。此外,我们使用污染标准化图像评估了流行轻量级网络的性能和效率,并发现在测试精度和F1分数方面,高效网络优于VGG16和MOBILENET。我们观察到在测试时间方面的效率比其他网络更好; vgg net,mobilenet,在分类准确性下没有太大降低。
translated by 谷歌翻译
数据分析方法的组合,提高计算能力和改进的传感器可以实现定量颗粒状,基于细胞的分析。我们描述了与组织解释和调查AI方法有关的丰富应用挑战集,目前用于应对这些挑战。我们专注于一类针对性的人体组织分析 - 组织病理学 - 旨在定量表征疾病状态,患者结果预测和治疗转向。
translated by 谷歌翻译
Molecular and genomic properties are critical in selecting cancer treatments to target individual tumors, particularly for immunotherapy. However, the methods to assess such properties are expensive, time-consuming, and often not routinely performed. Applying machine learning to H&E images can provide a more cost-effective screening method. Dozens of studies over the last few years have demonstrated that a variety of molecular biomarkers can be predicted from H&E alone using the advancements of deep learning: molecular alterations, genomic subtypes, protein biomarkers, and even the presence of viruses. This article reviews the diverse applications across cancer types and the methodology to train and validate these models on whole slide images. From bottom-up to pathologist-driven to hybrid approaches, the leading trends include a variety of weakly supervised deep learning-based approaches, as well as mechanisms for training strongly supervised models in select situations. While results of these algorithms look promising, some challenges still persist, including small training sets, rigorous validation, and model explainability. Biomarker prediction models may yield a screening method to determine when to run molecular tests or an alternative when molecular tests are not possible. They also create new opportunities in quantifying intratumoral heterogeneity and predicting patient outcomes.
translated by 谷歌翻译