由于其在生物医学领域中的重要性,因此对癌症的早期发现进行了广泛的探索。在用于回答这个生物学问题的不同类型的数据中,由于对宿主免疫系统在肿瘤生物学中的作用的增长,基于T细胞受体(TCR)的研究受到了最近的关注。但是,患者和多个TCR序列之间的一对一对应关系阻碍了研究人员简单地采用经典的统计/机器学习方法。最近有尝试在多个实例学习(MIL)的上下文中对这种类型的数据进行建模。尽管使用TCR序列将MIL在癌症检测中采用了新的应用,并且在几种肿瘤类型中表现出了足够的表现,但仍然有改善的空间,尤其是对于某些癌症类型。此外,该应用程序未对可解释的神经网络模型进行全面研究。在本文中,我们提出了基于稀疏注意(Minn-SA)的多个实例神经网络,以增强癌症检测和解释性的性能。稀疏的注意力结构在每个袋子中散发出非信息的实例,可以与跳过连接结合使用可解释性和更好的预测性能。我们的实验表明,与现有的MIL方法相比,Minn-SA在ROC曲线(AUC)得分下的最高面积(AUC)得分平均得分。此外,我们从估计的注意力中观察到Minn-SA可以鉴定出对同一T细胞库中肿瘤抗原的特异性TCR。
translated by 谷歌翻译
Multiple instance learning (MIL) is a variation of supervised learning where a single class label is assigned to a bag of instances. In this paper, we state the MIL problem as learning the Bernoulli distribution of the bag label where the bag label probability is fully parameterized by neural networks. Furthermore, we propose a neural network-based permutation-invariant aggregation operator that corresponds to the attention mechanism. Notably, an application of the proposed attention-based operator provides insight into the contribution of each instance to the bag label. We show empirically that our approach achieves comparable performance to the best MIL methods on benchmark MIL datasets and it outperforms other methods on a MNIST-based MIL dataset and two real-life histopathology datasets without sacrificing interpretability.
translated by 谷歌翻译
具有多吉吉像素的组织学图像产生了丰富的信息,以用于癌症诊断和预后。在大多数情况下,只能使用幻灯片级标签,因为像素的注释是劳动密集型任务。在本文中,我们提出了一条深度学习管道,以进行组织学图像中的分类。使用多个实例学习,我们试图预测基于降血石蛋白和曙红蛋白(H&E)组织学图像的鼻咽癌(NPC)的潜在膜蛋白1(LMP1)状态。我们利用了与聚合层保持剩余连接的注意机制。在我们的3倍交叉验证实验中,我们分别达到了平均准确性,AUC和F1得分为0.936、0.995和0.862。这种方法还使我们能够通过可视化注意力评分来检查模型的可解释性。据我们所知,这是使用深度学习预测NPC上LMP1状态的首次尝试。
translated by 谷歌翻译
由于其弱监督性,多个实例学习(MIL)在许多现实生活中的机器学习应用中都获得了受欢迎程度。但是,解释MIL滞后的相应努力,通常仅限于提出对特定预测至关重要的袋子的实例。在本文中,我们通过引入Protomil,这是一种新型的自我解释的MIL方法,该方法受到基于案例的推理过程的启发,该方法是基于案例的推理过程,该方法在视觉原型上运行。由于将原型特征纳入对象描述中,Protomil空前加入了模型的准确性和细粒度的可解释性,我们在五个公认的MIL数据集上进行了实验。
translated by 谷歌翻译
我们应用磁共振波谱分析(MRS)深度学习(DL)数据的脑肿瘤检测的任务。医疗方面的应用往往是噪声数据匮乏和腐败困扰。这两个问题是在我们的数据集突出。此外,不同数量的光谱的可用于不同的患者。我们考虑的任务作为多实例学习(MIL)问题,解决这些问题。具体来说,我们聚集来自同一患者的多个光谱成“袋”用于分类和应用数据的增强技术。为了实现装袋的过程中,置换不变性,我们提出了两种方法:(1)申请MIN-,MAX-,和平均汇集所有样本在一个袋子和(2)的功能应用的注意机制。我们测试了多个神经网络结构这两种方法。我们证明上的多个实例的训练,而不是单一的光谱时分类性能显著提高。我们提出了一个简单的过采样数据隆胸方法,并表明它可以进一步提高性能。最后,我们证明了我们提出的模型优于根据大多数性能指标由神经放射学手工分类。
translated by 谷歌翻译
已经开发了几种深度学习算法,以使用整个幻灯片图像(WSIS)预测癌症患者的存活。但是,WSI中与患者的生存和疾病进展有关的WSI中的图像表型对临床医生而言都是困难的,以及深度学习算法。用于生存预测的大多数基于深度学习的多个实例学习(MIL)算法使用顶级实例(例如Maxpooling)或顶级/底部实例(例如,Mesonet)来识别图像表型。在这项研究中,我们假设WSI中斑块得分分布的全面信息可以更好地预测癌症的生存。我们开发了一种基于分布的多构度生存学习算法(DeepDismisl)来验证这一假设。我们使用两个大型国际大型癌症WSIS数据集设计和执行实验-MCO CRC和TCGA Coad -Read。我们的结果表明,有关WSI贴片分数的分布的信息越多,预测性能越好。包括每个选定分配位置(例如百分位数)周围的多个邻域实例可以进一步改善预测。与最近发表的最新算法相比,DeepDismisl具有优越的预测能力。此外,我们的算法是可以解释的,可以帮助理解癌症形态表型与癌症生存风险之间的关系。
translated by 谷歌翻译
Prostate cancer is the most common cancer in men worldwide and the second leading cause of cancer death in the United States. One of the prognostic features in prostate cancer is the Gleason grading of histopathology images. The Gleason grade is assigned based on tumor architecture on Hematoxylin and Eosin (H&E) stained whole slide images (WSI) by the pathologists. This process is time-consuming and has known interobserver variability. In the past few years, deep learning algorithms have been used to analyze histopathology images, delivering promising results for grading prostate cancer. However, most of the algorithms rely on the fully annotated datasets which are expensive to generate. In this work, we proposed a novel weakly-supervised algorithm to classify prostate cancer grades. The proposed algorithm consists of three steps: (1) extracting discriminative areas in a histopathology image by employing the Multiple Instance Learning (MIL) algorithm based on Transformers, (2) representing the image by constructing a graph using the discriminative patches, and (3) classifying the image into its Gleason grades by developing a Graph Convolutional Neural Network (GCN) based on the gated attention mechanism. We evaluated our algorithm using publicly available datasets, including TCGAPRAD, PANDA, and Gleason 2019 challenge datasets. We also cross validated the algorithm on an independent dataset. Results show that the proposed model achieved state-of-the-art performance in the Gleason grading task in terms of accuracy, F1 score, and cohen-kappa. The code is available at https://github.com/NabaviLab/Prostate-Cancer.
translated by 谷歌翻译
乳腺癌是女性可能发生的最严重的癌症之一。通过分析组织学图像(HIS)来自动诊断乳腺癌对患者及其预后很重要。他的分类为临床医生提供了对疾病的准确了解,并使他们可以更有效地治疗患者。深度学习(DL)方法已成功地用于各种领域,尤其是医学成像,因为它们有能力自动提取功能。这项研究旨在使用他的乳腺癌对不同类型的乳腺癌进行分类。在这项研究中,我们提出了一个增强的胶囊网络,该网络使用RES2NET块和四个额外的卷积层提取多尺度特征。此外,由于使用了小的卷积内核和RES2NET块,因此所提出的方法具有较少的参数。结果,新方法的表现优于旧方法,因为它会自动学习最佳功能。测试结果表明该模型的表现优于先前的DL方法。
translated by 谷歌翻译
Molecular and genomic properties are critical in selecting cancer treatments to target individual tumors, particularly for immunotherapy. However, the methods to assess such properties are expensive, time-consuming, and often not routinely performed. Applying machine learning to H&E images can provide a more cost-effective screening method. Dozens of studies over the last few years have demonstrated that a variety of molecular biomarkers can be predicted from H&E alone using the advancements of deep learning: molecular alterations, genomic subtypes, protein biomarkers, and even the presence of viruses. This article reviews the diverse applications across cancer types and the methodology to train and validate these models on whole slide images. From bottom-up to pathologist-driven to hybrid approaches, the leading trends include a variety of weakly supervised deep learning-based approaches, as well as mechanisms for training strongly supervised models in select situations. While results of these algorithms look promising, some challenges still persist, including small training sets, rigorous validation, and model explainability. Biomarker prediction models may yield a screening method to determine when to run molecular tests or an alternative when molecular tests are not possible. They also create new opportunities in quantifying intratumoral heterogeneity and predicting patient outcomes.
translated by 谷歌翻译
组织病理学图像包含丰富的表型信息和病理模式,这是疾病诊断的黄金标准,对于预测患者预后和治疗结果至关重要。近年来,在临床实践中迫切需要针对组织病理学图像的计算机自动化分析技术,而卷积神经网络代表的深度学习方法已逐渐成为数字病理领域的主流。但是,在该领域获得大量细粒的注释数据是一项非常昂贵且艰巨的任务,这阻碍了基于大量注释数据的传统监督算法的进一步开发。最新的研究开始从传统的监督范式中解放出来,最有代表性的研究是基于弱注释,基于有限的注释的半监督学习范式以及基于自我监督的学习范式的弱监督学习范式的研究图像表示学习。这些新方法引发了针对注释效率的新自动病理图像诊断和分析。通过对130篇论文的调查,我们对从技术和方法论的角度来看,对计算病理学领域中有关弱监督学习,半监督学习以及自我监督学习的最新研究进行了全面的系统综述。最后,我们提出了这些技术的关键挑战和未来趋势。
translated by 谷歌翻译
由于肿瘤的异质性,在个性化的基础上预测抗癌药物的临床结局在癌症治疗中具有挑战性。已经采取了传统的计算努力来建模药物反应对通过其分子概况描绘的单个样品的影响,但由于OMICS数据的高维度而发生过度拟合,因此阻碍了临床应用的模型。最近的研究表明,深度学习是通过学习药物和样品之间的学习对准模式来建立药物反应模型的一种有前途的方法。但是,现有研究采用了简单的特征融合策略,仅考虑了整个药物特征,同时忽略了在对齐药物和基因时可能起着至关重要的作用的亚基信息。特此在本文中,我们提出了TCR(基于变压器的癌症药物反应网络),以预测抗癌药物反应。通过利用注意机制,TCR能够在我们的研究中有效地学习药物原子/子结构和分子特征之间的相互作用。此外,设计了双重损耗函数和交叉抽样策略,以提高TCR的预测能力。我们表明,TCR在所有评估矩阵上(一些具有显着改进)的各种数据分裂策略下优于所有其他方法。广泛的实验表明,TCR在独立的体外实验和体内实际患者数据上显示出显着提高的概括能力。我们的研究强调了TCR的预测能力及其对癌症药物再利用和精度肿瘤治疗的潜在价值。
translated by 谷歌翻译
无论是在功能选择的领域还是可解释的AI领域,都有基于其重要性的“排名”功能的愿望。然后可以将这种功能重要的排名用于:(1)减少数据集大小或(2)解释机器学习模型。但是,在文献中,这种特征排名没有以系统的,一致的方式评估。许多论文都有不同的方式来争论哪些具有重要性排名最佳的特征。本文通过提出一种新的评估方法来填补这一空白。通过使用合成数据集,可以事先知道特征重要性得分,从而可以进行更系统的评估。为了促进使用新方法的大规模实验,在Python建造了一个名为FSEVAL的基准测定框架。该框架允许并行运行实验,并在HPC系统上的计算机上分布。通过与名为“权重和偏见”的在线平台集成,可以在实时仪表板上进行交互探索图表。该软件作为开源软件发布,并在PYPI平台上以包裹发行。该研究结束时,探索了一个这样的大规模实验,以在许多方面找到参与算法的优势和劣势。
translated by 谷歌翻译
组织病理学图像提供了癌症诊断的明确来源,其中包含病理学家用来识别和分类恶性疾病的信息,并指导治疗选择。这些图像包含大量信息,其中大部分目前不可用人类的解释。有监督的深度学习方法对于分类任务非常有力,但它们本质上受注释的成本和质量限制。因此,我们开发了组织形态表型学习,这是一种无监督的方法,它不需要注释,并且通过小图像瓷砖中的歧视性图像特征的自我发现进行操作。瓷砖分为形态上相似的簇,这些簇似乎代表了自然选择下出现的肿瘤生长的复发模式。这些簇具有不同的特征,可以使用正交方法识别。应用于肺癌组织,我们表明它们与患者的结局紧密保持一致,组织病理学识别的肿瘤类型和生长模式以及免疫表型的转录组度量。
translated by 谷歌翻译
使用深度学习模型从组织学数据中诊断癌症提出了一些挑战。这些图像中关注区域(ROI)的癌症分级和定位通常依赖于图像和像素级标签,后者需要昂贵的注释过程。深度弱监督的对象定位(WSOL)方法为深度学习模型的低成本培训提供了不同的策略。仅使用图像级注释,可以训练这些方法以对图像进行分类,并为ROI定位进行分类类激活图(CAM)。本文综述了WSOL的​​最先进的DL方法。我们提出了一种分类法,根据模型中的信息流,将这些方法分为自下而上和自上而下的方法。尽管后者的进展有限,但最近的自下而上方法目前通过深层WSOL方法推动了很多进展。早期作品的重点是设计不同的空间合并功能。但是,这些方法达到了有限的定位准确性,并揭示了一个主要限制 - 凸轮的不足激活导致了高假阴性定位。随后的工作旨在减轻此问题并恢复完整的对象。评估和比较了两个具有挑战性的组织学数据集的分类和本地化准确性,对我们的分类学方法进行了评估和比较。总体而言,结果表明定位性能差,特别是对于最初设计用于处理自然图像的通用方法。旨在解决组织学数据挑战的方法产生了良好的结果。但是,所有方法都遭受高假阳性/阴性定位的影响。在组织学中应用深WSOL方法的应用是四个关键的挑战 - 凸轮的激活下/过度激活,对阈值的敏感性和模型选择。
translated by 谷歌翻译
Motivation: The size of available omics datasets is steadily increasing with technological advancement in recent years. While this increase in sample size can be used to improve the performance of relevant prediction tasks in healthcare, models that are optimized for large datasets usually operate as black boxes. In high stakes scenarios, like healthcare, using a black-box model poses safety and security issues. Without an explanation about molecular factors and phenotypes that affected the prediction, healthcare providers are left with no choice but to blindly trust the models. We propose a new type of artificial neural networks, named Convolutional Omics Kernel Networks (COmic). By combining convolutional kernel networks with pathway-induced kernels, our method enables robust and interpretable end-to-end learning on omics datasets ranging in size from a few hundred to several hundreds of thousands of samples. Furthermore, COmic can be easily adapted to utilize multi-omics data. Results: We evaluate the performance capabilities of COmic on six different breast cancer cohorts. Additionally, we train COmic models on multi-omics data using the METABRIC cohort. Our models perform either better or similar to competitors on both tasks. We show how the use of pathway-induced Laplacian kernels opens the black-box nature of neural networks and results in intrinsically interpretable models that eliminate the need for \textit{post-hoc} explanation models.
translated by 谷歌翻译
研究了自闭症数据集,以确定自闭症和健康组之间的差异。为此,分析了这两组的静止状态功能磁共振成像(RS-FMRI)数据,并创建了大脑区域之间的连接网络。开发了几个分类框架,以区分组之间的连接模式。比较了统计推断和精度的最佳模型,并分析了精度和模型解释性之间的权衡。最后,据报道,分类精度措施证明了我们框架的性能。我们的最佳模型可以以71%的精度将自闭症和健康的患者分类为多站点I数据。
translated by 谷歌翻译
Learning good representation of giga-pixel level whole slide pathology images (WSI) for downstream tasks is critical. Previous studies employ multiple instance learning (MIL) to represent WSIs as bags of sampled patches because, for most occasions, only slide-level labels are available, and only a tiny region of the WSI is disease-positive area. However, WSI representation learning still remains an open problem due to: (1) patch sampling on a higher resolution may be incapable of depicting microenvironment information such as the relative position between the tumor cells and surrounding tissues, while patches at lower resolution lose the fine-grained detail; (2) extracting patches from giant WSI results in large bag size, which tremendously increases the computational cost. To solve the problems, this paper proposes a hierarchical-based multimodal transformer framework that learns a hierarchical mapping between pathology images and corresponding genes. Precisely, we randomly extract instant-level patch features from WSIs with different magnification. Then a co-attention mapping between imaging and genomics is learned to uncover the pairwise interaction and reduce the space complexity of imaging features. Such early fusion makes it computationally feasible to use MIL Transformer for the survival prediction task. Our architecture requires fewer GPU resources compared with benchmark methods while maintaining better WSI representation ability. We evaluate our approach on five cancer types from the Cancer Genome Atlas database and achieved an average c-index of $0.673$, outperforming the state-of-the-art multimodality methods.
translated by 谷歌翻译
Time Series Classification (TSC) is an important and challenging problem in data mining. With the increase of time series data availability, hundreds of TSC algorithms have been proposed. Among these methods, only a few have considered Deep Neural Networks (DNNs) to perform this task. This is surprising as deep learning has seen very successful applications in the last years. DNNs have indeed revolutionized the field of computer vision especially with the advent of novel deeper architectures such as Residual and Convolutional Neural Networks. Apart from images, sequential data such as text and audio can also be processed with DNNs to reach state-of-the-art performance for document classification and speech recognition. In this article, we study the current state-ofthe-art performance of deep learning algorithms for TSC by presenting an empirical study of the most recent DNN architectures for TSC. We give an overview of the most successful deep learning applications in various time series domains under a unified taxonomy of DNNs for TSC. We also provide an open source deep learning framework to the TSC community where we implemented each of the compared approaches and evaluated them on a univariate TSC benchmark (the UCR/UEA archive) and 12 multivariate time series datasets. By training 8,730 deep learning models on 97 time series datasets, we propose the most exhaustive study of DNNs for TSC to date.
translated by 谷歌翻译
即使机器学习算法已经在数据科学中发挥了重要作用,但许多当前方法对输入数据提出了不现实的假设。由于不兼容的数据格式,或数据集中的异质,分层或完全缺少的数据片段,因此很难应用此类方法。作为解决方案,我们提出了一个用于样本表示,模型定义和培训的多功能,统一的框架,称为“ Hmill”。我们深入审查框架构建和扩展的机器学习的多个范围范式。从理论上讲,为HMILL的关键组件的设计合理,我们将通用近似定理的扩展显示到框架中实现的模型所实现的所有功能的集合。本文还包含有关我们实施中技术和绩效改进的详细讨论,该讨论将在MIT许可下发布供下载。该框架的主要资产是其灵活性,它可以通过相同的工具对不同的现实世界数据源进行建模。除了单独观察到每个对象的一组属性的标准设置外,我们解释了如何在框架中实现表示整个对象系统的图表中的消息推断。为了支持我们的主张,我们使用框架解决了网络安全域的三个不同问题。第一种用例涉及来自原始网络观察结果的IoT设备识别。在第二个问题中,我们研究了如何使用以有向图表示的操作系统的快照可以对恶意二进制文件进行分类。最后提供的示例是通过网络中实体之间建模域黑名单扩展的任务。在所有三个问题中,基于建议的框架的解决方案可实现与专业方法相当的性能。
translated by 谷歌翻译
在病理样本的全坡度图像(WSI)中注释癌区域在临床诊断,生物医学研究和机器学习算法开发中起着至关重要的作用。但是,产生详尽而准确的注释是劳动密集型,具有挑战性和昂贵的。仅绘制粗略和近似注释是一项容易得多的任务,成本较小,并且可以减轻病理学家的工作量。在本文中,我们研究了在数字病理学中完善这些近似注释以获得更准确的问题的问题。以前的一些作品探索了从这些不准确的注释中获得机器学习模型,但是很少有人解决改进问题,在这些问题中,应该明确识别和纠正错误标签的区域,并且所有这些都需要大量的培训样本(通常很大) 。我们提出了一种名为标签清洁多个实例学习(LC-MIL)标签的方法,可在不需要外部培训数据的情况下对单个WSI进行粗略注释。从WSI裁剪的带有不准确标签的贴片在多个实例学习框架内共同处理,从而减轻了它们对预测模型的影响并完善分割。我们对具有乳腺癌淋巴结转移,肝癌和结直肠癌样品的异质WSI进行的实验表明,LC-MIL显着完善了粗糙的注释,即使从单个幻灯片中学习,LC-MIL也优于最先进的替代方案。此外,我们证明了拟议方法如何有效地完善和改进病理学家绘制的真实注释。所有这些结果表明,LC-MIL是一种有前途的,轻巧的工具,可提供从粗糙注释的病理组中提供细粒的注释。
translated by 谷歌翻译