动机：癌症是异质的，影响了个性化治疗的精确方法。准确的亚型可以导致癌症患者的生存率更好。高通量技术为癌症亚型提供了多个OMIC数据。但是，由于OMICS数据的大量和高维度，精确的癌症亚型仍然具有挑战性。结果：这项研究提出了基于MLP和变压器块的深度学习方法拟议的亚型形式，以提取多摩学数据的低维表示。 K-均值和共识聚类也用于获得准确的亚型结果。我们比较了TCGA 10癌症类型的其他最先进的亚型方法。我们发现，基于生存分析，亚型形式可以在5000多个肿瘤的基准数据集上表现更好。此外，亚型形式还取得了泛滥亚型的出色结果，这可以帮助分析分子水平上各种癌症类型的共同点和差异。最后，我们将亚型格式应用于TCGA 10类型的癌症。我们确定了50种基本生物标志物，可用于研究靶向癌症药物并促进精密医学时代的癌症治疗。

癌症存活预测对于开发个性化治疗和诱导疾病的机制很重要。多词数据的数据整合吸引了人们对癌症研究的广泛兴趣，以提供了解多个遗传水平的癌症进展的信息。然而，由于多派数据的高维和异质性，许多作品受到限制。在本文中，我们提出了一种新的方法，以整合癌症生存预测的多摩学数据，称为堆叠自动编码器的生存预测神经网络（SAESURV-NET）。在TCGA病例的癌症存活预测中，SaesURV-NET通过两阶段的降低策略来解决维数的诅咒，并使用堆叠的自动编码器模型处理多摩斯的异质性。两阶段的降低策略在计算复杂性和信息开发之间取得了平衡。堆叠的自动编码器模型删除了大多数异质性，例如第一组自动编码器中的数据类型和大小，并将多个OMICS数据集成在第二个自动编码器中。该实验表明，SAESURV-NET优于基于单一类型数据以及其他最先进方法的模型。

There exists unexplained diverse variation within the predefined colon cancer stages using only features either from genomics or histopathological whole slide images as prognostic factors. Unraveling this variation will bring about improved in staging and treatment outcome, hence motivated by the advancement of Deep Neural Network libraries and different structures and factors within some genomic dataset, we aggregate atypical patterns in histopathological images with diverse carcinogenic expression from mRNA, miRNA and DNA Methylation as an integrative input source into an ensemble deep neural network for colon cancer stages classification and samples stratification into low or high risk survival groups. The results of our Ensemble Deep Convolutional Neural Network model show an improved performance in stages classification on the integrated dataset. The fused input features return Area under curve Receiver Operating Characteristic curve (AUC ROC) of 0.95 compared with AUC ROC of 0.71 and 0.68 obtained when only genomics and images features are used for the stage's classification, respectively. Also, the extracted features were used to split the patients into low or high risk survival groups. Among the 2548 fused features, 1695 features showed a statistically significant survival probability differences between the two risk groups defined by the extracted features.

在本文中，我们提供了针对深度学习（DL）模型的结构化文献分析，该模型用于支持癌症生物学的推论，并特别强调了多词分析。这项工作着重于现有模型如何通过先验知识，生物学合理性和解释性，生物医学领域的基本特性来解决更好的对话。我们讨论了DL模型的最新进化拱门沿整合先前的生物关系和网络知识的方向，以支持更好的概括（例如途径或蛋白质 - 蛋白质相互作用网络）和解释性。这代表了向模型的基本功能转变，该模型可以整合机械和统计推断方面。我们讨论了在此类模型中整合域先验知识的代表性方法。该论文还为解释性和解释性的当代方法提供了关键的看法。该分析指向编码先验知识和改善解释性之间的融合方向。

高通量测序技术的最新进展使得可以提取多个特征，这些特征描绘了以不同和互补分子水平的患者样本。此类数据的产生导致了计算生物学方面的新挑战，这些挑战涉及捕获多个基因及其功能之间相互关系的高维和异质数据集的整合。由于它们的多功能性和学习复杂数据的合成潜在表示的能力，深度学习方法为整合多词数据提供了有希望的观点。这些方法导致了许多主要基于自动编码器模型的许多原始体系结构的概念。但是，由于任务的困难，集成策略是基本的，而不是失去全球趋势而充分利用来源的特殊性。本文提出了一种新型策略，以构建可自定义的自动编码器模型，该模型适应高维多源集成而言使用的数据集。我们将评估整合策略对潜在代表的影响，并结合提出一种新方法的最佳策略（https://github.com/hakimbenkirane/customics）。我们在这里关注来自多个OMIC来源的数据的集成，并证明了针对多个任务（例如分类和生存分析）的测试用例的拟议方法的性能。

最早的早期结肠直肠癌（CRC）患者可以单独通过手术治愈，只有某些高风险的早期CRC患者受益于佐剂化学疗法。然而，很少有验证的生物标志物可用于准确预测术后化疗的生存效果。我们开发了一种新的深度学习算法（CRCNET），使用来自分子和细胞肿瘤（MCO）的全滑动图像来预测II / III CRC中辅助化疗的存活效益。我们通过交叉验证和外部使用来自癌症基因组Atlas（TCGA）的独立队列的外部验证了CRCNet。我们表明，CRCNet不仅可以准确地预测生存预后，还可以进行佐剂化疗的治疗效果。 CRCNET鉴定了来自佐剂化疗的高危亚组益处，在化疗治疗的患者中，观察到辅助化疗最大而显着的存活率。相反，在CRCNET低和中风险亚组中观察到最小化疗益处。因此，CRCNET可能在阶段II / III CRC的指导治疗方面具有很大的用途。

组织病理学图像提供了癌症诊断的明确来源，其中包含病理学家用来识别和分类恶性疾病的信息，并指导治疗选择。这些图像包含大量信息，其中大部分目前不可用人类的解释。有监督的深度学习方法对于分类任务非常有力，但它们本质上受注释的成本和质量限制。因此，我们开发了组织形态表型学习，这是一种无监督的方法，它不需要注释，并且通过小图像瓷砖中的歧视性图像特征的自我发现进行操作。瓷砖分为形态上相似的簇，这些簇似乎代表了自然选择下出现的肿瘤生长的复发模式。这些簇具有不同的特征，可以使用正交方法识别。应用于肺癌组织，我们表明它们与患者的结局紧密保持一致，组织病理学识别的肿瘤类型和生长模式以及免疫表型的转录组度量。

Molecular and genomic properties are critical in selecting cancer treatments to target individual tumors, particularly for immunotherapy. However, the methods to assess such properties are expensive, time-consuming, and often not routinely performed. Applying machine learning to H&E images can provide a more cost-effective screening method. Dozens of studies over the last few years have demonstrated that a variety of molecular biomarkers can be predicted from H&E alone using the advancements of deep learning: molecular alterations, genomic subtypes, protein biomarkers, and even the presence of viruses. This article reviews the diverse applications across cancer types and the methodology to train and validate these models on whole slide images. From bottom-up to pathologist-driven to hybrid approaches, the leading trends include a variety of weakly supervised deep learning-based approaches, as well as mechanisms for training strongly supervised models in select situations. While results of these algorithms look promising, some challenges still persist, including small training sets, rigorous validation, and model explainability. Biomarker prediction models may yield a screening method to determine when to run molecular tests or an alternative when molecular tests are not possible. They also create new opportunities in quantifying intratumoral heterogeneity and predicting patient outcomes.

由于肿瘤的异质性，在个性化的基础上预测抗癌药物的临床结局在癌症治疗中具有挑战性。已经采取了传统的计算努力来建模药物反应对通过其分子概况描绘的单个样品的影响，但由于OMICS数据的高维度而发生过度拟合，因此阻碍了临床应用的模型。最近的研究表明，深度学习是通过学习药物和样品之间的学习对准模式来建立药物反应模型的一种有前途的方法。但是，现有研究采用了简单的特征融合策略，仅考虑了整个药物特征，同时忽略了在对齐药物和基因时可能起着至关重要的作用的亚基信息。特此在本文中，我们提出了TCR（基于变压器的癌症药物反应网络），以预测抗癌药物反应。通过利用注意机制，TCR能够在我们的研究中有效地学习药物原子/子结构和分子特征之间的相互作用。此外，设计了双重损耗函数和交叉抽样策略，以提高TCR的预测能力。我们表明，TCR在所有评估矩阵上（一些具有显着改进）的各种数据分裂策略下优于所有其他方法。广泛的实验表明，TCR在独立的体外实验和体内实际患者数据上显示出显着提高的概括能力。我们的研究强调了TCR的预测能力及其对癌症药物再利用和精度肿瘤治疗的潜在价值。

数据分析方法的组合，提高计算能力和改进的传感器可以实现定量颗粒状，基于细胞的分析。我们描述了与组织解释和调查AI方法有关的丰富应用挑战集，目前用于应对这些挑战。我们专注于一类针对性的人体组织分析 - 组织病理学 - 旨在定量表征疾病状态，患者结果预测和治疗转向。

This paper focuses on the task of survival time analysis for lung cancer. Although much progress has been made in this problem in recent years, the performance of existing methods is still far from satisfactory. Traditional and some deep learning-based survival time analyses for lung cancer are mostly based on textual clinical information such as staging, age, histology, etc. Unlike existing methods that predicting on the single modality, we observe that a human clinician usually takes multimodal data such as text clinical data and visual scans to estimate survival time. Motivated by this, in this work, we contribute a smart cross-modality network for survival analysis network named Lite-ProSENet that simulates a human's manner of decision making. Extensive experiments were conducted using data from 422 NSCLC patients from The Cancer Imaging Archive (TCIA). The results show that our Lite-ProSENet outperforms favorably again all comparison methods and achieves the new state of the art with the 89.3% on concordance. The code will be made publicly available.

目的：基于深度学习的放射素学（DLR）在医学图像分析中取得了巨大的成功，并被认为是依赖手工特征的常规放射线学的替代。在这项研究中，我们旨在探索DLR使用预处理PET/CT预测鼻咽癌（NPC）中5年无进展生存期（PFS）的能力。方法：总共招募了257名患者（内部/外部队列中的170/87），具有晚期NPC（TNM III期或IVA）。我们开发了一个端到端的多模式DLR模型，其中优化了3D卷积神经网络以从预处理PET/CT图像中提取深度特征，并预测了5年PFS的概率。作为高级临床特征，TNM阶段可以集成到我们的DLR模型中，以进一步提高预后性能。为了比较常规放射素学和DLR，提取了1456个手工制作的特征，并从54种特征选择方法和9种分类方法的54个交叉组合中选择了最佳常规放射线方法。此外，使用临床特征，常规放射线学签名和DLR签名进行风险组分层。结果：我们使用PET和CT的多模式DLR模型比最佳常规放射线方法获得了更高的预后性能。此外，多模式DLR模型仅使用PET或仅CT优于单模式DLR模型。对于风险组分层，常规的放射线学签名和DLR签名使内部和外部队列中的高风险患者群体之间有显着差异，而外部队列中的临床特征则失败。结论：我们的研究确定了高级NPC中生存预测的潜在预后工具，表明DLR可以为当前TNM分期提供互补值。

Covid-19严重程度是由于SARS-COV-2的并发症，但感染的临床过程因个体而异，强调需要更好地了解分子水平的疾病。我们使用从有和没有Covid-19的患者获得的临床和多个分子数据（或视图），他们（或不）被录取为重症监护病房，以阐明Covid-19严重程度。共同关联视图并分离Covid-19组的方法（即，一步法）专注于线性关系。然而，观点和Covid-19患者组之间的关系太复杂，无法通过线性方法来理解。现有的非线性一步法方法不能用于识别签名，以帮助我们了解疾病的复杂性。我们提出了深入的IDA（综合歧视分析）来解决我们兴趣问题的分析挑战。 Deep IDA学习两个或多个视图的非线性投影，从而最大限度地关联视图并在每个视图中分开类，并允许具有可解释的发现的特征排序。与其他最先进的方法相比，我们的申请表明，与其他最先进的方法相比，Deave IDA具有竞争性分类率，并且能够识别有助于了解Covid-19严重程度的分子签名。

监督的学习任务，例如GigaiPixel全幻灯片图像（WSIS）等癌症存活预测是计算病理学中的关键挑战，需要对肿瘤微环境的复杂特征进行建模。这些学习任务通常通过不明确捕获肿瘤内异质性的深层多企业学习（MIL）模型来解决。我们开发了一种新颖的差异池体系结构，使MIL模型能够将肿瘤内异质性纳入其预测中。说明了基于代表性补丁的两个可解释性工具，以探测这些模型捕获的生物学信号。一项针对癌症基因组图集的4,479吉普像素WSI的实证研究表明，在MIL框架上增加方差汇总可改善五种癌症类型的生存预测性能。

已经开发了几种深度学习算法，以使用整个幻灯片图像（WSIS）预测癌症患者的存活。但是，WSI中与患者的生存和疾病进展有关的WSI中的图像表型对临床医生而言都是困难的，以及深度学习算法。用于生存预测的大多数基于深度学习的多个实例学习（MIL）算法使用顶级实例（例如Maxpooling）或顶级/底部实例（例如，Mesonet）来识别图像表型。在这项研究中，我们假设WSI中斑块得分分布的全面信息可以更好地预测癌症的生存。我们开发了一种基于分布的多构度生存学习算法（DeepDismisl）来验证这一假设。我们使用两个大型国际大型癌症WSIS数据集设计和执行实验-MCO CRC和TCGA Coad -Read。我们的结果表明，有关WSI贴片分数的分布的信息越多，预测性能越好。包括每个选定分配位置（例如百分位数）周围的多个邻域实例可以进一步改善预测。与最近发表的最新算法相比，DeepDismisl具有优越的预测能力。此外，我们的算法是可以解释的，可以帮助理解癌症形态表型与癌症生存风险之间的关系。

成像生物标志物提供了一种无创的方法来预测治疗前免疫疗法的反应。在这项工作中，我们提出了一种从卷积神经网络（CNN）计算出的新型深度放射素特征（DRF），该特征捕获了与免疫细胞标记和整体生存有关的肿瘤特征。我们的研究使用四个MRI序列（T1加权，T1加权后对比，T2加权和FLAIR），并具有151例脑肿瘤患者的相应免疫细胞标记。该方法通过在MRI扫描的标记肿瘤区域内聚集了预训练的3D-CNN的激活图，从而提取了180个DRF。这些功能提供了编码组织异质性的区域纹理的紧凑而有力的表示。进行了一组全面的实验，以评估所提出的DRF和免疫细胞标记之间的关系，并衡量它们与整体生存的关联。结果表明，DRF和各种标记之间存在很高的相关性，以及根据这些标记分组的患者之间的显着差异。此外，将DRF，临床特征和免疫细胞标记组合为随机森林分类器的输入有助于区分短期和长期生存结果，AUC为72 \％，P = 2.36 $ \ times $ 10 $^{ - 5} $。这些结果证明了拟议的DRF作为非侵入性生物标志物在预测脑肿瘤患者的治疗反应中的有用性。

Learning good representation of giga-pixel level whole slide pathology images (WSI) for downstream tasks is critical. Previous studies employ multiple instance learning (MIL) to represent WSIs as bags of sampled patches because, for most occasions, only slide-level labels are available, and only a tiny region of the WSI is disease-positive area. However, WSI representation learning still remains an open problem due to: (1) patch sampling on a higher resolution may be incapable of depicting microenvironment information such as the relative position between the tumor cells and surrounding tissues, while patches at lower resolution lose the fine-grained detail; (2) extracting patches from giant WSI results in large bag size, which tremendously increases the computational cost. To solve the problems, this paper proposes a hierarchical-based multimodal transformer framework that learns a hierarchical mapping between pathology images and corresponding genes. Precisely, we randomly extract instant-level patch features from WSIs with different magnification. Then a co-attention mapping between imaging and genomics is learned to uncover the pairwise interaction and reduce the space complexity of imaging features. Such early fusion makes it computationally feasible to use MIL Transformer for the survival prediction task. Our architecture requires fewer GPU resources compared with benchmark methods while maintaining better WSI representation ability. We evaluate our approach on five cancer types from the Cancer Genome Atlas database and achieved an average c-index of $0.673$, outperforming the state-of-the-art multimodality methods.

生物医学网络是与疾病网络的蛋白质相互作用的普遍描述符，从蛋白质相互作用，一直到医疗保健系统和科学知识。随着代表学习提供强大的预测和洞察的显着成功，我们目睹了表现形式学习技术的快速扩展，进入了这些网络的建模，分析和学习。在这篇综述中，我们提出了一个观察到生物学和医学中的网络长期原则 - 而在机器学习研究中经常出口 - 可以为代表学习提供概念基础，解释其当前的成功和限制，并告知未来进步。我们综合了一系列算法方法，即在其核心利用图形拓扑到将网络嵌入到紧凑的向量空间中，并捕获表示陈述学习证明有用的方式的广度。深远的影响包括鉴定复杂性状的变异性，单细胞的异心行为及其对健康的影响，协助患者的诊断和治疗以及制定安全有效的药物。

生成的对抗网络（GAN）是在众多领域成功使用的一种强大的深度学习模型。它们属于一个称为生成方法的更广泛的家族，该家族通过从真实示例中学习样本分布来生成新数据。在临床背景下，与传统的生成方法相比，GAN在捕获空间复杂，非线性和潜在微妙的疾病作用方面表现出增强的能力。这篇综述评估了有关gan在各种神经系统疾病的成像研究中的应用的现有文献，包括阿尔茨海默氏病，脑肿瘤，脑老化和多发性硬化症。我们为每个应用程序提供了各种GAN方法的直观解释，并进一步讨论了在神经影像学中利用gans的主要挑战，开放问题以及有希望的未来方向。我们旨在通过强调如何利用gan来支持临床决策，并有助于更好地理解脑部疾病的结构和功能模式，从而弥合先进的深度学习方法和神经病学研究之间的差距。

包括机器学习在内的计算分析方法对基因组学和医学领域具有重大影响。高通量基因表达分析方法，例如微阵列技术和RNA测序产生大量数据。传统上，统计方法用于基因表达数据的比较分析。但是，针对样品观察分类或发现特征基因的分类的更复杂的分析需要复杂的计算方法。在这篇综述中，我们编译了用于分析表达微阵列数据的各种统计和计算工具。即使在表达微阵列的背景下讨论了这些方法，也可以将它们应用于RNA测序和定量蛋白质组学数据集的分析。我们讨论缺失价值的类型以及其插补中通常采用的方法和方法。我们还讨论了数据归一化，特征选择和特征提取的方法。最后，详细描述了分类和类发现方法及其评估参数。我们认为，这项详细的审查将帮助用户根据预期结果选择适当的方法来预处理和分析其数据。