由于缺乏注释的病理图像，转移学习是数字病理领域的主要方法。基于Imagenet数据库的Pre培训的神经网络通常用于提取“从架子”特征中，以预测组织类型实现巨大成功，分子特征和临床结果等。我们假设使用组织病理学图像进行微调的模型可以进一步改善特征提取，下游预测性能。我们使用了100,000个注释的他的结肠直肠癌（CRC）的图像斑块到FINetune通过TwoStep方法预先训练的Xcepion模型。通过：（1）来自CRC的图像的图像分类，从CRC的图像进行了比较了从FineTuned Xception（FTX2048）模型和图像预测（IMGNET2048）模型的特征; （2）预测免疫基因表达和（3）肺腺癌（Luad）基因突变.FiveFold交叉验证用于模型性能评估。来自FFTuned FTX2048的提取特征在于与基于Imagenet数据库的Xcepion直接从架子特征预测CRC的螺栓类型的螺栓类型的精度显着更高。特别是，FTX2048显着提高了87％至94％的基质的精度。类似地，来自FTX2048的特征促进了免疫烯丙基蛋白拉德转录组表达的预测。对于具有与图像诱导的脑状有关系的基因，特征FGROM FERUNED模型的预测是对大多数基因的预测。从FTX2048中携带灌注，改善了拉德中9个最常见的突变基因中的5个突变的预测。

已经开发了几种深度学习算法，以使用整个幻灯片图像（WSIS）预测癌症患者的存活。但是，WSI中与患者的生存和疾病进展有关的WSI中的图像表型对临床医生而言都是困难的，以及深度学习算法。用于生存预测的大多数基于深度学习的多个实例学习（MIL）算法使用顶级实例（例如Maxpooling）或顶级/底部实例（例如，Mesonet）来识别图像表型。在这项研究中，我们假设WSI中斑块得分分布的全面信息可以更好地预测癌症的生存。我们开发了一种基于分布的多构度生存学习算法（DeepDismisl）来验证这一假设。我们使用两个大型国际大型癌症WSIS数据集设计和执行实验-MCO CRC和TCGA Coad -Read。我们的结果表明，有关WSI贴片分数的分布的信息越多，预测性能越好。包括每个选定分配位置（例如百分位数）周围的多个邻域实例可以进一步改善预测。与最近发表的最新算法相比，DeepDismisl具有优越的预测能力。此外，我们的算法是可以解释的，可以帮助理解癌症形态表型与癌症生存风险之间的关系。

数据分析方法的组合，提高计算能力和改进的传感器可以实现定量颗粒状，基于细胞的分析。我们描述了与组织解释和调查AI方法有关的丰富应用挑战集，目前用于应对这些挑战。我们专注于一类针对性的人体组织分析 - 组织病理学 - 旨在定量表征疾病状态，患者结果预测和治疗转向。

最早的早期结肠直肠癌（CRC）患者可以单独通过手术治愈，只有某些高风险的早期CRC患者受益于佐剂化学疗法。然而，很少有验证的生物标志物可用于准确预测术后化疗的生存效果。我们开发了一种新的深度学习算法（CRCNET），使用来自分子和细胞肿瘤（MCO）的全滑动图像来预测II / III CRC中辅助化疗的存活效益。我们通过交叉验证和外部使用来自癌症基因组Atlas（TCGA）的独立队列的外部验证了CRCNet。我们表明，CRCNet不仅可以准确地预测生存预后，还可以进行佐剂化疗的治疗效果。 CRCNET鉴定了来自佐剂化疗的高危亚组益处，在化疗治疗的患者中，观察到辅助化疗最大而显着的存活率。相反，在CRCNET低和中风险亚组中观察到最小化疗益处。因此，CRCNET可能在阶段II / III CRC的指导治疗方面具有很大的用途。

已经开发了用于预测结直肠癌（CRC）在内的临床相关生物标志物（包括微卫星不稳定性（MSI））的人工智能（AI）模型。但是，当前的深度学习网络是渴望数据的，需要大型培训数据集，这些数据集通常缺乏医疗领域。在这项研究中，基于最新的层次视觉变压器使用移位窗口（SWIN-T），我们开发了CRC中生物标志物的有效工作流程（MSI，超突击，染色体不稳定性，CPG岛甲基表型，BRAF和TP53突变）需要相对较小的数据集，但实现了最新的（SOTA）预测性能。我们的SWIN-T工作流不仅在使用TCGA-CRC-DX数据集（n = 462）的研究内交叉验证实验中大大优于已发表的模型（n = 462），而且在跨研究的外部验证中表现出极好的普遍性，并提供了SOTA AUROC使用MCO数据集进行训练（n = 1065）和相同的TCGA-CRC-DX进行测试。 Echle及其同事在同一测试数据集上使用8000个培训样本（RESNET18）实现了类似的性能（AUROC = 0.91）。 Swin-T使用小型训练数据集非常有效，并且仅使用200-500个培训样本展示出强大的预测性能。这些数据表明，Swin-T的效率可能是基于RESNET18和Shufflenet的MSI当前最新算法的效率5-10倍。此外，SWIN-T模型显示出有望作为MSI状态和BRAF突变状态的预筛查测试，可以在级联的诊断工作流程中排除和减少样品，以允许降低周转时间和节省成本。

Molecular and genomic properties are critical in selecting cancer treatments to target individual tumors, particularly for immunotherapy. However, the methods to assess such properties are expensive, time-consuming, and often not routinely performed. Applying machine learning to H&E images can provide a more cost-effective screening method. Dozens of studies over the last few years have demonstrated that a variety of molecular biomarkers can be predicted from H&E alone using the advancements of deep learning: molecular alterations, genomic subtypes, protein biomarkers, and even the presence of viruses. This article reviews the diverse applications across cancer types and the methodology to train and validate these models on whole slide images. From bottom-up to pathologist-driven to hybrid approaches, the leading trends include a variety of weakly supervised deep learning-based approaches, as well as mechanisms for training strongly supervised models in select situations. While results of these algorithms look promising, some challenges still persist, including small training sets, rigorous validation, and model explainability. Biomarker prediction models may yield a screening method to determine when to run molecular tests or an alternative when molecular tests are not possible. They also create new opportunities in quantifying intratumoral heterogeneity and predicting patient outcomes.

肺癌治疗中有针对性疗法的标准诊断程序涉及组织学亚型和随后检测关键驱动因素突变，例如EGFR。即使分子分析可以发现驱动器突变，但该过程通常很昂贵且耗时。深度学习的图像分析为直接从整个幻灯片图像（WSIS）直接发现驱动器突变提供了一种更经济的替代方法。在这项工作中，我们使用具有弱监督的自定义深度学习管道来鉴定苏木精和曙红染色的WSI的EGFR突变的形态相关性，此外还可以检测到肿瘤和组织学亚型。我们通过对两个肺癌数据集进行严格的实验和消融研究来证明管道的有效性-TCGA和来自印度的私人数据集。通过管道，我们在肿瘤检测下达到了曲线（AUC）的平均面积（AUC），在TCGA数据集上的腺癌和鳞状细胞癌之间的组织学亚型为0.942。对于EGFR检测，我们在TCGA数据集上的平均AUC为0.864，印度数据集的平均AUC为0.783。我们的关键学习点包括以下内容。首先，如果要在目标数据集中微调特征提取器，则使用对组织学训练的特征提取器层没有特别的优势。其次，选择具有较高细胞的斑块，大概是捕获肿瘤区域，并不总是有帮助的，因为疾病类别的迹象可能存在于肿瘤 - 肿瘤的基质中。

肺癌是全球癌症死亡的主要原因，肺腺癌是最普遍的肺癌形式。 EGFR阳性肺腺癌已被证明对TKI治疗的反应率很高，这是肺癌分子测试的基本性质。尽管目前的指南考虑必要测试，但很大一部分患者并未常规化，导致数百万的人未接受最佳治疗肺癌。测序是EGFR突变分子测试的黄金标准，但是结果可能需要数周的时间才能回来，这在时间限制的情况下并不理想。能够快速，便宜地检测EGFR突变的替代筛查工具的开发，同时保存组织以进行测序可以帮助减少受比较治疗的患者的数量。我们提出了一种多模式方法，该方法将病理图像和临床变量整合在一起，以预测EGFR突变状态，迄今为止最大的临床队列中的AUC为84％。这样的计算模型可以以很少的额外成本进行大部分部署。它的临床应用可以减少中国接受亚最佳治疗的患者数量53.1％，在美国将高达96.6％的患者减少96.6％。

乳腺癌是女性最常见的恶性肿瘤，每年负责超过50万人死亡。因此，早期和准确的诊断至关重要。人类专业知识是诊断和正确分类乳腺癌并定义适当的治疗，这取决于评价不同生物标志物如跨膜蛋白受体HER2的表达。该评估需要几个步骤，包括免疫组织化学或原位杂交等特殊技术，以评估HER2状态。通过降低诊断中的步骤和人类偏差的次数的目标，赫洛挑战是组织的，作为第16届欧洲数字病理大会的并行事件，旨在自动化仅基于苏木精和曙红染色的HER2地位的评估侵袭性乳腺癌的组织样本。评估HER2状态的方法是在全球21个团队中提出的，并通过一些提议的方法实现了潜在的观点，以推进最先进的。

当前在数字病理学中进行整个幻灯片图像（WSI）分类的方法主要利用两阶段的学习管道。第一阶段确定了感兴趣的区域（例如肿瘤组织），而第二阶段的过程以监督的方式从这些区域裁剪了瓷砖。在推断过程中，将大量瓷砖合并为整个幻灯片的统一预测。这种方法的一个主要缺点是对特定于任务的辅助标签的要求，这些标签未在临床常规中获得。我们提出了一条新的WSI分类学习管道，该管道是可训练的端到端，不需要任何辅助注释。我们采用我们的方法来预测许多不同用例的分子改变，包括检测结直肠肿瘤中的微卫星不稳定性以及对癌症基因组地图集的结肠，肺和乳腺癌病例的特异性突变的预测。结果的AUC得分高达94％，并且被证明与最先进的两阶段管道具有竞争力。我们认为，我们的方法可以促进未来的数字病理研究研究，并有助于解决癌症表型预测的大量问题，希望将来为更多患者提供个性化疗法。

癌症是人体内部异常细胞的无法控制的细胞分裂，可以蔓延到其他身体器官。它是非传染性疾病（NCDS）和NCDS之一，占全世界总死亡人数的71％，而肺癌是女性乳腺癌后第二次诊断的癌症。肺癌的癌症生存率仅为19％。有各种方法用于诊断肺癌，如X射线，CT扫描，PET-CT扫描，支气管镜检查和活组织检查。然而，为了了解基于组织型H和E染色的肺癌亚型，广泛使用，其中染色在从活组织检查中吸入的组织上进行。研究报道，组织学类型与肺癌预后和治疗相关。因此，早期和准确地检测肺癌组织学是一种迫切需要，并且由于其治疗取决于疾病的组织学，分子曲线和阶段的类型，最重要的是分析肺癌的组织病理学图像。因此，为了加快肺癌诊断的重要过程，减少病理学家的负担，使用深层学习技术。这些技术表明了在分析癌症组织病变幻灯片的分析中提高了疗效。几项研究报告说，卷积神经网络（CNN）在脑，皮肤，乳腺癌，肺癌等各种癌症类型的组织病理学图片的分类中的重要性。在本研究中，通过使用Reset50，VGG-19，Inception_Resnet_V2和DenSenet进行特征提取和三重态丢失来引导CNN以引导CNN，以引导CNN，以引导CNN使得其增加群集间距离并减少集群内距离。

转移学习使我们能够利用从一项任务中获得的知识来协助解决另一个或相关任务。在现代计算机视觉研究中，问题是哪个架构对给定的数据集更好地表现更好。在本文中，我们将14种预先训练的Imagenet模型的性能进行比较在组织病理学癌症检测数据集上，其中每个模型都被配置为天真的模型，特征提取器模型或微调模型。DENSENET161已被证明具有高精度，而RESET101具有高召回。适用于后续检查成本高的高精度模型，而低精度，但在后续检查成本低时，可以使用高召回/灵敏度模型。结果还表明，转移学习有助于更快地收敛模型。

乳腺癌是女性可能发生的最严重的癌症之一。通过分析组织学图像（HIS）来自动诊断乳腺癌对患者及其预后很重要。他的分类为临床医生提供了对疾病的准确了解，并使他们可以更有效地治疗患者。深度学习（DL）方法已成功地用于各种领域，尤其是医学成像，因为它们有能力自动提取功能。这项研究旨在使用他的乳腺癌对不同类型的乳腺癌进行分类。在这项研究中，我们提出了一个增强的胶囊网络，该网络使用RES2NET块和四个额外的卷积层提取多尺度特征。此外，由于使用了小的卷积内核和RES2NET块，因此所提出的方法具有较少的参数。结果，新方法的表现优于旧方法，因为它会自动学习最佳功能。测试结果表明该模型的表现优于先前的DL方法。

Learning good representation of giga-pixel level whole slide pathology images (WSI) for downstream tasks is critical. Previous studies employ multiple instance learning (MIL) to represent WSIs as bags of sampled patches because, for most occasions, only slide-level labels are available, and only a tiny region of the WSI is disease-positive area. However, WSI representation learning still remains an open problem due to: (1) patch sampling on a higher resolution may be incapable of depicting microenvironment information such as the relative position between the tumor cells and surrounding tissues, while patches at lower resolution lose the fine-grained detail; (2) extracting patches from giant WSI results in large bag size, which tremendously increases the computational cost. To solve the problems, this paper proposes a hierarchical-based multimodal transformer framework that learns a hierarchical mapping between pathology images and corresponding genes. Precisely, we randomly extract instant-level patch features from WSIs with different magnification. Then a co-attention mapping between imaging and genomics is learned to uncover the pairwise interaction and reduce the space complexity of imaging features. Such early fusion makes it computationally feasible to use MIL Transformer for the survival prediction task. Our architecture requires fewer GPU resources compared with benchmark methods while maintaining better WSI representation ability. We evaluate our approach on five cancer types from the Cancer Genome Atlas database and achieved an average c-index of $0.673$, outperforming the state-of-the-art multimodality methods.

组织病理学图像包含丰富的表型信息和病理模式，这是疾病诊断的黄金标准，对于预测患者预后和治疗结果至关重要。近年来，在临床实践中迫切需要针对组织病理学图像的计算机自动化分析技术，而卷积神经网络代表的深度学习方法已逐渐成为数字病理领域的主流。但是，在该领域获得大量细粒的注释数据是一项非常昂贵且艰巨的任务，这阻碍了基于大量注释数据的传统监督算法的进一步开发。最新的研究开始从传统的监督范式中解放出来，最有代表性的研究是基于弱注释，基于有限的注释的半监督学习范式以及基于自我监督的学习范式的弱监督学习范式的研究图像表示学习。这些新方法引发了针对注释效率的新自动病理图像诊断和分析。通过对130篇论文的调查，我们对从技术和方法论的角度来看，对计算病理学领域中有关弱监督学习，半监督学习以及自我监督学习的最新研究进行了全面的系统综述。最后，我们提出了这些技术的关键挑战和未来趋势。

背景：宫颈癌严重影响了女性生殖系统的健康。光学相干断层扫描（OCT）作为宫颈疾病检测的非侵入性，高分辨率成像技术。然而，OCT图像注释是知识密集型和耗时的，这阻碍了基于深度学习的分类模型的培训过程。目的：本研究旨在基于自我监督学习，开发一种计算机辅助诊断（CADX）方法来对体内宫颈OCT图像进行分类。方法：除了由卷积神经网络（CNN）提取的高电平语义特征外，建议的CADX方法利用了通过对比纹理学习来利用未标记的宫颈OCT图像的纹理特征。我们在中国733名患者的多中心临床研究中对OCT图像数据集进行了十倍的交叉验证。结果：在用于检测高风险疾病的二元分类任务中，包括高级鳞状上皮病变和宫颈癌，我们的方法实现了0.9798加号或减去0.0157的面积曲线值，灵敏度为91.17加或对于OCT图像贴片，减去4.99％，特异性为93.96加仑或减去4.72％;此外，它在测试集上的四位医学专家中表现出两种。此外，我们的方法在使用交叉形阈值投票策略的118名中国患者中达到了91.53％的敏感性和97.37％的特异性。结论：所提出的基于对比 - 学习的CADX方法表现优于端到端的CNN模型，并基于纹理特征提供更好的可解释性，其在“见和治疗”的临床协议中具有很大的潜力。

计算机辅助诊断数字病理学正在变得普遍存在，因为它可以提供更有效和客观的医疗保健诊断。最近的进展表明，卷积神经网络（CNN）架构是一种完善的深度学习范式，可用于设计一种用于乳腺癌检测的计算机辅助诊断（CAD）系统。然而，探索了污染变异性因污染变异性和染色常规化的影响，尚未得到很好的挑战。此外，对于高吞吐量筛选可能是重要的网络模型的性能分析，这也不适用于高吞吐量筛查，也不熟悉。要解决这一挑战，我们考虑了一些当代CNN模型，用于涉及（1）的乳房组织病理学图像的二进制分类。使用基于自适应颜色解卷积（ACD）的颜色归一化算法来处理污染归一化图像的数据以处理染色变量; （2）应用基于转移学习的一些可动性更高效的CNN模型的培训，即视觉几何组网络（VGG16），MobileNet和效率网络。我们在公开的Brankhis数据集上验证了培训的CNN网络，适用于200倍和400x放大的组织病理学图像。实验分析表明，大多数情况下预染额网络在数据增强乳房组织病理学图像中产生更好的质量，而不是污染归一化的情况。此外，我们使用污染标准化图像评估了流行轻量级网络的性能和效率，并发现在测试精度和F1分数方面，高效网络优于VGG16和MOBILENET。我们观察到在测试时间方面的效率比其他网络更好; vgg net，mobilenet，在分类准确性下没有太大降低。

Attention-based multiple instance learning (AMIL) algorithms have proven to be successful in utilizing gigapixel whole-slide images (WSIs) for a variety of different computational pathology tasks such as outcome prediction and cancer subtyping problems. We extended an AMIL approach to the task of survival prediction by utilizing the classical Cox partial likelihood as a loss function, converting the AMIL model into a nonlinear proportional hazards model. We applied the model to tissue microarray (TMA) slides of 330 lung cancer patients. The results show that AMIL approaches can handle very small amounts of tissue from a TMA and reach similar C-index performance compared to established survival prediction methods trained with highly discriminative clinical factors such as age, cancer grade, and cancer stage

准确的术中诊断对于在脑肿瘤手术期间提供安全有效的护理至关重要。我们的护理标准诊断方法是时间，资源和劳动密集型，限制了获得最佳手术治疗的机会。为了解决这些局限性，我们提出了一种替代工作流程，该工作流程结合了刺激的拉曼组织学（SRH），一种快速的光学成像方法，以及对SRH图像的深层自动解释，用于术中脑肿瘤诊断和实时手术决策支持。在这里，我们介绍了OpenSRH，这是来自300多名脑肿瘤患者和1300多个独特全幻灯片光学图像的第一个公共数据集。 OPENSRH包含来自最常见的脑肿瘤诊断，完整的病理注释，整个幻灯片肿瘤分割，原始和加工的光学成像数据的数据，用于端到端模型的开发和验证。我们为使用弱（即患者级）诊断标签的基于补丁的整个幻灯片分类和推断提供了一个框架。最后，我们基准了两项计算机视觉任务：多类组织学脑肿瘤分类和基于斑块的对比表示学习。我们希望OpenSRH能够促进快速光学成像和基于ML的手术决策支持的临床翻译，以提高精密医学时代的癌症手术的获取，安全性和功效。数据集访问，代码和基准可在opensrh.mlins.org上找到。

乳腺癌是全球女性中最常见的癌症。乳腺癌的早期诊断可以显着提高治疗效率。由于其可靠性，准确性和负担能力，计算机辅助诊断（CAD）系统被广泛采用。乳腺癌诊断有不同的成像技术。本文使用的最准确的是组织病理学。深度传输学习被用作提议的CAD系统功能提取器的主要思想。尽管在这项研究中已经测试了16个不同的预训练网络，但我们的主要重点是分类阶段。在所有测试的CNN中，具有剩余网络既有剩余网络既有剩余和启动网络的启发能力，均显示出最佳的特征提取能力。在分类阶段，Catboost，XGBOOST和LIGHTGBM的合奏提供了最佳的平均精度。 Breakhis数据集用于评估所提出的方法。 Breakhis在四个放大因素中包含7909个组织病理学图像（2,480个良性和5,429个恶性）。提出的方法的准确性（IRV2-CXL）使用70％的Breakhis数据集作为40倍，100X，200X和400X放大倍率的训练数据分别为96.82％，95.84％，97.01％和96.15％。大多数关于自动乳腺癌检测的研究都集中在特征提取上，这使我们参加了分类阶段。 IRV2-CXL由于使用软投票集合方法而显示出更好或可比较的结果，该合奏方法可以将Catboost，XGBoost和LightGBM的优势结合在一起。