当前在数字病理学中进行整个幻灯片图像（WSI）分类的方法主要利用两阶段的学习管道。第一阶段确定了感兴趣的区域（例如肿瘤组织），而第二阶段的过程以监督的方式从这些区域裁剪了瓷砖。在推断过程中，将大量瓷砖合并为整个幻灯片的统一预测。这种方法的一个主要缺点是对特定于任务的辅助标签的要求，这些标签未在临床常规中获得。我们提出了一条新的WSI分类学习管道，该管道是可训练的端到端，不需要任何辅助注释。我们采用我们的方法来预测许多不同用例的分子改变，包括检测结直肠肿瘤中的微卫星不稳定性以及对癌症基因组地图集的结肠，肺和乳腺癌病例的特异性突变的预测。结果的AUC得分高达94％，并且被证明与最先进的两阶段管道具有竞争力。我们认为，我们的方法可以促进未来的数字病理研究研究，并有助于解决癌症表型预测的大量问题，希望将来为更多患者提供个性化疗法。

肺癌治疗中有针对性疗法的标准诊断程序涉及组织学亚型和随后检测关键驱动因素突变，例如EGFR。即使分子分析可以发现驱动器突变，但该过程通常很昂贵且耗时。深度学习的图像分析为直接从整个幻灯片图像（WSIS）直接发现驱动器突变提供了一种更经济的替代方法。在这项工作中，我们使用具有弱监督的自定义深度学习管道来鉴定苏木精和曙红染色的WSI的EGFR突变的形态相关性，此外还可以检测到肿瘤和组织学亚型。我们通过对两个肺癌数据集进行严格的实验和消融研究来证明管道的有效性-TCGA和来自印度的私人数据集。通过管道，我们在肿瘤检测下达到了曲线（AUC）的平均面积（AUC），在TCGA数据集上的腺癌和鳞状细胞癌之间的组织学亚型为0.942。对于EGFR检测，我们在TCGA数据集上的平均AUC为0.864，印度数据集的平均AUC为0.783。我们的关键学习点包括以下内容。首先，如果要在目标数据集中微调特征提取器，则使用对组织学训练的特征提取器层没有特别的优势。其次，选择具有较高细胞的斑块，大概是捕获肿瘤区域，并不总是有帮助的，因为疾病类别的迹象可能存在于肿瘤 - 肿瘤的基质中。

肺癌是全球癌症死亡的主要原因，肺腺癌是最普遍的肺癌形式。 EGFR阳性肺腺癌已被证明对TKI治疗的反应率很高，这是肺癌分子测试的基本性质。尽管目前的指南考虑必要测试，但很大一部分患者并未常规化，导致数百万的人未接受最佳治疗肺癌。测序是EGFR突变分子测试的黄金标准，但是结果可能需要数周的时间才能回来，这在时间限制的情况下并不理想。能够快速，便宜地检测EGFR突变的替代筛查工具的开发，同时保存组织以进行测序可以帮助减少受比较治疗的患者的数量。我们提出了一种多模式方法，该方法将病理图像和临床变量整合在一起，以预测EGFR突变状态，迄今为止最大的临床队列中的AUC为84％。这样的计算模型可以以很少的额外成本进行大部分部署。它的临床应用可以减少中国接受亚最佳治疗的患者数量53.1％，在美国将高达96.6％的患者减少96.6％。

Molecular and genomic properties are critical in selecting cancer treatments to target individual tumors, particularly for immunotherapy. However, the methods to assess such properties are expensive, time-consuming, and often not routinely performed. Applying machine learning to H&E images can provide a more cost-effective screening method. Dozens of studies over the last few years have demonstrated that a variety of molecular biomarkers can be predicted from H&E alone using the advancements of deep learning: molecular alterations, genomic subtypes, protein biomarkers, and even the presence of viruses. This article reviews the diverse applications across cancer types and the methodology to train and validate these models on whole slide images. From bottom-up to pathologist-driven to hybrid approaches, the leading trends include a variety of weakly supervised deep learning-based approaches, as well as mechanisms for training strongly supervised models in select situations. While results of these algorithms look promising, some challenges still persist, including small training sets, rigorous validation, and model explainability. Biomarker prediction models may yield a screening method to determine when to run molecular tests or an alternative when molecular tests are not possible. They also create new opportunities in quantifying intratumoral heterogeneity and predicting patient outcomes.

经典的多个实例学习（MIL）方法通常基于实例之间的相同和独立的分布式假设，因此忽略了个人实体以外的潜在丰富的上下文信息。另一方面，已经提出了具有全球自我发场模块的变压器来对所有实例之间的相互依赖性进行建模。但是，在本文中，我们质疑：是否需要使用自我注意力进行全球关系建模，或者我们是否可以适当地将自我注意计算限制为大规模整个幻灯片图像（WSIS）中的本地制度？我们为MIL（LA-MIL）提出了一个通用的基于局部注意力图的变压器，通过在自适应局部任意大小的自适应局部方案中明确化情境化实例，从而引入了归纳偏见。此外，有效适应的损失函数使我们可以学习表达性WSI嵌入的方法，以进行多种生物标志物的联合分析。我们证明，LA-MIL实现了最新的胃肠癌预测，从而超过了重要生物标志物（例如微卫星不稳定性的结直肠癌）的现有模型。我们的发现表明，本地自我注意力足够模型与全球模块相同的依赖性。我们的LA-MIL实施可从https://github.com/agentdr1/la_mil获得。

肺癌是癌症相关死亡率的主要原因。尽管新技术（例如图像分割）对于改善检测和较早诊断至关重要，但治疗该疾病仍然存在重大挑战。特别是，尽管治愈性分辨率增加，但许多术后患者仍会出现复发性病变。因此，非常需要预后工具，可以更准确地预测患者复发的风险。在本文中，我们探讨了卷积神经网络（CNN）在术前计算机断层扫描（CT）图像中存在的分割和复发风险预测。首先，随着医学图像分割的最新进展扩展，剩余的U-NET用于本地化和表征每个结节。然后，确定的肿瘤将传递给第二个CNN进行复发风险预测。该系统的最终结果是通过随机的森林分类器产生的，该分类器合成具有临床属性的第二个网络的预测。分割阶段使用LIDC-IDRI数据集，并获得70.3％的骰子得分。复发风险阶段使用了国家癌症研究所的NLST数据集，并获得了73.0％的AUC。我们提出的框架表明，首先，自动结节分割方法可以概括地为各种多任务系统提供管道，其次，深度学习和图像处理具有改善当前预后工具的潜力。据我们所知，这是第一个完全自动化的细分和复发风险预测系统。

机器学习和深度学习方法对医学的计算机辅助预测成为必需的，在乳房X光检查领域也具有越来越多的应用。通常，这些算法训练，针对特定任务，例如，病变的分类或乳房X乳线图的病理学状态的预测。为了获得患者的综合视图，随后整合或组合所有针对同一任务培训的模型。在这项工作中，我们提出了一种管道方法，我们首先培训一组个人，任务特定的模型，随后调查其融合，与标准模型合并策略相反。我们使用混合患者模型的深度学习模型融合模型预测和高级功能，以在患者水平上构建更强的预测因子。为此，我们提出了一种多分支深度学习模型，其跨不同任务和乳房X光检查有效地融合了功能，以获得全面的患者级预测。我们在公共乳房X线摄影数据，即DDSM及其策划版本CBIS-DDSM上培训并评估我们的全部管道，并报告AUC评分为0.962，以预测任何病变和0.791的存在，以预测患者水平对恶性病变的存在。总体而言，与标准模型合并相比，我们的融合方法将显着提高AUC得分高达0.04。此外，通过提供与放射功能相关的特定于任务的模型结果，提供了与放射性特征相关的任务特定模型结果，我们的管道旨在密切支持放射科学家的阅读工作流程。

肾细胞癌（RCC）是一种常见的癌症，随着临床行为的变化。懒惰的RCC通常是低级的，没有坏死，可以在没有治疗的情况下监测。激进的RCC通常是高级的，如果未及时检测和治疗，可能会导致转移和死亡。虽然大多数肾脏癌在CT扫描中都检测到，但分级是基于侵入性活检或手术的组织学。确定对CT图像的侵略性在临床上很重要，因为它促进了风险分层和治疗计划。这项研究旨在使用机器学习方法来识别与病理学特征相关的放射学特征，以促进评估CT图像而不是组织学上的癌症侵略性。本文提出了一种新型的自动化方法，即按区域（Corrfabr）相关的特征聚集，用于通过利用放射学和相应的不对齐病理学图像之间的相关性来对透明细胞RCC进行分类。 CORRFABR由三个主要步骤组成：（1）特征聚集，其中从放射学和病理图像中提取区域级特征，（2）融合，放射学特征与病理特征相关的放射学特征在区域级别上学习，并且（3）在其中预测的地方学到的相关特征用于仅使用CT作为输入来区分侵略性和顽固的透明细胞RCC。因此，在训练过程中，Corrfabr从放射学和病理学图像中学习，但是在没有病理图像的情况下，Corrfabr将使用CORFABR将侵略性与顽固的透明细胞RCC区分开。 Corrfabr仅比放射学特征改善了分类性能，二进制分类F1分数从0.68（0.04）增加到0.73（0.03）。这证明了将病理疾病特征纳入CT图像上透明细胞RCC侵袭性的分类的潜力。

乳腺癌是女性最常见的恶性肿瘤，每年负责超过50万人死亡。因此，早期和准确的诊断至关重要。人类专业知识是诊断和正确分类乳腺癌并定义适当的治疗，这取决于评价不同生物标志物如跨膜蛋白受体HER2的表达。该评估需要几个步骤，包括免疫组织化学或原位杂交等特殊技术，以评估HER2状态。通过降低诊断中的步骤和人类偏差的次数的目标，赫洛挑战是组织的，作为第16届欧洲数字病理大会的并行事件，旨在自动化仅基于苏木精和曙红染色的HER2地位的评估侵袭性乳腺癌的组织样本。评估HER2状态的方法是在全球21个团队中提出的，并通过一些提议的方法实现了潜在的观点，以推进最先进的。

已经开发了用于预测结直肠癌（CRC）在内的临床相关生物标志物（包括微卫星不稳定性（MSI））的人工智能（AI）模型。但是，当前的深度学习网络是渴望数据的，需要大型培训数据集，这些数据集通常缺乏医疗领域。在这项研究中，基于最新的层次视觉变压器使用移位窗口（SWIN-T），我们开发了CRC中生物标志物的有效工作流程（MSI，超突击，染色体不稳定性，CPG岛甲基表型，BRAF和TP53突变）需要相对较小的数据集，但实现了最新的（SOTA）预测性能。我们的SWIN-T工作流不仅在使用TCGA-CRC-DX数据集（n = 462）的研究内交叉验证实验中大大优于已发表的模型（n = 462），而且在跨研究的外部验证中表现出极好的普遍性，并提供了SOTA AUROC使用MCO数据集进行训练（n = 1065）和相同的TCGA-CRC-DX进行测试。 Echle及其同事在同一测试数据集上使用8000个培训样本（RESNET18）实现了类似的性能（AUROC = 0.91）。 Swin-T使用小型训练数据集非常有效，并且仅使用200-500个培训样本展示出强大的预测性能。这些数据表明，Swin-T的效率可能是基于RESNET18和Shufflenet的MSI当前最新算法的效率5-10倍。此外，SWIN-T模型显示出有望作为MSI状态和BRAF突变状态的预筛查测试，可以在级联的诊断工作流程中排除和减少样品，以允许降低周转时间和节省成本。

由于缺乏注释的病理图像，转移学习是数字病理领域的主要方法。基于Imagenet数据库的Pre培训的神经网络通常用于提取“从架子”特征中，以预测组织类型实现巨大成功，分子特征和临床结果等。我们假设使用组织病理学图像进行微调的模型可以进一步改善特征提取，下游预测性能。我们使用了100,000个注释的他的结肠直肠癌（CRC）的图像斑块到FINetune通过TwoStep方法预先训练的Xcepion模型。通过：（1）来自CRC的图像的图像分类，从CRC的图像进行了比较了从FineTuned Xception（FTX2048）模型和图像预测（IMGNET2048）模型的特征; （2）预测免疫基因表达和（3）肺腺癌（Luad）基因突变.FiveFold交叉验证用于模型性能评估。来自FFTuned FTX2048的提取特征在于与基于Imagenet数据库的Xcepion直接从架子特征预测CRC的螺栓类型的螺栓类型的精度显着更高。特别是，FTX2048显着提高了87％至94％的基质的精度。类似地，来自FTX2048的特征促进了免疫烯丙基蛋白拉德转录组表达的预测。对于具有与图像诱导的脑状有关系的基因，特征FGROM FERUNED模型的预测是对大多数基因的预测。从FTX2048中携带灌注，改善了拉德中9个最常见的突变基因中的5个突变的预测。

组织病理学图像提供了癌症诊断的明确来源，其中包含病理学家用来识别和分类恶性疾病的信息，并指导治疗选择。这些图像包含大量信息，其中大部分目前不可用人类的解释。有监督的深度学习方法对于分类任务非常有力，但它们本质上受注释的成本和质量限制。因此，我们开发了组织形态表型学习，这是一种无监督的方法，它不需要注释，并且通过小图像瓷砖中的歧视性图像特征的自我发现进行操作。瓷砖分为形态上相似的簇，这些簇似乎代表了自然选择下出现的肿瘤生长的复发模式。这些簇具有不同的特征，可以使用正交方法识别。应用于肺癌组织，我们表明它们与患者的结局紧密保持一致，组织病理学识别的肿瘤类型和生长模式以及免疫表型的转录组度量。

准确的术中诊断对于在脑肿瘤手术期间提供安全有效的护理至关重要。我们的护理标准诊断方法是时间，资源和劳动密集型，限制了获得最佳手术治疗的机会。为了解决这些局限性，我们提出了一种替代工作流程，该工作流程结合了刺激的拉曼组织学（SRH），一种快速的光学成像方法，以及对SRH图像的深层自动解释，用于术中脑肿瘤诊断和实时手术决策支持。在这里，我们介绍了OpenSRH，这是来自300多名脑肿瘤患者和1300多个独特全幻灯片光学图像的第一个公共数据集。 OPENSRH包含来自最常见的脑肿瘤诊断，完整的病理注释，整个幻灯片肿瘤分割，原始和加工的光学成像数据的数据，用于端到端模型的开发和验证。我们为使用弱（即患者级）诊断标签的基于补丁的整个幻灯片分类和推断提供了一个框架。最后，我们基准了两项计算机视觉任务：多类组织学脑肿瘤分类和基于斑块的对比表示学习。我们希望OpenSRH能够促进快速光学成像和基于ML的手术决策支持的临床翻译，以提高精密医学时代的癌症手术的获取，安全性和功效。数据集访问，代码和基准可在opensrh.mlins.org上找到。

组织病理学图像包含丰富的表型信息和病理模式，这是疾病诊断的黄金标准，对于预测患者预后和治疗结果至关重要。近年来，在临床实践中迫切需要针对组织病理学图像的计算机自动化分析技术，而卷积神经网络代表的深度学习方法已逐渐成为数字病理领域的主流。但是，在该领域获得大量细粒的注释数据是一项非常昂贵且艰巨的任务，这阻碍了基于大量注释数据的传统监督算法的进一步开发。最新的研究开始从传统的监督范式中解放出来，最有代表性的研究是基于弱注释，基于有限的注释的半监督学习范式以及基于自我监督的学习范式的弱监督学习范式的研究图像表示学习。这些新方法引发了针对注释效率的新自动病理图像诊断和分析。通过对130篇论文的调查，我们对从技术和方法论的角度来看，对计算病理学领域中有关弱监督学习，半监督学习以及自我监督学习的最新研究进行了全面的系统综述。最后，我们提出了这些技术的关键挑战和未来趋势。

胰腺癌是与癌症相关死亡的全球主要原因之一。尽管深度学习在计算机辅助诊断和检测方法（CAD）方法中取得了成功，但很少关注胰腺癌的检测。我们提出了一种检测胰腺肿瘤的方法，该方法在周围的解剖结构中利用临床上的特征，从而更好地旨在利用放射科医生的知识，而不是其他常规的深度学习方法。为此，我们收集了一个新的数据集，该数据集由99例胰腺导管腺癌（PDAC）和97例没有胰腺肿瘤的对照病例组成。由于胰腺癌的生长模式，肿瘤可能总是可见为低音病变，因此，专家指的是二次外部特征的可见性，这些特征可能表明肿瘤的存在。我们提出了一种基于U-NET样深的CNN的方法，该方法利用以下外部次要特征：胰管，常见的胆管和胰腺以及处理后的CT扫描。使用这些功能，该模型如果存在胰腺肿瘤。这种用于分类和本地化方法的细分实现了99％的敏感性（一个案例）和99％的特异性，这比以前的最新方法的灵敏度增加了5％。与以前的PDAC检测方法相比，该模型还以合理的精度和较短的推理时间提供位置信息。这些结果提供了显着的性能改善，并强调了在开发新型CAD方法时纳入临床专家知识的重要性。

早期检测改善了胰腺导管腺癌（PDAC）中的预后，但挑战，因为病变通常很小，并且在对比增强的计算断层扫描扫描（CE-CT）上定义很差。深度学习可以促进PDAC诊断，但是当前模型仍然无法识别小（<2cm）病变。在这项研究中，最先进的深度学习模型用于开发用于PDAC检测的自动框架，专注于小病变。另外，研究了整合周围解剖学的影响。 CE-CT来自119个病理验证的PDAC患者的群组和123名没有PDAC患者的队列用于训练NNUNET用于自动病变检测和分割（\ TEXTIT {NNUNET \ _t}）。训练了两种额外的鼻塞，以研究解剖学积分的影响：（1）分割胰腺和肿瘤（\ yryit {nnunet \ _tp}），（2）分割胰腺，肿瘤和多周围的解剖结构（\ textit {nnunet \_多发性硬化症}）。外部可公开的测试集用于比较三个网络的性能。 \ Textit {nnunet \ _ms}实现了最佳性能，在整个测试集的接收器操作特性曲线下的区域为0.91，肿瘤的0.88 <2cm，显示最先进的深度学习可以检测到小型PDAC和解剖信息的好处。

数据分析方法的组合，提高计算能力和改进的传感器可以实现定量颗粒状，基于细胞的分析。我们描述了与组织解释和调查AI方法有关的丰富应用挑战集，目前用于应对这些挑战。我们专注于一类针对性的人体组织分析 - 组织病理学 - 旨在定量表征疾病状态，患者结果预测和治疗转向。

计算病理（CPATH）是一种具有关于组织病理研究的新兴领域，通过计算和分析组织载玻片的数字化高分辨率图像的处理算法。CPATH最近的深度学习的发展已经成功地利用了组织学图像中的原始像素数据的纯粹体积，以预测诊断域，预测，治疗敏感性和患者分层中的目标参数 - 覆盖新数据驱动的AI时代的承诺既组织病理学和肿瘤。使用作为燃料和作为发动机的燃料和AI的数据，CPATH算法准备好用于起飞和最终发射到临床和药物轨道中。在本文中，我们讨论了CPATH限制和相关挑战，使读者能够区分HIPE的希望，并为未来的研究提供指示，以克服这个崭露头角领域的一些主要挑战，以使其发射到两个轨道上。

由于形态的相似性，皮肤肿瘤的组织学切片分化为个体亚型可能具有挑战性。最近，基于深度学习的方法证明了它们在这方面支持病理学家的潜力。但是，这些监督算法中的许多都需要大量的注释数据才能进行稳健开发。我们提供了一个公开可用的数据集，该数据集是七个不同的犬皮肤肿瘤的350张全滑图像，其中有13种组织学类别的12,424个多边形注释，包括7种皮肤肿瘤亚型。在评估者间实验中，我们显示了提供的标签的高稠度，尤其是对于肿瘤注释。我们通过训练深层神经网络来进一步验证数据集，以完成组织分割和肿瘤亚型分类的任务。我们的肿瘤尤其是0.7047的类平均Jaccard系数为0.7047，尤其是0.9044。对于分类，我们达到了0.9857的幻灯片级准确性。由于犬皮肤肿瘤对人肿瘤具有各种组织学同源性，因此该数据集的附加值不限于兽医病理学，而是扩展到更一般的应用领域。

肿瘤浸润淋巴细胞（TIL）的定量已被证明是乳腺癌患者预后的独立预测因子。通常，病理学家对含有tils的基质区域的比例进行估计，以获得TILS评分。乳腺癌（Tiger）挑战中肿瘤浸润淋巴细胞旨在评估计算机生成的TILS评分的预后意义，以预测作为COX比例风险模型的一部分的存活率。在这一挑战中，作为Tiager团队，我们已经开发了一种算法，以将肿瘤与基质与基质进行第一部分，然后将肿瘤散装区域用于TILS检测。最后，我们使用这些输出来生成每种情况的TILS分数。在初步测试中，我们的方法达到了肿瘤 - 细胞瘤的加权骰子评分为0.791，而淋巴细胞检测的FROC得分为0.572。为了预测生存，我们的模型达到了0.719的C索引。这些结果在老虎挑战的初步测试排行榜中获得了第一名。