肺癌是全球癌症死亡的主要原因，肺腺癌是最普遍的肺癌形式。 EGFR阳性肺腺癌已被证明对TKI治疗的反应率很高，这是肺癌分子测试的基本性质。尽管目前的指南考虑必要测试，但很大一部分患者并未常规化，导致数百万的人未接受最佳治疗肺癌。测序是EGFR突变分子测试的黄金标准，但是结果可能需要数周的时间才能回来，这在时间限制的情况下并不理想。能够快速，便宜地检测EGFR突变的替代筛查工具的开发，同时保存组织以进行测序可以帮助减少受比较治疗的患者的数量。我们提出了一种多模式方法，该方法将病理图像和临床变量整合在一起，以预测EGFR突变状态，迄今为止最大的临床队列中的AUC为84％。这样的计算模型可以以很少的额外成本进行大部分部署。它的临床应用可以减少中国接受亚最佳治疗的患者数量53.1％，在美国将高达96.6％的患者减少96.6％。

Molecular and genomic properties are critical in selecting cancer treatments to target individual tumors, particularly for immunotherapy. However, the methods to assess such properties are expensive, time-consuming, and often not routinely performed. Applying machine learning to H&E images can provide a more cost-effective screening method. Dozens of studies over the last few years have demonstrated that a variety of molecular biomarkers can be predicted from H&E alone using the advancements of deep learning: molecular alterations, genomic subtypes, protein biomarkers, and even the presence of viruses. This article reviews the diverse applications across cancer types and the methodology to train and validate these models on whole slide images. From bottom-up to pathologist-driven to hybrid approaches, the leading trends include a variety of weakly supervised deep learning-based approaches, as well as mechanisms for training strongly supervised models in select situations. While results of these algorithms look promising, some challenges still persist, including small training sets, rigorous validation, and model explainability. Biomarker prediction models may yield a screening method to determine when to run molecular tests or an alternative when molecular tests are not possible. They also create new opportunities in quantifying intratumoral heterogeneity and predicting patient outcomes.

计算病理（CPATH）是一种具有关于组织病理研究的新兴领域，通过计算和分析组织载玻片的数字化高分辨率图像的处理算法。CPATH最近的深度学习的发展已经成功地利用了组织学图像中的原始像素数据的纯粹体积，以预测诊断域，预测，治疗敏感性和患者分层中的目标参数 - 覆盖新数据驱动的AI时代的承诺既组织病理学和肿瘤。使用作为燃料和作为发动机的燃料和AI的数据，CPATH算法准备好用于起飞和最终发射到临床和药物轨道中。在本文中，我们讨论了CPATH限制和相关挑战，使读者能够区分HIPE的希望，并为未来的研究提供指示，以克服这个崭露头角领域的一些主要挑战，以使其发射到两个轨道上。

人工智能（AI）技术具有重要潜力，可以实现有效，鲁棒和自动的图像表型，包括识别细微图案。基于AI的检测搜索图像空间基于模式和特征来找到兴趣区域。存在一种良性的肿瘤组织学，可以通过使用图像特征的基于AI的分类方法来识别。图像从图像中提取可用于的可覆盖方式，可以通过显式（手工/工程化）和深度辐射谱系框架来探索途径。辐射瘤分析有可能用作非侵入性技术，以准确表征肿瘤，以改善诊断和治疗监测。这项工作介绍基于AI的技术，专注于肿瘤宠物和PET / CT成像，用于不同的检测，分类和预测/预测任务。我们还讨论了所需的努力，使AI技术转换为常规临床工作流程，以及潜在的改进和互补技术，例如在电子健康记录和神经象征性AI技术上使用自然语言处理。

乳腺癌是女性最常见的恶性肿瘤，每年负责超过50万人死亡。因此，早期和准确的诊断至关重要。人类专业知识是诊断和正确分类乳腺癌并定义适当的治疗，这取决于评价不同生物标志物如跨膜蛋白受体HER2的表达。该评估需要几个步骤，包括免疫组织化学或原位杂交等特殊技术，以评估HER2状态。通过降低诊断中的步骤和人类偏差的次数的目标，赫洛挑战是组织的，作为第16届欧洲数字病理大会的并行事件，旨在自动化仅基于苏木精和曙红染色的HER2地位的评估侵袭性乳腺癌的组织样本。评估HER2状态的方法是在全球21个团队中提出的，并通过一些提议的方法实现了潜在的观点，以推进最先进的。

本文提出了第二版的头部和颈部肿瘤（Hecktor）挑战的概述，作为第24届医学图像计算和计算机辅助干预（Miccai）2021的卫星活动。挑战由三个任务组成与患有头颈癌（H＆N）的患者的PET / CT图像的自动分析有关，专注于oropharynx地区。任务1是FDG-PET / CT图像中H＆N主肿瘤肿瘤体积（GTVT）的自动分割。任务2是来自同一FDG-PET / CT的进展自由生存（PFS）的自动预测。最后，任务3与任务2的任务2与参与者提供的地面真理GTVT注释相同。这些数据从六个中心收集，总共325个图像，分为224个培训和101个测试用例。通过103个注册团队和448个结果提交的重要参与，突出了对挑战的兴趣。在第一任务中获得0.7591的骰子相似度系数（DSC），分别在任务2和3中的0.7196和0.6978的一致性指数（C-Index）。在所有任务中，发现这种方法的简单性是确保泛化性能的关键。 PFS预测性能在任务2和3中的比较表明，提供GTVT轮廓对于实现最佳结果，这表明可以使用完全自动方法。这可能避免了对GTVT轮廓的需求，用于可重复和大规模的辐射瘤研究的开头途径，包括千元潜在的受试者。

当前在数字病理学中进行整个幻灯片图像（WSI）分类的方法主要利用两阶段的学习管道。第一阶段确定了感兴趣的区域（例如肿瘤组织），而第二阶段的过程以监督的方式从这些区域裁剪了瓷砖。在推断过程中，将大量瓷砖合并为整个幻灯片的统一预测。这种方法的一个主要缺点是对特定于任务的辅助标签的要求，这些标签未在临床常规中获得。我们提出了一条新的WSI分类学习管道，该管道是可训练的端到端，不需要任何辅助注释。我们采用我们的方法来预测许多不同用例的分子改变，包括检测结直肠肿瘤中的微卫星不稳定性以及对癌症基因组地图集的结肠，肺和乳腺癌病例的特异性突变的预测。结果的AUC得分高达94％，并且被证明与最先进的两阶段管道具有竞争力。我们认为，我们的方法可以促进未来的数字病理研究研究，并有助于解决癌症表型预测的大量问题，希望将来为更多患者提供个性化疗法。

组织病理学图像提供了癌症诊断的明确来源，其中包含病理学家用来识别和分类恶性疾病的信息，并指导治疗选择。这些图像包含大量信息，其中大部分目前不可用人类的解释。有监督的深度学习方法对于分类任务非常有力，但它们本质上受注释的成本和质量限制。因此，我们开发了组织形态表型学习，这是一种无监督的方法，它不需要注释，并且通过小图像瓷砖中的歧视性图像特征的自我发现进行操作。瓷砖分为形态上相似的簇，这些簇似乎代表了自然选择下出现的肿瘤生长的复发模式。这些簇具有不同的特征，可以使用正交方法识别。应用于肺癌组织，我们表明它们与患者的结局紧密保持一致，组织病理学识别的肿瘤类型和生长模式以及免疫表型的转录组度量。

肺癌治疗中有针对性疗法的标准诊断程序涉及组织学亚型和随后检测关键驱动因素突变，例如EGFR。即使分子分析可以发现驱动器突变，但该过程通常很昂贵且耗时。深度学习的图像分析为直接从整个幻灯片图像（WSIS）直接发现驱动器突变提供了一种更经济的替代方法。在这项工作中，我们使用具有弱监督的自定义深度学习管道来鉴定苏木精和曙红染色的WSI的EGFR突变的形态相关性，此外还可以检测到肿瘤和组织学亚型。我们通过对两个肺癌数据集进行严格的实验和消融研究来证明管道的有效性-TCGA和来自印度的私人数据集。通过管道，我们在肿瘤检测下达到了曲线（AUC）的平均面积（AUC），在TCGA数据集上的腺癌和鳞状细胞癌之间的组织学亚型为0.942。对于EGFR检测，我们在TCGA数据集上的平均AUC为0.864，印度数据集的平均AUC为0.783。我们的关键学习点包括以下内容。首先，如果要在目标数据集中微调特征提取器，则使用对组织学训练的特征提取器层没有特别的优势。其次，选择具有较高细胞的斑块，大概是捕获肿瘤区域，并不总是有帮助的，因为疾病类别的迹象可能存在于肿瘤 - 肿瘤的基质中。

数据分析方法的组合，提高计算能力和改进的传感器可以实现定量颗粒状，基于细胞的分析。我们描述了与组织解释和调查AI方法有关的丰富应用挑战集，目前用于应对这些挑战。我们专注于一类针对性的人体组织分析 - 组织病理学 - 旨在定量表征疾病状态，患者结果预测和治疗转向。

目的：基于深度学习的放射素学（DLR）在医学图像分析中取得了巨大的成功，并被认为是依赖手工特征的常规放射线学的替代。在这项研究中，我们旨在探索DLR使用预处理PET/CT预测鼻咽癌（NPC）中5年无进展生存期（PFS）的能力。方法：总共招募了257名患者（内部/外部队列中的170/87），具有晚期NPC（TNM III期或IVA）。我们开发了一个端到端的多模式DLR模型，其中优化了3D卷积神经网络以从预处理PET/CT图像中提取深度特征，并预测了5年PFS的概率。作为高级临床特征，TNM阶段可以集成到我们的DLR模型中，以进一步提高预后性能。为了比较常规放射素学和DLR，提取了1456个手工制作的特征，并从54种特征选择方法和9种分类方法的54个交叉组合中选择了最佳常规放射线方法。此外，使用临床特征，常规放射线学签名和DLR签名进行风险组分层。结果：我们使用PET和CT的多模式DLR模型比最佳常规放射线方法获得了更高的预后性能。此外，多模式DLR模型仅使用PET或仅CT优于单模式DLR模型。对于风险组分层，常规的放射线学签名和DLR签名使内部和外部队列中的高风险患者群体之间有显着差异，而外部队列中的临床特征则失败。结论：我们的研究确定了高级NPC中生存预测的潜在预后工具，表明DLR可以为当前TNM分期提供互补值。

已经开发了用于预测结直肠癌（CRC）在内的临床相关生物标志物（包括微卫星不稳定性（MSI））的人工智能（AI）模型。但是，当前的深度学习网络是渴望数据的，需要大型培训数据集，这些数据集通常缺乏医疗领域。在这项研究中，基于最新的层次视觉变压器使用移位窗口（SWIN-T），我们开发了CRC中生物标志物的有效工作流程（MSI，超突击，染色体不稳定性，CPG岛甲基表型，BRAF和TP53突变）需要相对较小的数据集，但实现了最新的（SOTA）预测性能。我们的SWIN-T工作流不仅在使用TCGA-CRC-DX数据集（n = 462）的研究内交叉验证实验中大大优于已发表的模型（n = 462），而且在跨研究的外部验证中表现出极好的普遍性，并提供了SOTA AUROC使用MCO数据集进行训练（n = 1065）和相同的TCGA-CRC-DX进行测试。 Echle及其同事在同一测试数据集上使用8000个培训样本（RESNET18）实现了类似的性能（AUROC = 0.91）。 Swin-T使用小型训练数据集非常有效，并且仅使用200-500个培训样本展示出强大的预测性能。这些数据表明，Swin-T的效率可能是基于RESNET18和Shufflenet的MSI当前最新算法的效率5-10倍。此外，SWIN-T模型显示出有望作为MSI状态和BRAF突变状态的预筛查测试，可以在级联的诊断工作流程中排除和减少样品，以允许降低周转时间和节省成本。

计算机辅助方法为诊断和预测脑疾病显示了附加的价值，因此可以支持临床护理和治疗计划中的决策。本章将洞悉方法的类型，其工作，输入数据（例如认知测试，成像和遗传数据）及其提供的输出类型。我们将专注于诊断的特定用例，即估计患者的当前“状况”，例如痴呆症的早期检测和诊断，对脑肿瘤的鉴别诊断以及中风的决策。关于预测，即对患者的未来“状况”的估计，我们将缩小用例，例如预测多发性硬化症中的疾病病程，并预测脑癌治疗后患者的结局。此外，根据这些用例，我们将评估当前的最新方法，并强调当前对这些方法进行基准测试的努力以及其中的开放科学的重要性。最后，我们评估了计算机辅助方法的当前临床影响，并讨论了增加临床影响所需的下一步。

Pneumonia, a respiratory infection brought on by bacteria or viruses, affects a large number of people, especially in developing and impoverished countries where high levels of pollution, unclean living conditions, and overcrowding are frequently observed, along with insufficient medical infrastructure. Pleural effusion, a condition in which fluids fill the lung and complicate breathing, is brought on by pneumonia. Early detection of pneumonia is essential for ensuring curative care and boosting survival rates. The approach most usually used to diagnose pneumonia is chest X-ray imaging. The purpose of this work is to develop a method for the automatic diagnosis of bacterial and viral pneumonia in digital x-ray pictures. This article first presents the authors' technique, and then gives a comprehensive report on recent developments in the field of reliable diagnosis of pneumonia. In this study, here tuned a state-of-the-art deep convolutional neural network to classify plant diseases based on images and tested its performance. Deep learning architecture is compared empirically. VGG19, ResNet with 152v2, Resnext101, Seresnet152, Mobilenettv2, and DenseNet with 201 layers are among the architectures tested. Experiment data consists of two groups, sick and healthy X-ray pictures. To take appropriate action against plant diseases as soon as possible, rapid disease identification models are preferred. DenseNet201 has shown no overfitting or performance degradation in our experiments, and its accuracy tends to increase as the number of epochs increases. Further, DenseNet201 achieves state-of-the-art performance with a significantly a smaller number of parameters and within a reasonable computing time. This architecture outperforms the competition in terms of testing accuracy, scoring 95%. Each architecture was trained using Keras, using Theano as the backend.

肺癌是癌症相关死亡率的主要原因。尽管新技术（例如图像分割）对于改善检测和较早诊断至关重要，但治疗该疾病仍然存在重大挑战。特别是，尽管治愈性分辨率增加，但许多术后患者仍会出现复发性病变。因此，非常需要预后工具，可以更准确地预测患者复发的风险。在本文中，我们探讨了卷积神经网络（CNN）在术前计算机断层扫描（CT）图像中存在的分割和复发风险预测。首先，随着医学图像分割的最新进展扩展，剩余的U-NET用于本地化和表征每个结节。然后，确定的肿瘤将传递给第二个CNN进行复发风险预测。该系统的最终结果是通过随机的森林分类器产生的，该分类器合成具有临床属性的第二个网络的预测。分割阶段使用LIDC-IDRI数据集，并获得70.3％的骰子得分。复发风险阶段使用了国家癌症研究所的NLST数据集，并获得了73.0％的AUC。我们提出的框架表明，首先，自动结节分割方法可以概括地为各种多任务系统提供管道，其次，深度学习和图像处理具有改善当前预后工具的潜力。据我们所知，这是第一个完全自动化的细分和复发风险预测系统。

早期检测改善了胰腺导管腺癌（PDAC）中的预后，但挑战，因为病变通常很小，并且在对比增强的计算断层扫描扫描（CE-CT）上定义很差。深度学习可以促进PDAC诊断，但是当前模型仍然无法识别小（<2cm）病变。在这项研究中，最先进的深度学习模型用于开发用于PDAC检测的自动框架，专注于小病变。另外，研究了整合周围解剖学的影响。 CE-CT来自119个病理验证的PDAC患者的群组和123名没有PDAC患者的队列用于训练NNUNET用于自动病变检测和分割（\ TEXTIT {NNUNET \ _t}）。训练了两种额外的鼻塞，以研究解剖学积分的影响：（1）分割胰腺和肿瘤（\ yryit {nnunet \ _tp}），（2）分割胰腺，肿瘤和多周围的解剖结构（\ textit {nnunet \_多发性硬化症}）。外部可公开的测试集用于比较三个网络的性能。 \ Textit {nnunet \ _ms}实现了最佳性能，在整个测试集的接收器操作特性曲线下的区域为0.91，肿瘤的0.88 <2cm，显示最先进的深度学习可以检测到小型PDAC和解剖信息的好处。

最早的早期结肠直肠癌（CRC）患者可以单独通过手术治愈，只有某些高风险的早期CRC患者受益于佐剂化学疗法。然而，很少有验证的生物标志物可用于准确预测术后化疗的生存效果。我们开发了一种新的深度学习算法（CRCNET），使用来自分子和细胞肿瘤（MCO）的全滑动图像来预测II / III CRC中辅助化疗的存活效益。我们通过交叉验证和外部使用来自癌症基因组Atlas（TCGA）的独立队列的外部验证了CRCNet。我们表明，CRCNet不仅可以准确地预测生存预后，还可以进行佐剂化疗的治疗效果。 CRCNET鉴定了来自佐剂化疗的高危亚组益处，在化疗治疗的患者中，观察到辅助化疗最大而显着的存活率。相反，在CRCNET低和中风险亚组中观察到最小化疗益处。因此，CRCNET可能在阶段II / III CRC的指导治疗方面具有很大的用途。

最近的人工智能（AI）算法已在各种医学分类任务上实现了放射科医生级的性能。但是，只有少数研究涉及CXR扫描异常发现的定位，这对于向放射学家解释图像级分类至关重要。我们在本文中介绍了一个名为Vindr-CXR的可解释的深度学习系统，该系统可以将CXR扫描分类为多种胸部疾病，同时将大多数类型的关键发现本地化在图像上。 Vindr-CXR接受了51,485次CXR扫描的培训，并通过放射科医生提供的边界盒注释进行了培训。它表现出与经验丰富的放射科医生相当的表现，可以在3,000张CXR扫描的回顾性验证集上对6种常见的胸部疾病进行分类，而在接收器操作特征曲线（AUROC）下的平均面积为0.967（95％置信区间[CI]：0.958---------0.958------- 0.975）。 VINDR-CXR在独立患者队列中也得到了外部验证，并显示出其稳健性。对于具有14种类型病变的本地化任务，我们的自由响应接收器操作特征（FROC）分析表明，VINDR-CXR以每扫描确定的1.0假阳性病变的速率达到80.2％的敏感性。还进行了一项前瞻性研究，以衡量VINDR-CXR在协助六名经验丰富的放射科医生方面的临床影响。结果表明，当用作诊断工具时，提出的系统显着改善了放射科医生本身之间的一致性，平均Fleiss的Kappa的同意增加了1.5％。我们还观察到，在放射科医生咨询了Vindr-CXR的建议之后，在平均Cohen的Kappa中，它们和系统之间的一致性显着增加了3.3％。

目的：开发和验证基于临床阴性ALN的早期乳腺癌（EBC）术后预测腋窝淋巴结（ALN）转移的深度学习（DL）的主要肿瘤活检签名。方法：从2010年5月到2020年5月，共注册了1,058名具有病理证实ALN状态的eBC患者。基于关注的多实例学习（AMIL）框架，建立了一种DL核心针活检（DL-CNB）模型利用DL特征预测ALN状态，该DL特征从两位病理学家注释的乳腺CNB样本的数字化全幻灯片（WSIS）的癌症区域提取。分析了准确性，灵敏度，特异性，接收器操作特征（ROC）曲线和ROC曲线（AUC）下的区域进行评估，评估我们的模型。结果：具有VGG16_BN的最佳性DL-CNB模型作为特征提取器实现了0.816的AUC（95％置信区间（CI）：0.758,0.865），以预测独立测试队列的阳性Aln转移。此外，我们的模型包含称为DL-CNB + C的临床数据，得到了0.831的最佳精度（95％CI：0.775,0.878），特别是对于50岁以下的患者（AUC：0.918,95％CI： 0.825,0.971）。 DL-CNB模型的解释表明，最高度预测ALN转移的顶部签名的特征在于包括密度（$ P $ 0.015），周长（$ P $ 0.009），循环（$ P $ = 0.010）和方向（$ p $ = 0.012）。结论：我们的研究提供了一种基于DL的基于DL的生物标志物在原发性肿瘤CNB上，以预先验证EBC患者的术前预测ALN的转移状态。

已经开发了几种深度学习算法，以使用整个幻灯片图像（WSIS）预测癌症患者的存活。但是，WSI中与患者的生存和疾病进展有关的WSI中的图像表型对临床医生而言都是困难的，以及深度学习算法。用于生存预测的大多数基于深度学习的多个实例学习（MIL）算法使用顶级实例（例如Maxpooling）或顶级/底部实例（例如，Mesonet）来识别图像表型。在这项研究中，我们假设WSI中斑块得分分布的全面信息可以更好地预测癌症的生存。我们开发了一种基于分布的多构度生存学习算法（DeepDismisl）来验证这一假设。我们使用两个大型国际大型癌症WSIS数据集设计和执行实验-MCO CRC和TCGA Coad -Read。我们的结果表明，有关WSI贴片分数的分布的信息越多，预测性能越好。包括每个选定分配位置（例如百分位数）周围的多个邻域实例可以进一步改善预测。与最近发表的最新算法相比，DeepDismisl具有优越的预测能力。此外，我们的算法是可以解释的，可以帮助理解癌症形态表型与癌症生存风险之间的关系。