生成对抗网络（GAN）是图像合成的艺术状态。在这里，我们提出了DAPI2CK，这是一种基于GAN的新型方法，用于合成细胞角蛋白（CK）在非小细胞肺癌（NSCLC）图像中的免疫荧光（IF）DAPI染色中染色。我们使用合成CK来细分上皮区域，与专家注释相比，该区域与染色CK的分割相同的结果相同。考虑到（MIF）面板（MIF）中的标记数量有限，我们的方法允许另一个标记物替换CK，以解决肿瘤微环境（TME）的复杂性，以促进患者选择免疫疗法。与染色的CK相反，DAPI2CK不会遭受诸如非特异性CK染色或肿瘤CK表达丧失之类的问题。

肿瘤浸润淋巴细胞（TIL）的定量已被证明是乳腺癌患者预后的独立预测因子。通常，病理学家对含有tils的基质区域的比例进行估计，以获得TILS评分。乳腺癌（Tiger）挑战中肿瘤浸润淋巴细胞旨在评估计算机生成的TILS评分的预后意义，以预测作为COX比例风险模型的一部分的存活率。在这一挑战中，作为Tiager团队，我们已经开发了一种算法，以将肿瘤与基质与基质进行第一部分，然后将肿瘤散装区域用于TILS检测。最后，我们使用这些输出来生成每种情况的TILS分数。在初步测试中，我们的方法达到了肿瘤 - 细胞瘤的加权骰子评分为0.791，而淋巴细胞检测的FROC得分为0.572。为了预测生存，我们的模型达到了0.719的C索引。这些结果在老虎挑战的初步测试排行榜中获得了第一名。

对从FFPE组织块制备的载玻片上切割的染色组织的光学显微镜检查是组织诊断的金标准。此外，任何病理学家的诊断能力和专业知识都取决于他们在常见和稀有变体形态上的直接经验。最近，深度学习方法已被用来成功显示此类任务的高度准确性。但是，获得专家级注释的图像是一项昂贵且耗时的任务，人为合成的组织学图像可能会非常有益。在这里，我们提出了一种方法，不仅可以生成组织学图像，从而重现普通疾病的诊断形态特征，而且还提供了产生新的和罕见形态的用户能力。我们的方法涉及开发一种生成的对抗网络模型，该模型综合了由类标签约束的病理图像。我们研究了该框架合成现实的前列腺和结肠组织图像的能力，并评估了这些图像在增强机器学习方法的诊断能力以及通过一组经验丰富的解剖病理学家的可用性方面的实用性。我们的框架生成的合成数据在训练深度学习模型中进行了类似于实际数据进行诊断。病理学家无法区分真实图像和合成图像，并显示出相似的前列腺癌分级的观察者间一致性。我们扩展了从结肠活检中显着复杂图像的方法，并表明也可以再现了此类组织中的复杂微环境。最后，我们介绍了用户通过简单的语义标签标记来生成深层组织学图像的能力。

Tumor segmentation in histopathology images is often complicated by its composition of different histological subtypes and class imbalance. Oversampling subtypes with low prevalence features is not a satisfactory solution since it eventually leads to overfitting. We propose to create synthetic images with semantically-conditioned deep generative networks and to combine subtype-balanced synthetic images with the original dataset to achieve better segmentation performance. We show the suitability of Generative Adversarial Networks (GANs) and especially diffusion models to create realistic images based on subtype-conditioning for the use case of HER2-stained histopathology. Additionally, we show the capability of diffusion models to conditionally inpaint HER2 tumor areas with modified subtypes. Combining the original dataset with the same amount of diffusion-generated images increased the tumor Dice score from 0.833 to 0.854 and almost halved the variance between the HER2 subtype recalls. These results create the basis for more reliable automatic HER2 analysis with lower performance variance between individual HER2 subtypes.

数据分析方法的组合，提高计算能力和改进的传感器可以实现定量颗粒状，基于细胞的分析。我们描述了与组织解释和调查AI方法有关的丰富应用挑战集，目前用于应对这些挑战。我们专注于一类针对性的人体组织分析 - 组织病理学 - 旨在定量表征疾病状态，患者结果预测和治疗转向。

由于形态的相似性，皮肤肿瘤的组织学切片分化为个体亚型可能具有挑战性。最近，基于深度学习的方法证明了它们在这方面支持病理学家的潜力。但是，这些监督算法中的许多都需要大量的注释数据才能进行稳健开发。我们提供了一个公开可用的数据集，该数据集是七个不同的犬皮肤肿瘤的350张全滑图像，其中有13种组织学类别的12,424个多边形注释，包括7种皮肤肿瘤亚型。在评估者间实验中，我们显示了提供的标签的高稠度，尤其是对于肿瘤注释。我们通过训练深层神经网络来进一步验证数据集，以完成组织分割和肿瘤亚型分类的任务。我们的肿瘤尤其是0.7047的类平均Jaccard系数为0.7047，尤其是0.9044。对于分类，我们达到了0.9857的幻灯片级准确性。由于犬皮肤肿瘤对人肿瘤具有各种组织学同源性，因此该数据集的附加值不限于兽医病理学，而是扩展到更一般的应用领域。

数字病理学是现代医学中最重要的发展之一。病理检查是医疗方案的黄金标准，并在诊断中发挥基本作用。最近，随着数字扫描仪的出现，现在可以将组织组织病理学载玻片数字化并作为数字图像存储。结果，数字化组织病理组织可用于计算机辅助图像分析程序和机器学习技术。核的检测和分割是癌症诊断中的一些基本步骤。最近，深度学习已被用于核细胞分割。然而，核细胞分割的深度学习方法中的一个问题是缺乏斑块的信息。本文提出了深入的基于学习的核细胞分割方法，这解决了补丁边界地区误入歧途的问题。我们使用本地和全局修补程序来预测最终的分割图。多器官组织病理学数据集上的实验结果表明，我们的方法优于基线核细胞分割和流行分割模型。

骨肉瘤是最常见的原发性骨癌，其标准治疗包括术前化疗，然后切除。化学疗法反应用于预测患者的预后和进一步治疗。坏死在切除标本上的组织学幻灯片通常评估了坏死比定义为坏死肿瘤与总体肿瘤之比。已知坏死比> = 90％的患者的预后更好。多个载玻片对坏死比的手动微观综述是半定量性的，并且可能具有观察者间和观察者间的变异性。我们提出了一种基于目标和可再现的深度学习方法，以估计坏死比，并从扫描的苏木精和曙红全幻灯片图像预测结果。我们以3134个WSI的速度收集了103例骨肉瘤病例，以训练我们的深度学习模型，验证坏死比评估并评估结果预测。我们训练了深层多磁化网络，以分割多个组织亚型，包括生存的肿瘤和像素级中的坏死肿瘤，并计算来自多个WSI的病例级坏死比。我们显示了通过分割模型估算的坏死比，高度与由专家手动评估的病理报告中的坏死比高度相关，其中IV级的平均绝对差异（100％），III（> = 90％）和II（> = 50％和<50％和< 90％）坏死反应分别为4.4％，4.5％和17.8％。我们成功地对患者进行了分层，以预测P = 10^-6的总生存率，而P = 0.012的无进展生存率。我们没有可变性的可重现方法使我们能够调整截止阈值，特别是用于模型和数据集的截止阈值，为OS的80％，PFS为60％。我们的研究表明，深度学习可以支持病理学家作为一种客观的工具，可以分析组织学中骨肉瘤，以评估治疗反应并预测患者结果。

Tumor-stroma ratio (TSR) is a prognostic factor for many types of solid tumors. In this study, we propose a method for automated estimation of TSR from histopathological images of colorectal cancer. The method is based on convolutional neural networks which were trained to classify colorectal cancer tissue in hematoxylin-eosin stained samples into three classes: stroma, tumor and other. The models were trained using a data set that consists of 1343 whole slide images. Three different training setups were applied with a transfer learning approach using domain-specific data i.e. an external colorectal cancer histopathological data set. The three most accurate models were chosen as a classifier, TSR values were predicted and the results were compared to a visual TSR estimation made by a pathologist. The results suggest that classification accuracy does not improve when domain-specific data are used in the pre-training of the convolutional neural network models in the task at hand. Classification accuracy for stroma, tumor and other reached 96.1$\%$ on an independent test set. Among the three classes the best model gained the highest accuracy (99.3$\%$) for class tumor. When TSR was predicted with the best model, the correlation between the predicted values and values estimated by an experienced pathologist was 0.57. Further research is needed to study associations between computationally predicted TSR values and other clinicopathological factors of colorectal cancer and the overall survival of the patients.

已经开发了许多基于深度学习的方法，用于用于H＆E图像的核分割，并已接近人类的表现。但是，将这种方法直接应用于另一种图像方式，例如免疫组织化学（IHC）图像，可能无法实现令人满意的性能。因此，我们开发了一种基于生成的对抗网络（GAN）方法，以将IHC图像转换为H＆E图像，同时保留核位置和形态，然后将预训练的核分割模型应用于虚拟H＆E图像。我们证明了所提出的方法比几种基线方法更好地工作，包括直接应用对H＆E培训的细胞核分割方法，例如Cellpose和Hover-Net，并使用两个公共IHC图像数据集进行了培训。

组织学图像中核和腺体的实例分割是用于癌症诊断，治疗计划和生存分析的计算病理学工作流程中的重要一步。随着现代硬件的出现，大规模质量公共数据集的最新可用性以及社区组织的宏伟挑战已经看到了自动化方法的激增，重点是特定领域的挑战，这对于技术进步和临床翻译至关重要。在这项调查中，深入分析了过去五年（2017-2022）中发表的原子核和腺体实例细分的126篇论文，进行了深入分析，讨论了当前方法的局限性和公开挑战。此外，提出了潜在的未来研究方向，并总结了最先进方法的贡献。此外，还提供了有关公开可用数据集的概括摘要以及关于说明每种挑战的最佳性能方法的巨大挑战的详细见解。此外，我们旨在使读者现有研究的现状和指针在未来的发展方向上开发可用于临床实践的方法，从而可以改善诊断，分级，预后和癌症的治疗计划。据我们所知，以前没有工作回顾了朝向这一方向的组织学图像中的实例细分。

在病理样本的全坡度图像（WSI）中注释癌区域在临床诊断，生物医学研究和机器学习算法开发中起着至关重要的作用。但是，产生详尽而准确的注释是劳动密集型，具有挑战性和昂贵的。仅绘制粗略和近似注释是一项容易得多的任务，成本较小，并且可以减轻病理学家的工作量。在本文中，我们研究了在数字病理学中完善这些近似注释以获得更准确的问题的问题。以前的一些作品探索了从这些不准确的注释中获得机器学习模型，但是很少有人解决改进问题，在这些问题中，应该明确识别和纠正错误标签的区域，并且所有这些都需要大量的培训样本（通常很大） 。我们提出了一种名为标签清洁多个实例学习（LC-MIL）标签的方法，可在不需要外部培训数据的情况下对单个WSI进行粗略注释。从WSI裁剪的带有不准确标签的贴片在多个实例学习框架内共同处理，从而减轻了它们对预测模型的影响并完善分割。我们对具有乳腺癌淋巴结转移，肝癌和结直肠癌样品的异质WSI进行的实验表明，LC-MIL显着完善了粗糙的注释，即使从单个幻灯片中学习，LC-MIL也优于最先进的替代方案。此外，我们证明了拟议方法如何有效地完善和改进病理学家绘制的真实注释。所有这些结果表明，LC-MIL是一种有前途的，轻巧的工具，可提供从粗糙注释的病理组中提供细粒的注释。

肾细胞癌（RCC）是一种常见的癌症，随着临床行为的变化。懒惰的RCC通常是低级的，没有坏死，可以在没有治疗的情况下监测。激进的RCC通常是高级的，如果未及时检测和治疗，可能会导致转移和死亡。虽然大多数肾脏癌在CT扫描中都检测到，但分级是基于侵入性活检或手术的组织学。确定对CT图像的侵略性在临床上很重要，因为它促进了风险分层和治疗计划。这项研究旨在使用机器学习方法来识别与病理学特征相关的放射学特征，以促进评估CT图像而不是组织学上的癌症侵略性。本文提出了一种新型的自动化方法，即按区域（Corrfabr）相关的特征聚集，用于通过利用放射学和相应的不对齐病理学图像之间的相关性来对透明细胞RCC进行分类。 CORRFABR由三个主要步骤组成：（1）特征聚集，其中从放射学和病理图像中提取区域级特征，（2）融合，放射学特征与病理特征相关的放射学特征在区域级别上学习，并且（3）在其中预测的地方学到的相关特征用于仅使用CT作为输入来区分侵略性和顽固的透明细胞RCC。因此，在训练过程中，Corrfabr从放射学和病理学图像中学习，但是在没有病理图像的情况下，Corrfabr将使用CORFABR将侵略性与顽固的透明细胞RCC区分开。 Corrfabr仅比放射学特征改善了分类性能，二进制分类F1分数从0.68（0.04）增加到0.73（0.03）。这证明了将病理疾病特征纳入CT图像上透明细胞RCC侵袭性的分类的潜力。

人工智能（AI），机器学习和深度学习（DL）方法在生物医学图像分析领域变得越来越重要。但是，为了利用此类方法的全部潜力，需要作为训练数据代表数量的实验获得的图像，其中包含大量手动注释对象。在这里，我们将语法（合成数据）介绍为一种新的方法，用于生成合成，光现实和高度复杂的生物医学图像作为DL系统的训练数据。我们在组织学切片中的肌肉纤维和结缔组织分析的背景下显示了方法的多功能性。我们证明，可以在以前看不见的现实世界数据上执行强大和专家级的细分任务，而无需仅使用合成训练数据进行手动注释。作为一种完全参数技术，我们的方法为生成对抗网络（GAN）构成了可解释的可控替代方案，并且有可能在显微镜及其他地区的各种生物医学应用中显着加速定量图像分析。

从不同扫描仪/部位的有丝分裂数字的检测仍然是研究的重要主题，这是由于其潜力协助临床医生进行肿瘤分级。有丝分裂结构域的概括（MIDOG）2022挑战旨在测试从多种扫描仪和该任务的多种扫描仪和组织类型中看不见数据的检测模型的鲁棒性。我们提供了TIA中心团队采用的方法来应对这一挑战的简短摘要。我们的方法基于混合检测模型，在该模型中，在该模型中进行了有丝分裂候选者，然后被深度学习分类器精炼。在训练图像上的交叉验证在初步测试集上达到了0.816和0.784的F1得分，这证明了我们模型可以从新扫描仪中看不见的数据的普遍性。

组织病理学图像包含丰富的表型信息和病理模式，这是疾病诊断的黄金标准，对于预测患者预后和治疗结果至关重要。近年来，在临床实践中迫切需要针对组织病理学图像的计算机自动化分析技术，而卷积神经网络代表的深度学习方法已逐渐成为数字病理领域的主流。但是，在该领域获得大量细粒的注释数据是一项非常昂贵且艰巨的任务，这阻碍了基于大量注释数据的传统监督算法的进一步开发。最新的研究开始从传统的监督范式中解放出来，最有代表性的研究是基于弱注释，基于有限的注释的半监督学习范式以及基于自我监督的学习范式的弱监督学习范式的研究图像表示学习。这些新方法引发了针对注释效率的新自动病理图像诊断和分析。通过对130篇论文的调查，我们对从技术和方法论的角度来看，对计算病理学领域中有关弱监督学习，半监督学习以及自我监督学习的最新研究进行了全面的系统综述。最后，我们提出了这些技术的关键挑战和未来趋势。

组织病理学癌症诊断是基于对染色组织载玻片的视觉检查。苏木精和曙红（H \＆E）是全球常规使用的标准污渍。它很容易获取和成本效益，但是细胞和组织成分与深蓝色和粉红色的色调相对低，从而使视觉评估，数字图像分析和定量变得困难。这些局限性可以通过IHC的靶蛋白的IHC染色来克服。 IHC提供了细胞和组织成分的选择性高对比度成像，但是它们的使用在很大程度上受到了更为复杂的实验室处理和高成本的限制。我们提出了一个条件周期（CCGAN）网络，以将H \＆E染色的图像转换为IHC染色图像，从而促进同一幻灯片上的虚拟IHC染色。这种数据驱动的方法仅需要有限的标记数据，但会生成像素级分割结果。提出的CCGAN模型通过添加类别条件并引入两个结构性损失函数，改善了原始网络\ cite {Zhu_unpaired_2017}，从而实现多重辅助翻译并提高了翻译精度。 ％需要在这里给出理由。实验表明，所提出的模型在不配对的图像翻译中胜过具有多材料的原始方法。我们还探索了未配对的图像对图像翻译方法的潜力，该方法应用于其他组织学图像与不同染色技术相关的任务。

Molecular and genomic properties are critical in selecting cancer treatments to target individual tumors, particularly for immunotherapy. However, the methods to assess such properties are expensive, time-consuming, and often not routinely performed. Applying machine learning to H&E images can provide a more cost-effective screening method. Dozens of studies over the last few years have demonstrated that a variety of molecular biomarkers can be predicted from H&E alone using the advancements of deep learning: molecular alterations, genomic subtypes, protein biomarkers, and even the presence of viruses. This article reviews the diverse applications across cancer types and the methodology to train and validate these models on whole slide images. From bottom-up to pathologist-driven to hybrid approaches, the leading trends include a variety of weakly supervised deep learning-based approaches, as well as mechanisms for training strongly supervised models in select situations. While results of these algorithms look promising, some challenges still persist, including small training sets, rigorous validation, and model explainability. Biomarker prediction models may yield a screening method to determine when to run molecular tests or an alternative when molecular tests are not possible. They also create new opportunities in quantifying intratumoral heterogeneity and predicting patient outcomes.

Large annotated datasets are required to train segmentation networks. In medical imaging, it is often difficult, time consuming and expensive to create such datasets, and it may also be difficult to share these datasets with other researchers. Different AI models can today generate very realistic synthetic images, which can potentially be openly shared as they do not belong to specific persons. However, recent work has shown that using synthetic images for training deep networks often leads to worse performance compared to using real images. Here we demonstrate that using synthetic images and annotations from an ensemble of 10 GANs, instead of from a single GAN, increases the Dice score on real test images with 4.7 % to 14.0 % on specific classes.

准确的术中诊断对于在脑肿瘤手术期间提供安全有效的护理至关重要。我们的护理标准诊断方法是时间，资源和劳动密集型，限制了获得最佳手术治疗的机会。为了解决这些局限性，我们提出了一种替代工作流程，该工作流程结合了刺激的拉曼组织学（SRH），一种快速的光学成像方法，以及对SRH图像的深层自动解释，用于术中脑肿瘤诊断和实时手术决策支持。在这里，我们介绍了OpenSRH，这是来自300多名脑肿瘤患者和1300多个独特全幻灯片光学图像的第一个公共数据集。 OPENSRH包含来自最常见的脑肿瘤诊断，完整的病理注释，整个幻灯片肿瘤分割，原始和加工的光学成像数据的数据，用于端到端模型的开发和验证。我们为使用弱（即患者级）诊断标签的基于补丁的整个幻灯片分类和推断提供了一个框架。最后，我们基准了两项计算机视觉任务：多类组织学脑肿瘤分类和基于斑块的对比表示学习。我们希望OpenSRH能够促进快速光学成像和基于ML的手术决策支持的临床翻译，以提高精密医学时代的癌症手术的获取，安全性和功效。数据集访问，代码和基准可在opensrh.mlins.org上找到。