Nucleolar organizer regions (NORs) are parts of the DNA that are involved in RNA transcription. Due to the silver affinity of associated proteins, argyrophilic NORs (AgNORs) can be visualized using silver-based staining. The average number of AgNORs per nucleus has been shown to be a prognostic factor for predicting the outcome of many tumors. Since manual detection of AgNORs is laborious, automation is of high interest. We present a deep learning-based pipeline for automatically determining the AgNOR-score from histopathological sections. An additional annotation experiment was conducted with six pathologists to provide an independent performance evaluation of our approach. Across all raters and images, we found a mean squared error of 0.054 between the AgNOR- scores of the experts and those of the model, indicating that our approach offers performance comparable to humans.

Mitotic activity is key for the assessment of malignancy in many tumors. Moreover, it has been demonstrated that the proportion of abnormal mitosis to normal mitosis is of prognostic significance. Atypical mitotic figures (MF) can be identified morphologically as having segregation abnormalities of the chromatids. In this work, we perform, for the first time, automatic subtyping of mitotic figures into normal and atypical categories according to characteristic morphological appearances of the different phases of mitosis. Using the publicly available MIDOG21 and TUPAC16 breast cancer mitosis datasets, two experts blindly subtyped mitotic figures into five morphological categories. Further, we set up a state-of-the-art object detection pipeline extending the anchor-free FCOS approach with a gated hierarchical subclassification branch. Our labeling experiment indicated that subtyping of mitotic figures is a challenging task and prone to inter-rater disagreement, which we found in 24.89% of MF. Using the more diverse MIDOG21 dataset for training and TUPAC16 for testing, we reached a mean overall average precision score of 0.552, a ROC AUC score of 0.833 for atypical/normal MF and a mean class-averaged ROC-AUC score of 0.977 for discriminating the different phases of cells undergoing mitosis.

骨肉瘤是最常见的原发性骨癌，其标准治疗包括术前化疗，然后切除。化学疗法反应用于预测患者的预后和进一步治疗。坏死在切除标本上的组织学幻灯片通常评估了坏死比定义为坏死肿瘤与总体肿瘤之比。已知坏死比> = 90％的患者的预后更好。多个载玻片对坏死比的手动微观综述是半定量性的，并且可能具有观察者间和观察者间的变异性。我们提出了一种基于目标和可再现的深度学习方法，以估计坏死比，并从扫描的苏木精和曙红全幻灯片图像预测结果。我们以3134个WSI的速度收集了103例骨肉瘤病例，以训练我们的深度学习模型，验证坏死比评估并评估结果预测。我们训练了深层多磁化网络，以分割多个组织亚型，包括生存的肿瘤和像素级中的坏死肿瘤，并计算来自多个WSI的病例级坏死比。我们显示了通过分割模型估算的坏死比，高度与由专家手动评估的病理报告中的坏死比高度相关，其中IV级的平均绝对差异（100％），III（> = 90％）和II（> = 50％和<50％和< 90％）坏死反应分别为4.4％，4.5％和17.8％。我们成功地对患者进行了分层，以预测P = 10^-6的总生存率，而P = 0.012的无进展生存率。我们没有可变性的可重现方法使我们能够调整截止阈值，特别是用于模型和数据集的截止阈值，为OS的80％，PFS为60％。我们的研究表明，深度学习可以支持病理学家作为一种客观的工具，可以分析组织学中骨肉瘤，以评估治疗反应并预测患者结果。

由于形态的相似性，皮肤肿瘤的组织学切片分化为个体亚型可能具有挑战性。最近，基于深度学习的方法证明了它们在这方面支持病理学家的潜力。但是，这些监督算法中的许多都需要大量的注释数据才能进行稳健开发。我们提供了一个公开可用的数据集，该数据集是七个不同的犬皮肤肿瘤的350张全滑图像，其中有13种组织学类别的12,424个多边形注释，包括7种皮肤肿瘤亚型。在评估者间实验中，我们显示了提供的标签的高稠度，尤其是对于肿瘤注释。我们通过训练深层神经网络来进一步验证数据集，以完成组织分割和肿瘤亚型分类的任务。我们的肿瘤尤其是0.7047的类平均Jaccard系数为0.7047，尤其是0.9044。对于分类，我们达到了0.9857的幻灯片级准确性。由于犬皮肤肿瘤对人肿瘤具有各种组织学同源性，因此该数据集的附加值不限于兽医病理学，而是扩展到更一般的应用领域。

肿瘤浸润淋巴细胞（TIL）的定量已被证明是乳腺癌患者预后的独立预测因子。通常，病理学家对含有tils的基质区域的比例进行估计，以获得TILS评分。乳腺癌（Tiger）挑战中肿瘤浸润淋巴细胞旨在评估计算机生成的TILS评分的预后意义，以预测作为COX比例风险模型的一部分的存活率。在这一挑战中，作为Tiager团队，我们已经开发了一种算法，以将肿瘤与基质与基质进行第一部分，然后将肿瘤散装区域用于TILS检测。最后，我们使用这些输出来生成每种情况的TILS分数。在初步测试中，我们的方法达到了肿瘤 - 细胞瘤的加权骰子评分为0.791，而淋巴细胞检测的FROC得分为0.572。为了预测生存，我们的模型达到了0.719的C索引。这些结果在老虎挑战的初步测试排行榜中获得了第一名。

Tumor-stroma ratio (TSR) is a prognostic factor for many types of solid tumors. In this study, we propose a method for automated estimation of TSR from histopathological images of colorectal cancer. The method is based on convolutional neural networks which were trained to classify colorectal cancer tissue in hematoxylin-eosin stained samples into three classes: stroma, tumor and other. The models were trained using a data set that consists of 1343 whole slide images. Three different training setups were applied with a transfer learning approach using domain-specific data i.e. an external colorectal cancer histopathological data set. The three most accurate models were chosen as a classifier, TSR values were predicted and the results were compared to a visual TSR estimation made by a pathologist. The results suggest that classification accuracy does not improve when domain-specific data are used in the pre-training of the convolutional neural network models in the task at hand. Classification accuracy for stroma, tumor and other reached 96.1$\%$ on an independent test set. Among the three classes the best model gained the highest accuracy (99.3$\%$) for class tumor. When TSR was predicted with the best model, the correlation between the predicted values and values estimated by an experienced pathologist was 0.57. Further research is needed to study associations between computationally predicted TSR values and other clinicopathological factors of colorectal cancer and the overall survival of the patients.

NUCLS数据集包含乳腺癌中细胞核的220.000多个注释。我们展示了如何使用这些数据创建具有MISCNN框架的多评价者模型来自动化细胞核的分析。对于模型创建，我们使用嵌入管道中的广泛的U-NET方法。该管道除了高性能卷积神经网络外，还提供了几种预处理器技术和扩展数据探索。最终模型在评估阶段进行了测试，并使用多种指标和随后的可视化度量进行了测试。最后，将结果与NUCLS研究的结果进行比较和解释。作为一个前景，给出了对于在细胞核背景下模型的未来发展至关重要的指示。

Breast cancer is one of the most common cancer in women around the world. For diagnosis, pathologists evaluate biomarkers such as HER2 protein using immunohistochemistry over tissue extracted by a biopsy. Through microscopic inspection, this assessment estimates the intensity and integrity of the membrane cells' staining and scores the sample as 0, 1+, 2+, or 3+: a subjective decision that depends on the interpretation of the pathologist. This paper presents the preliminary data analysis of the annotations of three pathologists over the same set of samples obtained using 20x magnification and including $1,252$ non-overlapping biopsy patches. We evaluate the intra- and inter-expert variability achieving substantial and moderate agreement, respectively, according to Fleiss' Kappa coefficient, as a previous stage towards a generation of a HER2 breast cancer biopsy gold-standard using supervised learning from multiple pathologist annotations.

膝关节X射线上的膝盖骨关节炎（KOA）的评估是使用总膝关节置换术的中心标准。但是，该评估遭受了不精确的标准，并且读取器间的可变性非常高。对KOA严重性的算法，自动评估可以通过提高其使用的适当性来改善膝盖替代程序的总体结果。我们提出了一种基于深度学习的新型五步算法，以自动从X光片后验（PA）视图对KOA进行评级：（1）图像预处理（2）使用Yolo V3-tiny模型，图像在图像中定位膝关节， （3）使用基于卷积神经网络的分类器对骨关节炎的严重程度进行初步评估，（4）关节分割和关节空间狭窄（JSN）的计算（JSN）和（5），JSN和最初的结合评估确定最终的凯尔格伦法律（KL）得分。此外，通过显示用于进行评估的分割面具，我们的算法与典型的“黑匣子”深度学习分类器相比表现出更高的透明度。我们使用我们机构的两个公共数据集和一个数据集进行了全面的评估，并表明我们的算法达到了最先进的性能。此外，我们还从机构中的多个放射科医生那里收集了评分，并表明我们的算法在放射科医生级别进行。该软件已在https://github.com/maciejmazurowowski/osteoarthitis-classification上公开提供。

在病理样本的全坡度图像（WSI）中注释癌区域在临床诊断，生物医学研究和机器学习算法开发中起着至关重要的作用。但是，产生详尽而准确的注释是劳动密集型，具有挑战性和昂贵的。仅绘制粗略和近似注释是一项容易得多的任务，成本较小，并且可以减轻病理学家的工作量。在本文中，我们研究了在数字病理学中完善这些近似注释以获得更准确的问题的问题。以前的一些作品探索了从这些不准确的注释中获得机器学习模型，但是很少有人解决改进问题，在这些问题中，应该明确识别和纠正错误标签的区域，并且所有这些都需要大量的培训样本（通常很大） 。我们提出了一种名为标签清洁多个实例学习（LC-MIL）标签的方法，可在不需要外部培训数据的情况下对单个WSI进行粗略注释。从WSI裁剪的带有不准确标签的贴片在多个实例学习框架内共同处理，从而减轻了它们对预测模型的影响并完善分割。我们对具有乳腺癌淋巴结转移，肝癌和结直肠癌样品的异质WSI进行的实验表明，LC-MIL显着完善了粗糙的注释，即使从单个幻灯片中学习，LC-MIL也优于最先进的替代方案。此外，我们证明了拟议方法如何有效地完善和改进病理学家绘制的真实注释。所有这些结果表明，LC-MIL是一种有前途的，轻巧的工具，可提供从粗糙注释的病理组中提供细粒的注释。

语义图像分割是手术中的背景知识和自治机器人的重要前提。本领域的状态专注于在微创手术期间获得的传统RGB视频数据，但基于光谱成像数据的全景语义分割并在开放手术期间获得几乎没有注意到日期。为了解决文献中的这种差距，我们正在研究基于在开放手术环境中获得的猪的高光谱成像（HSI）数据的以下研究问题：（1）基于神经网络的HSI数据的充分表示是完全自动化的器官分割，尤其是关于数据的空间粒度（像素与Superpixels与Patches与完整图像）的空间粒度？ （2）在执行语义器官分割时，是否有利用HSI数据使用HSI数据，即RGB数据和处理的HSI数据（例如氧合等组织参数）？根据基于20猪的506个HSI图像的全面验证研究，共注释了19个类，基于深度的学习的分割性能 - 贯穿模态 - 与输入数据的空间上下文一致。未处理的HSI数据提供优于RGB数据或来自摄像机提供商的处理数据，其中优势随着输入到神经网络的输入的尺寸而增加。最大性能（应用于整个图像的HSI）产生了0.89（标准偏差（SD）0.04）的平均骰子相似度系数（DSC），其在帧间间变异性（DSC为0.89（SD 0.07）的范围内。我们得出结论，HSI可以成为全自动手术场景理解的强大的图像模型，其具有传统成像的许多优点，包括恢复额外功能组织信息的能力。

最近的人工智能（AI）算法已在各种医学分类任务上实现了放射科医生级的性能。但是，只有少数研究涉及CXR扫描异常发现的定位，这对于向放射学家解释图像级分类至关重要。我们在本文中介绍了一个名为Vindr-CXR的可解释的深度学习系统，该系统可以将CXR扫描分类为多种胸部疾病，同时将大多数类型的关键发现本地化在图像上。 Vindr-CXR接受了51,485次CXR扫描的培训，并通过放射科医生提供的边界盒注释进行了培训。它表现出与经验丰富的放射科医生相当的表现，可以在3,000张CXR扫描的回顾性验证集上对6种常见的胸部疾病进行分类，而在接收器操作特征曲线（AUROC）下的平均面积为0.967（95％置信区间[CI]：0.958---------0.958------- 0.975）。 VINDR-CXR在独立患者队列中也得到了外部验证，并显示出其稳健性。对于具有14种类型病变的本地化任务，我们的自由响应接收器操作特征（FROC）分析表明，VINDR-CXR以每扫描确定的1.0假阳性病变的速率达到80.2％的敏感性。还进行了一项前瞻性研究，以衡量VINDR-CXR在协助六名经验丰富的放射科医生方面的临床影响。结果表明，当用作诊断工具时，提出的系统显着改善了放射科医生本身之间的一致性，平均Fleiss的Kappa的同意增加了1.5％。我们还观察到，在放射科医生咨询了Vindr-CXR的建议之后，在平均Cohen的Kappa中，它们和系统之间的一致性显着增加了3.3％。

使用Kellgren-Lawence分级系统在放射线照片中评估放射性骨关节炎的严重程度评估放射科医生的表现，是放射学家的表现。根据Kellgren-Lawence分级系统，开发一种自动化的基于深度学习的算法，该算法使用膝盖X光片的后侧（PA）和侧面（LAT）视图来评估膝关节骨关节炎的严重程度。我们使用了来自多中心骨关节炎研究的2802名患者的9739例检查的数据集（大多数）。该数据集分为2040名患者的训练集，259例患者的验证和503例患者的测试组。一种新型的基于深度学习的方法用于评估膝关节OA分为两个步骤：（1）图像中膝关节的定位，（2）根据KL分级系统进行分类。我们的方法同时使用PA和LAT视图作为模型的输入。将算法生成的分数与整个测试集的最多数据集中提供的等级以及我们机构中5位放射科医生提供的成绩进行了比较。与大多数数据集中提供的评分相比，该模型在整个测试集上获得了71.90％的多级准确性。该组的二次加权KAPPA系数为0.9066。我们机构的所有放射科医生对研究的平均二次加权Kappa为0.748。我们机构的算法和放射科医生之间的平均二次加权Kappa为0.769。所提出的模型表明，KL分类与MSK放射科医生的等效性，但显然可重复性。我们的模型还与我们机构的放射科医生同意与放射科医生相同的程度。该算法可用于提供膝关节炎严重程度的可重复评估。

胰腺癌是与癌症相关死亡的全球主要原因之一。尽管深度学习在计算机辅助诊断和检测方法（CAD）方法中取得了成功，但很少关注胰腺癌的检测。我们提出了一种检测胰腺肿瘤的方法，该方法在周围的解剖结构中利用临床上的特征，从而更好地旨在利用放射科医生的知识，而不是其他常规的深度学习方法。为此，我们收集了一个新的数据集，该数据集由99例胰腺导管腺癌（PDAC）和97例没有胰腺肿瘤的对照病例组成。由于胰腺癌的生长模式，肿瘤可能总是可见为低音病变，因此，专家指的是二次外部特征的可见性，这些特征可能表明肿瘤的存在。我们提出了一种基于U-NET样深的CNN的方法，该方法利用以下外部次要特征：胰管，常见的胆管和胰腺以及处理后的CT扫描。使用这些功能，该模型如果存在胰腺肿瘤。这种用于分类和本地化方法的细分实现了99％的敏感性（一个案例）和99％的特异性，这比以前的最新方法的灵敏度增加了5％。与以前的PDAC检测方法相比，该模型还以合理的精度和较短的推理时间提供位置信息。这些结果提供了显着的性能改善，并强调了在开发新型CAD方法时纳入临床专家知识的重要性。

组织病理学图像提供了癌症诊断的明确来源，其中包含病理学家用来识别和分类恶性疾病的信息，并指导治疗选择。这些图像包含大量信息，其中大部分目前不可用人类的解释。有监督的深度学习方法对于分类任务非常有力，但它们本质上受注释的成本和质量限制。因此，我们开发了组织形态表型学习，这是一种无监督的方法，它不需要注释，并且通过小图像瓷砖中的歧视性图像特征的自我发现进行操作。瓷砖分为形态上相似的簇，这些簇似乎代表了自然选择下出现的肿瘤生长的复发模式。这些簇具有不同的特征，可以使用正交方法识别。应用于肺癌组织，我们表明它们与患者的结局紧密保持一致，组织病理学识别的肿瘤类型和生长模式以及免疫表型的转录组度量。

由于筛选乳房X线照片的假阴性评估，通常在晚期检测到与其他癌症更差的间隔和大型侵入性乳腺癌。错过的筛选时间检测通常由其周围乳腺组织模糊的肿瘤引起的，这是一种称为掩蔽的现象。为了研究和基准爆发癌症的乳房Xmmpare掩蔽，在这项工作中，我们引入CSAW-M，最大的公共乳房数据集，从10,000多个人收集并用潜在的掩蔽注释。与以前的方法对比测量乳房图像密度作为代理的方法，我们的数据集直接提供了五个专家屏蔽潜在评估的注释。我们还培训了CSAW-M的深入学习模型来估计掩蔽水平，并显示估计的掩蔽更加预测筛查患有间隔和大型侵入性癌症的参与者 - 而不是明确培训这些任务 - 而不是其乳房密度同行。

对从FFPE组织块制备的载玻片上切割的染色组织的光学显微镜检查是组织诊断的金标准。此外，任何病理学家的诊断能力和专业知识都取决于他们在常见和稀有变体形态上的直接经验。最近，深度学习方法已被用来成功显示此类任务的高度准确性。但是，获得专家级注释的图像是一项昂贵且耗时的任务，人为合成的组织学图像可能会非常有益。在这里，我们提出了一种方法，不仅可以生成组织学图像，从而重现普通疾病的诊断形态特征，而且还提供了产生新的和罕见形态的用户能力。我们的方法涉及开发一种生成的对抗网络模型，该模型综合了由类标签约束的病理图像。我们研究了该框架合成现实的前列腺和结肠组织图像的能力，并评估了这些图像在增强机器学习方法的诊断能力以及通过一组经验丰富的解剖病理学家的可用性方面的实用性。我们的框架生成的合成数据在训练深度学习模型中进行了类似于实际数据进行诊断。病理学家无法区分真实图像和合成图像，并显示出相似的前列腺癌分级的观察者间一致性。我们扩展了从结肠活检中显着复杂图像的方法，并表明也可以再现了此类组织中的复杂微环境。最后，我们介绍了用户通过简单的语义标签标记来生成深层组织学图像的能力。

用于计算病理（CPATH）的深度分割模型的发展可以帮助培养可解释的形态生物标志物的调查。然而，这些方法的成功存在主要瓶颈，因为监督的深度学习模型需要丰富的准确标记数据。该问题在CPATH领域加剧，因为详细注释的产生通常需要对病理学家的输入能够区分不同的组织构建体和核。手动标记核可能不是收集大规模注释数据集的可行方法，特别是当单个图像区域可以包含数千个不同的单元时。但是，仅依靠自动生成注释将限制地面真理的准确性和可靠性。因此，为了帮助克服上述挑战，我们提出了一种多级注释管道，以使大规模数据集进行用于组织学图像分析，具有病理学家in-循环的细化步骤。使用本市管道，我们生成最大的已知核实例分段和分类数据集，其中包含近百万分之一的H＆E染色的结肠组织中标记的细胞核。我们发布了DataSet并鼓励研究社区利用它来推动CPATH中下游小区模型的发展。

肾细胞癌（RCC）是一种常见的癌症，随着临床行为的变化。懒惰的RCC通常是低级的，没有坏死，可以在没有治疗的情况下监测。激进的RCC通常是高级的，如果未及时检测和治疗，可能会导致转移和死亡。虽然大多数肾脏癌在CT扫描中都检测到，但分级是基于侵入性活检或手术的组织学。确定对CT图像的侵略性在临床上很重要，因为它促进了风险分层和治疗计划。这项研究旨在使用机器学习方法来识别与病理学特征相关的放射学特征，以促进评估CT图像而不是组织学上的癌症侵略性。本文提出了一种新型的自动化方法，即按区域（Corrfabr）相关的特征聚集，用于通过利用放射学和相应的不对齐病理学图像之间的相关性来对透明细胞RCC进行分类。 CORRFABR由三个主要步骤组成：（1）特征聚集，其中从放射学和病理图像中提取区域级特征，（2）融合，放射学特征与病理特征相关的放射学特征在区域级别上学习，并且（3）在其中预测的地方学到的相关特征用于仅使用CT作为输入来区分侵略性和顽固的透明细胞RCC。因此，在训练过程中，Corrfabr从放射学和病理学图像中学习，但是在没有病理图像的情况下，Corrfabr将使用CORFABR将侵略性与顽固的透明细胞RCC区分开。 Corrfabr仅比放射学特征改善了分类性能，二进制分类F1分数从0.68（0.04）增加到0.73（0.03）。这证明了将病理疾病特征纳入CT图像上透明细胞RCC侵袭性的分类的潜力。

数据分析方法的组合，提高计算能力和改进的传感器可以实现定量颗粒状，基于细胞的分析。我们描述了与组织解释和调查AI方法有关的丰富应用挑战集，目前用于应对这些挑战。我们专注于一类针对性的人体组织分析 - 组织病理学 - 旨在定量表征疾病状态，患者结果预测和治疗转向。