近年来，深入学习已成功应用于自动化各种诊断组织病理学的任务。然而，小规模地区的快速可靠的本地化（ROI）仍然是一个关键挑战，因为鉴别性形态特征通常只占据一小部分的千兆像素级全幻灯片（WSI）。在本文中，我们提出了一种稀疏的WSI分析方法，用于快速识别WSI级分类的高功率ROI。我们开发由早期分类文献的评估框架，以量化稀疏分析方法的诊断性能和推理时间之间的权衡。我们在病理学中的常见但耗时的任务中测试了我们的方法 - 从内镜活检标本诊断血液杂志和曙红（H＆E） - 染色的载玻片上诊断胃肠元（GIM）。 Gim是沿着胃癌发展途径的着名前体病变。我们对我们的方法的性能和推理时间进行了彻底的评估，我们在GIM阳性和GIM负面WSI上的测试集中，发现我们的方法在所有正面WSI中成功地检测到GIM，接收器下的WSI级分类区域操作特性曲线（AUC）为0.98和0.95的平均精度（AP）。此外，我们表明我们的方法可以在标准CPU上达到一分钟内的这些指标。我们的结果适用于开发神经网络的目的，可以轻松地部署在临床环境中，以支持病理学家在快速定位和诊断WSI中的小规模形态特征。

乳腺癌是女性最常见的恶性肿瘤，每年负责超过50万人死亡。因此，早期和准确的诊断至关重要。人类专业知识是诊断和正确分类乳腺癌并定义适当的治疗，这取决于评价不同生物标志物如跨膜蛋白受体HER2的表达。该评估需要几个步骤，包括免疫组织化学或原位杂交等特殊技术，以评估HER2状态。通过降低诊断中的步骤和人类偏差的次数的目标，赫洛挑战是组织的，作为第16届欧洲数字病理大会的并行事件，旨在自动化仅基于苏木精和曙红染色的HER2地位的评估侵袭性乳腺癌的组织样本。评估HER2状态的方法是在全球21个团队中提出的，并通过一些提议的方法实现了潜在的观点，以推进最先进的。

肺癌是全球癌症死亡的主要原因，肺腺癌是最普遍的肺癌形式。 EGFR阳性肺腺癌已被证明对TKI治疗的反应率很高，这是肺癌分子测试的基本性质。尽管目前的指南考虑必要测试，但很大一部分患者并未常规化，导致数百万的人未接受最佳治疗肺癌。测序是EGFR突变分子测试的黄金标准，但是结果可能需要数周的时间才能回来，这在时间限制的情况下并不理想。能够快速，便宜地检测EGFR突变的替代筛查工具的开发，同时保存组织以进行测序可以帮助减少受比较治疗的患者的数量。我们提出了一种多模式方法，该方法将病理图像和临床变量整合在一起，以预测EGFR突变状态，迄今为止最大的临床队列中的AUC为84％。这样的计算模型可以以很少的额外成本进行大部分部署。它的临床应用可以减少中国接受亚最佳治疗的患者数量53.1％，在美国将高达96.6％的患者减少96.6％。

当目标是将非常大的图像与微小的信息对象分类非常大的图像时，计算机愿景中的应用越来越多的计算机愿景中的应用程序越来越多地挑战。具体而言，这些分类任务面临两个关键挑战：$ i $）输入图像的大小通常按照MEGA或GIGA - 像素的顺序，然而，由于内存约束，现有的深层架构不容易操作在这种大图像上因此，我们寻求一种进程的记忆有效的方法来处理这些图像;和II $）只有非常小的输入图像的输入图像是信息的信息，导致对图像比率的低感兴趣区域（ROI）。然而，大多数当前的卷积神经网络（CNNS）被设计用于具有相对大的ROI和小图像尺寸（Sub-Peapixel）的图像分类数据集。现有方法孤立地解决了这两个挑战。我们介绍了一个端到端的CNN模型被称为缩放网络，利用分层注意采样，用于使用单个GPU分类大型物体。我们在四个大图像组织病理学，道路场和卫星成像数据集中评估我们的方法，以及一个简谓的病理学数据集。实验结果表明，我们的模型比现有方法达到更高的准确性，同时需要更少的内存资源。

在病理样本的全坡度图像（WSI）中注释癌区域在临床诊断，生物医学研究和机器学习算法开发中起着至关重要的作用。但是，产生详尽而准确的注释是劳动密集型，具有挑战性和昂贵的。仅绘制粗略和近似注释是一项容易得多的任务，成本较小，并且可以减轻病理学家的工作量。在本文中，我们研究了在数字病理学中完善这些近似注释以获得更准确的问题的问题。以前的一些作品探索了从这些不准确的注释中获得机器学习模型，但是很少有人解决改进问题，在这些问题中，应该明确识别和纠正错误标签的区域，并且所有这些都需要大量的培训样本（通常很大） 。我们提出了一种名为标签清洁多个实例学习（LC-MIL）标签的方法，可在不需要外部培训数据的情况下对单个WSI进行粗略注释。从WSI裁剪的带有不准确标签的贴片在多个实例学习框架内共同处理，从而减轻了它们对预测模型的影响并完善分割。我们对具有乳腺癌淋巴结转移，肝癌和结直肠癌样品的异质WSI进行的实验表明，LC-MIL显着完善了粗糙的注释，即使从单个幻灯片中学习，LC-MIL也优于最先进的替代方案。此外，我们证明了拟议方法如何有效地完善和改进病理学家绘制的真实注释。所有这些结果表明，LC-MIL是一种有前途的，轻巧的工具，可提供从粗糙注释的病理组中提供细粒的注释。

语义图像分割是手术中的背景知识和自治机器人的重要前提。本领域的状态专注于在微创手术期间获得的传统RGB视频数据，但基于光谱成像数据的全景语义分割并在开放手术期间获得几乎没有注意到日期。为了解决文献中的这种差距，我们正在研究基于在开放手术环境中获得的猪的高光谱成像（HSI）数据的以下研究问题：（1）基于神经网络的HSI数据的充分表示是完全自动化的器官分割，尤其是关于数据的空间粒度（像素与Superpixels与Patches与完整图像）的空间粒度？ （2）在执行语义器官分割时，是否有利用HSI数据使用HSI数据，即RGB数据和处理的HSI数据（例如氧合等组织参数）？根据基于20猪的506个HSI图像的全面验证研究，共注释了19个类，基于深度的学习的分割性能 - 贯穿模态 - 与输入数据的空间上下文一致。未处理的HSI数据提供优于RGB数据或来自摄像机提供商的处理数据，其中优势随着输入到神经网络的输入的尺寸而增加。最大性能（应用于整个图像的HSI）产生了0.89（标准偏差（SD）0.04）的平均骰子相似度系数（DSC），其在帧间间变异性（DSC为0.89（SD 0.07）的范围内。我们得出结论，HSI可以成为全自动手术场景理解的强大的图像模型，其具有传统成像的许多优点，包括恢复额外功能组织信息的能力。

数据分析方法的组合，提高计算能力和改进的传感器可以实现定量颗粒状，基于细胞的分析。我们描述了与组织解释和调查AI方法有关的丰富应用挑战集，目前用于应对这些挑战。我们专注于一类针对性的人体组织分析 - 组织病理学 - 旨在定量表征疾病状态，患者结果预测和治疗转向。

最近，大型高质量的公共数据集导致了卷积神经网络的发展，这些神经网络可以在专家病理学家水平上检测乳腺癌的淋巴结转移。许多癌症，无论起源地点如何，都可以转移到淋巴结。但是，收集和注释每种癌症类型的高量，高质量数据集都是具有挑战性的。在本文中，我们研究了如何在多任务设置中最有效地利用现有的高质量数据集，以实现紧密相关的任务。具体而言，我们将探索不同的训练和领域适应策略，包括预防灾难性遗忘，用于结肠和头颈癌症转移淋巴结中的灾难性遗忘。我们的结果表明，两项癌症转移检测任务的最新性能。此外，我们显示了从一种癌症类型到另一种癌症的反复适应以获得多任务转移检测网络的有效性。最后，我们表明，利用现有的高质量数据集可以显着提高新目标任务的性能，并且可以使用正则化有效地减轻灾难性遗忘。

Pneumonia, a respiratory infection brought on by bacteria or viruses, affects a large number of people, especially in developing and impoverished countries where high levels of pollution, unclean living conditions, and overcrowding are frequently observed, along with insufficient medical infrastructure. Pleural effusion, a condition in which fluids fill the lung and complicate breathing, is brought on by pneumonia. Early detection of pneumonia is essential for ensuring curative care and boosting survival rates. The approach most usually used to diagnose pneumonia is chest X-ray imaging. The purpose of this work is to develop a method for the automatic diagnosis of bacterial and viral pneumonia in digital x-ray pictures. This article first presents the authors' technique, and then gives a comprehensive report on recent developments in the field of reliable diagnosis of pneumonia. In this study, here tuned a state-of-the-art deep convolutional neural network to classify plant diseases based on images and tested its performance. Deep learning architecture is compared empirically. VGG19, ResNet with 152v2, Resnext101, Seresnet152, Mobilenettv2, and DenseNet with 201 layers are among the architectures tested. Experiment data consists of two groups, sick and healthy X-ray pictures. To take appropriate action against plant diseases as soon as possible, rapid disease identification models are preferred. DenseNet201 has shown no overfitting or performance degradation in our experiments, and its accuracy tends to increase as the number of epochs increases. Further, DenseNet201 achieves state-of-the-art performance with a significantly a smaller number of parameters and within a reasonable computing time. This architecture outperforms the competition in terms of testing accuracy, scoring 95%. Each architecture was trained using Keras, using Theano as the backend.

头部和颈部鳞状细胞癌（HNSCC）的病因涉及多种致癌物，例如酒精，烟草和人乳头瘤病毒（HPV）。由于HPV感染会影响HNSCC患者的预后，治疗和存活，因此确定这些肿瘤的HPV状态很重要。在本文中，我们提出了一个新颖的三胞胎级损耗函数和HPV状态预测的多个实例学习管道。这仅使用两个HNSCC同类群体上的常规H＆E染色WSI，在HPV检测中实现了新的最新性能。此外，还进行了全面的肿瘤微环境分析，从基因组，免​​疫学和细胞角度来看，HPV +/- HNSCC之间的独特模式。鉴定了与巨噬细胞和结缔细胞（例如成纤维细胞）（例如，成纤维细胞）（例如，成纤维细胞）与T细胞不同亚型（例如T细胞，CD8+ T细胞）的正类型的正相关性，这与临床发现一致。还针对HPV感染状态鉴定了独特的基因表达谱，并且与现有发现一致。

使用深度学习模型从组织学数据中诊断癌症提出了一些挑战。这些图像中关注区域（ROI）的癌症分级和定位通常依赖于图像和像素级标签，后者需要昂贵的注释过程。深度弱监督的对象定位（WSOL）方法为深度学习模型的低成本培训提供了不同的策略。仅使用图像级注释，可以训练这些方法以对图像进行分类，并为ROI定位进行分类类激活图（CAM）。本文综述了WSOL的​​最先进的DL方法。我们提出了一种分类法，根据模型中的信息流，将这些方法分为自下而上和自上而下的方法。尽管后者的进展有限，但最近的自下而上方法目前通过深层WSOL方法推动了很多进展。早期作品的重点是设计不同的空间合并功能。但是，这些方法达到了有限的定位准确性，并揭示了一个主要限制 - 凸轮的不足激活导致了高假阴性定位。随后的工作旨在减轻此问题并恢复完整的对象。评估和比较了两个具有挑战性的组织学数据集的分类和本地化准确性，对我们的分类学方法进行了评估和比较。总体而言，结果表明定位性能差，特别是对于最初设计用于处理自然图像的通用方法。旨在解决组织学数据挑战的方法产生了良好的结果。但是，所有方法都遭受高假阳性/阴性定位的影响。在组织学中应用深WSOL方法的应用是四个关键的挑战 - 凸轮的激活下/过度激活，对阈值的敏感性和模型选择。

深度学习对组织病理学整体幻灯片图像（WSIS）的应用持有提高诊断效率和再现性，但主要取决于写入计算机代码或购买商业解决方案的能力。我们介绍了一种使用自由使用，开源软件（Qupath，DeepMib和Spenthology）的无代码管道，用于创建和部署基于深度学习的分段模型，以进行计算病理学。我们展示了从结肠粘膜中分离上皮的用例的管道。通过使用管道的主动学习开发，包括140苏木蛋白 - 曙红（HE） - 染色的WSI（HE）-SIN（HE）-SIOS和111个CD3免疫染色体活检WSIS的数据集。在36人的持有试验组上，21个CD3染色的WSIS在上皮细分上实现了96.6％的平均交叉口96.6％和95.3％。我们展示了病理学家级分割准确性和临床可接受的运行时间绩效，并显示了没有编程经验的病理学家可以仅使用自由使用软件为组织病理WSIS创建近最先进的分段解决方案。该研究进一步展示了开源解决方案的强度在其创建普遍的开放管道的能力中，其中培训的模型和预测可以无缝地以开放格式导出，从而在外部解决方案中使用。所有脚本，培训的型号，视频教程和251个WSI的完整数据集在https://github.com/andreped/nocodeSeg中公开可用，以加速在该领域的研究。

由于形态的相似性，皮肤肿瘤的组织学切片分化为个体亚型可能具有挑战性。最近，基于深度学习的方法证明了它们在这方面支持病理学家的潜力。但是，这些监督算法中的许多都需要大量的注释数据才能进行稳健开发。我们提供了一个公开可用的数据集，该数据集是七个不同的犬皮肤肿瘤的350张全滑图像，其中有13种组织学类别的12,424个多边形注释，包括7种皮肤肿瘤亚型。在评估者间实验中，我们显示了提供的标签的高稠度，尤其是对于肿瘤注释。我们通过训练深层神经网络来进一步验证数据集，以完成组织分割和肿瘤亚型分类的任务。我们的肿瘤尤其是0.7047的类平均Jaccard系数为0.7047，尤其是0.9044。对于分类，我们达到了0.9857的幻灯片级准确性。由于犬皮肤肿瘤对人肿瘤具有各种组织学同源性，因此该数据集的附加值不限于兽医病理学，而是扩展到更一般的应用领域。

组织病理学癌症诊断已经变得更加复杂，并且越来越多的活组织检查是大多数病理实验室的挑战。因此，用于评估组织病理学癌细胞的自动化方法的发展是值。在这项研究中，我们使用了来自挪威队的624个整个乳腺癌（WSIS）乳腺癌。我们提出了一种级联卷积神经网络设计，称为H2G-NET，用于千兆子宫内病理学图像的语义分割。该设计涉及使用PATCH-WISE方法的检测阶段，以及使用卷积AutoEncoder的细化阶段。为了验证设计，我们进行了一个消融研究，以评估所选组分在管道上对肿瘤分割的影响。指导分割，使用等级取样和深热敷细化，在分割组织病理学图像时被证明是有益的。当使用细化网络后，我们发现了一种显着的改进，以便后处理产生的肿瘤分割热量。整体最佳设计在90个WSIS的独立测试集中实现了0.933的骰子得分。该设计表现优于单分辨率方法，例如使用MobileNetv2（0.872）和低分辨率U-Net（0.874）的聚类引导，Patch-Wise高分辨率分类。此外，代表性X400 WSI的分割〜58秒，仅使用CPU。调查结果展示了利用细化网络来改善修补程序预测的潜力。解决方案是有效的，不需要重叠的补丁推断或合并。此外，我们表明，可以使用随机采样方案训练深度神经网络，该方案同时在多个不同的标签上余下，而无需在磁盘上存储斑块。未来的工作应涉及更有效的补丁生成和采样，以及改进的聚类。

针对组织病理学图像数据的临床决策支持主要侧重于强烈监督的注释，这提供了直观的解释性，但受专业表现的束缚。在这里，我们提出了一种可解释的癌症复发预测网络（Ecarenet），并表明没有强注释的端到端学习提供最先进的性能，而可以通过注意机制包括可解释性。在前列腺癌生存预测的用例上，使用14,479个图像和仅复发时间作为注释，我们在验证集中达到0.78的累积动态AUC，与专家病理学家（以及在单独测试中的AUC为0.77放）。我们的模型是良好的校准，输出生存曲线以及每位患者的风险分数和群体。利用多实例学习层的注意重量，我们表明恶性斑块对预测的影响较高，从而提供了对预测的直观解释。我们的代码可在www.github.com/imsb-uke/ecarenet上获得。

在这项研究中，将放射学方法扩展到用于组织分类的光学荧光分子成像数据，称为“验光”。荧光分子成像正在出现在头颈部鳞状细胞癌（HNSCC）切除期间的精确手术引导。然而，肿瘤到正常的组织对比与靶分子表皮生长因子受体（EGFR）的异质表达的内在生理局限性混淆。验光学试图通过探测荧光传达的EGFR表达中的质地模式差异来改善肿瘤识别。从荧光图像样品中提取了总共1,472个标准化的验光特征。涉及支持矢量机分类器的监督机器学习管道接受了25个顶级功能的培训，这些功能由最小冗余最大相关标准选择。通过将切除组织的图像贴片分类为组织学确认的恶性肿瘤状态，将模型预测性能与荧光强度阈值方法进行了比较。与荧光强度阈值方法相比，验光方法在所有测试集样品中提供了一致的预测准确性（无剂量）（平均精度为89％vs. 81％； P = 0.0072）。改进的性能表明，将放射线学方法扩展到荧光分子成像数据为荧光引导手术中的癌症检测提供了有希望的图像分析技术。

药物重新利用可以加速鉴定有效化合物用于针对SARS-COV-2的临床使用，并具有先前存在的临床安全数据和已建立的供应链的优势。 RNA病毒（例如SARS-COV-2）操纵细胞途径并诱导亚细胞结构的重组以支持其生命周期。可以使用生物成像技术来量化这些形态学的变化。在这项工作中，我们开发了DEEMD：使用深层神经网络模型在多个实例学习框架内的计算管道，以基于对公开可用RXRX19A数据集的形态分析来确定针对SARS-COV-2有效的推定治疗方法。该数据集由SARS-COV-2未感染的细胞和受感染细胞的荧光显微镜图像组成，有或没有药物治疗。 Deemd首先提取歧视性形态学特征，以产生来自未感染和感染细胞的细胞形态特征。然后在统计模型中使用这些形态学特征，以根据与未感染细胞的相似性估算受感染细胞的应用治疗疗效。 DEEMD能够通过弱监督定位受感染的细胞，而无需任何昂贵的像素级注释。 DEEMD确定已知的SARS-COV-2抑制剂，例如Remdesivir和Aloxistatin，支持我们方法的有效性。可以在其他新兴病毒和数据集上探索DEEMD，以便将来快速识别候选抗病毒药治疗}。我们的实施可在线网络https://www.github.com/sadegh-saberian/deemd

背景：宫颈癌严重影响了女性生殖系统的健康。光学相干断层扫描（OCT）作为宫颈疾病检测的非侵入性，高分辨率成像技术。然而，OCT图像注释是知识密集型和耗时的，这阻碍了基于深度学习的分类模型的培训过程。目的：本研究旨在基于自我监督学习，开发一种计算机辅助诊断（CADX）方法来对体内宫颈OCT图像进行分类。方法：除了由卷积神经网络（CNN）提取的高电平语义特征外，建议的CADX方法利用了通过对比纹理学习来利用未标记的宫颈OCT图像的纹理特征。我们在中国733名患者的多中心临床研究中对OCT图像数据集进行了十倍的交叉验证。结果：在用于检测高风险疾病的二元分类任务中，包括高级鳞状上皮病变和宫颈癌，我们的方法实现了0.9798加号或减去0.0157的面积曲线值，灵敏度为91.17加或对于OCT图像贴片，减去4.99％，特异性为93.96加仑或减去4.72％;此外，它在测试集上的四位医学专家中表现出两种。此外，我们的方法在使用交叉形阈值投票策略的118名中国患者中达到了91.53％的敏感性和97.37％的特异性。结论：所提出的基于对比 - 学习的CADX方法表现优于端到端的CNN模型，并基于纹理特征提供更好的可解释性，其在“见和治疗”的临床协议中具有很大的潜力。

机器学习和深度学习方法对医学的计算机辅助预测成为必需的，在乳房X光检查领域也具有越来越多的应用。通常，这些算法训练，针对特定任务，例如，病变的分类或乳房X乳线图的病理学状态的预测。为了获得患者的综合视图，随后整合或组合所有针对同一任务培训的模型。在这项工作中，我们提出了一种管道方法，我们首先培训一组个人，任务特定的模型，随后调查其融合，与标准模型合并策略相反。我们使用混合患者模型的深度学习模型融合模型预测和高级功能，以在患者水平上构建更强的预测因子。为此，我们提出了一种多分支深度学习模型，其跨不同任务和乳房X光检查有效地融合了功能，以获得全面的患者级预测。我们在公共乳房X线摄影数据，即DDSM及其策划版本CBIS-DDSM上培训并评估我们的全部管道，并报告AUC评分为0.962，以预测任何病变和0.791的存在，以预测患者水平对恶性病变的存在。总体而言，与标准模型合并相比，我们的融合方法将显着提高AUC得分高达0.04。此外，通过提供与放射功能相关的特定于任务的模型结果，提供了与放射性特征相关的任务特定模型结果，我们的管道旨在密切支持放射科学家的阅读工作流程。

and the CAMELYON16 Consortium IMPORTANCE Application of deep learning algorithms to whole-slide pathology images can potentially improve diagnostic accuracy and efficiency.OBJECTIVE Assess the performance of automated deep learning algorithms at detecting metastases in hematoxylin and eosin-stained tissue sections of lymph nodes of women with breast cancer and compare it with pathologists' diagnoses in a diagnostic setting.DESIGN, SETTING, AND PARTICIPANTS Researcher challenge competition (CAMELYON16) to develop automated solutions for detecting lymph node metastases (November 2015-November 2016). A training data set of whole-slide images from 2 centers in the Netherlands with (n = 110) and without (n = 160) nodal metastases verified by immunohistochemical staining were provided to challenge participants to build algorithms. Algorithm performance was evaluated in an independent test set of 129 whole-slide images (49 with and 80 without metastases). The same test set of corresponding glass slides was also evaluated by a panel of 11 pathologists with time constraint (WTC) from the Netherlands to ascertain likelihood of nodal metastases for each slide in a flexible 2-hour session, simulating routine pathology workflow, and by 1 pathologist without time constraint (WOTC).EXPOSURES Deep learning algorithms submitted as part of a challenge competition or pathologist interpretation. MAIN OUTCOMES AND MEASURESThe presence of specific metastatic foci and the absence vs presence of lymph node metastasis in a slide or image using receiver operating characteristic curve analysis. The 11 pathologists participating in the simulation exercise rated their diagnostic confidence as definitely normal, probably normal, equivocal, probably tumor, or definitely tumor. RESULTSThe area under the receiver operating characteristic curve (AUC) for the algorithms ranged from 0.556 to 0.994. The top-performing algorithm achieved a lesion-level, true-positive fraction comparable with that of the pathologist WOTC (72.4% [95% CI, 64.3%-80.4%]) at a mean of 0.0125 false-positives per normal whole-slide image. For the whole-slide image classification task, the best algorithm (AUC, 0.994 [95% CI, 0.983-0.999]) performed significantly better than the pathologists WTC in a diagnostic simulation (mean AUC, 0.810 [range, 0.738-0.884]; P < .001). The top 5 algorithms had a mean AUC that was comparable with the pathologist interpreting the slides in the absence of time constraints (mean AUC, 0.960 [range, 0.923-0.994] for the top 5 algorithms vs 0.966 [95% CI, 0.927-0.998] for the pathologist WOTC). CONCLUSIONS AND RELEVANCEIn the setting of a challenge competition, some deep learning algorithms achieved better diagnostic performance than a panel of 11 pathologists participating in a simulation exercise designed to mimic routine pathology workflow; algorithm performance was comparable with an expert pathologist interpreting whole-slide images without time constraints. Whether this appro