具有多吉吉像素的组织学图像产生了丰富的信息，以用于癌症诊断和预后。在大多数情况下，只能使用幻灯片级标签，因为像素的注释是劳动密集型任务。在本文中，我们提出了一条深度学习管道，以进行组织学图像中的分类。使用多个实例学习，我们试图预测基于降血石蛋白和曙红蛋白（H＆E）组织学图像的鼻咽癌（NPC）的潜在膜蛋白1（LMP1）状态。我们利用了与聚合层保持剩余连接的注意机制。在我们的3倍交叉验证实验中，我们分别达到了平均准确性，AUC和F1得分为0.936、0.995和0.862。这种方法还使我们能够通过可视化注意力评分来检查模型的可解释性。据我们所知，这是使用深度学习预测NPC上LMP1状态的首次尝试。

Multiple instance learning (MIL) is a variation of supervised learning where a single class label is assigned to a bag of instances. In this paper, we state the MIL problem as learning the Bernoulli distribution of the bag label where the bag label probability is fully parameterized by neural networks. Furthermore, we propose a neural network-based permutation-invariant aggregation operator that corresponds to the attention mechanism. Notably, an application of the proposed attention-based operator provides insight into the contribution of each instance to the bag label. We show empirically that our approach achieves comparable performance to the best MIL methods on benchmark MIL datasets and it outperforms other methods on a MNIST-based MIL dataset and two real-life histopathology datasets without sacrificing interpretability.

由于其弱监督性，多个实例学习（MIL）在许多现实生活中的机器学习应用中都获得了受欢迎程度。但是，解释MIL滞后的相应努力，通常仅限于提出对特定预测至关重要的袋子的实例。在本文中，我们通过引入Protomil，这是一种新型的自我解释的MIL方法，该方法受到基于案例的推理过程的启发，该方法是基于案例的推理过程，该方法在视觉原型上运行。由于将原型特征纳入对象描述中，Protomil空前加入了模型的准确性和细粒度的可解释性，我们在五个公认的MIL数据集上进行了实验。

肺癌治疗中有针对性疗法的标准诊断程序涉及组织学亚型和随后检测关键驱动因素突变，例如EGFR。即使分子分析可以发现驱动器突变，但该过程通常很昂贵且耗时。深度学习的图像分析为直接从整个幻灯片图像（WSIS）直接发现驱动器突变提供了一种更经济的替代方法。在这项工作中，我们使用具有弱监督的自定义深度学习管道来鉴定苏木精和曙红染色的WSI的EGFR突变的形态相关性，此外还可以检测到肿瘤和组织学亚型。我们通过对两个肺癌数据集进行严格的实验和消融研究来证明管道的有效性-TCGA和来自印度的私人数据集。通过管道，我们在肿瘤检测下达到了曲线（AUC）的平均面积（AUC），在TCGA数据集上的腺癌和鳞状细胞癌之间的组织学亚型为0.942。对于EGFR检测，我们在TCGA数据集上的平均AUC为0.864，印度数据集的平均AUC为0.783。我们的关键学习点包括以下内容。首先，如果要在目标数据集中微调特征提取器，则使用对组织学训练的特征提取器层没有特别的优势。其次，选择具有较高细胞的斑块，大概是捕获肿瘤区域，并不总是有帮助的，因为疾病类别的迹象可能存在于肿瘤 - 肿瘤的基质中。

提出了一种新的基于多关注的MIL问题（MIMIL）的方法，其考虑了袋子中的每个分析的贴片的邻近补丁或情况。在该方法中，关注模块之一考虑了相邻的补丁或实例，使用了几个注意力模块来获取各种特征表示的补丁，并且一个注意模块用于组合不同的特征表示，以提供每个补丁的准确分类（实例）和整袋。由于妈妈，实现了以小规模的嵌入形式的斑块和邻居的组合表示，用于简单分类。此外，实现了不同类型的贴片，并有效地处理了通过使用几种注意力模块的袋中贴片的不同特征表示。提出了一种简单的解释贴片分类预测的方法。各种数据集的数值实验说明了所提出的方法。

头部和颈部鳞状细胞癌（HNSCC）的病因涉及多种致癌物，例如酒精，烟草和人乳头瘤病毒（HPV）。由于HPV感染会影响HNSCC患者的预后，治疗和存活，因此确定这些肿瘤的HPV状态很重要。在本文中，我们提出了一个新颖的三胞胎级损耗函数和HPV状态预测的多个实例学习管道。这仅使用两个HNSCC同类群体上的常规H＆E染色WSI，在HPV检测中实现了新的最新性能。此外，还进行了全面的肿瘤微环境分析，从基因组，免​​疫学和细胞角度来看，HPV +/- HNSCC之间的独特模式。鉴定了与巨噬细胞和结缔细胞（例如成纤维细胞）（例如，成纤维细胞）（例如，成纤维细胞）与T细胞不同亚型（例如T细胞，CD8+ T细胞）的正类型的正相关性，这与临床发现一致。还针对HPV感染状态鉴定了独特的基因表达谱，并且与现有发现一致。

乳腺癌是女性最常见的恶性肿瘤，每年负责超过50万人死亡。因此，早期和准确的诊断至关重要。人类专业知识是诊断和正确分类乳腺癌并定义适当的治疗，这取决于评价不同生物标志物如跨膜蛋白受体HER2的表达。该评估需要几个步骤，包括免疫组织化学或原位杂交等特殊技术，以评估HER2状态。通过降低诊断中的步骤和人类偏差的次数的目标，赫洛挑战是组织的，作为第16届欧洲数字病理大会的并行事件，旨在自动化仅基于苏木精和曙红染色的HER2地位的评估侵袭性乳腺癌的组织样本。评估HER2状态的方法是在全球21个团队中提出的，并通过一些提议的方法实现了潜在的观点，以推进最先进的。

Prostate cancer is the most common cancer in men worldwide and the second leading cause of cancer death in the United States. One of the prognostic features in prostate cancer is the Gleason grading of histopathology images. The Gleason grade is assigned based on tumor architecture on Hematoxylin and Eosin (H&E) stained whole slide images (WSI) by the pathologists. This process is time-consuming and has known interobserver variability. In the past few years, deep learning algorithms have been used to analyze histopathology images, delivering promising results for grading prostate cancer. However, most of the algorithms rely on the fully annotated datasets which are expensive to generate. In this work, we proposed a novel weakly-supervised algorithm to classify prostate cancer grades. The proposed algorithm consists of three steps: (1) extracting discriminative areas in a histopathology image by employing the Multiple Instance Learning (MIL) algorithm based on Transformers, (2) representing the image by constructing a graph using the discriminative patches, and (3) classifying the image into its Gleason grades by developing a Graph Convolutional Neural Network (GCN) based on the gated attention mechanism. We evaluated our algorithm using publicly available datasets, including TCGAPRAD, PANDA, and Gleason 2019 challenge datasets. We also cross validated the algorithm on an independent dataset. Results show that the proposed model achieved state-of-the-art performance in the Gleason grading task in terms of accuracy, F1 score, and cohen-kappa. The code is available at https://github.com/NabaviLab/Prostate-Cancer.

由于其在生物医学领域中的重要性，因此对癌症的早期发现进行了广泛的探索。在用于回答这个生物学问题的不同类型的数据中，由于对宿主免疫系统在肿瘤生物学中的作用的增长，基于T细胞受体（TCR）的研究受到了最近的关注。但是，患者和多个TCR序列之间的一对一对应关系阻碍了研究人员简单地采用经典的统计/机器学习方法。最近有尝试在多个实例学习（MIL）的上下文中对这种类型的数据进行建模。尽管使用TCR序列将MIL在癌症检测中采用了新的应用，并且在几种肿瘤类型中表现出了足够的表现，但仍然有改善的空间，尤其是对于某些癌症类型。此外，该应用程序未对可解释的神经网络模型进行全面研究。在本文中，我们提出了基于稀疏注意（Minn-SA）的多个实例神经网络，以增强癌症检测和解释性的性能。稀疏的注意力结构在每个袋子中散发出非信息的实例，可以与跳过连接结合使用可解释性和更好的预测性能。我们的实验表明，与现有的MIL方法相比，Minn-SA在ROC曲线（AUC）得分下的最高面积（AUC）得分平均得分。此外，我们从估计的注意力中观察到Minn-SA可以鉴定出对同一T细胞库中肿瘤抗原的特异性TCR。

多实例学习（MIL）是一种强大的工具，可以解决基于整个滑动图像（WSI）的病理学诊断中的弱监督分类。然而，目前的MIL方法通常基于独立和相同的分布假设，从而忽略不同实例之间的相关性。为了解决这个问题，我们提出了一个被称为相关的MIL的新框架，并提供了融合证明。基于此框架，我们设计了一种基于变压器的MIL（TMARMIL），其探讨了形态和空间信息。所提出的传输可以有效地处理不平衡/平衡和二元/多重分类，具有良好的可视化和可解释性。我们对三种不同的计算病理问题进行了各种实验，与最先进的方法相比，实现了更好的性能和更快的会聚。在CAMELYON16数据集中的二进制肿瘤分类的测试AUC最高可达93.09％。在TCGA-NSCLC数据集和TCGA-RCC数据集中，癌症亚型分类的AUC分别可以高达96.03％和98.82％。实现可用于：https://github.com/szc19990412/transmil。

多个实例学习（MIL）是对诊断病理学的整个幻灯片图像（WSI）进行分类的强大方法。 MIL对WSI分类的基本挑战是发现触发袋子标签的\ textit {critical Instances}。但是，先前的方法主要是在独立和相同的分布假设（\ textit {i.i.d}）下设计的，忽略了肿瘤实例或异质性之间的相关性。在本文中，我们提出了一种新颖的基于多重检测的多重实例学习（MDMIL）来解决上述问题。具体而言，MDMIL是由内部查询产生模块（IQGM）和多重检测模块（MDM）构建的，并在训练过程中基于内存的对比度损失的辅助。首先，IQGM给出了实例的概率，并通过在分布分析后汇总高度可靠的功能来为后续MDM生成内部查询（IQ）。其次，在MDM中，多重检测交叉注意（MDCA）和多头自我注意力（MHSA）合作以生成WSI的最终表示形式。在此过程中，智商和可训练的变异查询（VQ）成功建立了实例之间的联系，并显着提高了模型对异质肿瘤的鲁棒性。最后，为了进一步在特征空间中实施限制并稳定训练过程，我们采用基于内存的对比损失，即使在每次迭代中有一个样本作为输入，也可以实现WSI分类。我们对三个计算病理数据集进行实验，例如CamelyOn16，TCGA-NSCLC和TCGA-RCC数据集。优越的准确性和AUC证明了我们提出的MDMIL比其他最先进方法的优越性。

已经开发了几种深度学习算法，以使用整个幻灯片图像（WSIS）预测癌症患者的存活。但是，WSI中与患者的生存和疾病进展有关的WSI中的图像表型对临床医生而言都是困难的，以及深度学习算法。用于生存预测的大多数基于深度学习的多个实例学习（MIL）算法使用顶级实例（例如Maxpooling）或顶级/底部实例（例如，Mesonet）来识别图像表型。在这项研究中，我们假设WSI中斑块得分分布的全面信息可以更好地预测癌症的生存。我们开发了一种基于分布的多构度生存学习算法（DeepDismisl）来验证这一假设。我们使用两个大型国际大型癌症WSIS数据集设计和执行实验-MCO CRC和TCGA Coad -Read。我们的结果表明，有关WSI贴片分数的分布的信息越多，预测性能越好。包括每个选定分配位置（例如百分位数）周围的多个邻域实例可以进一步改善预测。与最近发表的最新算法相比，DeepDismisl具有优越的预测能力。此外，我们的算法是可以解释的，可以帮助理解癌症形态表型与癌症生存风险之间的关系。

我们提出了一种基于深度多实例学习的简单高效的图像分类架构，并将其应用于牙科射线照片中龋齿检测的具有挑战性的任务。从技术上讲，我们的方法有两种方式贡献：首先，尽管使用弱图像级标签培训，它尽管培训了本地补丁分类概率的热线图。其次，它可以从分段标签学习，从而指导培训。与现有方法相比，人类用户可以忠实地解释预测并与模型进行交互以决定参加哪些区域。实验是在$ \ SIM $ 38K Bitewings（$ \ SIM $ 316K牙齿）的大型临床数据集上进行的，在那里我们与各种基线相比实现了竞争性能。当由外部龋齿分割模型引导时，观察到分类和定位性能的显着改善。

多实例学习（MIL）是一种弱监督的学习，其中，具有未知标签的多个数据实例被分类为袋子。由于关于各个实例的知识不完整，因此将标签分配给包含该实例的袋子。虽然该方法适合不同的应用程序被标记为数据稀缺，但是缺乏求解更复杂的场景的深度，其中必须进行一组实例之间的关联，例如在一组时间序列中找到图像或检测事件的相关区域信号。嵌套MIL认为袋中有标记的袋子，其中只有最外侧袋被标记，内部袋子和实例表示为潜在标签。此外，我们提出了使用注意机制来增加解释性，从而提高对每个实例的影响到弱袋标签。古典图像数据集中的实验表明，我们的提出模型提供了高精度的性能以及在图像区域上发现相关实例。

在病理样本的全坡度图像（WSI）中注释癌区域在临床诊断，生物医学研究和机器学习算法开发中起着至关重要的作用。但是，产生详尽而准确的注释是劳动密集型，具有挑战性和昂贵的。仅绘制粗略和近似注释是一项容易得多的任务，成本较小，并且可以减轻病理学家的工作量。在本文中，我们研究了在数字病理学中完善这些近似注释以获得更准确的问题的问题。以前的一些作品探索了从这些不准确的注释中获得机器学习模型，但是很少有人解决改进问题，在这些问题中，应该明确识别和纠正错误标签的区域，并且所有这些都需要大量的培训样本（通常很大） 。我们提出了一种名为标签清洁多个实例学习（LC-MIL）标签的方法，可在不需要外部培训数据的情况下对单个WSI进行粗略注释。从WSI裁剪的带有不准确标签的贴片在多个实例学习框架内共同处理，从而减轻了它们对预测模型的影响并完善分割。我们对具有乳腺癌淋巴结转移，肝癌和结直肠癌样品的异质WSI进行的实验表明，LC-MIL显着完善了粗糙的注释，即使从单个幻灯片中学习，LC-MIL也优于最先进的替代方案。此外，我们证明了拟议方法如何有效地完善和改进病理学家绘制的真实注释。所有这些结果表明，LC-MIL是一种有前途的，轻巧的工具，可提供从粗糙注释的病理组中提供细粒的注释。

多个实例学习（MIL）方法在数字病理学中对GIGA像素大小的全型图像（WSI）进行分类变得越来越流行。大多数MIL方法通过处理所有组织斑块，以单个WSI放大倍率运行。这样的公式诱导了高计算要求，并将WSI级表示的上下文化限制为单个量表。一些MIL方法扩展到多个量表，但在计算上要求更高。在本文中，受病理诊断过程的启发，我们提出了Zoommil，该方法学会了以端到端的方式执行多层缩放。Zoommil通过从多个增强元中汇总组织信息来构建WSI表示。所提出的方法在两个大数据集上的WSI分类中优于最先进的MIL方法，同时大大降低了关于浮点操作（FLOPS）和处理时间的计算需求，最高为40倍。

目的：开发和验证基于临床阴性ALN的早期乳腺癌（EBC）术后预测腋窝淋巴结（ALN）转移的深度学习（DL）的主要肿瘤活检签名。方法：从2010年5月到2020年5月，共注册了1,058名具有病理证实ALN状态的eBC患者。基于关注的多实例学习（AMIL）框架，建立了一种DL核心针活检（DL-CNB）模型利用DL特征预测ALN状态，该DL特征从两位病理学家注释的乳腺CNB样本的数字化全幻灯片（WSIS）的癌症区域提取。分析了准确性，灵敏度，特异性，接收器操作特征（ROC）曲线和ROC曲线（AUC）下的区域进行评估，评估我们的模型。结果：具有VGG16_BN的最佳性DL-CNB模型作为特征提取器实现了0.816的AUC（95％置信区间（CI）：0.758,0.865），以预测独立测试队列的阳性Aln转移。此外，我们的模型包含称为DL-CNB + C的临床数据，得到了0.831的最佳精度（95％CI：0.775,0.878），特别是对于50岁以下的患者（AUC：0.918,95％CI： 0.825,0.971）。 DL-CNB模型的解释表明，最高度预测ALN转移的顶部签名的特征在于包括密度（$ P $ 0.015），周长（$ P $ 0.009），循环（$ P $ = 0.010）和方向（$ p $ = 0.012）。结论：我们的研究提供了一种基于DL的基于DL的生物标志物在原发性肿瘤CNB上，以预先验证EBC患者的术前预测ALN的转移状态。

病理诊所中癌症的诊断，预后和治疗性决策现在可以基于对多吉吉像素组织图像的分析，也称为全斜图像（WSIS）。最近，已经提出了深层卷积神经网络（CNN）来得出无监督的WSI表示。这些很有吸引力，因为它们不太依赖于繁琐的专家注释。但是，一个主要的权衡是，较高的预测能力通常以解释性为代价，这对他们的临床使用构成了挑战，通常通常期望决策中的透明度。为了应对这一挑战，我们提出了一个基于Deep CNN的手工制作的框架，用于构建整体WSI级表示。基于有关变压器在自然语言处理领域的内部工作的最新发现，我们将其过程分解为一个更透明的框架，我们称其为手工制作的组织学变压器或H2T。基于我们涉及各种数据集的实验，包括总共5,306个WSI，结果表明，与最近的最新方法相比，基于H2T的整体WSI级表示具有竞争性能，并且可以轻松用于各种下游分析任务。最后，我们的结果表明，H2T框架的最大14倍，比变压器模型快14倍。

已经开发了用于预测结直肠癌（CRC）在内的临床相关生物标志物（包括微卫星不稳定性（MSI））的人工智能（AI）模型。但是，当前的深度学习网络是渴望数据的，需要大型培训数据集，这些数据集通常缺乏医疗领域。在这项研究中，基于最新的层次视觉变压器使用移位窗口（SWIN-T），我们开发了CRC中生物标志物的有效工作流程（MSI，超突击，染色体不稳定性，CPG岛甲基表型，BRAF和TP53突变）需要相对较小的数据集，但实现了最新的（SOTA）预测性能。我们的SWIN-T工作流不仅在使用TCGA-CRC-DX数据集（n = 462）的研究内交叉验证实验中大大优于已发表的模型（n = 462），而且在跨研究的外部验证中表现出极好的普遍性，并提供了SOTA AUROC使用MCO数据集进行训练（n = 1065）和相同的TCGA-CRC-DX进行测试。 Echle及其同事在同一测试数据集上使用8000个培训样本（RESNET18）实现了类似的性能（AUROC = 0.91）。 Swin-T使用小型训练数据集非常有效，并且仅使用200-500个培训样本展示出强大的预测性能。这些数据表明，Swin-T的效率可能是基于RESNET18和Shufflenet的MSI当前最新算法的效率5-10倍。此外，SWIN-T模型显示出有望作为MSI状态和BRAF突变状态的预筛查测试，可以在级联的诊断工作流程中排除和减少样品，以允许降低周转时间和节省成本。

在本研究中，我们提出了一种基于病例的新型图像检索（SIR）方法，用于苏木精和曙红（H＆E）染色的恶性淋巴瘤的组织病理学图像。当将整个幻灯片图像（WSI）用作输入查询时，希望能够通过重点关注病理上重要区域（例如肿瘤细胞）中的图像斑块来检索相似情况。为了解决这个问题，我们采用了基于注意力的多个实例学习，这使我们能够在计算案例之间的相似性时专注于肿瘤特异性区域。此外，我们采用对比度距离度量学习将免疫组织化学（IHC）染色模式纳入有用的监督信息，以定义异质性恶性淋巴瘤病例之间的适当相似性。在对249例恶性淋巴瘤患者的实验中，我们证实该方法比基线基于病例的SIR方法表现出更高的评估措施。此外，病理学家的主观评估表明，我们使用IHC染色模式的相似性度量适用于代表恶性淋巴瘤H＆E染色组织图像的相似性。