多个实例学习（MIL）广泛用于分析组织病理学全幻灯片图像（WSIS）。但是，现有的MIL方法不会明确地对数据分配进行建模，而仅通过训练分类器来歧视行李级或实例级决策边界。在本文中，我们提出了DGMIL：一个特征分布引导为WSI分类和阳性贴剂定位的深度MIL框架。我们没有设计复杂的判别网络体系结构，而是揭示组织病理学图像数据的固有特征分布可以作为分类的非常有效的指南。我们提出了一种集群条件的特征分布建模方法和基于伪标签的迭代特征空间改进策略，以便在最终特征空间中，正面和负面实例可以轻松分离。 CamelyOn16数据集和TCGA肺癌数据集的实验表明，我们的方法为全球分类和阳性贴剂定位任务提供了新的SOTA。

组织病理学图像包含丰富的表型信息和病理模式，这是疾病诊断的黄金标准，对于预测患者预后和治疗结果至关重要。近年来，在临床实践中迫切需要针对组织病理学图像的计算机自动化分析技术，而卷积神经网络代表的深度学习方法已逐渐成为数字病理领域的主流。但是，在该领域获得大量细粒的注释数据是一项非常昂贵且艰巨的任务，这阻碍了基于大量注释数据的传统监督算法的进一步开发。最新的研究开始从传统的监督范式中解放出来，最有代表性的研究是基于弱注释，基于有限的注释的半监督学习范式以及基于自我监督的学习范式的弱监督学习范式的研究图像表示学习。这些新方法引发了针对注释效率的新自动病理图像诊断和分析。通过对130篇论文的调查，我们对从技术和方法论的角度来看，对计算病理学领域中有关弱监督学习，半监督学习以及自我监督学习的最新研究进行了全面的系统综述。最后，我们提出了这些技术的关键挑战和未来趋势。

肺癌治疗中有针对性疗法的标准诊断程序涉及组织学亚型和随后检测关键驱动因素突变，例如EGFR。即使分子分析可以发现驱动器突变，但该过程通常很昂贵且耗时。深度学习的图像分析为直接从整个幻灯片图像（WSIS）直接发现驱动器突变提供了一种更经济的替代方法。在这项工作中，我们使用具有弱监督的自定义深度学习管道来鉴定苏木精和曙红染色的WSI的EGFR突变的形态相关性，此外还可以检测到肿瘤和组织学亚型。我们通过对两个肺癌数据集进行严格的实验和消融研究来证明管道的有效性-TCGA和来自印度的私人数据集。通过管道，我们在肿瘤检测下达到了曲线（AUC）的平均面积（AUC），在TCGA数据集上的腺癌和鳞状细胞癌之间的组织学亚型为0.942。对于EGFR检测，我们在TCGA数据集上的平均AUC为0.864，印度数据集的平均AUC为0.783。我们的关键学习点包括以下内容。首先，如果要在目标数据集中微调特征提取器，则使用对组织学训练的特征提取器层没有特别的优势。其次，选择具有较高细胞的斑块，大概是捕获肿瘤区域，并不总是有帮助的，因为疾病类别的迹象可能存在于肿瘤 - 肿瘤的基质中。

多实例学习（MIL）是整个幻灯片图像（WSI）分类的关键算法。组织学WSIS可以具有数十亿像素，它创造了巨大的计算和注释挑战。通常，这种图像被分成一组贴片（一袋实例），其中仅提供袋级类标签。基于深度学习的MIL方法使用卷积神经网络（CNN）计算实例特征。我们所提出的方法也是基于深度学习的，随着以下两项贡献例如，肿瘤等级可以取决于WSI中不同位置的几种特定模式的存在，这需要考虑贴片之间的依赖性。其次，我们提出了基于实例伪标签的实例 - 明智函数。我们将所提出的算法与多个基线方法进行比较，在熊猫挑战数据集上评估它，该数据集是超过11K图像的最大可用的WSI数据集，并展示最先进的结果。

多个实例学习（MIL）是对诊断病理学的整个幻灯片图像（WSI）进行分类的强大方法。 MIL对WSI分类的基本挑战是发现触发袋子标签的\ textit {critical Instances}。但是，先前的方法主要是在独立和相同的分布假设（\ textit {i.i.d}）下设计的，忽略了肿瘤实例或异质性之间的相关性。在本文中，我们提出了一种新颖的基于多重检测的多重实例学习（MDMIL）来解决上述问题。具体而言，MDMIL是由内部查询产生模块（IQGM）和多重检测模块（MDM）构建的，并在训练过程中基于内存的对比度损失的辅助。首先，IQGM给出了实例的概率，并通过在分布分析后汇总高度可靠的功能来为后续MDM生成内部查询（IQ）。其次，在MDM中，多重检测交叉注意（MDCA）和多头自我注意力（MHSA）合作以生成WSI的最终表示形式。在此过程中，智商和可训练的变异查询（VQ）成功建立了实例之间的联系，并显着提高了模型对异质肿瘤的鲁棒性。最后，为了进一步在特征空间中实施限制并稳定训练过程，我们采用基于内存的对比损失，即使在每次迭代中有一个样本作为输入，也可以实现WSI分类。我们对三个计算病理数据集进行实验，例如CamelyOn16，TCGA-NSCLC和TCGA-RCC数据集。优越的准确性和AUC证明了我们提出的MDMIL比其他最先进方法的优越性。

整个幻灯片图像（WSI）分类是诊断和治疗疾病的基本任务；但是，精确标签的策划是耗时的，并限制了完全监督的方法的应用。为了解决这个问题，多个实例学习（MIL）是一种流行的方法，它仅使用幻灯片级标签作为一个弱监督的学习任务。尽管当前的MIL方法将注意机制的变体应用于具有更强模型的重量实例特征，但注意力不足是对数据分布的属性的不足。在这项工作中，我们建议通过使用Max-Instance（关键）功能的统计数据来重新校准WSI袋（实例）的分布。我们假设在二进制MIL中，正面袋的特征幅度大于负面，因此我们可以强制执行该模型，以最大程度地利用公制特征损失的袋子之间的差异，该袋子将正面袋模型为未分布。为了实现这一目标，与使用单批训练模式的现有MIL方法不同，我们建议平衡批次采样以有效地使用功能丢失，即同时（+/-）袋子。此外，我们采用编码模块（PEM）的位置来建模空间/形态信息，并通过变压器编码器通过多头自我注意（PSMA）进行汇总。现有基准数据集的实验结果表明我们的方法是有效的，并且对最先进的MIL方法有所改善。

多实例学习（MIL）是一种强大的工具，可以解决基于整个滑动图像（WSI）的病理学诊断中的弱监督分类。然而，目前的MIL方法通常基于独立和相同的分布假设，从而忽略不同实例之间的相关性。为了解决这个问题，我们提出了一个被称为相关的MIL的新框架，并提供了融合证明。基于此框架，我们设计了一种基于变压器的MIL（TMARMIL），其探讨了形态和空间信息。所提出的传输可以有效地处理不平衡/平衡和二元/多重分类，具有良好的可视化和可解释性。我们对三种不同的计算病理问题进行了各种实验，与最先进的方法相比，实现了更好的性能和更快的会聚。在CAMELYON16数据集中的二进制肿瘤分类的测试AUC最高可达93.09％。在TCGA-NSCLC数据集和TCGA-RCC数据集中，癌症亚型分类的AUC分别可以高达96.03％和98.82％。实现可用于：https://github.com/szc19990412/transmil。

在病理样本的全坡度图像（WSI）中注释癌区域在临床诊断，生物医学研究和机器学习算法开发中起着至关重要的作用。但是，产生详尽而准确的注释是劳动密集型，具有挑战性和昂贵的。仅绘制粗略和近似注释是一项容易得多的任务，成本较小，并且可以减轻病理学家的工作量。在本文中，我们研究了在数字病理学中完善这些近似注释以获得更准确的问题的问题。以前的一些作品探索了从这些不准确的注释中获得机器学习模型，但是很少有人解决改进问题，在这些问题中，应该明确识别和纠正错误标签的区域，并且所有这些都需要大量的培训样本（通常很大） 。我们提出了一种名为标签清洁多个实例学习（LC-MIL）标签的方法，可在不需要外部培训数据的情况下对单个WSI进行粗略注释。从WSI裁剪的带有不准确标签的贴片在多个实例学习框架内共同处理，从而减轻了它们对预测模型的影响并完善分割。我们对具有乳腺癌淋巴结转移，肝癌和结直肠癌样品的异质WSI进行的实验表明，LC-MIL显着完善了粗糙的注释，即使从单个幻灯片中学习，LC-MIL也优于最先进的替代方案。此外，我们证明了拟议方法如何有效地完善和改进病理学家绘制的真实注释。所有这些结果表明，LC-MIL是一种有前途的，轻巧的工具，可提供从粗糙注释的病理组中提供细粒的注释。

Learning good representation of giga-pixel level whole slide pathology images (WSI) for downstream tasks is critical. Previous studies employ multiple instance learning (MIL) to represent WSIs as bags of sampled patches because, for most occasions, only slide-level labels are available, and only a tiny region of the WSI is disease-positive area. However, WSI representation learning still remains an open problem due to: (1) patch sampling on a higher resolution may be incapable of depicting microenvironment information such as the relative position between the tumor cells and surrounding tissues, while patches at lower resolution lose the fine-grained detail; (2) extracting patches from giant WSI results in large bag size, which tremendously increases the computational cost. To solve the problems, this paper proposes a hierarchical-based multimodal transformer framework that learns a hierarchical mapping between pathology images and corresponding genes. Precisely, we randomly extract instant-level patch features from WSIs with different magnification. Then a co-attention mapping between imaging and genomics is learned to uncover the pairwise interaction and reduce the space complexity of imaging features. Such early fusion makes it computationally feasible to use MIL Transformer for the survival prediction task. Our architecture requires fewer GPU resources compared with benchmark methods while maintaining better WSI representation ability. We evaluate our approach on five cancer types from the Cancer Genome Atlas database and achieved an average c-index of $0.673$, outperforming the state-of-the-art multimodality methods.

Prostate cancer is the most common cancer in men worldwide and the second leading cause of cancer death in the United States. One of the prognostic features in prostate cancer is the Gleason grading of histopathology images. The Gleason grade is assigned based on tumor architecture on Hematoxylin and Eosin (H&E) stained whole slide images (WSI) by the pathologists. This process is time-consuming and has known interobserver variability. In the past few years, deep learning algorithms have been used to analyze histopathology images, delivering promising results for grading prostate cancer. However, most of the algorithms rely on the fully annotated datasets which are expensive to generate. In this work, we proposed a novel weakly-supervised algorithm to classify prostate cancer grades. The proposed algorithm consists of three steps: (1) extracting discriminative areas in a histopathology image by employing the Multiple Instance Learning (MIL) algorithm based on Transformers, (2) representing the image by constructing a graph using the discriminative patches, and (3) classifying the image into its Gleason grades by developing a Graph Convolutional Neural Network (GCN) based on the gated attention mechanism. We evaluated our algorithm using publicly available datasets, including TCGAPRAD, PANDA, and Gleason 2019 challenge datasets. We also cross validated the algorithm on an independent dataset. Results show that the proposed model achieved state-of-the-art performance in the Gleason grading task in terms of accuracy, F1 score, and cohen-kappa. The code is available at https://github.com/NabaviLab/Prostate-Cancer.

Gigapixel全斜面图像（WSIS）上的癌症预后一直是一项艰巨的任务。大多数现有方法仅着眼于单分辨率图像。利用图像金字塔增强WSI视觉表示的多分辨率方案尚未得到足够的关注。为了探索用于提高癌症预后准确性的多分辨率解决方案，本文提出了双流构建结构，以通过图像金字塔策略对WSI进行建模。该体系结构由两个子流组成：一个是用于低分辨率WSIS，另一个是针对高分辨率的WSIS。与其他方法相比，我们的方案具有三个亮点：（i）流和分辨率之间存在一对一的关系； （ii）添加了一个平方池层以对齐两个分辨率流的斑块，从而大大降低了计算成本并启用自然流特征融合； （iii）提出了一种基于跨注意的方法，以在低分辨率的指导下在空间上在空间上进行高分辨率斑块。我们验证了三个公共可用数据集的计划，来自1,911名患者的总数为3,101个WSI。实验结果验证（1）层次双流表示比单流的癌症预后更有效，在单个低分辨率和高分辨率流中，平均C-指数上升为5.0％和1.8％ ; （2）我们的双流方案可以胜过当前最新方案，而C-Index的平均平均值为5.1％； （3）具有可观察到的生存差异的癌症疾病可能对模型复杂性具有不同的偏好。我们的计划可以作为进一步促进WSI预后研究的替代工具。

随着计算病理学的发展，通过整个幻灯片图像（WSIS）的Gleason评分的深度学习方法具有良好的前景。由于WSIS的大小非常大，因此图像标签通常仅包含幻灯片级标签或有限的像素级标签。当前的主流方法采用了多个实体学习来预测格里森等级。但是，某些方法仅考虑幻灯片级标签，忽略了包含丰富本地信息的有限像素级标签。此外，考虑到像素级标签的另外方法忽略了像素级标签的不准确性。为了解决这些问题，我们根据多个实例学习框架提出了一个混合监督变压器。该模型同时使用幻灯片级标签和实例级别标签，以在幻灯片级别实现更准确的Gleason分级。通过在混合监督培训过程中引入有效的随机掩盖策略，进一步降低了实例级标签的影响。我们在SICAPV2数据集上实现了最新性能，视觉分析显示了实例级别的准确预测结果。源代码可从https://github.com/bianhao123/mixed_supervision获得。

病理诊所中癌症的诊断，预后和治疗性决策现在可以基于对多吉吉像素组织图像的分析，也称为全斜图像（WSIS）。最近，已经提出了深层卷积神经网络（CNN）来得出无监督的WSI表示。这些很有吸引力，因为它们不太依赖于繁琐的专家注释。但是，一个主要的权衡是，较高的预测能力通常以解释性为代价，这对他们的临床使用构成了挑战，通常通常期望决策中的透明度。为了应对这一挑战，我们提出了一个基于Deep CNN的手工制作的框架，用于构建整体WSI级表示。基于有关变压器在自然语言处理领域的内部工作的最新发现，我们将其过程分解为一个更透明的框架，我们称其为手工制作的组织学变压器或H2T。基于我们涉及各种数据集的实验，包括总共5,306个WSI，结果表明，与最近的最新方法相比，基于H2T的整体WSI级表示具有竞争性能，并且可以轻松用于各种下游分析任务。最后，我们的结果表明，H2T框架的最大14倍，比变压器模型快14倍。

具有多吉吉像素的组织学图像产生了丰富的信息，以用于癌症诊断和预后。在大多数情况下，只能使用幻灯片级标签，因为像素的注释是劳动密集型任务。在本文中，我们提出了一条深度学习管道，以进行组织学图像中的分类。使用多个实例学习，我们试图预测基于降血石蛋白和曙红蛋白（H＆E）组织学图像的鼻咽癌（NPC）的潜在膜蛋白1（LMP1）状态。我们利用了与聚合层保持剩余连接的注意机制。在我们的3倍交叉验证实验中，我们分别达到了平均准确性，AUC和F1得分为0.936、0.995和0.862。这种方法还使我们能够通过可视化注意力评分来检查模型的可解释性。据我们所知，这是使用深度学习预测NPC上LMP1状态的首次尝试。

数字整体幻灯片图像包含大量信息，为开发自动图像分析工具提供了强大的动力。在数字病理领域的各种任务方面，特别是深层神经网络具有很高的潜力。但是，典型的深度学习算法除了大量图像数据之外还需要（手动）注释以实现有效的培训，这是一个限制。多个实例学习在没有完全注释的数据的情况下展示了一个强大的工具，可在情况下学习深神网络。这些方法在该域中特别有效，因为通常通常会捕获完整的整个幻灯片图像的标签，而用于斑块，区域或像素的标签则没有。这种潜力已经导致大量出版物，在过去三年中发表了多数。除了从医学的角度使用数据的可用性和高度动机外，功能强大的图形处理单元的可用性在该领域表现出加速器。在本文中，我们概述了广泛有效地使用了使用的深层实例学习方法，最新进展以及批判性地讨论剩余挑战和未来潜力的概念。

人们普遍认为，污渍差异引起的颜色变化是组织病理学图像分析的关键问题。现有方法采用颜色匹配，染色分离，污渍转移或它们的组合以减轻污渍变化问题。在本文中，我们提出了一种用于组织病理学图像分析的新型染色自适应自我监督学习（SASSL）方法。我们的SASSL将一个域 - 交流训练模块集成到SSL框架中，以学习独特的特征，这些功能对各种转换和污渍变化都具有鲁棒性。所提出的SASSL被视为域不变特征提取的一般方法，可以通过对特定下游任务的特征进行细微调整特征来灵活地与任意下游组织病理学图像分析模块（例如核/组织分割）结合。我们进行了有关公开可用的病理图像分析数据集的实验，包括熊猫，乳腺癌和camelyon16数据集，以实现最先进的性能。实验结果表明，所提出的方法可以鲁棒地提高模型的特征提取能力，并在下游任务中实现稳定的性能改善。

Weakly supervised video anomaly detection aims to identify abnormal events in videos using only video-level labels. Recently, two-stage self-training methods have achieved significant improvements by self-generating pseudo labels and self-refining anomaly scores with these labels. As the pseudo labels play a crucial role, we propose an enhancement framework by exploiting completeness and uncertainty properties for effective self-training. Specifically, we first design a multi-head classification module (each head serves as a classifier) with a diversity loss to maximize the distribution differences of predicted pseudo labels across heads. This encourages the generated pseudo labels to cover as many abnormal events as possible. We then devise an iterative uncertainty pseudo label refinement strategy, which improves not only the initial pseudo labels but also the updated ones obtained by the desired classifier in the second stage. Extensive experimental results demonstrate the proposed method performs favorably against state-of-the-art approaches on the UCF-Crime, TAD, and XD-Violence benchmark datasets.

提出了一种新的基于多关注的MIL问题（MIMIL）的方法，其考虑了袋子中的每个分析的贴片的邻近补丁或情况。在该方法中，关注模块之一考虑了相邻的补丁或实例，使用了几个注意力模块来获取各种特征表示的补丁，并且一个注意模块用于组合不同的特征表示，以提供每个补丁的准确分类（实例）和整袋。由于妈妈，实现了以小规模的嵌入形式的斑块和邻居的组合表示，用于简单分类。此外，实现了不同类型的贴片，并有效地处理了通过使用几种注意力模块的袋中贴片的不同特征表示。提出了一种简单的解释贴片分类预测的方法。各种数据集的数值实验说明了所提出的方法。

由于其弱监督性，多个实例学习（MIL）在许多现实生活中的机器学习应用中都获得了受欢迎程度。但是，解释MIL滞后的相应努力，通常仅限于提出对特定预测至关重要的袋子的实例。在本文中，我们通过引入Protomil，这是一种新型的自我解释的MIL方法，该方法受到基于案例的推理过程的启发，该方法是基于案例的推理过程，该方法在视觉原型上运行。由于将原型特征纳入对象描述中，Protomil空前加入了模型的准确性和细粒度的可解释性，我们在五个公认的MIL数据集上进行了实验。

局部表示学习是促进组织病理学整体幻灯片图像分析的性能的关键挑战。先前的表示学习方法遵循监督学习范式。但是，大规模WSIS的手动注释是耗时且劳动力密集的。因此，自我监督的对比学习最近引起了密集的关注。目前的对比学习方法将每个样本视为一个类别，这遭受了类碰撞问题，尤其是在组织病理学图像分析的领域。在本文中，我们提出了一个新颖的对比表示学习框架，称为病变感染对比学习（LACL），用于组织病理学整个幻灯片图像分析。我们基于内存库结构建立了病变队列，以存储不同类别WSIS的表示形式，这使对比模型可以在训练过程中选择性定义负面对。此外，我们设计了一个队列改进策略，以净化病变队列中存储的表示形式。实验结果表明，LACL在不同数据集上学习在组织病理学图像表示学习中的最佳性能，并且在不同的WSI分类基准下的最先进方法优于最先进的方法。该代码可在https://github.com/junl21/lacl上获得。