随着计算病理学的发展，通过整个幻灯片图像（WSIS）的Gleason评分的深度学习方法具有良好的前景。由于WSIS的大小非常大，因此图像标签通常仅包含幻灯片级标签或有限的像素级标签。当前的主流方法采用了多个实体学习来预测格里森等级。但是，某些方法仅考虑幻灯片级标签，忽略了包含丰富本地信息的有限像素级标签。此外，考虑到像素级标签的另外方法忽略了像素级标签的不准确性。为了解决这些问题，我们根据多个实例学习框架提出了一个混合监督变压器。该模型同时使用幻灯片级标签和实例级别标签，以在幻灯片级别实现更准确的Gleason分级。通过在混合监督培训过程中引入有效的随机掩盖策略，进一步降低了实例级标签的影响。我们在SICAPV2数据集上实现了最新性能，视觉分析显示了实例级别的准确预测结果。源代码可从https://github.com/bianhao123/mixed_supervision获得。

多实例学习（MIL）是一种强大的工具，可以解决基于整个滑动图像（WSI）的病理学诊断中的弱监督分类。然而，目前的MIL方法通常基于独立和相同的分布假设，从而忽略不同实例之间的相关性。为了解决这个问题，我们提出了一个被称为相关的MIL的新框架，并提供了融合证明。基于此框架，我们设计了一种基于变压器的MIL（TMARMIL），其探讨了形态和空间信息。所提出的传输可以有效地处理不平衡/平衡和二元/多重分类，具有良好的可视化和可解释性。我们对三种不同的计算病理问题进行了各种实验，与最先进的方法相比，实现了更好的性能和更快的会聚。在CAMELYON16数据集中的二进制肿瘤分类的测试AUC最高可达93.09％。在TCGA-NSCLC数据集和TCGA-RCC数据集中，癌症亚型分类的AUC分别可以高达96.03％和98.82％。实现可用于：https://github.com/szc19990412/transmil。

肺癌治疗中有针对性疗法的标准诊断程序涉及组织学亚型和随后检测关键驱动因素突变，例如EGFR。即使分子分析可以发现驱动器突变，但该过程通常很昂贵且耗时。深度学习的图像分析为直接从整个幻灯片图像（WSIS）直接发现驱动器突变提供了一种更经济的替代方法。在这项工作中，我们使用具有弱监督的自定义深度学习管道来鉴定苏木精和曙红染色的WSI的EGFR突变的形态相关性，此外还可以检测到肿瘤和组织学亚型。我们通过对两个肺癌数据集进行严格的实验和消融研究来证明管道的有效性-TCGA和来自印度的私人数据集。通过管道，我们在肿瘤检测下达到了曲线（AUC）的平均面积（AUC），在TCGA数据集上的腺癌和鳞状细胞癌之间的组织学亚型为0.942。对于EGFR检测，我们在TCGA数据集上的平均AUC为0.864，印度数据集的平均AUC为0.783。我们的关键学习点包括以下内容。首先，如果要在目标数据集中微调特征提取器，则使用对组织学训练的特征提取器层没有特别的优势。其次，选择具有较高细胞的斑块，大概是捕获肿瘤区域，并不总是有帮助的，因为疾病类别的迹象可能存在于肿瘤 - 肿瘤的基质中。

多个实例学习（MIL）广泛用于分析组织病理学全幻灯片图像（WSIS）。但是，现有的MIL方法不会明确地对数据分配进行建模，而仅通过训练分类器来歧视行李级或实例级决策边界。在本文中，我们提出了DGMIL：一个特征分布引导为WSI分类和阳性贴剂定位的深度MIL框架。我们没有设计复杂的判别网络体系结构，而是揭示组织病理学图像数据的固有特征分布可以作为分类的非常有效的指南。我们提出了一种集群条件的特征分布建模方法和基于伪标签的迭代特征空间改进策略，以便在最终特征空间中，正面和负面实例可以轻松分离。 CamelyOn16数据集和TCGA肺癌数据集的实验表明，我们的方法为全球分类和阳性贴剂定位任务提供了新的SOTA。

多实例学习（MIL）是整个幻灯片图像（WSI）分类的关键算法。组织学WSIS可以具有数十亿像素，它创造了巨大的计算和注释挑战。通常，这种图像被分成一组贴片（一袋实例），其中仅提供袋级类标签。基于深度学习的MIL方法使用卷积神经网络（CNN）计算实例特征。我们所提出的方法也是基于深度学习的，随着以下两项贡献例如，肿瘤等级可以取决于WSI中不同位置的几种特定模式的存在，这需要考虑贴片之间的依赖性。其次，我们提出了基于实例伪标签的实例 - 明智函数。我们将所提出的算法与多个基线方法进行比较，在熊猫挑战数据集上评估它，该数据集是超过11K图像的最大可用的WSI数据集，并展示最先进的结果。

Prostate cancer is the most common cancer in men worldwide and the second leading cause of cancer death in the United States. One of the prognostic features in prostate cancer is the Gleason grading of histopathology images. The Gleason grade is assigned based on tumor architecture on Hematoxylin and Eosin (H&E) stained whole slide images (WSI) by the pathologists. This process is time-consuming and has known interobserver variability. In the past few years, deep learning algorithms have been used to analyze histopathology images, delivering promising results for grading prostate cancer. However, most of the algorithms rely on the fully annotated datasets which are expensive to generate. In this work, we proposed a novel weakly-supervised algorithm to classify prostate cancer grades. The proposed algorithm consists of three steps: (1) extracting discriminative areas in a histopathology image by employing the Multiple Instance Learning (MIL) algorithm based on Transformers, (2) representing the image by constructing a graph using the discriminative patches, and (3) classifying the image into its Gleason grades by developing a Graph Convolutional Neural Network (GCN) based on the gated attention mechanism. We evaluated our algorithm using publicly available datasets, including TCGAPRAD, PANDA, and Gleason 2019 challenge datasets. We also cross validated the algorithm on an independent dataset. Results show that the proposed model achieved state-of-the-art performance in the Gleason grading task in terms of accuracy, F1 score, and cohen-kappa. The code is available at https://github.com/NabaviLab/Prostate-Cancer.

变压器已被广泛用于整个幻灯片图像（WSI）分类，以进行肿瘤分级，预后分析等。然而，在公共变压器中，在令牌上的自我注意和位置嵌入策略的设计限制了有效性和效率在Gigapixel组织病理学图像的应用中。在本文中，我们提出了一个用于组织病理学WSI分类的内核注意变压器（KAT）。代币的信息传输是通过令牌与与WSI上一组位置锚有关的一组内核之间的交叉注意来实现的。与共同的变压器结构相比，提出的KAT可以更好地描述WSI局部区域的层次上下文信息，同时保持较低的计算复杂性。在具有2040 WSI的胃数据集和具有2560 WSIS的子宫内膜数据集上评估了该方法，并与6种最先进的方法进行了比较。实验结果表明，所提出的KAT在组织病理学WSI分类的任务中有效有效，并且优于最新方法。该代码可在https://github.com/zhengyushan/kat上找到。

多个实例学习（MIL）是对诊断病理学的整个幻灯片图像（WSI）进行分类的强大方法。 MIL对WSI分类的基本挑战是发现触发袋子标签的\ textit {critical Instances}。但是，先前的方法主要是在独立和相同的分布假设（\ textit {i.i.d}）下设计的，忽略了肿瘤实例或异质性之间的相关性。在本文中，我们提出了一种新颖的基于多重检测的多重实例学习（MDMIL）来解决上述问题。具体而言，MDMIL是由内部查询产生模块（IQGM）和多重检测模块（MDM）构建的，并在训练过程中基于内存的对比度损失的辅助。首先，IQGM给出了实例的概率，并通过在分布分析后汇总高度可靠的功能来为后续MDM生成内部查询（IQ）。其次，在MDM中，多重检测交叉注意（MDCA）和多头自我注意力（MHSA）合作以生成WSI的最终表示形式。在此过程中，智商和可训练的变异查询（VQ）成功建立了实例之间的联系，并显着提高了模型对异质肿瘤的鲁棒性。最后，为了进一步在特征空间中实施限制并稳定训练过程，我们采用基于内存的对比损失，即使在每次迭代中有一个样本作为输入，也可以实现WSI分类。我们对三个计算病理数据集进行实验，例如CamelyOn16，TCGA-NSCLC和TCGA-RCC数据集。优越的准确性和AUC证明了我们提出的MDMIL比其他最先进方法的优越性。

Learning good representation of giga-pixel level whole slide pathology images (WSI) for downstream tasks is critical. Previous studies employ multiple instance learning (MIL) to represent WSIs as bags of sampled patches because, for most occasions, only slide-level labels are available, and only a tiny region of the WSI is disease-positive area. However, WSI representation learning still remains an open problem due to: (1) patch sampling on a higher resolution may be incapable of depicting microenvironment information such as the relative position between the tumor cells and surrounding tissues, while patches at lower resolution lose the fine-grained detail; (2) extracting patches from giant WSI results in large bag size, which tremendously increases the computational cost. To solve the problems, this paper proposes a hierarchical-based multimodal transformer framework that learns a hierarchical mapping between pathology images and corresponding genes. Precisely, we randomly extract instant-level patch features from WSIs with different magnification. Then a co-attention mapping between imaging and genomics is learned to uncover the pairwise interaction and reduce the space complexity of imaging features. Such early fusion makes it computationally feasible to use MIL Transformer for the survival prediction task. Our architecture requires fewer GPU resources compared with benchmark methods while maintaining better WSI representation ability. We evaluate our approach on five cancer types from the Cancer Genome Atlas database and achieved an average c-index of $0.673$, outperforming the state-of-the-art multimodality methods.

Gigapixel全斜面图像（WSIS）上的癌症预后一直是一项艰巨的任务。大多数现有方法仅着眼于单分辨率图像。利用图像金字塔增强WSI视觉表示的多分辨率方案尚未得到足够的关注。为了探索用于提高癌症预后准确性的多分辨率解决方案，本文提出了双流构建结构，以通过图像金字塔策略对WSI进行建模。该体系结构由两个子流组成：一个是用于低分辨率WSIS，另一个是针对高分辨率的WSIS。与其他方法相比，我们的方案具有三个亮点：（i）流和分辨率之间存在一对一的关系； （ii）添加了一个平方池层以对齐两个分辨率流的斑块，从而大大降低了计算成本并启用自然流特征融合； （iii）提出了一种基于跨注意的方法，以在低分辨率的指导下在空间上在空间上进行高分辨率斑块。我们验证了三个公共可用数据集的计划，来自1,911名患者的总数为3,101个WSI。实验结果验证（1）层次双流表示比单流的癌症预后更有效，在单个低分辨率和高分辨率流中，平均C-指数上升为5.0％和1.8％ ; （2）我们的双流方案可以胜过当前最新方案，而C-Index的平均平均值为5.1％； （3）具有可观察到的生存差异的癌症疾病可能对模型复杂性具有不同的偏好。我们的计划可以作为进一步促进WSI预后研究的替代工具。

具有多吉吉像素的组织学图像产生了丰富的信息，以用于癌症诊断和预后。在大多数情况下，只能使用幻灯片级标签，因为像素的注释是劳动密集型任务。在本文中，我们提出了一条深度学习管道，以进行组织学图像中的分类。使用多个实例学习，我们试图预测基于降血石蛋白和曙红蛋白（H＆E）组织学图像的鼻咽癌（NPC）的潜在膜蛋白1（LMP1）状态。我们利用了与聚合层保持剩余连接的注意机制。在我们的3倍交叉验证实验中，我们分别达到了平均准确性，AUC和F1得分为0.936、0.995和0.862。这种方法还使我们能够通过可视化注意力评分来检查模型的可解释性。据我们所知，这是使用深度学习预测NPC上LMP1状态的首次尝试。

组织病理学图像包含丰富的表型信息和病理模式，这是疾病诊断的黄金标准，对于预测患者预后和治疗结果至关重要。近年来，在临床实践中迫切需要针对组织病理学图像的计算机自动化分析技术，而卷积神经网络代表的深度学习方法已逐渐成为数字病理领域的主流。但是，在该领域获得大量细粒的注释数据是一项非常昂贵且艰巨的任务，这阻碍了基于大量注释数据的传统监督算法的进一步开发。最新的研究开始从传统的监督范式中解放出来，最有代表性的研究是基于弱注释，基于有限的注释的半监督学习范式以及基于自我监督的学习范式的弱监督学习范式的研究图像表示学习。这些新方法引发了针对注释效率的新自动病理图像诊断和分析。通过对130篇论文的调查，我们对从技术和方法论的角度来看，对计算病理学领域中有关弱监督学习，半监督学习以及自我监督学习的最新研究进行了全面的系统综述。最后，我们提出了这些技术的关键挑战和未来趋势。

胰腺癌是世界上最严重恶性的癌症之一，这种癌症迅速迅速，具有很高的死亡率。快速的现场评估（玫瑰）技术通过立即分析与现场病理学家的快速染色的细胞影析学形象来创新工作流程，这使得在这种紧压的过程中能够更快的诊断。然而，由于缺乏经验丰富的病理学家，玫瑰诊断的更广泛的扩张已经受到阻碍。为了克服这个问题，我们提出了一个混合高性能深度学习模型，以实现自动化工作流程，从而释放占据病理学家的宝贵时间。通过使用我们特定的多级混合设计将变压器块引入该字段，由卷积神经网络（CNN）产生的空间特征显着增强了变压器全球建模。转向多级空间特征作为全球关注指导，这种设计将鲁棒性与CNN的感应偏差与变压器的复杂全球建模功能相结合。收集4240朵Rose图像的数据集以评估此未开发领域的方法。所提出的多级混合变压器（MSHT）在分类精度下实现95.68％，其鲜明地高于最先进的模型。面对对可解释性的需求，MSHT以更准确的关注区域表达其对应物。结果表明，MSHT可以以前所未有的图像规模精确地区分癌症样本，奠定了部署自动决策系统的基础，并在临床实践中扩大玫瑰。代码和记录可在：https://github.com/sagizty/multi-stage-ybrid-transformer。

冠状动脉血管造影（CCTA）易受各种扭曲（例如伪影和噪声）的敏感，这严重损害了心血管疾病的确切诊断。适当的CCTA血管级图像质量评估（CCTA VIQA）算法可用于降低错误诊断的风险。 CCTA VIQA的首要挑战是，冠状动脉的本地部分确定最终质量是很难找到的。为了应对挑战，我们将CCTA VIQA作为多种现实学习（MIL）问题，并利用基于变压器的MIL主链（称为T-MIL），以将沿冠状动脉中心线的多个实例汇总为最终质量。但是，并非所有实例都提供最终质量的信息。有一些质量 - 欧元/负面实例介入确切的质量评估（例如，在实例中仅涵盖背景或冠状动脉的实例是无法识别的）。因此，我们提出了一个基于渐进的增强学习的实例丢弃模块（称为PRID），以逐步删除CCTA VIQA的质量 - 欧尔特尔/否定实例。基于上述两个模块，我们根据端到端优化提出了一个加强的变压器网络（RTN），用于自动CCTA VIQA。广泛的实验结果表明，我们提出的方法实现了现实世界中CCTA数据集的最新性能，超过了以前的MIL方法。

使用深度学习模型从组织学数据中诊断癌症提出了一些挑战。这些图像中关注区域（ROI）的癌症分级和定位通常依赖于图像和像素级标签，后者需要昂贵的注释过程。深度弱监督的对象定位（WSOL）方法为深度学习模型的低成本培训提供了不同的策略。仅使用图像级注释，可以训练这些方法以对图像进行分类，并为ROI定位进行分类类激活图（CAM）。本文综述了WSOL的​​最先进的DL方法。我们提出了一种分类法，根据模型中的信息流，将这些方法分为自下而上和自上而下的方法。尽管后者的进展有限，但最近的自下而上方法目前通过深层WSOL方法推动了很多进展。早期作品的重点是设计不同的空间合并功能。但是，这些方法达到了有限的定位准确性，并揭示了一个主要限制 - 凸轮的不足激活导致了高假阴性定位。随后的工作旨在减轻此问题并恢复完整的对象。评估和比较了两个具有挑战性的组织学数据集的分类和本地化准确性，对我们的分类学方法进行了评估和比较。总体而言，结果表明定位性能差，特别是对于最初设计用于处理自然图像的通用方法。旨在解决组织学数据挑战的方法产生了良好的结果。但是，所有方法都遭受高假阳性/阴性定位的影响。在组织学中应用深WSOL方法的应用是四个关键的挑战 - 凸轮的激活下/过度激活，对阈值的敏感性和模型选择。

经典的多个实例学习（MIL）方法通常基于实例之间的相同和独立的分布式假设，因此忽略了个人实体以外的潜在丰富的上下文信息。另一方面，已经提出了具有全球自我发场模块的变压器来对所有实例之间的相互依赖性进行建模。但是，在本文中，我们质疑：是否需要使用自我注意力进行全球关系建模，或者我们是否可以适当地将自我注意计算限制为大规模整个幻灯片图像（WSIS）中的本地制度？我们为MIL（LA-MIL）提出了一个通用的基于局部注意力图的变压器，通过在自适应局部任意大小的自适应局部方案中明确化情境化实例，从而引入了归纳偏见。此外，有效适应的损失函数使我们可以学习表达性WSI嵌入的方法，以进行多种生物标志物的联合分析。我们证明，LA-MIL实现了最新的胃肠癌预测，从而超过了重要生物标志物（例如微卫星不稳定性的结直肠癌）的现有模型。我们的发现表明，本地自我注意力足够模型与全球模块相同的依赖性。我们的LA-MIL实施可从https://github.com/agentdr1/la_mil获得。

变形金刚占据了自然语言处理领域，最近影响了计算机视觉区域。在医学图像分析领域中，变压器也已成功应用于全栈临床应用，包括图像合成/重建，注册，分割，检测和诊断。我们的论文旨在促进变压器在医学图像分析领域的认识和应用。具体而言，我们首先概述了内置在变压器和其他基本组件中的注意机制的核心概念。其次，我们回顾了针对医疗图像应用程序量身定制的各种变压器体系结构，并讨论其局限性。在这篇综述中，我们调查了围绕在不同学习范式中使用变压器，提高模型效率及其与其他技术的耦合的关键挑战。我们希望这篇评论可以为读者提供医学图像分析领域的读者的全面图片。

在病理样本的全坡度图像（WSI）中注释癌区域在临床诊断，生物医学研究和机器学习算法开发中起着至关重要的作用。但是，产生详尽而准确的注释是劳动密集型，具有挑战性和昂贵的。仅绘制粗略和近似注释是一项容易得多的任务，成本较小，并且可以减轻病理学家的工作量。在本文中，我们研究了在数字病理学中完善这些近似注释以获得更准确的问题的问题。以前的一些作品探索了从这些不准确的注释中获得机器学习模型，但是很少有人解决改进问题，在这些问题中，应该明确识别和纠正错误标签的区域，并且所有这些都需要大量的培训样本（通常很大） 。我们提出了一种名为标签清洁多个实例学习（LC-MIL）标签的方法，可在不需要外部培训数据的情况下对单个WSI进行粗略注释。从WSI裁剪的带有不准确标签的贴片在多个实例学习框架内共同处理，从而减轻了它们对预测模型的影响并完善分割。我们对具有乳腺癌淋巴结转移，肝癌和结直肠癌样品的异质WSI进行的实验表明，LC-MIL显着完善了粗糙的注释，即使从单个幻灯片中学习，LC-MIL也优于最先进的替代方案。此外，我们证明了拟议方法如何有效地完善和改进病理学家绘制的真实注释。所有这些结果表明，LC-MIL是一种有前途的，轻巧的工具，可提供从粗糙注释的病理组中提供细粒的注释。

快速的现场评估（ROSE）技术可以通过适当地分析快速染色的细胞病理学图像来显着加速胰腺癌的诊断。计算机辅助诊断（CAD）可以潜在地解决玫瑰病中病理学家的短缺。但是，不同样品之间的癌性模式差异很大，这使CAD任务极具挑战性。此外，由于不同的染色质量和各种采集装置类型，玫瑰图像在颜色分布，亮度和对比度方面具有复杂的扰动。为了应对这些挑战，我们提出了一种基于随机实例的视觉变压器（SI-VIT）方法，该方法可以减少扰动并增强实例之间的建模。借助重新组装的洗牌实例及其行李级软标签，该方法利用回归头将模型集中在细胞上，而不是各种扰动。同时，该模型与分类头结合在一起，可以有效地识别不同实例之间的一般分布模式。结果表明，分类准确性有了更准确的注意区域的显着提高，表明玫瑰图像的多种模式有效地提取了，并且复杂的扰动大大降低。这也表明SI-VIT在分析细胞病理学图像方面具有巨大的潜力。代码和实验结果可在https://github.com/sagizty/mil-si上获得。

主流人群计数方法通常利用卷积神经网络（CNN）回归密度图，需要点级注释。但是，用一点点注释每个人是一个昂贵且费力的过程。在测试阶段，未考虑点级注释来评估计数精度，这意味着点级注释是冗余的。因此，希望开发仅依赖计数级注释的弱监督计数方法，这是一种更经济的标签方式。当前的弱监督计数方法采用了CNN来通过图像计数范式回归人群的总数。但是，对于上下文建模的接受场有限是这些基于CNN的弱监督法的内在局限性。因此，在现实世界中的应用有限的情况下，这些方法无法实现令人满意的性能。变压器是自然语言处理（NLP）中流行的序列到序列预测模型，其中包含一个全球接收场。在本文中，我们提出了transercroderd，从基于变压器的序列到计数的角度来重新制定了弱监督的人群计数问题。我们观察到，所提出的译者可以使用变压器的自发机制有效地提取语义人群信息。据我们所知，这是第一项采用纯变压器进行人群计算研究的工作。五个基准数据集的实验表明，与所有基于弱的CNN的计数方法相比，所提出的transercroud的性能优于较高的性能，并且与某些流行的完全监督的计数方法相比，基于CNN的计数方法和提高了竞争激烈的计数性能。