多个实例学习（MIL）方法在数字病理学中对GIGA像素大小的全型图像（WSI）进行分类变得越来越流行。大多数MIL方法通过处理所有组织斑块，以单个WSI放大倍率运行。这样的公式诱导了高计算要求，并将WSI级表示的上下文化限制为单个量表。一些MIL方法扩展到多个量表，但在计算上要求更高。在本文中，受病理诊断过程的启发，我们提出了Zoommil，该方法学会了以端到端的方式执行多层缩放。Zoommil通过从多个增强元中汇总组织信息来构建WSI表示。所提出的方法在两个大数据集上的WSI分类中优于最先进的MIL方法，同时大大降低了关于浮点操作（FLOPS）和处理时间的计算需求，最高为40倍。

高分辨率图像和详尽的局部注释成本的过高成本阻碍了数字病理学的进展。用于对病理图像进行分类的常用范式是基于贴片的处理，该处理通常结合了多个实例学习（MIL）以汇总局部补丁级表示，从而得出图像级预测。尽管如此，诊断相关的区域只能占整个组织的一小部分，而当前基于MIL的方法通常会均匀地处理图像，从而丢弃相互作用的相互作用。为了减轻这些问题，我们提出了Scorenet，Scorenet是一种新的有效的变压器，利用可区分的建议阶段来提取区分图像区域并相应地专用计算资源。提出的变压器利用一些动态推荐的高分辨率区域的本地和全球关注，以有效的计算成本。我们通过利用图像的语义分布来指导数据混合并产生连贯的样品标签对，进一步介绍了一种新型的混合数据启发，即SCOREX。 SCOREMIX令人尴尬地简单，并减轻了先前的增强的陷阱，该增强性的陷阱假设了统一的语义分布，并冒着标签样品的风险。对血久毒素和曙红（H＆E）的三个乳腺癌组织学数据集（H＆E）的三个乳腺癌组织学数据集（H＆E）的彻底实验和消融研究验证了我们的方法优于先前的艺术，包括基于变压器的肿瘤区域（TORIS）分类的模型。与其他混合增强变体相比，配备了拟议的得分增强的Scorenet表现出更好的概括能力，并实现了新的最先进的结果（SOTA）结果，仅50％的数据。最后，Scorenet产生了高疗效，并且胜过SOTA有效变压器，即TransPath和SwintransFormer。

数字整体幻灯片图像包含大量信息，为开发自动图像分析工具提供了强大的动力。在数字病理领域的各种任务方面，特别是深层神经网络具有很高的潜力。但是，典型的深度学习算法除了大量图像数据之外还需要（手动）注释以实现有效的培训，这是一个限制。多个实例学习在没有完全注释的数据的情况下展示了一个强大的工具，可在情况下学习深神网络。这些方法在该域中特别有效，因为通常通常会捕获完整的整个幻灯片图像的标签，而用于斑块，区域或像素的标签则没有。这种潜力已经导致大量出版物，在过去三年中发表了多数。除了从医学的角度使用数据的可用性和高度动机外，功能强大的图形处理单元的可用性在该领域表现出加速器。在本文中，我们概述了广泛有效地使用了使用的深层实例学习方法，最新进展以及批判性地讨论剩余挑战和未来潜力的概念。

当目标是将非常大的图像与微小的信息对象分类非常大的图像时，计算机愿景中的应用越来越多的计算机愿景中的应用程序越来越多地挑战。具体而言，这些分类任务面临两个关键挑战：$ i $）输入图像的大小通常按照MEGA或GIGA - 像素的顺序，然而，由于内存约束，现有的深层架构不容易操作在这种大图像上因此，我们寻求一种进程的记忆有效的方法来处理这些图像;和II $）只有非常小的输入图像的输入图像是信息的信息，导致对图像比率的低感兴趣区域（ROI）。然而，大多数当前的卷积神经网络（CNNS）被设计用于具有相对大的ROI和小图像尺寸（Sub-Peapixel）的图像分类数据集。现有方法孤立地解决了这两个挑战。我们介绍了一个端到端的CNN模型被称为缩放网络，利用分层注意采样，用于使用单个GPU分类大型物体。我们在四个大图像组织病理学，道路场和卫星成像数据集中评估我们的方法，以及一个简谓的病理学数据集。实验结果表明，我们的模型比现有方法达到更高的准确性，同时需要更少的内存资源。

Prostate cancer is the most common cancer in men worldwide and the second leading cause of cancer death in the United States. One of the prognostic features in prostate cancer is the Gleason grading of histopathology images. The Gleason grade is assigned based on tumor architecture on Hematoxylin and Eosin (H&E) stained whole slide images (WSI) by the pathologists. This process is time-consuming and has known interobserver variability. In the past few years, deep learning algorithms have been used to analyze histopathology images, delivering promising results for grading prostate cancer. However, most of the algorithms rely on the fully annotated datasets which are expensive to generate. In this work, we proposed a novel weakly-supervised algorithm to classify prostate cancer grades. The proposed algorithm consists of three steps: (1) extracting discriminative areas in a histopathology image by employing the Multiple Instance Learning (MIL) algorithm based on Transformers, (2) representing the image by constructing a graph using the discriminative patches, and (3) classifying the image into its Gleason grades by developing a Graph Convolutional Neural Network (GCN) based on the gated attention mechanism. We evaluated our algorithm using publicly available datasets, including TCGAPRAD, PANDA, and Gleason 2019 challenge datasets. We also cross validated the algorithm on an independent dataset. Results show that the proposed model achieved state-of-the-art performance in the Gleason grading task in terms of accuracy, F1 score, and cohen-kappa. The code is available at https://github.com/NabaviLab/Prostate-Cancer.

使用深度学习模型从组织学数据中诊断癌症提出了一些挑战。这些图像中关注区域（ROI）的癌症分级和定位通常依赖于图像和像素级标签，后者需要昂贵的注释过程。深度弱监督的对象定位（WSOL）方法为深度学习模型的低成本培训提供了不同的策略。仅使用图像级注释，可以训练这些方法以对图像进行分类，并为ROI定位进行分类类激活图（CAM）。本文综述了WSOL的​​最先进的DL方法。我们提出了一种分类法，根据模型中的信息流，将这些方法分为自下而上和自上而下的方法。尽管后者的进展有限，但最近的自下而上方法目前通过深层WSOL方法推动了很多进展。早期作品的重点是设计不同的空间合并功能。但是，这些方法达到了有限的定位准确性，并揭示了一个主要限制 - 凸轮的不足激活导致了高假阴性定位。随后的工作旨在减轻此问题并恢复完整的对象。评估和比较了两个具有挑战性的组织学数据集的分类和本地化准确性，对我们的分类学方法进行了评估和比较。总体而言，结果表明定位性能差，特别是对于最初设计用于处理自然图像的通用方法。旨在解决组织学数据挑战的方法产生了良好的结果。但是，所有方法都遭受高假阳性/阴性定位的影响。在组织学中应用深WSOL方法的应用是四个关键的挑战 - 凸轮的激活下/过度激活，对阈值的敏感性和模型选择。

哥内克人Sentinel Imagery的纯粹卷的可用性为使用深度学习的大尺度创造了新的土地利用陆地覆盖（Lulc）映射的机会。虽然在这种大型数据集上培训是一个非琐碎的任务。在这项工作中，我们试验Lulc Image分类和基准不同最先进模型的Bigearthnet数据集，包括卷积神经网络，多层感知，视觉变压器，高效导通和宽残余网络（WRN）架构。我们的目标是利用分类准确性，培训时间和推理率。我们提出了一种基于用于网络深度，宽度和输入数据分辨率的WRNS复合缩放的高效导通的框架，以有效地训练和测试不同的模型设置。我们设计一种新颖的缩放WRN架构，增强了有效的通道注意力机制。我们提出的轻量级模型具有较小的培训参数，实现所有19个LULC类的平均F分类准确度达到4.5％，并且验证了我们使用的resnet50最先进的模型速度快两倍作为基线。我们提供超过50种培训的型号，以及我们在多个GPU节点上分布式培训的代码。

Multiple instance learning (MIL) is a variation of supervised learning where a single class label is assigned to a bag of instances. In this paper, we state the MIL problem as learning the Bernoulli distribution of the bag label where the bag label probability is fully parameterized by neural networks. Furthermore, we propose a neural network-based permutation-invariant aggregation operator that corresponds to the attention mechanism. Notably, an application of the proposed attention-based operator provides insight into the contribution of each instance to the bag label. We show empirically that our approach achieves comparable performance to the best MIL methods on benchmark MIL datasets and it outperforms other methods on a MNIST-based MIL dataset and two real-life histopathology datasets without sacrificing interpretability.

Learning good representation of giga-pixel level whole slide pathology images (WSI) for downstream tasks is critical. Previous studies employ multiple instance learning (MIL) to represent WSIs as bags of sampled patches because, for most occasions, only slide-level labels are available, and only a tiny region of the WSI is disease-positive area. However, WSI representation learning still remains an open problem due to: (1) patch sampling on a higher resolution may be incapable of depicting microenvironment information such as the relative position between the tumor cells and surrounding tissues, while patches at lower resolution lose the fine-grained detail; (2) extracting patches from giant WSI results in large bag size, which tremendously increases the computational cost. To solve the problems, this paper proposes a hierarchical-based multimodal transformer framework that learns a hierarchical mapping between pathology images and corresponding genes. Precisely, we randomly extract instant-level patch features from WSIs with different magnification. Then a co-attention mapping between imaging and genomics is learned to uncover the pairwise interaction and reduce the space complexity of imaging features. Such early fusion makes it computationally feasible to use MIL Transformer for the survival prediction task. Our architecture requires fewer GPU resources compared with benchmark methods while maintaining better WSI representation ability. We evaluate our approach on five cancer types from the Cancer Genome Atlas database and achieved an average c-index of $0.673$, outperforming the state-of-the-art multimodality methods.

多实例学习（MIL）是整个幻灯片图像（WSI）分类的关键算法。组织学WSIS可以具有数十亿像素，它创造了巨大的计算和注释挑战。通常，这种图像被分成一组贴片（一袋实例），其中仅提供袋级类标签。基于深度学习的MIL方法使用卷积神经网络（CNN）计算实例特征。我们所提出的方法也是基于深度学习的，随着以下两项贡献例如，肿瘤等级可以取决于WSI中不同位置的几种特定模式的存在，这需要考虑贴片之间的依赖性。其次，我们提出了基于实例伪标签的实例 - 明智函数。我们将所提出的算法与多个基线方法进行比较，在熊猫挑战数据集上评估它，该数据集是超过11K图像的最大可用的WSI数据集，并展示最先进的结果。

病理诊所中癌症的诊断，预后和治疗性决策现在可以基于对多吉吉像素组织图像的分析，也称为全斜图像（WSIS）。最近，已经提出了深层卷积神经网络（CNN）来得出无监督的WSI表示。这些很有吸引力，因为它们不太依赖于繁琐的专家注释。但是，一个主要的权衡是，较高的预测能力通常以解释性为代价，这对他们的临床使用构成了挑战，通常通常期望决策中的透明度。为了应对这一挑战，我们提出了一个基于Deep CNN的手工制作的框架，用于构建整体WSI级表示。基于有关变压器在自然语言处理领域的内部工作的最新发现，我们将其过程分解为一个更透明的框架，我们称其为手工制作的组织学变压器或H2T。基于我们涉及各种数据集的实验，包括总共5,306个WSI，结果表明，与最近的最新方法相比，基于H2T的整体WSI级表示具有竞争性能，并且可以轻松用于各种下游分析任务。最后，我们的结果表明，H2T框架的最大14倍，比变压器模型快14倍。

组织病理学图像包含丰富的表型信息和病理模式，这是疾病诊断的黄金标准，对于预测患者预后和治疗结果至关重要。近年来，在临床实践中迫切需要针对组织病理学图像的计算机自动化分析技术，而卷积神经网络代表的深度学习方法已逐渐成为数字病理领域的主流。但是，在该领域获得大量细粒的注释数据是一项非常昂贵且艰巨的任务，这阻碍了基于大量注释数据的传统监督算法的进一步开发。最新的研究开始从传统的监督范式中解放出来，最有代表性的研究是基于弱注释，基于有限的注释的半监督学习范式以及基于自我监督的学习范式的弱监督学习范式的研究图像表示学习。这些新方法引发了针对注释效率的新自动病理图像诊断和分析。通过对130篇论文的调查，我们对从技术和方法论的角度来看，对计算病理学领域中有关弱监督学习，半监督学习以及自我监督学习的最新研究进行了全面的系统综述。最后，我们提出了这些技术的关键挑战和未来趋势。

在病理样本的全坡度图像（WSI）中注释癌区域在临床诊断，生物医学研究和机器学习算法开发中起着至关重要的作用。但是，产生详尽而准确的注释是劳动密集型，具有挑战性和昂贵的。仅绘制粗略和近似注释是一项容易得多的任务，成本较小，并且可以减轻病理学家的工作量。在本文中，我们研究了在数字病理学中完善这些近似注释以获得更准确的问题的问题。以前的一些作品探索了从这些不准确的注释中获得机器学习模型，但是很少有人解决改进问题，在这些问题中，应该明确识别和纠正错误标签的区域，并且所有这些都需要大量的培训样本（通常很大） 。我们提出了一种名为标签清洁多个实例学习（LC-MIL）标签的方法，可在不需要外部培训数据的情况下对单个WSI进行粗略注释。从WSI裁剪的带有不准确标签的贴片在多个实例学习框架内共同处理，从而减轻了它们对预测模型的影响并完善分割。我们对具有乳腺癌淋巴结转移，肝癌和结直肠癌样品的异质WSI进行的实验表明，LC-MIL显着完善了粗糙的注释，即使从单个幻灯片中学习，LC-MIL也优于最先进的替代方案。此外，我们证明了拟议方法如何有效地完善和改进病理学家绘制的真实注释。所有这些结果表明，LC-MIL是一种有前途的，轻巧的工具，可提供从粗糙注释的病理组中提供细粒的注释。

多个实例学习（MIL）是对诊断病理学的整个幻灯片图像（WSI）进行分类的强大方法。 MIL对WSI分类的基本挑战是发现触发袋子标签的\ textit {critical Instances}。但是，先前的方法主要是在独立和相同的分布假设（\ textit {i.i.d}）下设计的，忽略了肿瘤实例或异质性之间的相关性。在本文中，我们提出了一种新颖的基于多重检测的多重实例学习（MDMIL）来解决上述问题。具体而言，MDMIL是由内部查询产生模块（IQGM）和多重检测模块（MDM）构建的，并在训练过程中基于内存的对比度损失的辅助。首先，IQGM给出了实例的概率，并通过在分布分析后汇总高度可靠的功能来为后续MDM生成内部查询（IQ）。其次，在MDM中，多重检测交叉注意（MDCA）和多头自我注意力（MHSA）合作以生成WSI的最终表示形式。在此过程中，智商和可训练的变异查询（VQ）成功建立了实例之间的联系，并显着提高了模型对异质肿瘤的鲁棒性。最后，为了进一步在特征空间中实施限制并稳定训练过程，我们采用基于内存的对比损失，即使在每次迭代中有一个样本作为输入，也可以实现WSI分类。我们对三个计算病理数据集进行实验，例如CamelyOn16，TCGA-NSCLC和TCGA-RCC数据集。优越的准确性和AUC证明了我们提出的MDMIL比其他最先进方法的优越性。

现代设备（例如智能手机，卫星和医疗设备）中的摄像机能够捕获非常高分辨率的图像和视频。这种高分辨率数据通常需要通过深度学习模型来处理癌症检测，自动化道路导航，天气预测，监视，优化农业过程和许多其他应用。使用高分辨率的图像和视频作为深度学习模型的直接输入，由于其参数数量大，计算成本，推理延迟和GPU内存消耗而造成了许多挑战。简单的方法（例如将图像调整为较低的分辨率大小）在文献中很常见，但是它们通常会显着降低准确性。文献中的几项作品提出了更好的替代方案，以应对高分辨率数据的挑战并提高准确性和速度，同时遵守硬件限制和时间限制。这项调查描述了这种高效的高分辨率深度学习方法，总结了高分辨率深度学习的现实应用程序，并提供了有关可用高分辨率数据集的全面信息。

Whole-slide images (WSI) in computational pathology have high resolution with gigapixel size, but are generally with sparse regions of interest, which leads to weak diagnostic relevance and data inefficiency for each area in the slide. Most of the existing methods rely on a multiple instance learning framework that requires densely sampling local patches at high magnification. The limitation is evident in the application stage as the heavy computation for extracting patch-level features is inevitable. In this paper, we develop RLogist, a benchmarking deep reinforcement learning (DRL) method for fast observation strategy on WSIs. Imitating the diagnostic logic of human pathologists, our RL agent learns how to find regions of observation value and obtain representative features across multiple resolution levels, without having to analyze each part of the WSI at the high magnification. We benchmark our method on two whole-slide level classification tasks, including detection of metastases in WSIs of lymph node sections, and subtyping of lung cancer. Experimental results demonstrate that RLogist achieves competitive classification performance compared to typical multiple instance learning algorithms, while having a significantly short observation path. In addition, the observation path given by RLogist provides good decision-making interpretability, and its ability of reading path navigation can potentially be used by pathologists for educational/assistive purposes. Our code is available at: \url{https://github.com/tencent-ailab/RLogist}.

尽管做出了巨大的努力，但GigapixelS的分类全扫描图像（WSI）被严重限制在整个幻灯片的约束计算资源中，或者使用不同尺度的知识利用有限。此外，以前的大多数尝试都缺乏不确定性估计的能力。通常，病理学家经常共同分析不同的宏伟速度的WSI。如果通过使用单个放大倍率来不确定病理学家，那么他们将反复更改放大倍率以发现组织的各种特征。受病理学家的诊断过程的激励，在本文中，我们为WSI提出了一个可信赖的多尺度分类框架。我们的框架利用视觉变压器作为多部门的骨干，可以共同分类建模，估计显微镜的每种放大倍率的不确定性，并整合了来自不同放大倍率的证据。此外，为了利用WSIS的歧视性补丁并减少对计算资源的需求，我们建议使用注意力推广和非最大抑制作用提出一种新颖的补丁选择模式。为了从经验研究我们的方法的有效性，使用两个基准数据库对我们的WSI分类任务进行了经验实验。获得的结果表明，与最先进的方法相比，可信赖的框架可以显着改善WSI分类性能。

具有多吉吉像素的组织学图像产生了丰富的信息，以用于癌症诊断和预后。在大多数情况下，只能使用幻灯片级标签，因为像素的注释是劳动密集型任务。在本文中，我们提出了一条深度学习管道，以进行组织学图像中的分类。使用多个实例学习，我们试图预测基于降血石蛋白和曙红蛋白（H＆E）组织学图像的鼻咽癌（NPC）的潜在膜蛋白1（LMP1）状态。我们利用了与聚合层保持剩余连接的注意机制。在我们的3倍交叉验证实验中，我们分别达到了平均准确性，AUC和F1得分为0.936、0.995和0.862。这种方法还使我们能够通过可视化注意力评分来检查模型的可解释性。据我们所知，这是使用深度学习预测NPC上LMP1状态的首次尝试。

Gigapixel全斜面图像（WSIS）上的癌症预后一直是一项艰巨的任务。大多数现有方法仅着眼于单分辨率图像。利用图像金字塔增强WSI视觉表示的多分辨率方案尚未得到足够的关注。为了探索用于提高癌症预后准确性的多分辨率解决方案，本文提出了双流构建结构，以通过图像金字塔策略对WSI进行建模。该体系结构由两个子流组成：一个是用于低分辨率WSIS，另一个是针对高分辨率的WSIS。与其他方法相比，我们的方案具有三个亮点：（i）流和分辨率之间存在一对一的关系； （ii）添加了一个平方池层以对齐两个分辨率流的斑块，从而大大降低了计算成本并启用自然流特征融合； （iii）提出了一种基于跨注意的方法，以在低分辨率的指导下在空间上在空间上进行高分辨率斑块。我们验证了三个公共可用数据集的计划，来自1,911名患者的总数为3,101个WSI。实验结果验证（1）层次双流表示比单流的癌症预后更有效，在单个低分辨率和高分辨率流中，平均C-指数上升为5.0％和1.8％ ; （2）我们的双流方案可以胜过当前最新方案，而C-Index的平均平均值为5.1％； （3）具有可观察到的生存差异的癌症疾病可能对模型复杂性具有不同的偏好。我们的计划可以作为进一步促进WSI预后研究的替代工具。

人类自然有效地在复杂的场景中找到突出区域。通过这种观察的动机，引入了计算机视觉中的注意力机制，目的是模仿人类视觉系统的这一方面。这种注意机制可以基于输入图像的特征被视为动态权重调整过程。注意机制在许多视觉任务中取得了巨大的成功，包括图像分类，对象检测，语义分割，视频理解，图像生成，3D视觉，多模态任务和自我监督的学习。在本调查中，我们对计算机愿景中的各种关注机制进行了全面的审查，并根据渠道注意，空间关注，暂时关注和分支注意力进行分类。相关的存储库https：//github.com/menghaoguo/awesome-vision-tions致力于收集相关的工作。我们还建议了未来的注意机制研究方向。