组织病理学全幻灯片图像（WSIS）在临床研究中起着非常重要的作用，并作为许多癌症诊断的黄金标准。但是，由于其巨大尺寸，生成用于处理WSIS的自动工具是具有挑战性的。当前，为了解决这个问题，传统方法依靠多个实例学习（MIL）策略来处理贴剂级别的WSI。尽管有效，但这种方法在计算上很昂贵，因为将WSI整理成斑块需要时间，并且不探索这些瓷砖之间的空间关系。为了解决这些限制，我们提出了一个本地监督的学习框架，该框架通过探索包含的整个本地和全球信息来处理整个幻灯片。该框架将预训练的网络划分为几个模块，并使用辅助模型在本地优化每个模块。我们还引入了一个随机特征重建单元（RFR），以在训练过程中保留区分特征，并将方法的性能提高1％至3％。对三个公开可用的WSI数据集进行了广泛的实验：TCGA-NSCLC，TCGA-RCC和LKS，突出了我们方法在不同分类任务上的优越性。我们的方法的准确性优于最先进的MIL方法，而高7至10倍。此外，将其分为八个模块时，我们的方法需要端到端培训所需的GPU总内存总数的20％。我们的代码可从https://github.com/cvlab-stonybrook/local_learning_wsi获得。

Transformers are becoming increasingly popular due to their superior performance over conventional convolutional neural networks(CNNs). However, transformers usually require a much larger amount of memory to train than CNNs, which prevents their application in many low resource settings. Local learning, which divides the network into several distinct modules and trains them individually, is a promising alternative to the end-to-end (E2E) training approach to reduce the amount of memory for training and to increase parallelism. This paper is the first to apply Local Learning on transformers for this purpose. The standard CNN-based local learning method, InfoPro [32], reconstructs the input images for each module in a CNN. However, reconstructing the entire image does not generalize well. In this paper, we propose a new mechanism for each local module, where instead of reconstructing the entire image, we reconstruct its input features, generated from previous modules. We evaluate our approach on 4 commonly used datasets and 3 commonly used decoder structures on Swin-Tiny. The experiments show that our approach outperforms InfoPro-Transformer, the InfoPro with Transfomer backbone we introduced, by at up to 0.58% on CIFAR-10, CIFAR-100, STL-10 and SVHN datasets, while using up to 12% less memory. Compared to the E2E approach, we require 36% less GPU memory when the network is divided into 2 modules and 45% less GPU memory when the network is divided into 4 modules.

多个实例学习（MIL）方法在数字病理学中对GIGA像素大小的全型图像（WSI）进行分类变得越来越流行。大多数MIL方法通过处理所有组织斑块，以单个WSI放大倍率运行。这样的公式诱导了高计算要求，并将WSI级表示的上下文化限制为单个量表。一些MIL方法扩展到多个量表，但在计算上要求更高。在本文中，受病理诊断过程的启发，我们提出了Zoommil，该方法学会了以端到端的方式执行多层缩放。Zoommil通过从多个增强元中汇总组织信息来构建WSI表示。所提出的方法在两个大数据集上的WSI分类中优于最先进的MIL方法，同时大大降低了关于浮点操作（FLOPS）和处理时间的计算需求，最高为40倍。

在计算机愿景的许多领域，转向端到端深度学习引起了前所未有的进展。然而，存在输入图像过大的情况，认为不可能实现端到端的方法。在本文中，我们介绍了一个新的网络，放大网络（磁铁），其可以独立于输入图像尺寸训练端到端。磁铁以新的方式将卷积神经网络与可微分的空间变压器相结合，以便在数十亿像素中从图像导航和成功学习。从普通明田显微镜的放大性，磁铁处理图像的下采样版本，没有监督的吸引力，并且没有监督了如何识别可能对手头的任务有价值的区域，递归地重复每个过程提取的斑块。我们的结果在公开可用的Camelyon16和Camelyon17数据集首先得到了磁铁的有效性和所提出的优化框架，第二个，展示了磁铁的内置透明度的优势，对于医学诊断等关键过程至关重要的属性。

数字整体幻灯片图像包含大量信息，为开发自动图像分析工具提供了强大的动力。在数字病理领域的各种任务方面，特别是深层神经网络具有很高的潜力。但是，典型的深度学习算法除了大量图像数据之外还需要（手动）注释以实现有效的培训，这是一个限制。多个实例学习在没有完全注释的数据的情况下展示了一个强大的工具，可在情况下学习深神网络。这些方法在该域中特别有效，因为通常通常会捕获完整的整个幻灯片图像的标签，而用于斑块，区域或像素的标签则没有。这种潜力已经导致大量出版物，在过去三年中发表了多数。除了从医学的角度使用数据的可用性和高度动机外，功能强大的图形处理单元的可用性在该领域表现出加速器。在本文中，我们概述了广泛有效地使用了使用的深层实例学习方法，最新进展以及批判性地讨论剩余挑战和未来潜力的概念。

高分辨率图像和详尽的局部注释成本的过高成本阻碍了数字病理学的进展。用于对病理图像进行分类的常用范式是基于贴片的处理，该处理通常结合了多个实例学习（MIL）以汇总局部补丁级表示，从而得出图像级预测。尽管如此，诊断相关的区域只能占整个组织的一小部分，而当前基于MIL的方法通常会均匀地处理图像，从而丢弃相互作用的相互作用。为了减轻这些问题，我们提出了Scorenet，Scorenet是一种新的有效的变压器，利用可区分的建议阶段来提取区分图像区域并相应地专用计算资源。提出的变压器利用一些动态推荐的高分辨率区域的本地和全球关注，以有效的计算成本。我们通过利用图像的语义分布来指导数据混合并产生连贯的样品标签对，进一步介绍了一种新型的混合数据启发，即SCOREX。 SCOREMIX令人尴尬地简单，并减轻了先前的增强的陷阱，该增强性的陷阱假设了统一的语义分布，并冒着标签样品的风险。对血久毒素和曙红（H＆E）的三个乳腺癌组织学数据集（H＆E）的三个乳腺癌组织学数据集（H＆E）的彻底实验和消融研究验证了我们的方法优于先前的艺术，包括基于变压器的肿瘤区域（TORIS）分类的模型。与其他混合增强变体相比，配备了拟议的得分增强的Scorenet表现出更好的概括能力，并实现了新的最先进的结果（SOTA）结果，仅50％的数据。最后，Scorenet产生了高疗效，并且胜过SOTA有效变压器，即TransPath和SwintransFormer。

使用深度学习模型从组织学数据中诊断癌症提出了一些挑战。这些图像中关注区域（ROI）的癌症分级和定位通常依赖于图像和像素级标签，后者需要昂贵的注释过程。深度弱监督的对象定位（WSOL）方法为深度学习模型的低成本培训提供了不同的策略。仅使用图像级注释，可以训练这些方法以对图像进行分类，并为ROI定位进行分类类激活图（CAM）。本文综述了WSOL的​​最先进的DL方法。我们提出了一种分类法，根据模型中的信息流，将这些方法分为自下而上和自上而下的方法。尽管后者的进展有限，但最近的自下而上方法目前通过深层WSOL方法推动了很多进展。早期作品的重点是设计不同的空间合并功能。但是，这些方法达到了有限的定位准确性，并揭示了一个主要限制 - 凸轮的不足激活导致了高假阴性定位。随后的工作旨在减轻此问题并恢复完整的对象。评估和比较了两个具有挑战性的组织学数据集的分类和本地化准确性，对我们的分类学方法进行了评估和比较。总体而言，结果表明定位性能差，特别是对于最初设计用于处理自然图像的通用方法。旨在解决组织学数据挑战的方法产生了良好的结果。但是，所有方法都遭受高假阳性/阴性定位的影响。在组织学中应用深WSOL方法的应用是四个关键的挑战 - 凸轮的激活下/过度激活，对阈值的敏感性和模型选择。

病理诊所中癌症的诊断，预后和治疗性决策现在可以基于对多吉吉像素组织图像的分析，也称为全斜图像（WSIS）。最近，已经提出了深层卷积神经网络（CNN）来得出无监督的WSI表示。这些很有吸引力，因为它们不太依赖于繁琐的专家注释。但是，一个主要的权衡是，较高的预测能力通常以解释性为代价，这对他们的临床使用构成了挑战，通常通常期望决策中的透明度。为了应对这一挑战，我们提出了一个基于Deep CNN的手工制作的框架，用于构建整体WSI级表示。基于有关变压器在自然语言处理领域的内部工作的最新发现，我们将其过程分解为一个更透明的框架，我们称其为手工制作的组织学变压器或H2T。基于我们涉及各种数据集的实验，包括总共5,306个WSI，结果表明，与最近的最新方法相比，基于H2T的整体WSI级表示具有竞争性能，并且可以轻松用于各种下游分析任务。最后，我们的结果表明，H2T框架的最大14倍，比变压器模型快14倍。

标记医学图像取决于专业知识，因此很难在短时间内以高质量获取大量注释的医学图像。因此，在小型数据集中充分利用有限标记的样品来构建高性能模型是医疗图像分类问题的关键。在本文中，我们提出了一个深入监督的层选择性注意网络（LSANET），该网络全面使用功能级和预测级监督中的标签信息。对于特征级别的监督，为了更好地融合低级功能和高级功能，我们提出了一个新颖的视觉注意模块，层选择性注意（LSA），以专注于不同层的特征选择。 LSA引入了一种权重分配方案，该方案可以在整个训练过程中动态调整每个辅助分支的加权因子，以进一步增强深入监督的学习并确保其概括。对于预测级的监督，我们采用知识协同策略，通过成对知识匹配来促进所有监督分支之间的层次信息互动。使用公共数据集MedMnist，这是用于涵盖多种医学专业的生物医学图像分类的大规模基准，我们评估了LSANET在多个主流CNN体系结构和各种视觉注意模块上评估。实验结果表明，我们所提出的方法对其相应的对应物进行了实质性改进，这表明LSANET可以为医学图像分类领域的标签有效学习提供有希望的解决方案。

组织病理学图像包含丰富的表型信息和病理模式，这是疾病诊断的黄金标准，对于预测患者预后和治疗结果至关重要。近年来，在临床实践中迫切需要针对组织病理学图像的计算机自动化分析技术，而卷积神经网络代表的深度学习方法已逐渐成为数字病理领域的主流。但是，在该领域获得大量细粒的注释数据是一项非常昂贵且艰巨的任务，这阻碍了基于大量注释数据的传统监督算法的进一步开发。最新的研究开始从传统的监督范式中解放出来，最有代表性的研究是基于弱注释，基于有限的注释的半监督学习范式以及基于自我监督的学习范式的弱监督学习范式的研究图像表示学习。这些新方法引发了针对注释效率的新自动病理图像诊断和分析。通过对130篇论文的调查，我们对从技术和方法论的角度来看，对计算病理学领域中有关弱监督学习，半监督学习以及自我监督学习的最新研究进行了全面的系统综述。最后，我们提出了这些技术的关键挑战和未来趋势。

当目标是将非常大的图像与微小的信息对象分类非常大的图像时，计算机愿景中的应用越来越多的计算机愿景中的应用程序越来越多地挑战。具体而言，这些分类任务面临两个关键挑战：$ i $）输入图像的大小通常按照MEGA或GIGA - 像素的顺序，然而，由于内存约束，现有的深层架构不容易操作在这种大图像上因此，我们寻求一种进程的记忆有效的方法来处理这些图像;和II $）只有非常小的输入图像的输入图像是信息的信息，导致对图像比率的低感兴趣区域（ROI）。然而，大多数当前的卷积神经网络（CNNS）被设计用于具有相对大的ROI和小图像尺寸（Sub-Peapixel）的图像分类数据集。现有方法孤立地解决了这两个挑战。我们介绍了一个端到端的CNN模型被称为缩放网络，利用分层注意采样，用于使用单个GPU分类大型物体。我们在四个大图像组织病理学，道路场和卫星成像数据集中评估我们的方法，以及一个简谓的病理学数据集。实验结果表明，我们的模型比现有方法达到更高的准确性，同时需要更少的内存资源。

Industrial vision anomaly detection plays a critical role in the advanced intelligent manufacturing process, while some limitations still need to be addressed under such a context. First, existing reconstruction-based methods struggle with the identity mapping of trivial shortcuts where the reconstruction error gap is legible between the normal and abnormal samples, leading to inferior detection capabilities. Then, the previous studies mainly concentrated on the convolutional neural network (CNN) models that capture the local semantics of objects and neglect the global context, also resulting in inferior performance. Moreover, existing studies follow the individual learning fashion where the detection models are only capable of one category of the product while the generalizable detection for multiple categories has not been explored. To tackle the above limitations, we proposed a self-induction vision Transformer(SIVT) for unsupervised generalizable multi-category industrial visual anomaly detection and localization. The proposed SIVT first extracts discriminatory features from pre-trained CNN as property descriptors. Then, the self-induction vision Transformer is proposed to reconstruct the extracted features in a self-supervisory fashion, where the auxiliary induction tokens are additionally introduced to induct the semantics of the original signal. Finally, the abnormal properties can be detected using the semantic feature residual difference. We experimented with the SIVT on existing Mvtec AD benchmarks, the results reveal that the proposed method can advance state-of-the-art detection performance with an improvement of 2.8-6.3 in AUROC, and 3.3-7.6 in AP.

Jitendra Malik once said, "Supervision is the opium of the AI researcher". Most deep learning techniques heavily rely on extreme amounts of human labels to work effectively. In today's world, the rate of data creation greatly surpasses the rate of data annotation. Full reliance on human annotations is just a temporary means to solve current closed problems in AI. In reality, only a tiny fraction of data is annotated. Annotation Efficient Learning (AEL) is a study of algorithms to train models effectively with fewer annotations. To thrive in AEL environments, we need deep learning techniques that rely less on manual annotations (e.g., image, bounding-box, and per-pixel labels), but learn useful information from unlabeled data. In this thesis, we explore five different techniques for handling AEL.

哥内克人Sentinel Imagery的纯粹卷的可用性为使用深度学习的大尺度创造了新的土地利用陆地覆盖（Lulc）映射的机会。虽然在这种大型数据集上培训是一个非琐碎的任务。在这项工作中，我们试验Lulc Image分类和基准不同最先进模型的Bigearthnet数据集，包括卷积神经网络，多层感知，视觉变压器，高效导通和宽残余网络（WRN）架构。我们的目标是利用分类准确性，培训时间和推理率。我们提出了一种基于用于网络深度，宽度和输入数据分辨率的WRNS复合缩放的高效导通的框架，以有效地训练和测试不同的模型设置。我们设计一种新颖的缩放WRN架构，增强了有效的通道注意力机制。我们提出的轻量级模型具有较小的培训参数，实现所有19个LULC类的平均F分类准确度达到4.5％，并且验证了我们使用的resnet50最先进的模型速度快两倍作为基线。我们提供超过50种培训的型号，以及我们在多个GPU节点上分布式培训的代码。

土地覆盖分类是一项多级分割任务，将每个像素分类为地球表面的某些天然或人为类别，例如水，土壤，自然植被，农作物和人类基础设施。受硬件计算资源和内存能力的限制，大多数现有研究通过将它们放置或将其裁剪成小于512*512像素的小斑块来预处理原始遥感图像，然后再将它们发送到深神经网络。然而，下调图像会导致空间细节损失，使小细分市场难以区分，并逆转了数十年来努力获得的空间分辨率进度。将图像裁剪成小斑块会导致远程上下文信息的丢失，并将预测的结果恢复为原始大小会带来额外的延迟。为了响应上述弱点，我们提出了称为Mkanet的有效的轻巧的语义分割网络。 Mkanet针对顶视图高分辨率遥感图像的特征，利用共享内核同时且同样处理不一致的尺度的地面段，还采用平行且浅层的体系结构来提高推理速度和友好的支持速度和友好的支持图像贴片，超过10倍。为了增强边界和小段歧视，我们还提出了一种捕获类别杂质区域的方法，利用边界信息并对边界和小部分错误判断施加额外的惩罚。广泛实验的视觉解释和定量指标都表明，Mkanet在两个土地覆盖分类数据集上获得了最先进的准确性，并且比其他竞争性轻量级网络快2倍。所有这些优点突出了Mkanet在实际应用中的潜力。

深度学习已被广​​泛用于医学图像分割，并且录制了录制了该领域深度学习的成功的大量论文。在本文中，我们使用深层学习技术对医学图像分割的全面主题调查。本文进行了两个原创贡献。首先，与传统调查相比，直接将深度学习的文献分成医学图像分割的文学，并为每组详细介绍了文献，我们根据从粗略到精细的多级结构分类目前流行的文献。其次，本文侧重于监督和弱监督的学习方法，而不包括无监督的方法，因为它们在许多旧调查中引入而且他们目前不受欢迎。对于监督学习方法，我们分析了三个方面的文献：骨干网络的选择，网络块的设计，以及损耗功能的改进。对于虚弱的学习方法，我们根据数据增强，转移学习和交互式分割进行调查文献。与现有调查相比，本调查将文献分类为比例不同，更方便读者了解相关理由，并将引导他们基于深度学习方法思考医学图像分割的适当改进。

Image segmentation is a key topic in image processing and computer vision with applications such as scene understanding, medical image analysis, robotic perception, video surveillance, augmented reality, and image compression, among many others. Various algorithms for image segmentation have been developed in the literature. Recently, due to the success of deep learning models in a wide range of vision applications, there has been a substantial amount of works aimed at developing image segmentation approaches using deep learning models. In this survey, we provide a comprehensive review of the literature at the time of this writing, covering a broad spectrum of pioneering works for semantic and instance-level segmentation, including fully convolutional pixel-labeling networks, encoder-decoder architectures, multi-scale and pyramid based approaches, recurrent networks, visual attention models, and generative models in adversarial settings. We investigate the similarity, strengths and challenges of these deep learning models, examine the most widely used datasets, report performances, and discuss promising future research directions in this area.

在癌症诊断和病理研究中，组织病理学图像的分类均具有巨大的价值。但是，多种原因（例如由放大因素和阶级失衡引起的变化）使其成为一项艰巨的任务，在许多情况下，从图像标签数据集中学习的常规方法在许多情况下都无法令人满意。我们观察到同一类的肿瘤通常具有共同的形态学模式。为了利用这一事实，我们提出了一种方法，该方法可以学习基于相似性的多尺度嵌入（SMSE），以实现非放大依赖性的组织病理学图像分类。特别是，利用了一对损失和三胞胎损失，以从图像对或图像三联体中学习基于相似性的嵌入。学到的嵌入提供了对图像之间相似性的准确测量，这被认为是组织病理学形态比正常图像特征更有效的表示形式。此外，为了确保生成的模型独立于放大，以不同放大因素获取的图像在学习多尺度嵌入过程中同时被馈送到网络中。除了SMSE之外，我们还消除了类不平衡的影响，而不是使用凭直觉丢弃一些简单样品的硬采矿策略，我们引入了新的增强局灶性损失，以同时惩罚硬误分类的样品，同时抑制了容易分类良好的样品。实验结果表明，与以前的方法相比，SMSE改善了乳腺癌和肝癌的组织病理图像分类任务的性能。特别是，与使用传统功能相比，SMSE在Breakhis基准测试中取得了最佳性能，其改善范围从5％到18％。

Whole-slide images (WSI) in computational pathology have high resolution with gigapixel size, but are generally with sparse regions of interest, which leads to weak diagnostic relevance and data inefficiency for each area in the slide. Most of the existing methods rely on a multiple instance learning framework that requires densely sampling local patches at high magnification. The limitation is evident in the application stage as the heavy computation for extracting patch-level features is inevitable. In this paper, we develop RLogist, a benchmarking deep reinforcement learning (DRL) method for fast observation strategy on WSIs. Imitating the diagnostic logic of human pathologists, our RL agent learns how to find regions of observation value and obtain representative features across multiple resolution levels, without having to analyze each part of the WSI at the high magnification. We benchmark our method on two whole-slide level classification tasks, including detection of metastases in WSIs of lymph node sections, and subtyping of lung cancer. Experimental results demonstrate that RLogist achieves competitive classification performance compared to typical multiple instance learning algorithms, while having a significantly short observation path. In addition, the observation path given by RLogist provides good decision-making interpretability, and its ability of reading path navigation can potentially be used by pathologists for educational/assistive purposes. Our code is available at: \url{https://github.com/tencent-ailab/RLogist}.

Image classification with small datasets has been an active research area in the recent past. However, as research in this scope is still in its infancy, two key ingredients are missing for ensuring reliable and truthful progress: a systematic and extensive overview of the state of the art, and a common benchmark to allow for objective comparisons between published methods. This article addresses both issues. First, we systematically organize and connect past studies to consolidate a community that is currently fragmented and scattered. Second, we propose a common benchmark that allows for an objective comparison of approaches. It consists of five datasets spanning various domains (e.g., natural images, medical imagery, satellite data) and data types (RGB, grayscale, multispectral). We use this benchmark to re-evaluate the standard cross-entropy baseline and ten existing methods published between 2017 and 2021 at renowned venues. Surprisingly, we find that thorough hyper-parameter tuning on held-out validation data results in a highly competitive baseline and highlights a stunted growth of performance over the years. Indeed, only a single specialized method dating back to 2019 clearly wins our benchmark and outperforms the baseline classifier.