在本文中，我们引入了一个无监督的组织学图像癌症分割框架。该框架涉及一种有效的对比度学习方案，用于提取独特的视觉表示以进行分割。编码器是一个深的U-NET（DU-NET）结构，与正常的U-NET相比包含一个额外的完全卷积层。开发了一种对比学习方案，以解决缺乏对肿瘤边界高质量注释的训练集的问题。采用了一组特定的数据增强技术来提高对比度学习的学习颜色特征的可区分性。使用卷积条件随机场进行平滑和消除噪声。该实验表明，比某些受欢迎的监督网络更好地表明了分割的竞争性能。

This paper presents SimCLR: a simple framework for contrastive learning of visual representations. We simplify recently proposed contrastive selfsupervised learning algorithms without requiring specialized architectures or a memory bank. In order to understand what enables the contrastive prediction tasks to learn useful representations, we systematically study the major components of our framework. We show that (1) composition of data augmentations plays a critical role in defining effective predictive tasks, (2) introducing a learnable nonlinear transformation between the representation and the contrastive loss substantially improves the quality of the learned representations, and (3) contrastive learning benefits from larger batch sizes and more training steps compared to supervised learning. By combining these findings, we are able to considerably outperform previous methods for self-supervised and semi-supervised learning on ImageNet. A linear classifier trained on self-supervised representations learned by Sim-CLR achieves 76.5% top-1 accuracy, which is a 7% relative improvement over previous state-ofthe-art, matching the performance of a supervised ResNet-50. When fine-tuned on only 1% of the labels, we achieve 85.8% top-5 accuracy, outperforming AlexNet with 100× fewer labels. 1

Medical image segmentation methods typically rely on numerous dense annotated images for model training, which are notoriously expensive and time-consuming to collect. To alleviate this burden, weakly supervised techniques have been exploited to train segmentation models with less expensive annotations. In this paper, we propose a novel point-supervised contrastive variance method (PSCV) for medical image semantic segmentation, which only requires one pixel-point from each organ category to be annotated. The proposed method trains the base segmentation network by using a novel contrastive variance (CV) loss to exploit the unlabeled pixels and a partial cross-entropy loss on the labeled pixels. The CV loss function is designed to exploit the statistical spatial distribution properties of organs in medical images and their variance distribution map representations to enforce discriminative predictions over the unlabeled pixels. Experimental results on two standard medical image datasets demonstrate that the proposed method outperforms the state-of-the-art weakly supervised methods on point-supervised medical image semantic segmentation tasks.

数字病理学是现代医学中最重要的发展之一。病理检查是医疗方案的黄金标准，并在诊断中发挥基本作用。最近，随着数字扫描仪的出现，现在可以将组织组织病理学载玻片数字化并作为数字图像存储。结果，数字化组织病理组织可用于计算机辅助图像分析程序和机器学习技术。核的检测和分割是癌症诊断中的一些基本步骤。最近，深度学习已被用于核细胞分割。然而，核细胞分割的深度学习方法中的一个问题是缺乏斑块的信息。本文提出了深入的基于学习的核细胞分割方法，这解决了补丁边界地区误入歧途的问题。我们使用本地和全局修补程序来预测最终的分割图。多器官组织病理学数据集上的实验结果表明，我们的方法优于基线核细胞分割和流行分割模型。

使用超越欧几里德距离的神经网络，深入的Bregman分歧测量数据点的分歧，并且能够捕获分布的发散。在本文中，我们提出了深深的布利曼对视觉表现的对比学习的分歧，我们的目标是通过基于功能Bregman分歧培训额外的网络来提高自我监督学习中使用的对比损失。与完全基于单点之间的分歧的传统对比学学习方法相比，我们的框架可以捕获分布之间的发散，这提高了学习表示的质量。我们展示了传统的对比损失和我们提出的分歧损失优于基线的结合，并且最先前的自我监督和半监督学习的大多数方法在多个分类和对象检测任务和数据集中。此外，学习的陈述在转移到其他数据集和任务时概括了良好。源代码和我们的型号可用于补充，并将通过纸张释放。

监管基于深度学习的方法，产生医学图像分割的准确结果。但是，它们需要大量标记的数据集，并获得它们是一种艰苦的任务，需要临床专业知识。基于半/自我监督的学习方法通​​过利用未标记的数据以及有限的注释数据来解决此限制。最近的自我监督学习方法使用对比损失来从未标记的图像中学习良好的全球层面表示，并在像想象网那样的流行自然图像数据集上实现高性能。在诸如分段的像素级预测任务中，对于学习良好的本地级别表示以及全局表示来说至关重要，以实现更好的准确性。然而，现有的局部对比损失的方法的影响仍然是学习良好本地表现的限制，因为类似于随机增强和空间接近定义了类似和不同的局部区域;由于半/自我监督设置缺乏大规模专家注释，而不是基于当地地区的语义标签。在本文中，我们提出了局部对比损失，以便通过利用从未标记的图像的未标记图像的伪标签获得的语义标签信息来学习用于分割的良好像素级别特征。特别地，我们定义了建议的损失，以鼓励具有相同伪标签/标签的像素的类似表示，同时与数据集中的不同伪标签/标签的像素的表示。我们通过联合优化标记和未标记的集合和仅限于标记集的分割损失，通过联合优化拟议的对比损失来进行基于伪标签的自培训和培训网络。我们在三个公共心脏和前列腺数据集上进行了评估，并获得高分割性能。

Dense prediction tasks such as segmentation and detection of pathological entities hold crucial clinical value in the digital pathology workflow. However, obtaining dense annotations on large cohorts is usually tedious and expensive. Contrastive learning (CL) is thus often employed to leverage large volumes of unlabeled data to pre-train the backbone network. To boost CL for dense prediction, some studies have proposed variations of dense matching objectives in pre-training. However, our analysis shows that employing existing dense matching strategies on histopathology images enforces invariance among incorrect pairs of dense features and, thus, is imprecise. To address this, we propose a precise location-based matching mechanism that utilizes the overlapping information between geometric transformations to precisely match regions in two augmentations. Extensive experiments on two pretraining datasets (TCGA-BRCA, NCT-CRC-HE) and three downstream datasets (GlaS, CRAG, BCSS) highlight the superiority of our method in semantic and instance segmentation tasks. Our method outperforms previous dense matching methods by up to 7.2 % in average precision for detection and 5.6 % in average precision for instance segmentation tasks. Additionally, by using our matching mechanism in the three popular contrastive learning frameworks, MoCo-v2, VICRegL and ConCL, the average precision in detection is improved by 0.7 % to 5.2 % and the average precision in segmentation is improved by 0.7 % to 4.0 %, demonstrating its generalizability.

有了大规模标记的数据集，深度学习在医学图像分割方面已取得了重大成功。但是，由于广泛的专业知识要求和昂贵的标签工作，在临床实践中获取大量注释是具有挑战性的。最近，对比学习表明，在未标记的数据上进行视觉表示学习的能力很强，在许多领域中实现了令人印象深刻的性能与监督的学习。在这项工作中，我们提出了一个新型的多尺度多视图全球对比度学习（MMGL）框架，以彻底探索不同尺度的全球和局部特征，并观察到可靠的对比度学习表现，从而通过有限的注释来改善细分性能。在MM-WHS数据集上进行的广泛实验证明了MMGL框架对半监视的心脏图像分割的有效性，从而超过了最先进的对比度学习方法，这是通过较大的余量。

Well-annotated medical datasets enable deep neural networks (DNNs) to gain strong power in extracting lesion-related features. Building such large and well-designed medical datasets is costly due to the need for high-level expertise. Model pre-training based on ImageNet is a common practice to gain better generalization when the data amount is limited. However, it suffers from the domain gap between natural and medical images. In this work, we pre-train DNNs on ultrasound (US) domains instead of ImageNet to reduce the domain gap in medical US applications. To learn US image representations based on unlabeled US videos, we propose a novel meta-learning-based contrastive learning method, namely Meta Ultrasound Contrastive Learning (Meta-USCL). To tackle the key challenge of obtaining semantically consistent sample pairs for contrastive learning, we present a positive pair generation module along with an automatic sample weighting module based on meta-learning. Experimental results on multiple computer-aided diagnosis (CAD) problems, including pneumonia detection, breast cancer classification, and breast tumor segmentation, show that the proposed self-supervised method reaches state-of-the-art (SOTA). The codes are available at https://github.com/Schuture/Meta-USCL.

医学图像分割或计算voxelwise语义面具是一个基本又具有挑战性的任务，用于计算体素级语义面具。为了提高编码器 - 解码器神经网络在大型临床队列中执行这项任务的能力，对比学习提供了稳定模型初始化和增强编码器而无需标签的机会。然而，多个目标对象（具有不同的语义含义）可能存在于单个图像中，这使得适应传统的对比学习方法从普遍的“图像级分类”到“像素级分段”中的问题。在本文中，我们提出了一种简单的语义感知对比学习方法，利用注意掩模来推进多对象语义分割。简而言之，我们将不同的语义对象嵌入不同的群集而不是传统的图像级嵌入。我们在与内部数据和Miccai挑战2015 BTCV数据集中的多器官医学图像分段任务中评估我们提出的方法。与目前的最先进的培训策略相比，我们拟议的管道分别产生了两种医学图像分割队列的骰子评分的大幅提高5.53％和6.09％（P值<0.01）。通过Pascal VOC 2012 DataSet进一步评估了所提出的方法的性能，并在MiOU（P值<0.01）上实现了2.75％的大幅提高。

学习无标记数据的判别性表示是一项具有挑战性的任务。对比性的自我监督学习提供了一个框架，可以使用简单的借口任务中的相似性措施来学习有意义的表示。在这项工作中，我们为使用图像贴片上的对比度学习而无需使用明确的借口任务或任何进一步标记的微调来提出一个简单有效的框架，用于使用对比度学习进行自我监督的图像分割。完全卷积的神经网络（FCNN）以自我监督的方式进行训练，以辨别输入图像中的特征并获得置信图，从而捕获网络对同一类的对象的信念。根据对比度学习的置信图中的平均熵对正 - 和负斑进行采样。当正面斑块之间的信息分离很小时，假定会收敛，而正阴对对很大。我们评估了从多个组织病理学数据集分割核的任务，并通过相关的自我监督和监督方法显示出可比的性能。所提出的模型仅由一个具有10.8K参数的简单FCNN组成，需要大约5分钟才能收敛于高分辨率显微镜数据集，该数据集比相关的自我监督方法小的数量级以获得相似的性能。

H＆E载玻片中的细胞识别是必不可少的先决条件，可以为进一步的病理分析铺平道路，包括组织分类，癌症分级和表型预测。但是，使用深度学习技术执行此类任务需要大型的细胞级注释数据集。尽管以前的研究已经调查了组织分类中对比度自我监督方法的性能，但该类别算法在细胞鉴定和聚类中的实用性仍然未知。在这项工作中，我们通过提出对比度细胞表示学习（CCRL）模型来研究了在细胞聚类中自学学习（SSL）的实用性。通过全面的比较，我们表明该模型可以通过来自不同组织类型的两个数据集的大幅度优于所有当前可用的细胞聚类模型。更有趣的是，结果表明，我们提出的模型在几个单元格类别中运作良好，而SSL模型的实用性主要在具有大量类别的自然图像数据集的背景下显示（例如Imagenet）。本研究中提出的无监督表示学习方法消除了细胞分类任务中数据注释的耗时步骤，这使我们能够在与以前的方法相比更大的数据集上训练我们的模型。因此，考虑到有希望的结果，这种方法可以为自动细胞表示学习打开新的途径。

用于计算病理（CPATH）的深度分割模型的发展可以帮助培养可解释的形态生物标志物的调查。然而，这些方法的成功存在主要瓶颈，因为监督的深度学习模型需要丰富的准确标记数据。该问题在CPATH领域加剧，因为详细注释的产生通常需要对病理学家的输入能够区分不同的组织构建体和核。手动标记核可能不是收集大规模注释数据集的可行方法，特别是当单个图像区域可以包含数千个不同的单元时。但是，仅依靠自动生成注释将限制地面真理的准确性和可靠性。因此，为了帮助克服上述挑战，我们提出了一种多级注释管道，以使大规模数据集进行用于组织学图像分析，具有病理学家in-循环的细化步骤。使用本市管道，我们生成最大的已知核实例分段和分类数据集，其中包含近百万分之一的H＆E染色的结肠组织中标记的细胞核。我们发布了DataSet并鼓励研究社区利用它来推动CPATH中下游小区模型的发展。

眼科图像和衍生物，例如视网膜神经纤维层（RNFL）厚度图对于检测和监测眼科疾病至关重要（例如，青光眼）。对于计算机辅助诊断眼疾病，关键技术是自动从眼科图像中提取有意义的特征，这些特征可以揭示与功能视觉丧失相关的生物标志物（例如RNFL变薄模式）。然而，将结构性视网膜损伤与人类视力丧失联系起来的眼科图像的表示，主要是由于患者之间的解剖学变化很大。在存在图像伪像的情况下，这项任务变得更加具有挑战性，由于图像采集和自动细分，这很常见。在本文中，我们提出了一个耐伪造的无监督的学习框架，该框架称为眼科图像的学习表示。 Eyelearn具有一个伪影校正模块，可以学习可以最好地预测无伪影眼镜图像的表示形式。此外，Eyelearn采用聚类引导的对比度学习策略，以明确捕获内部和间形的亲和力。在训练过程中，图像在簇中动态组织，以形成对比样品，其中鼓励在相同或不同的簇中分别学习相似或不同的表示形式。为了评估包冰者，我们使用青光眼患者的现实世界眼科摄影图数据集使用学习的表示形式进行视野预测和青光眼检测。广泛的实验和与最先进方法的比较验证了眼球从眼科图像中学习最佳特征表示的有效性。

高质量注释的医学成像数据集的稀缺性是一个主要问题，它与医学成像分析领域的机器学习应用相撞并阻碍了其进步。自我监督学习是一种最近的培训范式，可以使学习强大的表示无需人类注释，这可以被视为有效的解决方案，以解决带注释的医学数据的稀缺性。本文回顾了自我监督学习方法的最新研究方向，用于图像数据，并将其专注于其在医学成像分析领域的应用。本文涵盖了从计算机视野领域的最新自我监督学习方法，因为它们适用于医学成像分析，并将其归类为预测性，生成性和对比性方法。此外，该文章涵盖了40个在医学成像分析中自学学习领域的最新研究论文，旨在阐明该领域的最新创新。最后，本文以该领域的未来研究指示结束。

关于对比学习的最新研究仅通过在医学图像分割的背景下利用很少的标签来实现出色的性能。现有方法主要关注实例歧视和不变映射。但是，他们面临三个常见的陷阱：（1）尾巴：医疗图像数据通常遵循隐式的长尾分配。盲目利用训练中的所有像素会导致数据失衡问题，并导致性能恶化； （2）一致性：尚不清楚分割模型是否由于不同解剖学特征之间的类内变化而学会了有意义但一致的解剖学特征； （3）多样性：整个数据集中的切片内相关性已得到明显降低的关注。这促使我们寻求一种有原则的方法来战略利用数据集本身，以发现不同解剖学观点的类似但不同的样本。在本文中，我们介绍了一种新型的半监督医学图像分割框架，称其为您自己的解剖结构（MONA），并做出了三个贡献。首先，先前的工作认为，每个像素对模型培训都同样重要。我们从经验上观察到，仅此单单就不太可能定义有意义的解剖特征，这主要是由于缺乏监督信号。我们通过使用更强大的数据增强和最近的邻居展示了学习不变的两个简单解决方案。其次，我们构建了一组目标，鼓励模型能够以无监督的方式将医学图像分解为解剖特征的集合。最后，我们在具有不同标记设置的三个基准数据集上的广泛结果验证了我们提出的MONA的有效性，该数据在不同的标签设置下实现了新的最新设置。

我们在过去十年中目睹了监督学习范式的大规模增长。监督学习需要大量标记的数据来达到最先进的性能。但是，标记样本需要很多人的注释。为避免标签数据的成本，提出了自我监督的方法来利用大部分可用的未标记数据。本研究对特征表示的自我监督范式的最新发展进行了全面和富有洞察力的调查和分析。在本文中，我们调查了影响不同环境下自我监督有用性的因素。我们展示了一些关于自我监督，生成和对比方法的两种不同方法的关键见解。我们还调查了监督对抗培训的局限性以及自我监督如何帮助克服这些限制。然后，我们继续讨论有效利用自我监督对视觉任务的局限性和挑战。最后，我们突出了一些打开的问题，并指出了未来的研究方向。

这项工作提出了一种新型的自我监督的预训练方法，以学习有效的表示，而没有在组织病理学医学图像上使用放大倍率的因素进行标签。其他最先进的工作主要集中在完全监督的学习方法上，这些学习方法严重依赖人类注释。但是，标记和未标记数据的稀缺性是组织病理学的长期挑战。当前，没有标签的表示学习仍未探索组织病理学领域。提出的方法是放大事先的对比相似性（MPC），可以通过利用放大倍率，电感转移和减少人类先验的宽度乳腺癌数据集中的无标签来进行自我监督的学习。当仅20％的标签用于微调和表现以前的工作中，在完全监督的学习环境中，该方法与恶性分类的最新学习相匹配。它提出了一个假设，并提供了经验证据来支持，从而减少人类优先导致自学​​中有效表示学习。这项工作的实施可在github-https：//github.com/prakashchhipa/magnification-prior-self-supervised-method上在线获得。

Automated cellular instance segmentation is a process utilized for accelerating biological research for the past two decades, and recent advancements have produced higher quality results with less effort from the biologist. Most current endeavors focus on completely cutting the researcher out of the picture by generating highly generalized models. However, these models invariably fail when faced with novel data, distributed differently than the ones used for training. Rather than approaching the problem with methods that presume the availability of large amounts of target data and computing power for retraining, in this work we address the even greater challenge of designing an approach that requires minimal amounts of new annotated data as well as training time. We do so by designing specialized contrastive losses that leverage the few annotated samples very efficiently. A large set of results show that 3 to 5 annotations lead to models with accuracy that: 1) significantly mitigate the covariate shift effects; 2) matches or surpasses other adaptation methods; 3) even approaches methods that have been fully retrained on the target distribution. The adaptation training is only a few minutes, paving a path towards a balance between model performance, computing requirements and expert-level annotation needs.

医学图像分析中的自动分割是一个具有挑战性的任务，需要大量手动标记的数据。然而，手动注释的医疗数据通常是费力的，并且大多数现有的基于学习的方法都无法准确地描绘对象边界而没有有效的几何约束。对比学习，自我监督学习的子区域最近被指出在多个应用领域的有希望的方向。在这项工作中，我们提出了一种具有几何约束的新型对比体Voxel-Wise表示蒸馏（CVRD）方法，用于学习具有有限注释的体积医学图像分割的全球局部视觉表示。我们的框架可以通过捕获3D空间上下文和丰富的解剖信息，有效地学习全球和局部特征。具体地，我们引入了一种体素到体积对比算法来学习来自3D图像的全局信息，并建议对局部体素到体素蒸馏进行，以明确地利用嵌入空间中的本地线索。此外，我们将基于弹性交互的主动轮廓模型集成为几何正则化术语，以实现以端到端的学习方式实现快速且可靠的对象划分。结果对心房分割挑战，数据集展示了我们所提出的方案的优势，尤其是在具有非常有限数量的注释数据的设置中。代码将在https://github.com/charlesyou999648/cvrd上获得。