Recent breakthroughs in semi-supervised semantic segmentation have been developed through contrastive learning. In prevalent pixel-wise contrastive learning solutions, the model maps pixels to deterministic representations and regularizes them in the latent space. However, there exist inaccurate pseudo-labels which map the ambiguous representations of pixels to the wrong classes due to the limited cognitive ability of the model. In this paper, we define pixel-wise representations from a new perspective of probability theory and propose a Probabilistic Representation Contrastive Learning (PRCL) framework that improves representation quality by taking its probability into consideration. Through modelling the mapping from pixels to representations as the probability via multivariate Gaussian distributions, we can tune the contribution of the ambiguous representations to tolerate the risk of inaccurate pseudo-labels. Furthermore, we define prototypes in the form of distributions, which indicates the confidence of a class, while the point prototype cannot. Moreover, we propose to regularize the distribution variance to enhance the reliability of representations. Taking advantage of these benefits, high-quality feature representations can be derived in the latent space, thereby the performance of semantic segmentation can be further improved. We conduct sufficient experiment to evaluate PRCL on Pascal VOC and CityScapes to demonstrate its superiority. The code is available at https://github.com/Haoyu-Xie/PRCL.

卷积神经网络可以在语义细分任务中实现出色的性能。但是，这种神经网络方法在很大程度上依赖于昂贵的像素级注释。半监督学习是解决这个问题的有前途的决议，但其表现仍然远远落后于完全受监督的对手。这项工作提出了一个带有三个模块的跨教师培训框架，可显着改善传统的半监督学习方法。核心是跨教师模块，可以同时减少同伴网络之间的耦合以及教师和学生网络之间的错误积累。此外，我们提出了两个互补的对比学习模块。高级模块可以将高质量的知识从标记的数据传输到未标记的数据，并在特征空间中促进类之间的分离。低级模块可以鼓励从同伴网络中的高质量功能学习的低质量功能。在实验中，跨教师模块显着提高了传统的学生教师方法的性能，而我们的框架在基准数据集上的表现优于现行方法。我们的CTT源代码将发布。

半监督语义分割的流行方法主要采用了使用卷积神经网络（CNN）（CNN）的统一网络模型，并在应用于输入或模型的小型扰动上实施模型预测的一致性。但是，这种学习范式受到a）基于CNN模型的学习能力有限； b）学习未标记数据的判别特征的能力有限； c）从整个图像中对全球和本地信息的学习有限。在本文中，我们提出了一种新型的半监督学习方法，称为Transformer-CNN队列（TCC），该方法由两个基于视觉变压器（VIT）的学生组成，另一种是基于CNN的学生。我们的方法巧妙地通过伪标记来纳入预测和异质特征空间上的多级一致性正则化，用于未标记的数据。首先，由于VIT学生的输入是图像贴片，因此特征地图提取了编码至关重要的类统计。为此，我们建议首先利用每个学生作为伪标签并生成类吸引功能（CF）映射的班级感知功能一致性蒸馏（CFCD）。然后，它通过学生之间的CF地图传输知识。其次，随着VIT学生对所有层具有更统一的表示，我们提出一致性感知的交叉蒸馏以在类像素方面的预测之间转移知识。我们在CityScapes和Pascal VOC 2012数据集上验证了TCC框架，该数据集大大优于现有的半监督方法。

在最近的半监督语义分割方法中，一致性正则化已被广泛研究。从图像，功能和网络扰动中受益，已经实现了出色的性能。为了充分利用这些扰动，在这项工作中，我们提出了一个新的一致性正则化框架，称为相互知识蒸馏（MKD）。我们创新地基于一致性正则化方法，创新了两个辅助均值老师模型。更具体地说，我们使用一位卑鄙的老师生成的伪标签来监督另一个学生网络，以在两个分支之间进行相互知识蒸馏。除了使用图像级强和弱的增强外，我们还采用了特征增强，考虑隐性语义分布来增加对学生的进一步扰动。提出的框架大大增加了训练样本的多样性。公共基准测试的广泛实验表明，我们的框架在各种半监督设置下都优于先前的最先进方法（SOTA）方法。

Recent studies on semi-supervised semantic segmentation (SSS) have seen fast progress. Despite their promising performance, current state-of-the-art methods tend to increasingly complex designs at the cost of introducing more network components and additional training procedures. Differently, in this work, we follow a standard teacher-student framework and propose AugSeg, a simple and clean approach that focuses mainly on data perturbations to boost the SSS performance. We argue that various data augmentations should be adjusted to better adapt to the semi-supervised scenarios instead of directly applying these techniques from supervised learning. Specifically, we adopt a simplified intensity-based augmentation that selects a random number of data transformations with uniformly sampling distortion strengths from a continuous space. Based on the estimated confidence of the model on different unlabeled samples, we also randomly inject labelled information to augment the unlabeled samples in an adaptive manner. Without bells and whistles, our simple AugSeg can readily achieve new state-of-the-art performance on SSS benchmarks under different partition protocols.

最近的半监督学习（SSL）方法通常基于伪标记。由于SSL性能受到伪标签质量的大大影响，因此已经提出了相互学习，以有效地抑制伪监管中的噪音。在这项工作中，我们提出了强大的相互学习，可以在两个方面提高先前的方法。首先，vanilla相互学习者遭受耦合问题，模型可能会聚以学习同质知识。我们通过介绍卑鄙教师来产生互动监督，以便在这两个学生之间没有直接互动来解决这个问题。我们还表明，强大的数据增强，模型噪声和异构网络架构对于缓解模型耦合至关重要。其次，我们注意到相互学习未能利用网络自身的伪标签改进能力。因此，我们介绍了自我整改，利用内部知识，并在相互教学前明确地整流伪标签。这种自我整改和共同教学在整个学习过程中协同提高了伪标签准确性。所提出的强大相互学习在低数据制度中展示了最先进的性能。

虽然图像级弱监督的语义分割（WSSS）与类激活地图（CAM）作为基石取得了很大的进展，但分类和分割之间的大型监督差距仍然妨碍模型以产生用于分割的更完整和精确的伪掩模。在这项研究中，我们提出了弱监管的像素到原型对比度，其可以提供像素级监控信号来缩小间隙。由两个直观的前沿引导，我们的方法在不同视图和图像的单个视图中执行，旨在施加跨视图特征语义一致性正则化，并促进特征空间的帧内（互联）紧凑性（色散）。我们的方法可以无缝地纳入现有的WSSS模型，而没有对基础网络的任何更改，并且不会产生任何额外的推断负担。广泛的实验表明，我们的方法始终如一地通过大幅度改善两个强的基线，证明了有效性。具体而言，建于接缝的顶部，我们将初始种子Miou 2012从55.4％提高到Pascal VOC上。此外，通过我们的方法武装，我们从70.8％增加到73.6％的EPS分割Miou，实现了新的最先进。

虽然监督语义分割存在重大进展，但由于领域偏差，将分段模型部署到解除域来仍然具有挑战性。域适应可以通过将知识从标记的源域传输到未标记的目标域来帮助。以前的方法通常尝试执行对全局特征的适应，然而，通常忽略要计入特征空间中的每个像素的本地语义附属机构，导致较少的可辨性。为解决这个问题，我们提出了一种用于细粒度阶级对齐的新型语义原型对比学习框架。具体地，语义原型提供了用于每个像素鉴别的表示学习的监控信号，并且需要在特征空间中的源极和目标域的每个像素来反映相应的语义原型的内容。通过这种方式，我们的框架能够明确地制作较近的类别的像素表示，并且进一步越来越多地分开，以改善分割模型的鲁棒性以及减轻域移位问题。与最先进的方法相比，我们的方法易于实施并达到优异的结果，如众多实验所展示的那样。代码在[此HTTPS URL]（https://github.com/binhuixie/spcl）上公开可用。

本文为半监督医学图像分割提供了一个简单而有效的两阶段框架。我们的主要洞察力是探索用标记和未标记的（即伪标记）图像的特征表示学习，以增强分段性能。在第一阶段，我们介绍了一种炼层的不确定感知方法，即Aua，以改善产生高质量伪标签的分割性能。考虑到医学图像的固有歧义，Aua自适应地规范了具有低歧义的图像的一致性。为了提高代表学习，我们提出了一种舞台适应性的对比学习方法，包括边界意识的对比损失，以规范第一阶段中标记的图像，并在第二阶段中的原型感知对比损失优化标记和伪标记的图像阶段。边界意识的对比损失仅优化分段边界周围的像素，以降低计算成本。原型感知对比损失通过为每个类构建质心来充分利用标记的图像和伪标记的图像，以减少对比较的计算成本。我们的方法在两个公共医学图像分割基准上实现了最佳结果。值得注意的是，我们的方法在结肠肿瘤分割的骰子上以5.7％的骰子依赖于只有5％标记的图像而表现出5.7％。

自我训练在半监督学习中表现出巨大的潜力。它的核心思想是使用在标记数据上学习的模型来生成未标记样本的伪标签，然后自我教学。为了获得有效的监督，主动尝试通常会采用动量老师进行伪标签的预测，但要观察确认偏见问题，在这种情况下，错误的预测可能会提供错误的监督信号并在培训过程中积累。这种缺点的主要原因是，现行的自我训练框架充当以前的知识指导当前状态，因为老师仅与过去的学生更新。为了减轻这个问题，我们提出了一种新颖的自我训练策略，该策略使模型可以从未来学习。具体而言，在每个培训步骤中，我们都会首先优化学生（即，在不将其应用于模型权重的情况下缓存梯度），然后用虚拟未来的学生更新老师，最后要求老师为伪标记生产伪标签目前的学生作为指导。这样，我们设法提高了伪标签的质量，从而提高了性能。我们还通过深入（FST-D）和广泛（FST-W）窥视未来，开发了我们未来自我训练（FST）框架的两个变体。将无监督的域自适应语义分割和半监督语义分割的任务作为实例，我们在广泛的环境下实验表明了我们方法的有效性和优越性。代码将公开可用。

强大的语义细分面临的一个普遍挑战是昂贵的数据注释成本。现有的半监督解决方案显示出解决此问题的巨大潜力。他们的关键想法是通过未经监督的数据增加未标记的数据来构建一致性正则化，以进行模型培训。未标记数据的扰动使一致性训练损失使半监督的语义分割受益。但是，这些扰动破坏了图像上下文并引入了不自然的边界，这对语义分割是有害的。此外，广泛采用的半监督学习框架，即均值老师，遭受了绩效限制，因为学生模型最终会收敛于教师模型。在本文中，首先，我们提出了一个友好的可区分几何扭曲，以进行无监督的数据增强。其次，提出了一个新颖的对抗双重学生框架，以从以下两个方面从以下两个方面改善均等老师：（1）双重学生模型是独立学习的，除了稳定约束以鼓励利用模型多样性； （2）对对抗性训练计划适用于学生，并诉诸歧视者以区分无标记数据的可靠伪标签进行自我训练。通过对Pascal VOC2012和CityScapes进行的广泛实验来验证有效性。我们的解决方案可显着提高两个数据集的性能和最先进的结果。值得注意的是，与完全监督相比，我们的解决方案仅使用Pascal VOC2012上的12.5％注释数据获得了73.4％的可比MIOU。我们的代码和模型可在https://github.com/caocong/ads-semiseg上找到。

通过对比学习，自我监督学习最近在视觉任务中显示了巨大的潜力，这旨在在数据集中区分每个图像或实例。然而，这种情况级别学习忽略了实例之间的语义关系，有时不希望地从语义上类似的样本中排斥锚，被称为“假否定”。在这项工作中，我们表明，对于具有更多语义概念的大规模数据集来说，虚假否定的不利影响更为重要。为了解决这个问题，我们提出了一种新颖的自我监督的对比学习框架，逐步地检测并明确地去除假阴性样本。具体地，在训练过程之后，考虑到编码器逐渐提高，嵌入空间变得更加语义结构，我们的方法动态地检测增加的高质量假否定。接下来，我们讨论两种策略，以明确地在对比学习期间明确地消除检测到的假阴性。广泛的实验表明，我们的框架在有限的资源设置中的多个基准上表现出其他自我监督的对比学习方法。

Semi-supervised object detection (SSOD) aims to boost detection performance by leveraging extra unlabeled data. The teacher-student framework has been shown to be promising for SSOD, in which a teacher network generates pseudo-labels for unlabeled data to assist the training of a student network. Since the pseudo-labels are noisy, filtering the pseudo-labels is crucial to exploit the potential of such framework. Unlike existing suboptimal methods, we propose a two-step pseudo-label filtering for the classification and regression heads in a teacher-student framework. For the classification head, OCL (Object-wise Contrastive Learning) regularizes the object representation learning that utilizes unlabeled data to improve pseudo-label filtering by enhancing the discriminativeness of the classification score. This is designed to pull together objects in the same class and push away objects from different classes. For the regression head, we further propose RUPL (Regression-Uncertainty-guided Pseudo-Labeling) to learn the aleatoric uncertainty of object localization for label filtering. By jointly filtering the pseudo-labels for the classification and regression heads, the student network receives better guidance from the teacher network for object detection task. Experimental results on Pascal VOC and MS-COCO datasets demonstrate the superiority of our proposed method with competitive performance compared to existing methods.

深度学习的快速发展在分割方面取得了长足的进步，这是计算机视觉的基本任务之一。但是，当前的细分算法主要取决于像素级注释的可用性，这些注释通常昂贵，乏味且费力。为了减轻这一负担，过去几年见证了越来越多的关注，以建立标签高效，深度学习的细分算法。本文对标签有效的细分方法进行了全面的审查。为此，我们首先根据不同类型的弱标签提供的监督（包括没有监督，粗略监督，不完整的监督和嘈杂的监督和嘈杂的监督），首先开发出一种分类法来组织这些方法，并通过细分类型（包括语义细分）补充，实例分割和全景分割）。接下来，我们从统一的角度总结了现有的标签有效的细分方法，该方法讨论了一个重要的问题：如何弥合弱监督和密集预测之间的差距 - 当前的方法主要基于启发式先导，例如交叉像素相似性，跨标签约束，跨视图一致性，跨图像关系等。最后，我们分享了对标签有效深层细分的未来研究方向的看法。

上下文信息对于各种计算机视觉任务至关重要，以前的作品通常设计插件模块和结构损失，以有效地提取和汇总全局上下文。这些方法利用优质标签来优化模型，但忽略了精细训练的特征也是宝贵的训练资源，可以将优选的分布引入硬像素（即错误分类的像素）。受到无监督范式的对比学习的启发，我们以监督的方式应用了对比度损失，并重新设计了损失功能，以抛弃无监督学习的刻板印象（例如，积极和负面的不平衡，对锚定计算的混淆）。为此，我们提出了阳性阴性相等的对比损失（PNE损失），这增加了阳性嵌入对锚的潜在影响，并同时对待阳性和阴性样本对。 PNE损失可以直接插入现有的语义细分框架中，并以可忽视的额外计算成本导致出色的性能。我们利用许多经典的分割方法（例如，DeepLabv3，Ocrnet，Upernet）和骨干（例如Resnet，Hrnet，Swin Transformer）进行全面的实验，并在两个基准数据集（例如，例如，例如，，例如城市景观和可可固定）。我们的代码将公开

我们在语义分段（NCDSS）中介绍了新型类发现的新设置，其目的在于将未标记的图像分段，其中给出了从标记的不相交类集之前知识的新类。与看起来在图像分类中的新型类发现的现有方法相比，我们专注于更具挑战性的语义细分。在NCDS中，我们需要区分对象和背景，并处理图像内的多个类的存在，这增加了使用未标记数据的难度。为了解决这个新的设置，我们利用标记的基础数据和显着模型来粗略地集群新颖的课程，以便在我们的基本框架中进行模型培训。此外，我们提出了基于熵的不确定性建模和自我培训（EUMS）框架来克服嘈杂的伪标签，进一步提高了新颖类别的模型性能。我们的欧姆斯利用熵排名技术和动态重新分配来蒸馏清洁标签，从而充分利用自我监督的学习来充分利用嘈杂的数据。我们在Pascal-5 $ ^ i $ dataSet上构建NCDSS基准。广泛的实验表明了基本框架的可行性（实现了平均Miou的49.81％）和欧姆斯框架的有效性（优于9.28％Miou的基本框架）。

监管基于深度学习的方法，产生医学图像分割的准确结果。但是，它们需要大量标记的数据集，并获得它们是一种艰苦的任务，需要临床专业知识。基于半/自我监督的学习方法通​​过利用未标记的数据以及有限的注释数据来解决此限制。最近的自我监督学习方法使用对比损失来从未标记的图像中学习良好的全球层面表示，并在像想象网那样的流行自然图像数据集上实现高性能。在诸如分段的像素级预测任务中，对于学习良好的本地级别表示以及全局表示来说至关重要，以实现更好的准确性。然而，现有的局部对比损失的方法的影响仍然是学习良好本地表现的限制，因为类似于随机增强和空间接近定义了类似和不同的局部区域;由于半/自我监督设置缺乏大规模专家注释，而不是基于当地地区的语义标签。在本文中，我们提出了局部对比损失，以便通过利用从未标记的图像的未标记图像的伪标签获得的语义标签信息来学习用于分割的良好像素级别特征。特别地，我们定义了建议的损失，以鼓励具有相同伪标签/标签的像素的类似表示，同时与数据集中的不同伪标签/标签的像素的表示。我们通过联合优化标记和未标记的集合和仅限于标记集的分割损失，通过联合优化拟议的对比损失来进行基于伪标签的自培训和培训网络。我们在三个公共心脏和前列腺数据集上进行了评估，并获得高分割性能。

半监督的语义细分需要对未标记的数据进行丰富而强大的监督。一致性学习强制执行相同的像素在不同的增强视图中具有相似的特征，这是一个强大的信号，但忽略了与其他像素的关系。相比之下，对比学习考虑了丰富的成对关系，但是为像素对分配二进制阳性阴性监督信号可能是一个难题。在本文中，我们竭尽所能，并提出多视图相关性一致性（MVCC）学习：它考虑了自相关矩阵中的丰富成对关系，并将它们匹配到视图中以提供强大的监督。加上这种相关性一致性损失，我们提出了一个视图增强策略，可以保证不同观点之间的像素像素对应关系。在两个数据集上的一系列半监督设置中，我们报告了与最先进方法相比的竞争精度。值得注意的是，在CityScapes上，我们以1/8标记的数据达到76.8％的MIOU，比完全监督的Oracle差0.6％。

在许多图像引导的临床方法中，医学图像分割是一个基本和关键的步骤。基于深度学习的细分方法的最新成功通常取决于大量标记的数据，这特别困难且昂贵，尤其是在医学成像领域中，只有专家才能提供可靠和准确的注释。半监督学习已成为一种吸引人的策略，并广泛应用于医学图像分割任务，以训练注释有限的深层模型。在本文中，我们对最近提议的半监督学习方法进行了全面综述，并总结了技术新颖性和经验结果。此外，我们分析和讨论现有方法的局限性和几个未解决的问题。我们希望这篇评论可以激发研究界探索解决这一挑战的解决方案，并进一步促进医学图像细分领域的发展。

领域自适应分段努力生成目标域的高质量伪标签并在其上重新训练分段的趋势趋势。在这种自我训练的范式下，一些竞争性方法已寻求潜在的空间信息，该信息建立了语义类别的特征质心（又称原型），并通过与这些质心的距离确定了伪标签候选者。在本文中，我们认为潜在空间包含更多要利用的信息，从而进一步迈出了一步以利用它。首先，我们不仅使用源域原型来确定目标伪标签，而且还像大多数传统方法一样，我们在双向上产生目标域原型来降低那些可能难以理解或无法进行适应的源特征。其次，现有尝试将每个类别模拟为单个和各向同性原型，同时忽略特征分布的方差，这可能导致类似类别的混淆。为了解决这个问题，我们建议通过高斯混合模型代表每个类别，以多种和各向异性原型表示，以根据概率密度估算源域的事实分布并估算目标样品的可能性。我们将我们的方法应用于gta5-> CityScapes和Synthia-> CityScaps任务，并在平均值上分别实现61.2和62.8，这显然优于其他竞争性的自我训练方法。值得注意的是，在某些类别中，我们的方法分别遭受了“卡车”和“公共汽车”等分类混乱的影响，我们的方法分别达到了56.4和68.8，这进一步证明了我们设计的有效性。