尽管在半监督语义细分领域的进度程度不同，但其最近的大部分成功都涉及笨拙的模型，并且尚未探索轻量级解决方案。我们发现，现有的知识蒸馏技术更多地关注标签数据中的像素级概念，该数据未能在未标记的数据中考虑更有用的线索。因此，我们提供了首次尝试通过新颖的多晶蒸馏（MGD）方案提供轻量级SSS模型，其中从三个方面捕获了多个跨性别：i）互补的教师结构； ii）标记为未标记的数据合作蒸馏； iii）分层和多层次损失设置。具体而言，MGD被配制为标记的未标记数据合作蒸馏方案，该方案有助于充分利用在半监督环境中必不可少的不同数据特征。图像水平的语义敏感损失，区域级别的内容感知损失和像素级的一致性损失是通过结构互补的教师来丰富层次蒸馏抽象的。 Pascal VOC2012和CityScapes的实验结果表明，在不同的分区协议下，MGD可以超越竞争方法。例如，在1/16的CityScapes分区协议下，RESNET-18和MOBILENET-V2主链的性能分别增长了11.5％和4.6％。尽管模型骨干的拖曳量被3.4-5.3倍（RESNET-18）和38.7-59.6X（MobileNetV2）压缩，但该模型旨在实现令人满意的分割结果。

在最近的半监督语义分割方法中，一致性正则化已被广泛研究。从图像，功能和网络扰动中受益，已经实现了出色的性能。为了充分利用这些扰动，在这项工作中，我们提出了一个新的一致性正则化框架，称为相互知识蒸馏（MKD）。我们创新地基于一致性正则化方法，创新了两个辅助均值老师模型。更具体地说，我们使用一位卑鄙的老师生成的伪标签来监督另一个学生网络，以在两个分支之间进行相互知识蒸馏。除了使用图像级强和弱的增强外，我们还采用了特征增强，考虑隐性语义分布来增加对学生的进一步扰动。提出的框架大大增加了训练样本的多样性。公共基准测试的广泛实验表明，我们的框架在各种半监督设置下都优于先前的最先进方法（SOTA）方法。

半监督语义分割的流行方法主要采用了使用卷积神经网络（CNN）（CNN）的统一网络模型，并在应用于输入或模型的小型扰动上实施模型预测的一致性。但是，这种学习范式受到a）基于CNN模型的学习能力有限； b）学习未标记数据的判别特征的能力有限； c）从整个图像中对全球和本地信息的学习有限。在本文中，我们提出了一种新型的半监督学习方法，称为Transformer-CNN队列（TCC），该方法由两个基于视觉变压器（VIT）的学生组成，另一种是基于CNN的学生。我们的方法巧妙地通过伪标记来纳入预测和异质特征空间上的多级一致性正则化，用于未标记的数据。首先，由于VIT学生的输入是图像贴片，因此特征地图提取了编码至关重要的类统计。为此，我们建议首先利用每个学生作为伪标签并生成类吸引功能（CF）映射的班级感知功能一致性蒸馏（CFCD）。然后，它通过学生之间的CF地图传输知识。其次，随着VIT学生对所有层具有更统一的表示，我们提出一致性感知的交叉蒸馏以在类像素方面的预测之间转移知识。我们在CityScapes和Pascal VOC 2012数据集上验证了TCC框架，该数据集大大优于现有的半监督方法。

卷积神经网络可以在语义细分任务中实现出色的性能。但是，这种神经网络方法在很大程度上依赖于昂贵的像素级注释。半监督学习是解决这个问题的有前途的决议，但其表现仍然远远落后于完全受监督的对手。这项工作提出了一个带有三个模块的跨教师培训框架，可显着改善传统的半监督学习方法。核心是跨教师模块，可以同时减少同伴网络之间的耦合以及教师和学生网络之间的错误积累。此外，我们提出了两个互补的对比学习模块。高级模块可以将高质量的知识从标记的数据传输到未标记的数据，并在特征空间中促进类之间的分离。低级模块可以鼓励从同伴网络中的高质量功能学习的低质量功能。在实验中，跨教师模块显着提高了传统的学生教师方法的性能，而我们的框架在基准数据集上的表现优于现行方法。我们的CTT源代码将发布。

Recent studies on semi-supervised semantic segmentation (SSS) have seen fast progress. Despite their promising performance, current state-of-the-art methods tend to increasingly complex designs at the cost of introducing more network components and additional training procedures. Differently, in this work, we follow a standard teacher-student framework and propose AugSeg, a simple and clean approach that focuses mainly on data perturbations to boost the SSS performance. We argue that various data augmentations should be adjusted to better adapt to the semi-supervised scenarios instead of directly applying these techniques from supervised learning. Specifically, we adopt a simplified intensity-based augmentation that selects a random number of data transformations with uniformly sampling distortion strengths from a continuous space. Based on the estimated confidence of the model on different unlabeled samples, we also randomly inject labelled information to augment the unlabeled samples in an adaptive manner. Without bells and whistles, our simple AugSeg can readily achieve new state-of-the-art performance on SSS benchmarks under different partition protocols.

强大的语义细分面临的一个普遍挑战是昂贵的数据注释成本。现有的半监督解决方案显示出解决此问题的巨大潜力。他们的关键想法是通过未经监督的数据增加未标记的数据来构建一致性正则化，以进行模型培训。未标记数据的扰动使一致性训练损失使半监督的语义分割受益。但是，这些扰动破坏了图像上下文并引入了不自然的边界，这对语义分割是有害的。此外，广泛采用的半监督学习框架，即均值老师，遭受了绩效限制，因为学生模型最终会收敛于教师模型。在本文中，首先，我们提出了一个友好的可区分几何扭曲，以进行无监督的数据增强。其次，提出了一个新颖的对抗双重学生框架，以从以下两个方面从以下两个方面改善均等老师：（1）双重学生模型是独立学习的，除了稳定约束以鼓励利用模型多样性； （2）对对抗性训练计划适用于学生，并诉诸歧视者以区分无标记数据的可靠伪标签进行自我训练。通过对Pascal VOC2012和CityScapes进行的广泛实验来验证有效性。我们的解决方案可显着提高两个数据集的性能和最先进的结果。值得注意的是，与完全监督相比，我们的解决方案仅使用Pascal VOC2012上的12.5％注释数据获得了73.4％的可比MIOU。我们的代码和模型可在https://github.com/caocong/ads-semiseg上找到。

自我训练在半监督学习中表现出巨大的潜力。它的核心思想是使用在标记数据上学习的模型来生成未标记样本的伪标签，然后自我教学。为了获得有效的监督，主动尝试通常会采用动量老师进行伪标签的预测，但要观察确认偏见问题，在这种情况下，错误的预测可能会提供错误的监督信号并在培训过程中积累。这种缺点的主要原因是，现行的自我训练框架充当以前的知识指导当前状态，因为老师仅与过去的学生更新。为了减轻这个问题，我们提出了一种新颖的自我训练策略，该策略使模型可以从未来学习。具体而言，在每个培训步骤中，我们都会首先优化学生（即，在不将其应用于模型权重的情况下缓存梯度），然后用虚拟未来的学生更新老师，最后要求老师为伪标记生产伪标签目前的学生作为指导。这样，我们设法提高了伪标签的质量，从而提高了性能。我们还通过深入（FST-D）和广泛（FST-W）窥视未来，开发了我们未来自我训练（FST）框架的两个变体。将无监督的域自适应语义分割和半监督语义分割的任务作为实例，我们在广泛的环境下实验表明了我们方法的有效性和优越性。代码将公开可用。

使用输入图像，功能或网络扰动的一致性学习已经显示出半监督语义分割的显着结果，但这种方法可能受到未准确的未标记训练图像的预测的严重影响。这些不准确的预测有两种后果：1）基于“严格”的跨熵（CE）损失的培训可以容易地过度造成预测错误，导致确认偏见; 2）应用于这些不准确的预测的扰动将使用可能错误的预测作为训练信号，降低一致性学习。在本文中，我们解决了具有新颖的教师（MT）模型的一致性学习方法的预测准确性问题，包括新的辅助教师，并通过更严格的信心更换MT的均方误差（MSE） - 加权交叉熵（CONF-CE）损失。该模型的准确预测使我们能够利用网络，输入数据和特征扰动的具有挑战性的组合，以改善特征扰动的一致性学习概括，其中包括新的对抗扰动。 Public基准的结果表明，我们的方法通过现场上一个SOTA方法实现了显着的改进。

大型预训练的变压器是现代语义分割基准的顶部，但具有高计算成本和冗长的培训。为了提高这种约束，我们从综合知识蒸馏的角度来研究有效的语义分割，并考虑弥合多源知识提取和特定于变压器特定的斑块嵌入之间的差距。我们提出了基于变压器的知识蒸馏（TransKD）框架，该框架通过蒸馏出大型教师变压器的特征地图和补丁嵌入来学习紧凑的学生变形金刚，绕过长期的预训练过程并将FLOPS降低> 85.0％。具体而言，我们提出了两个基本和两个优化模块：（1）交叉选择性融合（CSF）可以通过通道注意和层次变压器内的特征图蒸馏之间的知识转移； （2）嵌入对齐（PEA）在斑块过程中执行尺寸转换，以促进贴片嵌入蒸馏； （3）全局本地上下文混合器（GL-MIXER）提取了代表性嵌入的全局和局部信息； （4）嵌入助手（EA）是一种嵌入方法，可以无缝地桥接老师和学生模型，并具有老师的渠道数量。关于CityScapes，ACDC和NYUV2数据集的实验表明，TransKD的表现优于最先进的蒸馏框架，并竞争了耗时的预训练方法。代码可在https://github.com/ruipingl/transkd上找到。

最近的半监督学习（SSL）方法通常基于伪标记。由于SSL性能受到伪标签质量的大大影响，因此已经提出了相互学习，以有效地抑制伪监管中的噪音。在这项工作中，我们提出了强大的相互学习，可以在两个方面提高先前的方法。首先，vanilla相互学习者遭受耦合问题，模型可能会聚以学习同质知识。我们通过介绍卑鄙教师来产生互动监督，以便在这两个学生之间没有直接互动来解决这个问题。我们还表明，强大的数据增强，模型噪声和异构网络架构对于缓解模型耦合至关重要。其次，我们注意到相互学习未能利用网络自身的伪标签改进能力。因此，我们介绍了自我整改，利用内部知识，并在相互教学前明确地整流伪标签。这种自我整改和共同教学在整个学习过程中协同提高了伪标签准确性。所提出的强大相互学习在低数据制度中展示了最先进的性能。

当前弱监督的语义分割（WSSS）框架通常包含分离的掩模 - 细化模型和主要语义区域挖掘模型。这些方法将包含冗余特征提取骨干网和偏置的学习目标，使其计算复杂但是解决WSSS任务的子最优。为了解决这个问题，本文建立了一个紧凑的学习框架，将分类和掩码精细组件嵌入统一的深层模型。通过共享特征提取骨干通，我们的模型能够促进两个组件之间的知识共享，同时保留低计算复杂性。为了鼓励高质量的知识互动，我们提出了一种新颖的替代自我双重教学（ASDT）机制。与传统蒸馏策略不同，我们模型中的两个教师分支的知识通过脉冲宽度调制（PWM）替代地蒸馏到学生分支，该脉冲宽度调制（PWM）产生PW波形选择信号以引导知识蒸馏过程。通过这种方式，学生分支可以帮助阻止模型落入由教师分支提供的不完美知识引起的局部最低解决方案。 Pascal VOC的综合实验2012和Coco-Stuff 10K展示了拟议的替代自我双重教学机制的有效性以及我们方法的新的最新性能。

Pseudo supervision is regarded as the core idea in semi-supervised learning for semantic segmentation, and there is always a tradeoff between utilizing only the high-quality pseudo labels and leveraging all the pseudo labels. Addressing that, we propose a novel learning approach, called Conservative-Progressive Collaborative Learning (CPCL), among which two predictive networks are trained in parallel, and the pseudo supervision is implemented based on both the agreement and disagreement of the two predictions. One network seeks common ground via intersection supervision and is supervised by the high-quality labels to ensure a more reliable supervision, while the other network reserves differences via union supervision and is supervised by all the pseudo labels to keep exploring with curiosity. Thus, the collaboration of conservative evolution and progressive exploration can be achieved. To reduce the influences of the suspicious pseudo labels, the loss is dynamic re-weighted according to the prediction confidence. Extensive experiments demonstrate that CPCL achieves state-of-the-art performance for semi-supervised semantic segmentation.

尽管深层模型在医学图像分割中表现出了有希望的性能，但它们在很大程度上依赖大量宣布的数据，这很难访问，尤其是在临床实践中。另一方面，高准确的深层模型通常有大型模型尺寸，从而限制了它们在实际情况下的工作。在这项工作中，我们提出了一个新颖的不对称联合教师框架ACT-NET，以减轻半监督知识蒸馏的昂贵注释和计算成本的负担。我们通过共同教师网络推进教师学习的学习，以通过交替的学生和教师角色来促进从大型模型到小模型的不对称知识蒸馏，从而获得了临床就业的微小但准确的模型。为了验证我们的行动网络的有效性，我们在实验中采用了ACDC数据集进行心脏子结构分段。广泛的实验结果表明，ACT-NET的表现优于其他知识蒸馏方法，并实现无损分割性能，参数少250倍。

在这项工作中，我们探讨了用于语义分割知识蒸馏的数据增强。为了避免过度适合教师网络中的噪音，大量培训示例对于知识蒸馏至关重要。 Imagelevel论证技术（例如翻转，翻译或旋转）在先前的知识蒸馏框架中广泛使用。受到功能空间上语义方向的最新进展的启发，我们建议在功能空间中包括以进行有效蒸馏的功能。具体而言，给定语义方向，可以在功能空间中为学生获得无限数量的增强。此外，分析表明，可以通过最大程度地减少增强损失的上限来同时优化这些增强。基于观察结果，开发了一种用于语义分割的知识蒸馏的新算法。对四个语义分割基准测试的广泛实验表明，所提出的方法可以提高当前知识蒸馏方法的性能而没有任何明显的开销。代码可在以下网址获得：https：//github.com/jianlong-yuan/fakd。

一致性损失在解决新监督学习研究中的问题方面发挥了关键作用。然而，具有一致性损失的现存研究仅限于其对分类任务的应用;关于半监督语义分割的现存研究依赖于像素明智的分类，这不反映预测中特征的结构化性质。我们提出了一个结构化的一致性损失，以解决现存研究的这种限制。结构化的一致性损失促进了教师和学生网络之间的像素间相似性的一致性。具体而言，与Cutmix的协作通过降低计算负担急剧性地，优化了半监控语义分割的高效性能，通过降低计算负担。建议方法的优越性通过城市展开核实; Citycapes通过验证和测试数据的基准结果分别为81.9 miou和83.84 miou。这在CityCapes基准套件的像素级语义标记任务中排名第一。据我们所知，我们是第一个在语义细分中展示最先进的半监督学习的优势。

在语义分段中广泛采用知识蒸馏以降低计算成本。先前的知识蒸馏方法的语义分割方法的重点是像素的特征特征对齐和阶级内特征变化蒸馏，从特征空间，这对于语义分割很重要。为了解决此问题，我们提出了一种类间距离蒸馏（IDD）方法，以将特征空间中的类间距离从教师网络转移到学生网络。此外，语义分割是一项依赖位置的任务，因此我们利用位置信息蒸馏模块来帮助学生网络编码更多的位置信息。在三个受欢迎的数据集上进行了广泛的实验：CityScapes，Pascal VOC和ADE20K表明，我们的方法有助于提高语义细分模型的准确性并实现最先进的性能。例如。它在CityScapes数据集上的准确性将基准模型（“ PSPNET+RESNET18”）提高了7.50％。

半监督学习是一个具有挑战性的问题，旨在通过从有限标记的例子学习来构建模型。此任务的许多方法侧重于利用单独的未标记实例的预测，以单独进行正规化网络。然而，分别处理标记和未标记的数据通常导致从标记的例子中学习的质量事先知识的丢弃。 ％，并且未能在标记和未标记的图像对之间的特征交互。在本文中，我们提出了一种新的半监督语义细分方法，名为Guidedmix-Net，通过利用标签信息来指导未标记的实例的学习。具体而言，Guidedmix-Net采用三种操作：1）类似标记的未标记图像对的插值; 2）转让互动信息; 3）伪面具的概括。它使分段模型可以通过将知识从标记的样本转移到未标记的数据来学习未标记数据的更高质量的伪掩模。除了用于标记数据的监督学习之外，使用来自混合数据的生成的伪掩模共同学习未标记数据的预测。对Pascal VOC的大量实验2012年，城市景观展示了我们的Guidedmix-Net的有效性，这实现了竞争性的细分准确性，并与以前的方法相比，通过+7美元\％$大大改善Miou。

由于复杂且巨大的模型结构，大多数现有的显着对象检测（SOD）模型很难应用。尽管提出了一些轻巧的模型，但准确性几乎不令人满意。在本文中，我们设计了一种新颖的语义引导的上下文融合网络（SCFNET），该网络重点介绍了多层次特征的交互式融合，以进行准确有效的显着对象检测。此外，我们将知识蒸馏应用于SOD任务，并提供相当大的数据集KD-SOD80K。详细说明，我们通过未标记的图像将丰富的知识从经验丰富的老师转移到未经训练的SCFNET，使SCFNET能够学习强大的概括能力，以更准确地检测显着对象。基于知识蒸馏的SCFNET（KDSCFNET）具有与最先进的重量级方法相当的精度，该方法少于1M参数和174 fps实时检测速度。广泛的实验证明了所提出的蒸馏方法和SOD框架的鲁棒性和有效性。代码和数据：https：//github.com/zhangjincv/kd-scfnet。

在社区中广泛调查了语义分割，其中最先进的技术基于监督模型。这些模型报告了前所未有的性能，以需要大量的高质量细分面具。为了获得这种注释是非常昂贵的并且特别是在需要像素级注释的语义分割中。在这项工作中，我们通过提出作为半监督语义细分的三级自我训练框架的整体解决方案来解决这个问题。我们技术的关键思想是提取伪掩模统计信息，以减少预测概率的不确定性，同时以多任务方式执行分段一致性。我们通过三级解决方案实现这一目标。首先，我们训练分割网络以产生粗糙的伪掩模，预测概率非常不确定。其次，我们使用一个多任务模型来减少伪掩模的不确定性，该模型强制利用数据丰富的数据统计信息。我们将采用现有方法与半监督语义分割的现有方法进行比较，并在广泛的实验中展示其最先进的性能。

准确的语义分割模型通常需要大量的计算资源，从而抑制其在实际应用中的使用。最近的作品依靠精心制作的轻质模型来快速推断。但是，这些模型不能灵活地适应不同的准确性和效率要求。在本文中，我们提出了一种简单但有效的微小语义细分（SLIMSEG）方法，该方法可以在推理期间以不同的能力执行，具体取决于所需的准确性效率 - 折衷。更具体地说，我们在训练过程中采用逐步向下知识蒸馏采用参数化通道。观察到每个子模型的分割结果之间的差异主要在语义边界附近，我们引入了额外的边界指导语义分割损失，以进一步提高每个子模型的性能。我们表明，我们提出的具有各种主流网络的Slimseg可以产生灵活的模型，从而使计算成本的动态调整和比独立模型更好。关于语义分割基准，城市景观和Camvid的广泛实验证明了我们框架的概括能力。