深度学习极大地提高了语义细分的性能，但是，它的成功依赖于大量注释的培训数据的可用性。因此，许多努力致力于域自适应语义分割，重点是将语义知识从标记的源域转移到未标记的目标域。现有的自我训练方法通常需要多轮训练，而基于对抗训练的另一个流行框架已知对超参数敏感。在本文中，我们提出了一个易于训练的框架，该框架学习了域自适应语义分割的域不变原型。特别是，我们表明域的适应性与很少的学习共享一个共同的角色，因为两者都旨在识别一些从大量可见数据中学到的知识的看不见的数据。因此，我们提出了一个统一的框架，用于域适应和很少的学习。核心思想是使用从几个镜头注释的目标图像中提取的类原型来对源图像和目标图像的像素进行分类。我们的方法仅涉及一个阶段训练，不需要对大规模的未经通知的目标图像进行培训。此外，我们的方法可以扩展到域适应性和几乎没有射击学习的变体。关于适应GTA5到CITYSCAPES和合成景观的实验表明，我们的方法实现了对最先进的竞争性能。

无监督的域适应性（UDA）旨在使在标记的源域上训练的模型适应未标记的目标域。在本文中，我们提出了典型的对比度适应（PROCA），这是一种无监督域自适应语义分割的简单有效的对比度学习方法。以前的域适应方法仅考虑跨各个域的阶级内表示分布的对齐，而阶层间结构关系的探索不足，从而导致目标域上的对齐表示可能不像在源上歧视的那样容易歧视。域了。取而代之的是，ProCA将类间信息纳入班级原型，并采用以班级为中心的分布对齐进行适应。通过将同一类原型与阳性和其他类原型视为实现以集体为中心的分配对齐方式的负面原型，Proca在经典领域适应任务上实现了最先进的性能，{\ em i.e. text {and} synthia $ \ to $ cityScapes}。代码可在\ href {https://github.com/jiangzhengkai/proca} {proca}获得代码

虽然监督语义分割存在重大进展，但由于领域偏差，将分段模型部署到解除域来仍然具有挑战性。域适应可以通过将知识从标记的源域传输到未标记的目标域来帮助。以前的方法通常尝试执行对全局特征的适应，然而，通常忽略要计入特征空间中的每个像素的本地语义附属机构，导致较少的可辨性。为解决这个问题，我们提出了一种用于细粒度阶级对齐的新型语义原型对比学习框架。具体地，语义原型提供了用于每个像素鉴别的表示学习的监控信号，并且需要在特征空间中的源极和目标域的每个像素来反映相应的语义原型的内容。通过这种方式，我们的框架能够明确地制作较近的类别的像素表示，并且进一步越来越多地分开，以改善分割模型的鲁棒性以及减轻域移位问题。与最先进的方法相比，我们的方法易于实施并达到优异的结果，如众多实验所展示的那样。代码在[此HTTPS URL]（https://github.com/binhuixie/spcl）上公开可用。

在本文中，我们解决了一次性分段的单次无监督域适应（OSUDA）的问题，其中分段器在训练期间只看到一个未标记的目标图像。在这种情况下，传统的无监督域适应模型通常失败，因为它们不能适应目标域，以具有过度拟合到一个（或几个）目标样本。为了解决这个问题，现有的OSUDA方法通常集成了一种样式传输模块，基于未标记的目标样本执行域随机化，可以在训练期间探讨目标样本周围的多个域。然而，这种样式传输模块依赖于一组额外的图像作为预训练的样式参考，并且还增加了对域适应的内存需求。在这里，我们提出了一种新的奥德达方法，可以有效地缓解这种计算负担。具体而言，我们将多个样式混合层集成到分段器中，该分段器播放样式传输模块的作用，以在不引入任何学习参数的情况下使源图像进行体现。此外，我们提出了一种剪辑的原型匹配（PPM）方法来加权考虑源像素在监督训练期间的重要性，以缓解负适应。实验结果表明，我们的方法在单次设置下的两个常用基准上实现了新的最先进的性能，并且比所有比较方法更有效。

了解驾驶场景中的雾图像序列对于自主驾驶至关重要，但是由于难以收集和注释不利天气的现实世界图像，这仍然是一项艰巨的任务。最近，自我训练策略被认为是无监督域适应的强大解决方案，通过生成目标伪标签并重新训练模型，它迭代地将模型从源域转化为目标域。但是，选择自信的伪标签不可避免地会遭受稀疏与准确性之间的冲突，这两者都会导致次优模型。为了解决这个问题，我们利用了驾驶场景的雾图图像序列的特征，以使自信的伪标签致密。具体而言，基于顺序图像数据的局部空间相似性和相邻时间对应的两个发现，我们提出了一种新型的目标域驱动的伪标签扩散（TDO-DIF）方案。它采用超像素和光学流来识别空间相似性和时间对应关系，然后扩散自信但稀疏的伪像标签，或者是由流量链接的超像素或时间对应对。此外，为了确保扩散像素的特征相似性，我们在模型重新训练阶段引入了局部空间相似性损失和时间对比度损失。实验结果表明，我们的TDO-DIF方案有助于自适应模型在两个公共可用的天然雾化数据集（超过雾气的Zurich and Forggy驾驶）上实现51.92％和53.84％的平均跨工会（MIOU），这超过了最态度ART无监督的域自适应语义分割方法。可以在https://github.com/velor2012/tdo-dif上找到模型和数据。

几次拍摄的语义分割旨在将新颖的类对象分段为仅具有少数标记的支持图像。大多数高级解决方案利用度量学习框架，通过将每个查询功能与学习的类特定的原型匹配来执行分段。然而，由于特征比较不完整，该框架遭受了偏见的分类。为了解决这个问题，我们通过引入类别特定的和类别不可知的原型来提出自适应原型表示，从而构建与查询功能学习语义对齐的完整样本对。互补特征学习方式有效地丰富了特征比较，并有助于在几次拍摄设置中产生一个非偏见的分段模型。它用双分支端到端网络（\即，特定于类分支和类别不可知分支）实现，它生成原型，然后组合查询特征以执行比较。此外，所提出的类别无神不可话的分支简单而且有效。在实践中，它可以自适应地为查询图像生成多种类别 - 不可知的原型，并以自我对比方式学习特征对齐。广泛的Pascal-5 $ ^ i $和Coco-20 $ ^ i $展示了我们方法的优越性。在不牺牲推理效率的费用中，我们的模型实现了最先进的，导致1-Shot和5-Shot Settings进行语义分割。

我们提出了一种用于语义分割的新型无监督域适应方法，该方法将训练的模型概括为源图像和相应的地面真相标签到目标域。域自适应语义分割的关键是学习域，不变和判别特征，而无需目标地面真相标签。为此，我们提出了一个双向像素 - 型对比型学习框架，该框架可最大程度地减少同一对象类特征的类内变化，同时无论域，无论域如何，都可以最大程度地提高不同阶层的阶层变化。具体而言，我们的框架将像素级特征与目标和源图像中同一对象类的原型保持一致（即分别为正面对），将它们设置为不同的类别（即负对），并执行对齐和分离在源图像中具有像素级特征的另一个方向的过程，目标图像中的原型。跨域匹配鼓励域不变特征表示，而双向像素 - 型对应对应关系汇总了同一对象类的特征，提供了歧视性特征。为了建立对比度学习的训练对，我们建议使用非参数标签转移（即跨不同域的像素 - 型对应关系，就可以生成目标图像的动态伪标签。我们还提出了一种校准方法，以补偿训练过程中逐渐补偿原型的阶级域偏差。

Semantic segmentation is a key problem for many computer vision tasks. While approaches based on convolutional neural networks constantly break new records on different benchmarks, generalizing well to diverse testing environments remains a major challenge. In numerous real world applications, there is indeed a large gap between data distributions in train and test domains, which results in severe performance loss at run-time. In this work, we address the task of unsupervised domain adaptation in semantic segmentation with losses based on the entropy of the pixel-wise predictions. To this end, we propose two novel, complementary methods using (i) an entropy loss and (ii) an adversarial loss respectively. We demonstrate state-of-theart performance in semantic segmentation on two challenging "synthetic-2-real" set-ups 1 and show that the approach can also be used for detection.

本文提出了一种新颖的像素级分布正则化方案（DRSL），用于自我监督的语义分割域的适应性。在典型的环境中，分类损失迫使语义分割模型贪婪地学习捕获类间变化的表示形式，以确定决策（类）边界。由于域的转移，该决策边界在目标域中未对齐，从而导致嘈杂的伪标签对自我监督域的适应性产生不利影响。为了克服这一限制，以及捕获阶层间变化，我们通过类感知的多模式分布学习（MMDL）捕获了像素级内的类内变化。因此，捕获阶层内变化所需的信息与阶层间歧视所需的信息明确分开。因此，捕获的功能更具信息性，导致伪噪声低的伪标记。这种分离使我们能够使用前者的基于跨凝结的自学习，在判别空间和多模式分布空间中进行单独的对齐。稍后，我们通过明确降低映射到同一模式的目标和源像素之间的距离来提出一种新型的随机模式比对方法。距离度量标签上计算出的距离度量损失，并从多模式建模头部反向传播，充当与分割头共享的基本网络上的正常化程序。关于合成到真实域的适应设置的全面实验的结果，即GTA-V/Synthia to CityScapes，表明DRSL的表现优于许多现有方法（MIOU的最小余量为2.3％和2.5％，用于MIOU，而合成的MIOU到CityScapes）。

本文提出FogAdapt，一种用于密集有雾场景的语义细分域的新方法。虽然已经针对显着的研究来减少语义分割中的域移位，但对具有恶劣天气条件的场景的适应仍然是一个开放的问题。由于天气状况，如雾，烟雾和雾度，加剧了域移位的场景的可见性，从而使得在这种情况下进行了无监督的适应性。我们提出了一种自熵和多尺度信息增强的自我监督域适应方法（FOGADAPT），以最大限度地减少有雾场景分割的域移位。由经验证据支持，雾密度的增加导致分割概率的高自熵性，我们引入了基于自熵的损耗功能来引导适应方法。此外，在不同的图像尺度上获得的推论由不确定性组合并加权，以生成目标域的尺度不变伪标签。这些规模不变的伪标签对可见性和比例变化具有鲁棒性。我们在真正的雾景场景中评估了真正的清晰天气场景模型，适应和综合非雾图像到真正的雾场景适应情景。我们的实验表明，FogAdapt在有雾图像的语义分割中的目前最先进的情况下显着优异。具体而言，通过考虑标准设置与最先进的（SOTA）方法相比，FogaDATK在Foggy苏黎世上获得3.8％，有雾的驾驶密集为6.0％，而在Miou的雾化驾驶的3.6％，在Miou，在MiOOP中改编为有雾的苏黎世。

Unsupervised domain adaptation (UDA) for semantic segmentation is a promising task freeing people from heavy annotation work. However, domain discrepancies in low-level image statistics and high-level contexts compromise the segmentation performance over the target domain. A key idea to tackle this problem is to perform both image-level and feature-level adaptation jointly. Unfortunately, there is a lack of such unified approaches for UDA tasks in the existing literature. This paper proposes a novel UDA pipeline for semantic segmentation that unifies image-level and feature-level adaptation. Concretely, for image-level domain shifts, we propose a global photometric alignment module and a global texture alignment module that align images in the source and target domains in terms of image-level properties. For feature-level domain shifts, we perform global manifold alignment by projecting pixel features from both domains onto the feature manifold of the source domain; and we further regularize category centers in the source domain through a category-oriented triplet loss and perform target domain consistency regularization over augmented target domain images. Experimental results demonstrate that our pipeline significantly outperforms previous methods. In the commonly tested GTA5$\rightarrow$Cityscapes task, our proposed method using Deeplab V3+ as the backbone surpasses previous SOTA by 8%, achieving 58.2% in mIoU.

我们建议利用模拟的潜力，以域的概括方式对现实世界自动驾驶场景的语义分割。对分割网络进行了训练，没有任何目标域数据，并在看不见的目标域进行了测试。为此，我们提出了一种新的域随机化和金字塔一致性的方法，以学习具有高推广性的模型。首先，我们建议使用辅助数据集以视觉外观的方式随机将合成图像随机化，以有效地学习域不变表示。其次，我们进一步在不同的“风格化”图像和图像中实施了金字塔一致性，以分别学习域不变和规模不变的特征。关于从GTA和合成对城市景观，BDD和Mapillary的概括进行了广泛的实验；而我们的方法比最新技术取得了卓越的成果。值得注意的是，我们的概括结果与最先进的模拟域适应方法相比甚至更好，甚至比在训练时访问目标域数据的结果。

Convolutional neural network-based approaches for semantic segmentation rely on supervision with pixel-level ground truth, but may not generalize well to unseen image domains. As the labeling process is tedious and labor intensive, developing algorithms that can adapt source ground truth labels to the target domain is of great interest. In this paper, we propose an adversarial learning method for domain adaptation in the context of semantic segmentation. Considering semantic segmentations as structured outputs that contain spatial similarities between the source and target domains, we adopt adversarial learning in the output space. To further enhance the adapted model, we construct a multi-level adversarial network to effectively perform output space domain adaptation at different feature levels. Extensive experiments and ablation study are conducted under various domain adaptation settings, including synthetic-to-real and cross-city scenarios. We show that the proposed method performs favorably against the stateof-the-art methods in terms of accuracy and visual quality.

Jitendra Malik once said, "Supervision is the opium of the AI researcher". Most deep learning techniques heavily rely on extreme amounts of human labels to work effectively. In today's world, the rate of data creation greatly surpasses the rate of data annotation. Full reliance on human annotations is just a temporary means to solve current closed problems in AI. In reality, only a tiny fraction of data is annotated. Annotation Efficient Learning (AEL) is a study of algorithms to train models effectively with fewer annotations. To thrive in AEL environments, we need deep learning techniques that rely less on manual annotations (e.g., image, bounding-box, and per-pixel labels), but learn useful information from unlabeled data. In this thesis, we explore five different techniques for handling AEL.

Recent deep networks achieved state of the art performance on a variety of semantic segmentation tasks. Despite such progress, these models often face challenges in real world "wild tasks" where large difference between labeled training/source data and unseen test/target data exists. In particular, such difference is often referred to as "domain gap", and could cause significantly decreased performance which cannot be easily remedied by further increasing the representation power. Unsupervised domain adaptation (UDA) seeks to overcome such problem without target domain labels. In this paper, we propose a novel UDA framework based on an iterative self-training (ST) procedure, where the problem is formulated as latent variable loss minimization, and can be solved by alternatively generating pseudo labels on target data and re-training the model with these labels. On top of ST, we also propose a novel classbalanced self-training (CBST) framework to avoid the gradual dominance of large classes on pseudo-label generation, and introduce spatial priors to refine generated labels. Comprehensive experiments show that the proposed methods achieve state of the art semantic segmentation performance under multiple major UDA settings.⋆ indicates equal contribution.

领域自适应分段努力生成目标域的高质量伪标签并在其上重新训练分段的趋势趋势。在这种自我训练的范式下，一些竞争性方法已寻求潜在的空间信息，该信息建立了语义类别的特征质心（又称原型），并通过与这些质心的距离确定了伪标签候选者。在本文中，我们认为潜在空间包含更多要利用的信息，从而进一步迈出了一步以利用它。首先，我们不仅使用源域原型来确定目标伪标签，而且还像大多数传统方法一样，我们在双向上产生目标域原型来降低那些可能难以理解或无法进行适应的源特征。其次，现有尝试将每个类别模拟为单个和各向同性原型，同时忽略特征分布的方差，这可能导致类似类别的混淆。为了解决这个问题，我们建议通过高斯混合模型代表每个类别，以多种和各向异性原型表示，以根据概率密度估算源域的事实分布并估算目标样品的可能性。我们将我们的方法应用于gta5-> CityScapes和Synthia-> CityScaps任务，并在平均值上分别实现61.2和62.8，这显然优于其他竞争性的自我训练方法。值得注意的是，在某些类别中，我们的方法分别遭受了“卡车”和“公共汽车”等分类混乱的影响，我们的方法分别达到了56.4和68.8，这进一步证明了我们设计的有效性。

深度神经网络（DNN）极大地促进了语义分割中的性能增益。然而，训练DNN通常需要大量的像素级标记数据，这在实践中收集昂贵且耗时。为了减轻注释负担，本文提出了一种自组装的生成对抗网络（SE-GAN）利用语义分割的跨域数据。在SE-GaN中，教师网络和学生网络构成用于生成语义分割图的自组装模型，与鉴别器一起形成GaN。尽管它很简单，我们发现SE-GaN可以显着提高对抗性训练的性能，提高模型的稳定性，这是由大多数普遍培训的方法共享的常见障碍。我们理论上分析SE-GaN并提供$ \ Mathcal o（1 / \ sqrt {n}）$泛化绑定（$ n $是培训样本大小），这表明控制了鉴别者的假设复杂性，以提高概括性。因此，我们选择一个简单的网络作为鉴别器。两个标准设置中的广泛和系统实验表明，该方法显着优于最新的最先进的方法。我们模型的源代码即将推出。

由于获取对语义分割的实际图像的像素明智的注释是一个昂贵的过程，模型可以通过更多可访问的合成数据训练，并且适应真实图像而不需要其注释。在无监督的域适应（UDA）中研究了该过程。尽管大量方法提出了新的适应策略，但它们主要基于过时的网络架构。由于尚未系统地研究了网络架构的影响，我们首先为UDA进行基准标记不同的网络架构，然后提出基于基准结果的新型UDA方法Daformer。 DAFormer网络由变压器编码器和多级上下文感知功能融合解码器组成。它通过三种简单但重要的培训策略使稳定培训并避免将DAFFormer过度装箱到源域：虽然通过减轻自我训练的确认偏差来提高源域上的罕见类别提高了伪标签的质量常见的类，Thing-Class Imagenet特征距离和学习率预热促进了从想象成预介绍的功能转移。 Daformer显着提高了最先进的性能，通过10.8 Miou for GTA-> Citycapes和5.4 Miou for Synthia-> Citycapes，并使得甚至是学习甚至困难的课程，如火车，公共汽车和卡车。该实现可在https://github.com/lhoyer/daformer中获得。

We consider the problem of unsupervised domain adaptation in semantic segmentation. A key in this campaign consists in reducing the domain shift, i.e., enforcing the data distributions of the two domains to be similar. One of the common strategies is to align the marginal distribution in the feature space through adversarial learning. However, this global alignment strategy does not consider the category-level joint distribution. A possible consequence of such global movement is that some categories which are originally well aligned between the source and target may be incorrectly mapped, thus leading to worse segmentation results in target domain. To address this problem, we introduce a category-level adversarial network, aiming to enforce local semantic consistency during the trend of global alignment. Our idea is to take a close look at the category-level joint distribution and align each class with an adaptive adversarial loss. Specifically, we reduce the weight of the adversarial loss for category-level aligned features while increasing the adversarial force for those poorly aligned. In this process, we decide how well a feature is category-level aligned between source and target by a co-training approach. In two domain adaptation tasks, i.e., GTA5 → Cityscapes and SYN-THIA → Cityscapes, we validate that the proposed method matches the state of the art in segmentation accuracy.

深度学习的快速发展在分割方面取得了长足的进步，这是计算机视觉的基本任务之一。但是，当前的细分算法主要取决于像素级注释的可用性，这些注释通常昂贵，乏味且费力。为了减轻这一负担，过去几年见证了越来越多的关注，以建立标签高效，深度学习的细分算法。本文对标签有效的细分方法进行了全面的审查。为此，我们首先根据不同类型的弱标签提供的监督（包括没有监督，粗略监督，不完整的监督和嘈杂的监督和嘈杂的监督），首先开发出一种分类法来组织这些方法，并通过细分类型（包括语义细分）补充，实例分割和全景分割）。接下来，我们从统一的角度总结了现有的标签有效的细分方法，该方法讨论了一个重要的问题：如何弥合弱监督和密集预测之间的差距 - 当前的方法主要基于启发式先导，例如交叉像素相似性，跨标签约束，跨视图一致性，跨图像关系等。最后，我们分享了对标签有效深层细分的未来研究方向的看法。