受益于从特定情况（源）收集的相当大的像素级注释，训练有素的语义分段模型表现得非常好，但由于大域移位而导致的新情况（目标）失败。为了缓解域间隙，先前的跨域语义分段方法始终在域对齐期间始终假设源数据和目标数据的共存。但是，在实际方案中访问源数据可能会引发隐私问题并违反知识产权。为了解决这个问题，我们专注于一个有趣和具有挑战性的跨域语义分割任务，其中仅向目标域提供训练源模型。具体地，我们提出了一种称为ATP的统一框架，其包括三种方案，即特征对准，双向教学和信息传播。首先，我们设计了课程熵最小化目标，以通过提供的源模型隐式对准目标功能与看不见的源特征。其次，除了vanilla自我训练中的正伪标签外，我们是第一个向该领域引入负伪标签的，并开发双向自我训练策略，以增强目标域中的表示学习。最后，采用信息传播方案来通过伪半监督学习进一步降低目标域内的域内差异。综合与跨城市驾驶数据集的广泛结果验证\ TextBF {ATP}产生最先进的性能，即使是需要访问源数据的方法。

无监督的域适应性（UDA）旨在使在标记的源域上训练的模型适应未标记的目标域。在本文中，我们提出了典型的对比度适应（PROCA），这是一种无监督域自适应语义分割的简单有效的对比度学习方法。以前的域适应方法仅考虑跨各个域的阶级内表示分布的对齐，而阶层间结构关系的探索不足，从而导致目标域上的对齐表示可能不像在源上歧视的那样容易歧视。域了。取而代之的是，ProCA将类间信息纳入班级原型，并采用以班级为中心的分布对齐进行适应。通过将同一类原型与阳性和其他类原型视为实现以集体为中心的分配对齐方式的负面原型，Proca在经典领域适应任务上实现了最先进的性能，{\ em i.e. text {and} synthia $ \ to $ cityScapes}。代码可在\ href {https://github.com/jiangzhengkai/proca} {proca}获得代码

Self-training is a competitive approach in domain adaptive segmentation, which trains the network with the pseudo labels on the target domain. However inevitably, the pseudo labels are noisy and the target features are dispersed due to the discrepancy between source and target domains. In this paper, we rely on representative prototypes, the feature centroids of classes, to address the two issues for unsupervised domain adaptation. In particular, we take one step further and exploit the feature distances from prototypes that provide richer information than mere prototypes. Specifically, we use it to estimate the likelihood of pseudo labels to facilitate online correction in the course of training. Meanwhile, we align the prototypical assignments based on relative feature distances for two different views of the same target, producing a more compact target feature space. Moreover, we find that distilling the already learned knowledge to a self-supervised pretrained model further boosts the performance. Our method shows tremendous performance advantage over state-of-the-art methods. We will make the code publicly available.

无监督域适应（UDA）旨在将知识从相关但不同的良好标记的源域转移到新的未标记的目标域。大多数现有的UDA方法需要访问源数据，因此当数据保密而不相配在隐私问题时，不适用。本文旨在仅使用培训的分类模型来解决现实设置，而不是访问源数据。为了有效地利用适应源模型，我们提出了一种新颖的方法，称为源假设转移（拍摄），其通过将目标数据特征拟合到冻结源分类模块（表示分类假设）来学习目标域的特征提取模块。具体而言，拍摄挖掘出于特征提取模块的信息最大化和自我监督学习，以确保目标特征通过同一假设与看不见的源数据的特征隐式对齐。此外，我们提出了一种新的标签转移策略，它基于预测的置信度（标签信息），然后采用半监督学习来将目标数据分成两个分裂，然后提高目标域中的较为自信预测的准确性。如果通过拍摄获得预测，我们表示标记转移为拍摄++。关于两位数分类和对象识别任务的广泛实验表明，拍摄和射击++实现了与最先进的结果超越或相当的结果，展示了我们对各种视域适应问题的方法的有效性。代码可用于\ url {https：//github.com/tim-learn/shot-plus}。

在无监督的域自适应（UDA）语义分割中，基于蒸馏的方法目前在性能上占主导地位。但是，蒸馏技术需要使多阶段的过程和许多培训技巧复杂化。在本文中，我们提出了一种简单而有效的方法，可以实现高级蒸馏方法的竞争性能。我们的核心思想是从边界和功能的观点充分探索目标域信息。首先，我们提出了一种新颖的混合策略，以产生具有地面标签的高质量目标域边界。与以前的作品中的源域边界不同，我们选择了高信心目标域区域，然后将其粘贴到源域图像中。这样的策略可以使用正确的标签在目标域（目标域对象区域的边缘）中生成对象边界。因此，可以通过学习混合样品来有效地捕获目标域的边界信息。其次，我们设计了多层对比损失，以改善目标域数据的表示，包括像素级和原型级对比度学习。通过结合两种建议的方法，可以提取更多的判别特征，并且可以更好地解决目标域的硬对象边界。对两个常用基准测试的实验结果（\ textit {i.e。}，gta5 $ \ rightarrow $ cityScapes and synthia $ \ rightarrow $ cityScapes）表明，我们的方法在复杂的蒸馏方法上取得了竞争性能。值得注意的是，对于Synthia $ \ rightarrow $ CityScapes方案，我们的方法以$ 57.8 \％$ MIOU和$ 64.6 \％$ MIOU的16堂课和16堂课实现了最先进的性能。代码可在https://github.com/ljjcoder/ehtdi上找到。

Unsupervised source-free domain adaptation methods aim to train a model to be used in the target domain utilizing the pretrained source-domain model and unlabeled target-domain data, where the source data may not be accessible due to intellectual property or privacy issues. These methods frequently utilize self-training with pseudo-labeling thresholded by prediction confidence. In a source-free scenario, only supervision comes from target data, and thresholding limits the contribution of the self-training. In this study, we utilize self-training with a mean-teacher approach. The student network is trained with all predictions of the teacher network. Instead of thresholding the predictions, the gradients calculated from the pseudo-labels are weighted based on the reliability of the teacher's predictions. We propose a novel method that uses proxy-based metric learning to estimate reliability. We train a metric network on the encoder features of the teacher network. Since the teacher is updated with the moving average, the encoder feature space is slowly changing. Therefore, the metric network can be updated in training time, which enables end-to-end training. We also propose a metric-based online ClassMix method to augment the input of the student network where the patches to be mixed are decided based on the metric reliability. We evaluated our method in synthetic-to-real and cross-city scenarios. The benchmarks show that our method significantly outperforms the existing state-of-the-art methods.

自我训练具有极大的促进域自适应语义分割，它迭代地在目标域上生成伪标签并删除网络。然而，由于现实分割数据集是高度不平衡的，因此目标伪标签通常偏置到多数类并且基本上嘈杂，导致出错和次优模型。为了解决这个问题，我们提出了一个基于区域的主动学习方法，用于在域移位下进行语义分割，旨在自动查询要标记的图像区域的小分区，同时最大化分割性能。我们的算法，通过区域杂质和预测不确定性（AL-RIPU）的主动学习，介绍了一种新的采集策略，其特征在于图像区域的空间邻接以及预测置信度。我们表明，所提出的基于地区的选择策略比基于图像或基于点的对应物更有效地使用有限预算。同时，我们在源图像上强制在像素和其最近邻居之间的局部预测一致性。此外，我们制定了负面学习损失，以提高目标领域的鉴别表现。广泛的实验表明，我们的方法只需要极少的注释几乎达到监督性能，并且大大优于最先进的方法。

虽然监督语义分割存在重大进展，但由于领域偏差，将分段模型部署到解除域来仍然具有挑战性。域适应可以通过将知识从标记的源域传输到未标记的目标域来帮助。以前的方法通常尝试执行对全局特征的适应，然而，通常忽略要计入特征空间中的每个像素的本地语义附属机构，导致较少的可辨性。为解决这个问题，我们提出了一种用于细粒度阶级对齐的新型语义原型对比学习框架。具体地，语义原型提供了用于每个像素鉴别的表示学习的监控信号，并且需要在特征空间中的源极和目标域的每个像素来反映相应的语义原型的内容。通过这种方式，我们的框架能够明确地制作较近的类别的像素表示，并且进一步越来越多地分开，以改善分割模型的鲁棒性以及减轻域移位问题。与最先进的方法相比，我们的方法易于实施并达到优异的结果，如众多实验所展示的那样。代码在[此HTTPS URL]（https://github.com/binhuixie/spcl）上公开可用。

Semantic segmentation is a key problem for many computer vision tasks. While approaches based on convolutional neural networks constantly break new records on different benchmarks, generalizing well to diverse testing environments remains a major challenge. In numerous real world applications, there is indeed a large gap between data distributions in train and test domains, which results in severe performance loss at run-time. In this work, we address the task of unsupervised domain adaptation in semantic segmentation with losses based on the entropy of the pixel-wise predictions. To this end, we propose two novel, complementary methods using (i) an entropy loss and (ii) an adversarial loss respectively. We demonstrate state-of-theart performance in semantic segmentation on two challenging "synthetic-2-real" set-ups 1 and show that the approach can also be used for detection.

Recent deep networks achieved state of the art performance on a variety of semantic segmentation tasks. Despite such progress, these models often face challenges in real world "wild tasks" where large difference between labeled training/source data and unseen test/target data exists. In particular, such difference is often referred to as "domain gap", and could cause significantly decreased performance which cannot be easily remedied by further increasing the representation power. Unsupervised domain adaptation (UDA) seeks to overcome such problem without target domain labels. In this paper, we propose a novel UDA framework based on an iterative self-training (ST) procedure, where the problem is formulated as latent variable loss minimization, and can be solved by alternatively generating pseudo labels on target data and re-training the model with these labels. On top of ST, we also propose a novel classbalanced self-training (CBST) framework to avoid the gradual dominance of large classes on pseudo-label generation, and introduce spatial priors to refine generated labels. Comprehensive experiments show that the proposed methods achieve state of the art semantic segmentation performance under multiple major UDA settings.⋆ indicates equal contribution.

语义细分是智能车辆了解环境的重要任务。当前的深度学习方法需要大量的标记数据进行培训。手动注释很昂贵，而模拟器可以提供准确的注释。但是，在实际场景中应用时，使用模拟器数据训练的语义分割模型的性能将大大降低。对于语义分割的无监督域适应性（UDA）最近引起了越来越多的研究注意力，旨在减少域间隙并改善目标域的性能。在本文中，我们提出了一种新型的基于两阶段熵的UDA方法，用于语义分割。在第一阶段，我们设计了一个阈值适应的无监督局灶性损失，以使目标域中的预测正常，该预测具有轻度的梯度中和机制，并减轻了在基于熵方法中几乎没有优化硬样品的问题。在第二阶段，我们引入了一种名为跨域图像混合（CIM）的数据增强方法，以弥合两个域的语义知识。我们的方法在合成景观和gta5-to-cityscapes上使用DeepLabV2和使用轻量级的Bisenet实现了最新的58.4％和59.6％的MIOS和59.6％的Mious。

语义分割在广泛的计算机视觉应用中起着基本作用，提供了全球对图像​​的理解的关键信息。然而，最先进的模型依赖于大量的注释样本，其比在诸如图像分类的任务中获得更昂贵的昂贵的样本。由于未标记的数据替代地获得更便宜，因此无监督的域适应达到了语义分割社区的广泛成功并不令人惊讶。本调查致力于总结这一令人难以置信的快速增长的领域的五年，这包含了语义细分本身的重要性，以及将分段模型适应新环境的关键需求。我们提出了最重要的语义分割方法;我们对语义分割的域适应技术提供了全面的调查;我们揭示了多域学习，域泛化，测试时间适应或无源域适应等较新的趋势;我们通过描述在语义细分研究中最广泛使用的数据集和基准测试来结束本调查。我们希望本调查将在学术界和工业中提供具有全面参考指导的研究人员，并有助于他们培养现场的新研究方向。

在大量标记培训数据的监督下，视频语义细分取得了巨大进展。但是，域自适应视频分割，可以通过从标记的源域对未标记的目标域进行调整来减轻数据标记约束，这很大程度上被忽略了。我们设计了时间伪监督（TPS），这是一种简单有效的方法，探讨了从未标记的目标视频学习有效表示的一致性培训的想法。与在空间空间中建立一致性的传统一致性训练不同，我们通过在增强视频框架之间执行模型一致性来探索时空空间中的一致性训练，这有助于从更多样化的目标数据中学习。具体来说，我们设计了跨框架伪标签，以从以前的视频帧中提供伪监督，同时从增强的当前视频帧中学习。跨框架伪标签鼓励网络产生高确定性预测，从而有效地通过跨框架增强来促进一致性训练。对多个公共数据集进行的广泛实验表明，与最先进的ART相比，TPS更容易实现，更稳定，并且可以实现卓越的视频细分精度。

无监督的域适应性（UDA）旨在使标记的源域的模型适应未标记的目标域。现有的基于UDA的语义细分方法始终降低像素级别，功能级别和输出级别的域移动。但是，几乎所有这些都在很大程度上忽略了上下文依赖性，该依赖性通常在不同的领域共享，从而导致较不怀疑的绩效。在本文中，我们提出了一个新颖的环境感知混音（camix）框架自适应语义分割的框架，该框架以完全端到端的可训练方式利用了上下文依赖性的这一重要线索作为显式的先验知识，以增强对适应性的适应性目标域。首先，我们通过利用积累的空间分布和先前的上下文关系来提出上下文掩盖的生成策略。生成的上下文掩码在这项工作中至关重要，并将指导三个不同级别的上下文感知域混合。此外，提供了背景知识，我们引入了重要的一致性损失，以惩罚混合学生预测与混合教师预测之间的不一致，从而减轻了适应性的负面转移，例如早期绩效降级。广泛的实验和分析证明了我们方法对广泛使用的UDA基准的最新方法的有效性。

Unsupervised domain adaptation (UDA) for semantic segmentation is a promising task freeing people from heavy annotation work. However, domain discrepancies in low-level image statistics and high-level contexts compromise the segmentation performance over the target domain. A key idea to tackle this problem is to perform both image-level and feature-level adaptation jointly. Unfortunately, there is a lack of such unified approaches for UDA tasks in the existing literature. This paper proposes a novel UDA pipeline for semantic segmentation that unifies image-level and feature-level adaptation. Concretely, for image-level domain shifts, we propose a global photometric alignment module and a global texture alignment module that align images in the source and target domains in terms of image-level properties. For feature-level domain shifts, we perform global manifold alignment by projecting pixel features from both domains onto the feature manifold of the source domain; and we further regularize category centers in the source domain through a category-oriented triplet loss and perform target domain consistency regularization over augmented target domain images. Experimental results demonstrate that our pipeline significantly outperforms previous methods. In the commonly tested GTA5$\rightarrow$Cityscapes task, our proposed method using Deeplab V3+ as the backbone surpasses previous SOTA by 8%, achieving 58.2% in mIoU.

We consider the problem of unsupervised domain adaptation in semantic segmentation. A key in this campaign consists in reducing the domain shift, i.e., enforcing the data distributions of the two domains to be similar. One of the common strategies is to align the marginal distribution in the feature space through adversarial learning. However, this global alignment strategy does not consider the category-level joint distribution. A possible consequence of such global movement is that some categories which are originally well aligned between the source and target may be incorrectly mapped, thus leading to worse segmentation results in target domain. To address this problem, we introduce a category-level adversarial network, aiming to enforce local semantic consistency during the trend of global alignment. Our idea is to take a close look at the category-level joint distribution and align each class with an adaptive adversarial loss. Specifically, we reduce the weight of the adversarial loss for category-level aligned features while increasing the adversarial force for those poorly aligned. In this process, we decide how well a feature is category-level aligned between source and target by a co-training approach. In two domain adaptation tasks, i.e., GTA5 → Cityscapes and SYN-THIA → Cityscapes, we validate that the proposed method matches the state of the art in segmentation accuracy.

了解驾驶场景中的雾图像序列对于自主驾驶至关重要，但是由于难以收集和注释不利天气的现实世界图像，这仍然是一项艰巨的任务。最近，自我训练策略被认为是无监督域适应的强大解决方案，通过生成目标伪标签并重新训练模型，它迭代地将模型从源域转化为目标域。但是，选择自信的伪标签不可避免地会遭受稀疏与准确性之间的冲突，这两者都会导致次优模型。为了解决这个问题，我们利用了驾驶场景的雾图图像序列的特征，以使自信的伪标签致密。具体而言，基于顺序图像数据的局部空间相似性和相邻时间对应的两个发现，我们提出了一种新型的目标域驱动的伪标签扩散（TDO-DIF）方案。它采用超像素和光学流来识别空间相似性和时间对应关系，然后扩散自信但稀疏的伪像标签，或者是由流量链接的超像素或时间对应对。此外，为了确保扩散像素的特征相似性，我们在模型重新训练阶段引入了局部空间相似性损失和时间对比度损失。实验结果表明，我们的TDO-DIF方案有助于自适应模型在两个公共可用的天然雾化数据集（超过雾气的Zurich and Forggy驾驶）上实现51.92％和53.84％的平均跨工会（MIOU），这超过了最态度ART无监督的域自适应语义分割方法。可以在https://github.com/velor2012/tdo-dif上找到模型和数据。

Unsupervised domain adaptation (UDA) via deep learning has attracted appealing attention for tackling domain-shift problems caused by distribution discrepancy across different domains. Existing UDA approaches highly depend on the accessibility of source domain data, which is usually limited in practical scenarios due to privacy protection, data storage and transmission cost, and computation burden. To tackle this issue, many source-free unsupervised domain adaptation (SFUDA) methods have been proposed recently, which perform knowledge transfer from a pre-trained source model to unlabeled target domain with source data inaccessible. A comprehensive review of these works on SFUDA is of great significance. In this paper, we provide a timely and systematic literature review of existing SFUDA approaches from a technical perspective. Specifically, we categorize current SFUDA studies into two groups, i.e., white-box SFUDA and black-box SFUDA, and further divide them into finer subcategories based on different learning strategies they use. We also investigate the challenges of methods in each subcategory, discuss the advantages/disadvantages of white-box and black-box SFUDA methods, conclude the commonly used benchmark datasets, and summarize the popular techniques for improved generalizability of models learned without using source data. We finally discuss several promising future directions in this field.

传统的域自适应语义细分解决了在有限或没有其他监督下，将模型调整为新的目标域的任务。在解决输入域间隙的同时，标准域的适应设置假设输出空间没有域的变化。在语义预测任务中，通常根据不同的语义分类法标记不同的数据集。在许多现实世界中，目标域任务需要与源域施加的分类法不同。因此，我们介绍了更通用的自适应跨域语义细分（TAC）问题，从而使两个域之间的分类学不一致。我们进一步提出了一种共同解决图像级和标签级域适应的方法。在标签级别上，我们采用双边混合采样策略来增强目标域，并采用重新标记方法来统一和对齐标签空间。我们通过提出一种不确定性构造的对比度学习方法来解决图像级域间隙，从而导致更多的域不变和类别的歧义特征。我们在不同的TACS设置下广泛评估了框架的有效性：开放分类法，粗到精细的分类学和隐式重叠的分类学。我们的方法的表现超过了先前的最先进的利润，同时能够适应目标分类法。我们的实施可在https://github.com/ethruigong/tada上公开获得。

半监督域适应（SSDA）是一种具有挑战性的问题，需要克服1）以朝向域的较差的数据和2）分布换档的方法。不幸的是，由于培训数据偏差朝标标样本训练，域适应（DA）和半监督学习（SSL）方法的简单组合通常无法解决这两个目的。在本文中，我们介绍了一种自适应结构学习方法，以规范SSL和DA的合作。灵感来自多视图学习，我们建议的框架由共享特征编码器网络和两个分类器网络组成，用于涉及矛盾的目的。其中，其中一个分类器被应用于组目标特征以提高级别的密度，扩大了鲁棒代表学习的分类集群的间隙。同时，其他分类器作为符号器，试图散射源功能以增强决策边界的平滑度。目标聚类和源扩展的迭代使目标特征成为相应源点的扩张边界内的封闭良好。对于跨域特征对齐和部分标记的数据学习的联合地址，我们应用最大平均差异（MMD）距离最小化和自培训（ST）将矛盾结构投影成共享视图以进行可靠的最终决定。对标准SSDA基准的实验结果包括Domainnet和Office-Home，展示了我们对最先进的方法的方法的准确性和稳健性。