在这项工作中，我们提出了Cluda，这是一种简单而又新颖的方法，用于通过将对比损失纳入学生教师学习范式中，以进行语义分割，以进行语义分割，以利用伪标记，以通过伪标记产生的伪标记。教师网络。更具体地说，我们从编码器中提取多级融合功能图，并通过图像的源目标混合使用不同类别和不同域的对比度损失。我们始终提高各种特征编码器体系结构和语义分割中不同域适应数据集的性能。此外，我们引入了一种学识渊博的对比损失，以改善UDA最先进的多分辨率训练方法。我们在gta $ \ rightarrow $ cityScapes（74.4 miou，+0.6）和Synthia $ \ rightarrow $ cityScapes（67.2 miou，+1.4）数据集上产生最先进的结果。 Cluda有效地证明了UDA中的对比度学习是一种通用方法，可以轻松地将其集成到任何现有的UDA中以进行语义分割任务。有关实施的详细信息，请参考补充材料。

无监督的域适应性（UDA）旨在使在源域（例如合成数据）训练的模型适应目标域（例如现实世界数据），而无需对目标域进行进一步的注释。这项工作着重于语义细分的UDA，因为现实世界像素的注释尤其昂贵。由于语义分割的UDA方法通常是GPU内存密集型的，因此大多数以前的方法仅在缩小的图像上运行。我们质疑这一设计是低分辨率预测通常无法保留细节。随机作物的高分辨率图像训练的替代方法减轻了这个问题，但在捕获远程，域名上下文信息方面缺乏。因此，我们提出了针对UDA的多分辨率训练方法HRDA，结合了小型高分辨率作物的优势，以保存细分细节和大型低分辨率作物，以捕获长期的上下文依赖性和学习的规模注意力，同时又有了较高的范围。保持可管理的GPU内存足迹。 HRDA启用适应小对象并保留细分细节。对于GTA-TO-CITESCAPES，它显着提高了5.5 MIOU和合成景观的4.9 MIOU，分别导致了前所未有的73.8和65.8 miou。该实现可在https://github.com/lhoyer/hrda上获得。

Unsupervised source-free domain adaptation methods aim to train a model to be used in the target domain utilizing the pretrained source-domain model and unlabeled target-domain data, where the source data may not be accessible due to intellectual property or privacy issues. These methods frequently utilize self-training with pseudo-labeling thresholded by prediction confidence. In a source-free scenario, only supervision comes from target data, and thresholding limits the contribution of the self-training. In this study, we utilize self-training with a mean-teacher approach. The student network is trained with all predictions of the teacher network. Instead of thresholding the predictions, the gradients calculated from the pseudo-labels are weighted based on the reliability of the teacher's predictions. We propose a novel method that uses proxy-based metric learning to estimate reliability. We train a metric network on the encoder features of the teacher network. Since the teacher is updated with the moving average, the encoder feature space is slowly changing. Therefore, the metric network can be updated in training time, which enables end-to-end training. We also propose a metric-based online ClassMix method to augment the input of the student network where the patches to be mixed are decided based on the metric reliability. We evaluated our method in synthetic-to-real and cross-city scenarios. The benchmarks show that our method significantly outperforms the existing state-of-the-art methods.

虽然监督语义分割存在重大进展，但由于领域偏差，将分段模型部署到解除域来仍然具有挑战性。域适应可以通过将知识从标记的源域传输到未标记的目标域来帮助。以前的方法通常尝试执行对全局特征的适应，然而，通常忽略要计入特征空间中的每个像素的本地语义附属机构，导致较少的可辨性。为解决这个问题，我们提出了一种用于细粒度阶级对齐的新型语义原型对比学习框架。具体地，语义原型提供了用于每个像素鉴别的表示学习的监控信号，并且需要在特征空间中的源极和目标域的每个像素来反映相应的语义原型的内容。通过这种方式，我们的框架能够明确地制作较近的类别的像素表示，并且进一步越来越多地分开，以改善分割模型的鲁棒性以及减轻域移位问题。与最先进的方法相比，我们的方法易于实施并达到优异的结果，如众多实验所展示的那样。代码在[此HTTPS URL]（https://github.com/binhuixie/spcl）上公开可用。

培训语义细分模型的现实世界注释收集是一个昂贵的过程。无监督的域适应性（UDA）试图通过研究如何使用更多可访问的数据（例如合成数据）来训练和适应现实世界图像而无需其注释，以解决此问题。最近的UDA方法通过使用学生和教师网络对像素的分类损失进行培训，适用于自学习。在本文中，我们建议通过对网络输出中元素之间的像素间关系进行建模，将一致性正则项添加到半监督UDA中。我们通过将其应用于最先进的涂抹式框架并将GTA5上的MIOU1绩效应用于CityScapes Benchmark，并在Synthia上的MIOU16绩效提高了MIOU19在Synthia上的效果，并将MIOU19上的MIOU1上的性能提高到CityScapes基准，将其应用于CityScapes Benchmark，并将MIOU19上的MIOU1上的性能提高到CityScapes基准，从而证明了拟议的一致性正规化项的有效性。

传统的域自适应语义细分解决了在有限或没有其他监督下，将模型调整为新的目标域的任务。在解决输入域间隙的同时，标准域的适应设置假设输出空间没有域的变化。在语义预测任务中，通常根据不同的语义分类法标记不同的数据集。在许多现实世界中，目标域任务需要与源域施加的分类法不同。因此，我们介绍了更通用的自适应跨域语义细分（TAC）问题，从而使两个域之间的分类学不一致。我们进一步提出了一种共同解决图像级和标签级域适应的方法。在标签级别上，我们采用双边混合采样策略来增强目标域，并采用重新标记方法来统一和对齐标签空间。我们通过提出一种不确定性构造的对比度学习方法来解决图像级域间隙，从而导致更多的域不变和类别的歧义特征。我们在不同的TACS设置下广泛评估了框架的有效性：开放分类法，粗到精细的分类学和隐式重叠的分类学。我们的方法的表现超过了先前的最先进的利润，同时能够适应目标分类法。我们的实施可在https://github.com/ethruigong/tada上公开获得。

语义分割在广泛的计算机视觉应用中起着基本作用，提供了全球对图像​​的理解的关键信息。然而，最先进的模型依赖于大量的注释样本，其比在诸如图像分类的任务中获得更昂贵的昂贵的样本。由于未标记的数据替代地获得更便宜，因此无监督的域适应达到了语义分割社区的广泛成功并不令人惊讶。本调查致力于总结这一令人难以置信的快速增长的领域的五年，这包含了语义细分本身的重要性，以及将分段模型适应新环境的关键需求。我们提出了最重要的语义分割方法;我们对语义分割的域适应技术提供了全面的调查;我们揭示了多域学习，域泛化，测试时间适应或无源域适应等较新的趋势;我们通过描述在语义细分研究中最广泛使用的数据集和基准测试来结束本调查。我们希望本调查将在学术界和工业中提供具有全面参考指导的研究人员，并有助于他们培养现场的新研究方向。

在无监督的域自适应（UDA）语义分割中，基于蒸馏的方法目前在性能上占主导地位。但是，蒸馏技术需要使多阶段的过程和许多培训技巧复杂化。在本文中，我们提出了一种简单而有效的方法，可以实现高级蒸馏方法的竞争性能。我们的核心思想是从边界和功能的观点充分探索目标域信息。首先，我们提出了一种新颖的混合策略，以产生具有地面标签的高质量目标域边界。与以前的作品中的源域边界不同，我们选择了高信心目标域区域，然后将其粘贴到源域图像中。这样的策略可以使用正确的标签在目标域（目标域对象区域的边缘）中生成对象边界。因此，可以通过学习混合样品来有效地捕获目标域的边界信息。其次，我们设计了多层对比损失，以改善目标域数据的表示，包括像素级和原型级对比度学习。通过结合两种建议的方法，可以提取更多的判别特征，并且可以更好地解决目标域的硬对象边界。对两个常用基准测试的实验结果（\ textit {i.e。}，gta5 $ \ rightarrow $ cityScapes and synthia $ \ rightarrow $ cityScapes）表明，我们的方法在复杂的蒸馏方法上取得了竞争性能。值得注意的是，对于Synthia $ \ rightarrow $ CityScapes方案，我们的方法以$ 57.8 \％$ MIOU和$ 64.6 \％$ MIOU的16堂课和16堂课实现了最先进的性能。代码可在https://github.com/ljjcoder/ehtdi上找到。

In unsupervised domain adaptation (UDA), a model trained on source data (e.g. synthetic) is adapted to target data (e.g. real-world) without access to target annotation. Most previous UDA methods struggle with classes that have a similar visual appearance on the target domain as no ground truth is available to learn the slight appearance differences. To address this problem, we propose a Masked Image Consistency (MIC) module to enhance UDA by learning spatial context relations of the target domain as additional clues for robust visual recognition. MIC enforces the consistency between predictions of masked target images, where random patches are withheld, and pseudo-labels that are generated based on the complete image by an exponential moving average teacher. To minimize the consistency loss, the network has to learn to infer the predictions of the masked regions from their context. Due to its simple and universal concept, MIC can be integrated into various UDA methods across different visual recognition tasks such as image classification, semantic segmentation, and object detection. MIC significantly improves the state-of-the-art performance across the different recognition tasks for synthetic-to-real, day-to-nighttime, and clear-to-adverse-weather UDA. For instance, MIC achieves an unprecedented UDA performance of 75.9 mIoU and 92.8% on GTA-to-Cityscapes and VisDA-2017, respectively, which corresponds to an improvement of +2.1 and +3.0 percent points over the previous state of the art. The implementation is available at https://github.com/lhoyer/MIC.

无监督的域适应性（UDA）旨在使在标记的源域上训练的模型适应未标记的目标域。在本文中，我们提出了典型的对比度适应（PROCA），这是一种无监督域自适应语义分割的简单有效的对比度学习方法。以前的域适应方法仅考虑跨各个域的阶级内表示分布的对齐，而阶层间结构关系的探索不足，从而导致目标域上的对齐表示可能不像在源上歧视的那样容易歧视。域了。取而代之的是，ProCA将类间信息纳入班级原型，并采用以班级为中心的分布对齐进行适应。通过将同一类原型与阳性和其他类原型视为实现以集体为中心的分配对齐方式的负面原型，Proca在经典领域适应任务上实现了最先进的性能，{\ em i.e. text {and} synthia $ \ to $ cityScapes}。代码可在\ href {https://github.com/jiangzhengkai/proca} {proca}获得代码

本文提出了一种新颖的像素级分布正则化方案（DRSL），用于自我监督的语义分割域的适应性。在典型的环境中，分类损失迫使语义分割模型贪婪地学习捕获类间变化的表示形式，以确定决策（类）边界。由于域的转移，该决策边界在目标域中未对齐，从而导致嘈杂的伪标签对自我监督域的适应性产生不利影响。为了克服这一限制，以及捕获阶层间变化，我们通过类感知的多模式分布学习（MMDL）捕获了像素级内的类内变化。因此，捕获阶层内变化所需的信息与阶层间歧视所需的信息明确分开。因此，捕获的功能更具信息性，导致伪噪声低的伪标记。这种分离使我们能够使用前者的基于跨凝结的自学习，在判别空间和多模式分布空间中进行单独的对齐。稍后，我们通过明确降低映射到同一模式的目标和源像素之间的距离来提出一种新型的随机模式比对方法。距离度量标签上计算出的距离度量损失，并从多模式建模头部反向传播，充当与分割头共享的基本网络上的正常化程序。关于合成到真实域的适应设置的全面实验的结果，即GTA-V/Synthia to CityScapes，表明DRSL的表现优于许多现有方法（MIOU的最小余量为2.3％和2.5％，用于MIOU，而合成的MIOU到CityScapes）。

由于获取对语义分割的实际图像的像素明智的注释是一个昂贵的过程，模型可以通过更多可访问的合成数据训练，并且适应真实图像而不需要其注释。在无监督的域适应（UDA）中研究了该过程。尽管大量方法提出了新的适应策略，但它们主要基于过时的网络架构。由于尚未系统地研究了网络架构的影响，我们首先为UDA进行基准标记不同的网络架构，然后提出基于基准结果的新型UDA方法Daformer。 DAFormer网络由变压器编码器和多级上下文感知功能融合解码器组成。它通过三种简单但重要的培训策略使稳定培训并避免将DAFFormer过度装箱到源域：虽然通过减轻自我训练的确认偏差来提高源域上的罕见类别提高了伪标签的质量常见的类，Thing-Class Imagenet特征距离和学习率预热促进了从想象成预介绍的功能转移。 Daformer显着提高了最先进的性能，通过10.8 Miou for GTA-> Citycapes和5.4 Miou for Synthia-> Citycapes，并使得甚至是学习甚至困难的课程，如火车，公共汽车和卡车。该实现可在https://github.com/lhoyer/daformer中获得。

近年来，对语义分割的无监督域适应性（UDA）进行了充分研究。但是，大多数现有的作品在很大程度上忽略了不同领域的本地区域一致性，并且对室外环境的变化的鲁棒性较低。在本文中，我们提出了一种新颖且完全端到端的可训练方法，称为域自适应语义分割的区域对比度一致性（RCCR）。我们的核心思想是从不同图像的相同位置提取的相似区域特征，即原始图像和增强图像，以更加接近，同时将两个图像的不同位置的特征推到要分开的不同位置。我们通过两种抽样策略提出了一个区域对比度损失，以实现有效的区域一致性。此外，我们呈现动力投影头，其中教师投射头是学生的指数移动平均值。最后，内存库机制旨在在不同的环境下学习更健壮和稳定的区域特征。对两个常见的UDA基准测试的广泛实验，即GTAV到CityScapes和CityScapes的合成，这表明我们的方法表现优于最先进的方法。

我们提出了一种用于语义分割的新型无监督域适应方法，该方法将训练的模型概括为源图像和相应的地面真相标签到目标域。域自适应语义分割的关键是学习域，不变和判别特征，而无需目标地面真相标签。为此，我们提出了一个双向像素 - 型对比型学习框架，该框架可最大程度地减少同一对象类特征的类内变化，同时无论域，无论域如何，都可以最大程度地提高不同阶层的阶层变化。具体而言，我们的框架将像素级特征与目标和源图像中同一对象类的原型保持一致（即分别为正面对），将它们设置为不同的类别（即负对），并执行对齐和分离在源图像中具有像素级特征的另一个方向的过程，目标图像中的原型。跨域匹配鼓励域不变特征表示，而双向像素 - 型对应对应关系汇总了同一对象类的特征，提供了歧视性特征。为了建立对比度学习的训练对，我们建议使用非参数标签转移（即跨不同域的像素 - 型对应关系，就可以生成目标图像的动态伪标签。我们还提出了一种校准方法，以补偿训练过程中逐渐补偿原型的阶级域偏差。

Semantic segmentation is a key problem for many computer vision tasks. While approaches based on convolutional neural networks constantly break new records on different benchmarks, generalizing well to diverse testing environments remains a major challenge. In numerous real world applications, there is indeed a large gap between data distributions in train and test domains, which results in severe performance loss at run-time. In this work, we address the task of unsupervised domain adaptation in semantic segmentation with losses based on the entropy of the pixel-wise predictions. To this end, we propose two novel, complementary methods using (i) an entropy loss and (ii) an adversarial loss respectively. We demonstrate state-of-theart performance in semantic segmentation on two challenging "synthetic-2-real" set-ups 1 and show that the approach can also be used for detection.

Self-training is a competitive approach in domain adaptive segmentation, which trains the network with the pseudo labels on the target domain. However inevitably, the pseudo labels are noisy and the target features are dispersed due to the discrepancy between source and target domains. In this paper, we rely on representative prototypes, the feature centroids of classes, to address the two issues for unsupervised domain adaptation. In particular, we take one step further and exploit the feature distances from prototypes that provide richer information than mere prototypes. Specifically, we use it to estimate the likelihood of pseudo labels to facilitate online correction in the course of training. Meanwhile, we align the prototypical assignments based on relative feature distances for two different views of the same target, producing a more compact target feature space. Moreover, we find that distilling the already learned knowledge to a self-supervised pretrained model further boosts the performance. Our method shows tremendous performance advantage over state-of-the-art methods. We will make the code publicly available.

We consider the problem of unsupervised domain adaptation in semantic segmentation. A key in this campaign consists in reducing the domain shift, i.e., enforcing the data distributions of the two domains to be similar. One of the common strategies is to align the marginal distribution in the feature space through adversarial learning. However, this global alignment strategy does not consider the category-level joint distribution. A possible consequence of such global movement is that some categories which are originally well aligned between the source and target may be incorrectly mapped, thus leading to worse segmentation results in target domain. To address this problem, we introduce a category-level adversarial network, aiming to enforce local semantic consistency during the trend of global alignment. Our idea is to take a close look at the category-level joint distribution and align each class with an adaptive adversarial loss. Specifically, we reduce the weight of the adversarial loss for category-level aligned features while increasing the adversarial force for those poorly aligned. In this process, we decide how well a feature is category-level aligned between source and target by a co-training approach. In two domain adaptation tasks, i.e., GTA5 → Cityscapes and SYN-THIA → Cityscapes, we validate that the proposed method matches the state of the art in segmentation accuracy.

无监督的域适应（UDA）旨在使源域上培训的模型适应到新的目标域，其中没有可用标记的数据。在这项工作中，我们调查从合成计算机生成的域的UDA的问题，以用于学习语义分割的类似但实际的域。我们提出了一种与UDA的一致性正则化方法结合的语义一致的图像到图像转换方法。我们克服了将合成图像转移到真实的图像的先前限制。我们利用伪标签来学习生成的图像到图像转换模型，该图像到图像转换模型从两个域上的语义标签接收额外的反馈。我们的方法优于最先进的方法，将图像到图像转换和半监督学习与相关域适应基准，即Citycapes和Synthia上的CutyCapes和Synthia进行了全面的学习。

无监督的域适应性（UDA）旨在使标记的源域的模型适应未标记的目标域。现有的基于UDA的语义细分方法始终降低像素级别，功能级别和输出级别的域移动。但是，几乎所有这些都在很大程度上忽略了上下文依赖性，该依赖性通常在不同的领域共享，从而导致较不怀疑的绩效。在本文中，我们提出了一个新颖的环境感知混音（camix）框架自适应语义分割的框架，该框架以完全端到端的可训练方式利用了上下文依赖性的这一重要线索作为显式的先验知识，以增强对适应性的适应性目标域。首先，我们通过利用积累的空间分布和先前的上下文关系来提出上下文掩盖的生成策略。生成的上下文掩码在这项工作中至关重要，并将指导三个不同级别的上下文感知域混合。此外，提供了背景知识，我们引入了重要的一致性损失，以惩罚混合学生预测与混合教师预测之间的不一致，从而减轻了适应性的负面转移，例如早期绩效降级。广泛的实验和分析证明了我们方法对广泛使用的UDA基准的最新方法的有效性。

上下文信息对于各种计算机视觉任务至关重要，以前的作品通常设计插件模块和结构损失，以有效地提取和汇总全局上下文。这些方法利用优质标签来优化模型，但忽略了精细训练的特征也是宝贵的训练资源，可以将优选的分布引入硬像素（即错误分类的像素）。受到无监督范式的对比学习的启发，我们以监督的方式应用了对比度损失，并重新设计了损失功能，以抛弃无监督学习的刻板印象（例如，积极和负面的不平衡，对锚定计算的混淆）。为此，我们提出了阳性阴性相等的对比损失（PNE损失），这增加了阳性嵌入对锚的潜在影响，并同时对待阳性和阴性样本对。 PNE损失可以直接插入现有的语义细分框架中，并以可忽视的额外计算成本导致出色的性能。我们利用许多经典的分割方法（例如，DeepLabv3，Ocrnet，Upernet）和骨干（例如Resnet，Hrnet，Swin Transformer）进行全面的实验，并在两个基准数据集（例如，例如，例如，，例如城市景观和可可固定）。我们的代码将公开