领域自适应分段努力生成目标域的高质量伪标签并在其上重新训练分段的趋势趋势。在这种自我训练的范式下，一些竞争性方法已寻求潜在的空间信息，该信息建立了语义类别的特征质心（又称原型），并通过与这些质心的距离确定了伪标签候选者。在本文中，我们认为潜在空间包含更多要利用的信息，从而进一步迈出了一步以利用它。首先，我们不仅使用源域原型来确定目标伪标签，而且还像大多数传统方法一样，我们在双向上产生目标域原型来降低那些可能难以理解或无法进行适应的源特征。其次，现有尝试将每个类别模拟为单个和各向同性原型，同时忽略特征分布的方差，这可能导致类似类别的混淆。为了解决这个问题，我们建议通过高斯混合模型代表每个类别，以多种和各向异性原型表示，以根据概率密度估算源域的事实分布并估算目标样品的可能性。我们将我们的方法应用于gta5-> CityScapes和Synthia-> CityScaps任务，并在平均值上分别实现61.2和62.8，这显然优于其他竞争性的自我训练方法。值得注意的是，在某些类别中，我们的方法分别遭受了“卡车”和“公共汽车”等分类混乱的影响，我们的方法分别达到了56.4和68.8，这进一步证明了我们设计的有效性。

无监督的域适应性（UDA）旨在使在标记的源域上训练的模型适应未标记的目标域。在本文中，我们提出了典型的对比度适应（PROCA），这是一种无监督域自适应语义分割的简单有效的对比度学习方法。以前的域适应方法仅考虑跨各个域的阶级内表示分布的对齐，而阶层间结构关系的探索不足，从而导致目标域上的对齐表示可能不像在源上歧视的那样容易歧视。域了。取而代之的是，ProCA将类间信息纳入班级原型，并采用以班级为中心的分布对齐进行适应。通过将同一类原型与阳性和其他类原型视为实现以集体为中心的分配对齐方式的负面原型，Proca在经典领域适应任务上实现了最先进的性能，{\ em i.e. text {and} synthia $ \ to $ cityScapes}。代码可在\ href {https://github.com/jiangzhengkai/proca} {proca}获得代码

Self-training is a competitive approach in domain adaptive segmentation, which trains the network with the pseudo labels on the target domain. However inevitably, the pseudo labels are noisy and the target features are dispersed due to the discrepancy between source and target domains. In this paper, we rely on representative prototypes, the feature centroids of classes, to address the two issues for unsupervised domain adaptation. In particular, we take one step further and exploit the feature distances from prototypes that provide richer information than mere prototypes. Specifically, we use it to estimate the likelihood of pseudo labels to facilitate online correction in the course of training. Meanwhile, we align the prototypical assignments based on relative feature distances for two different views of the same target, producing a more compact target feature space. Moreover, we find that distilling the already learned knowledge to a self-supervised pretrained model further boosts the performance. Our method shows tremendous performance advantage over state-of-the-art methods. We will make the code publicly available.

We consider the problem of unsupervised domain adaptation in semantic segmentation. A key in this campaign consists in reducing the domain shift, i.e., enforcing the data distributions of the two domains to be similar. One of the common strategies is to align the marginal distribution in the feature space through adversarial learning. However, this global alignment strategy does not consider the category-level joint distribution. A possible consequence of such global movement is that some categories which are originally well aligned between the source and target may be incorrectly mapped, thus leading to worse segmentation results in target domain. To address this problem, we introduce a category-level adversarial network, aiming to enforce local semantic consistency during the trend of global alignment. Our idea is to take a close look at the category-level joint distribution and align each class with an adaptive adversarial loss. Specifically, we reduce the weight of the adversarial loss for category-level aligned features while increasing the adversarial force for those poorly aligned. In this process, we decide how well a feature is category-level aligned between source and target by a co-training approach. In two domain adaptation tasks, i.e., GTA5 → Cityscapes and SYN-THIA → Cityscapes, we validate that the proposed method matches the state of the art in segmentation accuracy.

虽然监督语义分割存在重大进展，但由于领域偏差，将分段模型部署到解除域来仍然具有挑战性。域适应可以通过将知识从标记的源域传输到未标记的目标域来帮助。以前的方法通常尝试执行对全局特征的适应，然而，通常忽略要计入特征空间中的每个像素的本地语义附属机构，导致较少的可辨性。为解决这个问题，我们提出了一种用于细粒度阶级对齐的新型语义原型对比学习框架。具体地，语义原型提供了用于每个像素鉴别的表示学习的监控信号，并且需要在特征空间中的源极和目标域的每个像素来反映相应的语义原型的内容。通过这种方式，我们的框架能够明确地制作较近的类别的像素表示，并且进一步越来越多地分开，以改善分割模型的鲁棒性以及减轻域移位问题。与最先进的方法相比，我们的方法易于实施并达到优异的结果，如众多实验所展示的那样。代码在[此HTTPS URL]（https://github.com/binhuixie/spcl）上公开可用。

我们提出了一种用于语义分割的新型无监督域适应方法，该方法将训练的模型概括为源图像和相应的地面真相标签到目标域。域自适应语义分割的关键是学习域，不变和判别特征，而无需目标地面真相标签。为此，我们提出了一个双向像素 - 型对比型学习框架，该框架可最大程度地减少同一对象类特征的类内变化，同时无论域，无论域如何，都可以最大程度地提高不同阶层的阶层变化。具体而言，我们的框架将像素级特征与目标和源图像中同一对象类的原型保持一致（即分别为正面对），将它们设置为不同的类别（即负对），并执行对齐和分离在源图像中具有像素级特征的另一个方向的过程，目标图像中的原型。跨域匹配鼓励域不变特征表示，而双向像素 - 型对应对应关系汇总了同一对象类的特征，提供了歧视性特征。为了建立对比度学习的训练对，我们建议使用非参数标签转移（即跨不同域的像素 - 型对应关系，就可以生成目标图像的动态伪标签。我们还提出了一种校准方法，以补偿训练过程中逐渐补偿原型的阶级域偏差。

在本文中，我们解决了一次性分段的单次无监督域适应（OSUDA）的问题，其中分段器在训练期间只看到一个未标记的目标图像。在这种情况下，传统的无监督域适应模型通常失败，因为它们不能适应目标域，以具有过度拟合到一个（或几个）目标样本。为了解决这个问题，现有的OSUDA方法通常集成了一种样式传输模块，基于未标记的目标样本执行域随机化，可以在训练期间探讨目标样本周围的多个域。然而，这种样式传输模块依赖于一组额外的图像作为预训练的样式参考，并且还增加了对域适应的内存需求。在这里，我们提出了一种新的奥德达方法，可以有效地缓解这种计算负担。具体而言，我们将多个样式混合层集成到分段器中，该分段器播放样式传输模块的作用，以在不引入任何学习参数的情况下使源图像进行体现。此外，我们提出了一种剪辑的原型匹配（PPM）方法来加权考虑源像素在监督训练期间的重要性，以缓解负适应。实验结果表明，我们的方法在单次设置下的两个常用基准上实现了新的最先进的性能，并且比所有比较方法更有效。

受益于从特定情况（源）收集的相当大的像素级注释，训练有素的语义分段模型表现得非常好，但由于大域移位而导致的新情况（目标）失败。为了缓解域间隙，先前的跨域语义分段方法始终在域对齐期间始终假设源数据和目标数据的共存。但是，在实际方案中访问源数据可能会引发隐私问题并违反知识产权。为了解决这个问题，我们专注于一个有趣和具有挑战性的跨域语义分割任务，其中仅向目标域提供训练源模型。具体地，我们提出了一种称为ATP的统一框架，其包括三种方案，即特征对准，双向教学和信息传播。首先，我们设计了课程熵最小化目标，以通过提供的源模型隐式对准目标功能与看不见的源特征。其次，除了vanilla自我训练中的正伪标签外，我们是第一个向该领域引入负伪标签的，并开发双向自我训练策略，以增强目标域中的表示学习。最后，采用信息传播方案来通过伪半监督学习进一步降低目标域内的域内差异。综合与跨城市驾驶数据集的广泛结果验证\ TextBF {ATP}产生最先进的性能，即使是需要访问源数据的方法。

在无监督的域自适应（UDA）语义分割中，基于蒸馏的方法目前在性能上占主导地位。但是，蒸馏技术需要使多阶段的过程和许多培训技巧复杂化。在本文中，我们提出了一种简单而有效的方法，可以实现高级蒸馏方法的竞争性能。我们的核心思想是从边界和功能的观点充分探索目标域信息。首先，我们提出了一种新颖的混合策略，以产生具有地面标签的高质量目标域边界。与以前的作品中的源域边界不同，我们选择了高信心目标域区域，然后将其粘贴到源域图像中。这样的策略可以使用正确的标签在目标域（目标域对象区域的边缘）中生成对象边界。因此，可以通过学习混合样品来有效地捕获目标域的边界信息。其次，我们设计了多层对比损失，以改善目标域数据的表示，包括像素级和原型级对比度学习。通过结合两种建议的方法，可以提取更多的判别特征，并且可以更好地解决目标域的硬对象边界。对两个常用基准测试的实验结果（\ textit {i.e。}，gta5 $ \ rightarrow $ cityScapes and synthia $ \ rightarrow $ cityScapes）表明，我们的方法在复杂的蒸馏方法上取得了竞争性能。值得注意的是，对于Synthia $ \ rightarrow $ CityScapes方案，我们的方法以$ 57.8 \％$ MIOU和$ 64.6 \％$ MIOU的16堂课和16堂课实现了最先进的性能。代码可在https://github.com/ljjcoder/ehtdi上找到。

Unsupervised domain adaptation (UDA) for semantic segmentation is a promising task freeing people from heavy annotation work. However, domain discrepancies in low-level image statistics and high-level contexts compromise the segmentation performance over the target domain. A key idea to tackle this problem is to perform both image-level and feature-level adaptation jointly. Unfortunately, there is a lack of such unified approaches for UDA tasks in the existing literature. This paper proposes a novel UDA pipeline for semantic segmentation that unifies image-level and feature-level adaptation. Concretely, for image-level domain shifts, we propose a global photometric alignment module and a global texture alignment module that align images in the source and target domains in terms of image-level properties. For feature-level domain shifts, we perform global manifold alignment by projecting pixel features from both domains onto the feature manifold of the source domain; and we further regularize category centers in the source domain through a category-oriented triplet loss and perform target domain consistency regularization over augmented target domain images. Experimental results demonstrate that our pipeline significantly outperforms previous methods. In the commonly tested GTA5$\rightarrow$Cityscapes task, our proposed method using Deeplab V3+ as the backbone surpasses previous SOTA by 8%, achieving 58.2% in mIoU.

了解驾驶场景中的雾图像序列对于自主驾驶至关重要，但是由于难以收集和注释不利天气的现实世界图像，这仍然是一项艰巨的任务。最近，自我训练策略被认为是无监督域适应的强大解决方案，通过生成目标伪标签并重新训练模型，它迭代地将模型从源域转化为目标域。但是，选择自信的伪标签不可避免地会遭受稀疏与准确性之间的冲突，这两者都会导致次优模型。为了解决这个问题，我们利用了驾驶场景的雾图图像序列的特征，以使自信的伪标签致密。具体而言，基于顺序图像数据的局部空间相似性和相邻时间对应的两个发现，我们提出了一种新型的目标域驱动的伪标签扩散（TDO-DIF）方案。它采用超像素和光学流来识别空间相似性和时间对应关系，然后扩散自信但稀疏的伪像标签，或者是由流量链接的超像素或时间对应对。此外，为了确保扩散像素的特征相似性，我们在模型重新训练阶段引入了局部空间相似性损失和时间对比度损失。实验结果表明，我们的TDO-DIF方案有助于自适应模型在两个公共可用的天然雾化数据集（超过雾气的Zurich and Forggy驾驶）上实现51.92％和53.84％的平均跨工会（MIOU），这超过了最态度ART无监督的域自适应语义分割方法。可以在https://github.com/velor2012/tdo-dif上找到模型和数据。

深度学习极大地提高了语义细分的性能，但是，它的成功依赖于大量注释的培训数据的可用性。因此，许多努力致力于域自适应语义分割，重点是将语义知识从标记的源域转移到未标记的目标域。现有的自我训练方法通常需要多轮训练，而基于对抗训练的另一个流行框架已知对超参数敏感。在本文中，我们提出了一个易于训练的框架，该框架学习了域自适应语义分割的域不变原型。特别是，我们表明域的适应性与很少的学习共享一个共同的角色，因为两者都旨在识别一些从大量可见数据中学到的知识的看不见的数据。因此，我们提出了一个统一的框架，用于域适应和很少的学习。核心思想是使用从几个镜头注释的目标图像中提取的类原型来对源图像和目标图像的像素进行分类。我们的方法仅涉及一个阶段训练，不需要对大规模的未经通知的目标图像进行培训。此外，我们的方法可以扩展到域适应性和几乎没有射击学习的变体。关于适应GTA5到CITYSCAPES和合成景观的实验表明，我们的方法实现了对最先进的竞争性能。

本文提出了一种新颖的像素级分布正则化方案（DRSL），用于自我监督的语义分割域的适应性。在典型的环境中，分类损失迫使语义分割模型贪婪地学习捕获类间变化的表示形式，以确定决策（类）边界。由于域的转移，该决策边界在目标域中未对齐，从而导致嘈杂的伪标签对自我监督域的适应性产生不利影响。为了克服这一限制，以及捕获阶层间变化，我们通过类感知的多模式分布学习（MMDL）捕获了像素级内的类内变化。因此，捕获阶层内变化所需的信息与阶层间歧视所需的信息明确分开。因此，捕获的功能更具信息性，导致伪噪声低的伪标记。这种分离使我们能够使用前者的基于跨凝结的自学习，在判别空间和多模式分布空间中进行单独的对齐。稍后，我们通过明确降低映射到同一模式的目标和源像素之间的距离来提出一种新型的随机模式比对方法。距离度量标签上计算出的距离度量损失，并从多模式建模头部反向传播，充当与分割头共享的基本网络上的正常化程序。关于合成到真实域的适应设置的全面实验的结果，即GTA-V/Synthia to CityScapes，表明DRSL的表现优于许多现有方法（MIOU的最小余量为2.3％和2.5％，用于MIOU，而合成的MIOU到CityScapes）。

语义细分是智能车辆了解环境的重要任务。当前的深度学习方法需要大量的标记数据进行培训。手动注释很昂贵，而模拟器可以提供准确的注释。但是，在实际场景中应用时，使用模拟器数据训练的语义分割模型的性能将大大降低。对于语义分割的无监督域适应性（UDA）最近引起了越来越多的研究注意力，旨在减少域间隙并改善目标域的性能。在本文中，我们提出了一种新型的基于两阶段熵的UDA方法，用于语义分割。在第一阶段，我们设计了一个阈值适应的无监督局灶性损失，以使目标域中的预测正常，该预测具有轻度的梯度中和机制，并减轻了在基于熵方法中几乎没有优化硬样品的问题。在第二阶段，我们引入了一种名为跨域图像混合（CIM）的数据增强方法，以弥合两个域的语义知识。我们的方法在合成景观和gta5-to-cityscapes上使用DeepLabV2和使用轻量级的Bisenet实现了最新的58.4％和59.6％的MIOS和59.6％的Mious。

作为对数据有效使用的研究，多源无监督的域适应性将知识从带有标记数据的多个源域转移到了未标记的目标域。但是，目标域中不同域和嘈杂的伪标签之间的分布差异都导致多源无监督域适应方法的性能瓶颈。鉴于此，我们提出了一种将注意力驱动的领域融合和耐噪声学习（ADNT）整合到上述两个问题的方法。首先，我们建立了相反的注意结构，以在特征和诱导域运动之间执行信息。通过这种方法，当域差异降低时，特征的可区分性也可以显着提高。其次，基于无监督的域适应训练的特征，我们设计了自适应的反向横向熵损失，该损失可以直接对伪标签的产生施加约束。最后，结合了这两种方法，几个基准的实验结果进一步验证了我们提出的ADNT的有效性，并证明了优于最新方法的性能。

Recent deep networks achieved state of the art performance on a variety of semantic segmentation tasks. Despite such progress, these models often face challenges in real world "wild tasks" where large difference between labeled training/source data and unseen test/target data exists. In particular, such difference is often referred to as "domain gap", and could cause significantly decreased performance which cannot be easily remedied by further increasing the representation power. Unsupervised domain adaptation (UDA) seeks to overcome such problem without target domain labels. In this paper, we propose a novel UDA framework based on an iterative self-training (ST) procedure, where the problem is formulated as latent variable loss minimization, and can be solved by alternatively generating pseudo labels on target data and re-training the model with these labels. On top of ST, we also propose a novel classbalanced self-training (CBST) framework to avoid the gradual dominance of large classes on pseudo-label generation, and introduce spatial priors to refine generated labels. Comprehensive experiments show that the proposed methods achieve state of the art semantic segmentation performance under multiple major UDA settings.⋆ indicates equal contribution.

本文挑战跨域语义分割任务，旨在提高未标记的目标域上的分割精度，而不会产生额外的注释。使用基于伪标签的无监督域适应（UDA）管道，我们提出了一种新颖且有效的多融合适应（MFA）方法。 MFA基本上考虑了三个并行信息融合策略，即跨模型融合，时间融合和新型在线脱机伪标签融合。具体而言，在线脱机伪标签融合鼓励自适应培训来额外关注离线伪标签容易被忽视的困难区域，从而保留更多的信息性细节。虽然其他两个融合策略可能看起来标准，但MFA努力提高整合效率和有效性，并成功将所有三种策略注入统一框架。两种广泛使用的基准测试，即GTA5对城市景观和合成城市景观的实验表明，我们的方法显着提高了语义分割适应，并分别建立了新技术（分别为58.2％和62.5％Miou） 。代码将在https://github.com/kaizhang/mfa上获得。

在无监督的域适应性（UDA）中，直接从源到目标域的适应通常会遭受明显的差异，并导致对齐不足。因此，许多UDA的作品试图通过各种中间空间逐渐和轻柔地消失域间隙，这些空间被称为域桥接（DB）。但是，对于诸如域自适应语义分割（DASS）之类的密集预测任务，现有的解决方案主要依赖于粗糙的样式转移以及如何优雅地桥接域的优雅桥梁。在这项工作中，我们诉诸于数据混合以建立用于DASS的经过经过经过经过讨论的域桥接（DDB），通过该域的源和目标域的联合分布与中间空间中的每个分布进行对齐并与每个分布。 DDB的核心是双路径域桥接步骤，用于使用粗糙和精细的数据混合技术生成两个中间域，以及一个跨路径知识蒸馏步骤，用于对两个互补模型进行对生成的中间样品进行培训的互补模型作为“老师”以多教老师的蒸馏方式发展出色的“学生”。这两个优化步骤以交替的方式工作，并相互加强以具有强大的适应能力引起DDB。对具有不同设置的自适应分割任务进行的广泛实验表明，我们的DDB显着优于最先进的方法。代码可从https://github.com/xiaoachen98/ddb.git获得。

基于对抗性学习的现有无监督的域适应方法在多个医学成像任务中取得了良好的表现。但是，这些方法仅着眼于全局分布适应，而忽略了类别级别的分布约束，这将导致次级适应性的性能。本文基于类别级别的正则化提出了一个无监督的域适应框架，该框架从三个角度正规化了类别分布。具体而言，对于域间类别的正则化，提出了一个自适应原型比对模块，以使源和目标域中同一类别的特征原型对齐。此外，对于域内类别的正则化，我们分别针对源和目标域定制了正则化技术。在源域中，提出了原型引导的判别性损失，以通过执行阶层内紧凑性和类间的分离性来学习更多的判别特征表示，并作为对传统监督损失的补充。在目标域中，提出了增强的一致性类别的正则化损失，以迫使该模型为增强/未增强目标图像提供一致的预测，这鼓励在语义上相似的区域给予相同的标签。在两个公共底面数据集上进行的广泛实验表明，所提出的方法显着优于其他最先进的比较算法。

在这项工作中，我们提出了Cluda，这是一种简单而又新颖的方法，用于通过将对比损失纳入学生教师学习范式中，以进行语义分割，以进行语义分割，以利用伪标记，以通过伪标记产生的伪标记。教师网络。更具体地说，我们从编码器中提取多级融合功能图，并通过图像的源目标混合使用不同类别和不同域的对比度损失。我们始终提高各种特征编码器体系结构和语义分割中不同域适应数据集的性能。此外，我们引入了一种学识渊博的对比损失，以改善UDA最先进的多分辨率训练方法。我们在gta $ \ rightarrow $ cityScapes（74.4 miou，+0.6）和Synthia $ \ rightarrow $ cityScapes（67.2 miou，+1.4）数据集上产生最先进的结果。 Cluda有效地证明了UDA中的对比度学习是一种通用方法，可以轻松地将其集成到任何现有的UDA中以进行语义分割任务。有关实施的详细信息，请参考补充材料。