域适应（DA）旨在将知识从标签富裕但异构的域转移到标签恐慌域，这减轻了标签努力并吸引了相当大的关注。与以前的方法不同，重点是学习域中的特征表示，一些最近的方法存在通用半监督学习（SSL）技术，直接将它们应用于DA任务，甚至实现竞争性能。最受欢迎的SSL技术之一是伪标记，可通过标记数据训练的分类器为每个未标记数据分配伪标签。但是，它忽略了DA问题的分布偏移，并且不可避免地偏置为源数据。要解决此问题，我们提出了一个名为辅助目标域导向的分类器（ATDOC）的新伪标签框架。 ATDOC通过为目标数据引入辅助分类器来缓解分类器偏置，以提高伪标签的质量。具体地，我们使用内存机制并开发两种类型的非参数分类器，即最近的质心分类器和邻域聚合，而不引入任何其他网络参数。尽管在伪分类目标中具有简单性，但具有邻域聚集的ATDOC显着优于域对齐技术和现有的SSL技术，以及甚至瘢痕标记的SSL任务。

无监督域适应（UDA）旨在将知识从相关但不同的良好标记的源域转移到新的未标记的目标域。大多数现有的UDA方法需要访问源数据，因此当数据保密而不相配在隐私问题时，不适用。本文旨在仅使用培训的分类模型来解决现实设置，而不是访问源数据。为了有效地利用适应源模型，我们提出了一种新颖的方法，称为源假设转移（拍摄），其通过将目标数据特征拟合到冻结源分类模块（表示分类假设）来学习目标域的特征提取模块。具体而言，拍摄挖掘出于特征提取模块的信息最大化和自我监督学习，以确保目标特征通过同一假设与看不见的源数据的特征隐式对齐。此外，我们提出了一种新的标签转移策略，它基于预测的置信度（标签信息），然后采用半监督学习来将目标数据分成两个分裂，然后提高目标域中的较为自信预测的准确性。如果通过拍摄获得预测，我们表示标记转移为拍摄++。关于两位数分类和对象识别任务的广泛实验表明，拍摄和射击++实现了与最先进的结果超越或相当的结果，展示了我们对各种视域适应问题的方法的有效性。代码可用于\ url {https：//github.com/tim-learn/shot-plus}。

Unsupervised domain adaptation (UDA) aims to leverage the knowledge learned from a labeled source dataset to solve similar tasks in a new unlabeled domain. Prior UDA methods typically require to access the source data when learning to adapt the model, making them risky and inefficient for decentralized private data. This work tackles a practical setting where only a trained source model is available and investigates how we can effectively utilize such a model without source data to solve UDA problems. We propose a simple yet generic representation learning framework, named Source HypOthesis Transfer (SHOT). SHOT freezes the classifier module (hypothesis) of the source model and learns the target-specific feature extraction module by exploiting both information maximization and selfsupervised pseudo-labeling to implicitly align representations from the target domains to the source hypothesis. To verify its versatility, we evaluate SHOT in a variety of adaptation cases including closed-set, partial-set, and open-set domain adaptation. Experiments indicate that SHOT yields state-of-the-art results among multiple domain adaptation benchmarks.

域的适应性（DA）旨在将知识从标记的源域中学习的知识转移到未标记或标记较小但相关的目标域的知识。理想情况下，源和目标分布应彼此平等地对齐，以实现公正的知识转移。但是，由于源和目标域中注释数据的数量之间存在显着不平衡，通常只有目标分布与源域保持一致，从而使不必要的源特定知识适应目标域，即偏置域的适应性。为了解决此问题，在这项工作中，我们通过对基于对抗性的DA方法进行建模来对歧视器的不确定性进行建模，以优化无偏见转移。我们理论上分析了DA中提出的无偏可传递性学习方法的有效性。此外，为了减轻注释数据不平衡的影响，我们利用了目标域中未标记样品的伪标签选择的估计不确定性，这有助于实现更好的边际和条件分布在域之间的分布。对各种DA基准数据集的广泛实验结果表明，可以轻松地将所提出的方法纳入各种基于对抗性的DA方法中，从而实现最新的性能。

为了缓解标签的负担，无监督的域适应（UDA）旨在将知识传输到新的未标记数据集（目标）中的标记数据集（源）。尽管进展令人印象深刻，但先前的方法总是需要访问原始源数据，并开发数据相关的对准方法以以转换的学习方式识别目标样本，这可能会从源头中提高隐私问题。几个最近的研究通过利用来自源域的训练有素的白盒模型来替代解决方案，然而，它仍可能通过生成的对抗性学习泄漏原始数据。本文研究了UDA的实用和有趣的设置，其中仅在目标域中的适应期间提供了黑盒源模型（即，仅可用网络预测）。为了解决这个问题，我们提出了一个名为蒸馏和微调（用餐）的新的两步知识适应框架。考虑到目标数据结构，用餐首先将知识从源预测器蒸馏到定制的目标模型，然后微调蒸馏模型以进一步适合目标域。此外，神经网络不需要在用餐中的域中相同，甚至允许有效地适应低资源设备。三个UDA场景（即单源，多源和部分集）的经验结果确认，与最先进的数据相关的方法相比，该用途达到了高竞争力的性能。代码可用于\ url {https://github.com/tim-learn/dine/}。

半监督域适应（SSDA）是一种具有挑战性的问题，需要克服1）以朝向域的较差的数据和2）分布换档的方法。不幸的是，由于培训数据偏差朝标标样本训练，域适应（DA）和半监督学习（SSL）方法的简单组合通常无法解决这两个目的。在本文中，我们介绍了一种自适应结构学习方法，以规范SSL和DA的合作。灵感来自多视图学习，我们建议的框架由共享特征编码器网络和两个分类器网络组成，用于涉及矛盾的目的。其中，其中一个分类器被应用于组目标特征以提高级别的密度，扩大了鲁棒代表学习的分类集群的间隙。同时，其他分类器作为符号器，试图散射源功能以增强决策边界的平滑度。目标聚类和源扩展的迭代使目标特征成为相应源点的扩张边界内的封闭良好。对于跨域特征对齐和部分标记的数据学习的联合地址，我们应用最大平均差异（MMD）距离最小化和自培训（ST）将矛盾结构投影成共享视图以进行可靠的最终决定。对标准SSDA基准的实验结果包括Domainnet和Office-Home，展示了我们对最先进的方法的方法的准确性和稳健性。

学习目标域中的未知样本（不存在于源类中）对于无监督域适应（UDA）相当重要。存在两个典型的UDA方案，即开放式和开放式集合，后者假定目标域中并非所有源类都显示在内。但是，大多数先前的方法都是为一个UDA场景而设计的，并且始终在其他UDA方案上表现差。此外，它们还需要在适应过程中标记的源数据，限制其在数据隐私敏感应用中的可用性。为了解决这些问题，本文提出了一种通用模型适应（UMAD）框架，其处理了UDA方案，而无需访问源数据，也不是关于域之间类别的类别的知识。具体而言，我们的目标是使用优雅设计的双头分类器来学习源模型，并将其提供给目标域。在适应期间，我们开发了一种信息丰富的一致性分数，以帮助区分从已知样品中的未知样本。为了在目标域中实现双边适应，我们进一步最大化了局部化的相互信息，以将已知的样本与源分类器对齐，并采用熵丢失，以便分别推动远离源分类边界的未知样本。开放式和开放式的UDA方案的实验表明，umad作为无需访问源数据的统一方法，展示与最先进的数据相关方法的可比性。

传统的域泛化旨在从多个域学习域不变表示，这需要准确的注释。然而，在现实的应用方案中，收集和注释大量数据太麻烦甚至不可行。然而，Web数据提供免费午餐，以便使用丰富的风格信息访问大量未标记的数据，这些数据可以利用增强域泛化能力。在本文中，我们介绍了一个新的任务，称为半监督域泛化，研究如何互动和未标记的域名，并建立两个基准，包括一个网上爬行数据集，它造成了一种新颖的但是逼真的挑战来推动现有技术的限制。为了解决这项任务，简单的解决方案是通过伪标记与域混淆训练一起传播标签到未标记的域的类信息。考虑缩小域间隙可以提高伪标签的质量和进一步推进域不变特征学习的泛化，我们提出了一个循环学习框架，以鼓励标签传播和域泛化之间的积极反馈，有利于桥接标记的不断发展的中间域课程学习方式的未标记域。进行实验以验证我们框架的有效性。值得突出显示的是，Web爬网数据受益于我们的结果中所示的域泛化。我们的代码稍后将提供。

无监督的域适应（UDA）旨在将标记的源分布与未标记的目标分布对齐，以获取域不变预测模型。然而，众所周知的UDA方法的应用在半监督域适应（SSDA）方案中不完全概括，其中来自目标域的少数标记的样本可用。在本文中，我们提出了一种用于半监督域适应（CLDA）的简单对比学习框架，该框架试图在SSDA中弥合标记和未标记的目标分布与源极和未标记的目标分布之间的域间差距之间的域间隙。我们建议采用类明智的对比学学习来降低原始（输入图像）和强大增强的未标记目标图像之间的域间间隙和实例级对比度对准，以最小化域内差异。我们已经凭经验表明，这两个模块相互补充，以实现卓越的性能。在三个众所周知的域适应基准数据集中的实验即Domainnet，Office-Home和Office31展示了我们方法的有效性。 CLDA在所有上述数据集上实现最先进的结果。

Active域适应（ADA）查询所选目标样本的标签，以帮助将模型从相关的源域调整为目标域。由于其有希望的表现，标签成本最少，因此最近引起了人们越来越多的关注。然而，现有的ADA方法尚未完全利用查询数据的局部环境，这对ADA很重要，尤其是当域间隙较大时。在本文中，我们提出了一个局部环境感知的活动域适应性（LADA）的新框架，该框架由两个关键模块组成。本地上下文感知的活动选择（LAS）模块选择其类概率预测与邻居不一致的目标样本。局部上下文感知模型适应（LMA）模块完善了具有查询样本及其扩展的邻居的模型，并由上下文保留损失正规化。广泛的实验表明，与现有的主动选择策略相比，LAS选择了更多的信息样本。此外，配备了LMA，整个LADA方法的表现优于各种基准测试的最先进的ADA解决方案。代码可在https://github.com/tsun/lada上找到。

在这项工作中，我们试图通过设计简单和紧凑的条件领域的逆势培训方法来解决无监督的域适应。我们首先重新审视简单的级联调节策略，其中特征与输出预测连接为鉴别器的输入。我们发现倾斜策略遭受了弱势调节力量。我们进一步证明扩大连接预测的规范可以有效地激励条件域对齐。因此，我们通过将输出预测标准化具有相同的特征的输出预测来改善连接调节，并且派生方法作为归一化输出调节器〜（名词）。然而，对域对齐的原始输出预测的调理，名词遭受目标域的不准确预测。为此，我们建议将原型空间中的跨域特征对齐方式而不是输出空间。将新的原型基于原型的调节与名词相结合，我们将增强方法作为基于原型的归一化输出调节器〜（代词）。对象识别和语义分割的实验表明，名词可以有效地对准域跨域的多模态结构，甚至优于最先进的域侵犯训练方法。与基于原型的调节一起，代词进一步提高了UDA的多个对象识别基准上的名词的适应性能。

自我监督的学习（SSL）最近成为特征学习方法中的最爱。因此，它可以吸引域适应方法来考虑结合SSL。直觉是强制执行实例级别一致性，使得预测器在域中变得不变。但是，域适应制度中的大多数现有SSL方法通常被视为独立的辅助组件，使域自适应的签名无人看管。实际上，域间隙消失的最佳区域和SSL PERUSES的实例级别约束可能根本不一致。从这一点来看，我们向一个特定的范式的自我监督学习量身定制，用于域适应，即可转让的对比学习（TCL），这与SSL和所需的跨域转移性相一致地联系起来。我们发现对比学习本质上是一个合适的域适应候选者，因为它的实例不变性假设可以方便地促进由域适应任务青睐的跨域类级不变性。基于特定的记忆库结构和伪标签策略，TCL然后通过清洁和新的对比损失来惩罚源头和靶之间的跨域内域差异。免费午餐是由于纳入对比学习，TCL依赖于移动平均的关键编码器，自然地实现了用于目标数据的伪标签的暂停标签，这避免了无额外的成本。因此，TCL有效地减少了跨域间隙。通过对基准（Office-Home，Visda-2017，Diamet-Five，PACS和Domainnet）进行广泛的实验，用于单源和多源域适配任务，TCL已经证明了最先进的性能。

域泛化（DG）利用多个标记的源数据集来训练未经化的目标域的概括模型。然而，由于昂贵的注释成本，在现实世界应用中难以满足标记所有源数据的要求。在本文中，我们调查单个标记的域泛化（SLDG）任务，只标有一个源域，这比传统的域泛化（CDG）更实用和具有挑战性。 SLDG任务中的主要障碍是可怜的概括偏置：标记源数据集中的鉴别信息可以包含特定于域的偏差，限制训练模型的泛化。为了解决这个具有挑战性的任务，我们提出了一种称为域特定偏置滤波（DSBF）的新方法，该方法用标记的源数据初始化识别模型，然后通过用于泛化改进的未标记的源数据来滤除其域特定的偏差。我们将过滤过程划分为（1）特征提取器扩展通过K-Means的基于聚类的语义特征重新提取和（2）分类器通过注意引导语义特征投影校准。 DSBF统一探索标签和未标记的源数据，以增强培训模型的可辨性和泛化，从而产生高度普遍的模型。我们进一步提供了理论分析，以验证所提出的域特定的偏置滤波过程。关于多个数据集的广泛实验显示了DSBF在解决具有挑战性的SLDG任务和CDG任务时的优越性。

关于无监督的域适应性（UDA）的广泛研究已将有限的实验数据集深入学习到现实世界中无约束的领域。大多数UDA接近通用嵌入空间中的对齐功能，并将共享分类器应用于目标预测。但是，由于当域差异很大时可能不存在完全排列的特征空间，因此这些方法受到了两个局限性。首先，由于缺乏目标标签监督，强制域的比对会恶化目标域的可区分性。其次，源监督分类器不可避免地偏向源数据，因此它在目标域中的表现可能不佳。为了减轻这些问题，我们建议在两个集中在不同领域的空间中同时进行特征对齐，并为每个空间创建一个针对该域的面向域的分类器。具体而言，我们设计了一个面向域的变压器（DOT），该变压器（DOT）具有两个单独的分类令牌，以学习不同的面向域的表示形式和两个分类器，以保持域的可区分性。理论保证的基于对比度的对齐和源指导的伪标签细化策略被用来探索域名和特定信息。全面的实验验证了我们的方法在几个基准上实现了最先进的方法。

We propose a novel unsupervised domain adaptation framework based on domain-specific batch normalization in deep neural networks. We aim to adapt to both domains by specializing batch normalization layers in convolutional neural networks while allowing them to share all other model parameters, which is realized by a twostage algorithm. In the first stage, we estimate pseudolabels for the examples in the target domain using an external unsupervised domain adaptation algorithm-for example, MSTN [27] or CPUA [14]-integrating the proposed domain-specific batch normalization. The second stage learns the final models using a multi-task classification loss for the source and target domains. Note that the two domains have separate batch normalization layers in both stages. Our framework can be easily incorporated into the domain adaptation techniques based on deep neural networks with batch normalization layers. We also present that our approach can be extended to the problem with multiple source domains. The proposed algorithm is evaluated on multiple benchmark datasets and achieves the state-of-theart accuracy in the standard setting and the multi-source domain adaption scenario.

无源域的适应（SFDA）旨在将预先培训的源模型调整到未标记的目标域而无需访问标记良好的源数据的情况下，由于数据隐私，安全性和传输问题，这是一个更实用的设置。为了弥补缺乏源数据，大多数现有方法引入了基于特征原型的伪标记策略，以实现自我训练模型的适应性。但是，特征原型是通过基于实例级预测的特征群集获得的，该特征群集是偏见的，并且倾向于导致嘈杂的标签，因为源和目标之间的视觉域间隙通常不同。此外，我们发现单中心特征原型可能无效地表示每个类别并引入负转移，尤其是对于这些硬转移数据。为了解决这些问题，我们为SFDA任务提供了一般类平衡的多中心动态原型（BMD）策略。具体而言，对于每个目标类别，我们首先引入全球类间平衡抽样策略，以汇总潜在的代表性目标样本。然后，我们设计了一类多中心聚类策略，以实现更健壮和代表性的原型生成。与在固定培训期更新伪标签的现有策略相反，我们进一步引入了动态伪标签策略，以在模型适应过程中结合网络更新信息。广泛的实验表明，所提出的模型不可替代的BMD策略显着改善了代表性的SFDA方法，以产生新的最新结果。该代码可在https://github.com/ispc-lab/bmd上找到。

为了将训练有素的模型直接概括为看不见的目标域，域概括（DG）是一种新提出的学习范式，引起了很大的关注。以前的DG模型通常需要在训练过程中观察到的源域中的足够数量的带注释的样品。在本文中，我们放宽了有关完全注释的要求，并研究了半监督域的概括（SSDG），在训练过程中，只有一个源域与其他完全未标记的域一起完全注释。由于要解决观察到的源域之间的域间隙和预测看不见的目标域之间的挑战，我们提出了一个通过关节域吸引的标签和双分类器的新型深框架，以产生高质量的伪标记。具体来说，为了预测域移位下的准确伪标记，开发了一个域吸引的伪标记模块。此外，考虑到概括和伪标记之间的目标不一致：前者防止在所有源域上过度拟合，而后者可能过分适合未标记的源域，以高精度，我们采用双分类器来独立执行伪标记和域名，并在训练过程中执行伪造域通用化。 。当为未标记的源域生成准确的伪标记时，将域混合操作应用于标记和未标记域之间的新域，这对于提高模型的通用能力是有益的。公开可用的DG基准数据集的广泛结果显示了我们提出的SSDG方法的功效。

作为对数据有效使用的研究，多源无监督的域适应性将知识从带有标记数据的多个源域转移到了未标记的目标域。但是，目标域中不同域和嘈杂的伪标签之间的分布差异都导致多源无监督域适应方法的性能瓶颈。鉴于此，我们提出了一种将注意力驱动的领域融合和耐噪声学习（ADNT）整合到上述两个问题的方法。首先，我们建立了相反的注意结构，以在特征和诱导域运动之间执行信息。通过这种方法，当域差异降低时，特征的可区分性也可以显着提高。其次，基于无监督的域适应训练的特征，我们设计了自适应的反向横向熵损失，该损失可以直接对伪标签的产生施加约束。最后，结合了这两种方法，几个基准的实验结果进一步验证了我们提出的ADNT的有效性，并证明了优于最新方法的性能。

半监督域适应性（SSDA）中的主要挑战之一是标记源和目标样本数量之间的偏差比，导致该模型偏向源域。 SSDA中的最新作品表明，仅将标记的目标样品与源样本对齐可能导致目标域与源域的不完全域对齐。在我们的方法中，为了使两个域对齐，我们利用对比的损失，使用来自两个域的监督样本学习语义上有意义的域不可知特征空间。为了减轻偏斜标签比率引起的挑战，我们通过将其特征表示形式与来自源和目标域的标记样品的特征表示形式进行比较，为未标记的目标样本进行了伪造。此外，为了增加目标域的支持，在训练过程中，这些潜在的嘈杂的伪标签逐渐被逐渐注入标记的目标数据集中。具体而言，我们使用温度缩放的余弦相似性度量将软伪标签分配给未标记的目标样品。此外，我们计算每个未标记样品的软伪标签的指数移动平均值。这些伪标签逐渐注入或删除）（从）基于置信阈值（以补充源和目标分布的比对）（从）中（从）中。最后，我们在标记和伪标记的数据集上使用有监督的对比损失来对齐源和目标分布。使用我们提出的方法，我们在SSDA基准测试中展示了最先进的性能-Office-Home，Domainnet和Office-31。

虽然在许多域内生成并提供了大量的未标记数据，但对视觉数据的自动理解的需求高于以往任何时候。大多数现有机器学习模型通常依赖于大量标记的训练数据来实现高性能。不幸的是，在现实世界的应用中，不能满足这种要求。标签的数量有限，手动注释数据昂贵且耗时。通常需要将知识从现有标记域传输到新域。但是，模型性能因域之间的差异（域移位或数据集偏差）而劣化。为了克服注释的负担，域适应（DA）旨在在将知识从一个域转移到另一个类似但不同的域中时减轻域移位问题。无监督的DA（UDA）处理标记的源域和未标记的目标域。 UDA的主要目标是减少标记的源数据和未标记的目标数据之间的域差异，并在培训期间在两个域中学习域不变的表示。在本文中，我们首先定义UDA问题。其次，我们从传统方法和基于深度学习的方法中概述了不同类别的UDA的最先进的方法。最后，我们收集常用的基准数据集和UDA最先进方法的报告结果对视觉识别问题。