We propose a novel unsupervised domain adaptation framework based on domain-specific batch normalization in deep neural networks. We aim to adapt to both domains by specializing batch normalization layers in convolutional neural networks while allowing them to share all other model parameters, which is realized by a twostage algorithm. In the first stage, we estimate pseudolabels for the examples in the target domain using an external unsupervised domain adaptation algorithm-for example, MSTN [27] or CPUA [14]-integrating the proposed domain-specific batch normalization. The second stage learns the final models using a multi-task classification loss for the source and target domains. Note that the two domains have separate batch normalization layers in both stages. Our framework can be easily incorporated into the domain adaptation techniques based on deep neural networks with batch normalization layers. We also present that our approach can be extended to the problem with multiple source domains. The proposed algorithm is evaluated on multiple benchmark datasets and achieves the state-of-theart accuracy in the standard setting and the multi-source domain adaption scenario.

通过从完全标记的源域中利用数据，无监督域适应（UDA）通过显式差异最小化数据分布或对抗学习来提高未标记的目标域上的分类性能。作为增强，通过利用模型预测来加强目标特征识别期间涉及类别对齐。但是，在目标域上的错误类别预测中产生的伪标签不准确以及由源域的过度录制引起的分发偏差存在未探明的问题。在本文中，我们提出了一种模型 - 不可知的两阶段学习框架，这大大减少了使用软伪标签策略的缺陷模型预测，并避免了课程学习策略的源域上的过度拟合。从理论上讲，它成功降低了目标域上预期误差的上限的综合风险。在第一阶段，我们用分布对齐的UDA方法训练一个模型，以获得具有相当高的置位目标域上的软语义标签。为了避免在源域上的过度拟合，在第二阶段，我们提出了一种课程学习策略，以自适应地控制来自两个域的损失之间的加权，以便训练阶段的焦点从源分布逐渐移位到目标分布，以预测信心提升了目标分布在目标领域。对两个知名基准数据集的广泛实验验证了我们提出框架促进促进顶级UDA算法的性能的普遍效果，并展示其一致的卓越性能。

无监督域适应（UDA）旨在将知识从相关但不同的良好标记的源域转移到新的未标记的目标域。大多数现有的UDA方法需要访问源数据，因此当数据保密而不相配在隐私问题时，不适用。本文旨在仅使用培训的分类模型来解决现实设置，而不是访问源数据。为了有效地利用适应源模型，我们提出了一种新颖的方法，称为源假设转移（拍摄），其通过将目标数据特征拟合到冻结源分类模块（表示分类假设）来学习目标域的特征提取模块。具体而言，拍摄挖掘出于特征提取模块的信息最大化和自我监督学习，以确保目标特征通过同一假设与看不见的源数据的特征隐式对齐。此外，我们提出了一种新的标签转移策略，它基于预测的置信度（标签信息），然后采用半监督学习来将目标数据分成两个分裂，然后提高目标域中的较为自信预测的准确性。如果通过拍摄获得预测，我们表示标记转移为拍摄++。关于两位数分类和对象识别任务的广泛实验表明，拍摄和射击++实现了与最先进的结果超越或相当的结果，展示了我们对各种视域适应问题的方法的有效性。代码可用于\ url {https：//github.com/tim-learn/shot-plus}。

批量归一化（BN）广泛用于现代神经网络，已被证明代表与域相关知识，因此对于跨域任务（如无监督域适应（UDA））无效。现有的BN变体方法在归一化模块中相同信道中的源和目标域知识。然而，跨域跨域的相应通道的特征之间的错位通常导致子最佳的可转换性。在本文中，我们利用跨域关系并提出了一种新颖的归一化方法，互惠归一化（RN）。具体地，RN首先呈现互易补偿（RC）模块，用于基于跨域频道明智的相关性在两个域中获取每个信道的补偿。然后，RN开发互易聚合（RA）模块，以便以其跨域补偿组件自适应地聚合特征。作为BN的替代方案，RN更适合于UDA问题并且可以容易地集成到流行的域适应方法中。实验表明，所提出的RN优于现有的正常化对应物，通过大幅度，并有助于最先进的适应方法实现更好的结果。源代码可在https://github.com/openning07/reciprocal-normalization-for-da上找到。

虽然无监督的域适应（UDA）算法，即，近年来只有来自源域的标记数据，大多数算法和理论结果侧重于单源无监督域适应（SUDA）。然而，在实际情况下，标记的数据通常可以从多个不同的源收集，并且它们可能不仅不同于目标域而且彼此不同。因此，来自多个源的域适配器不应以相同的方式进行建模。最近基于深度学习的多源无监督域适应（Muda）算法专注于通过在通用特征空间中的所有源极和目标域的分布对齐来提取所有域的公共域不变表示。但是，往往很难提取Muda中所有域的相同域不变表示。此外，这些方法匹配分布而不考虑类之间的域特定的决策边界。为了解决这些问题，我们提出了一个新的框架，具有两个对准阶段的Muda，它不仅将每对源和目标域的分布对齐，而且还通过利用域特定的分类器的输出对准决策边界。广泛的实验表明，我们的方法可以对图像分类的流行基准数据集实现显着的结果。

域适应（DA）旨在将知识从标签富裕但异构的域转移到标签恐慌域，这减轻了标签努力并吸引了相当大的关注。与以前的方法不同，重点是学习域中的特征表示，一些最近的方法存在通用半监督学习（SSL）技术，直接将它们应用于DA任务，甚至实现竞争性能。最受欢迎的SSL技术之一是伪标记，可通过标记数据训练的分类器为每个未标记数据分配伪标签。但是，它忽略了DA问题的分布偏移，并且不可避免地偏置为源数据。要解决此问题，我们提出了一个名为辅助目标域导向的分类器（ATDOC）的新伪标签框架。 ATDOC通过为目标数据引入辅助分类器来缓解分类器偏置，以提高伪标签的质量。具体地，我们使用内存机制并开发两种类型的非参数分类器，即最近的质心分类器和邻域聚合，而不引入任何其他网络参数。尽管在伪分类目标中具有简单性，但具有邻域聚集的ATDOC显着优于域对齐技术和现有的SSL技术，以及甚至瘢痕标记的SSL任务。

虽然在许多域内生成并提供了大量的未标记数据，但对视觉数据的自动理解的需求高于以往任何时候。大多数现有机器学习模型通常依赖于大量标记的训练数据来实现高性能。不幸的是，在现实世界的应用中，不能满足这种要求。标签的数量有限，手动注释数据昂贵且耗时。通常需要将知识从现有标记域传输到新域。但是，模型性能因域之间的差异（域移位或数据集偏差）而劣化。为了克服注释的负担，域适应（DA）旨在在将知识从一个域转移到另一个类似但不同的域中时减轻域移位问题。无监督的DA（UDA）处理标记的源域和未标记的目标域。 UDA的主要目标是减少标记的源数据和未标记的目标数据之间的域差异，并在培训期间在两个域中学习域不变的表示。在本文中，我们首先定义UDA问题。其次，我们从传统方法和基于深度学习的方法中概述了不同类别的UDA的最先进的方法。最后，我们收集常用的基准数据集和UDA最先进方法的报告结果对视觉识别问题。

Unsupervised domain adaptation (UDA) aims to leverage the knowledge learned from a labeled source dataset to solve similar tasks in a new unlabeled domain. Prior UDA methods typically require to access the source data when learning to adapt the model, making them risky and inefficient for decentralized private data. This work tackles a practical setting where only a trained source model is available and investigates how we can effectively utilize such a model without source data to solve UDA problems. We propose a simple yet generic representation learning framework, named Source HypOthesis Transfer (SHOT). SHOT freezes the classifier module (hypothesis) of the source model and learns the target-specific feature extraction module by exploiting both information maximization and selfsupervised pseudo-labeling to implicitly align representations from the target domains to the source hypothesis. To verify its versatility, we evaluate SHOT in a variety of adaptation cases including closed-set, partial-set, and open-set domain adaptation. Experiments indicate that SHOT yields state-of-the-art results among multiple domain adaptation benchmarks.

在图像分类中，获得足够的标签通常昂贵且耗时。为了解决这个问题，域适应通常提供有吸引力的选择，给出了来自类似性质但不同域的大量标记数据。现有方法主要对准单个结构提取的表示的分布，并且表示可以仅包含部分信息，例如，仅包含部分饱和度，亮度和色调信息。在这一行中，我们提出了多代表性适应，这可以大大提高跨域图像分类的分类精度，并且特别旨在对准由名为Inception Adaption Adationation模块（IAM）提取的多个表示的分布。基于此，我们呈现多色自适应网络（MRAN）来通过多表示对准完成跨域图像分类任务，该任向性可以捕获来自不同方面的信息。此外，我们扩展了最大的平均差异（MMD）来计算适应损耗。我们的方法可以通过扩展具有IAM的大多数前进模型来轻松实现，并且网络可以通过反向传播有效地培训。在三个基准图像数据集上进行的实验证明了备的有效性。代码已在https://github.com/easezyc/deep-transfer -learning上获得。

关于无监督的域适应性（UDA）的广泛研究已将有限的实验数据集深入学习到现实世界中无约束的领域。大多数UDA接近通用嵌入空间中的对齐功能，并将共享分类器应用于目标预测。但是，由于当域差异很大时可能不存在完全排列的特征空间，因此这些方法受到了两个局限性。首先，由于缺乏目标标签监督，强制域的比对会恶化目标域的可区分性。其次，源监督分类器不可避免地偏向源数据，因此它在目标域中的表现可能不佳。为了减轻这些问题，我们建议在两个集中在不同领域的空间中同时进行特征对齐，并为每个空间创建一个针对该域的面向域的分类器。具体而言，我们设计了一个面向域的变压器（DOT），该变压器（DOT）具有两个单独的分类令牌，以学习不同的面向域的表示形式和两个分类器，以保持域的可区分性。理论保证的基于对比度的对齐和源指导的伪标签细化策略被用来探索域名和特定信息。全面的实验验证了我们的方法在几个基准上实现了最先进的方法。

无监督域适配利用标记的源域中丰富的信息来模拟未标记的目标域。现有方法尝试对齐跨域分布。然而，两个域的对准的统计表示并不良好解决。在本文中，我们提出了深度最小二乘对准（DLSA）来估计通过参数化线性模型来估计潜在空间中的两个域的分布。我们通过最小化拟合线和截距差异之间的角度以及进一步学习域不变特征，进一步开发边缘和条件适应损失以减少域差异。广泛的实验表明，所提出的DLSA模型在对准域分布和优于最先进的方法方面有效。

作为对数据有效使用的研究，多源无监督的域适应性将知识从带有标记数据的多个源域转移到了未标记的目标域。但是，目标域中不同域和嘈杂的伪标签之间的分布差异都导致多源无监督域适应方法的性能瓶颈。鉴于此，我们提出了一种将注意力驱动的领域融合和耐噪声学习（ADNT）整合到上述两个问题的方法。首先，我们建立了相反的注意结构，以在特征和诱导域运动之间执行信息。通过这种方法，当域差异降低时，特征的可区分性也可以显着提高。其次，基于无监督的域适应训练的特征，我们设计了自适应的反向横向熵损失，该损失可以直接对伪标签的产生施加约束。最后，结合了这两种方法，几个基准的实验结果进一步验证了我们提出的ADNT的有效性，并证明了优于最新方法的性能。

无监督的域适应（UDA）旨在将知识从标记的源域传输到未标记的目标域。大多数现有的UDA方法通过学习域 - 不变的表示和在两个域中共享一个分类器来实现知识传输。但是，忽略与任务相关的域特定信息，并强制统一的分类器以适合两个域将限制每个域中的特征表达性。在本文中，通过观察到具有可比参数的变压器架构可以产生比CNN对应的更可转换的表示，我们提出了一个双赢的变压器框架（WINTR），它分别探讨了每个域的特定于域的知识，而同时交互式跨域知识。具体而言，我们使用变压器中的两个单独的分类令牌学习两个不同的映射，以及每个特定于域的分类器的设计。跨域知识通过源引导标签改进和与源或目标的单侧特征对齐传输，这保持了特定于域的信息的完整性。三个基准数据集的广泛实验表明，我们的方法优于最先进的UDA方法，验证利用域特定和不变性的有效性

无监督的域适应（UDA）旨在将标记的源分布与未标记的目标分布对齐，以获取域不变预测模型。然而，众所周知的UDA方法的应用在半监督域适应（SSDA）方案中不完全概括，其中来自目标域的少数标记的样本可用。在本文中，我们提出了一种用于半监督域适应（CLDA）的简单对比学习框架，该框架试图在SSDA中弥合标记和未标记的目标分布与源极和未标记的目标分布之间的域间差距之间的域间隙。我们建议采用类明智的对比学学习来降低原始（输入图像）和强大增强的未标记目标图像之间的域间间隙和实例级对比度对准，以最小化域内差异。我们已经凭经验表明，这两个模块相互补充，以实现卓越的性能。在三个众所周知的域适应基准数据集中的实验即Domainnet，Office-Home和Office31展示了我们方法的有效性。 CLDA在所有上述数据集上实现最先进的结果。

与标准闭合域的适应任务相反，部分域适应设置通过放松相同的标签集假设来迎合现实情况。但是，源标签集集成了目标标签集的事实，因此引入了一些额外的障碍，因为私人源类别样本的培训阻止了相关的知识转移并误导了分类过程。为了减轻这些问题，我们设计了一种机制，用于策略选择高度自信的目标样本，这对于估算班级的体重所必需的必不可少的机制。此外，我们通过将实现紧凑型和不同类别分布的过程与对抗性目标结合过程来捕获类歧视和域的不变特征。对众多跨域分类任务的实验发现证明了所提出的技术具有比现有方法具有卓越和可比精度的潜力。

域泛化（DG）利用多个标记的源数据集来训练未经化的目标域的概括模型。然而，由于昂贵的注释成本，在现实世界应用中难以满足标记所有源数据的要求。在本文中，我们调查单个标记的域泛化（SLDG）任务，只标有一个源域，这比传统的域泛化（CDG）更实用和具有挑战性。 SLDG任务中的主要障碍是可怜的概括偏置：标记源数据集中的鉴别信息可以包含特定于域的偏差，限制训练模型的泛化。为了解决这个具有挑战性的任务，我们提出了一种称为域特定偏置滤波（DSBF）的新方法，该方法用标记的源数据初始化识别模型，然后通过用于泛化改进的未标记的源数据来滤除其域特定的偏差。我们将过滤过程划分为（1）特征提取器扩展通过K-Means的基于聚类的语义特征重新提取和（2）分类器通过注意引导语义特征投影校准。 DSBF统一探索标签和未标记的源数据，以增强培训模型的可辨性和泛化，从而产生高度普遍的模型。我们进一步提供了理论分析，以验证所提出的域特定的偏置滤波过程。关于多个数据集的广泛实验显示了DSBF在解决具有挑战性的SLDG任务和CDG任务时的优越性。

关于无监督域适应性（UDA）的大多数现有研究都认为每个域的训练样本都带有域标签（例如绘画，照片）。假定每个域中的样品都遵循相同的分布，并利用域标签通过特征对齐来学习域不变特征。但是，这样的假设通常并不成立 - 通常存在许多较细粒的领域（例如，已经开发出了数十种现代绘画样式，每种绘画样式与经典风格的范围都有很大不同）。因此，在每个人工定义和粗粒结构域之间强迫特征分布对齐可能是无效的。在本文中，我们从完全不同的角度解决了单源和多源UDA，即将每个实例视为一个良好的域。因此，跨域的特征对齐是冗余。相反，我们建议执行动态实例域的适应性（DIDA）。具体而言，开发了具有自适应卷积内核的动态神经网络，以生成实例自适应残差，以使域 - 无知的深度特征适应每个单独的实例。这使得共享分类器可以同时应用于源域数据，而无需依赖任何域注释。此外，我们没有施加复杂的特征对准损失，而是仅使用标记的源和伪标记为目标数据的跨透镜损失采用简单的半监督学习范式。我们的模型被称为DIDA-NET，可以在几种常用的单源和多源UDA数据集上实现最先进的性能，包括数字，办公室房屋，域名，域名，Digit-Five和PAC。

域的适应性（DA）旨在将知识从标记的源域中学习的知识转移到未标记或标记较小但相关的目标域的知识。理想情况下，源和目标分布应彼此平等地对齐，以实现公正的知识转移。但是，由于源和目标域中注释数据的数量之间存在显着不平衡，通常只有目标分布与源域保持一致，从而使不必要的源特定知识适应目标域，即偏置域的适应性。为了解决此问题，在这项工作中，我们通过对基于对抗性的DA方法进行建模来对歧视器的不确定性进行建模，以优化无偏见转移。我们理论上分析了DA中提出的无偏可传递性学习方法的有效性。此外，为了减轻注释数据不平衡的影响，我们利用了目标域中未标记样品的伪标签选择的估计不确定性，这有助于实现更好的边际和条件分布在域之间的分布。对各种DA基准数据集的广泛实验结果表明，可以轻松地将所提出的方法纳入各种基于对抗性的DA方法中，从而实现最新的性能。

在这项工作中，我们试图通过设计简单和紧凑的条件领域的逆势培训方法来解决无监督的域适应。我们首先重新审视简单的级联调节策略，其中特征与输出预测连接为鉴别器的输入。我们发现倾斜策略遭受了弱势调节力量。我们进一步证明扩大连接预测的规范可以有效地激励条件域对齐。因此，我们通过将输出预测标准化具有相同的特征的输出预测来改善连接调节，并且派生方法作为归一化输出调节器〜（名词）。然而，对域对齐的原始输出预测的调理，名词遭受目标域的不准确预测。为此，我们建议将原型空间中的跨域特征对齐方式而不是输出空间。将新的原型基于原型的调节与名词相结合，我们将增强方法作为基于原型的归一化输出调节器〜（代词）。对象识别和语义分割的实验表明，名词可以有效地对准域跨域的多模态结构，甚至优于最先进的域侵犯训练方法。与基于原型的调节一起，代词进一步提高了UDA的多个对象识别基准上的名词的适应性能。

自我监督的学习（SSL）最近成为特征学习方法中的最爱。因此，它可以吸引域适应方法来考虑结合SSL。直觉是强制执行实例级别一致性，使得预测器在域中变得不变。但是，域适应制度中的大多数现有SSL方法通常被视为独立的辅助组件，使域自适应的签名无人看管。实际上，域间隙消失的最佳区域和SSL PERUSES的实例级别约束可能根本不一致。从这一点来看，我们向一个特定的范式的自我监督学习量身定制，用于域适应，即可转让的对比学习（TCL），这与SSL和所需的跨域转移性相一致地联系起来。我们发现对比学习本质上是一个合适的域适应候选者，因为它的实例不变性假设可以方便地促进由域适应任务青睐的跨域类级不变性。基于特定的记忆库结构和伪标签策略，TCL然后通过清洁和新的对比损失来惩罚源头和靶之间的跨域内域差异。免费午餐是由于纳入对比学习，TCL依赖于移动平均的关键编码器，自然地实现了用于目标数据的伪标签的暂停标签，这避免了无额外的成本。因此，TCL有效地减少了跨域间隙。通过对基准（Office-Home，Visda-2017，Diamet-Five，PACS和Domainnet）进行广泛的实验，用于单源和多源域适配任务，TCL已经证明了最先进的性能。