Domain adaptation methods reduce domain shift typically by learning domain-invariant features. Most existing methods are built on distribution matching, e.g., adversarial domain adaptation, which tends to corrupt feature discriminability. In this paper, we propose Discriminative Radial Domain Adaptation (DRDR) which bridges source and target domains via a shared radial structure. It's motivated by the observation that as the model is trained to be progressively discriminative, features of different categories expand outwards in different directions, forming a radial structure. We show that transferring such an inherently discriminative structure would enable to enhance feature transferability and discriminability simultaneously. Specifically, we represent each domain with a global anchor and each category a local anchor to form a radial structure and reduce domain shift via structure matching. It consists of two parts, namely isometric transformation to align the structure globally and local refinement to match each category. To enhance the discriminability of the structure, we further encourage samples to cluster close to the corresponding local anchors based on optimal-transport assignment. Extensively experimenting on multiple benchmarks, our method is shown to consistently outperforms state-of-the-art approaches on varied tasks, including the typical unsupervised domain adaptation, multi-source domain adaptation, domain-agnostic learning, and domain generalization.

虽然在许多域内生成并提供了大量的未标记数据，但对视觉数据的自动理解的需求高于以往任何时候。大多数现有机器学习模型通常依赖于大量标记的训练数据来实现高性能。不幸的是，在现实世界的应用中，不能满足这种要求。标签的数量有限，手动注释数据昂贵且耗时。通常需要将知识从现有标记域传输到新域。但是，模型性能因域之间的差异（域移位或数据集偏差）而劣化。为了克服注释的负担，域适应（DA）旨在在将知识从一个域转移到另一个类似但不同的域中时减轻域移位问题。无监督的DA（UDA）处理标记的源域和未标记的目标域。 UDA的主要目标是减少标记的源数据和未标记的目标数据之间的域差异，并在培训期间在两个域中学习域不变的表示。在本文中，我们首先定义UDA问题。其次，我们从传统方法和基于深度学习的方法中概述了不同类别的UDA的最先进的方法。最后，我们收集常用的基准数据集和UDA最先进方法的报告结果对视觉识别问题。

Unsupervised domain adaptation (UDA) aims to transfer knowledge from a well-labeled source domain to a different but related unlabeled target domain with identical label space. Currently, the main workhorse for solving UDA is domain alignment, which has proven successful. However, it is often difficult to find an appropriate source domain with identical label space. A more practical scenario is so-called partial domain adaptation (PDA) in which the source label set or space subsumes the target one. Unfortunately, in PDA, due to the existence of the irrelevant categories in the source domain, it is quite hard to obtain a perfect alignment, thus resulting in mode collapse and negative transfer. Although several efforts have been made by down-weighting the irrelevant source categories, the strategies used tend to be burdensome and risky since exactly which irrelevant categories are unknown. These challenges motivate us to find a relatively simpler alternative to solve PDA. To achieve this, we first provide a thorough theoretical analysis, which illustrates that the target risk is bounded by both model smoothness and between-domain discrepancy. Considering the difficulty of perfect alignment in solving PDA, we turn to focus on the model smoothness while discard the riskier domain alignment to enhance the adaptability of the model. Specifically, we instantiate the model smoothness as a quite simple intra-domain structure preserving (IDSP). To our best knowledge, this is the first naive attempt to address the PDA without domain alignment. Finally, our empirical results on multiple benchmark datasets demonstrate that IDSP is not only superior to the PDA SOTAs by a significant margin on some benchmarks (e.g., +10% on Cl->Rw and +8% on Ar->Rw ), but also complementary to domain alignment in the standard UDA

无监督域适应（UDA）旨在将知识从相关但不同的良好标记的源域转移到新的未标记的目标域。大多数现有的UDA方法需要访问源数据，因此当数据保密而不相配在隐私问题时，不适用。本文旨在仅使用培训的分类模型来解决现实设置，而不是访问源数据。为了有效地利用适应源模型，我们提出了一种新颖的方法，称为源假设转移（拍摄），其通过将目标数据特征拟合到冻结源分类模块（表示分类假设）来学习目标域的特征提取模块。具体而言，拍摄挖掘出于特征提取模块的信息最大化和自我监督学习，以确保目标特征通过同一假设与看不见的源数据的特征隐式对齐。此外，我们提出了一种新的标签转移策略，它基于预测的置信度（标签信息），然后采用半监督学习来将目标数据分成两个分裂，然后提高目标域中的较为自信预测的准确性。如果通过拍摄获得预测，我们表示标记转移为拍摄++。关于两位数分类和对象识别任务的广泛实验表明，拍摄和射击++实现了与最先进的结果超越或相当的结果，展示了我们对各种视域适应问题的方法的有效性。代码可用于\ url {https：//github.com/tim-learn/shot-plus}。

半监督域适应（SSDA）是一种具有挑战性的问题，需要克服1）以朝向域的较差的数据和2）分布换档的方法。不幸的是，由于培训数据偏差朝标标样本训练，域适应（DA）和半监督学习（SSL）方法的简单组合通常无法解决这两个目的。在本文中，我们介绍了一种自适应结构学习方法，以规范SSL和DA的合作。灵感来自多视图学习，我们建议的框架由共享特征编码器网络和两个分类器网络组成，用于涉及矛盾的目的。其中，其中一个分类器被应用于组目标特征以提高级别的密度，扩大了鲁棒代表学习的分类集群的间隙。同时，其他分类器作为符号器，试图散射源功能以增强决策边界的平滑度。目标聚类和源扩展的迭代使目标特征成为相应源点的扩张边界内的封闭良好。对于跨域特征对齐和部分标记的数据学习的联合地址，我们应用最大平均差异（MMD）距离最小化和自培训（ST）将矛盾结构投影成共享视图以进行可靠的最终决定。对标准SSDA基准的实验结果包括Domainnet和Office-Home，展示了我们对最先进的方法的方法的准确性和稳健性。

无监督的域适应性（UDA）引起了相当大的关注，这将知识从富含标签的源域转移到相关但未标记的目标域。减少域间差异一直是提高UDA性能的关键因素，尤其是对于源域和目标域之间存在较大差距的任务。为此，我们提出了一种新颖的风格感知功能融合方法（SAFF），以弥合大域间隙和转移知识，同时减轻阶级歧视性信息的丧失。受到人类传递推理和学习能力的启发，研究了一种新颖的风格感知的自我互化领域（SSID），通过一系列中级辅助综合概念将两个看似无关的概念联系起来。具体而言，我们提出了一种新颖的SSID学习策略，该策略从源和目标域中选择样本作为锚点，然后随机融合这些锚的对象和样式特征，以生成具有标记和样式丰富的中级辅助功能以进行知识转移。此外，我们设计了一个外部存储库来存储和更新指定的标记功能，以获得稳定的类功能和班级样式功能。基于提议的内存库，内部和域间损耗功能旨在提高类识别能力和特征兼容性。同时，我们通过无限抽样模拟SSID的丰富潜在特征空间，并通过数学理论模拟损失函数的收敛性。最后，我们对常用的域自适应基准测试进行了全面的实验，以评估所提出的SAFF，并且实验结果表明，所提出的SAFF可以轻松地与不同的骨干网络结合在一起，并获得更好的性能作为插入插型模块。

作为对数据有效使用的研究，多源无监督的域适应性将知识从带有标记数据的多个源域转移到了未标记的目标域。但是，目标域中不同域和嘈杂的伪标签之间的分布差异都导致多源无监督域适应方法的性能瓶颈。鉴于此，我们提出了一种将注意力驱动的领域融合和耐噪声学习（ADNT）整合到上述两个问题的方法。首先，我们建立了相反的注意结构，以在特征和诱导域运动之间执行信息。通过这种方法，当域差异降低时，特征的可区分性也可以显着提高。其次，基于无监督的域适应训练的特征，我们设计了自适应的反向横向熵损失，该损失可以直接对伪标签的产生施加约束。最后，结合了这两种方法，几个基准的实验结果进一步验证了我们提出的ADNT的有效性，并证明了优于最新方法的性能。

通过从完全标记的源域中利用数据，无监督域适应（UDA）通过显式差异最小化数据分布或对抗学习来提高未标记的目标域上的分类性能。作为增强，通过利用模型预测来加强目标特征识别期间涉及类别对齐。但是，在目标域上的错误类别预测中产生的伪标签不准确以及由源域的过度录制引起的分发偏差存在未探明的问题。在本文中，我们提出了一种模型 - 不可知的两阶段学习框架，这大大减少了使用软伪标签策略的缺陷模型预测，并避免了课程学习策略的源域上的过度拟合。从理论上讲，它成功降低了目标域上预期误差的上限的综合风险。在第一阶段，我们用分布对齐的UDA方法训练一个模型，以获得具有相当高的置位目标域上的软语义标签。为了避免在源域上的过度拟合，在第二阶段，我们提出了一种课程学习策略，以自适应地控制来自两个域的损失之间的加权，以便训练阶段的焦点从源分布逐渐移位到目标分布，以预测信心提升了目标分布在目标领域。对两个知名基准数据集的广泛实验验证了我们提出框架促进促进顶级UDA算法的性能的普遍效果，并展示其一致的卓越性能。

在计算机视觉中，面对域转移是很常见的：具有相同类但采集条件不同的图像。在域适应性（DA）中，人们希望使用源标记的图像对未标记的目标图像进行分类。不幸的是，在源训练集中训练的深度神经网络在不属于训练领域的目标图像上表现不佳。改善这些性能的一种策略是使用最佳传输（OT）在嵌入式空间中对齐源和目标图像分布。但是，OT会导致负转移，即与不同标签的样品对齐，这导致过度拟合，尤其是在域之间存在标签移动的情况下。在这项工作中，我们通过将其解释为针对目标图像的嘈杂标签分配来减轻负相位。然后，我们通过适当的正则化来减轻其效果。我们建议将混合正则化\ citep {zhang2018mixup}与噪音标签强大的损失，以提高域的适应性性能。我们在一项广泛的消融研究中表明，这两种技术的结合对于提高性能至关重要。最后，我们在几个基准和现实世界DA问题上评估了称为\ textsc {mixunbot}的方法。

Domain adaptation enables the learner to safely generalize into novel environments by mitigating domain shifts across distributions. Previous works may not effectively uncover the underlying reasons that would lead to the drastic model degradation on the target task. In this paper, we empirically reveal that the erratic discrimination of the target domain mainly stems from its much smaller feature norms with respect to that of the source domain. To this end, we propose a novel parameter-free Adaptive Feature Norm approach. We demonstrate that progressively adapting the feature norms of the two domains to a large range of values can result in significant transfer gains, implying that those task-specific features with larger norms are more transferable. Our method successfully unifies the computation of both standard and partial domain adaptation with more robustness against the negative transfer issue. Without bells and whistles but a few lines of code, our method substantially lifts the performance on the target task and exceeds state-of-the-arts by a large margin (11.5% on Office-Home [45] and 17.1% on VisDA2017 [31]). We hope our simple yet effective approach will shed some light on the future research of transfer learning. Code is available at https://github.com/jihanyang/AFN .

Unsupervised Domain Adaptation (UDA) makes predictions for the target domain data while manual annotations are only available in the source domain. Previous methods minimize the domain discrepancy neglecting the class information, which may lead to misalignment and poor generalization performance. To address this issue, this paper proposes Contrastive Adaptation Network (CAN) optimizing a new metric which explicitly models the intra-class domain discrepancy and the inter-class domain discrepancy. We design an alternating update strategy for training CAN in an end-to-end manner. Experiments on two real-world benchmarks Office-31 and VisDA-2017 demonstrate that CAN performs favorably against the state-of-the-art methods and produces more discriminative features.

自我监督的学习（SSL）最近成为特征学习方法中的最爱。因此，它可以吸引域适应方法来考虑结合SSL。直觉是强制执行实例级别一致性，使得预测器在域中变得不变。但是，域适应制度中的大多数现有SSL方法通常被视为独立的辅助组件，使域自适应的签名无人看管。实际上，域间隙消失的最佳区域和SSL PERUSES的实例级别约束可能根本不一致。从这一点来看，我们向一个特定的范式的自我监督学习量身定制，用于域适应，即可转让的对比学习（TCL），这与SSL和所需的跨域转移性相一致地联系起来。我们发现对比学习本质上是一个合适的域适应候选者，因为它的实例不变性假设可以方便地促进由域适应任务青睐的跨域类级不变性。基于特定的记忆库结构和伪标签策略，TCL然后通过清洁和新的对比损失来惩罚源头和靶之间的跨域内域差异。免费午餐是由于纳入对比学习，TCL依赖于移动平均的关键编码器，自然地实现了用于目标数据的伪标签的暂停标签，这避免了无额外的成本。因此，TCL有效地减少了跨域间隙。通过对基准（Office-Home，Visda-2017，Diamet-Five，PACS和Domainnet）进行广泛的实验，用于单源和多源域适配任务，TCL已经证明了最先进的性能。

在这项工作中，我们试图通过设计简单和紧凑的条件领域的逆势培训方法来解决无监督的域适应。我们首先重新审视简单的级联调节策略，其中特征与输出预测连接为鉴别器的输入。我们发现倾斜策略遭受了弱势调节力量。我们进一步证明扩大连接预测的规范可以有效地激励条件域对齐。因此，我们通过将输出预测标准化具有相同的特征的输出预测来改善连接调节，并且派生方法作为归一化输出调节器〜（名词）。然而，对域对齐的原始输出预测的调理，名词遭受目标域的不准确预测。为此，我们建议将原型空间中的跨域特征对齐方式而不是输出空间。将新的原型基于原型的调节与名词相结合，我们将增强方法作为基于原型的归一化输出调节器〜（代词）。对象识别和语义分割的实验表明，名词可以有效地对准域跨域的多模态结构，甚至优于最先进的域侵犯训练方法。与基于原型的调节一起，代词进一步提高了UDA的多个对象识别基准上的名词的适应性能。

在图像分类中，获得足够的标签通常昂贵且耗时。为了解决这个问题，域适应通常提供有吸引力的选择，给出了来自类似性质但不同域的大量标记数据。现有方法主要对准单个结构提取的表示的分布，并且表示可以仅包含部分信息，例如，仅包含部分饱和度，亮度和色调信息。在这一行中，我们提出了多代表性适应，这可以大大提高跨域图像分类的分类精度，并且特别旨在对准由名为Inception Adaption Adationation模块（IAM）提取的多个表示的分布。基于此，我们呈现多色自适应网络（MRAN）来通过多表示对准完成跨域图像分类任务，该任向性可以捕获来自不同方面的信息。此外，我们扩展了最大的平均差异（MMD）来计算适应损耗。我们的方法可以通过扩展具有IAM的大多数前进模型来轻松实现，并且网络可以通过反向传播有效地培训。在三个基准图像数据集上进行的实验证明了备的有效性。代码已在https://github.com/easezyc/deep-transfer -learning上获得。

开放型域适应（OSDA）假设目标域包含未知类，这些类未在源域中发现。现有的域对抗学习方法不适合OSDA，因为与\ textit {Unknown}类匹配的分布会导致负转移。以前的OSDA方法仅通过使用\ textit {已知}类而着重于匹配源和目标分布。但是，此\ textit {已知} - 仅匹配可能无法学习目标 - \ textit {unknown}特征空间。因此，我们提出了不知名的域对抗学习（uadal），\ textit {aligns} source and targe- \ textit {已知{已知{已知{已知{已知{功能对齐过程。我们提供了有关提出的\ textIt {unknown-ware}特征对齐的优化状态的理论分析，因此我们可以保证\ textit {Alignment}和\ textit {segregation}理论上。从经验上讲，我们在基准数据集上评估了Uadal，该数据集表明Uadal通过报告最先进的性能来优于其他具有更好特征对齐方式的方法。

无监督域适应（UDA）旨在将知识从标记的源域传输到未标记的目标域。传统上，基于子空间的方法为此问题形成了一类重要的解决方案。尽管他们的数学优雅和易腐烂性，但这些方法通常被发现在产生具有复杂的现实世界数据集的领域不变的功能时无效。由于近期具有深度网络的代表学习的最新进展，本文重新访问了UDA的子空间对齐，提出了一种新的适应算法，始终如一地导致改进的泛化。与现有的基于对抗培训的DA方法相比，我们的方法隔离了特征学习和分配对准步骤，并利用主要辅助优化策略来有效地平衡域不契约的目标和模型保真度。在提供目标数据和计算要求的显着降低的同时，基于子空间的DA竞争性，有时甚至优于几种标准UDA基准测试的最先进的方法。此外，子空间对准导致本质上定期的模型，即使在具有挑战性的部分DA设置中，也表现出强大的泛化。最后，我们的UDA框架的设计本身支持对测试时间的新目标域的逐步适应，而无需从头开始重新检测模型。总之，由强大的特征学习者和有效的优化策略提供支持，我们将基于子空间的DA建立为可视识别的高效方法。

对抗性学习策略在处理单源域适应（DA）问题时表现出显着的性能，并且最近已应用于多源DA（MDA）问题。虽然大多数现有的MDA策略依赖于多个域歧视员设置，但其对潜伏空间表示的影响已经不知识。在这里，我们采用了一种信息 - 理论方法来识别和解决MDA上多个域鉴别器的潜在不利影响：域歧视信息的解体，有限的计算可扩展性以及培训期间损失梯度的大方差。我们在信息正规化的背景下通过情况进行对抗性DA来检查上述问题。这还提供了使用单一和统一域鉴别器的理论正当理由。基于这个想法，我们实施了一种名为多源信息正规化适应网络（MIAN）的新型神经结构。大规模实验表明，尽管其结构简洁，可靠，可显着优于其他最先进的方法。

Domain adaptation aims at generalizing a high-performance learner on a target domain via utilizing the knowledge distilled from a source domain which has a different but related data distribution. One solution to domain adaptation is to learn domain invariant feature representations while the learned representations should also be discriminative in prediction. To learn such representations, domain adaptation frameworks usually include a domain invariant representation learning approach to measure and reduce the domain discrepancy, as well as a discriminator for classification. Inspired by Wasserstein GAN, in this paper we propose a novel approach to learn domain invariant feature representations, namely Wasserstein Distance Guided Representation Learning (WD-GRL). WDGRL utilizes a neural network, denoted by the domain critic, to estimate empirical Wasserstein distance between the source and target samples and optimizes the feature extractor network to minimize the estimated Wasserstein distance in an adversarial manner. The theoretical advantages of Wasserstein distance for domain adaptation lie in its gradient property and promising generalization bound. Empirical studies on common sentiment and image classification adaptation datasets demonstrate that our proposed WDGRL outperforms the state-of-the-art domain invariant representation learning approaches.

与标准闭合域的适应任务相反，部分域适应设置通过放松相同的标签集假设来迎合现实情况。但是，源标签集集成了目标标签集的事实，因此引入了一些额外的障碍，因为私人源类别样本的培训阻止了相关的知识转移并误导了分类过程。为了减轻这些问题，我们设计了一种机制，用于策略选择高度自信的目标样本，这对于估算班级的体重所必需的必不可少的机制。此外，我们通过将实现紧凑型和不同类别分布的过程与对抗性目标结合过程来捕获类歧视和域的不变特征。对众多跨域分类任务的实验发现证明了所提出的技术具有比现有方法具有卓越和可比精度的潜力。

无监督域适配利用标记的源域中丰富的信息来模拟未标记的目标域。现有方法尝试对齐跨域分布。然而，两个域的对准的统计表示并不良好解决。在本文中，我们提出了深度最小二乘对准（DLSA）来估计通过参数化线性模型来估计潜在空间中的两个域的分布。我们通过最小化拟合线和截距差异之间的角度以及进一步学习域不变特征，进一步开发边缘和条件适应损失以减少域差异。广泛的实验表明，所提出的DLSA模型在对准域分布和优于最先进的方法方面有效。