传统的域适应性（DA）技术旨在通过学习领域不变表示来改善域的可传递性；同时保留从标记的源数据中收集的任务歧义性知识。但是，同时访问标签源和未标记的目标的要求使其不适合无源的无源DA设置。实现有效原件到通用域映射的微不足道的解决方案可改善可转移性，但会降低任务可区分性。从理论和经验的角度分析障碍后，我们得出了新颖的见解，以表明原始和相应的翻译通用样品之间的混合会增强可区分性可转移性权衡，同时适当尊重以隐私为导向的无源源环境。在现有的无源DA方法之上，简单但有效地实现了所提出的见解，可产生最先进的性能，并更快地收敛。除了单源外，我们还胜过分类和语义分割基准的多源先验艺术。

无监督的域适应性（DA）中的主要挑战是减轻源域和目标域之间的域移动。先前的DA工作表明，可以使用借口任务来通过学习域不变表示来减轻此域的转移。但是，实际上，我们发现大多数现有的借口任务对其他已建立的技术无效。因此，我们从理论上分析了如何以及何时可以利用子公司借口任务来协助给定DA问题的目标任务并制定客观的子公司任务适用性标准。基于此标准，我们设计了一个新颖的贴纸干预过程和铸造贴纸分类的过程，作为监督的子公司DA问题，该问题与目标任务无监督的DA同时发生。我们的方法不仅改善了目标任务适应性能，而且还促进了面向隐私的无源DA，即没有并发源目标访问。标准Office-31，Office-Home，Domainnet和Visda基准的实验证明了我们对单源和多源无源DA的优势。我们的方法还补充了现有的无源作品，从而实现了领先的绩效。

域的适应性旨在使标记的源域和未标记的目标域对齐，并且大多数现有方法都认为源数据是可访问的。不幸的是，这种范式引起了数据隐私和安全性的关注。最近的研究试图通过无源设置来消除这些问题，该设置将源训练的模型适应目标域而不暴露源数据。但是，由于对源模型的对抗性攻击，无源范式仍然有数据泄漏的风险。因此，提出了黑框设置，其中只能利用源模型的输出。在本文中，我们同时介绍了无源的适应和黑盒适应性，提出了一种新的方法，即来自频率混合和相互学习（FMML）的“更好的目标表示”。具体而言，我们引入了一种新的数据增强技术作为频率混音，该技术突出了插值中与任务相关的对象，从而增强了目标模型的类符合性和线性行为。此外，我们引入了一种称为相互学习的网络正则化方法，以介绍域的适应问题。它通过自我知识蒸馏传输目标模型内部的知识，从而通过学习多尺度目标表示来减轻对源域的过度拟合。广泛的实验表明，我们的方法在两种设置下都可以在几个基准数据集上实现最新性能。

域对抗训练无处不在地实现不变表示，并广泛用于各种域适应任务。近来，融合到平滑最佳的方法已显示出对分类等监督学习任务的改进的概括。在这项工作中，我们分析了增强配方对域对抗训练的影响，其目的是任务损失（例如分类，回归等）和对抗性术语的组合。我们发现，相对于（W.R.T.）任务损失融合了平滑的最小值，可以稳定对抗性训练，从而在目标域上获得更好的性能。与任务损失相反，我们的分析表明，融合到平滑的最小W.R.T.对抗损失导致目标结构域的次级概括。基于分析，我们介绍了平滑的域对抗训练（SDAT）程序，该程序有效地增强了现有域对抗方法的性能，以进行分类和对象检测任务。我们的分析还提供了对社区中亚当（Adam）对域名对抗训练的广泛使用的洞察力。

域泛化（DG）利用多个标记的源数据集来训练未经化的目标域的概括模型。然而，由于昂贵的注释成本，在现实世界应用中难以满足标记所有源数据的要求。在本文中，我们调查单个标记的域泛化（SLDG）任务，只标有一个源域，这比传统的域泛化（CDG）更实用和具有挑战性。 SLDG任务中的主要障碍是可怜的概括偏置：标记源数据集中的鉴别信息可以包含特定于域的偏差，限制训练模型的泛化。为了解决这个具有挑战性的任务，我们提出了一种称为域特定偏置滤波（DSBF）的新方法，该方法用标记的源数据初始化识别模型，然后通过用于泛化改进的未标记的源数据来滤除其域特定的偏差。我们将过滤过程划分为（1）特征提取器扩展通过K-Means的基于聚类的语义特征重新提取和（2）分类器通过注意引导语义特征投影校准。 DSBF统一探索标签和未标记的源数据，以增强培训模型的可辨性和泛化，从而产生高度普遍的模型。我们进一步提供了理论分析，以验证所提出的域特定的偏置滤波过程。关于多个数据集的广泛实验显示了DSBF在解决具有挑战性的SLDG任务和CDG任务时的优越性。

Unsupervised domain adaptation (UDA) aims to transfer knowledge from a well-labeled source domain to a different but related unlabeled target domain with identical label space. Currently, the main workhorse for solving UDA is domain alignment, which has proven successful. However, it is often difficult to find an appropriate source domain with identical label space. A more practical scenario is so-called partial domain adaptation (PDA) in which the source label set or space subsumes the target one. Unfortunately, in PDA, due to the existence of the irrelevant categories in the source domain, it is quite hard to obtain a perfect alignment, thus resulting in mode collapse and negative transfer. Although several efforts have been made by down-weighting the irrelevant source categories, the strategies used tend to be burdensome and risky since exactly which irrelevant categories are unknown. These challenges motivate us to find a relatively simpler alternative to solve PDA. To achieve this, we first provide a thorough theoretical analysis, which illustrates that the target risk is bounded by both model smoothness and between-domain discrepancy. Considering the difficulty of perfect alignment in solving PDA, we turn to focus on the model smoothness while discard the riskier domain alignment to enhance the adaptability of the model. Specifically, we instantiate the model smoothness as a quite simple intra-domain structure preserving (IDSP). To our best knowledge, this is the first naive attempt to address the PDA without domain alignment. Finally, our empirical results on multiple benchmark datasets demonstrate that IDSP is not only superior to the PDA SOTAs by a significant margin on some benchmarks (e.g., +10% on Cl->Rw and +8% on Ar->Rw ), but also complementary to domain alignment in the standard UDA

Unsupervised domain adaptation (UDA) aims to leverage the knowledge learned from a labeled source dataset to solve similar tasks in a new unlabeled domain. Prior UDA methods typically require to access the source data when learning to adapt the model, making them risky and inefficient for decentralized private data. This work tackles a practical setting where only a trained source model is available and investigates how we can effectively utilize such a model without source data to solve UDA problems. We propose a simple yet generic representation learning framework, named Source HypOthesis Transfer (SHOT). SHOT freezes the classifier module (hypothesis) of the source model and learns the target-specific feature extraction module by exploiting both information maximization and selfsupervised pseudo-labeling to implicitly align representations from the target domains to the source hypothesis. To verify its versatility, we evaluate SHOT in a variety of adaptation cases including closed-set, partial-set, and open-set domain adaptation. Experiments indicate that SHOT yields state-of-the-art results among multiple domain adaptation benchmarks.

This work introduces the novel task of Source-free Multi-target Domain Adaptation and proposes adaptation framework comprising of \textbf{Co}nsistency with \textbf{N}uclear-Norm Maximization and \textbf{Mix}Up knowledge distillation (\textit{CoNMix}) as a solution to this problem. The main motive of this work is to solve for Single and Multi target Domain Adaptation (SMTDA) for the source-free paradigm, which enforces a constraint where the labeled source data is not available during target adaptation due to various privacy-related restrictions on data sharing. The source-free approach leverages target pseudo labels, which can be noisy, to improve the target adaptation. We introduce consistency between label preserving augmentations and utilize pseudo label refinement methods to reduce noisy pseudo labels. Further, we propose novel MixUp Knowledge Distillation (MKD) for better generalization on multiple target domains using various source-free STDA models. We also show that the Vision Transformer (VT) backbone gives better feature representation with improved domain transferability and class discriminability. Our proposed framework achieves the state-of-the-art (SOTA) results in various paradigms of source-free STDA and MTDA settings on popular domain adaptation datasets like Office-Home, Office-Caltech, and DomainNet. Project Page: https://sites.google.com/view/conmix-vcl

最近，无监督的域适应是一种有效的范例，用于概括深度神经网络到新的目标域。但是，仍有巨大的潜力才能达到完全监督的性能。在本文中，我们提出了一种新颖的主动学习策略，以帮助目标域中的知识转移，有效域适应。我们从观察开始，即当训练（源）和测试（目标）数据来自不同的分布时，基于能量的模型表现出自由能量偏差。灵感来自这种固有的机制，我们经验揭示了一种简单而有效的能源 - 基于能量的采样策略揭示了比需要特定架构或距离计算的现有方法的最有价值的目标样本。我们的算法，基于能量的活动域适应（EADA），查询逻辑数据组，它将域特征和实例不确定性结合到每个选择回合中。同时，通过通过正则化术语对准源域周围的目标数据紧凑的自由能，可以隐含地减少域间隙。通过广泛的实验，我们表明EADA在众所周知的具有挑战性的基准上超越了最先进的方法，具有实质性的改进，使其成为开放世界中的一个有用的选择。代码可在https://github.com/bit-da/eada获得。

域的适应性（DA）旨在将知识从标记的源域中学习的知识转移到未标记或标记较小但相关的目标域的知识。理想情况下，源和目标分布应彼此平等地对齐，以实现公正的知识转移。但是，由于源和目标域中注释数据的数量之间存在显着不平衡，通常只有目标分布与源域保持一致，从而使不必要的源特定知识适应目标域，即偏置域的适应性。为了解决此问题，在这项工作中，我们通过对基于对抗性的DA方法进行建模来对歧视器的不确定性进行建模，以优化无偏见转移。我们理论上分析了DA中提出的无偏可传递性学习方法的有效性。此外，为了减轻注释数据不平衡的影响，我们利用了目标域中未标记样品的伪标签选择的估计不确定性，这有助于实现更好的边际和条件分布在域之间的分布。对各种DA基准数据集的广泛实验结果表明，可以轻松地将所提出的方法纳入各种基于对抗性的DA方法中，从而实现最新的性能。

虽然在许多域内生成并提供了大量的未标记数据，但对视觉数据的自动理解的需求高于以往任何时候。大多数现有机器学习模型通常依赖于大量标记的训练数据来实现高性能。不幸的是，在现实世界的应用中，不能满足这种要求。标签的数量有限，手动注释数据昂贵且耗时。通常需要将知识从现有标记域传输到新域。但是，模型性能因域之间的差异（域移位或数据集偏差）而劣化。为了克服注释的负担，域适应（DA）旨在在将知识从一个域转移到另一个类似但不同的域中时减轻域移位问题。无监督的DA（UDA）处理标记的源域和未标记的目标域。 UDA的主要目标是减少标记的源数据和未标记的目标数据之间的域差异，并在培训期间在两个域中学习域不变的表示。在本文中，我们首先定义UDA问题。其次，我们从传统方法和基于深度学习的方法中概述了不同类别的UDA的最先进的方法。最后，我们收集常用的基准数据集和UDA最先进方法的报告结果对视觉识别问题。

无监督域适应（UDA）旨在将知识从相关但不同的良好标记的源域转移到新的未标记的目标域。大多数现有的UDA方法需要访问源数据，因此当数据保密而不相配在隐私问题时，不适用。本文旨在仅使用培训的分类模型来解决现实设置，而不是访问源数据。为了有效地利用适应源模型，我们提出了一种新颖的方法，称为源假设转移（拍摄），其通过将目标数据特征拟合到冻结源分类模块（表示分类假设）来学习目标域的特征提取模块。具体而言，拍摄挖掘出于特征提取模块的信息最大化和自我监督学习，以确保目标特征通过同一假设与看不见的源数据的特征隐式对齐。此外，我们提出了一种新的标签转移策略，它基于预测的置信度（标签信息），然后采用半监督学习来将目标数据分成两个分裂，然后提高目标域中的较为自信预测的准确性。如果通过拍摄获得预测，我们表示标记转移为拍摄++。关于两位数分类和对象识别任务的广泛实验表明，拍摄和射击++实现了与最先进的结果超越或相当的结果，展示了我们对各种视域适应问题的方法的有效性。代码可用于\ url {https：//github.com/tim-learn/shot-plus}。

机器学习系统通常假设训练和测试分布是相同的。为此，关键要求是开发可以概括到未经看不见的分布的模型。领域泛化（DG），即分销概括，近年来引起了越来越令人利益。域概括处理了一个具有挑战性的设置，其中给出了一个或几个不同但相关域，并且目标是学习可以概括到看不见的测试域的模型。多年来，域概括地区已经取得了巨大进展。本文提出了对该地区最近进步的首次审查。首先，我们提供了域泛化的正式定义，并讨论了几个相关领域。然后，我们彻底审查了与域泛化相关的理论，并仔细分析了泛化背后的理论。我们将最近的算法分为三个类：数据操作，表示学习和学习策略，并为每个类别详细介绍几种流行的算法。第三，我们介绍常用的数据集，应用程序和我们的开放源代码库进行公平评估。最后，我们总结了现有文学，并为未来提供了一些潜在的研究主题。

当源（训练）数据和目标（测试）数据之间存在域移动时，深网很容易降级。最近的测试时间适应方法更新了通过流数据部署在新目标环境中的预训练源模型的批归归式层，以减轻这种性能降低。尽管此类方法可以在不首先收集大型目标域数据集的情况下进行调整，但它们的性能取决于流媒体条件，例如迷你批量的大小和类别分布，在实践中可能无法预测。在这项工作中，我们提出了一个框架，以适应几个域的适应性，以应对数据有效适应的实际挑战。具体而言，我们提出了在预训练的源模型中对特征归一化统计量的约束优化，该模型由目标域的小支持集监督。我们的方法易于实现，并改善每类用于分类任务的示例较小的源模型性能。对5个跨域分类和4个语义分割数据集进行了广泛的实验表明，我们的方法比测试时间适应更准确，更可靠，同时不受流媒体条件的约束。

Domain adaptation enables the learner to safely generalize into novel environments by mitigating domain shifts across distributions. Previous works may not effectively uncover the underlying reasons that would lead to the drastic model degradation on the target task. In this paper, we empirically reveal that the erratic discrimination of the target domain mainly stems from its much smaller feature norms with respect to that of the source domain. To this end, we propose a novel parameter-free Adaptive Feature Norm approach. We demonstrate that progressively adapting the feature norms of the two domains to a large range of values can result in significant transfer gains, implying that those task-specific features with larger norms are more transferable. Our method successfully unifies the computation of both standard and partial domain adaptation with more robustness against the negative transfer issue. Without bells and whistles but a few lines of code, our method substantially lifts the performance on the target task and exceeds state-of-the-arts by a large margin (11.5% on Office-Home [45] and 17.1% on VisDA2017 [31]). We hope our simple yet effective approach will shed some light on the future research of transfer learning. Code is available at https://github.com/jihanyang/AFN .

无监督域适应的最新进步已经表明，通过提取域不变表示来缓解域分流可以显着改善模型的概括到未标记的数据域。然而，现有方法未能有效保留私有的标签缺失域的表示，这可能会对概括产生不利影响。在本文中，我们提出了一种保留这种表示的方法，使得未标记域的潜在分布可以代表域不变的功能和私有到未标记域的各个特征。特别地，我们证明，在减轻域分歧的同时最大化未标记的域和其潜空间之间的相互信息可以实现这种保存。我们也理论上和经验验证的验证验证，保留私有到未标记的域的表示是重要的，并且是跨域泛化的必要性。我们的方法优于几个公共数据集上的最先进的方法。

Deep learning has produced state-of-the-art results for a variety of tasks. While such approaches for supervised learning have performed well, they assume that training and testing data are drawn from the same distribution, which may not always be the case. As a complement to this challenge, single-source unsupervised domain adaptation can handle situations where a network is trained on labeled data from a source domain and unlabeled data from a related but different target domain with the goal of performing well at test-time on the target domain. Many single-source and typically homogeneous unsupervised deep domain adaptation approaches have thus been developed, combining the powerful, hierarchical representations from deep learning with domain adaptation to reduce reliance on potentially-costly target data labels. This survey will compare these approaches by examining alternative methods, the unique and common elements, results, and theoretical insights. We follow this with a look at application areas and open research directions.

无源的无监督域适应性（SFUDA）旨在使用预训练的源模型而不是源数据来获得未标记的目标域中的高性能。现有的SFUDA方法为所有目标样本分配了相同的重要性，这很容易受到错误的伪标记。为了区分样本重要性，在这项研究中，我们提出了一个新的样本置信度评分，即SFUDA的联合模型数据结构（JMDS）得分。与仅使用源或目标域知识之一的现有置信分数不同，JMDS分数都使用了两种知识。然后，我们建议使用SFUDA的JMDS（COWA-JMDS）框架进行置信度评分适应。 COWA-JMD由JMDS分数作为样品重量和权重混合，这是我们提出的混合变体。重量混合促进该模型更多地利用目标域知识。实验结果表明，JMDS得分的表现优于现有的置信得分。此外，Cowa-JMDS在各种SFUDA方案：封闭，开放和部分集合方案中实现最先进的表现。

批量归一化（BN）广泛用于现代神经网络，已被证明代表与域相关知识，因此对于跨域任务（如无监督域适应（UDA））无效。现有的BN变体方法在归一化模块中相同信道中的源和目标域知识。然而，跨域跨域的相应通道的特征之间的错位通常导致子最佳的可转换性。在本文中，我们利用跨域关系并提出了一种新颖的归一化方法，互惠归一化（RN）。具体地，RN首先呈现互易补偿（RC）模块，用于基于跨域频道明智的相关性在两个域中获取每个信道的补偿。然后，RN开发互易聚合（RA）模块，以便以其跨域补偿组件自适应地聚合特征。作为BN的替代方案，RN更适合于UDA问题并且可以容易地集成到流行的域适应方法中。实验表明，所提出的RN优于现有的正常化对应物，通过大幅度，并有助于最先进的适应方法实现更好的结果。源代码可在https://github.com/openning07/reciprocal-normalization-for-da上找到。

深层模型必须学习强大而可转移的表示形式，以便在新领域上表现良好。尽管已经提出了域转移方法（例如，域的适应性，域的概括）来学习跨域的可转移表示，但通常将它们应用于在Imagenet上预先训练的重置骨架。因此，现有作品很少关注预训练对域转移任务的影响。在本文中，我们对领域适应和泛化的预训练进行了广泛的研究和深入分析，即：网络体系结构，大小，训练损失和数据集。我们观察到，仅使用最先进的主链优于现有的最先进的域适应基线，并将新的基本线设置为Office-Home和Domainnet在10.7 \％和5.5 \％上提高。我们希望这项工作可以为未来的领域转移研究提供更多见解。