在少数射击域适应（FDA）中，针对目标域的分类器在源域（SD）（SD）中使用可访问的标记数据进行训练，而目标域（TD）中的标记数据很少。但是，数据通常包含当前时代的私人信息，例如分布在个人电话上的数据。因此，如果我们直接访问SD中的数据以训练目标域分类器（FDA方法要求），则将泄漏私人信息。在本文中，为了彻底防止SD中的隐私泄漏，我们考虑了一个非常具有挑战性的问题设置，必须使用很少的标签目标数据和训练有素的SD分类器对TD的分类器进行培训，并将其命名为几个示例的假设适应（FHA）。在FHA中，我们无法访问SD中的数据，因此，SD中的私人信息将得到很好的保护。为此，我们提出了一个目标定向的假设适应网络（TOHAN）来解决FHA问题，在该问题中，我们生成了高度兼容的未标记数据（即中间域），以帮助培训目标域分类器。 Tohan同时保持了两个深网，其中一个专注于学习中间域，而另一个则要照顾中间靶向分布的适应性和目标风险最小化。实验结果表明，Tohan的表现要优于竞争基线。

无监督域适应（UDA）旨在将知识从相关但不同的良好标记的源域转移到新的未标记的目标域。大多数现有的UDA方法需要访问源数据，因此当数据保密而不相配在隐私问题时，不适用。本文旨在仅使用培训的分类模型来解决现实设置，而不是访问源数据。为了有效地利用适应源模型，我们提出了一种新颖的方法，称为源假设转移（拍摄），其通过将目标数据特征拟合到冻结源分类模块（表示分类假设）来学习目标域的特征提取模块。具体而言，拍摄挖掘出于特征提取模块的信息最大化和自我监督学习，以确保目标特征通过同一假设与看不见的源数据的特征隐式对齐。此外，我们提出了一种新的标签转移策略，它基于预测的置信度（标签信息），然后采用半监督学习来将目标数据分成两个分裂，然后提高目标域中的较为自信预测的准确性。如果通过拍摄获得预测，我们表示标记转移为拍摄++。关于两位数分类和对象识别任务的广泛实验表明，拍摄和射击++实现了与最先进的结果超越或相当的结果，展示了我们对各种视域适应问题的方法的有效性。代码可用于\ url {https：//github.com/tim-learn/shot-plus}。

Unsupervised domain adaptation (UDA) aims to leverage the knowledge learned from a labeled source dataset to solve similar tasks in a new unlabeled domain. Prior UDA methods typically require to access the source data when learning to adapt the model, making them risky and inefficient for decentralized private data. This work tackles a practical setting where only a trained source model is available and investigates how we can effectively utilize such a model without source data to solve UDA problems. We propose a simple yet generic representation learning framework, named Source HypOthesis Transfer (SHOT). SHOT freezes the classifier module (hypothesis) of the source model and learns the target-specific feature extraction module by exploiting both information maximization and selfsupervised pseudo-labeling to implicitly align representations from the target domains to the source hypothesis. To verify its versatility, we evaluate SHOT in a variety of adaptation cases including closed-set, partial-set, and open-set domain adaptation. Experiments indicate that SHOT yields state-of-the-art results among multiple domain adaptation benchmarks.

半监督域适应（SSDA）是一种具有挑战性的问题，需要克服1）以朝向域的较差的数据和2）分布换档的方法。不幸的是，由于培训数据偏差朝标标样本训练，域适应（DA）和半监督学习（SSL）方法的简单组合通常无法解决这两个目的。在本文中，我们介绍了一种自适应结构学习方法，以规范SSL和DA的合作。灵感来自多视图学习，我们建议的框架由共享特征编码器网络和两个分类器网络组成，用于涉及矛盾的目的。其中，其中一个分类器被应用于组目标特征以提高级别的密度，扩大了鲁棒代表学习的分类集群的间隙。同时，其他分类器作为符号器，试图散射源功能以增强决策边界的平滑度。目标聚类和源扩展的迭代使目标特征成为相应源点的扩张边界内的封闭良好。对于跨域特征对齐和部分标记的数据学习的联合地址，我们应用最大平均差异（MMD）距离最小化和自培训（ST）将矛盾结构投影成共享视图以进行可靠的最终决定。对标准SSDA基准的实验结果包括Domainnet和Office-Home，展示了我们对最先进的方法的方法的准确性和稳健性。

域适应（DA）旨在将知识从标签富裕但异构的域转移到标签恐慌域，这减轻了标签努力并吸引了相当大的关注。与以前的方法不同，重点是学习域中的特征表示，一些最近的方法存在通用半监督学习（SSL）技术，直接将它们应用于DA任务，甚至实现竞争性能。最受欢迎的SSL技术之一是伪标记，可通过标记数据训练的分类器为每个未标记数据分配伪标签。但是，它忽略了DA问题的分布偏移，并且不可避免地偏置为源数据。要解决此问题，我们提出了一个名为辅助目标域导向的分类器（ATDOC）的新伪标签框架。 ATDOC通过为目标数据引入辅助分类器来缓解分类器偏置，以提高伪标签的质量。具体地，我们使用内存机制并开发两种类型的非参数分类器，即最近的质心分类器和邻域聚合，而不引入任何其他网络参数。尽管在伪分类目标中具有简单性，但具有邻域聚集的ATDOC显着优于域对齐技术和现有的SSL技术，以及甚至瘢痕标记的SSL任务。

当源和目标域之间存在较大差异时，无监督域适应性的有效性会降低。通过利用逐渐从源到目标转移的其他未标记数据，逐渐的域适应（GDA）是减轻此问题的一种有希望的方法。通过依次沿“索引”中间域调整模型，GDA显着提高了整体适应性性能。但是，实际上，额外的未标记数据可能不会分离为中间域并正确索引，从而限制了GDA的适用性。在本文中，我们研究了如何在尚未可用时发现中间域的序列。具体而言，我们提出了一个粗到精细的框架，该框架从通过渐进域鉴别训练的粗域发现步骤开始。然后，这种粗糙的域序列通过新的周期矛盾损失进行了精细的索引步骤，这鼓励下一个中间域，以保留对当前中间域的足够判别知识。然后可以通过GDA算法使用所得的域序列。在GDA的基准数据集上，我们表明，我们将其命名为中间域标签（偶像）的方法可以导致与预定义的域序列相比，可相当甚至更好的适应性性能，使GDA更适合质量，使GDA更适用和强大域序列。代码可从https://github.com/hongyouc/idol获得。

为了将训练有素的模型直接概括为看不见的目标域，域概括（DG）是一种新提出的学习范式，引起了很大的关注。以前的DG模型通常需要在训练过程中观察到的源域中的足够数量的带注释的样品。在本文中，我们放宽了有关完全注释的要求，并研究了半监督域的概括（SSDG），在训练过程中，只有一个源域与其他完全未标记的域一起完全注释。由于要解决观察到的源域之间的域间隙和预测看不见的目标域之间的挑战，我们提出了一个通过关节域吸引的标签和双分类器的新型深框架，以产生高质量的伪标记。具体来说，为了预测域移位下的准确伪标记，开发了一个域吸引的伪标记模块。此外，考虑到概括和伪标记之间的目标不一致：前者防止在所有源域上过度拟合，而后者可能过分适合未标记的源域，以高精度，我们采用双分类器来独立执行伪标记和域名，并在训练过程中执行伪造域通用化。 。当为未标记的源域生成准确的伪标记时，将域混合操作应用于标记和未标记域之间的新域，这对于提高模型的通用能力是有益的。公开可用的DG基准数据集的广泛结果显示了我们提出的SSDG方法的功效。

In this paper, we investigate a challenging unsupervised domain adaptation setting -unsupervised model adaptation. We aim to explore how to rely only on unlabeled target data to improve performance of an existing source prediction model on the target domain, since labeled source data may not be available in some real-world scenarios due to data privacy issues. For this purpose, we propose a new framework, which is referred to as collaborative class conditional generative adversarial net to bypass the dependence on the source data. Specifically, the prediction model is to be improved through generated target-style data, which provides more accurate guidance for the generator. As a result, the generator and the prediction model can collaborate with each other without source data. Furthermore, due to the lack of supervision from source data, we propose a weight constraint that encourages similarity to the source model. A clustering-based regularization is also introduced to produce more discriminative features in the target domain. Compared to conventional domain adaptation methods, our model achieves superior performance on multiple adaptation tasks with only unlabeled target data, which verifies its effectiveness in this challenging setting.

在本文中，我们提出了一种使用域鉴别特征模块的双模块网络架构，以鼓励域不变的特征模块学习更多域不变的功能。该建议的架构可以应用于任何利用域不变功能的任何模型，用于无监督域适应，以提高其提取域不变特征的能力。我们在作为代表性算法的神经网络（DANN）模型的区域 - 对抗训练进行实验。在培训过程中，我们为两个模块提供相同的输入，然后分别提取它们的特征分布和预测结果。我们提出了差异损失，以找到预测结果的差异和两个模块之间的特征分布。通过对抗训练来最大化其特征分布和最小化其预测结果的差异，鼓励两个模块分别学习更多域歧视和域不变特征。进行了广泛的比较评估，拟议的方法在大多数无监督的域适应任务中表现出最先进的。

无监督域适应（UDA）旨在将知识从标记的源域传输到未标记的目标域。传统上，基于子空间的方法为此问题形成了一类重要的解决方案。尽管他们的数学优雅和易腐烂性，但这些方法通常被发现在产生具有复杂的现实世界数据集的领域不变的功能时无效。由于近期具有深度网络的代表学习的最新进展，本文重新访问了UDA的子空间对齐，提出了一种新的适应算法，始终如一地导致改进的泛化。与现有的基于对抗培训的DA方法相比，我们的方法隔离了特征学习和分配对准步骤，并利用主要辅助优化策略来有效地平衡域不契约的目标和模型保真度。在提供目标数据和计算要求的显着降低的同时，基于子空间的DA竞争性，有时甚至优于几种标准UDA基准测试的最先进的方法。此外，子空间对准导致本质上定期的模型，即使在具有挑战性的部分DA设置中，也表现出强大的泛化。最后，我们的UDA框架的设计本身支持对测试时间的新目标域的逐步适应，而无需从头开始重新检测模型。总之，由强大的特征学习者和有效的优化策略提供支持，我们将基于子空间的DA建立为可视识别的高效方法。

无监督的域适应（UDA）通过将知识从标记的源域传送到与目标的分布不同的标记源域来实现跨域学习。但是，UDA并不总是成功，在文献中报告了几个“负转移”的几个账目。在这项工作中，我们在目标域错误上证明了一个简单的下限，这些错误符合现有的上限。我们的界定显示了最小化源域误差和边际分布不匹配的不足，因为由于可能的诱导标记功能不匹配可能增加，因此由于可能的增加而减少目标域误差。通过同一UDA方法成功，失败的简单分布进一步说明了这种不足，并且可以成功或失败，并且可以使用相同的机会。从此激励，我们提出了新的数据中毒攻击，以欺骗UDA方法进入产生大目标域错误的学习陈述。我们使用基准数据集评估这些攻击对流行的UDA方法的影响，他们以前已经证明是成功的。我们的结果表明，中毒可以显着降低目标域精度，在某些情况下将其降至近0％，在源域中添加了10％中毒数据。这些UDA方法的失败在保证与我们下限符合的跨域泛化时，他们的局限性阐述了它们的局限性。因此，评估诸如数据中毒等对逆势设置中的UDA方法提供了更好的稳健性对UDA不利的数据分布。

跨域很少的射击分类（CDFSC）利用从监督的辅助数据集中学到的先验知识来解决目标任务，而有限的监督信息可用，辅助数据集和目标数据集来自不同的域。由于这些数据集之间的域移动，这是具有挑战性的。受到多源域适应性（MDA）的启发，最近的作品介绍了多个域以改善性能。但是，一方面，他们只用自然图像在基准上进行评估，另一方面，即使在源域中，它们也需要许多注释。为了解决上述问题，本文探讨了一个新的多源CDFSC设置（MCDFSC），其中只有一个源域被完全标记，而其余源域仍然没有标记。这些来源来自不同的归档，意味着它们不仅是自然图像。考虑到CNN的归纳偏置，本文建议针对这种新的MCDFSC设置拟议中源式样式网络（ISSNET）。它将未标记源的样式转移到标记的源，从而扩展了标记的源分布并进一步提高了模型的概括能力。 8个目标数据集的实验证明ISSNET有效地抑制了由不同域引起的性能降解。

在新颖的类发现（NCD）中，我们从可见的类别和看不见的类别的未标记的数据中给出了标记的数据，并为看不见的类培训聚类模型。但是，NCD背后的隐含假设仍不清楚。在本文中，我们揭开了NCD背后的假设，并发现应在可见和看不见的类中共享高级语义特征。基于这一发现，在某些假设下，NCD在理论上是可以解决的，并且可以自然地与具有与NCD完全相同的假设的元学习链接。因此，我们可以通过经过轻微修改后的元学习算法来实证解决NCD问题。正如实验中所证明的那样，这种基于元学习的方法可显着减少培训所需的未标记数据的数量，并使其更加实用。 NCD的应用程序方案也证明了非常有限的数据的使用：由于仅标记Seep类数据是不自然的，因此NCD是采样而不是因果关系标记。因此，应在收集可见级数据的方式上收集看不​​见的级数据，这就是为什么它们是新颖的，首先需要聚类的原因。

从理论上讲，无监督的域适应性（UDA）的成功在很大程度上取决于域间隙估计。但是，对于无源UDA，在适应过程中无法访问源域数据，这在测量域间隙方面构成了巨大挑战。在本文中，我们建议使用许多分类器来学习源域决策边界，即使两个域数据无法同时访问，它也提供了域间隙的更紧密的上限。对源模型进行了训练，可以推开每对分类器，同时确保决策边界的正确性。从这个意义上讲，我们的许多分类器模型尽可能将源不同类别分开，从而诱导目标域中许多分类器的最大分歧，从而最大程度地提高了可转移的源域知识。为了进行适应，源模型适应最大化分类器对之间的一致性。因此，目标特征从决策范围中推开。在UDA的几个数据集上进行的实验表明，我们的方法在免费的UDA方法中实现了最先进的性能，甚至可以竞争为可用的UDA方法竞争。

为了缓解标签的负担，无监督的域适应（UDA）旨在将知识传输到新的未标记数据集（目标）中的标记数据集（源）。尽管进展令人印象深刻，但先前的方法总是需要访问原始源数据，并开发数据相关的对准方法以以转换的学习方式识别目标样本，这可能会从源头中提高隐私问题。几个最近的研究通过利用来自源域的训练有素的白盒模型来替代解决方案，然而，它仍可能通过生成的对抗性学习泄漏原始数据。本文研究了UDA的实用和有趣的设置，其中仅在目标域中的适应期间提供了黑盒源模型（即，仅可用网络预测）。为了解决这个问题，我们提出了一个名为蒸馏和微调（用餐）的新的两步知识适应框架。考虑到目标数据结构，用餐首先将知识从源预测器蒸馏到定制的目标模型，然后微调蒸馏模型以进一步适合目标域。此外，神经网络不需要在用餐中的域中相同，甚至允许有效地适应低资源设备。三个UDA场景（即单源，多源和部分集）的经验结果确认，与最先进的数据相关的方法相比，该用途达到了高竞争力的性能。代码可用于\ url {https://github.com/tim-learn/dine/}。

最近的特征对比学习（FCL）在无监督的代表学习中表现出了有希望的表现。然而，对于近置表示学习，其中标记的数据和未标记数据属于相同的语义空间，FCL不能显示由于在优化期间不涉及类语义而无法占用的压倒性增益。因此，产生的特征不保证由来自标记数据中学到的类重量轻松归类，尽管它们是富有的信息。为了解决这个问题，我们在本文中提出了一种新颖的概率对比学习（PCL），这不仅产生了丰富的功能，而且还强制执行它们以分布在课堂上的原型。具体而言，我们建议在SoftMax之后使用输出概率来执行对比学习而不是FCL中提取的功能。显然，这种方法可以在优化期间利用类语义。此外，我们建议在传统的FCL中删除$ \ ell_ {2} $归一化，并直接使用$ \ ell_ {1} $ - 归一化对比学习的概率。我们提出的PCL简单有效。我们在三个近距离图像分类任务中进行广泛的实验，即无监督域适应，半监督学习和半监督域适应。多个数据集上的结果表明，我们的PCL可以一致地获得相当大的收益并实现所有三个任务的最先进的性能。

Recent reports suggest that a generic supervised deep CNN model trained on a large-scale dataset reduces, but does not remove, dataset bias. Fine-tuning deep models in a new domain can require a significant amount of labeled data, which for many applications is simply not available. We propose a new CNN architecture to exploit unlabeled and sparsely labeled target domain data. Our approach simultaneously optimizes for domain invariance to facilitate domain transfer and uses a soft label distribution matching loss to transfer information between tasks. Our proposed adaptation method offers empirical performance which exceeds previously published results on two standard benchmark visual domain adaptation tasks, evaluated across supervised and semi-supervised adaptation settings.

Domain Adaptation is an actively researched problem in Computer Vision. In this work, we propose an approach that leverages unsupervised data to bring the source and target distributions closer in a learned joint feature space. We accomplish this by inducing a symbiotic relationship between the learned embedding and a generative adversarial network. This is in contrast to methods which use the adversarial framework for realistic data generation and retraining deep models with such data. We demonstrate the strength and generality of our approach by performing experiments on three different tasks with varying levels of difficulty: (1) Digit classification (MNIST, SVHN and USPS datasets) (2) Object recognition using OFFICE dataset and (3) Domain adaptation from synthetic to real data. Our method achieves state-of-the art performance in most experimental settings and by far the only GAN-based method that has been shown to work well across different datasets such as OFFICE and DIGITS.

Deep domain adaptation has emerged as a new learning technique to address the lack of massive amounts of labeled data. Compared to conventional methods, which learn shared feature subspaces or reuse important source instances with shallow representations, deep domain adaptation methods leverage deep networks to learn more transferable representations by embedding domain adaptation in the pipeline of deep learning. There have been comprehensive surveys for shallow domain adaptation, but few timely reviews the emerging deep learning based methods. In this paper, we provide a comprehensive survey of deep domain adaptation methods for computer vision applications with four major contributions. First, we present a taxonomy of different deep domain adaptation scenarios according to the properties of data that define how two domains are diverged. Second, we summarize deep domain adaptation approaches into several categories based on training loss, and analyze and compare briefly the state-of-the-art methods under these categories. Third, we overview the computer vision applications that go beyond image classification, such as face recognition, semantic segmentation and object detection. Fourth, some potential deficiencies of current methods and several future directions are highlighted.

Deep learning has produced state-of-the-art results for a variety of tasks. While such approaches for supervised learning have performed well, they assume that training and testing data are drawn from the same distribution, which may not always be the case. As a complement to this challenge, single-source unsupervised domain adaptation can handle situations where a network is trained on labeled data from a source domain and unlabeled data from a related but different target domain with the goal of performing well at test-time on the target domain. Many single-source and typically homogeneous unsupervised deep domain adaptation approaches have thus been developed, combining the powerful, hierarchical representations from deep learning with domain adaptation to reduce reliance on potentially-costly target data labels. This survey will compare these approaches by examining alternative methods, the unique and common elements, results, and theoretical insights. We follow this with a look at application areas and open research directions.