Contemporary domain adaptation methods are very effective at aligning feature distributions of source and target domains without any target supervision. However, we show that these techniques perform poorly when even a few labeled examples are available in the target domain. To address this semi-supervised domain adaptation (SSDA) setting, we propose a novel Minimax Entropy (MME) approach that adversarially optimizes an adaptive few-shot model. Our base model consists of a feature encoding network, followed by a classification layer that computes the features' similarity to estimated prototypes (representatives of each class). Adaptation is achieved by alternately maximizing the conditional entropy of unlabeled target data with respect to the classifier and minimizing it with respect to the feature encoder. We empirically demonstrate the superiority of our method over many baselines, including conventional feature alignment and few-shot methods, setting a new state of the art for SSDA. Our code is available at http://cs-people. bu.edu/keisaito/research/MME.html.

半监督域适应（SSDA）是一种具有挑战性的问题，需要克服1）以朝向域的较差的数据和2）分布换档的方法。不幸的是，由于培训数据偏差朝标标样本训练，域适应（DA）和半监督学习（SSL）方法的简单组合通常无法解决这两个目的。在本文中，我们介绍了一种自适应结构学习方法，以规范SSL和DA的合作。灵感来自多视图学习，我们建议的框架由共享特征编码器网络和两个分类器网络组成，用于涉及矛盾的目的。其中，其中一个分类器被应用于组目标特征以提高级别的密度，扩大了鲁棒代表学习的分类集群的间隙。同时，其他分类器作为符号器，试图散射源功能以增强决策边界的平滑度。目标聚类和源扩展的迭代使目标特征成为相应源点的扩张边界内的封闭良好。对于跨域特征对齐和部分标记的数据学习的联合地址，我们应用最大平均差异（MMD）距离最小化和自培训（ST）将矛盾结构投影成共享视图以进行可靠的最终决定。对标准SSDA基准的实验结果包括Domainnet和Office-Home，展示了我们对最先进的方法的方法的准确性和稳健性。

无监督的域适应（UDA）旨在将标记的源分布与未标记的目标分布对齐，以获取域不变预测模型。然而，众所周知的UDA方法的应用在半监督域适应（SSDA）方案中不完全概括，其中来自目标域的少数标记的样本可用。在本文中，我们提出了一种用于半监督域适应（CLDA）的简单对比学习框架，该框架试图在SSDA中弥合标记和未标记的目标分布与源极和未标记的目标分布之间的域间差距之间的域间隙。我们建议采用类明智的对比学学习来降低原始（输入图像）和强大增强的未标记目标图像之间的域间间隙和实例级对比度对准，以最小化域内差异。我们已经凭经验表明，这两个模块相互补充，以实现卓越的性能。在三个众所周知的域适应基准数据集中的实验即Domainnet，Office-Home和Office31展示了我们方法的有效性。 CLDA在所有上述数据集上实现最先进的结果。

半监督域适应（SSDA）是将学习者调整到新域，只有一小组标记的数据集在源域上给出时，只有一小组标记的样本。在本文中，我们提出了一种基于对的SSDA方法，使用用样品对的自蒸馏来适应靶域的模型。每个样本对由来自标记数据集（即源或标记为目标）的教师样本以及来自未标记数据集的学生样本（即，未标记的目标）组成。我们的方法通过在教师和学生之间传输中间样式来生成助手功能，然后通过最小化学生和助手之间的输出差异来培训模型。在培训期间，助手逐渐弥合了两个域之间的差异，从而让学生容易地从老师那里学习。标准基准测试的实验评估表明，我们的方法有效地减少了域间和域内的差异，从而实现了对最近的方法的显着改进。

域的适应性（DA）旨在将知识从标记的源域中学习的知识转移到未标记或标记较小但相关的目标域的知识。理想情况下，源和目标分布应彼此平等地对齐，以实现公正的知识转移。但是，由于源和目标域中注释数据的数量之间存在显着不平衡，通常只有目标分布与源域保持一致，从而使不必要的源特定知识适应目标域，即偏置域的适应性。为了解决此问题，在这项工作中，我们通过对基于对抗性的DA方法进行建模来对歧视器的不确定性进行建模，以优化无偏见转移。我们理论上分析了DA中提出的无偏可传递性学习方法的有效性。此外，为了减轻注释数据不平衡的影响，我们利用了目标域中未标记样品的伪标签选择的估计不确定性，这有助于实现更好的边际和条件分布在域之间的分布。对各种DA基准数据集的广泛实验结果表明，可以轻松地将所提出的方法纳入各种基于对抗性的DA方法中，从而实现最新的性能。

无监督域适应（UDA）旨在将知识从相关但不同的良好标记的源域转移到新的未标记的目标域。大多数现有的UDA方法需要访问源数据，因此当数据保密而不相配在隐私问题时，不适用。本文旨在仅使用培训的分类模型来解决现实设置，而不是访问源数据。为了有效地利用适应源模型，我们提出了一种新颖的方法，称为源假设转移（拍摄），其通过将目标数据特征拟合到冻结源分类模块（表示分类假设）来学习目标域的特征提取模块。具体而言，拍摄挖掘出于特征提取模块的信息最大化和自我监督学习，以确保目标特征通过同一假设与看不见的源数据的特征隐式对齐。此外，我们提出了一种新的标签转移策略，它基于预测的置信度（标签信息），然后采用半监督学习来将目标数据分成两个分裂，然后提高目标域中的较为自信预测的准确性。如果通过拍摄获得预测，我们表示标记转移为拍摄++。关于两位数分类和对象识别任务的广泛实验表明，拍摄和射击++实现了与最先进的结果超越或相当的结果，展示了我们对各种视域适应问题的方法的有效性。代码可用于\ url {https：//github.com/tim-learn/shot-plus}。

大多数现代无人监督域适应（UDA）方法源于域对齐，即，学习源和目标功能，使用源标签学习目标域分类器。在半监督域适应（SSDA）中，当学习者可以访问少量目标域标签时，先前的方法遵循UDA理论以使用域对齐进行学习。我们表明SSDA的情况是不同的，并且可以在不需要对齐的情况下学习良好的目标分类器。我们使用自我监督的预测（通过旋转预测）和一致性正则化来实现良好的分开的目标集群，同时在学习低误差目标分类器时。凭借我们预先推价和一致性（PAC）方法，我们在该半监控域适应任务上实现了最新的目标准确性，超过了多个数据集的多个对抗域对齐方法。 PAC，同时使用简单的技术，对DomainNet和Visda-17等大而挑战的SSDA基准进行了非常好的，通常通过相当的边距来表现最近的艺术状态。我们的实验代码可以在https://github.com/venkatesh-saligrama/pac找到

半监督域适应性（SSDA）中的主要挑战之一是标记源和目标样本数量之间的偏差比，导致该模型偏向源域。 SSDA中的最新作品表明，仅将标记的目标样品与源样本对齐可能导致目标域与源域的不完全域对齐。在我们的方法中，为了使两个域对齐，我们利用对比的损失，使用来自两个域的监督样本学习语义上有意义的域不可知特征空间。为了减轻偏斜标签比率引起的挑战，我们通过将其特征表示形式与来自源和目标域的标记样品的特征表示形式进行比较，为未标记的目标样本进行了伪造。此外，为了增加目标域的支持，在训练过程中，这些潜在的嘈杂的伪标签逐渐被逐渐注入标记的目标数据集中。具体而言，我们使用温度缩放的余弦相似性度量将软伪标签分配给未标记的目标样品。此外，我们计算每个未标记样品的软伪标签的指数移动平均值。这些伪标签逐渐注入或删除）（从）基于置信阈值（以补充源和目标分布的比对）（从）中（从）中。最后，我们在标记和伪标记的数据集上使用有监督的对比损失来对齐源和目标分布。使用我们提出的方法，我们在SSDA基准测试中展示了最先进的性能-Office-Home，Domainnet和Office-31。

半监督域的适应性（SSDA）旨在将从完全标记的源域学习的知识应用于几乎没有标记的目标域。在本文中，我们为SSDA提出了一个多级一致性学习（MCL）框架。具体而言，我们的MCL将目标域样本的不同视图的一致性定于三个级别：（i）在域间级别，我们使用基于原型的最佳传输方法来稳健，准确地对齐源和目标域，该方法利用了PROS和PROS和PROS域目标样本不同观点的缺点； （ii）在域内层面上，我们通过提出新颖的班级对比聚类损失来促进歧视性和紧凑的目标特征表示。 （iii）在样本级别，我们遵循标准实践，并通过进行基于一致性的自我训练来提高预测准确性。从经验上，我们验证了MCL框架对三个流行的SSDA基准的有效性，即Visda2017，域名和办公室家庭数据集，实验结果表明我们的MCL框架可以实现最新的性能。

很少有射击学习（FSL）旨在通过利用基本数据集的先验知识来识别只有几个支持样本的新奇查询。在本文中，我们考虑了FSL中的域移位问题，并旨在解决支持集和查询集之间的域间隙。不同于以前考虑基础和新颖类之间的域移位的跨域FSL工作（CD-FSL），新问题称为跨域跨集FSL（CDSC-FSL），不仅需要很少的学习者适应新的领域，但也要在每个新颖类中的不同领域之间保持一致。为此，我们提出了一种新颖的方法，即Stabpa，学习原型紧凑和跨域对准表示，以便可以同时解决域的转移和很少的学习学习。我们对分别从域和办公室数据集构建的两个新的CDCS-FSL基准进行评估。值得注意的是，我们的方法的表现优于多个详细的基线，例如，在域内，将5-shot精度提高了6.0点。代码可从https://github.com/wentaochen0813/cdcs-fsl获得

我们考虑了主动域适应（ADA）对未标记的目标数据的问题，其中哪个子集被主动选择并给定预算限制标记。受到对域适应性源和目标之间的标签分布不匹配的关键问题的最新分析的启发，我们设计了一种方法，该方法在ADA中首次解决该问题。它的核心是一种新颖的抽样策略，该策略寻求目标数据，以最能近似整个目标分布以及代表性，多样化和不确定。然后，采样目标数据不仅用于监督学习，还用于匹配源和目标域的标签分布，从而导致了显着的性能改善。在四个公共基准测试中，我们的方法在每个适应方案中都大大优于现有方法。

无监督的域适应性（DA）中的主要挑战是减轻源域和目标域之间的域移动。先前的DA工作表明，可以使用借口任务来通过学习域不变表示来减轻此域的转移。但是，实际上，我们发现大多数现有的借口任务对其他已建立的技术无效。因此，我们从理论上分析了如何以及何时可以利用子公司借口任务来协助给定DA问题的目标任务并制定客观的子公司任务适用性标准。基于此标准，我们设计了一个新颖的贴纸干预过程和铸造贴纸分类的过程，作为监督的子公司DA问题，该问题与目标任务无监督的DA同时发生。我们的方法不仅改善了目标任务适应性能，而且还促进了面向隐私的无源DA，即没有并发源目标访问。标准Office-31，Office-Home，Domainnet和Visda基准的实验证明了我们对单源和多源无源DA的优势。我们的方法还补充了现有的无源作品，从而实现了领先的绩效。

无监督域适配利用标记的源域中丰富的信息来模拟未标记的目标域。现有方法尝试对齐跨域分布。然而，两个域的对准的统计表示并不良好解决。在本文中，我们提出了深度最小二乘对准（DLSA）来估计通过参数化线性模型来估计潜在空间中的两个域的分布。我们通过最小化拟合线和截距差异之间的角度以及进一步学习域不变特征，进一步开发边缘和条件适应损失以减少域差异。广泛的实验表明，所提出的DLSA模型在对准域分布和优于最先进的方法方面有效。

最近的特征对比学习（FCL）在无监督的代表学习中表现出了有希望的表现。然而，对于近置表示学习，其中标记的数据和未标记数据属于相同的语义空间，FCL不能显示由于在优化期间不涉及类语义而无法占用的压倒性增益。因此，产生的特征不保证由来自标记数据中学到的类重量轻松归类，尽管它们是富有的信息。为了解决这个问题，我们在本文中提出了一种新颖的概率对比学习（PCL），这不仅产生了丰富的功能，而且还强制执行它们以分布在课堂上的原型。具体而言，我们建议在SoftMax之后使用输出概率来执行对比学习而不是FCL中提取的功能。显然，这种方法可以在优化期间利用类语义。此外，我们建议在传统的FCL中删除$ \ ell_ {2} $归一化，并直接使用$ \ ell_ {1} $ - 归一化对比学习的概率。我们提出的PCL简单有效。我们在三个近距离图像分类任务中进行广泛的实验，即无监督域适应，半监督学习和半监督域适应。多个数据集上的结果表明，我们的PCL可以一致地获得相当大的收益并实现所有三个任务的最先进的性能。

Source-free domain adaptation aims to adapt a source model trained on fully-labeled source domain data to a target domain with unlabeled target domain data. Source data is assumed inaccessible due to proprietary or privacy reasons. Existing works use the source model to pseudolabel target data, but the pseudolabels are unreliable due to data distribution shift between source and target domain. In this work, we propose to leverage an ImageNet pre-trained feature extractor in a new co-learning framework to improve target pseudolabel quality for finetuning the source model. Benefits of the ImageNet feature extractor include that it is not source-biased and it provides an alternate view of features and classification decisions different from the source model. Such pre-trained feature extractors are also publicly available, which allows us to readily leverage modern network architectures that have strong representation learning ability. After co-learning, we sharpen predictions of non-pseudolabeled samples by entropy minimization. Evaluation on 3 benchmark datasets show that our proposed method can outperform existing source-free domain adaptation methods, as well as unsupervised domain adaptation methods which assume joint access to source and target data.

域适应（DA）旨在将知识从标签富裕但异构的域转移到标签恐慌域，这减轻了标签努力并吸引了相当大的关注。与以前的方法不同，重点是学习域中的特征表示，一些最近的方法存在通用半监督学习（SSL）技术，直接将它们应用于DA任务，甚至实现竞争性能。最受欢迎的SSL技术之一是伪标记，可通过标记数据训练的分类器为每个未标记数据分配伪标签。但是，它忽略了DA问题的分布偏移，并且不可避免地偏置为源数据。要解决此问题，我们提出了一个名为辅助目标域导向的分类器（ATDOC）的新伪标签框架。 ATDOC通过为目标数据引入辅助分类器来缓解分类器偏置，以提高伪标签的质量。具体地，我们使用内存机制并开发两种类型的非参数分类器，即最近的质心分类器和邻域聚合，而不引入任何其他网络参数。尽管在伪分类目标中具有简单性，但具有邻域聚集的ATDOC显着优于域对齐技术和现有的SSL技术，以及甚至瘢痕标记的SSL任务。

在本文中，我们提出了一种使用域鉴别特征模块的双模块网络架构，以鼓励域不变的特征模块学习更多域不变的功能。该建议的架构可以应用于任何利用域不变功能的任何模型，用于无监督域适应，以提高其提取域不变特征的能力。我们在作为代表性算法的神经网络（DANN）模型的区域 - 对抗训练进行实验。在培训过程中，我们为两个模块提供相同的输入，然后分别提取它们的特征分布和预测结果。我们提出了差异损失，以找到预测结果的差异和两个模块之间的特征分布。通过对抗训练来最大化其特征分布和最小化其预测结果的差异，鼓励两个模块分别学习更多域歧视和域不变特征。进行了广泛的比较评估，拟议的方法在大多数无监督的域适应任务中表现出最先进的。

无监督域适应（UDA）旨在将知识从标记的源域传输到未标记的目标域。传统上，基于子空间的方法为此问题形成了一类重要的解决方案。尽管他们的数学优雅和易腐烂性，但这些方法通常被发现在产生具有复杂的现实世界数据集的领域不变的功能时无效。由于近期具有深度网络的代表学习的最新进展，本文重新访问了UDA的子空间对齐，提出了一种新的适应算法，始终如一地导致改进的泛化。与现有的基于对抗培训的DA方法相比，我们的方法隔离了特征学习和分配对准步骤，并利用主要辅助优化策略来有效地平衡域不契约的目标和模型保真度。在提供目标数据和计算要求的显着降低的同时，基于子空间的DA竞争性，有时甚至优于几种标准UDA基准测试的最先进的方法。此外，子空间对准导致本质上定期的模型，即使在具有挑战性的部分DA设置中，也表现出强大的泛化。最后，我们的UDA框架的设计本身支持对测试时间的新目标域的逐步适应，而无需从头开始重新检测模型。总之，由强大的特征学习者和有效的优化策略提供支持，我们将基于子空间的DA建立为可视识别的高效方法。

域泛化（DG）利用多个标记的源数据集来训练未经化的目标域的概括模型。然而，由于昂贵的注释成本，在现实世界应用中难以满足标记所有源数据的要求。在本文中，我们调查单个标记的域泛化（SLDG）任务，只标有一个源域，这比传统的域泛化（CDG）更实用和具有挑战性。 SLDG任务中的主要障碍是可怜的概括偏置：标记源数据集中的鉴别信息可以包含特定于域的偏差，限制训练模型的泛化。为了解决这个具有挑战性的任务，我们提出了一种称为域特定偏置滤波（DSBF）的新方法，该方法用标记的源数据初始化识别模型，然后通过用于泛化改进的未标记的源数据来滤除其域特定的偏差。我们将过滤过程划分为（1）特征提取器扩展通过K-Means的基于聚类的语义特征重新提取和（2）分类器通过注意引导语义特征投影校准。 DSBF统一探索标签和未标记的源数据，以增强培训模型的可辨性和泛化，从而产生高度普遍的模型。我们进一步提供了理论分析，以验证所提出的域特定的偏置滤波过程。关于多个数据集的广泛实验显示了DSBF在解决具有挑战性的SLDG任务和CDG任务时的优越性。

We introduce a new representation learning approach for domain adaptation, in which data at training and test time come from similar but different distributions. Our approach is directly inspired by the theory on domain adaptation suggesting that, for effective domain transfer to be achieved, predictions must be made based on features that cannot discriminate between the training (source) and test (target) domains.The approach implements this idea in the context of neural network architectures that are trained on labeled data from the source domain and unlabeled data from the target domain (no labeled target-domain data is necessary). As the training progresses, the approach promotes the emergence of features that are (i) discriminative for the main learning task on the source domain and (ii) indiscriminate with respect to the shift between the domains. We show that this adaptation behaviour can be achieved in almost any feed-forward model by augmenting it with few standard layers and a new gradient reversal layer. The resulting augmented architecture can be trained using standard backpropagation and stochastic gradient descent, and can thus be implemented with little effort using any of the deep learning packages.We demonstrate the success of our approach for two distinct classification problems (document sentiment analysis and image classification), where state-of-the-art domain adaptation performance on standard benchmarks is achieved. We also validate the approach for descriptor learning task in the context of person re-identification application.