半监督域适应（SSDA）是将学习者调整到新域，只有一小组标记的数据集在源域上给出时，只有一小组标记的样本。在本文中，我们提出了一种基于对的SSDA方法，使用用样品对的自蒸馏来适应靶域的模型。每个样本对由来自标记数据集（即源或标记为目标）的教师样本以及来自未标记数据集的学生样本（即，未标记的目标）组成。我们的方法通过在教师和学生之间传输中间样式来生成助手功能，然后通过最小化学生和助手之间的输出差异来培训模型。在培训期间，助手逐渐弥合了两个域之间的差异，从而让学生容易地从老师那里学习。标准基准测试的实验评估表明，我们的方法有效地减少了域间和域内的差异，从而实现了对最近的方法的显着改进。

无监督的域适应（UDA）旨在将标记的源分布与未标记的目标分布对齐，以获取域不变预测模型。然而，众所周知的UDA方法的应用在半监督域适应（SSDA）方案中不完全概括，其中来自目标域的少数标记的样本可用。在本文中，我们提出了一种用于半监督域适应（CLDA）的简单对比学习框架，该框架试图在SSDA中弥合标记和未标记的目标分布与源极和未标记的目标分布之间的域间差距之间的域间隙。我们建议采用类明智的对比学学习来降低原始（输入图像）和强大增强的未标记目标图像之间的域间间隙和实例级对比度对准，以最小化域内差异。我们已经凭经验表明，这两个模块相互补充，以实现卓越的性能。在三个众所周知的域适应基准数据集中的实验即Domainnet，Office-Home和Office31展示了我们方法的有效性。 CLDA在所有上述数据集上实现最先进的结果。

Contemporary domain adaptation methods are very effective at aligning feature distributions of source and target domains without any target supervision. However, we show that these techniques perform poorly when even a few labeled examples are available in the target domain. To address this semi-supervised domain adaptation (SSDA) setting, we propose a novel Minimax Entropy (MME) approach that adversarially optimizes an adaptive few-shot model. Our base model consists of a feature encoding network, followed by a classification layer that computes the features' similarity to estimated prototypes (representatives of each class). Adaptation is achieved by alternately maximizing the conditional entropy of unlabeled target data with respect to the classifier and minimizing it with respect to the feature encoder. We empirically demonstrate the superiority of our method over many baselines, including conventional feature alignment and few-shot methods, setting a new state of the art for SSDA. Our code is available at http://cs-people. bu.edu/keisaito/research/MME.html.

作为对数据有效使用的研究，多源无监督的域适应性将知识从带有标记数据的多个源域转移到了未标记的目标域。但是，目标域中不同域和嘈杂的伪标签之间的分布差异都导致多源无监督域适应方法的性能瓶颈。鉴于此，我们提出了一种将注意力驱动的领域融合和耐噪声学习（ADNT）整合到上述两个问题的方法。首先，我们建立了相反的注意结构，以在特征和诱导域运动之间执行信息。通过这种方法，当域差异降低时，特征的可区分性也可以显着提高。其次，基于无监督的域适应训练的特征，我们设计了自适应的反向横向熵损失，该损失可以直接对伪标签的产生施加约束。最后，结合了这两种方法，几个基准的实验结果进一步验证了我们提出的ADNT的有效性，并证明了优于最新方法的性能。

很少有射击学习（FSL）旨在通过利用基本数据集的先验知识来识别只有几个支持样本的新奇查询。在本文中，我们考虑了FSL中的域移位问题，并旨在解决支持集和查询集之间的域间隙。不同于以前考虑基础和新颖类之间的域移位的跨域FSL工作（CD-FSL），新问题称为跨域跨集FSL（CDSC-FSL），不仅需要很少的学习者适应新的领域，但也要在每个新颖类中的不同领域之间保持一致。为此，我们提出了一种新颖的方法，即Stabpa，学习原型紧凑和跨域对准表示，以便可以同时解决域的转移和很少的学习学习。我们对分别从域和办公室数据集构建的两个新的CDCS-FSL基准进行评估。值得注意的是，我们的方法的表现优于多个详细的基线，例如，在域内，将5-shot精度提高了6.0点。代码可从https://github.com/wentaochen0813/cdcs-fsl获得

半监督域适应性（SSDA）中的主要挑战之一是标记源和目标样本数量之间的偏差比，导致该模型偏向源域。 SSDA中的最新作品表明，仅将标记的目标样品与源样本对齐可能导致目标域与源域的不完全域对齐。在我们的方法中，为了使两个域对齐，我们利用对比的损失，使用来自两个域的监督样本学习语义上有意义的域不可知特征空间。为了减轻偏斜标签比率引起的挑战，我们通过将其特征表示形式与来自源和目标域的标记样品的特征表示形式进行比较，为未标记的目标样本进行了伪造。此外，为了增加目标域的支持，在训练过程中，这些潜在的嘈杂的伪标签逐渐被逐渐注入标记的目标数据集中。具体而言，我们使用温度缩放的余弦相似性度量将软伪标签分配给未标记的目标样品。此外，我们计算每个未标记样品的软伪标签的指数移动平均值。这些伪标签逐渐注入或删除）（从）基于置信阈值（以补充源和目标分布的比对）（从）中（从）中。最后，我们在标记和伪标记的数据集上使用有监督的对比损失来对齐源和目标分布。使用我们提出的方法，我们在SSDA基准测试中展示了最先进的性能-Office-Home，Domainnet和Office-31。

This work introduces the novel task of Source-free Multi-target Domain Adaptation and proposes adaptation framework comprising of \textbf{Co}nsistency with \textbf{N}uclear-Norm Maximization and \textbf{Mix}Up knowledge distillation (\textit{CoNMix}) as a solution to this problem. The main motive of this work is to solve for Single and Multi target Domain Adaptation (SMTDA) for the source-free paradigm, which enforces a constraint where the labeled source data is not available during target adaptation due to various privacy-related restrictions on data sharing. The source-free approach leverages target pseudo labels, which can be noisy, to improve the target adaptation. We introduce consistency between label preserving augmentations and utilize pseudo label refinement methods to reduce noisy pseudo labels. Further, we propose novel MixUp Knowledge Distillation (MKD) for better generalization on multiple target domains using various source-free STDA models. We also show that the Vision Transformer (VT) backbone gives better feature representation with improved domain transferability and class discriminability. Our proposed framework achieves the state-of-the-art (SOTA) results in various paradigms of source-free STDA and MTDA settings on popular domain adaptation datasets like Office-Home, Office-Caltech, and DomainNet. Project Page: https://sites.google.com/view/conmix-vcl

Self-training is a competitive approach in domain adaptive segmentation, which trains the network with the pseudo labels on the target domain. However inevitably, the pseudo labels are noisy and the target features are dispersed due to the discrepancy between source and target domains. In this paper, we rely on representative prototypes, the feature centroids of classes, to address the two issues for unsupervised domain adaptation. In particular, we take one step further and exploit the feature distances from prototypes that provide richer information than mere prototypes. Specifically, we use it to estimate the likelihood of pseudo labels to facilitate online correction in the course of training. Meanwhile, we align the prototypical assignments based on relative feature distances for two different views of the same target, producing a more compact target feature space. Moreover, we find that distilling the already learned knowledge to a self-supervised pretrained model further boosts the performance. Our method shows tremendous performance advantage over state-of-the-art methods. We will make the code publicly available.

我们考虑了主动域适应（ADA）对未标记的目标数据的问题，其中哪个子集被主动选择并给定预算限制标记。受到对域适应性源和目标之间的标签分布不匹配的关键问题的最新分析的启发，我们设计了一种方法，该方法在ADA中首次解决该问题。它的核心是一种新颖的抽样策略，该策略寻求目标数据，以最能近似整个目标分布以及代表性，多样化和不确定。然后，采样目标数据不仅用于监督学习，还用于匹配源和目标域的标签分布，从而导致了显着的性能改善。在四个公共基准测试中，我们的方法在每个适应方案中都大大优于现有方法。

深度学习模型的最新发展，捕捉作物物候的复杂的时间模式有卫星图像时间序列（坐在），大大高级作物分类。然而，当施加到目标区域从训练区空间上不同的，这些模型差没有任何目标标签由于作物物候区域之间的时间位移进行。为了解决这个无人监督跨区域适应环境，现有方法学域不变特征没有任何目标的监督，而不是时间偏移本身。因此，这些技术提供了SITS只有有限的好处。在本文中，我们提出TimeMatch，一种新的无监督领域适应性方法SITS直接占时移。 TimeMatch由两个部分组成：1）时间位移的估计，其估计具有源极训练模型的未标记的目标区域的时间偏移，和2）TimeMatch学习，它结合了时间位移估计与半监督学习到一个分类适应未标记的目标区域。我们还引进了跨区域适应的开放式访问的数据集与来自欧洲四个不同区域的旁边。在此数据集，我们证明了TimeMatch优于所有竞争的方法，通过11％的在五个不同的适应情景F1-得分，创下了新的国家的最先进的跨区域适应性。

半监督域适应（SSDA）是一种具有挑战性的问题，需要克服1）以朝向域的较差的数据和2）分布换档的方法。不幸的是，由于培训数据偏差朝标标样本训练，域适应（DA）和半监督学习（SSL）方法的简单组合通常无法解决这两个目的。在本文中，我们介绍了一种自适应结构学习方法，以规范SSL和DA的合作。灵感来自多视图学习，我们建议的框架由共享特征编码器网络和两个分类器网络组成，用于涉及矛盾的目的。其中，其中一个分类器被应用于组目标特征以提高级别的密度，扩大了鲁棒代表学习的分类集群的间隙。同时，其他分类器作为符号器，试图散射源功能以增强决策边界的平滑度。目标聚类和源扩展的迭代使目标特征成为相应源点的扩张边界内的封闭良好。对于跨域特征对齐和部分标记的数据学习的联合地址，我们应用最大平均差异（MMD）距离最小化和自培训（ST）将矛盾结构投影成共享视图以进行可靠的最终决定。对标准SSDA基准的实验结果包括Domainnet和Office-Home，展示了我们对最先进的方法的方法的准确性和稳健性。

通过从完全标记的源域中利用数据，无监督域适应（UDA）通过显式差异最小化数据分布或对抗学习来提高未标记的目标域上的分类性能。作为增强，通过利用模型预测来加强目标特征识别期间涉及类别对齐。但是，在目标域上的错误类别预测中产生的伪标签不准确以及由源域的过度录制引起的分发偏差存在未探明的问题。在本文中，我们提出了一种模型 - 不可知的两阶段学习框架，这大大减少了使用软伪标签策略的缺陷模型预测，并避免了课程学习策略的源域上的过度拟合。从理论上讲，它成功降低了目标域上预期误差的上限的综合风险。在第一阶段，我们用分布对齐的UDA方法训练一个模型，以获得具有相当高的置位目标域上的软语义标签。为了避免在源域上的过度拟合，在第二阶段，我们提出了一种课程学习策略，以自适应地控制来自两个域的损失之间的加权，以便训练阶段的焦点从源分布逐渐移位到目标分布，以预测信心提升了目标分布在目标领域。对两个知名基准数据集的广泛实验验证了我们提出框架促进促进顶级UDA算法的性能的普遍效果，并展示其一致的卓越性能。

无源域的适应（SFDA）旨在将预先培训的源模型调整到未标记的目标域而无需访问标记良好的源数据的情况下，由于数据隐私，安全性和传输问题，这是一个更实用的设置。为了弥补缺乏源数据，大多数现有方法引入了基于特征原型的伪标记策略，以实现自我训练模型的适应性。但是，特征原型是通过基于实例级预测的特征群集获得的，该特征群集是偏见的，并且倾向于导致嘈杂的标签，因为源和目标之间的视觉域间隙通常不同。此外，我们发现单中心特征原型可能无效地表示每个类别并引入负转移，尤其是对于这些硬转移数据。为了解决这些问题，我们为SFDA任务提供了一般类平衡的多中心动态原型（BMD）策略。具体而言，对于每个目标类别，我们首先引入全球类间平衡抽样策略，以汇总潜在的代表性目标样本。然后，我们设计了一类多中心聚类策略，以实现更健壮和代表性的原型生成。与在固定培训期更新伪标签的现有策略相反，我们进一步引入了动态伪标签策略，以在模型适应过程中结合网络更新信息。广泛的实验表明，所提出的模型不可替代的BMD策略显着改善了代表性的SFDA方法，以产生新的最新结果。该代码可在https://github.com/ispc-lab/bmd上找到。

最近的特征对比学习（FCL）在无监督的代表学习中表现出了有希望的表现。然而，对于近置表示学习，其中标记的数据和未标记数据属于相同的语义空间，FCL不能显示由于在优化期间不涉及类语义而无法占用的压倒性增益。因此，产生的特征不保证由来自标记数据中学到的类重量轻松归类，尽管它们是富有的信息。为了解决这个问题，我们在本文中提出了一种新颖的概率对比学习（PCL），这不仅产生了丰富的功能，而且还强制执行它们以分布在课堂上的原型。具体而言，我们建议在SoftMax之后使用输出概率来执行对比学习而不是FCL中提取的功能。显然，这种方法可以在优化期间利用类语义。此外，我们建议在传统的FCL中删除$ \ ell_ {2} $归一化，并直接使用$ \ ell_ {1} $ - 归一化对比学习的概率。我们提出的PCL简单有效。我们在三个近距离图像分类任务中进行广泛的实验，即无监督域适应，半监督学习和半监督域适应。多个数据集上的结果表明，我们的PCL可以一致地获得相当大的收益并实现所有三个任务的最先进的性能。

无监督域适应（UDA）旨在将知识从相关但不同的良好标记的源域转移到新的未标记的目标域。大多数现有的UDA方法需要访问源数据，因此当数据保密而不相配在隐私问题时，不适用。本文旨在仅使用培训的分类模型来解决现实设置，而不是访问源数据。为了有效地利用适应源模型，我们提出了一种新颖的方法，称为源假设转移（拍摄），其通过将目标数据特征拟合到冻结源分类模块（表示分类假设）来学习目标域的特征提取模块。具体而言，拍摄挖掘出于特征提取模块的信息最大化和自我监督学习，以确保目标特征通过同一假设与看不见的源数据的特征隐式对齐。此外，我们提出了一种新的标签转移策略，它基于预测的置信度（标签信息），然后采用半监督学习来将目标数据分成两个分裂，然后提高目标域中的较为自信预测的准确性。如果通过拍摄获得预测，我们表示标记转移为拍摄++。关于两位数分类和对象识别任务的广泛实验表明，拍摄和射击++实现了与最先进的结果超越或相当的结果，展示了我们对各种视域适应问题的方法的有效性。代码可用于\ url {https：//github.com/tim-learn/shot-plus}。

Unsupervised source-free domain adaptation methods aim to train a model to be used in the target domain utilizing the pretrained source-domain model and unlabeled target-domain data, where the source data may not be accessible due to intellectual property or privacy issues. These methods frequently utilize self-training with pseudo-labeling thresholded by prediction confidence. In a source-free scenario, only supervision comes from target data, and thresholding limits the contribution of the self-training. In this study, we utilize self-training with a mean-teacher approach. The student network is trained with all predictions of the teacher network. Instead of thresholding the predictions, the gradients calculated from the pseudo-labels are weighted based on the reliability of the teacher's predictions. We propose a novel method that uses proxy-based metric learning to estimate reliability. We train a metric network on the encoder features of the teacher network. Since the teacher is updated with the moving average, the encoder feature space is slowly changing. Therefore, the metric network can be updated in training time, which enables end-to-end training. We also propose a metric-based online ClassMix method to augment the input of the student network where the patches to be mixed are decided based on the metric reliability. We evaluated our method in synthetic-to-real and cross-city scenarios. The benchmarks show that our method significantly outperforms the existing state-of-the-art methods.

域适应（DA）旨在将知识从标签富裕但异构的域转移到标签恐慌域，这减轻了标签努力并吸引了相当大的关注。与以前的方法不同，重点是学习域中的特征表示，一些最近的方法存在通用半监督学习（SSL）技术，直接将它们应用于DA任务，甚至实现竞争性能。最受欢迎的SSL技术之一是伪标记，可通过标记数据训练的分类器为每个未标记数据分配伪标签。但是，它忽略了DA问题的分布偏移，并且不可避免地偏置为源数据。要解决此问题，我们提出了一个名为辅助目标域导向的分类器（ATDOC）的新伪标签框架。 ATDOC通过为目标数据引入辅助分类器来缓解分类器偏置，以提高伪标签的质量。具体地，我们使用内存机制并开发两种类型的非参数分类器，即最近的质心分类器和邻域聚合，而不引入任何其他网络参数。尽管在伪分类目标中具有简单性，但具有邻域聚集的ATDOC显着优于域对齐技术和现有的SSL技术，以及甚至瘢痕标记的SSL任务。

无监督的域适应性（UDA）引起了相当大的关注，这将知识从富含标签的源域转移到相关但未标记的目标域。减少域间差异一直是提高UDA性能的关键因素，尤其是对于源域和目标域之间存在较大差距的任务。为此，我们提出了一种新颖的风格感知功能融合方法（SAFF），以弥合大域间隙和转移知识，同时减轻阶级歧视性信息的丧失。受到人类传递推理和学习能力的启发，研究了一种新颖的风格感知的自我互化领域（SSID），通过一系列中级辅助综合概念将两个看似无关的概念联系起来。具体而言，我们提出了一种新颖的SSID学习策略，该策略从源和目标域中选择样本作为锚点，然后随机融合这些锚的对象和样式特征，以生成具有标记和样式丰富的中级辅助功能以进行知识转移。此外，我们设计了一个外部存储库来存储和更新指定的标记功能，以获得稳定的类功能和班级样式功能。基于提议的内存库，内部和域间损耗功能旨在提高类识别能力和特征兼容性。同时，我们通过无限抽样模拟SSID的丰富潜在特征空间，并通过数学理论模拟损失函数的收敛性。最后，我们对常用的域自适应基准测试进行了全面的实验，以评估所提出的SAFF，并且实验结果表明，所提出的SAFF可以轻松地与不同的骨干网络结合在一起，并获得更好的性能作为插入插型模块。

We propose a novel unsupervised domain adaptation framework based on domain-specific batch normalization in deep neural networks. We aim to adapt to both domains by specializing batch normalization layers in convolutional neural networks while allowing them to share all other model parameters, which is realized by a twostage algorithm. In the first stage, we estimate pseudolabels for the examples in the target domain using an external unsupervised domain adaptation algorithm-for example, MSTN [27] or CPUA [14]-integrating the proposed domain-specific batch normalization. The second stage learns the final models using a multi-task classification loss for the source and target domains. Note that the two domains have separate batch normalization layers in both stages. Our framework can be easily incorporated into the domain adaptation techniques based on deep neural networks with batch normalization layers. We also present that our approach can be extended to the problem with multiple source domains. The proposed algorithm is evaluated on multiple benchmark datasets and achieves the state-of-theart accuracy in the standard setting and the multi-source domain adaption scenario.

Source-free domain adaptation aims to adapt a source model trained on fully-labeled source domain data to a target domain with unlabeled target domain data. Source data is assumed inaccessible due to proprietary or privacy reasons. Existing works use the source model to pseudolabel target data, but the pseudolabels are unreliable due to data distribution shift between source and target domain. In this work, we propose to leverage an ImageNet pre-trained feature extractor in a new co-learning framework to improve target pseudolabel quality for finetuning the source model. Benefits of the ImageNet feature extractor include that it is not source-biased and it provides an alternate view of features and classification decisions different from the source model. Such pre-trained feature extractors are also publicly available, which allows us to readily leverage modern network architectures that have strong representation learning ability. After co-learning, we sharpen predictions of non-pseudolabeled samples by entropy minimization. Evaluation on 3 benchmark datasets show that our proposed method can outperform existing source-free domain adaptation methods, as well as unsupervised domain adaptation methods which assume joint access to source and target data.