关于无监督的域适应性(UDA)的广泛研究已将有限的实验数据集深入学习到现实世界中无约束的领域。大多数UDA接近通用嵌入空间中的对齐功能,并将共享分类器应用于目标预测。但是,由于当域差异很大时可能不存在完全排列的特征空间,因此这些方法受到了两个局限性。首先,由于缺乏目标标签监督,强制域的比对会恶化目标域的可区分性。其次,源监督分类器不可避免地偏向源数据,因此它在目标域中的表现可能不佳。为了减轻这些问题,我们建议在两个集中在不同领域的空间中同时进行特征对齐,并为每个空间创建一个针对该域的面向域的分类器。具体而言,我们设计了一个面向域的变压器(DOT),该变压器(DOT)具有两个单独的分类令牌,以学习不同的面向域的表示形式和两个分类器,以保持域的可区分性。理论保证的基于对比度的对齐和源指导的伪标签细化策略被用来探索域名和特定信息。全面的实验验证了我们的方法在几个基准上实现了最先进的方法。
translated by 谷歌翻译
无监督的域适应(UDA)旨在将知识从标记的源域传输到未标记的目标域。大多数现有的UDA方法通过学习域 - 不变的表示和在两个域中共享一个分类器来实现知识传输。但是,忽略与任务相关的域特定信息,并强制统一的分类器以适合两个域将限制每个域中的特征表达性。在本文中,通过观察到具有可比参数的变压器架构可以产生比CNN对应的更可转换的表示,我们提出了一个双赢的变压器框架(WINTR),它分别探讨了每个域的特定于域的知识,而同时交互式跨域知识。具体而言,我们使用变压器中的两个单独的分类令牌学习两个不同的映射,以及每个特定于域的分类器的设计。跨域知识通过源引导标签改进和与源或目标的单侧特征对齐传输,这保持了特定于域的信息的完整性。三个基准数据集的广泛实验表明,我们的方法优于最先进的UDA方法,验证利用域特定和不变性的有效性
translated by 谷歌翻译
无监督域适应(UDA)旨在将从标记的源域中学习的知识转移到不同的未标记的目标域。大多数现有的UDA方法专注于使用卷积神经网络(CNNS)的框架来学习域级别或类别级别的域不变特征表示。基于类别级别的UDA的一个根本问题是针对目标域中的样本的伪标签的生产通常太嘈杂,对于精确的域对齐,不可避免地影响UDA性能。随着变压器在各种任务中的成功,我们发现变压器中的横向对嘈杂的输入对具有鲁棒,以进行更好的特征对齐,因此在挑战的UDA任务中采用了该变压器。具体地,为了生成准确的输入对,我们设计了一种双向中心感知标记算法,为目标样本产生伪标签。随着伪标签,提出了一种重量共享三分支变压器框架,以分别应用用于源/目标特征学习和源极域对齐的自我关注和横向。这种设计明确强制执行框架,以便同时学习鉴别的域和域不变的表示。所提出的方法是Dubbed CDTrans(跨域变压器),它提供了第一次尝试用纯变压器解决方案解决UDA任务。实验表明,我们的拟议方法实现了公共UDA数据集的最佳表现,例如, Visda-2017和DomainNet。代码和模型可在https://github.com/cdtrans/cdtrans中获得。
translated by 谷歌翻译
无监督域适应(UDA)旨在将知识从相关但不同的良好标记的源域转移到新的未标记的目标域。大多数现有的UDA方法需要访问源数据,因此当数据保密而不相配在隐私问题时,不适用。本文旨在仅使用培训的分类模型来解决现实设置,而不是访问源数据。为了有效地利用适应源模型,我们提出了一种新颖的方法,称为源假设转移(拍摄),其通过将目标数据特征拟合到冻结源分类模块(表示分类假设)来学习目标域的特征提取模块。具体而言,拍摄挖掘出于特征提取模块的信息最大化和自我监督学习,以确保目标特征通过同一假设与看不见的源数据的特征隐式对齐。此外,我们提出了一种新的标签转移策略,它基于预测的置信度(标签信息),然后采用半监督学习来将目标数据分成两个分裂,然后提高目标域中的较为自信预测的准确性。如果通过拍摄获得预测,我们表示标记转移为拍摄++。关于两位数分类和对象识别任务的广泛实验表明,拍摄和射击++实现了与最先进的结果超越或相当的结果,展示了我们对各种视域适应问题的方法的有效性。代码可用于\ url {https://github.com/tim-learn/shot-plus}。
translated by 谷歌翻译
Vision transformer has demonstrated great potential in abundant vision tasks. However, it also inevitably suffers from poor generalization capability when the distribution shift occurs in testing (i.e., out-of-distribution data). To mitigate this issue, we propose a novel method, Semantic-aware Message Broadcasting (SAMB), which enables more informative and flexible feature alignment for unsupervised domain adaptation (UDA). Particularly, we study the attention module in the vision transformer and notice that the alignment space using one global class token lacks enough flexibility, where it interacts information with all image tokens in the same manner but ignores the rich semantics of different regions. In this paper, we aim to improve the richness of the alignment features by enabling semantic-aware adaptive message broadcasting. Particularly, we introduce a group of learned group tokens as nodes to aggregate the global information from all image tokens, but encourage different group tokens to adaptively focus on the message broadcasting to different semantic regions. In this way, our message broadcasting encourages the group tokens to learn more informative and diverse information for effective domain alignment. Moreover, we systematically study the effects of adversarial-based feature alignment (ADA) and pseudo-label based self-training (PST) on UDA. We find that one simple two-stage training strategy with the cooperation of ADA and PST can further improve the adaptation capability of the vision transformer. Extensive experiments on DomainNet, OfficeHome, and VisDA-2017 demonstrate the effectiveness of our methods for UDA.
translated by 谷歌翻译
自我监督的学习(SSL)最近成为特征学习方法中的最爱。因此,它可以吸引域适应方法来考虑结合SSL。直觉是强制执行实例级别一致性,使得预测器在域中变得不变。但是,域适应制度中的大多数现有SSL方法通常被视为独立的辅助组件,使域自适应的签名无人看管。实际上,域间隙消失的最佳区域和SSL PERUSES的实例级别约束可能根本不一致。从这一点来看,我们向一个特定的范式的自我监督学习量身定制,用于域适应,即可转让的对比学习(TCL),这与SSL和所需的跨域转移性相一致地联系起来。我们发现对比学习本质上是一个合适的域适应候选者,因为它的实例不变性假设可以方便地促进由域适应任务青睐的跨域类级不变性。基于特定的记忆库结构和伪标签策略,TCL然后通过清洁和新的对比损失来惩罚源头和靶之间的跨域内域差异。免费午餐是由于纳入对比学习,TCL依赖于移动平均的关键编码器,自然地实现了用于目标数据的伪标签的暂停标签,这避免了无额外的成本。因此,TCL有效地减少了跨域间隙。通过对基准(Office-Home,Visda-2017,Diamet-Five,PACS和Domainnet)进行广泛的实验,用于单源和多源域适配任务,TCL已经证明了最先进的性能。
translated by 谷歌翻译
域适应(DA)旨在将知识从标签富裕但异构的域转移到标签恐慌域,这减轻了标签努力并吸引了相当大的关注。与以前的方法不同,重点是学习域中的特征表示,一些最近的方法存在通用半监督学习(SSL)技术,直接将它们应用于DA任务,甚至实现竞争性能。最受欢迎的SSL技术之一是伪标记,可通过标记数据训练的分类器为每个未标记数据分配伪标签。但是,它忽略了DA问题的分布偏移,并且不可避免地偏置为源数据。要解决此问题,我们提出了一个名为辅助目标域导向的分类器(ATDOC)的新伪标签框架。 ATDOC通过为目标数据引入辅助分类器来缓解分类器偏置,以提高伪标签的质量。具体地,我们使用内存机制并开发两种类型的非参数分类器,即最近的质心分类器和邻域聚合,而不引入任何其他网络参数。尽管在伪分类目标中具有简单性,但具有邻域聚集的ATDOC显着优于域对齐技术和现有的SSL技术,以及甚至瘢痕标记的SSL任务。
translated by 谷歌翻译
作为对数据有效使用的研究,多源无监督的域适应性将知识从带有标记数据的多个源域转移到了未标记的目标域。但是,目标域中不同域和嘈杂的伪标签之间的分布差异都导致多源无监督域适应方法的性能瓶颈。鉴于此,我们提出了一种将注意力驱动的领域融合和耐噪声学习(ADNT)整合到上述两个问题的方法。首先,我们建立了相反的注意结构,以在特征和诱导域运动之间执行信息。通过这种方法,当域差异降低时,特征的可区分性也可以显着提高。其次,基于无监督的域适应训练的特征,我们设计了自适应的反向横向熵损失,该损失可以直接对伪标签的产生施加约束。最后,结合了这两种方法,几个基准的实验结果进一步验证了我们提出的ADNT的有效性,并证明了优于最新方法的性能。
translated by 谷歌翻译
This work introduces the novel task of Source-free Multi-target Domain Adaptation and proposes adaptation framework comprising of \textbf{Co}nsistency with \textbf{N}uclear-Norm Maximization and \textbf{Mix}Up knowledge distillation (\textit{CoNMix}) as a solution to this problem. The main motive of this work is to solve for Single and Multi target Domain Adaptation (SMTDA) for the source-free paradigm, which enforces a constraint where the labeled source data is not available during target adaptation due to various privacy-related restrictions on data sharing. The source-free approach leverages target pseudo labels, which can be noisy, to improve the target adaptation. We introduce consistency between label preserving augmentations and utilize pseudo label refinement methods to reduce noisy pseudo labels. Further, we propose novel MixUp Knowledge Distillation (MKD) for better generalization on multiple target domains using various source-free STDA models. We also show that the Vision Transformer (VT) backbone gives better feature representation with improved domain transferability and class discriminability. Our proposed framework achieves the state-of-the-art (SOTA) results in various paradigms of source-free STDA and MTDA settings on popular domain adaptation datasets like Office-Home, Office-Caltech, and DomainNet. Project Page: https://sites.google.com/view/conmix-vcl
translated by 谷歌翻译
We propose a novel unsupervised domain adaptation framework based on domain-specific batch normalization in deep neural networks. We aim to adapt to both domains by specializing batch normalization layers in convolutional neural networks while allowing them to share all other model parameters, which is realized by a twostage algorithm. In the first stage, we estimate pseudolabels for the examples in the target domain using an external unsupervised domain adaptation algorithm-for example, MSTN [27] or CPUA [14]-integrating the proposed domain-specific batch normalization. The second stage learns the final models using a multi-task classification loss for the source and target domains. Note that the two domains have separate batch normalization layers in both stages. Our framework can be easily incorporated into the domain adaptation techniques based on deep neural networks with batch normalization layers. We also present that our approach can be extended to the problem with multiple source domains. The proposed algorithm is evaluated on multiple benchmark datasets and achieves the state-of-theart accuracy in the standard setting and the multi-source domain adaption scenario.
translated by 谷歌翻译
无监督的域适应(UDA)旨在将标记的源分布与未标记的目标分布对齐,以获取域不变预测模型。然而,众所周知的UDA方法的应用在半监督域适应(SSDA)方案中不完全概括,其中来自目标域的少数标记的样本可用。在本文中,我们提出了一种用于半监督域适应(CLDA)的简单对比学习框架,该框架试图在SSDA中弥合标记和未标记的目标分布与源极和未标记的目标分布之间的域间差距之间的域间隙。我们建议采用类明智的对比学学习来降低原始(输入图像)和强大增强的未标记目标图像之间的域间间隙和实例级对比度对准,以最小化域内差异。我们已经凭经验表明,这两个模块相互补充,以实现卓越的性能。在三个众所周知的域适应基准数据集中的实验即Domainnet,Office-Home和Office31展示了我们方法的有效性。 CLDA在所有上述数据集上实现最先进的结果。
translated by 谷歌翻译
半监督域适应(SSDA)是一种具有挑战性的问题,需要克服1)以朝向域的较差的数据和2)分布换档的方法。不幸的是,由于培训数据偏差朝标标样本训练,域适应(DA)和半监督学习(SSL)方法的简单组合通常无法解决这两个目的。在本文中,我们介绍了一种自适应结构学习方法,以规范SSL和DA的合作。灵感来自多视图学习,我们建议的框架由共享特征编码器网络和两个分类器网络组成,用于涉及矛盾的目的。其中,其中一个分类器被应用于组目标特征以提高级别的密度,扩大了鲁棒代表学习的分类集群的间隙。同时,其他分类器作为符号器,试图散射源功能以增强决策边界的平滑度。目标聚类和源扩展的迭代使目标特征成为相应源点的扩张边界内的封闭良好。对于跨域特征对齐和部分标记的数据学习的联合地址,我们应用最大平均差异(MMD)距离最小化和自培训(ST)将矛盾结构投影成共享视图以进行可靠的最终决定。对标准SSDA基准的实验结果包括Domainnet和Office-Home,展示了我们对最先进的方法的方法的准确性和稳健性。
translated by 谷歌翻译
Unsupervised domain adaptation (UDA) aims to leverage the knowledge learned from a labeled source dataset to solve similar tasks in a new unlabeled domain. Prior UDA methods typically require to access the source data when learning to adapt the model, making them risky and inefficient for decentralized private data. This work tackles a practical setting where only a trained source model is available and investigates how we can effectively utilize such a model without source data to solve UDA problems. We propose a simple yet generic representation learning framework, named Source HypOthesis Transfer (SHOT). SHOT freezes the classifier module (hypothesis) of the source model and learns the target-specific feature extraction module by exploiting both information maximization and selfsupervised pseudo-labeling to implicitly align representations from the target domains to the source hypothesis. To verify its versatility, we evaluate SHOT in a variety of adaptation cases including closed-set, partial-set, and open-set domain adaptation. Experiments indicate that SHOT yields state-of-the-art results among multiple domain adaptation benchmarks.
translated by 谷歌翻译
虽然在许多域内生成并提供了大量的未标记数据,但对视觉数据的自动理解的需求高于以往任何时候。大多数现有机器学习模型通常依赖于大量标记的训练数据来实现高性能。不幸的是,在现实世界的应用中,不能满足这种要求。标签的数量有限,手动注释数据昂贵且耗时。通常需要将知识从现有标记域传输到新域。但是,模型性能因域之间的差异(域移位或数据集偏差)而劣化。为了克服注释的负担,域适应(DA)旨在在将知识从一个域转移到另一个类似但不同的域中时减轻域移位问题。无监督的DA(UDA)处理标记的源域和未标记的目标域。 UDA的主要目标是减少标记的源数据和未标记的目标数据之间的域差异,并在培训期间在两个域中学习域不变的表示。在本文中,我们首先定义UDA问题。其次,我们从传统方法和基于深度学习的方法中概述了不同类别的UDA的最先进的方法。最后,我们收集常用的基准数据集和UDA最先进方法的报告结果对视觉识别问题。
translated by 谷歌翻译
在这项工作中,我们试图通过设计简单和紧凑的条件领域的逆势培训方法来解决无监督的域适应。我们首先重新审视简单的级联调节策略,其中特征与输出预测连接为鉴别器的输入。我们发现倾斜策略遭受了弱势调节力量。我们进一步证明扩大连接预测的规范可以有效地激励条件域对齐。因此,我们通过将输出预测标准化具有相同的特征的输出预测来改善连接调节,并且派生方法作为归一化输出调节器〜(名词)。然而,对域对齐的原始输出预测的调理,名词遭受目标域的不准确预测。为此,我们建议将原型空间中的跨域特征对齐方式而不是输出空间。将新的原型基于原型的调节与名词相结合,我们将增强方法作为基于原型的归一化输出调节器〜(代词)。对象识别和语义分割的实验表明,名词可以有效地对准域跨域的多模态结构,甚至优于最先进的域侵犯训练方法。与基于原型的调节一起,代词进一步提高了UDA的多个对象识别基准上的名词的适应性能。
translated by 谷歌翻译
关于无监督域适应性(UDA)的大多数现有研究都认为每个域的训练样本都带有域标签(例如绘画,照片)。假定每个域中的样品都遵循相同的分布,并利用域标签通过特征对齐来学习域不变特征。但是,这样的假设通常并不成立 - 通常存在许多较细粒的领域(例如,已经开发出了数十种现代绘画样式,每种绘画样式与经典风格的范围都有很大不同)。因此,在每个人工定义和粗粒结构域之间强迫特征分布对齐可能是无效的。在本文中,我们从完全不同的角度解决了单源和多源UDA,即将每个实例视为一个良好的域。因此,跨域的特征对齐是冗余。相反,我们建议执行动态实例域的适应性(DIDA)。具体而言,开发了具有自适应卷积内核的动态神经网络,以生成实例自适应残差,以使域 - 无知的深度特征适应每个单独的实例。这使得共享分类器可以同时应用于源域数据,而无需依赖任何域注释。此外,我们没有施加复杂的特征对准损失,而是仅使用标记的源和伪标记为目标数据的跨透镜损失采用简单的半监督学习范式。我们的模型被称为DIDA-NET,可以在几种常用的单源和多源UDA数据集上实现最先进的性能,包括数字,办公室房屋,域名,域名,Digit-Five和PAC。
translated by 谷歌翻译
无监督域适应(UDA)旨在将从标记的源域中学习的知识转移到未标记的目标域。以前的工作主要是在卷积神经网络(CNNS)上建立的,以学习域名不变的表示。随着近期应用视觉变压器(VIT)对视力任务的指数增加,然而,在文献中仍未开发了调整跨领域知识的能力。为了填补这一差距,本文首先全面调查了vit的各种域适应任务的可转移性。令人惊讶的是,VIT通过其具有大边缘的基于CNNS的对应物来证明优异的可转移性,而通过掺入抗体适应可以进一步提高性能。尽管如此,直接使用基于CNNS的适应策略未能利用Vit的内在优点(例如,注意机制和顺序图像表示)在知识转移中起重要作用。为了解决这个问题,我们提出了一个统一的框架,即可转换的视觉变压器(TVT),以充分利用VIT的可转换性来实现域适应。具体而言,我们精致地设计了一种新颖且有效的单位,我们术语可转移适应模块(TAM)。通过将学习的传递注入注意块,TAM压迫重点是可转移和辨别特征。此外,我们利用判别聚类来增强在对抗域对齐期间破坏的特征分集和分离。为了验证其多功能性,我们在四个基准测试中对TVT进行了广泛的研究,实验结果表明,与现有的最先进的UDA方法相比,TVT达到了显着的改进。
translated by 谷歌翻译
通过从完全标记的源域中利用数据,无监督域适应(UDA)通过显式差异最小化数据分布或对抗学习来提高未标记的目标域上的分类性能。作为增强,通过利用模型预测来加强目标特征识别期间涉及类别对齐。但是,在目标域上的错误类别预测中产生的伪标签不准确以及由源域的过度录制引起的分发偏差存在未探明的问题。在本文中,我们提出了一种模型 - 不可知的两阶段学习框架,这大大减少了使用软伪标签策略的缺陷模型预测,并避免了课程学习策略的源域上的过度拟合。从理论上讲,它成功降低了目标域上预期误差的上限的综合风险。在第一阶段,我们用分布对齐的UDA方法训练一个模型,以获得具有相当高的置位目标域上的软语义标签。为了避免在源域上的过度拟合,在第二阶段,我们提出了一种课程学习策略,以自适应地控制来自两个域的损失之间的加权,以便训练阶段的焦点从源分布逐渐移位到目标分布,以预测信心提升了目标分布在目标领域。对两个知名基准数据集的广泛实验验证了我们提出框架促进促进顶级UDA算法的性能的普遍效果,并展示其一致的卓越性能。
translated by 谷歌翻译
以前的无监督域适应性(UDA)方法旨在通过从富含标签的源域到未标记的目标域的单向知识转移来促进目标学习,而到目前为止,尚未共同考虑其从目标到源的反向适应性。实际上,在一些真正的教学实践中,老师帮助学生学习,同时在某种程度上也从学生那里获得晋升,这激发了我们探索域之间的双向知识转移,因此提出了双重校正适应网络(DUALCAN)在本文中。但是,由于跨域的不对称标签知识,从未标记的目标转移到标记的来源比共同的源与目标对应物更加困难。首先,由源预测的目标伪标签通常涉及模型偏差引起的噪音,因此在反向适应中,它们可能会损害源绩效并带来负目标转换。其次,源域通常包含先天噪声,这将不可避免地加剧目标噪声,从而导致跨域的噪声扩增。为此,我们进一步引入了噪声识别和校正(NIC)模块,以纠正和回收两个域中的噪声。据我们所知,这是对嘈杂UDA的双向适应的首次幼稚尝试,并且自然适用于无噪声UDA。给出理论理由以说明我们的直觉的合理性。经验结果证实了双can的有效性,其性能在最先进的方面具有显着的性能,尤其是对于极端嘈杂的任务(例如,PW-> pr和PR-> RW的办公室房屋)的有效性。
translated by 谷歌翻译
批量归一化(BN)广泛用于现代神经网络,已被证明代表与域相关知识,因此对于跨域任务(如无监督域适应(UDA))无效。现有的BN变体方法在归一化模块中相同信道中的源和目标域知识。然而,跨域跨域的相应通道的特征之间的错位通常导致子最佳的可转换性。在本文中,我们利用跨域关系并提出了一种新颖的归一化方法,互惠归一化(RN)。具体地,RN首先呈现互易补偿(RC)模块,用于基于跨域频道明智的相关性在两个域中获取每个信道的补偿。然后,RN开发互易聚合(RA)模块,以便以其跨域补偿组件自适应地聚合特征。作为BN的替代方案,RN更适合于UDA问题并且可以容易地集成到流行的域适应方法中。实验表明,所提出的RN优于现有的正常化对应物,通过大幅度,并有助于最先进的适应方法实现更好的结果。源代码可在https://github.com/openning07/reciprocal-normalization-for-da上找到。
translated by 谷歌翻译