通用域的适应性(UNIDA)旨在将公共类的知识从源域转移到目标域,而无需对标签集的任何先验知识,这需要将未知样本与目标域中的已知样本区分开。就像传统的无监督域适应问题一样,由于偏见和歧视性较低的嵌入,两个域之间的错位也存在。最新方法提出了通过将目标样品与最近的邻居或原型聚类来完成域未对准的方法。但是,这样做是很危险的,因为我们对未知样本的分布没有任何先验知识,这些样本可以放大错位,尤其是当未知集很大的时候。同时,其他现有基于分类器的方法可以轻松地产生对未知样本的过度自信预测,因为在源域中有监督的目标导致整个模型偏向于目标域中的共同类别。因此,我们提出了一种新型的非参数未知样品检测方法,基于将原始特征空间中的样品映射到可靠的线性子空间中,这使数据点更稀疏,以减少未知样品和源样本之间的不对准。此外,与最近应用额外参数以改善未知样品分类的方法不同,本文通过未知的自适应保证金损失可以很好地平衡已知样品和未知样品的置信值,从而可以控制分类器学习的梯度在有监督的来源上的梯度更新样品取决于当前步骤中检测到的未知样品的置信度。最后,在四个公共数据集上的实验表明,我们的方法显着胜过现有的最新方法。
translated by 谷歌翻译
通用域的适应性(UDA)旨在将公共类的知识从源域转移到目标域,而无需对标签集的任何先验知识,这需要将未知样本与目标域中的已知样本区分开。最近的方法更喜欢增加已知类别中样本间亲和力,而它们忽略了未知样本与已知样本之间的样本间亲和力。本文表明,利用这种样本间亲和力可以显着提高UDA的性能,并提出基于IT的知识性UDA框架。首先,我们通过在源域中搜索其相邻样本来估计每个目标样本的可知性。然后,我们提出了一种适用于估计的可知性的自动阈值方案,以确定目标样本是未知还是已知。接下来,除了增加每个已知类别的样本间亲和力(如先前的方法)外,我们还根据估计的可知性设计新损失,以减少未知目标样本与已知目标样本之间的样本间亲和力。最后,在四个公共数据集上的实验表明,我们的方法显着胜过现有的最新方法。
translated by 谷歌翻译
学习目标域中的未知样本(不存在于源类中)对于无监督域适应(UDA)相当重要。存在两个典型的UDA方案,即开放式和开放式集合,后者假定目标域中并非所有源类都显示在内。但是,大多数先前的方法都是为一个UDA场景而设计的,并且始终在其他UDA方案上表现差。此外,它们还需要在适应过程中标记的源数据,限制其在数据隐私敏感应用中的可用性。为了解决这些问题,本文提出了一种通用模型适应(UMAD)框架,其处理了UDA方案,而无需访问源数据,也不是关于域之间类别的类别的知识。具体而言,我们的目标是使用优雅设计的双头分类器来学习源模型,并将其提供给目标域。在适应期间,我们开发了一种信息丰富的一致性分数,以帮助区分从已知样品中的未知样本。为了在目标域中实现双边适应,我们进一步最大化了局部化的相互信息,以将已知的样本与源分类器对齐,并采用熵丢失,以便分别推动远离源分类边界的未知样本。开放式和开放式的UDA方案的实验表明,umad作为无需访问源数据的统一方法,展示与最先进的数据相关方法的可比性。
translated by 谷歌翻译
通用域适应性(UNIDA)是一种一般无监督的域适应设置,它解决了自适应中的域和标签变化。它的主要挑战在于如何在未共享或未知类中识别目标样本。以前的方法通常努力描绘样本“置信度”以及拒绝未知数的阈值,并使跨域共享类的特征分布对齐。但是,仍然很难预先指定“信心”标准和阈值,这些标准和阈值适应各种实际任务,并且对未知数的错误预测进一步导致了共享类中特征的错误对准。在本文中,我们提出了一种新的UNIDA方法,该方法具有分类器悖论(UACP)的自适应未知身份验证,考虑到具有矛盾预测的样品可能是未知的,属于源类别。在UACP中,一个复合分类器与两种类型的预测变量共同设计。也就是说,多类(MC)预测器将样品分类为多个源类之一,而二进制单VS-ALL(OVA)预测器进一步验证了MC预测器的预测。验证失败或悖论的样品被鉴定为未知数。此外,在输出空间中进行了隐式域对齐,而不是共享类别的特征对齐,使跨域的样本共享相同的决策边界,尽管特征差异都具有相同的决策边界。经验结果验证了开放式UDA和通用UDA设置下的UACP。
translated by 谷歌翻译
Universal Domain Adaptation aims to transfer the knowledge between the datasets by handling two shifts: domain-shift and category-shift. The main challenge is correctly distinguishing the unknown target samples while adapting the distribution of known class knowledge from source to target. Most existing methods approach this problem by first training the target adapted known classifier and then relying on the single threshold to distinguish unknown target samples. However, this simple threshold-based approach prevents the model from considering the underlying complexities existing between the known and unknown samples in the high-dimensional feature space. In this paper, we propose a new approach in which we use two sets of feature points, namely dual Classifiers for Prototypes and Reciprocals (CPR). Our key idea is to associate each prototype with corresponding known class features while pushing the reciprocals apart from these prototypes to locate them in the potential unknown feature space. The target samples are then classified as unknown if they fall near any reciprocals at test time. To successfully train our framework, we collect the partial, confident target samples that are classified as known or unknown through on our proposed multi-criteria selection. We then additionally apply the entropy loss regularization to them. For further adaptation, we also apply standard consistency regularization that matches the predictions of two different views of the input to make more compact target feature space. We evaluate our proposal, CPR, on three standard benchmarks and achieve comparable or new state-of-the-art results. We also provide extensive ablation experiments to verify our main design choices in our framework.
translated by 谷歌翻译
Unsupervised domain adaptation (UDA) has been highly successful in transferring knowledge acquired from a label-rich source domain to a label-scarce target domain. Open-set domain adaptation (ODA) and universal domain adaptation (UNDA) have been proposed as solutions to the problem concerning the presence of additional novel categories in the target domain. Existing ODA and UNDA approaches treat all novel categories as one unified unknown class and attempt to detect this unknown class during the training process. We find that domain variance leads to more significant view-noise in unsupervised data augmentation, affecting the further applications of contrastive learning~(CL), as well as the current closed-set classifier and open-set classifier causing the model to be overconfident in novel class discovery. To address the above two issues, we propose Soft-contrastive All-in-one Network~(SAN) for ODA and UNDA tasks. SAN includes a novel data-augmentation-based CL loss, which is used to improve the representational capability, and a more human-intuitive classifier, which is used to improve the new class discovery capability. The soft contrastive learning~(SCL) loss is used to weaken the adverse effects of the data-augmentation label noise problem, which is amplified in domain transfer. The All-in-One~(AIO) classifier overcomes the overconfidence problem of the current mainstream closed-set classifier and open-set classifier in a more human-intuitive way. The visualization results and ablation experiments demonstrate the importance of the two proposed innovations. Moreover, extensive experimental results on ODA and UNDA show that SAN has advantages over the existing state-of-the-art methods.
translated by 谷歌翻译
开放型域适应(OSDA)假设目标域包含未知类,这些类未在源域中发现。现有的域对抗学习方法不适合OSDA,因为与\ textit {Unknown}类匹配的分布会导致负转移。以前的OSDA方法仅通过使用\ textit {已知}类而着重于匹配源和目标分布。但是,此\ textit {已知} - 仅匹配可能无法学习目标 - \ textit {unknown}特征空间。因此,我们提出了不知名的域对抗学习(uadal),\ textit {aligns} source and targe- \ textit {已知{已知{已知{已知{已知{功能对齐过程。我们提供了有关提出的\ textIt {unknown-ware}特征对齐的优化状态的理论分析,因此我们可以保证\ textit {Alignment}和\ textit {segregation}理论上。从经验上讲,我们在基准数据集上评估了Uadal,该数据集表明Uadal通过报告最先进的性能来优于其他具有更好特征对齐方式的方法。
translated by 谷歌翻译
域适应(DA)旨在将知识从标签富裕但异构的域转移到标签恐慌域,这减轻了标签努力并吸引了相当大的关注。与以前的方法不同,重点是学习域中的特征表示,一些最近的方法存在通用半监督学习(SSL)技术,直接将它们应用于DA任务,甚至实现竞争性能。最受欢迎的SSL技术之一是伪标记,可通过标记数据训练的分类器为每个未标记数据分配伪标签。但是,它忽略了DA问题的分布偏移,并且不可避免地偏置为源数据。要解决此问题,我们提出了一个名为辅助目标域导向的分类器(ATDOC)的新伪标签框架。 ATDOC通过为目标数据引入辅助分类器来缓解分类器偏置,以提高伪标签的质量。具体地,我们使用内存机制并开发两种类型的非参数分类器,即最近的质心分类器和邻域聚合,而不引入任何其他网络参数。尽管在伪分类目标中具有简单性,但具有邻域聚集的ATDOC显着优于域对齐技术和现有的SSL技术,以及甚至瘢痕标记的SSL任务。
translated by 谷歌翻译
域适应(DA)旨在缓解源域和目标域之间的域移位。大多数DA方法都需要访问源数据,但通常是不可能的(例如,由于数据隐私或知识产权)。在本文中,我们解决了挑战的无源域适应(SFDA)问题,其中源净定模型在没有源数据的情况下适应目标域。我们的方法基于目标数据的观察,该数据可能不再与源域分类器对齐,仍然形成清晰的群集。我们通过定义目标数据的本地亲和力来捕获此内在结构,并鼓励具有高局部亲和力的数据之间的标签一致性。我们观察到应将更高的亲和力分配给互惠邻居,并提出自正规化损失以减少嘈杂邻居的负面影响。此外,要使用更多上下文聚合信息,我们考虑扩展的邻域,具有小关联值。在实验结果中,我们验证了目标特征的固有结构是域适应的重要信息来源。我们证明可以通过考虑本地邻居,互易邻居和扩展的邻域来有效地捕获该局部结构。最后,我们在几个2D图像和3D点云识别数据集中实现最先进的性能。代码是在https://github.com/albert0147/sfda_neighbors中获得的。
translated by 谷歌翻译
无监督域适应(UDA)旨在将知识从相关但不同的良好标记的源域转移到新的未标记的目标域。大多数现有的UDA方法需要访问源数据,因此当数据保密而不相配在隐私问题时,不适用。本文旨在仅使用培训的分类模型来解决现实设置,而不是访问源数据。为了有效地利用适应源模型,我们提出了一种新颖的方法,称为源假设转移(拍摄),其通过将目标数据特征拟合到冻结源分类模块(表示分类假设)来学习目标域的特征提取模块。具体而言,拍摄挖掘出于特征提取模块的信息最大化和自我监督学习,以确保目标特征通过同一假设与看不见的源数据的特征隐式对齐。此外,我们提出了一种新的标签转移策略,它基于预测的置信度(标签信息),然后采用半监督学习来将目标数据分成两个分裂,然后提高目标域中的较为自信预测的准确性。如果通过拍摄获得预测,我们表示标记转移为拍摄++。关于两位数分类和对象识别任务的广泛实验表明,拍摄和射击++实现了与最先进的结果超越或相当的结果,展示了我们对各种视域适应问题的方法的有效性。代码可用于\ url {https://github.com/tim-learn/shot-plus}。
translated by 谷歌翻译
虽然在许多域内生成并提供了大量的未标记数据,但对视觉数据的自动理解的需求高于以往任何时候。大多数现有机器学习模型通常依赖于大量标记的训练数据来实现高性能。不幸的是,在现实世界的应用中,不能满足这种要求。标签的数量有限,手动注释数据昂贵且耗时。通常需要将知识从现有标记域传输到新域。但是,模型性能因域之间的差异(域移位或数据集偏差)而劣化。为了克服注释的负担,域适应(DA)旨在在将知识从一个域转移到另一个类似但不同的域中时减轻域移位问题。无监督的DA(UDA)处理标记的源域和未标记的目标域。 UDA的主要目标是减少标记的源数据和未标记的目标数据之间的域差异,并在培训期间在两个域中学习域不变的表示。在本文中,我们首先定义UDA问题。其次,我们从传统方法和基于深度学习的方法中概述了不同类别的UDA的最先进的方法。最后,我们收集常用的基准数据集和UDA最先进方法的报告结果对视觉识别问题。
translated by 谷歌翻译
无监督的域适应性(DA)中的主要挑战是减轻源域和目标域之间的域移动。先前的DA工作表明,可以使用借口任务来通过学习域不变表示来减轻此域的转移。但是,实际上,我们发现大多数现有的借口任务对其他已建立的技术无效。因此,我们从理论上分析了如何以及何时可以利用子公司借口任务来协助给定DA问题的目标任务并制定客观的子公司任务适用性标准。基于此标准,我们设计了一个新颖的贴纸干预过程和铸造贴纸分类的过程,作为监督的子公司DA问题,该问题与目标任务无监督的DA同时发生。我们的方法不仅改善了目标任务适应性能,而且还促进了面向隐私的无源DA,即没有并发源目标访问。标准Office-31,Office-Home,Domainnet和Visda基准的实验证明了我们对单源和多源无源DA的优势。我们的方法还补充了现有的无源作品,从而实现了领先的绩效。
translated by 谷歌翻译
本文研究了一个新的,实用但具有挑战性的问题,称为类无监督的域名适应性(CI-UDA),其中标记的源域包含所有类别,但是未标记的目标域中的类别依次增加。由于两个困难,这个问题具有挑战性。首先,源和目标标签集在每个时间步骤都不一致,这使得很难进行准确的域对齐。其次,以前的目标类在当前步骤中不可用,从而忘记了先前的知识。为了解决这个问题,我们提出了一种新型的原型引导连续适应(PROCA)方法,由两种解决方案策略组成。 1)标签原型识别:我们通过检测具有目标样本的累积预测概率的共享类来识别目标标签原型。 2)基于原型的对齐和重播:基于确定的标签原型,我们对齐域并强制执行模型以保留先前的知识。有了这两种策略,ProCA能够有效地将源模型改编为类未标记的目标域。广泛的实验证明了Proca在解决CI-UDA方面的有效性和优势。源代码可从https://github.com/hongbin98/proca.git获得
translated by 谷歌翻译
Active域适应(ADA)查询所选目标样本的标签,以帮助将模型从相关的源域调整为目标域。由于其有希望的表现,标签成本最少,因此最近引起了人们越来越多的关注。然而,现有的ADA方法尚未完全利用查询数据的局部环境,这对ADA很重要,尤其是当域间隙较大时。在本文中,我们提出了一个局部环境感知的活动域适应性(LADA)的新框架,该框架由两个关键模块组成。本地上下文感知的活动选择(LAS)模块选择其类概率预测与邻居不一致的目标样本。局部上下文感知模型适应(LMA)模块完善了具有查询样本及其扩展的邻居的模型,并由上下文保留损失正规化。广泛的实验表明,与现有的主动选择策略相比,LAS选择了更多的信息样本。此外,配备了LMA,整个LADA方法的表现优于各种基准测试的最先进的ADA解决方案。代码可在https://github.com/tsun/lada上找到。
translated by 谷歌翻译
半监督域的适应性(SSDA)旨在将从完全标记的源域学习的知识应用于几乎没有标记的目标域。在本文中,我们为SSDA提出了一个多级一致性学习(MCL)框架。具体而言,我们的MCL将目标域样本的不同视图的一致性定于三个级别:(i)在域间级别,我们使用基于原型的最佳传输方法来稳健,准确地对齐源和目标域,该方法利用了PROS和PROS和PROS域目标样本不同观点的缺点; (ii)在域内层面上,我们通过提出新颖的班级对比聚类损失来促进歧视性和紧凑的目标特征表示。 (iii)在样本级别,我们遵循标准实践,并通过进行基于一致性的自我训练来提高预测准确性。从经验上,我们验证了MCL框架对三个流行的SSDA基准的有效性,即Visda2017,域名和办公室家庭数据集,实验结果表明我们的MCL框架可以实现最新的性能。
translated by 谷歌翻译
大多数现代无人监督域适应(UDA)方法源于域对齐,即,学习源和目标功能,使用源标签学习目标域分类器。在半监督域适应(SSDA)中,当学习者可以访问少量目标域标签时,先前的方法遵循UDA理论以使用域对齐进行学习。我们表明SSDA的情况是不同的,并且可以在不需要对齐的情况下学习良好的目标分类器。我们使用自我监督的预测(通过旋转预测)和一致性正则化来实现良好的分开的目标集群,同时在学习低误差目标分类器时。凭借我们预先推价和一致性(PAC)方法,我们在该半监控域适应任务上实现了最新的目标准确性,超过了多个数据集的多个对抗域对齐方法。 PAC,同时使用简单的技术,对DomainNet和Visda-17等大而挑战的SSDA基准进行了非常好的,通常通过相当的边距来表现最近的艺术状态。我们的实验代码可以在https://github.com/venkatesh-saligrama/pac找到
translated by 谷歌翻译
实用的现实世界数据集具有丰富的类别,为无监督的领域适应带来了新的挑战,例如小型阶层歧视性,仅依靠域不变性的现有方法不能很好地处理。在这项工作中,我们提出了MEMSAC,该MEMSAC利用了跨源和目标域的样本级别相似性​​,以实现判别性转移,以​​及扩展到大量类别的体系结构。为此,我们首先引入一种内存增强方法,以在标记的源和未标记的目标域实例之间有效提取成对的相似性关系,该实例适用于处理任意数量的类。接下来,我们建议和理论上证明对比损失的新型变体,以促进阶层内跨域样本之间的局部一致性,同时在类别之间执行分离,从而保留从源到目标的歧视性转移。我们验证了MEMSAC的优势,比以前的最先进的最先进的转移任务有了显着改进。我们还提供了深入的分析和对MEMSAC有效性的见解。
translated by 谷歌翻译
半监督域适应(SSDA)是一种具有挑战性的问题,需要克服1)以朝向域的较差的数据和2)分布换档的方法。不幸的是,由于培训数据偏差朝标标样本训练,域适应(DA)和半监督学习(SSL)方法的简单组合通常无法解决这两个目的。在本文中,我们介绍了一种自适应结构学习方法,以规范SSL和DA的合作。灵感来自多视图学习,我们建议的框架由共享特征编码器网络和两个分类器网络组成,用于涉及矛盾的目的。其中,其中一个分类器被应用于组目标特征以提高级别的密度,扩大了鲁棒代表学习的分类集群的间隙。同时,其他分类器作为符号器,试图散射源功能以增强决策边界的平滑度。目标聚类和源扩展的迭代使目标特征成为相应源点的扩张边界内的封闭良好。对于跨域特征对齐和部分标记的数据学习的联合地址,我们应用最大平均差异(MMD)距离最小化和自培训(ST)将矛盾结构投影成共享视图以进行可靠的最终决定。对标准SSDA基准的实验结果包括Domainnet和Office-Home,展示了我们对最先进的方法的方法的准确性和稳健性。
translated by 谷歌翻译
半监督域适应性(SSDA)中的主要挑战之一是标记源和目标样本数量之间的偏差比,导致该模型偏向源域。 SSDA中的最新作品表明,仅将标记的目标样品与源样本对齐可能导致目标域与源域的不完全域对齐。在我们的方法中,为了使两个域对齐,我们利用对比的损失,使用来自两个域的监督样本学习语义上有意义的域不可知特征空间。为了减轻偏斜标签比率引起的挑战,我们通过将其特征表示形式与来自源和目标域的标记样品的特征表示形式进行比较,为未标记的目标样本进行了伪造。此外,为了增加目标域的支持,在训练过程中,这些潜在的嘈杂的伪标签逐渐被逐渐注入标记的目标数据集中。具体而言,我们使用温度缩放的余弦相似性度量将软伪标签分配给未标记的目标样品。此外,我们计算每个未标记样品的软伪标签的指数移动平均值。这些伪标签逐渐注入或删除)(从)基于置信阈值(以补充源和目标分布的比对)(从)中(从)中。最后,我们在标记和伪标记的数据集上使用有监督的对比损失来对齐源和目标分布。使用我们提出的方法,我们在SSDA基准测试中展示了最先进的性能-Office-Home,Domainnet和Office-31。
translated by 谷歌翻译
与标准闭合域的适应任务相反,部分域适应设置通过放松相同的标签集假设来迎合现实情况。但是,源标签集集成了目标标签集的事实,因此引入了一些额外的障碍,因为私人源类别样本的培训阻止了相关的知识转移并误导了分类过程。为了减轻这些问题,我们设计了一种机制,用于策略选择高度自信的目标样本,这对于估算班级的体重所必需的必不可少的机制。此外,我们通过将实现紧凑型和不同类别分布的过程与对抗性目标结合过程来捕获类歧视和域的不变特征。对众多跨域分类任务的实验发现证明了所提出的技术具有比现有方法具有卓越和可比精度的潜力。
translated by 谷歌翻译