无监督模型转移有可能极大地提高深层模型对新域的可扩展性。然而,目前的文献认为将目标数据分离成不同的域称为先验。在本文中,我们提出了域不可知学习(DAL)的任务:如何将知识从标记的源域转移到未标记的数据到目标域?为了解决这个问题,我们设计了一种新颖的DeepAdversarial解缠绕自动编码器(DADA),能够从类身份中解开特定于域的特征。我们通过实验证明,当目标域标签未知时,DADA会在几个图像分类数据集上产生最先进的性能。
translated by 谷歌翻译
无监督域适应的目的是在给定标记的源数据集和未标记的目标数据集的情况下学习目标域的强大分类器。为了减轻域移位的主要挑战“域移位”的影响,研究试图调整分布的结果。 twodomains。最近的研究表明,生成对抗网络(GAN)具有隐式捕获数据分布的能力。因此,在本文中,我们提出了一个简单但有效的无监督域适应模型,利用对抗性学习。在源域和目标域之间共享相同的编码器,期望在对抗性鉴别器的帮助下提取域不变表示。利用标记的源数据,我们引入中心损失以增加所学特征的判别力。我们进一步调整了两个域的条件分布,以强制区分目标域中的特征。与先前使用固定的预训练编码器提取源特征的研究不同,我们的方法联合学习两个域的特征表示。此外,通过共享编码器,模型不需要在测试期间知道图像的来源,因此可以更广泛地应用。我们在几个无监督的域自适应基准上评估所提出的方法,并获得与最先进结果相当的优越或相当的性能。
translated by 谷歌翻译
深度学习方法已经在无监督域适应中显示出希望,其旨在利用标记的源域来学习具有不同分布的未标记目标域的分类器。但是,这种方法通常会学习一个域不变的表示空间来匹配源域和目标域的边缘分布,同时忽略它们的精细层次结构。在本文中,我们提出了与教师(CAT)的群集对齐,用于无监督的域适应,它可以有效地将两个域中的差异聚类结构合并到更好的适应中。技术上,CAT利用隐含的集合教师模型来可靠地发现类条件结构。未标记的目标域的特征空间。然后,CAT强制源和目标域的特征形成有区别的类条件集群,并跨域对齐相应的集群。实证结果表明,在几个无监督的领域适应情景中,CAT可以获得最先进的结果。
translated by 谷歌翻译
用于图像分类任务的深度学习(例如,卷积神经网络)的准确性严格依赖于标记的训练数据的量。旨在解决缺少标记数据但获得对廉价可用未标记数据的访问的新域上的图像分类任务,通过假设来自不同域的图像具有不变特征,无监督域适应是提高性能而不产生额外标记成本的有前景的技术。在本文中,我们提出了一种新的无监督域自适应方法,称为深度神经网络的域 - 对抗残差传递(DART)学习,以解决跨域图像分类问题。与现有的无监督域自适应方法相比,所提出的DART不仅通过对抗训练来学习域不变特征,而且还通过遗传 - 转移策略实现了强大的域自适应分类,所有这些都在端到端的训练框架中。我们在几个众所周知的基准数据集上评估了所提出的跨域图像分类任务方法的性能,其中我们的方法明显优于最先进的方法。
translated by 谷歌翻译
While domain adaptation has been actively researched, most algorithms focus on the single-source-single-target adaptation setting. In this paper we propose new generalization bounds and algorithms under both classification and regression settings for unsupervised multiple source domain adaptation. Our theoretical analysis naturally leads to an efficient learning strategy using adversarial neural networks: we show how to interpret it as learning feature representations that are invariant to the multiple domain shifts while still being discriminative for the learning task. To this end, we propose multisource domain adversarial networks (MDAN) that approach domain adaptation by optimizing task-adaptive generalization bounds. To demonstrate the effectiveness of MDAN, we conduct extensive experiments showing superior adaptation performance on both classification and regression problems: sentiment analysis, digit classification, and vehicle counting.
translated by 谷歌翻译
无监督域适配(UDA)将知识从标签丰富的源域转移到完全未标记的目标域。为了解决这个问题,最近的方法通过伪标签来诉诸于歧视性域名转移,以强制跨源和目标域的类级别分布对齐。然而,这些方法容易受到误差累积的影响,并且不能保持跨域类别的一致性,因为不能明确地保证伪标记的准确性。在本文中,我们提出了渐进特征对齐网络(PFAN),通过开发目标域内的类内变化,逐步有效地协调跨域的不一致特征。具体而言,我们首先开发一种易于转移的策略(EHTS)和一个AdaptivePrototype Alignment(APA)步骤,以迭代和替代方式训练我们的模型。此外,在观察到良好的域适应通常需要非饱和的源分类器时,我们考虑通过进一步将温度变量纳入soft-max函数来延迟源分类损失的收敛速度的简单而有效的途径。大量的实验结果表明,所提出的PFAN超过了三个UDA数据集的最新性能。
translated by 谷歌翻译
深度学习提出了希望和期望,作为许多应用程序的一般解决方案;事实证明它已被证明是有效的,但它也显示出对大量数据的强烈依赖性。幸运的是,已经证明,即使数据稀缺,也可以通过重复使用priorknowledge来训练成功的模型。因此,在最广泛的定义中,开发转移学习技术是部署有效和准确的智能系统的关键因素。本文将重点研究一系列适用于视觉目标识别任务的转移学习方法,特别是图像分类。转移学习是一个通用术语,并且特定设置已经给出了特定的名称:当学习者只能访问来自目标域的标记数据和来自不同域(源)的标记数据时,问题被称为“无监督域适应”。 (DA)。这项工作的第一部分将集中在这个设置的三种方法:其中一种方法涉及特征,一种是图像,而第三种方法同时使用两种。第二部分将重点关注机器人感知的现实生活问题,特别是RGB-D识别。机器人平台通常不仅限于色彩感知;他们经常带着Depthcamera。不幸的是,深度模态很少用于视觉识别,因为缺乏预先训练的模型,从中可以传输并且很少有数据从头开始。将提出两种处理这种情况的方法:一种使用合成数据,另一种利用跨模态转移学习。
translated by 谷歌翻译
It is important to transfer the knowledge from label-rich source domain to unlabeled target domain due to the expensive cost of manual labeling efforts. Prior domain adaptation methods address this problem through aligning the global distribution statistics between source domain and target domain, but a drawback of prior methods is that they ignore the semantic information contained in samples, e.g., features of backpack-s in target domain might be mapped near features of cars in source domain. In this paper, we present moving semantic transfer network, which learn semantic representations for unlabeled target samples by aligning labeled source centroid and pseudo-labeled target centroid. Features in same class but different domains are expected to be mapped nearby, resulting in an improved target classification accuracy. Moving average cen-troid alignment is cautiously designed to compensate the insufficient categorical information within each mini batch. Experiments testify that our model yields state of the art results on standard datasets.
translated by 谷歌翻译
深度域自适应的最新进展表明,对抗性学习可以嵌入到深度网络中,以学习可传递的特征,这些特征可以减少源域和目标域之间的分布差异。现有的基于单域鉴别器的域对等自适应方法仅在不利用复数多模结构的情况下对源数据分布和目标数据分布进行了分析。在本文中,我们提出了一种多对抗域适应(MADA)方法,该方法捕获多模结构,以基于多个domaindisciminiminator实现不同数据分布的细粒度对齐。可以通过随机梯度下降来实现自适应,其中梯度通过在线性时间中的反向传播来计算。经验证据表明,所提出的模型在标准域适应数据集上优于现有技术方法。
translated by 谷歌翻译
This paper proposes an importance weighted adversar-ial nets-based method for unsupervised domain adaptation, specific for partial domain adaptation where the target domain has less number of classes compared to the source domain. Previous domain adaptation methods generally assume the identical label spaces, such that reducing the distribution divergence leads to feasible knowledge transfer. However, such an assumption is no longer valid in a more realistic scenario that requires adaptation from a larger and more diverse source domain to a smaller target domain with less number of classes. This paper extends the adversar-ial nets-based domain adaptation and proposes a novel ad-versarial nets-based partial domain adaptation method to identify the source samples that are potentially from the out-lier classes and, at the same time, reduce the shift of shared classes between domains.
translated by 谷歌翻译
Current Domain Adaptation (DA) methods based on deep architectures assume that the source samples arise from a single distribution. However, in practice most datasets can be regarded as mixtures of multiple domains. In these cases exploiting single-source DA methods for learning target classifiers may lead to sub-optimal, if not poor, results. In addition, in many applications it is difficult to manually provide the domain labels for all source data points, i.e. latent domains should be automatically discovered. This paper introduces a novel Convolutional Neural Network (CNN) architecture which (i) automatically discovers latent domains in visual datasets and (ii) exploits this information to learn robust target classifiers. Our approach is based on the introduction of two main components, which can be embedded into any existing CNN architecture: (i) a side branch that automatically computes the assignment of a source sample to a latent domain and (ii) novel layers that exploit domain membership information to appropriately align the distribution of the CNN internal feature representations to a reference distribution. We test our approach on publicly-available datasets, showing that it outperforms state-of-the-art multi-source DA methods by a large margin.
translated by 谷歌翻译
The objective of unsupervised domain adaptation is to leverage features from a labeled source domain and learn a classifier for an unlabeled target domain, with a similar but different data distribution. Most deep learning approaches to domain adaptation consist of two steps: (i) learn features that preserve a low risk on labeled samples (source domain) and (ii) make the features from both domains to be as indistinguishable as possible, so that a clas-sifier trained on the source can also be applied on the target domain. In general, the classifiers in step (i) consist of fully-connected layers applied directly on the indistinguishable features learned in (ii). In this paper, we propose a different way to do the classification, using similarity learning. The proposed method learns a pairwise similarity function in which classification can be performed by computing similarity between prototype representations of each category. The domain-invariant features and the categorical prototype representations are learned jointly and in an end-to-end fashion. At inference time, images from the target domain are compared to the prototypes and the label associated with the one that best matches the image is out-puted. The approach is simple, scalable and effective. We show that our model achieves state-of-the-art performance in different unsupervised domain adaptation scenarios.
translated by 谷歌翻译
现有的域自适应方法通常假设不同的域具有相同的标签空间,这对于实际应用是非常有限的。在本文中,我们关注开放的域域适应的更现实和具有挑战性的情况。特别是,在开放集域适应中,我们允许来自源域和目标域的类部分重叠。在这种情况下,由于两个域中的标签空间不同,传统分布对齐的假设不再适用。为了应对这一挑战,我们提出了一种新方法,它被称为已知类自觉集合(KASE),它建立在最近开发的自集合模型之上。在InKASE中,我们首先引入一个知名类意识识别(KAR)模块来识别目标域中的已知和未知类,这是通过鼓励已知类的低交叉熵和基于来自未知类的源数据的高熵来实现的。 。然后,我们开发了一个知识级的意识适应(KAA)模块,通过重新权衡基于KAR预测的已知类别的未标记目标样本的可能性,从源域到目标更好地适应。在多个基准数据集上进行了大量实验证明我们的方法的有效性。
translated by 谷歌翻译
提出了无监督域自适应的任务,以将标签丰富域(源域)的知识转移到标签稀缺域(目标域)。不同域之间的匹配特征分布是上述任务的广泛应用方法。但是,当两个域中的类不相同时,该方法不能很好地执行。具体地,当目标的类对应于源的类的子集时,目标样本可能与仅存在于源中的类不正确地对齐。这个问题设置被称为部分域自适应(PDA)。在这项研究中,我们提出了一种新的方法,称为PDA的两个加权不一致性减少网络(TWIN)。我们利用两个分类网络来估计每个类别中的目标样本的比例,其中加权分类损失被加权以适应目标域中存在的类别。此外,为了提取目标的判别特征,我们建议最小化由目标样本上的分类器不一致性测量的域之间的差异。我们凭经验证明,降低两个网络之间的不一致性对于PDA是有效的,并且我们的方法在几个数据集中的表现优于其他现有方法。
translated by 谷歌翻译
最近,相当大的努力致力于深度域适应计算机视觉和机器学习社区。然而,大多数现有工作仅通过最小化不同域之间的分布差异来集中于学习共享特征表示。由于所有域对齐方法都只能减少但不能删除域移位。分布在簇的边缘附近或远离其相应的类中心的目标域样本很容易被从源域学习的超平面错误分类。为了缓解这个问题,我们提出了联合域对齐和判别特征学习,这可能有利于域对齐和最终分类。具体地,提出了基于实例的判别特征学习方法和基于中心的判别特征学习方法,两者都保证了具有更好的类内紧致性和类间可分性的域不变特征。大量实验表明,学习共享特征空间中的差异特征可以显着提高深域自适应方法的性能。
translated by 谷歌翻译
在存在大量标记数据的情况下,深度学习(DL)在计算机视觉的途径中取得了非凡的成就,特别是在对象分类和识别任务中。然而,当训练和测试图像来自不同的分布或存在训练和测试图像之间的域转换时,DL canuntways表现良好。它们在没有标记输入数据的情况下也会受到影响。已经提出域适应(DA)方法来弥补差的性能域变换。在本文中,我们提出了一种新的无监督深域适应方法,该方法基于二阶统计量(协方差)的对齐以及源流和目标数据与双流卷积神经网络(CNN)的最大均值差异。我们证明了所提出的方法能够在三个基准领域适应数据集上实现最先进的图像分类性能:Office-31 [27],Office-Home [37]和Office-Caltech [8]。
translated by 谷歌翻译
无监督域适应旨在减少将知识从监督源域转移到无监督目标域的域转移。已经成功探索了对抗特征对齐,以最小化域差异。然而,当两个域不共享相同的标签空间时,现有方法通常难以优化混合学习目标并且易受负转移的影响。在本文中,我们凭经验揭示了目标域的不规则区分主要反映在其相对于源域的特征范数值低得多的特征范数值中。我们提出了一种非参数自适应特征范数AFN方法,它独立于两个域的标签空间之间的关联。我们证明,调整源和目标域的特征规范以在大范围的值上实现均衡可能导致不显着的域转移增益。没有花里胡哨,只有几行代码,我们的方法在很大程度上解除了对目标域的歧视(在VisDA2017中仅来自Source的23.7%)并实现了香草环境的新技术。此外,由于我们的方法不需要对特征分布进行有意识的对齐,因此对于负转换而言,它可以在部分设置下超出现有方法的极大幅度(Office-Home为9.8 \%,VisDA2017为14.1 \%)。代码可在https://github.com/jihanyang/AFN获得。我们对我们方法的可用性负责。
translated by 谷歌翻译
在本文中,我们通过原型网络的重塑引入了无监督域自适应的新思想,它通过重新转换到每个类的原型来学习嵌入空间和执行分类。具体来说,我们提出了可转移原型网络(TPN)的适应性这样,源域和目标域中每个类的原型在嵌入空间中都很接近,并且原始类型在源和目标数据上分别预测的得分分布是相似的。从技术上讲,TPNinitally将每个目标示例与sourcedomain中最近的原型匹配,并为示例分配一个“伪”标签。然后,可以分别在仅源,仅目标和源目标数据上计算每个类的原型。 TPN的优化是端到端的训练,通过联合最小化原型在三种类型的数据上的距离和每对原型输出的得分分布的KL-分歧。对MNIST,USPS和SVHN数据集的传输进行了大量的实验。 ,在比较现有技术的方法时,报告了优异的结果。更值得注意的是,我们在VisDA 2017数据集上获得了单个模型的80.4%的准确度。
translated by 谷歌翻译
物体识别模型从合成数据到实数数据的无监督转移是许多潜在应用的重要问题。挑战在于如何“适应”在模拟图像上训练的模型,以便在没有任何额外监督的情况下在现实世界数据上表现良好。不幸的是,这个问题的当前基准测试在大小和任务多样性方面受到限制。在本文中,我们提出了一个名为Syn2Real的新的大规模基准测试,它包含一个从3D对象模型渲染的合成域和两个包含相同对象类别的真实图像域。我们在thisbenchmark上定义了三个相关的任务:闭集对象分类,开集对象分类和对象检测。我们对多种最先进方法的评估揭示了更简单的闭集分类任务与更难开放的设置和检测任务之间的适应性能差距。我们认为,开发适用于所有threetasks的适应方法对syn2real域转移提出了重大的未来挑战。
translated by 谷歌翻译
While deep learning has led to significant advances in visual recognition over the past few years, such advances often require a lot of annotated data. Unsupervised domain adaptation has emerged as an alternative approach that does not require as much annotated data, prior evaluations of domain adaptation approaches have been limited to relatively similar datasets, e.g source and target domains are samples captured by different cameras. A new data suite is proposed that comprehensively evaluates cross-modality domain adaptation problems. This work pushes the limit of unsupervised domain adaptation through an in-depth evaluation of several state of the art methods on benchmark datasets and the new dataset suite. We also propose a new domain adaptation network called "Deep MagNet" that effectively transfers knowledge for cross-modality domain adaptation problems. Deep Magnet achieves state of the art performance on two benchmark datasets. More importantly, the proposed method shows consistent improvements in performance on the newly proposed dataset suite.
translated by 谷歌翻译