Given sufficient training data on the source domain, cross-domain few-shot learning (CD-FSL) aims at recognizing new classes with a small number of labeled examples on the target domain. The key to addressing CD-FSL is to narrow the domain gap and transferring knowledge of a network trained on the source domain to the target domain. To help knowledge transfer, this paper introduces an intermediate domain generated by mixing images in the source and the target domain. Specifically, to generate the optimal intermediate domain for different target data, we propose a novel target guided dynamic mixup (TGDM) framework that leverages the target data to guide the generation of mixed images via dynamic mixup. The proposed TGDM framework contains a Mixup-3T network for learning classifiers and a dynamic ratio generation network (DRGN) for learning the optimal mix ratio. To better transfer the knowledge, the proposed Mixup-3T network contains three branches with shared parameters for classifying classes in the source domain, target domain, and intermediate domain. To generate the optimal intermediate domain, the DRGN learns to generate an optimal mix ratio according to the performance on auxiliary target data. Then, the whole TGDM framework is trained via bi-level meta-learning so that TGDM can rectify itself to achieve optimal performance on target data. Extensive experimental results on several benchmark datasets verify the effectiveness of our method.
translated by 谷歌翻译
基于元学习的现有方法通过从(源域)基础类别的培训任务中学到的元知识来预测(目标域)测试任务的新颖类标签。但是,由于范围内可能存在较大的域差异,大多数现有作品可能无法推广到新颖的类别。为了解决这个问题,我们提出了一种新颖的对抗特征增强(AFA)方法,以弥合域间隙,以几乎没有学习。该特征增强旨在通过最大化域差异来模拟分布变化。在对抗训练期间,通过将增强特征(看不见的域)与原始域(可见域)区分开来学习域歧视器,而将域差异最小化以获得最佳特征编码器。所提出的方法是一个插件模块,可以轻松地基于元学习的方式将其集成到现有的几种学习方法中。在九个数据集上进行的广泛实验证明了我们方法对跨域几乎没有射击分类的优越性,与最新技术相比。代码可从https://github.com/youthhoo/afa_for_few_shot_learning获得
translated by 谷歌翻译
很少有视觉识别是指从一些标记实例中识别新颖的视觉概念。通过将查询表示形式与类表征进行比较以预测查询实例的类别,许多少数射击的视觉识别方法采用了基于公制的元学习范式。但是,当前基于度量的方法通常平等地对待所有实例,因此通常会获得有偏见的类表示,考虑到并非所有实例在总结了类级表示的实例级表示时都同样重要。例如,某些实例可能包含无代表性的信息,例如过多的背景和无关概念的信息,这使结果偏差。为了解决上述问题,我们提出了一个新型的基于公制的元学习框架,称为实例自适应类别表示网络(ICRL-net),以进行几次视觉识别。具体而言,我们开发了一个自适应实例重新平衡网络,具有在生成班级表示,通过学习和分配自适应权重的不同实例中的自适应权重时,根据其在相应类的支持集中的相对意义来解决偏见的表示问题。此外,我们设计了改进的双线性实例表示,并结合了两个新型的结构损失,即,阶层内实例聚类损失和阶层间表示区分损失,以进一步调节实例重估过程并完善类表示。我们对四个通常采用的几个基准测试:Miniimagenet,Tieredimagenet,Cifar-FS和FC100数据集进行了广泛的实验。与最先进的方法相比,实验结果证明了我们的ICRL-NET的优势。
translated by 谷歌翻译
很少有射击学习(FSL)旨在通过利用基本数据集的先验知识来识别只有几个支持样本的新奇查询。在本文中,我们考虑了FSL中的域移位问题,并旨在解决支持集和查询集之间的域间隙。不同于以前考虑基础和新颖类之间的域移位的跨域FSL工作(CD-FSL),新问题称为跨域跨集FSL(CDSC-FSL),不仅需要很少的学习者适应新的领域,但也要在每个新颖类中的不同领域之间保持一致。为此,我们提出了一种新颖的方法,即Stabpa,学习原型紧凑和跨域对准表示,以便可以同时解决域的转移和很少的学习学习。我们对分别从域和办公室数据集构建的两个新的CDCS-FSL基准进行评估。值得注意的是,我们的方法的表现优于多个详细的基线,例如,在域内,将5-shot精度提高了6.0点。代码可从https://github.com/wentaochen0813/cdcs-fsl获得
translated by 谷歌翻译
为了将训练有素的模型直接概括为看不见的目标域,域概括(DG)是一种新提出的学习范式,引起了很大的关注。以前的DG模型通常需要在训练过程中观察到的源域中的足够数量的带注释的样品。在本文中,我们放宽了有关完全注释的要求,并研究了半监督域的概括(SSDG),在训练过程中,只有一个源域与其他完全未标记的域一起完全注释。由于要解决观察到的源域之间的域间隙和预测看不见的目标域之间的挑战,我们提出了一个通过关节域吸引的标签和双分类器的新型深框架,以产生高质量的伪标记。具体来说,为了预测域移位下的准确伪标记,开发了一个域吸引的伪标记模块。此外,考虑到概括和伪标记之间的目标不一致:前者防止在所有源域上过度拟合,而后者可能过分适合未标记的源域,以高精度,我们采用双分类器来独立执行伪标记和域名,并在训练过程中执行伪造域通用化。 。当为未标记的源域生成准确的伪标记时,将域混合操作应用于标记和未标记域之间的新域,这对于提高模型的通用能力是有益的。公开可用的DG基准数据集的广泛结果显示了我们提出的SSDG方法的功效。
translated by 谷歌翻译
跨域很少的射击分类(CDFSC)利用从监督的辅助数据集中学到的先验知识来解决目标任务,而有限的监督信息可用,辅助数据集和目标数据集来自不同的域。由于这些数据集之间的域移动,这是具有挑战性的。受到多源域适应性(MDA)的启发,最近的作品介绍了多个域以改善性能。但是,一方面,他们只用自然图像在基准上进行评估,另一方面,即使在源域中,它们也需要许多注释。为了解决上述问题,本文探讨了一个新的多源CDFSC设置(MCDFSC),其中只有一个源域被完全标记,而其余源域仍然没有标记。这些来源来自不同的归档,意味着它们不仅是自然图像。考虑到CNN的归纳偏置,本文建议针对这种新的MCDFSC设置拟议中源式样式网络(ISSNET)。它将未标记源的样式转移到标记的源,从而扩展了标记的源分布并进一步提高了模型的概括能力。 8个目标数据集的实验证明ISSNET有效地抑制了由不同域引起的性能降解。
translated by 谷歌翻译
The task of Few-shot learning (FSL) aims to transfer the knowledge learned from base categories with sufficient labelled data to novel categories with scarce known information. It is currently an important research question and has great practical values in the real-world applications. Despite extensive previous efforts are made on few-shot learning tasks, we emphasize that most existing methods did not take into account the distributional shift caused by sample selection bias in the FSL scenario. Such a selection bias can induce spurious correlation between the semantic causal features, that are causally and semantically related to the class label, and the other non-causal features. Critically, the former ones should be invariant across changes in distributions, highly related to the classes of interest, and thus well generalizable to novel classes, while the latter ones are not stable to changes in the distribution. To resolve this problem, we propose a novel data augmentation strategy dubbed as PatchMix that can break this spurious dependency by replacing the patch-level information and supervision of the query images with random gallery images from different classes from the query ones. We theoretically show that such an augmentation mechanism, different from existing ones, is able to identify the causal features. To further make these features to be discriminative enough for classification, we propose Correlation-guided Reconstruction (CGR) and Hardness-Aware module for instance discrimination and easier discrimination between similar classes. Moreover, such a framework can be adapted to the unsupervised FSL scenario.
translated by 谷歌翻译
少量分类旨在执行分类,因为只有利息类别的标记示例。尽管提出了几种方法,但大多数现有的几次射击学习(FSL)模型假设基础和新颖类是从相同的数据域中汲取的。在识别在一个看不见的域中的新型类数据方面,这成为域广义少量分类的更具挑战性的任务。在本文中,我们为域广义的少量拍摄分类提供了一个独特的学习框架,其中基类来自同质的多个源域,而要识别的新类是来自训练期间未见的目标域。通过推进元学习策略,我们的学习框架跨越多个源域利用数据来捕获域不变的功能,通过基于度量学习的机制跨越支持和查询数据来引入FSL能力。我们进行广泛的实验,以验证我们提出的学习框架和展示从小但同质源数据的效果,能够优选地对来自大规模的学习来执行。此外,我们为域广泛的少量分类提供了骨干模型的选择。
translated by 谷歌翻译
常规的几杆分类(FSC)旨在识别出有限标记的数据的新课程中的样本。最近,已经提出了域泛化FSC(DG-FSC),目的是识别来自看不见的域的新型类样品。 DG-FSC由于基础类(用于培训)和新颖类(评估中遇到)之间的域移位,对许多模型构成了巨大的挑战。在这项工作中,我们为解决DG-FSC做出了两个新颖的贡献。我们的首要贡献是提出重生网络(BAN)情节培训,并全面研究其对DG-FSC的有效性。作为一种特定的知识蒸馏形式,已证明禁令可以通过封闭式设置来改善常规监督分类的概括。这种改善的概括促使我们研究了DG-FSC的禁令,我们表明禁令有望解决DG-FSC中遇到的域转移。在令人鼓舞的发现的基础上,我们的第二个(主要)贡献是提出很少的禁令,FS-Ban,这是DG-FSC的新型禁令方法。我们提出的FS-BAN包括新颖的多任务学习目标:相互正则化,不匹配的老师和元控制温度,这些目标都是专门设计的,旨在克服DG-FSC中的中心和独特挑战,即过度拟合和领域差异。我们分析了这些技术的不同设计选择。我们使用六个数据集和三个基线模型进行全面的定量和定性分析和评估。结果表明,我们提出的FS-BAN始终提高基线模型的概括性能,并达到DG-FSC的最先进的准确性。
translated by 谷歌翻译
最近的几种少数学习算法中的大多数都是基于转移学习,其中模型是使用大量源数据进行预训练的,并且随后使用少量目标数据更新了预训练的模型。在基于转移的几次学习中,已经广泛研究了复杂的预训练方法,以进行通用和改进的表示。但是,几乎没有关于更新预训练模型以进行几次学习的研究。在本文中,我们比较了两种流行的更新方法,即微调(即更新整个网络)和线性探测(即仅更新线性分类器),考虑了源数据和目标数据之间的分布变化。我们发现,随着样品数量的增加,无论分布变化如何,微型调整都比线性探测更好。接下来,我们研究了对预训练模型进行微调时,数据增强的有效性和无效性。我们的基本分析表明,需要仔细考虑有关更新预训练模型的详细信息,才能获得更好的射击性能。
translated by 谷歌翻译
大多数现有的工作在几次学习中,依赖于Meta-Learning网络在大型基础数据集上,该网络通常是与目标数据集相同的域。我们解决了跨域几秒钟的问题,其中基础和目标域之间存在大移位。与未标记的目标数据的跨域几秒识别问题在很大程度上在文献中毫无根据。启动是使用自我训练解决此问题的第一个方法。但是,它使用固定的老师在标记的基础数据集上返回,以为未标记的目标样本创建软标签。由于基本数据集和未标记的数据集来自不同的域,因此将基本数据集的类域中的目标图像投影,具有固定的预制模型可能是子最优的。我们提出了一种简单的动态蒸馏基方法,以方便来自新颖/基础数据集的未标记图像。我们通过从教师网络中的未标记图像的未标记版本的预测计算并将其与来自学生网络相同的相同图像的强大版本匹配来施加一致性正常化。教师网络的参数被更新为学生网络参数的指数移动平均值。我们表明所提出的网络了解可以轻松适应目标域的表示,即使它尚未在预先预测阶段的目标专用类别训练。我们的车型优于当前最先进的方法,在BSCD-FSL基准中的5次分类,3.6%的3.6%,并在传统的域名几枪学习任务中显示出竞争性能。
translated by 谷歌翻译
跨域很少的学习(CD-FSL)最近几乎没有目标样本在源和目标域之间存在极端差异,最近引起了极大的关注。对于CD-FSL,最近的研究通常开发了基于转移学习的方法,该方法预先培训了受欢迎的标记源域数据集的神经网络,然后将其传输到目标域数据。尽管标记的数据集可以为目标数据提供合适的初始参数,但源和目标之间的域差异可能会阻碍目标域上的微调。本文提出了一种简单而功能强大的方法,该方法在适应目标数据之前将源域上拟合的参数重新传递。重新运行重置源预训练模型的特定于源特异性参数,从而促进了目标域上的微调,从而改善了几乎没有射击性能。
translated by 谷歌翻译
元学习已成为几乎没有图像分类的实用方法,在该方法中,“学习分类器的策略”是在标记的基础类别上进行元学习的,并且可以应用于具有新颖类的任务。我们删除了基类标签的要求,并通过无监督的元学习(UML)学习可通用的嵌入。具体而言,任务发作是在元训练过程中使用未标记的基本类别的数据增强构建的,并且我们将基于嵌入式的分类器应用于新的任务,并在元测试期间使用标记的少量示例。我们观察到两个元素在UML中扮演着重要角色,即进行样本任务和衡量实例之间的相似性的方法。因此,我们获得了具有两个简单修改的​​强基线 - 一个足够的采样策略,每情节有效地构建多个任务以及半分解的相似性。然后,我们利用来自两个方向的任务特征以获得进一步的改进。首先,合成的混淆实例被合并以帮助提取更多的判别嵌入。其次,我们利用额外的特定任务嵌入转换作为元训练期间的辅助组件,以促进预先适应的嵌入式的概括能力。几乎没有学习基准的实验证明,我们的方法比以前的UML方法优于先前的UML方法,并且比其监督变体获得了可比甚至更好的性能。
translated by 谷歌翻译
深度神经网络(DNN)在非参考图像质量评估(NR-IQA)方面具有巨大潜力。但是,NR-IQA的注释是劳动密集型且耗时的,这严重限制了其对真实图像的应用。为了减轻对质量注释的依赖,一些作品已将无监督的域适应性(UDA)应用于NR-IQA。但是,上述方法忽略了分类中使用的对齐空间是最佳选择,因为该空间不是为了感知而精心设计的。为了解决这一挑战,我们提出了一个有效的面向感知的无监督域适应方法,用于NR-IQA,该方法通过富含标签的源域数据将足够的知识转移到通过样式的对齐和混合的标签目标域图像。具体而言,我们发现了一个更紧凑,更可靠的空间,即基于有趣/惊人的观察结果,以感知为导向的UDA的特征样式空间,即DNN中深层的功能样式(即平均和差异)与DNN中的深层层完全相关NR-IQA的质量得分。因此,我们建议在更面向感知的空间(即特征样式空间)中对齐源和目标域,以减少其他质量 - Irretrelevant特征因素的干预措施。此外,为了提高质量得分与其功能样式之间的一致性,我们还提出了一种新颖的功能增强策略样式混音,将DNN的最后一层之前将功能样式(即平均值和差异)混合在一起,并混合使用标签。对两个典型的跨域设置(即合成至真实性和多种变形)的广泛实验结果证明了我们提出的styleam对NR-IQA的有效性。
translated by 谷歌翻译
近期学习中的最新进展促进了一个更现实的跨域设置,其中源和目标数据集来自不同的域。由于源极和目标数据集之间的域间隙和脱节标签空间,它们的共享知识非常有限。这鼓励我们探索目标域中的更多信息,而不是在许多现有方法中探讨源域上的训练策略。因此,我们从跨熵丢失和传统的基于距离的分类器一起训练的通用表示开始,以及图像检索视图,以采用通过发现互易k校准目标距离矩阵的重新排序处理任务中的最邻居。假设预先训练的表示被偏向源,我们构建非线性子空间,以最小化其任务无关的特征,同时通过双曲线切线转换保持更可传输的判别信息。该目标感知非线性子空间中的校准距离与预训练的表示中的互补距离。为了将这种距离校准信息施加到预训练的表示上,采用Kullback-Leibler发散丢失来逐渐引导模型朝向基于校准的距离的分布。关于八个目标域的广泛评估表明,该目标排名校准过程可以在几次拍摄学习中改善基于距离的基于距离的分类器。
translated by 谷歌翻译
少量学习,特别是几秒钟的图像分类,近年来受到了越来越多的关注,并目睹了重大进展。最近的一些研究暗示表明,许多通用技术或“诀窍”,如数据增强,预训练,知识蒸馏和自我监督,可能大大提高了几次学习方法的性能。此外,不同的作品可以采用不同的软件平台,不同的训练计划,不同的骨干架构以及甚至不同的输入图像大小,使得公平的比较困难,从业者与再现性斗争。为了解决这些情况,通过在Pytorch中的同一单个代码库中重新实施17个最新的框架,提出了几次射门学习(Libfewshot)的全面图书馆。此外,基于libfewshot,我们提供多个基准数据集的全面评估,其中包含多个骨干架构,以评估不同培训技巧的常见缺陷和效果。此外,鉴于近期对必要性或未培训机制的必要性怀疑,我们的评估结果表明,特别是当与预训练相结合时,仍然需要这种机制。我们希望我们的工作不仅可以降低初学者的障碍,可以在几次学习上工作,而且还消除了非动力技巧的影响,促进了几枪学习的内在研究。源代码可从https://github.com/rl-vig/libfewshot获取。
translated by 谷歌翻译
几乎没有弹出的文本分类旨在在几个弹奏方案下对文本进行分类。以前的大多数方法都采用基于优化的元学习来获得任务分布。但是,由于少数样本和复杂模型之间的匹配以及有用的任务功能之间的区别,这些方法遭受了过度拟合问题的影响。为了解决这个问题,我们通过梯度相似性(AMGS)方法提出了一种新颖的自适应元学习器,以提高模型的泛化能力。具体而言,拟议的AMG基于两个方面缓解了过度拟合:(i)通过内部循环中的自我监督的辅助任务来获取样品的潜在语义表示并改善模型的概括,(ii)利用适应性元学习者通过适应性元学习者通过梯度通过相似性,可以在外环中基底学习者获得的梯度上增加约束。此外,我们对正则化对整个框架的影响进行系统分析。对几个基准测试的实验结果表明,与最先进的优化元学习方法相比,提出的AMG始终提高了很少的文本分类性能。
translated by 谷歌翻译
无监督域适应(UDA)旨在将知识从相关但不同的良好标记的源域转移到新的未标记的目标域。大多数现有的UDA方法需要访问源数据,因此当数据保密而不相配在隐私问题时,不适用。本文旨在仅使用培训的分类模型来解决现实设置,而不是访问源数据。为了有效地利用适应源模型,我们提出了一种新颖的方法,称为源假设转移(拍摄),其通过将目标数据特征拟合到冻结源分类模块(表示分类假设)来学习目标域的特征提取模块。具体而言,拍摄挖掘出于特征提取模块的信息最大化和自我监督学习,以确保目标特征通过同一假设与看不见的源数据的特征隐式对齐。此外,我们提出了一种新的标签转移策略,它基于预测的置信度(标签信息),然后采用半监督学习来将目标数据分成两个分裂,然后提高目标域中的较为自信预测的准确性。如果通过拍摄获得预测,我们表示标记转移为拍摄++。关于两位数分类和对象识别任务的广泛实验表明,拍摄和射击++实现了与最先进的结果超越或相当的结果,展示了我们对各种视域适应问题的方法的有效性。代码可用于\ url {https://github.com/tim-learn/shot-plus}。
translated by 谷歌翻译
少量学习(FSL)旨在学习概括到具有有限培训样本的小型课程的模型。最近的作品将FSL推进一个场景,其中还提供了未标记的例子并提出半监督FSL方法。另一种方法还关心基类的性能,除了新颖的外,还建立了增量FSL方案。在本文中,我们在更现实但复杂的环境下概括了上述两个,通过半监督增量少量学习(S2 I-FSL)命名。为了解决任务,我们提出了一种包含两部分的新型范例:(1)一种精心设计的元训练算法,用于减轻由不可靠的伪标签和(2)模型适应机制来减轻基础和新颖类之间的模糊性,以学习歧视特征对于小说类,同时使用少数标记和所有未标记的数据保留基本知识。对标准FSL,半监控FSL,增量FSL的广泛实验,以及第一个构建的S2 I-FSL基准测试证明了我们提出的方法的有效性。
translated by 谷歌翻译
在本文中,我们主要关注如何通过借口任务(例如旋转或颜色置换等)学习其他特征表示形式的其他特征表示形式。借口任务产生的这种附加知识可以进一步提高几次学习(FSL)的性能,因为它与人类通知的监督(即FSL任务的类标签)有所不同。为了解决此问题,我们提出了插入式层次树结构感知(HTS)方法,该方法不仅了解FSL和借口任务的关系,而且更重要的是,可以自适应地选择和汇总由借口任务生成的特征表示,以最大化FSL任务的性能。引入了层次树构造组件和封闭式选择汇总组件来构建树结构并找到更丰富的可转移知识,这些知识可以迅速适应具有一些标记的图像的新颖类。广泛的实验表明,我们的HTS可以显着增强多种几次方法,以在四个基准数据集上实现新的最新性能。该代码可在以下网址获得:https://github.com/remimz/hts-eccv22。
translated by 谷歌翻译