几个射击分类（FSC）需要使用几个（通常为1-5个）数据点的培训模型。事实证明，元学习能够通过培训各种其他分类任务来学习FSC的参数化模型。在这项工作中，我们提出了铂金（使用superodular互信息的半监督模型不可思议的元学习），这是一种新型的半监督模型不合理的元学习框架，使用了子模块化信息（SMI）函数来促进FSC的性能。在元训练期间，使用SMI函数在内部和外循环中利用铂金的数据，并获得元测试的更丰富的元学习参数化。我们在两种情况下研究白金的性能 - 1）未标记的数据点属于与某个插曲的标签集相同的类别集，以及2）在存在不属于的分布类别的地方标记的集合。我们在Miniimagenet，Tieredimagenet和几乎没有Shot-CIFAR100数据集的各种设置上评估了我们的方法。我们的实验表明，铂金优于MAML和半监督的方法，例如用于半监视的FSC的pseduo-Labeling，尤其是对于每个类别的标记示例比例很小。
translated by 谷歌翻译
大多数现有的少量学习（FSL）方法都需要大量的元训练中标记数据，这是一个主要限制。为了减少标签的需求，已经为FSL提出了半监督的元训练设置，其中仅包括几个标记的样品和基础类别中的未标记样本数量。但是，此设置下的现有方法需要从未标记的集合中选择类吸引的样本选择，这违反了未标记集的假设。在本文中，我们提出了一个实用的半监督元训练环境，并使用真正的未标记数据。在新设置下，现有方法的性能显着下降。为了更好地利用标签和真正未标记的数据，我们提出了一个简单有效的元训练框架，称为基于元学习（PLML）的伪标记。首先，我们通过常见的半监督学习（SSL）训练分类器，并使用它来获取未标记数据的伪标记。然后，我们从标记和伪标记的数据中构建了几个射击任务，并在构造的任务上运行元学习以学习FSL模型。令人惊讶的是，通过在两个FSL数据集的广泛实验中，我们发现这个简单的元训练框架有效地防止了在有限的标记数据下FSL的性能降解。此外，从元培训中受益，提出的方法还改善了两种代表性SSL算法所学的分类器。
translated by 谷歌翻译
模型不合时宜的元学习（MAML）是一种著名的少数学习方法，它启发了许多后续工作，例如Anil和Boil。但是，作为一种归纳方法，MAML无法完全利用查询集的信息，从而限制了其获得更高通用性的潜力。为了解决这个问题，我们提出了一种简单而有效的方法，该方法可以适应性地生成伪标记，并可以提高MAML家族的性能。所提出的方法，被称为生成伪标签的MAML（GP-MAML），GP-Anil和GP-Boil，是查询的杠杆统计数据，以提高新任务的性能。具体而言，我们自适应地添加伪标签并从查询集中挑选样品，然后使用挑选的查询样品和支持集对模型进行重新训练。 GP系列还可以使用伪查询集中的信息在元测试过程中重新培训网络。尽管某些转导方法（例如跨传播网络（TPN））努力实现这一目标。
translated by 谷歌翻译
半监督的几次学习在于培训分类器以适应有限的标记数据和固定数量未标记的数据的新任务。已经开发了许多复杂的方法来解决该问题所包含的挑战。在本文中，我们提出了一种简单但相当有效的方法，可以从间接学习的角度预测未标记数据的准确伪标记，然后增强在几个拍摄分类任务中设置的极其标签受限的支持。我们的方法只能通过仅使用现成的操作来仅在几行代码中实现，但是它能够在四个基准数据集上超越最先进的方法。
translated by 谷歌翻译
通过选择最具信息丰富的样本，已证明主动学习可用于最小化标记成本。但是，现有的主动学习方法在诸如不平衡或稀有类别的现实方案中不适用于未标记集中的分发数据和冗余。在这项工作中，我们提出了类似的（基于子模块信息措施的主动学习），使用最近提出的子模块信息措施（SIM）作为采集函数的统一主动学习框架。我们认为类似的不仅在标准的主动学习中工作，而且还可以轻松扩展到上面考虑的现实设置，并充当活动学习的一站式解决方案，可以扩展到大型真实世界数据集。凭经验，我们表明，在罕见的课程的情况下，在罕见的阶级和〜5％ - 10％的情况下，在罕见的几个图像分类任务的情况下，相似显着优异的活动学习算法像CiFar-10，Mnist和Imagenet。类似于Distil Toolkit的一部分：“https://github.com/decile-team/distil”。
translated by 谷歌翻译
当许多松散相关的未标记数据可用并且稀缺标记的数据时，机器智能的范式从纯粹的监督学习转变为更实用的情况。大多数现有算法都假定基础任务分布是固定的。在这里，我们考虑了随着时间的推移，该任务分布中的一个更现实和具有挑战性的环境会不断发展。我们将这个问题称为半监督的元学习，并具有不断发展的任务分布，缩写为集合。在这种更现实的环境中出现了两个关键挑战：（i）在存在大量未标记的分发（OOD）数据的情况下，如何使用未标记的数据； （ii）如何防止由于任务分配转移而导致先前学习的任务分布的灾难性遗忘。我们提出了一种强大的知识和知识保留的半监督元学习方法（秩序），以应对这两个主要挑战。具体而言，我们的订单引入了一种新型的共同信息正则化，以使用未标记的OOD数据鲁棒化模型，并采用最佳的运输正规化来记住以前在特征空间中学习的知识。此外，我们在一个非常具有挑战性的数据集上测试我们的方法：大规模非平稳的半监督任务分布的集合，该任务分布由（至少）72K任务组成。通过广泛的实验，我们证明了拟议的订单减轻了忘记不断发展的任务分布，并且对OOD数据比相关的强基础更强大。
translated by 谷歌翻译
模型 - 不可知的元学习（MAML），一种流行的基于梯度的元学习框架，假设每个任务或实例对元学习者的贡献相等。因此，在几次拍摄学习中，它无法解决基本和新颖类之间的域转移。在这项工作中，我们提出了一种新颖的鲁棒元学习算法，巢式MAML，它学会为训练任务或实例分配权重。我们将权重用为超参数，并使用嵌套双级优化方法中设置的一小组验证任务迭代优化它们（与MAML中的标准双级优化相比）。然后，我们在元培训阶段应用NestedMaml，涉及（1）从不同于元测试任务分发的分布中采样的多个任务，或（2）具有嘈杂标签的某些数据样本。对综合和现实世界数据集的广泛实验表明，巢式米姆有效地减轻了“不需要的”任务或情况的影响，从而实现了最先进的强大的元学习方法的显着改善。
translated by 谷歌翻译
2021-10-25
元学习方法旨在构建能够快速适应低数据制度的新任务的学习算法。这种算法的主要基准之一是几次学习问题。在本文中，我们调查了在培训期间采用多任务方法的标准元学习管道的修改。该提出的方法同时利用来自常见损失函数中的几个元训练任务的信息。每个任务在损耗功能中的影响由相应的重量控制。正确优化这些权重可能对整个模型的训练产生很大影响，并且可能会提高测试时间任务的质量。在这项工作中，我们提出并调查了使用同时扰动随机近似（SPSA）方法的方法的使用方法，用于元列车任务权重优化。我们还将提出的算法与基于梯度的方法进行了比较，发现随机近似表明了测试时间最大的质量增强。提出的多任务修改可以应用于使用元学习管道的几乎所有方法。在本文中，我们研究了这种修改对CiFar-FS，FC100，TieredimAgenet和MiniimAgenet几秒钟学习基准的原型网络和模型 - 不可知的元学习算法。在这些实验期间，多任务修改已经证明了对原始方法的改进。所提出的SPSA跟踪算法显示了对最先进的元学习方法具有竞争力的最大精度提升。我们的代码可在线获取。
translated by 谷歌翻译
少量分类需要调整从大型注释的基础数据集中学到的知识来识别新颖的看不见的类，每个类别由少数标记的示例表示。在这样的场景中，预先绘制大容量在大型数据集上的网络，然后在少数示例下向少量抵消导致严重的过度拟合。同时，在从大型标记数据集中学到的“冷冻”特征的顶部培训一个简单的线性分类器无法使模型调整到新型类的属性，有效地诱导底部。在本文中，我们向这两种流行的策略提出了一种替代方法。首先，我们的方法使用在新颖类上培训的线性分类器来伪标签整个大型数据集。这有效地“幻觉”在大型数据集中的新型类别，尽管基本数据库中未存在的新类别（新颖和基类是不相交的）。然后，除了在新型数据集上的标准交叉熵损失之外，它将在伪标记的基础示例上具有蒸馏损失的整个模型。这一步骤有效地训练了网络，识别对新型类别识别的上下文和外观提示，而是使用整个大规模基础数据集，从而克服了几次拍摄学习的固有数据稀缺问题。尽管这种方法的简单性，但我们表明我们的方法在四个成熟的少量分类基准上表现出最先进的。
translated by 谷歌翻译
很少有射击分类旨在学习一个模型，该模型只有几个标签样本可用，可以很好地推广到新任务。为了利用在实际应用中更丰富的未标记数据，Ren等人。 \ shortcite {ren2018meta}提出了一种半监督的少数射击分类方法，该方法通过手动定义的度量标记为每个未标记的样本分配了适当的标签。但是，手动定义的度量未能捕获数据中的内在属性。在本文中，我们提出了a \ textbf {s} elf- \ textbf {a} daptive \ textbf {l} abel \ textbf {a} u摄孔方法，称为\ textbf {sala}，用于半精神分裂的几个分类。萨拉（Sala）的主要新颖性是任务自适应指标，可以以端到端的方式适应不同任务的指标。萨拉（Sala）的另一个吸引人的特征是一种进步的邻居选择策略，该策略在整个训练阶段逐渐逐渐信心选择未标记的数据。实验表明，SALA优于在基准数据集上半监督的几种射击分类的几种最新方法。
translated by 谷歌翻译
半监督学习（SSL）是解决监督学习的注释瓶颈的主要方法之一。最近的SSL方法可以有效利用大量未标记数据的存储库来提高性能，同时依靠一小部分标记数据。在大多数SSL方法中，一个常见的假设是，标记和未标记的数据来自同一基础数据分布。但是，在许多实际情况下，情况并非如此，这限制了其适用性。相反，在这项工作中，我们试图解决最近提出的挑战性的开放世界SSL问题，这些问题并非如此。在开放世界的SSL问题中，目的是识别已知类别的样本，并同时检测和群集样品属于未标记数据中的新型类别。这项工作引入了OpenLDN，该OpenLDN利用成对的相似性损失来发现新颖的类别。使用双层优化规则，此成对相似性损失利用了标记的设置中可用的信息，以隐式群集新颖的类样本，同时识别来自已知类别的样本。在发现新颖的类别后，OpenLDN将Open-World SSL问题转换为标准SSL问题，以使用现有的SSL方法实现额外的性能提高。我们的广泛实验表明，OpenLDN在多个流行的分类基准上胜过当前的最新方法，同时提供了更好的准确性/培训时间权衡。
translated by 谷歌翻译
模型不合时宜的元学习（MAML）可以说是当今最流行的元学习算法之一。然而，它在几次分类上的性能远远远远远远远远远远远远远远落在许多致力于该问题的算法。在本文中，我们指出了如何训练MAML以进行几次分类的几个关键方面。首先，我们发现MAML在其内部循环更新中需要大量的梯度步骤，这与其常见的用法相矛盾。其次，我们发现MAML对元测试过程中的类标签分配敏感。具体而言，MAML Meta-Trains $ n$道分类器的初始化。这些$ n $方式，在元测试期间，然后具有“ $ n！$”的“ $ n！$”排列，并与$ n $新颖的课程配对。我们发现这些排列会导致巨大的准确性差异，从而使MAML不稳定。第三，我们研究了几种使MAML置换不变的方法，其中元训练单个向量以初始化分类头中的所有$ n $重量矢量的初始化。在Miniimagenet和Tieredimagenet等基准数据集上，我们命名Unicorn-MAML的方法在不牺牲MAML的简单性的情况下以与许多最近的几杆分类算法相同甚至优于许多近期的几个次数分类算法。
translated by 谷歌翻译
本文解决了几秒钟学习问题，旨在从几个例子中学习新的视觉概念。在几次拍摄分类中的常见问题设置假设在获取数据标签中的随机采样策略，其在实际应用中效率低下。在这项工作中，我们介绍了一个新的预算感知几秒钟学习问题，不仅旨在学习新的对象类别，还需要选择信息实例来注释以实现数据效率。我们为我们的预算感知几秒钟学习任务开发了一个元学习策略，该任务共同了解基于图形卷积网络（GCN）和基于示例的少量拍摄分类器的新型数据选择策略。我们的选择策略通过图形消息传递计算每个未标记数据的上下文敏感表示，然后用于预测顺序选择的信息性分数。我们在迷你想象网，分层 - 想象项目和omniglot数据集上进行广泛的实验验证我们的方法。结果表明，我们的几次学习策略优于一个相当大的边缘，这表明了我们的方法的功效。
translated by 谷歌翻译
几乎没有学习方法的目的是训练模型，这些模型可以根据少量数据轻松适应以前看不见的任务。最受欢迎，最优雅的少学习方法之一是模型敏捷的元学习（MAML）。这种方法背后的主要思想是学习元模型的一般权重，该权重进一步适应了少数梯度步骤中的特定问题。但是，该模型的主要限制在于以下事实：更新过程是通过基于梯度的优化实现的。因此，MAML不能总是在一个甚至几个梯度迭代中将权重修改为基本水平。另一方面，使用许多梯度步骤会导致一个复杂且耗时的优化程序，这很难在实践中训练，并且可能导致过度拟合。在本文中，我们提出了HyperMAML，这是MAML的新型概括，其中更新过程的训练也是模型的一部分。也就是说，在HyperMAML中，我们没有使用梯度下降来更新权重，而是为此目的使用可训练的超级净机。因此，在此框架中，该模型可以生成重大更新，其范围不限于固定数量的梯度步骤。实验表明，超型MAML始终胜过MAML，并且在许多标准的几次学习基准测试基准中与其他最先进的技术相当。
translated by 谷歌翻译
少量学习（FSL）旨在学习概括到具有有限培训样本的小型课程的模型。最近的作品将FSL推进一个场景，其中还提供了未标记的例子并提出半监督FSL方法。另一种方法还关心基类的性能，除了新颖的外，还建立了增量FSL方案。在本文中，我们在更现实但复杂的环境下概括了上述两个，通过半监督增量少量学习（S2 I-FSL）命名。为了解决任务，我们提出了一种包含两部分的新型范例：（1）一种精心设计的元训练算法，用于减轻由不可靠的伪标签和（2）模型适应机制来减轻基础和新颖类之间的模糊性，以学习歧视特征对于小说类，同时使用少数标记和所有未标记的数据保留基本知识。对标准FSL，半监控FSL，增量FSL的广泛实验，以及第一个构建的S2 I-FSL基准测试证明了我们提出的方法的有效性。
translated by 谷歌翻译
元学习已成为几乎没有图像分类的实用方法，在该方法中，“学习分类器的策略”是在标记的基础类别上进行元学习的，并且可以应用于具有新颖类的任务。我们删除了基类标签的要求，并通过无监督的元学习（UML）学习可通用的嵌入。具体而言，任务发作是在元训练过程中使用未标记的基本类别的数据增强构建的，并且我们将基于嵌入式的分类器应用于新的任务，并在元测试期间使用标记的少量示例。我们观察到两个元素在UML中扮演着重要角色，即进行样本任务和衡量实例之间的相似性的方法。因此，我们获得了具有两个简单修改的强基线 - 一个足够的采样策略，每情节有效地构建多个任务以及半分解的相似性。然后，我们利用来自两个方向的任务特征以获得进一步的改进。首先，合成的混淆实例被合并以帮助提取更多的判别嵌入。其次，我们利用额外的特定任务嵌入转换作为元训练期间的辅助组件，以促进预先适应的嵌入式的概括能力。几乎没有学习基准的实验证明，我们的方法比以前的UML方法优于先前的UML方法，并且比其监督变体获得了可比甚至更好的性能。
translated by 谷歌翻译
基于深度神经网络的物体探测器在各种域中取得了巨大的成功，如自主车辆，生物医学成像等。众所周知，他们的成功取决于来自兴趣领域的大量数据。虽然深层模型在整体准确性方面经常表现良好，但它们通常在稀有但关键的数据切片上的性能斗争。例如，像“夜间摩托车”或“夜间摩托车”的数据切片通常很少见但是自动驾驶应用的非常关键的切片，如这种罕见的切片上的假底片可能导致违法的失败和事故。主动学习（AL）是一个着名的范例，可以逐步逐步地和自适应地构建循环中的人类训练数据集。然而，目前基于AL的采集功能并没有充分配备，以解决具有稀有片的真实数据集，因为它们基于图像的不确定性分数或全局描述符。我们提出了Talisman，一种用于使用子模块互信息的稀有切片的目标主动学习或物体检测的新框架。我们的方法使用利用感兴趣区域（ROI）的特征来实用的子模块互信息功能，以有效地靶向并获得具有稀有片的数据点。我们在标准Pascal Voc07 + 12和BDD100K上评估我们的框架，这是一个真实的自动驾驶数据集。我们观察到Talisman在稀有片的平均精度方面优于其他方法，以及地图。
translated by 谷歌翻译
在新颖的类发现（NCD）中，我们从可见的类别和看不见的类别的未标记的数据中给出了标记的数据，并为看不见的类培训聚类模型。但是，NCD背后的隐含假设仍不清楚。在本文中，我们揭开了NCD背后的假设，并发现应在可见和看不见的类中共享高级语义特征。基于这一发现，在某些假设下，NCD在理论上是可以解决的，并且可以自然地与具有与NCD完全相同的假设的元学习链接。因此，我们可以通过经过轻微修改后的元学习算法来实证解决NCD问题。正如实验中所证明的那样，这种基于元学习的方法可显着减少培训所需的未标记数据的数量，并使其更加实用。 NCD的应用程序方案也证明了非常有限的数据的使用：由于仅标记Seep类数据是不自然的，因此NCD是采样而不是因果关系标记。因此，应在收集可见级数据的方式上收集看不见的级数据，这就是为什么它们是新颖的，首先需要聚类的原因。
translated by 谷歌翻译
标签预测上的一致性正则化成为半监督学习中的一项基本技术，但是它仍然需要大量的训练迭代以进行高性能。在这项研究中，我们分析了一致性正则化限制了由于在模型更新中排除具有不受欢迎的伪标记的样品，因此标记信息的传播限制了。然后，我们提出对比度正则化，以提高未标记数据的群集特征一致性正则化的效率和准确性。在特定的情况下，在通过其伪标签将强大的增强样品分配给群集后，我们的对比度正规化更新了模型，以便具有自信的伪标签的功能在同一集群中汇总了功能，同时将功能推迟了不同的群集中的功能。结果，在培训中，可以有效地将自信的伪标签的信息有效地传播到更无标记的样品中。在半监督学习任务的基准上，我们的对比正则化改善了以前的基于一致性的方法，并取得了最新的结果，尤其是在培训次数较少的情况下。我们的方法还显示了在开放式半监督学习中的稳健性能，其中未标记的数据包括分发样本。
translated by 谷歌翻译
大多数现有的工作在几次学习中，依赖于Meta-Learning网络在大型基础数据集上，该网络通常是与目标数据集相同的域。我们解决了跨域几秒钟的问题，其中基础和目标域之间存在大移位。与未标记的目标数据的跨域几秒识别问题在很大程度上在文献中毫无根据。启动是使用自我训练解决此问题的第一个方法。但是，它使用固定的老师在标记的基础数据集上返回，以为未标记的目标样本创建软标签。由于基本数据集和未标记的数据集来自不同的域，因此将基本数据集的类域中的目标图像投影，具有固定的预制模型可能是子最优的。我们提出了一种简单的动态蒸馏基方法，以方便来自新颖/基础数据集的未标记图像。我们通过从教师网络中的未标记图像的未标记版本的预测计算并将其与来自学生网络相同的相同图像的强大版本匹配来施加一致性正常化。教师网络的参数被更新为学生网络参数的指数移动平均值。我们表明所提出的网络了解可以轻松适应目标域的表示，即使它尚未在预先预测阶段的目标专用类别训练。我们的车型优于当前最先进的方法，在BSCD-FSL基准中的5次分类，3.6％的3.6％，并在传统的域名几枪学习任务中显示出竞争性能。
translated by 谷歌翻译