很少的识别涉及训练图像分类器，以使用几个示例（Shot）在测试时间区分新颖概念。现有方法通常假定测试时间的射击号是事先知道的。这是不现实的，当火车和测试射击不匹配时，流行和基础方法的性能已被证明会受到影响。我们对该现象进行了系统的经验研究。与先前的工作一致，我们发现射击灵敏度在基于度量的几个学习者中广泛存在，但是与先前的工作相反，较大的神经体系结构为变化的测试拍摄提供了一定程度的内置鲁棒性。更重要的是，通过消除对样品噪声的敏感性，一种基于余弦距离的简单，以前已知但非常忽略了一类方法，可以极大地改善对射击变化的鲁​​棒性。我们为流行和最近的几个弹药分类器提供了余弦替代品，从而扩大了它们对现实环境的适用性。这些余弦模型一致地提高了射击力，超越先前的射击状态，并在一系列基准和架构上提供竞争精度，包括在非常低的射击方案中取得的显着增长。

在新课程训练时，几乎没有射击学习（FSL）方法通常假设具有准确标记的样品的清洁支持集。这个假设通常可能是不现实的：支持集，无论多么小，仍然可能包括标签错误的样本。因此，对标签噪声的鲁棒性对于FSL方法是实用的，但是这个问题令人惊讶地在很大程度上没有探索。为了解决FSL设置中标签错误的样品，我们做出了一些技术贡献。 （1）我们提供了简单而有效的特征聚合方法，改善了流行的FSL技术Protonet使用的原型。 （2）我们描述了一种嘈杂的噪声学习的新型变压器模型（TRANFS）。 TRANFS利用变压器的注意机制称重标记为错误的样品。 （3）最后，我们对迷你胶原和tieredimagenet的嘈杂版本进行了广泛的测试。我们的结果表明，TRANFS与清洁支持集的领先FSL方法相对应，但到目前为止，在存在标签噪声的情况下，它们的表现优于它们。

Few-shot classification aims to learn a classifier to recognize unseen classes during training with limited labeled examples. While significant progress has been made, the growing complexity of network designs, meta-learning algorithms, and differences in implementation details make a fair comparison difficult. In this paper, we present 1) a consistent comparative analysis of several representative few-shot classification algorithms, with results showing that deeper backbones significantly reduce the performance differences among methods on datasets with limited domain differences, 2) a modified baseline method that surprisingly achieves competitive performance when compared with the state-of-the-art on both the mini-ImageNet and the CUB datasets, and 3) a new experimental setting for evaluating the cross-domain generalization ability for few-shot classification algorithms. Our results reveal that reducing intra-class variation is an important factor when the feature backbone is shallow, but not as critical when using deeper backbones. In a realistic cross-domain evaluation setting, we show that a baseline method with a standard fine-tuning practice compares favorably against other state-of-the-art few-shot learning algorithms.

epiSodic学习是对几枪学习感兴趣的研究人员和从业者的流行练习。它包括在一系列学习问题（或剧集）中组织培训，每个人分为小型训练和验证子集，以模仿评估期间遇到的情况。但这总是必要吗？在本文中，我们调查了在集发作的级别使用非参数方法，例如最近邻居等方法的焦点学习的有用性。对于这些方法，我们不仅展示了广州学习的限制是如何不必要的，而是他们实际上导致利用培训批次的数据低效方式。我们通过匹配和原型网络进行广泛的消融实验，其中两个最流行的方法在集中的级别使用非参数方法。他们的“非焦化”对应物具有很大的更简单，具有较少的近似参数，并在多个镜头分类数据集中提高它们的性能。

现代深度学习需要大规模广泛标记的数据集进行培训。少量学习旨在通过有效地从少数标记的例子中学习来缓解这个问题。在先前提出的少量视觉分类器中，假设对分类器决定的特征歧管具有不相关的特征尺寸和均匀特征方差。在这项工作中，我们专注于通过提出以低标签制度运行的差异敏感的模型来解决这一假设引起的限制。第一种方法简单的CNAP，采用基于分层正规的Mahalanobis距离基于距离的分类器，与现有神经自适应特征提取器的状态相结合，以在元数据集，迷你成像和分层图像基准基准上实现强大性能。我们进一步将这种方法扩展到转换学习设置，提出转导压盖。这种转换方法将软k-means参数细化过程与两步任务编码器相结合，以实现使用未标记数据的改进的测试时间分类精度。转导CNAP在元数据集上实现了最先进的性能。最后，我们探讨了我们的方法（简单和转换）的使用“开箱即用”持续和积极的学习。大规模基准的广泛实验表明了这一点的鲁棒性和多功能性，相对说话，简单的模型。所有培训的模型检查点和相应的源代码都已公开可用。

识别诸如眼睛和喙之类的判别细节对于区分细粒度的班级非常重要，因为它们的总体外观相似。在这方面，我们介绍了任务差异最大化（TDM），这是一个简单的模块，用于细颗粒的几个射击分类。我们的目标是通过强调编码课堂不同信息的渠道来定位班级判别区域。具体而言，TDM基于两个新颖的组件学习特定于任务的通道权重：支持注意模块（SAM）和查询注意模块（QAM）。 SAM产生支持权重，以表示每个类别的频道判别能力。尽管如此，由于SAM基本上仅基于标记的支持集，因此它可能容易受到此类支持集的偏见。因此，我们提出了QAM，通过产生查询权重来补充SAM，该查询权重使给定查询图像的对象相关的通道更加重量。通过组合这两个权重，定义了特定于类的任务通道权重。然后将权重应用以产生任务自适应特征地图，更多地关注判别细节。我们的实验证实了TDM的有效性及其互补益处，并在细粒度的几乎没有分类中使用了先前的方法。

We propose prototypical networks for the problem of few-shot classification, where a classifier must generalize to new classes not seen in the training set, given only a small number of examples of each new class. Prototypical networks learn a metric space in which classification can be performed by computing distances to prototype representations of each class. Compared to recent approaches for few-shot learning, they reflect a simpler inductive bias that is beneficial in this limited-data regime, and achieve excellent results. We provide an analysis showing that some simple design decisions can yield substantial improvements over recent approaches involving complicated architectural choices and meta-learning. We further extend prototypical networks to zero-shot learning and achieve state-of-theart results on the CU-Birds dataset.

Few-shot learning has become essential for producing models that generalize from few examples. In this work, we identify that metric scaling and metric task conditioning are important to improve the performance of few-shot algorithms. Our analysis reveals that simple metric scaling completely changes the nature of few-shot algorithm parameter updates. Metric scaling provides improvements up to 14% in accuracy for certain metrics on the mini-Imagenet 5-way 5-shot classification task. We further propose a simple and effective way of conditioning a learner on the task sample set, resulting in learning a task-dependent metric space. Moreover, we propose and empirically test a practical end-to-end optimization procedure based on auxiliary task co-training to learn a task-dependent metric space. The resulting few-shot learning model based on the task-dependent scaled metric achieves state of the art on mini-Imagenet. We confirm these results on another few-shot dataset that we introduce in this paper based on CIFAR100. Our code is publicly available at https://github.com/ElementAI/TADAM.

我们解决了几个射击开放式识别（FSOSR）问题，即在我们只有很少的标签样本的一组类中分类的实例，同时检测不属于任何已知类别的实例。偏离现有文献，我们专注于开发模型不足的推理方法，这些方法可以插入任何现有模型，无论其架构或培训程序如何。通过评估嵌入的各种模型的质量，我们量化了模型 - 敏捷FSOSR的内在难度。此外，公平的经验评估表明，在FSOSR的电感环境中，KNN检测器和原型分类器的天真组合在专业或复杂方法之前。这些观察结果促使我们诉诸于转导，这是对标准的几次学习问题的流行而实用的放松。我们介绍了一个开放的设置转导信息最大化方法OSTIM，该方法幻觉了异常原型，同时最大程度地提高了提取的特征和作业之间的相互信息。通过跨越5个数据集的广泛实验，我们表明OSTIM在检测开放式实例的同时，在与最强的托管方法竞争时，在检测开放式实例时都超过了电感和现有的转导方法。我们进一步表明，OSTIM的模型不可知论使其能够成功利用最新体系结构和培训策略的强大表现能力而没有任何超参数修改，这是一个有希望的信号，即将来临的建筑进步将继续积极影响Ostim的表现。

很少有开放式识别旨在对可见类别的培训数据进行有限的培训数据进行分类和新颖的图像。这项任务的挑战是，该模型不仅需要学习判别性分类器，以用很少的培训数据对预定的类进行分类，而且还要拒绝从未见过的培训时间出现的未见类别的输入。在本文中，我们建议从两个新方面解决问题。首先，我们没有像在标准的封闭设置分类中那样学习看到类之间的决策边界，而是为看不见的类保留空间，因此位于这些区域中的图像被认为是看不见的类。其次，为了有效地学习此类决策边界，我们建议利用所见类的背景功能。由于这些背景区域没有显着促进近距离分类的决定，因此自然地将它们用作分类器学习的伪阶层。我们的广泛实验表明，我们提出的方法不仅要优于多个基线，而且还为三个流行的基准测试（即Tieredimagenet，Miniimagenet和Caltech-uscd Birds-birds-2011-2011（Cub））设定了新的最先进结果。

元学习已成为几乎没有图像分类的实用方法，在该方法中，“学习分类器的策略”是在标记的基础类别上进行元学习的，并且可以应用于具有新颖类的任务。我们删除了基类标签的要求，并通过无监督的元学习（UML）学习可通用的嵌入。具体而言，任务发作是在元训练过程中使用未标记的基本类别的数据增强构建的，并且我们将基于嵌入式的分类器应用于新的任务，并在元测试期间使用标记的少量示例。我们观察到两个元素在UML中扮演着重要角色，即进行样本任务和衡量实例之间的相似性的方法。因此，我们获得了具有两个简单修改的​​强基线 - 一个足够的采样策略，每情节有效地构建多个任务以及半分解的相似性。然后，我们利用来自两个方向的任务特征以获得进一步的改进。首先，合成的混淆实例被合并以帮助提取更多的判别嵌入。其次，我们利用额外的特定任务嵌入转换作为元训练期间的辅助组件，以促进预先适应的嵌入式的概括能力。几乎没有学习基准的实验证明，我们的方法比以前的UML方法优于先前的UML方法，并且比其监督变体获得了可比甚至更好的性能。

在这项工作中，我们建议使用分布式样本，即来自目标类别外部的未标记样本，以改善几乎没有记录的学习。具体而言，我们利用易于可用的分布样品来驱动分类器，以避免通过最大化原型到分布样品的距离，同时最大程度地减少分布样品的距离（即支持，查询数据），以避免使用分类器。。我们的方法易于实施，不可知论的是提取器，轻量级，而没有任何额外的预训练费用，并且适用于归纳和跨传输设置。对各种标准基准测试的广泛实验表明，所提出的方法始终提高具有不同架构的预审计网络的性能。

Learning with limited data is a key challenge for visual recognition. Many few-shot learning methods address this challenge by learning an instance embedding function from seen classes and apply the function to instances from unseen classes with limited labels. This style of transfer learning is task-agnostic: the embedding function is not learned optimally discriminative with respect to the unseen classes, where discerning among them leads to the target task. In this paper, we propose a novel approach to adapt the instance embeddings to the target classification task with a set-to-set function, yielding embeddings that are task-specific and are discriminative. We empirically investigated various instantiations of such set-to-set functions and observed the Transformer is most effective -as it naturally satisfies key properties of our desired model. We denote this model as FEAT (few-shot embedding adaptation w/ Transformer) and validate it on both the standard few-shot classification benchmark and four extended few-shot learning settings with essential use cases, i.e., cross-domain, transductive, generalized few-shot learning, and low-shot learning. It archived consistent improvements over baseline models as well as previous methods, and established the new stateof-the-art results on two benchmarks.

最近，已经观察到，转移学习解决方案可能是我们解决许多少量学习基准的全部 - 因此提出了有关何时以及如何部署元学习算法的重要问题。在本文中，我们试图通过1.提出一个新颖的指标（多样性系数）来阐明这些问题，以测量几次学习基准和2.的任务多样性。 ）并在公平条件下进行学习（相同的体系结构，相同的优化器和所有经过培训的模型）。使用多样性系数，我们表明流行的迷你胶原和Cifar-fs几乎没有学习基准的多样性低。这种新颖的洞察力将转移学习解决方案比在公平比较的低多样性方面的元学习解决方案更好。具体而言，我们从经验上发现，低多样性系数与转移学习和MAML学习解决方案之间的高相似性在元测试时间和分类层相似性方面（使用基于特征的距离指标，例如SVCCA，PWCCA，CKA和OPD） ）。为了进一步支持我们的主张，我们发现这种元测试的准确性仍然存在，即使模型大小变化也是如此。因此，我们得出的结论是，在低多样性制度中，MAML和转移学习在公平比较时具有等效的元检验性能。我们也希望我们的工作激发了对元学习基准测试基准的更周到的结构和定量评估。

传统的细颗粒图像分类通常依赖于带注释的地面真相的大规模训练样本。但是，某些子类别在实际应用中可能几乎没有可用的样本。在本文中，我们建议使用多频邻域（MFN）和双交叉调制（DCM）提出一个新颖的几弹性细颗粒图像分类网络（FICNET）。采用模块MFN来捕获空间域和频域中的信息。然后，提取自相似性和多频成分以产生多频结构表示。 DCM使用分别考虑全球环境信息和类别之间的微妙关系来调节嵌入过程。针对两个少量任务的三个细粒基准数据集进行的综合实验验证了FICNET与最先进的方法相比具有出色的性能。特别是，在两个数据集“ Caltech-UCSD鸟”和“ Stanford Cars”上进行的实验分别可以获得分类精度93.17 \％和95.36 \％。它们甚至高于一般的细粒图像分类方法可以实现的。

Representation learningLow-shot learning Feature extractor Base classes (many training examples)Classifier (base and novel categories) Novel classes (few training examples)Figure 1: Our low-shot learning benchmark in two phases: representation learning and low-shot learning. Modern recognition models use large labeled datasets like ImageNet to build good visual representations and train strong classifiers (representation learning).However, these datasets only contain a fixed set of classes. In many realistic scenarios, once deployed, the model might encounter novel classes that it also needs to recognize, but with very few training examples available (low-shot learning). We present two ways of significantly improving performance in this scenario: (1) a novel loss function for representation learning that leads to better visual representations that generalize well, and (2) a method for hallucinating additional examples for the data-starved novel classes.

很少有射击学习（FSL）旨在使用有限标记的示例生成分类器。许多现有的作品采用了元学习方法，构建了一些可以从几个示例中学习以生成分类器的学习者。通常，几次学习者是通过依次对多个几次射击任务进行采样并优化几杆学习者在为这些任务生成分类器时的性能来构建或进行元训练的。性能是通过结果分类器对这些任务的测试（即查询）示例进行分类的程度来衡量的。在本文中，我们指出了这种方法的两个潜在弱点。首先，采样的查询示例可能无法提供足够的监督来进行元训练少数学习者。其次，元学习的有效性随着射击数量的增加而急剧下降。为了解决这些问题，我们为少数学习者提出了一个新颖的元训练目标，这是为了鼓励少数学习者生成像强大分类器一样执行的分类器。具体而言，我们将每个采样的几个弹药任务与强大的分类器相关联，该分类器接受了充分的标记示例。强大的分类器可以看作是目标分类器，我们希望在几乎没有示例的情况下生成的几个学习者，我们使用强大的分类器来监督少数射击学习者。我们提出了一种构建强分类器的有效方法，使我们提出的目标成为现有基于元学习的FSL方法的易于插入的术语。我们与许多代表性的元学习方法相结合验证了我们的方法，Lastshot。在几个基准数据集中，我们的方法可导致各种任务的显着改进。更重要的是，通过我们的方法，基于元学习的FSL方法可以在不同数量的镜头上胜过基于非Meta学习的方法。

We present a conceptually simple, flexible, and general framework for few-shot learning, where a classifier must learn to recognise new classes given only few examples from each. Our method, called the Relation Network (RN), is trained end-to-end from scratch. During meta-learning, it learns to learn a deep distance metric to compare a small number of images within episodes, each of which is designed to simulate the few-shot setting. Once trained, a RN is able to classify images of new classes by computing relation scores between query images and the few examples of each new class without further updating the network. Besides providing improved performance on few-shot learning, our framework is easily extended to zero-shot learning. Extensive experiments on five benchmarks demonstrate that our simple approach provides a unified and effective approach for both of these two tasks.

基于班级成员之间不需要普遍或恒定的特征的共享特征模式，在自然世界中很常见，并且在一系列特征上都超过了一多裂的分类。我们表明，阈值元学习者（例如原型网络）需要一个嵌入维度，该维度在与任务相关的功能数量中指数呈指数级，以模拟这些功能。相比之下，默认情况下，注意分类器（例如匹配网络）是多真的，并且能够通过线性嵌入维度解决这些问题。但是，我们发现，在存在任务核定特征的情况下，元学习问题固有的特征，注意模型容易受到错误分类的影响。为了应对这一挑战，我们提出了一种自我注意的特征选择机制，该机制可适应非歧视性特征。我们证明了我们的方法在元学习布尔功能以及合成和现实世界中的几个学习任务中的有效性。

考虑到数据注释的成本以及几乎没有标记的样本所提供的准确性提高，几乎没有射击的成本，几乎没有射击的转移学习越来越多。尤其是在少量分类（FSC）中，最近的作品探索了旨在最大程度地相对于未知参数的可能性或后二阶段的特征分布。遵循这种静脉，并考虑到FSC和聚类之间的平行，我们寻求更好地考虑到由于缺乏数据而导致的估计不确定性，以及与每个类相关的群集的统计属性更好。因此，在本文中，我们提出了一种基于变异贝叶斯推论的新聚类方法，基于概率线性判别分析，自适应维度降低进一步改善。当应用于先前研究中使用的功能时，我们提出的方法可显着提高在各种少量基准测试的现实不平衡转导设置中的准确性，其准确性高达$ 6 \％$。此外，当应用于平衡设置时，我们将获得非常有竞争力的结果，而无需使用对实际用例的级别平衡伪像。我们还提供了方法的性能，以高性能的主链链链，其报告的结果进一步超过了当前的最新准确性，这表明该方法的通用性。