模型不合时宜的元学习（MAML）可以说是当今最流行的元学习算法之一。然而，它在几次分类上的性能远远远远远远远远远远远远远远落在许多致力于该问题的算法。在本文中，我们指出了如何训练MAML以进行几次分类的几个关键方面。首先，我们发现MAML在其内部循环更新中需要大量的梯度步骤，这与其常见的用法相矛盾。其次，我们发现MAML对元测试过程中的类标签分配敏感。具体而言，MAML Meta-Trains $ n$道分类器的初始化。这些$ n $方式，在元测试期间，然后具有“ $ n！$”的“ $ n！$”排列，并与$ n $新颖的课程配对。我们发现这些排列会导致巨大的准确性差异，从而使MAML不稳定。第三，我们研究了几种使MAML置换不变的方法，其中元训练单个向量以初始化分类头中的所有$ n $重量矢量的初始化。在Miniimagenet和Tieredimagenet等基准数据集上，我们命名Unicorn-MAML的方法在不牺牲MAML的简单性的情况下以与许多最近的几杆分类算法相同甚至优于许多近期的几个次数分类算法。

很少有射击学习（FSL）旨在使用有限标记的示例生成分类器。许多现有的作品采用了元学习方法，构建了一些可以从几个示例中学习以生成分类器的学习者。通常，几次学习者是通过依次对多个几次射击任务进行采样并优化几杆学习者在为这些任务生成分类器时的性能来构建或进行元训练的。性能是通过结果分类器对这些任务的测试（即查询）示例进行分类的程度来衡量的。在本文中，我们指出了这种方法的两个潜在弱点。首先，采样的查询示例可能无法提供足够的监督来进行元训练少数学习者。其次，元学习的有效性随着射击数量的增加而急剧下降。为了解决这些问题，我们为少数学习者提出了一个新颖的元训练目标，这是为了鼓励少数学习者生成像强大分类器一样执行的分类器。具体而言，我们将每个采样的几个弹药任务与强大的分类器相关联，该分类器接受了充分的标记示例。强大的分类器可以看作是目标分类器，我们希望在几乎没有示例的情况下生成的几个学习者，我们使用强大的分类器来监督少数射击学习者。我们提出了一种构建强分类器的有效方法，使我们提出的目标成为现有基于元学习的FSL方法的易于插入的术语。我们与许多代表性的元学习方法相结合验证了我们的方法，Lastshot。在几个基准数据集中，我们的方法可导致各种任务的显着改进。更重要的是，通过我们的方法，基于元学习的FSL方法可以在不同数量的镜头上胜过基于非Meta学习的方法。

模型不合时宜的元学习（MAML）是一种著名的少数学习方法，它启发了许多后续工作，例如Anil和Boil。但是，作为一种归纳方法，MAML无法完全利用查询集的信息，从而限制了其获得更高通用性的潜力。为了解决这个问题，我们提出了一种简单而有效的方法，该方法可以适应性地生成伪标记，并可以提高MAML家族的性能。所提出的方法，被称为生成伪标签的MAML（GP-MAML），GP-Anil和GP-Boil，是查询的杠杆统计数据，以提高新任务的性能。具体而言，我们自适应地添加伪标签并从查询集中挑选样品，然后使用挑选的查询样品和支持集对模型进行重新训练。 GP系列还可以使用伪查询集中的信息在元测试过程中重新培训网络。尽管某些转导方法（例如跨传播网络（TPN））努力实现这一目标。

Few-shot classification aims to learn a classifier to recognize unseen classes during training with limited labeled examples. While significant progress has been made, the growing complexity of network designs, meta-learning algorithms, and differences in implementation details make a fair comparison difficult. In this paper, we present 1) a consistent comparative analysis of several representative few-shot classification algorithms, with results showing that deeper backbones significantly reduce the performance differences among methods on datasets with limited domain differences, 2) a modified baseline method that surprisingly achieves competitive performance when compared with the state-of-the-art on both the mini-ImageNet and the CUB datasets, and 3) a new experimental setting for evaluating the cross-domain generalization ability for few-shot classification algorithms. Our results reveal that reducing intra-class variation is an important factor when the feature backbone is shallow, but not as critical when using deeper backbones. In a realistic cross-domain evaluation setting, we show that a baseline method with a standard fine-tuning practice compares favorably against other state-of-the-art few-shot learning algorithms.

Learning with limited data is a key challenge for visual recognition. Many few-shot learning methods address this challenge by learning an instance embedding function from seen classes and apply the function to instances from unseen classes with limited labels. This style of transfer learning is task-agnostic: the embedding function is not learned optimally discriminative with respect to the unseen classes, where discerning among them leads to the target task. In this paper, we propose a novel approach to adapt the instance embeddings to the target classification task with a set-to-set function, yielding embeddings that are task-specific and are discriminative. We empirically investigated various instantiations of such set-to-set functions and observed the Transformer is most effective -as it naturally satisfies key properties of our desired model. We denote this model as FEAT (few-shot embedding adaptation w/ Transformer) and validate it on both the standard few-shot classification benchmark and four extended few-shot learning settings with essential use cases, i.e., cross-domain, transductive, generalized few-shot learning, and low-shot learning. It archived consistent improvements over baseline models as well as previous methods, and established the new stateof-the-art results on two benchmarks.

Few-shot learning aims to fast adapt a deep model from a few examples. While pre-training and meta-training can create deep models powerful for few-shot generalization, we find that pre-training and meta-training focuses respectively on cross-domain transferability and cross-task transferability, which restricts their data efficiency in the entangled settings of domain shift and task shift. We thus propose the Omni-Training framework to seamlessly bridge pre-training and meta-training for data-efficient few-shot learning. Our first contribution is a tri-flow Omni-Net architecture. Besides the joint representation flow, Omni-Net introduces two parallel flows for pre-training and meta-training, responsible for improving domain transferability and task transferability respectively. Omni-Net further coordinates the parallel flows by routing their representations via the joint-flow, enabling knowledge transfer across flows. Our second contribution is the Omni-Loss, which introduces a self-distillation strategy separately on the pre-training and meta-training objectives for boosting knowledge transfer throughout different training stages. Omni-Training is a general framework to accommodate many existing algorithms. Evaluations justify that our single framework consistently and clearly outperforms the individual state-of-the-art methods on both cross-task and cross-domain settings in a variety of classification, regression and reinforcement learning problems.

元学习已成为几乎没有图像分类的实用方法，在该方法中，“学习分类器的策略”是在标记的基础类别上进行元学习的，并且可以应用于具有新颖类的任务。我们删除了基类标签的要求，并通过无监督的元学习（UML）学习可通用的嵌入。具体而言，任务发作是在元训练过程中使用未标记的基本类别的数据增强构建的，并且我们将基于嵌入式的分类器应用于新的任务，并在元测试期间使用标记的少量示例。我们观察到两个元素在UML中扮演着重要角色，即进行样本任务和衡量实例之间的相似性的方法。因此，我们获得了具有两个简单修改的​​强基线 - 一个足够的采样策略，每情节有效地构建多个任务以及半分解的相似性。然后，我们利用来自两个方向的任务特征以获得进一步的改进。首先，合成的混淆实例被合并以帮助提取更多的判别嵌入。其次，我们利用额外的特定任务嵌入转换作为元训练期间的辅助组件，以促进预先适应的嵌入式的概括能力。几乎没有学习基准的实验证明，我们的方法比以前的UML方法优于先前的UML方法，并且比其监督变体获得了可比甚至更好的性能。

几乎没有学习方法的目的是训练模型，这些模型可以根据少量数据轻松适应以前看不见的任务。最受欢迎，最优雅的少学习方法之一是模型敏捷的元学习（MAML）。这种方法背后的主要思想是学习元模型的一般权重，该权重进一步适应了少数梯度步骤中的特定问题。但是，该模型的主要限制在于以下事实：更新过程是通过基于梯度的优化实现的。因此，MAML不能总是在一个甚至几个梯度迭代中将权重修改为基本水平。另一方面，使用许多梯度步骤会导致一个复杂且耗时的优化程序，这很难在实践中训练，并且可能导致过度拟合。在本文中，我们提出了HyperMAML，这是MAML的新型概括，其中更新过程的训练也是模型的一部分。也就是说，在HyperMAML中，我们没有使用梯度下降来更新权重，而是为此目的使用可训练的超级净机。因此，在此框架中，该模型可以生成重大更新，其范围不限于固定数量的梯度步骤。实验表明，超型MAML始终胜过MAML，并且在许多标准的几次学习基准测试基准中与其他最先进的技术相当。

元学习方法旨在构建能够快速适应低数据制度的新任务的学习算法。这种算法的主要基准之一是几次学习问题。在本文中，我们调查了在培训期间采用多任务方法的标准元学习管道的修改。该提出的方法同时利用来自常见损​​失函数中的几个元训练任务的信息。每个任务在损耗功能中的影响由相应的重量控制。正确优化这些权重可能对整个模型的训练产生很大影响，并且可能会提高测试时间任务的质量。在这项工作中，我们提出并调查了使用同时扰动随机近似（SPSA）方法的方法的使用方法，用于元列车任务权重优化。我们还将提出的算法与基于梯度的方法进行了比较，发现随机近似表明了测试时间最大的质量增强。提出的多任务修改可以应用于使用元学习管道的几乎所有方法。在本文中，我们研究了这种修改对CiFar-FS，FC100，TieredimAgenet和MiniimAgenet几秒钟学习基准的原型网络和模型 - 不可知的元学习算法。在这些实验期间，多任务修改已经证明了对原始方法的改进。所提出的SPSA跟踪算法显示了对最先进的元学习方法具有竞争力的最大精度提升。我们的代码可在线获取。

少量学习，特别是几秒钟的图像分类，近年来受到了越来越多的关注，并目睹了重大进展。最近的一些研究暗示表明，许多通用技术或“诀窍”，如数据增强，预训练，知识蒸馏和自我监督，可能大大提高了几次学习方法的性能。此外，不同的作品可以采用不同的软件平台，不同的训练计划，不同的骨干架构以及甚至不同的输入图像大小，使得公平的比较困难，从业者与再现性斗争。为了解决这些情况，通过在Pytorch中的同一单个代码库中重新实施17个最新的框架，提出了几次射门学习（Libfewshot）的全面图书馆。此外，基于libfewshot，我们提供多个基准数据集的全面评估，其中包含多个骨干架构，以评估不同培训技巧的常见缺陷和效果。此外，鉴于近期对必要性或未培训机制的必要性怀疑，我们的评估结果表明，特别是当与预训练相结合时，仍然需要这种机制。我们希望我们的工作不仅可以降低初学者的障碍，可以在几次学习上工作，而且还消除了非动力技巧的影响，促进了几枪学习的内在研究。源代码可从https://github.com/rl-vig/libfewshot获取。

The focus of recent meta-learning research has been on the development of learning algorithms that can quickly adapt to test time tasks with limited data and low computational cost. Few-shot learning is widely used as one of the standard benchmarks in meta-learning. In this work, we show that a simple baseline: learning a supervised or selfsupervised representation on the meta-training set, followed by training a linear classifier on top of this representation, outperforms state-of-the-art few-shot learning methods. An additional boost can be achieved through the use of selfdistillation. This demonstrates that using a good learned embedding model can be more effective than sophisticated meta-learning algorithms. We believe that our findings motivate a rethinking of few-shot image classification benchmarks and the associated role of meta-learning algorithms.

几个射击分类（FSC）需要使用几个（通常为1-5个）数据点的培训模型。事实证明，元学习能够通过培训各种其他分类任务来学习FSC的参数化模型。在这项工作中，我们提出了铂金（使用superodular互信息的半监督模型不可思议的元学习），这是一种新型的半监督模型不合理的元学习框架，使用了子模块化信息（SMI）函数来促进FSC的性能。在元训练期间，使用SMI函数在内部和外循环中利用铂金的数据，并获得元测试的更丰富的元学习参数化。我们在两种情况下研究白金的性能 - 1）未标记的数据点属于与某个插曲的标签集相同的类别集，以及2）在存在不属于的分布类别的地方标记的集合。我们在Miniimagenet，Tieredimagenet和几乎没有Shot-CIFAR100数据集的各种设置上评估了我们的方法。我们的实验表明，铂金优于MAML和半监督的方法，例如用于半监视的FSC的pseduo-Labeling，尤其是对于每个类别的标记示例比例很小。

模型不合时宜的元学习（MAML）是最成功的元学习技术之一。它使用梯度下降来学习各种任务之间的共同点，从而使模型能够学习其自身参数的元定义，以使用少量标记的培训数据快速适应新任务。几次学习的关键挑战是任务不确定性。尽管可以从具有大量任务的元学习中获得强大的先验，但是由于训练数据集的数量通常太小，因此无法保证新任务的精确模型。在这项研究中，首先，在选择初始化参数的过程中，为特定于任务的学习者提出了新方法，以适应性地学习选择最小化新任务损失的初始化参数。然后，我们建议对元损失部分的两种改进的方法：方法1通过比较元损失差异来生成权重，以提高几个类别时的准确性，而方法2引入了每个任务的同质不确定性，以根据多个损失，以基于多个损失。原始的梯度下降是一种增强新型类别的概括能力的方式，同时确保了准确性的提高。与以前的基于梯度的元学习方法相比，我们的模型在回归任务和少量分类中的性能更好，并提高了模型的鲁棒性，对元测试集中的学习率和查询集。

Few-shot learning (FSL) is a central problem in meta-learning, where learners must efficiently learn from few labeled examples. Within FSL, feature pre-training has recently become an increasingly popular strategy to significantly improve generalization performance. However, the contribution of pre-training is often overlooked and understudied, with limited theoretical understanding of its impact on meta-learning performance. Further, pre-training requires a consistent set of global labels shared across training tasks, which may be unavailable in practice. In this work, we address the above issues by first showing the connection between pre-training and meta-learning. We discuss why pre-training yields more robust meta-representation and connect the theoretical analysis to existing works and empirical results. Secondly, we introduce Meta Label Learning (MeLa), a novel meta-learning algorithm that learns task relations by inferring global labels across tasks. This allows us to exploit pre-training for FSL even when global labels are unavailable or ill-defined. Lastly, we introduce an augmented pre-training procedure that further improves the learned meta-representation. Empirically, MeLa outperforms existing methods across a diverse range of benchmarks, in particular under a more challenging setting where the number of training tasks is limited and labels are task-specific. We also provide extensive ablation study to highlight its key properties.

图形神经网络（GNNS）已被用于解决几次拍摄学习（FSL）问题，并在转换设置下显示出很大的潜力。但是在归纳设置下，现有的基于GNN的方法竞争较差。这是因为它们使用实例GNN作为标签传播/分类模块，其与特征嵌入网络共同学习。这种设计是有问题的，因为分类器需要在嵌入而不快速地适应新任务。为了克服这个问题，本文提出了一种新的混合GNN（HGNN）模型，包括两个GNN，实例GNN和原型GNN。它们代替标签传播，它们用作嵌入适应模块的功能，以便快速适应嵌入到新任务的元学员的功能。重要的是，他们旨在处理FSL中的基本但经常被忽视的挑战，即只有每班少量镜头，任何几次拍摄的分类器都会对差异或可能导致阶层的严重采样镜头敏感分配重叠。 ％我们的两个GNNS旨在分别解决这两种类型的差别少量射击，并且在混合GNN模型中利用它们的互补性。广泛的实验表明，我们的HGNN在三个FSL基准上获得了新的最先进。

epiSodic学习是对几枪学习感兴趣的研究人员和从业者的流行练习。它包括在一系列学习问题（或剧集）中组织培训，每个人分为小型训练和验证子集，以模仿评估期间遇到的情况。但这总是必要吗？在本文中，我们调查了在集发作的级别使用非参数方法，例如最近邻居等方法的焦点学习的有用性。对于这些方法，我们不仅展示了广州学习的限制是如何不必要的，而是他们实际上导致利用培训批次的数据低效方式。我们通过匹配和原型网络进行广泛的消融实验，其中两个最流行的方法在集中的级别使用非参数方法。他们的“非焦化”对应物具有很大的更简单，具有较少的近似参数，并在多个镜头分类数据集中提高它们的性能。

Federated Learning有望在不访问数据的情况下与多个客户进行协作培训模型的能力，但是当客户的数据分布彼此差异时脆弱。这种差异进一步导致了困境：“我们是否应该优先考虑学习模型的通用性能（用于服务器的将来使用）或其个性化绩效（对于每个客户端）？”这两个看似竞争的目标使社区分裂了专注于一个或另一个，但在本文中，我们表明可以同时实现这两者。具体而言，我们提出了一个新颖的联邦学习框架，该框架将模型的双重职责与两个预测任务相结合。一方面，我们介绍了一个损失家族，这些损失家庭对非相同的班级分布，使客户能够培训一个通用的预测指标，并以一致的目标培训。另一方面，我们将个性化预测变量作为一种轻巧的自适应模块，以最大程度地减少每个客户在通用预测指标上的经验风险。借助我们将联合强大的脱钩（FED-ROD）命名的两个损失的两次挑战框架，学识渊博的模型可以同时实现最先进的通用和个性化的性能，从而实质上弥补了这两个任务。

共享初始化参数的元学习已显示在解决少量学习任务方面非常有效。然而，将框架扩展到许多射击场景，这可能进一步提高其实用性，这一切相对忽略了由于内梯度步长的长链中的元学习的技术困难。在本文中，我们首先表明允许元学习者采取更多的内梯度步骤更好地捕获异构和大规模任务分布的结构，从而导致获得更好的初始化点。此外，为了增加元更新的频率，即使是过度长的内部优化轨迹，我们建议估计关于初始化参数的改变的任务特定参数的所需移位。通过这样做，我们可以随意增加元更新的频率，从而大大提高了元级收敛以及学习初始化的质量。我们验证了我们在异构的大规模任务集中验证了方法，并表明该算法在泛型性能和收敛方面以及多任务学习和微调基线方面主要优于先前的一阶元学习方法。 。

很少有视觉识别是指从一些标记实例中识别新颖的视觉概念。通过将查询表示形式与类表征进行比较以预测查询实例的类别，许多少数射击的视觉识别方法采用了基于公制的元学习范式。但是，当前基于度量的方法通常平等地对待所有实例，因此通常会获得有偏见的类表示，考虑到并非所有实例在总结了类级表示的实例级表示时都同样重要。例如，某些实例可能包含无代表性的信息，例如过多的背景和无关概念的信息，这使结果偏差。为了解决上述问题，我们提出了一个新型的基于公制的元学习框架，称为实例自适应类别表示网络（ICRL-net），以进行几次视觉识别。具体而言，我们开发了一个自适应实例重新平衡网络，具有在生成班级表示，通过学习和分配自适应权重的不同实例中的自适应权重时，根据其在相应类的支持集中的相对意义来解决偏见的表示问题。此外，我们设计了改进的双线性实例表示，并结合了两个新型的结构损失，即，阶层内实例聚类损失和阶层间表示区分损失，以进一步调节实例重估过程并完善类表示。我们对四个通常采用的几个基准测试：Miniimagenet，Tieredimagenet，Cifar-FS和FC100数据集进行了广泛的实验。与最先进的方法相比，实验结果证明了我们的ICRL-NET的优势。

少量学习（FSL）是一个具有挑战性的任务，\ emph {i.e.}，如何用少数例子识别新颖的类？基于预先训练的方法通过预先训练特征提取器，然后通过具有基于均值的原型的余弦最近邻分类来预测新颖类来有效地解决问题。然而，由于数据稀缺，通常的平均原型通常偏置。在本文中，我们试图通过将原型偏差视为原型优化问题来减少原型偏差。为此，我们提出了一种新颖的基于元学习的原型优化框架来纠正原型，\ emph {i.}，引入元优化器以优化原型。虽然现有的元优化器也可以适应我们的框架，但它们都忽略了一个关键的梯度偏置问题，\ emph {i.}，均值的梯度估计也偏置在稀疏数据上。为了解决这个问题，我们将梯度及其流量视为元知识，然后提出一种新的神经常规差分方程（ODE）基础的元优化器，以抛光原型，称为Metanode。在此元优化器中，我们首先将基于平均原型的原型视图为初始原型，然后将原型优化的过程模拟为神经竞争指定的连续时间动态。仔细设计梯度流动推理网络，学习估计原型动态的连续梯度流。最后，通过求解神经焦点，可以获得最佳原型。对Miniimagenet，Tieredimagenet和Cub-200-2011的广泛实验显示了我们方法的有效性。