基于优化的元学习旨在学习初始化，以便在一些梯度更新中可以学习新的看不见的任务。模型不可知的元学习（MAML）是一种包括两个优化回路的基准算法。内部循环致力于学习一项新任务，并且外循环导致元定义。但是，Anil（几乎没有内部环）算法表明，功能重用是MAML快速学习的替代方法。因此，元定义阶段使MAML用于特征重用，并消除了快速学习的需求。与Anil相反，我们假设可能需要在元测试期间学习新功能。从非相似分布中进行的一项新的看不见的任务将需要快速学习，并重用现有功能。在本文中，我们调用神经网络的宽度深度二元性，其中，我们通过添加额外的计算单元（ACU）来增加网络的宽度。 ACUS可以在元测试任务中学习新的原子特征，而相关的增加宽度有助于转发通行证中的信息传播。新学习的功能与最后一层的现有功能相结合，用于元学习。实验结果表明，我们提出的MAC方法的表现优于现有的非相似任务分布的Anil算法，约为13％（5次任务设置）

模型不合时宜的元学习（MAML）是最成功的元学习技术之一。它使用梯度下降来学习各种任务之间的共同点，从而使模型能够学习其自身参数的元定义，以使用少量标记的培训数据快速适应新任务。几次学习的关键挑战是任务不确定性。尽管可以从具有大量任务的元学习中获得强大的先验，但是由于训练数据集的数量通常太小，因此无法保证新任务的精确模型。在这项研究中，首先，在选择初始化参数的过程中，为特定于任务的学习者提出了新方法，以适应性地学习选择最小化新任务损失的初始化参数。然后，我们建议对元损失部分的两种改进的方法：方法1通过比较元损失差异来生成权重，以提高几个类别时的准确性，而方法2引入了每个任务的同质不确定性，以根据多个损失，以基于多个损失。原始的梯度下降是一种增强新型类别的概括能力的方式，同时确保了准确性的提高。与以前的基于梯度的元学习方法相比，我们的模型在回归任务和少量分类中的性能更好，并提高了模型的鲁棒性，对元测试集中的学习率和查询集。

IoT设备收集的数据通常是私人的，并且在各种用户之间具有巨大的多样性。因此，学习需要使用可用的代表性数据样本进行预训练，在物联网设备上部署预训练的模型，并使用本地数据在设备上调整已部署的模型。这种用于深度学习授权应用程序的设备改编需要数据和记忆效率。但是，现有的基于梯度的元学习方案无法支持记忆有效的适应。为此，我们提出了P-Meta，这是一种新的元学习方法，该方法可以强制执行结构的部分参数更新，同时确保快速概括到看不见的任务。对几片图像分类和强化学习任务的评估表明，与最先进的几次适应方法相比。

几乎没有学习方法的目的是训练模型，这些模型可以根据少量数据轻松适应以前看不见的任务。最受欢迎，最优雅的少学习方法之一是模型敏捷的元学习（MAML）。这种方法背后的主要思想是学习元模型的一般权重，该权重进一步适应了少数梯度步骤中的特定问题。但是，该模型的主要限制在于以下事实：更新过程是通过基于梯度的优化实现的。因此，MAML不能总是在一个甚至几个梯度迭代中将权重修改为基本水平。另一方面，使用许多梯度步骤会导致一个复杂且耗时的优化程序，这很难在实践中训练，并且可能导致过度拟合。在本文中，我们提出了HyperMAML，这是MAML的新型概括，其中更新过程的训练也是模型的一部分。也就是说，在HyperMAML中，我们没有使用梯度下降来更新权重，而是为此目的使用可训练的超级净机。因此，在此框架中，该模型可以生成重大更新，其范围不限于固定数量的梯度步骤。实验表明，超型MAML始终胜过MAML，并且在许多标准的几次学习基准测试基准中与其他最先进的技术相当。

我们提出了一种适应课程训练框架，适用于少量分类的最先进的元学习技术。基于课程的培训普遍试图通过逐步增加培训复杂性来实现培训复杂性以实现增量概念学习。由于元学习者的目标是学习如何从尽可能少的样本中学习，那些样本的确切数量（即支撑集的大小）是作为给定任务困难的自然代理。我们定义了一个简单但新颖的课程计划，从更大的支持大小开始，并且逐步减少整个训练，最终匹配测试设置的所需拍摄大小。这种提出的方​​法提高了学习效率以及泛化能力。我们在两次拍摄图像分类任务上使用MAML算法进行了实验，显示了课程训练框架的显着收益。消融研究证实了我们所提出的方法的独立性，从模型架构以及元学习的普通参数

元学习方法旨在构建能够快速适应低数据制度的新任务的学习算法。这种算法的主要基准之一是几次学习问题。在本文中，我们调查了在培训期间采用多任务方法的标准元学习管道的修改。该提出的方法同时利用来自常见损​​失函数中的几个元训练任务的信息。每个任务在损耗功能中的影响由相应的重量控制。正确优化这些权重可能对整个模型的训练产生很大影响，并且可能会提高测试时间任务的质量。在这项工作中，我们提出并调查了使用同时扰动随机近似（SPSA）方法的方法的使用方法，用于元列车任务权重优化。我们还将提出的算法与基于梯度的方法进行了比较，发现随机近似表明了测试时间最大的质量增强。提出的多任务修改可以应用于使用元学习管道的几乎所有方法。在本文中，我们研究了这种修改对CiFar-FS，FC100，TieredimAgenet和MiniimAgenet几秒钟学习基准的原型网络和模型 - 不可知的元学习算法。在这些实验期间，多任务修改已经证明了对原始方法的改进。所提出的SPSA跟踪算法显示了对最先进的元学习方法具有竞争力的最大精度提升。我们的代码可在线获取。

We propose an algorithm for meta-learning that is model-agnostic, in the sense that it is compatible with any model trained with gradient descent and applicable to a variety of different learning problems, including classification, regression, and reinforcement learning. The goal of meta-learning is to train a model on a variety of learning tasks, such that it can solve new learning tasks using only a small number of training samples. In our approach, the parameters of the model are explicitly trained such that a small number of gradient steps with a small amount of training data from a new task will produce good generalization performance on that task. In effect, our method trains the model to be easy to fine-tune. We demonstrate that this approach leads to state-of-the-art performance on two fewshot image classification benchmarks, produces good results on few-shot regression, and accelerates fine-tuning for policy gradient reinforcement learning with neural network policies.

最近的工作表明，我们需要解决许多射门学习基准的所有嵌入。此外，其他工作强烈建议，模型不可知的元学习（MAML）也通过这种相同的方法工作 - 通过学习良好的嵌入方式。这些观察结果突出了我们对Meta学习算法正在做的事情和工作时缺乏了解。在这项工作中，我们提供了对META学习的MAML表示函数的函数的一些实证结果。特别是，我们确定三个有趣的属性：1）与之前的工作相比，我们表明可以定义一系列导致低特征重复使用的合成基准组合 - 表明当前几次拍摄的学习基准可能没有元学习算法的成功所需的属性; 2）当课程（或概念）的数量是有限的时，发生了元过度装箱，并且在任务中有一个无限数量的概念（例如，在线学习），这个问题消失了; 3）使用MAML的META测试时间的更多适应性不一定导致显着的表示变化甚至可以提高META-TEST性能 - 即使在我们提出的合成基准测试中培训。最后，我们建议要更好地了解元学习算法，我们必须超越追踪绝对性能，另外，正式量化元学习的程度并将两个指标一起追踪。以后的工作报告结果，这种方式将帮助我们更准确地确定元过度装箱的来源，并帮助我们设计更灵活的元学习算法，这些算法学习超出固定功能重复使用。最后，我们猜测重新思考元学习的核心挑战是在设计少量学习数据集和基准中的设计中 - 而不是在算法中，如以前的工作所示。

模型不合时宜的元学习（MAML）可以说是当今最流行的元学习算法之一。然而，它在几次分类上的性能远远远远远远远远远远远远远远落在许多致力于该问题的算法。在本文中，我们指出了如何训练MAML以进行几次分类的几个关键方面。首先，我们发现MAML在其内部循环更新中需要大量的梯度步骤，这与其常见的用法相矛盾。其次，我们发现MAML对元测试过程中的类标签分配敏感。具体而言，MAML Meta-Trains $ n$道分类器的初始化。这些$ n $方式，在元测试期间，然后具有“ $ n！$”的“ $ n！$”排列，并与$ n $新颖的课程配对。我们发现这些排列会导致巨大的准确性差异，从而使MAML不稳定。第三，我们研究了几种使MAML置换不变的方法，其中元训练单个向量以初始化分类头中的所有$ n $重量矢量的初始化。在Miniimagenet和Tieredimagenet等基准数据集上，我们命名Unicorn-MAML的方法在不牺牲MAML的简单性的情况下以与许多最近的几杆分类算法相同甚至优于许多近期的几个次数分类算法。

元学习在现有基准测试基准上的成功取决于以下假设：元训练任务的分布涵盖了元测试任务。经常违反任务不足或非常狭窄的元训练任务分布的应用中的假设会导致记忆或学习者过度拟合。最近的解决方案已追求元训练任务的增强，而同时产生正确和充分虚构任务的问题仍然是一个悬而未决的问题。在本文中，我们寻求一种方法，该方法是通过任务上采样网络从任务表示从任务表示的映射任务。此外，最终的方法将对抗性任务上采样（ATU）命名为足以生成可以通过最大化对抗性损失来最大程度地贡献最新元学习者的任务。在几乎没有正弦的回归和图像分类数据集上，我们从经验上验证了ATU在元测试性能中的最新任务增强策略的明显改善以及上采样任务的质量。

模型不合时宜的元学习（MAML）是一种著名的少数学习方法，它启发了许多后续工作，例如Anil和Boil。但是，作为一种归纳方法，MAML无法完全利用查询集的信息，从而限制了其获得更高通用性的潜力。为了解决这个问题，我们提出了一种简单而有效的方法，该方法可以适应性地生成伪标记，并可以提高MAML家族的性能。所提出的方法，被称为生成伪标签的MAML（GP-MAML），GP-Anil和GP-Boil，是查询的杠杆统计数据，以提高新任务的性能。具体而言，我们自适应地添加伪标签并从查询集中挑选样品，然后使用挑选的查询样品和支持集对模型进行重新训练。 GP系列还可以使用伪查询集中的信息在元测试过程中重新培训网络。尽管某些转导方法（例如跨传播网络（TPN））努力实现这一目标。

神经网络需要大量的注释数据才能学习。元学习算法提出了一种将训练样本数量减少到少数的方法。最突出的基于优化的元学习算法之一是模型敏捷的元学习（MAML）。但是，适应MAML新任务的关键过程非常慢。在这项工作中，我们提出了对MAML元学习算法的改进。我们介绍了lambda模式，通过这些模式，我们限制了在适应阶段在网络中更新的重量。这使得可以跳过某些梯度计算。选择最快的图案给定允许的质量降解阈值参数。在某些情况下，通过仔细的模式选择可以提高质量。进行的实验表明，通过Lambda适应模式选择，可以在以下区域显着改善MAML方法：适应时间已减少3倍，而精度损失最小；一步适应的准确性已大大提高。

几乎没有弹出的文本分类旨在在几个弹奏方案下对文本进行分类。以前的大多数方法都采用基于优化的元学习来获得任务分布。但是，由于少数样本和复杂模型之间的匹配以及有用的任务功能之间的区别，这些方法遭受了过度拟合问题的影响。为了解决这个问题，我们通过梯度相似性（AMGS）方法提出了一种新颖的自适应元学习器，以提高模型的泛化能力。具体而言，拟议的AMG基于两个方面缓解了过度拟合：（i）通过内部循环中的自我监督的辅助任务来获取样品的潜在语义表示并改善模型的概括，（ii）利用适应性元学习者通过适应性元学习者通过梯度通过相似性，可以在外环中基底学习者获得的梯度上增加约束。此外，我们对正则化对整个框架的影响进行系统分析。对几个基准测试的实验结果表明，与最先进的优化元学习方法相比，提出的AMG始终提高了很少的文本分类性能。

由于在具有不同资源预算的各种平台上的模型部署方便，因此具有自适应位的深度神经网络量化已引起了人们的关注。在本文中，我们提出了一种元学习方法来实现这一目标。具体而言，我们提出了MEBQAT，这是一种简单而有效的自适应量化意识训练（QAT）的方法，在该方法中，通过重新定义元学习任务以合并位宽，将元学习与QAT有效合并。部署在平台上后，MEBQAT允许将（Meta-）训练的模型量化为任何候选位宽，然后有助于进行推理，而无需过多准确地量化。此外，通过一些学习方案，MEBQAT还可以通过添加常规优化或基于公制的元学习来使模型以及任何看不见的目标类调整模型。我们设计了MEBQAT的变体，以支持（1）（1）位置自适应量化方案和（2）新的几次学习方案，在该方案中，量化位低和目标类都是共同调整的。我们通过实验证明了它们在多个QAT方案中的有效性。通过将它们的性能与（Bitwidth-dedicatied）QAT，现有的Bitwidth自适应QAT和Vanilla Meta-Learning进行比较，我们发现将Bitwidths合并到元学习任务中可以达到更高的鲁棒性。

近年来，元学习领域令人兴奋地兴起。在现有的元学习方法中，通常从公共数据集收集培训元模型的学习任务，这带来了具有大量培训数据获得足够数量的元学习任务的难度。在本文中，我们提出了一种基于随机产生的元学习任务的元学习方法，以基于大数据获得用于分类学习的参数损失。损失由深度神经网络表示，称为META损耗网络（MLN）。要培训MLN，我们通过随机生成培训数据，验证数据和相应的地面图线性分类器来构建大量分类学习任务。我们的方法有两个优点。首先，可以容易地获得具有大量训练数据的足够的元学习任务。其次，给出了地面真理分类器，因此可以测量学习分类器和地面实模之间的差异，以更精确地反映MLN的性能而不是验证精度。基于这种差异，我们应用进化策略算法找出最佳MLN。结果MLN不仅导致对生成的线性分类器学习任务进行测试的令人满意的学习效果，而且在生成的非线性分类器学习任务和各种公共分类任务中也表现得非常好。我们的MLN稳定超过跨熵（CE）和均方误差（MSE），以测试精度和泛化能力。这些结果说明了使用生成的学习任务实现令人满意的元学习效果的可能性。

Meta-learning has been proposed as a framework to address the challenging few-shot learning setting. The key idea is to leverage a large number of similar few-shot tasks in order to learn how to adapt a base-learner to a new task for which only a few labeled samples are available. As deep neural networks (DNNs) tend to overfit using a few samples only, meta-learning typically uses shallow neural networks (SNNs), thus limiting its effectiveness. In this paper we propose a novel few-shot learning method called meta-transfer learning (MTL) which learns to adapt a deep NN for few shot learning tasks. Specifically, meta refers to training multiple tasks, and transfer is achieved by learning scaling and shifting functions of DNN weights for each task. In addition, we introduce the hard task (HT) meta-batch scheme as an effective learning curriculum for MTL. We conduct experiments using (5-class, 1-shot) and (5-class, 5shot) recognition tasks on two challenging few-shot learning benchmarks: miniImageNet and Fewshot-CIFAR100. Extensive comparisons to related works validate that our meta-transfer learning approach trained with the proposed HT meta-batch scheme achieves top performance. An ablation study also shows that both components contribute to fast convergence and high accuracy 1 .Optimize θ by Eq. 3; 5 end 6 Optimize Φ S {1,2} and θ by Eq. 4 and Eq. 5; 7 while not done do 8 Sample class-k in T (te) ; 9 Compute Acc k for T (te) ; 10 end 11 Return class-m with the lowest accuracy Acc m .

Backpropagation is widely used to train artificial neural networks, but its relationship to synaptic plasticity in the brain is unknown. Some biological models of backpropagation rely on feedback projections that are symmetric with feedforward connections, but experiments do not corroborate the existence of such symmetric backward connectivity. Random feedback alignment offers an alternative model in which errors are propagated backward through fixed, random backward connections. This approach successfully trains shallow models, but learns slowly and does not perform well with deeper models or online learning. In this study, we develop a novel meta-plasticity approach to discover interpretable, biologically plausible plasticity rules that improve online learning performance with fixed random feedback connections. The resulting plasticity rules show improved online training of deep models in the low data regime. Our results highlight the potential of meta-plasticity to discover effective, interpretable learning rules satisfying biological constraints.

Few-shot learning aims to fast adapt a deep model from a few examples. While pre-training and meta-training can create deep models powerful for few-shot generalization, we find that pre-training and meta-training focuses respectively on cross-domain transferability and cross-task transferability, which restricts their data efficiency in the entangled settings of domain shift and task shift. We thus propose the Omni-Training framework to seamlessly bridge pre-training and meta-training for data-efficient few-shot learning. Our first contribution is a tri-flow Omni-Net architecture. Besides the joint representation flow, Omni-Net introduces two parallel flows for pre-training and meta-training, responsible for improving domain transferability and task transferability respectively. Omni-Net further coordinates the parallel flows by routing their representations via the joint-flow, enabling knowledge transfer across flows. Our second contribution is the Omni-Loss, which introduces a self-distillation strategy separately on the pre-training and meta-training objectives for boosting knowledge transfer throughout different training stages. Omni-Training is a general framework to accommodate many existing algorithms. Evaluations justify that our single framework consistently and clearly outperforms the individual state-of-the-art methods on both cross-task and cross-domain settings in a variety of classification, regression and reinforcement learning problems.

最近，已经观察到，转移学习解决方案可能是我们解决许多少量学习基准的全部 - 因此提出了有关何时以及如何部署元学习算法的重要问题。在本文中，我们试图通过1.提出一个新颖的指标（多样性系数）来阐明这些问题，以测量几次学习基准和2.的任务多样性。 ）并在公平条件下进行学习（相同的体系结构，相同的优化器和所有经过培训的模型）。使用多样性系数，我们表明流行的迷你胶原和Cifar-fs几乎没有学习基准的多样性低。这种新颖的洞察力将转移学习解决方案比在公平比较的低多样性方面的元学习解决方案更好。具体而言，我们从经验上发现，低多样性系数与转移学习和MAML学习解决方案之间的高相似性在元测试时间和分类层相似性方面（使用基于特征的距离指标，例如SVCCA，PWCCA，CKA和OPD） ）。为了进一步支持我们的主张，我们发现这种元测试的准确性仍然存在，即使模型大小变化也是如此。因此，我们得出的结论是，在低多样性制度中，MAML和转移学习在公平比较时具有等效的元检验性能。我们也希望我们的工作激发了对元学习基准测试基准的更周到的结构和定量评估。

当随着时间的推移学习任务时，人工神经网络遭受称为灾难性遗忘（CF）的问题。当在训练网络的训练过程中覆盖网络的权重，导致忘记旧信息的新任务时，会发生这种情况。为了解决这个问题，我们提出了META可重复使用的知识或标记，这是一种新的方法，可以在学习新任务时促进重量可重用性而不是覆盖。具体来说，标记在任务之间保留一组共享权重。我们将这些共享权重设定为共同的知识库（KB），不仅用于学习新任务，而且还富有以丰富的新知识，因为模型了解新任务。标记背后的关键组件是两倍。一方面，冶金学习方法提供了逐步丰富KB的关键机制，并在任务之间促进重量可重用性。另一方面，一组培训掩模提供了选择性地从KB相关权重中选择的关键机制来解决每个任务。通过使用Mark，我们实现了最普遍的基准，在几个流行的基准中实现了最新的基准，在20分拆性MiniimAgenet数据集上超过了平均精度的最佳性能方法，同时使用55％的数量来实现几乎零遗忘参数。此外，消融研究提供了证据，实际上，标记正在学习每个任务选择性地使用的可重复使用的知识。