最近的工作表明，深度学习模型（如全卷积网络（FCN）或经常性神经网络（RNN）的效率为处理时间序列回归（TSR）问题。这些模型有时需要大量数据能够泛化，但时间序列有时不足以学习模式。因此，重要的是在时间序列中利用信息来改善学习。在本文中，我们将探讨使用元学习的想法，以便通过修改模型不可知元学习（MAML）\ Cite {Finn2017Model}的原始思想来快速调整模型参数到新的短历史时间序列。此外，基于在多模式MAML \ CITE {Vuorio2019MultiModal}上的先前工作，提出了一种通过辅助网络调节模型参数的方法，该辅助网络编码时间序列的全局信息以提取元特征。最后，我们将数据应用于不同域的时间序列，例如污染测量，心率传感器和电池数据。我们凭经验表明，我们的建议的元学习方法在12个实验中的9个实验中快速地学习TSR，以少量数据快速，优于基线。

学习复杂的时间序列预测模型通常需要大量数据，因为每个任务/数据集都会从头开始训练每个模型。利用类似数据集利用学习经验是一种公认​​的技术，用于分类问题，称为几个射击分类。但是，现有方法不能应用于预测时间序列，因为i）多元时间序列数据集具有不同的渠道，ii）预测与分类主要不同。在本文中，我们首次使用异质通道对时间序列的几个预测进行正式的问题。扩展了有关矢量数据中异质属性的最新工作，我们开发了一个由置换不变的深set块组成的模型，该模型结合了时间嵌入。我们组装了40个多元时间序列数据集的第一个元数据集，并通过实验显示我们的模型提供了一个良好的概括，优于从更简单的场景中延续的基线，这些基线要么无法跨任务学习或错过时间信息。

深度学习已被积极应用于预测时间序列，从而导致了大量新的自回归模型体系结构。然而，尽管基于时间指数的模型具有吸引人的属性，例如随着时间的推移是连续信号函数，导致表达平滑，但对它们的关注很少。实际上，尽管基于天真的深度指数模型比基于经典时间指数的模型的手动预定义函数表示表达得多，但由于缺乏电感偏见和时间序列的非平稳性，它们的预测不足以预测。在本文中，我们提出了DeepTime，这是一种基于深度指数的模型，该模型通过元学习公式训练，该公式克服了这些局限性，从而产生了有效而准确的预测模型。对现实世界数据集的广泛实验表明，我们的方法通过最先进的方法实现了竞争成果，并且高效。代码可从https://github.com/salesforce/deeptime获得。

模型不合时宜的元学习（MAML）是最成功的元学习技术之一。它使用梯度下降来学习各种任务之间的共同点，从而使模型能够学习其自身参数的元定义，以使用少量标记的培训数据快速适应新任务。几次学习的关键挑战是任务不确定性。尽管可以从具有大量任务的元学习中获得强大的先验，但是由于训练数据集的数量通常太小，因此无法保证新任务的精确模型。在这项研究中，首先，在选择初始化参数的过程中，为特定于任务的学习者提出了新方法，以适应性地学习选择最小化新任务损失的初始化参数。然后，我们建议对元损失部分的两种改进的方法：方法1通过比较元损失差异来生成权重，以提高几个类别时的准确性，而方法2引入了每个任务的同质不确定性，以根据多个损失，以基于多个损失。原始的梯度下降是一种增强新型类别的概括能力的方式，同时确保了准确性的提高。与以前的基于梯度的元学习方法相比，我们的模型在回归任务和少量分类中的性能更好，并提高了模型的鲁棒性，对元测试集中的学习率和查询集。

We propose an algorithm for meta-learning that is model-agnostic, in the sense that it is compatible with any model trained with gradient descent and applicable to a variety of different learning problems, including classification, regression, and reinforcement learning. The goal of meta-learning is to train a model on a variety of learning tasks, such that it can solve new learning tasks using only a small number of training samples. In our approach, the parameters of the model are explicitly trained such that a small number of gradient steps with a small amount of training data from a new task will produce good generalization performance on that task. In effect, our method trains the model to be easy to fine-tune. We demonstrate that this approach leads to state-of-the-art performance on two fewshot image classification benchmarks, produces good results on few-shot regression, and accelerates fine-tuning for policy gradient reinforcement learning with neural network policies.

我们介绍了SubGD，这是一种新颖的几声学习方法，基于最近的发现，即随机梯度下降更新往往生活在低维参数子空间中。在实验和理论分析中，我们表明模型局限于合适的预定义子空间，可以很好地推广用于几次学习。合适的子空间符合给定任务的三个标准：IT（a）允许通过梯度流量减少训练误差，（b）导致模型良好的模型，并且（c）可以通过随机梯度下降来识别。 SUBGD从不同任务的更新说明的自动相关矩阵的特征组合中标识了这些子空间。明确的是，我们可以识别出低维合适的子空间，用于对动态系统的几次学习，而动态系统具有不同的属性，这些属性由分析系统描述的一个或几个参数描述。这种系统在科学和工程领域的现实应用程序中无处不在。我们在实验中证实了SubGD在三个不同的动态系统问题设置上的优势，在样本效率和性能方面，均超过了流行的几次学习方法。

虽然古典时间系列预测被隔离考虑个人时间序列，但基于深度学习的最近进步表明，从大型相关时间序列中共同学习可以提高预测精度。然而，与古典预测方法相比，这些方法的准确性大大限制了它们的适用性，这是极大的。为了弥合这一差距，我们采用了一个时间序列预测问题的元学习视图。我们介绍了一种新的预测方法，称为Meta全球 - 本地自动回归（Meta-Glar），通过从经常性神经网络（RNN）产生的映射到一个 - 前方预测。至关重要的是，RNN的参数在多个时间序列中学习通过闭合形式适配机制来抛弃多个时间序列。在我们广泛的实证评估中，我们表明，我们的方法与先前工作中报告的样本超出预测精度有竞争力。

很少有射击学习（FSL）旨在使用有限标记的示例生成分类器。许多现有的作品采用了元学习方法，构建了一些可以从几个示例中学习以生成分类器的学习者。通常，几次学习者是通过依次对多个几次射击任务进行采样并优化几杆学习者在为这些任务生成分类器时的性能来构建或进行元训练的。性能是通过结果分类器对这些任务的测试（即查询）示例进行分类的程度来衡量的。在本文中，我们指出了这种方法的两个潜在弱点。首先，采样的查询示例可能无法提供足够的监督来进行元训练少数学习者。其次，元学习的有效性随着射击数量的增加而急剧下降。为了解决这些问题，我们为少数学习者提出了一个新颖的元训练目标，这是为了鼓励少数学习者生成像强大分类器一样执行的分类器。具体而言，我们将每个采样的几个弹药任务与强大的分类器相关联，该分类器接受了充分的标记示例。强大的分类器可以看作是目标分类器，我们希望在几乎没有示例的情况下生成的几个学习者，我们使用强大的分类器来监督少数射击学习者。我们提出了一种构建强分类器的有效方法，使我们提出的目标成为现有基于元学习的FSL方法的易于插入的术语。我们与许多代表性的元学习方法相结合验证了我们的方法，Lastshot。在几个基准数据集中，我们的方法可导致各种任务的显着改进。更重要的是，通过我们的方法，基于元学习的FSL方法可以在不同数量的镜头上胜过基于非Meta学习的方法。

几乎没有学习方法的目的是训练模型，这些模型可以根据少量数据轻松适应以前看不见的任务。最受欢迎，最优雅的少学习方法之一是模型敏捷的元学习（MAML）。这种方法背后的主要思想是学习元模型的一般权重，该权重进一步适应了少数梯度步骤中的特定问题。但是，该模型的主要限制在于以下事实：更新过程是通过基于梯度的优化实现的。因此，MAML不能总是在一个甚至几个梯度迭代中将权重修改为基本水平。另一方面，使用许多梯度步骤会导致一个复杂且耗时的优化程序，这很难在实践中训练，并且可能导致过度拟合。在本文中，我们提出了HyperMAML，这是MAML的新型概括，其中更新过程的训练也是模型的一部分。也就是说，在HyperMAML中，我们没有使用梯度下降来更新权重，而是为此目的使用可训练的超级净机。因此，在此框架中，该模型可以生成重大更新，其范围不限于固定数量的梯度步骤。实验表明，超型MAML始终胜过MAML，并且在许多标准的几次学习基准测试基准中与其他最先进的技术相当。

模型不合时宜的元学习（MAML）可以说是当今最流行的元学习算法之一。然而，它在几次分类上的性能远远远远远远远远远远远远远远落在许多致力于该问题的算法。在本文中，我们指出了如何训练MAML以进行几次分类的几个关键方面。首先，我们发现MAML在其内部循环更新中需要大量的梯度步骤，这与其常见的用法相矛盾。其次，我们发现MAML对元测试过程中的类标签分配敏感。具体而言，MAML Meta-Trains $ n$道分类器的初始化。这些$ n $方式，在元测试期间，然后具有“ $ n！$”的“ $ n！$”排列，并与$ n $新颖的课程配对。我们发现这些排列会导致巨大的准确性差异，从而使MAML不稳定。第三，我们研究了几种使MAML置换不变的方法，其中元训练单个向量以初始化分类头中的所有$ n $重量矢量的初始化。在Miniimagenet和Tieredimagenet等基准数据集上，我们命名Unicorn-MAML的方法在不牺牲MAML的简单性的情况下以与许多最近的几杆分类算法相同甚至优于许多近期的几个次数分类算法。

最近的工作表明，我们需要解决许多射门学习基准的所有嵌入。此外，其他工作强烈建议，模型不可知的元学习（MAML）也通过这种相同的方法工作 - 通过学习良好的嵌入方式。这些观察结果突出了我们对Meta学习算法正在做的事情和工作时缺乏了解。在这项工作中，我们提供了对META学习的MAML表示函数的函数的一些实证结果。特别是，我们确定三个有趣的属性：1）与之前的工作相比，我们表明可以定义一系列导致低特征重复使用的合成基准组合 - 表明当前几次拍摄的学习基准可能没有元学习算法的成功所需的属性; 2）当课程（或概念）的数量是有限的时，发生了元过度装箱，并且在任务中有一个无限数量的概念（例如，在线学习），这个问题消失了; 3）使用MAML的META测试时间的更多适应性不一定导致显着的表示变化甚至可以提高META-TEST性能 - 即使在我们提出的合成基准测试中培训。最后，我们建议要更好地了解元学习算法，我们必须超越追踪绝对性能，另外，正式量化元学习的程度并将两个指标一起追踪。以后的工作报告结果，这种方式将帮助我们更准确地确定元过度装箱的来源，并帮助我们设计更灵活的元学习算法，这些算法学习超出固定功能重复使用。最后，我们猜测重新思考元学习的核心挑战是在设计少量学习数据集和基准中的设计中 - 而不是在算法中，如以前的工作所示。

神经网络需要大量的注释数据才能学习。元学习算法提出了一种将训练样本数量减少到少数的方法。最突出的基于优化的元学习算法之一是模型敏捷的元学习（MAML）。但是，适应MAML新任务的关键过程非常慢。在这项工作中，我们提出了对MAML元学习算法的改进。我们介绍了lambda模式，通过这些模式，我们限制了在适应阶段在网络中更新的重量。这使得可以跳过某些梯度计算。选择最快的图案给定允许的质量降解阈值参数。在某些情况下，通过仔细的模式选择可以提高质量。进行的实验表明，通过Lambda适应模式选择，可以在以下区域显着改善MAML方法：适应时间已减少3倍，而精度损失最小；一步适应的准确性已大大提高。

The focus of recent meta-learning research has been on the development of learning algorithms that can quickly adapt to test time tasks with limited data and low computational cost. Few-shot learning is widely used as one of the standard benchmarks in meta-learning. In this work, we show that a simple baseline: learning a supervised or selfsupervised representation on the meta-training set, followed by training a linear classifier on top of this representation, outperforms state-of-the-art few-shot learning methods. An additional boost can be achieved through the use of selfdistillation. This demonstrates that using a good learned embedding model can be more effective than sophisticated meta-learning algorithms. We believe that our findings motivate a rethinking of few-shot image classification benchmarks and the associated role of meta-learning algorithms.

元学习在现有基准测试基准上的成功取决于以下假设：元训练任务的分布涵盖了元测试任务。经常违反任务不足或非常狭窄的元训练任务分布的应用中的假设会导致记忆或学习者过度拟合。最近的解决方案已追求元训练任务的增强，而同时产生正确和充分虚构任务的问题仍然是一个悬而未决的问题。在本文中，我们寻求一种方法，该方法是通过任务上采样网络从任务表示从任务表示的映射任务。此外，最终的方法将对抗性任务上采样（ATU）命名为足以生成可以通过最大化对抗性损失来最大程度地贡献最新元学习者的任务。在几乎没有正弦的回归和图像分类数据集上，我们从经验上验证了ATU在元测试性能中的最新任务增强策略的明显改善以及上采样任务的质量。

Meta-learning has been proposed as a framework to address the challenging few-shot learning setting. The key idea is to leverage a large number of similar few-shot tasks in order to learn how to adapt a base-learner to a new task for which only a few labeled samples are available. As deep neural networks (DNNs) tend to overfit using a few samples only, meta-learning typically uses shallow neural networks (SNNs), thus limiting its effectiveness. In this paper we propose a novel few-shot learning method called meta-transfer learning (MTL) which learns to adapt a deep NN for few shot learning tasks. Specifically, meta refers to training multiple tasks, and transfer is achieved by learning scaling and shifting functions of DNN weights for each task. In addition, we introduce the hard task (HT) meta-batch scheme as an effective learning curriculum for MTL. We conduct experiments using (5-class, 1-shot) and (5-class, 5shot) recognition tasks on two challenging few-shot learning benchmarks: miniImageNet and Fewshot-CIFAR100. Extensive comparisons to related works validate that our meta-transfer learning approach trained with the proposed HT meta-batch scheme achieves top performance. An ablation study also shows that both components contribute to fast convergence and high accuracy 1 .Optimize θ by Eq. 3; 5 end 6 Optimize Φ S {1,2} and θ by Eq. 4 and Eq. 5; 7 while not done do 8 Sample class-k in T (te) ; 9 Compute Acc k for T (te) ; 10 end 11 Return class-m with the lowest accuracy Acc m .

元学习方法旨在构建能够快速适应低数据制度的新任务的学习算法。这种算法的主要基准之一是几次学习问题。在本文中，我们调查了在培训期间采用多任务方法的标准元学习管道的修改。该提出的方法同时利用来自常见损​​失函数中的几个元训练任务的信息。每个任务在损耗功能中的影响由相应的重量控制。正确优化这些权重可能对整个模型的训练产生很大影响，并且可能会提高测试时间任务的质量。在这项工作中，我们提出并调查了使用同时扰动随机近似（SPSA）方法的方法的使用方法，用于元列车任务权重优化。我们还将提出的算法与基于梯度的方法进行了比较，发现随机近似表明了测试时间最大的质量增强。提出的多任务修改可以应用于使用元学习管道的几乎所有方法。在本文中，我们研究了这种修改对CiFar-FS，FC100，TieredimAgenet和MiniimAgenet几秒钟学习基准的原型网络和模型 - 不可知的元学习算法。在这些实验期间，多任务修改已经证明了对原始方法的改进。所提出的SPSA跟踪算法显示了对最先进的元学习方法具有竞争力的最大精度提升。我们的代码可在线获取。

大脑网络将大脑区域之间的复杂连接性描述为图形结构，这为研究脑连接素提供了强大的手段。近年来，图形神经网络已成为使用结构化数据的普遍学习范式。但是，由于数据获取的成本相对较高，大多数大脑网络数据集的样本量受到限制，这阻碍了足够的培训中的深度学习模型。受元学习的启发，该论文以有限的培训示例快速学习新概念，研究了在跨数据库中分析脑连接组的数据有效培训策略。具体而言，我们建议在大型样本大小的数据集上进行元训练模型，并将知识转移到小数据集中。此外，我们还探索了两种面向脑网络的设计，包括Atlas转换和自适应任务重新启动。与其他训练前策略相比，我们的基于元学习的方法实现了更高和稳定的性能，这证明了我们提出的解决方案的有效性。该框架还能够以数据驱动的方式获得有关数据集和疾病之间相似之处的新见解。

最近，已经观察到，转移学习解决方案可能是我们解决许多少量学习基准的全部 - 因此提出了有关何时以及如何部署元学习算法的重要问题。在本文中，我们试图通过1.提出一个新颖的指标（多样性系数）来阐明这些问题，以测量几次学习基准和2.的任务多样性。 ）并在公平条件下进行学习（相同的体系结构，相同的优化器和所有经过培训的模型）。使用多样性系数，我们表明流行的迷你胶原和Cifar-fs几乎没有学习基准的多样性低。这种新颖的洞察力将转移学习解决方案比在公平比较的低多样性方面的元学习解决方案更好。具体而言，我们从经验上发现，低多样性系数与转移学习和MAML学习解决方案之间的高相似性在元测试时间和分类层相似性方面（使用基于特征的距离指标，例如SVCCA，PWCCA，CKA和OPD） ）。为了进一步支持我们的主张，我们发现这种元测试的准确性仍然存在，即使模型大小变化也是如此。因此，我们得出的结论是，在低多样性制度中，MAML和转移学习在公平比较时具有等效的元检验性能。我们也希望我们的工作激发了对元学习基准测试基准的更周到的结构和定量评估。

Few-shot learning (FSL) is a central problem in meta-learning, where learners must efficiently learn from few labeled examples. Within FSL, feature pre-training has recently become an increasingly popular strategy to significantly improve generalization performance. However, the contribution of pre-training is often overlooked and understudied, with limited theoretical understanding of its impact on meta-learning performance. Further, pre-training requires a consistent set of global labels shared across training tasks, which may be unavailable in practice. In this work, we address the above issues by first showing the connection between pre-training and meta-learning. We discuss why pre-training yields more robust meta-representation and connect the theoretical analysis to existing works and empirical results. Secondly, we introduce Meta Label Learning (MeLa), a novel meta-learning algorithm that learns task relations by inferring global labels across tasks. This allows us to exploit pre-training for FSL even when global labels are unavailable or ill-defined. Lastly, we introduce an augmented pre-training procedure that further improves the learned meta-representation. Empirically, MeLa outperforms existing methods across a diverse range of benchmarks, in particular under a more challenging setting where the number of training tasks is limited and labels are task-specific. We also provide extensive ablation study to highlight its key properties.

基于优化的元学习旨在学习初始化，以便在一些梯度更新中可以学习新的看不见的任务。模型不可知的元学习（MAML）是一种包括两个优化回路的基准算法。内部循环致力于学习一项新任务，并且外循环导致元定义。但是，Anil（几乎没有内部环）算法表明，功能重用是MAML快速学习的替代方法。因此，元定义阶段使MAML用于特征重用，并消除了快速学习的需求。与Anil相反，我们假设可能需要在元测试期间学习新功能。从非相似分布中进行的一项新的看不见的任务将需要快速学习，并重用现有功能。在本文中，我们调用神经网络的宽度深度二元性，其中，我们通过添加额外的计算单元（ACU）来增加网络的宽度。 ACUS可以在元测试任务中学习新的原子特征，而相关的增加宽度有助于转发通行证中的信息传播。新学习的功能与最后一层的现有功能相结合，用于元学习。实验结果表明，我们提出的MAC方法的表现优于现有的非相似任务分布的Anil算法，约为13％（5次任务设置）