大多数元学习方法都假设存在于可用于基本知识的情节元学习的一组非常大的标记数据。这与更现实的持续学习范例形成对比，其中数据以包含不相交类的任务的形式逐步到达。在本文中，我们考虑了这个增量元学习（IML）的这个问题，其中类在离散任务中逐步呈现。我们提出了一种方法，我们调用了IML，我们称之为eCISODIC重播蒸馏（ERD），该方法将来自当前任务的类混合到当前任务中，当研究剧集时，来自先前任务的类别示例。然后将这些剧集用于知识蒸馏以最大限度地减少灾难性的遗忘。四个数据集的实验表明ERD超越了最先进的。特别是，在一次挑战的单次次数较挑战，长任务序列增量元学习场景中，我们将IML和联合训练与当前状态的3.5％/ 10.1％/ 13.4％之间的差距降低我们在Diered-ImageNet / Mini-ImageNet / CIFAR100上分别为2.6％/ 2.9％/ 5.0％。

持续学习旨在快速，不断地从一系列任务中学习当前的任务。与其他类型的方法相比，基于经验重播的方法表现出了极大的优势来克服灾难性的遗忘。该方法的一个常见局限性是上一个任务和当前任务之间的数据不平衡，这将进一步加剧遗忘。此外，如何在这种情况下有效解决稳定性困境也是一个紧迫的问题。在本文中，我们通过提出一个通过多尺度知识蒸馏和数据扩展（MMKDDA）提出一个名为Meta学习更新的新框架来克服这些挑战。具体而言，我们应用多尺度知识蒸馏来掌握不同特征级别的远程和短期空间关系的演变，以减轻数据不平衡问题。此外，我们的方法在在线持续训练程序中混合了来自情节记忆和当前任务的样品，从而减轻了由于概率分布的变化而减轻了侧面影响。此外，我们通过元学习更新来优化我们的模型，该更新诉诸于前面所看到的任务数量，这有助于保持稳定性和可塑性之间的更好平衡。最后，我们对四个基准数据集的实验评估显示了提出的MMKDDA框架对其他流行基线的有效性，并且还进行了消融研究，以进一步分析每个组件在我们的框架中的作用。

当许多松散相关的未标记数据可用并且稀缺标记的数据时，机器智能的范式从纯粹的监督学习转变为更实用的情况。大多数现有算法都假定基础任务分布是固定的。在这里，我们考虑了随着时间的推移，该任务分布中的一个更现实和具有挑战性的环境会不断发展。我们将这个问题称为半监督的元学习，并具有不断发展的任务分布，缩写为集合。在这种更现实的环境中出现了两个关键挑战：（i）在存在大量未标记的分发（OOD）数据的情况下，如何使用未标记的数据； （ii）如何防止由于任务分配转移而导致先前学习的任务分布的灾难性遗忘。我们提出了一种强大的知识和知识保留的半监督元学习方法（秩序），以应对这两个主要挑战。具体而言，我们的订单引入了一种新型的共同信息正则化，以使用未标记的OOD数据鲁棒化模型，并采用最佳的运输正规化来记住以前在特征空间中学习的知识。此外，我们在一个非常具有挑战性的数据集上测试我们的方法：大规模非平稳的半监督任务分布的集合，该任务分布由（至少）72K任务组成。通过广泛的实验，我们证明了拟议的订单减轻了忘记不断发展的任务分布，并且对OOD数据比相关的强基础更强大。

持续学习旨在通过以在线学习方式利用过去获得的知识，同时能够在所有以前的任务上表现良好，从而学习一系列任务，这对人工智能（AI）系统至关重要，因此持续学习与传统学习模式相比，更适合大多数现实和复杂的应用方案。但是，当前的模型通常在每个任务上的类标签上学习一个通用表示基础，并选择有效的策略来避免灾难性的遗忘。我们假设，仅从获得的知识中选择相关且有用的零件比利用整个知识更有效。基于这一事实，在本文中，我们提出了一个新框架，名为“选择相关的在线持续学习知识（SRKOCL），该框架结合了一种额外的有效频道注意机制，以选择每个任务的特定相关知识。我们的模型还结合了经验重播和知识蒸馏，以避免灾难性的遗忘。最后，在不同的基准上进行了广泛的实验，竞争性实验结果表明，我们提出的SRKOCL是针对最先进的承诺方法。

受到正规彩票假说（RLTH）的启发，该假说假设在密集网络中存在平稳（非二进制）子网，以实现密集网络的竞争性能，我们提出了几个播放类增量学习（FSCIL）方法。 to as \ emph {soft-subnetworks（softnet）}。我们的目标是逐步学习一系列会议，每个会议在每个课程中只包含一些培训实例，同时保留了先前学到的知识。软网络在基本训练会议上共同学习模型权重和自适应非二进制软面具，每个面具由主要和次要子网组成；前者的目的是最大程度地减少训练期间的灾难性遗忘，而后者的目的是避免在每个新培训课程中过度拟合一些样本。我们提供了全面的经验验证，表明我们的软网络通过超越基准数据集的最先进基准的性能来有效地解决了几个弹药的学习问题。

Few-shot classification aims to learn a classifier to recognize unseen classes during training with limited labeled examples. While significant progress has been made, the growing complexity of network designs, meta-learning algorithms, and differences in implementation details make a fair comparison difficult. In this paper, we present 1) a consistent comparative analysis of several representative few-shot classification algorithms, with results showing that deeper backbones significantly reduce the performance differences among methods on datasets with limited domain differences, 2) a modified baseline method that surprisingly achieves competitive performance when compared with the state-of-the-art on both the mini-ImageNet and the CUB datasets, and 3) a new experimental setting for evaluating the cross-domain generalization ability for few-shot classification algorithms. Our results reveal that reducing intra-class variation is an important factor when the feature backbone is shallow, but not as critical when using deeper backbones. In a realistic cross-domain evaluation setting, we show that a baseline method with a standard fine-tuning practice compares favorably against other state-of-the-art few-shot learning algorithms.

新课程经常出现在我们不断变化的世界中，例如社交媒体中的新兴主题和电子商务中的新产品。模型应识别新的类，同时保持对旧类的可区分性。在严重的情况下，只有有限的新颖实例可以逐步更新模型。在不忘记旧课程的情况下识别几个新课程的任务称为少数类的课程学习（FSCIL）。在这项工作中，我们通过学习多相增量任务（limit）提出了一个基于元学习的FSCIL的新范式，该任务从基本数据集中综合了伪造的FSCIL任务。假任务的数据格式与“真实”的增量任务一致，我们可以通过元学习构建可概括的特征空间。此外，限制还基于变压器构建了一个校准模块，该模块将旧类分类器和新类原型校准为相同的比例，并填补语义间隙。校准模块还可以自适应地将具有设置对集合函数的特定于实例的嵌入方式化。限制有效地适应新课程，同时拒绝忘记旧课程。在三个基准数据集（CIFAR100，Miniimagenet和Cub200）和大规模数据集上进行的实验，即Imagenet ILSVRC2012验证以实现最新性能。

Neural networks are prone to catastrophic forgetting when trained incrementally on different tasks. Popular incremental learning methods mitigate such forgetting by retaining a subset of previously seen samples and replaying them during the training on subsequent tasks. However, this is not always possible, e.g., due to data protection regulations. In such restricted scenarios, one can employ generative models to replay either artificial images or hidden features to a classifier. In this work, we propose Genifer (GENeratIve FEature-driven image Replay), where a generative model is trained to replay images that must induce the same hidden features as real samples when they are passed through the classifier. Our technique therefore incorporates the benefits of both image and feature replay, i.e.: (1) unlike conventional image replay, our generative model explicitly learns the distribution of features that are relevant for classification; (2) in contrast to feature replay, our entire classifier remains trainable; and (3) we can leverage image-space augmentations, which increase distillation performance while also mitigating overfitting during the training of the generative model. We show that Genifer substantially outperforms the previous state of the art for various settings on the CIFAR-100 and CUB-200 datasets.

几乎没有类似的课堂学习（FSCIL）旨在通过避免过度拟合和灾难性遗忘，从一些标记的样本中逐步学习新颖的课程。 FSCIL的当前协议是通过模仿一般类知识学习设置来构建的，而由于不同的数据配置，即新颖的类都在有限的数据状态下，因此并不完全合适。在本文中，我们通过保留第一个会话的可能性来重新考虑FSCIL对开放式假设的配置。为了为模型分配更好的近距离和开放式识别性能，双曲线相互学习模块（Hyper-RPL）建立在与双曲神经网络的相互点学习（RPL）上。此外，为了从有限标记的数据中学习新颖类别，我们将双曲线度量学习（超级现象）模块纳入基于蒸馏的框架中，以减轻过度拟合的问题，并更好地处理保存旧知识和旧知识之间的权衡问题。获得新知识。对三个基准数据集上提出的配置和模块的全面评估被执行，以验证有关三个评估指标的有效性。

现代ML方法在培训数据是IID，大规模和良好标记的时候Excel。在不太理想的条件下学习仍然是一个开放的挑战。在不利条件下，几次射击，持续的，转移和代表学习的子场在学习中取得了很大的进步;通过方法和见解，每个都提供了独特的优势。这些方法解决了不同的挑战，例如依次到达的数据或稀缺的训练示例，然而，在部署之前，ML系统将面临困难的条件。因此，需要可以处理实际设置中许多学习挑战的一般ML系统。为了促进一般ML方法目标的研究，我们介绍了一个新的统一评估框架 - 流体（灵活的顺序数据）。流体集成了几次拍摄，持续的，转移和表示学习的目标，同时能够比较和整合这些子场的技术。在流体中，学习者面临数据流，并且必须在选择如何更新自身时进行顺序预测，快速调整到新颖的类别，并处理更改的数据分布;虽然会计计算总额。我们对广泛的方法进行实验，这些方法阐述了新的洞察当前解决方案的优缺点并表明解决了新的研究问题。作为更一般方法的起点，我们展示了两种新的基线，其在流体上优于其他评估的方法。项目页面：https：//raivn.cs.washington.edu/projects/fluid/。

少量分类需要调整从大型注释的基础数据集中学到的知识来识别新颖的看不见的类，每个类别由少数标记的示例表示。在这样的场景中，预先绘制大容量在大型数据集上的网络，然后在少数示例下向少量抵消导致严重的过度拟合。同时，在从大型标记数据集中学到的“冷冻”特征的顶部培训一个简单的线性分类器无法使模型调整到新型类的属性，有效地诱导底部。在本文中，我们向这两种流行的策略提出了一种替代方法。首先，我们的方法使用在新颖类上培训的线性分类器来伪标签整个大型数据集。这有效地“幻觉”在大型数据集中的新型类别，尽管基本数据库中未存在的新类别（新颖和基类是不相交的）。然后，除了在新型数据集上的标准交叉熵损失之外，它将在伪标记的基础示例上具有蒸馏损失的整个模型。这一步骤有效地训练了网络，识别对新型类别识别的上下文和外观提示，而是使用整个大规模基础数据集，从而克服了几次拍摄学习的固有数据稀缺问题。尽管这种方法的简单性，但我们表明我们的方法在四个成熟的少量分类基准上表现出最先进的。

Meta-learning has been proposed as a framework to address the challenging few-shot learning setting. The key idea is to leverage a large number of similar few-shot tasks in order to learn how to adapt a base-learner to a new task for which only a few labeled samples are available. As deep neural networks (DNNs) tend to overfit using a few samples only, meta-learning typically uses shallow neural networks (SNNs), thus limiting its effectiveness. In this paper we propose a novel few-shot learning method called meta-transfer learning (MTL) which learns to adapt a deep NN for few shot learning tasks. Specifically, meta refers to training multiple tasks, and transfer is achieved by learning scaling and shifting functions of DNN weights for each task. In addition, we introduce the hard task (HT) meta-batch scheme as an effective learning curriculum for MTL. We conduct experiments using (5-class, 1-shot) and (5-class, 5shot) recognition tasks on two challenging few-shot learning benchmarks: miniImageNet and Fewshot-CIFAR100. Extensive comparisons to related works validate that our meta-transfer learning approach trained with the proposed HT meta-batch scheme achieves top performance. An ablation study also shows that both components contribute to fast convergence and high accuracy 1 .Optimize θ by Eq. 3; 5 end 6 Optimize Φ S {1,2} and θ by Eq. 4 and Eq. 5; 7 while not done do 8 Sample class-k in T (te) ; 9 Compute Acc k for T (te) ; 10 end 11 Return class-m with the lowest accuracy Acc m .

Artificial neural networks thrive in solving the classification problem for a particular rigid task, acquiring knowledge through generalized learning behaviour from a distinct training phase. The resulting network resembles a static entity of knowledge, with endeavours to extend this knowledge without targeting the original task resulting in a catastrophic forgetting. Continual learning shifts this paradigm towards networks that can continually accumulate knowledge over different tasks without the need to retrain from scratch. We focus on task incremental classification, where tasks arrive sequentially and are delineated by clear boundaries. Our main contributions concern (1) a taxonomy and extensive overview of the state-of-the-art; (2) a novel framework to continually determine the stability-plasticity trade-off of the continual learner; (3) a comprehensive experimental comparison of 11 state-of-the-art continual learning methods and 4 baselines. We empirically scrutinize method strengths and weaknesses on three benchmarks, considering Tiny Imagenet and large-scale unbalanced iNaturalist and a sequence of recognition datasets. We study the influence of model capacity, weight decay and dropout regularization, and the order in which the tasks are presented, and qualitatively compare methods in terms of required memory, computation time and storage.

epiSodic学习是对几枪学习感兴趣的研究人员和从业者的流行练习。它包括在一系列学习问题（或剧集）中组织培训，每个人分为小型训练和验证子集，以模仿评估期间遇到的情况。但这总是必要吗？在本文中，我们调查了在集发作的级别使用非参数方法，例如最近邻居等方法的焦点学习的有用性。对于这些方法，我们不仅展示了广州学习的限制是如何不必要的，而是他们实际上导致利用培训批次的数据低效方式。我们通过匹配和原型网络进行广泛的消融实验，其中两个最流行的方法在集中的级别使用非参数方法。他们的“非焦化”对应物具有很大的更简单，具有较少的近似参数，并在多个镜头分类数据集中提高它们的性能。

Despite significant advances, the performance of state-of-the-art continual learning approaches hinges on the unrealistic scenario of fully labeled data. In this paper, we tackle this challenge and propose an approach for continual semi-supervised learning -- a setting where not all the data samples are labeled. An underlying issue in this scenario is the model forgetting representations of unlabeled data and overfitting the labeled ones. We leverage the power of nearest-neighbor classifiers to non-linearly partition the feature space and learn a strong representation for the current task, as well as distill relevant information from previous tasks. We perform a thorough experimental evaluation and show that our method outperforms all the existing approaches by large margins, setting a strong state of the art on the continual semi-supervised learning paradigm. For example, on CIFAR100 we surpass several others even when using at least 30 times less supervision (0.8% vs. 25% of annotations).

元学习已成为几乎没有图像分类的实用方法，在该方法中，“学习分类器的策略”是在标记的基础类别上进行元学习的，并且可以应用于具有新颖类的任务。我们删除了基类标签的要求，并通过无监督的元学习（UML）学习可通用的嵌入。具体而言，任务发作是在元训练过程中使用未标记的基本类别的数据增强构建的，并且我们将基于嵌入式的分类器应用于新的任务，并在元测试期间使用标记的少量示例。我们观察到两个元素在UML中扮演着重要角色，即进行样本任务和衡量实例之间的相似性的方法。因此，我们获得了具有两个简单修改的​​强基线 - 一个足够的采样策略，每情节有效地构建多个任务以及半分解的相似性。然后，我们利用来自两个方向的任务特征以获得进一步的改进。首先，合成的混淆实例被合并以帮助提取更多的判别嵌入。其次，我们利用额外的特定任务嵌入转换作为元训练期间的辅助组件，以促进预先适应的嵌入式的概括能力。几乎没有学习基准的实验证明，我们的方法比以前的UML方法优于先前的UML方法，并且比其监督变体获得了可比甚至更好的性能。

最近的自我监督学习方法能够学习高质量的图像表示，并通过监督方法关闭差距。但是，这些方法无法逐步获取新的知识 - 事实上，它们实际上主要仅用为具有IID数据的预训练阶段。在这项工作中，我们在没有额外的记忆或重放的情况下调查持续学习制度的自我监督方法。为防止忘记以前的知识，我们提出了功能正规化的使用。我们将表明，朴素的功能正则化，也称为特征蒸馏，导致可塑性的低可塑性，因此严重限制了连续的学习性能。为了解决这个问题，我们提出了预测的功能正则化，其中一个单独的投影网络确保新学习的特征空间保留了先前的特征空间的信息，同时允许学习新功能。这使我们可以防止在保持学习者的可塑性时忘记。针对应用于自我监督的其他增量学习方法的评估表明我们的方法在不同场景和多个数据集中获得竞争性能。

很少有视觉识别是指从一些标记实例中识别新颖的视觉概念。通过将查询表示形式与类表征进行比较以预测查询实例的类别，许多少数射击的视觉识别方法采用了基于公制的元学习范式。但是，当前基于度量的方法通常平等地对待所有实例，因此通常会获得有偏见的类表示，考虑到并非所有实例在总结了类级表示的实例级表示时都同样重要。例如，某些实例可能包含无代表性的信息，例如过多的背景和无关概念的信息，这使结果偏差。为了解决上述问题，我们提出了一个新型的基于公制的元学习框架，称为实例自适应类别表示网络（ICRL-net），以进行几次视觉识别。具体而言，我们开发了一个自适应实例重新平衡网络，具有在生成班级表示，通过学习和分配自适应权重的不同实例中的自适应权重时，根据其在相应类的支持集中的相对意义来解决偏见的表示问题。此外，我们设计了改进的双线性实例表示，并结合了两个新型的结构损失，即，阶层内实例聚类损失和阶层间表示区分损失，以进一步调节实例重估过程并完善类表示。我们对四个通常采用的几个基准测试：Miniimagenet，Tieredimagenet，Cifar-FS和FC100数据集进行了广泛的实验。与最先进的方法相比，实验结果证明了我们的ICRL-NET的优势。

很少有射击学习（FSL）旨在使用有限标记的示例生成分类器。许多现有的作品采用了元学习方法，构建了一些可以从几个示例中学习以生成分类器的学习者。通常，几次学习者是通过依次对多个几次射击任务进行采样并优化几杆学习者在为这些任务生成分类器时的性能来构建或进行元训练的。性能是通过结果分类器对这些任务的测试（即查询）示例进行分类的程度来衡量的。在本文中，我们指出了这种方法的两个潜在弱点。首先，采样的查询示例可能无法提供足够的监督来进行元训练少数学习者。其次，元学习的有效性随着射击数量的增加而急剧下降。为了解决这些问题，我们为少数学习者提出了一个新颖的元训练目标，这是为了鼓励少数学习者生成像强大分类器一样执行的分类器。具体而言，我们将每个采样的几个弹药任务与强大的分类器相关联，该分类器接受了充分的标记示例。强大的分类器可以看作是目标分类器，我们希望在几乎没有示例的情况下生成的几个学习者，我们使用强大的分类器来监督少数射击学习者。我们提出了一种构建强分类器的有效方法，使我们提出的目标成为现有基于元学习的FSL方法的易于插入的术语。我们与许多代表性的元学习方法相结合验证了我们的方法，Lastshot。在几个基准数据集中，我们的方法可导致各种任务的显着改进。更重要的是，通过我们的方法，基于元学习的FSL方法可以在不同数量的镜头上胜过基于非Meta学习的方法。

很少有类别的课堂学习（FSCIL）旨在使用一些示例逐步微调模型（在基础课上培训），而不忘记先前的培训。最近的工作主要解决了2D图像。但是，由于相机技术的发展，3D点云数据比以往任何时候都更可用，这需要考虑3D数据的FSCIL。本文介绍了3D域中的FSCIL。除了灾难性忘记过去的知识和过度贴合数据的众所周知的问题外，3D FSCIL还可以带来更新的挑战。例如，基类可能在现实情况下包含许多合成实例。相比之下，新型类​​别只有少数几个实际扫描的样本（来自RGBD传感器）以增量步骤获得。由于数据从合成到真实的变化，FSCIL会承受其他挑战，以后的增量步骤降低了性能。我们尝试使用微莎普（正交基矢量）来解决此问题，并使用预定义的一组规则来描述任何3D对象。它支持逐步训练，几乎没有示例将合成与真实数据变化最小化。我们使用流行的合成数据集（ModelNet和Shapenet）和3D实范围的数据集（ScanoBjectNN和CO3D）为3D FSCIL提供新的测试协议。通过比较最先进的方法，我们确定了3D域中方法的有效性。