很少有人提出了几乎没有阶级的课程学习（FSCIL），目的是使深度学习系统能够逐步学习有限的数据。最近，一位先驱声称，通常使用的基于重播的课堂学习方法（CIL）是无效的，因此对于FSCIL而言并不是首选。如果真理，这对FSCIL领域产生了重大影响。在本文中，我们通过经验结果表明，采用数据重播非常有利。但是，存储和重播旧数据可能会导致隐私问题。为了解决此问题，我们或建议使用无数据重播，该重播可以通过发电机综合数据而无需访问真实数据。在观察知识蒸馏的不确定数据的有效性时，我们在发电机培训中强加了熵正则化，以鼓励更不确定的例子。此外，我们建议使用单速样标签重新标记生成的数据。这种修改使网络可以通过完全减少交叉渗透损失来学习，从而减轻了在常规知识蒸馏方法中平衡不同目标的问题。最后，我们对CIFAR-100，Miniimagenet和Cub-200展示了广泛的实验结果和分析，以证明我们提出的效果。

基于正规化的方法有利于缓解类渐进式学习中的灾难性遗忘问题。由于缺乏旧任务图像，如果分类器在新图像上产生类似的输出，它们通常会假设旧知识得到很好的保存。在本文中，我们发现他们的效果很大程度上取决于旧课程的性质：它们在彼此之间容易区分的课程上工作，但可能在更细粒度的群体上失败，例如，男孩和女孩。在SPIRIT中，此类方法将新数据项目投入到完全连接层中的权重向量中跨越的特征空间，对应于旧类。由此产生的预测在细粒度的旧课程上是相似的，因此，新分类器将逐步失去这些课程的歧视能力。为了解决这个问题，我们提出了一种无记忆生成的重播策略，通过直接从旧分类器生成代表性的旧图像并结合新的分类器培训的新数据来保留细粒度的旧阶级特征。为了解决所产生的样本的均化问题，我们还提出了一种分集体损失，使得产生的样品之间的Kullback Leibler（KL）发散。我们的方法最好是通过先前的基于正规化的方法补充，证明是为了易于区分的旧课程有效。我们验证了上述关于CUB-200-2011，CALTECH-101，CIFAR-100和微小想象的设计和见解，并表明我们的策略优于现有的无记忆方法，并具有清晰的保证金。代码可在https://github.com/xmengxin/mfgr获得

在学习新知识时，班级学习学习（CIL）与灾难性遗忘和无数据CIL（DFCIL）的斗争更具挑战性，而无需访问以前学过的课程的培训数据。尽管最近的DFCIL作品介绍了诸如模型反转以合成以前类的数据，但由于合成数据和真实数据之间的严重域间隙，它们无法克服遗忘。为了解决这个问题，本文提出了有关DFCIL的关系引导的代表学习（RRL），称为R-DFCIL。在RRL中，我们引入了关系知识蒸馏，以灵活地将新数据的结构关系从旧模型转移到当前模型。我们的RRL增强DFCIL可以指导当前的模型来学习与以前类的表示更好地兼容的新课程的表示，从而大大减少了在改善可塑性的同时遗忘。为了避免表示和分类器学习之间的相互干扰，我们在RRL期间采用本地分类损失而不是全球分类损失。在RRL之后，分类头将通过全球类平衡的分类损失进行完善，以解决数据不平衡问题，并学习新课程和以前类之间的决策界限。关于CIFAR100，Tiny-Imagenet200和Imagenet100的广泛实验表明，我们的R-DFCIL显着超过了以前的方法，并实现了DFCIL的新最新性能。代码可从https://github.com/jianzhangcs/r-dfcil获得。

受到正规彩票假说（RLTH）的启发，该假说假设在密集网络中存在平稳（非二进制）子网，以实现密集网络的竞争性能，我们提出了几个播放类增量学习（FSCIL）方法。 to as \ emph {soft-subnetworks（softnet）}。我们的目标是逐步学习一系列会议，每个会议在每个课程中只包含一些培训实例，同时保留了先前学到的知识。软网络在基本训练会议上共同学习模型权重和自适应非二进制软面具，每个面具由主要和次要子网组成；前者的目的是最大程度地减少训练期间的灾难性遗忘，而后者的目的是避免在每个新培训课程中过度拟合一些样本。我们提供了全面的经验验证，表明我们的软网络通过超越基准数据集的最先进基准的性能来有效地解决了几个弹药的学习问题。

Neural networks are prone to catastrophic forgetting when trained incrementally on different tasks. Popular incremental learning methods mitigate such forgetting by retaining a subset of previously seen samples and replaying them during the training on subsequent tasks. However, this is not always possible, e.g., due to data protection regulations. In such restricted scenarios, one can employ generative models to replay either artificial images or hidden features to a classifier. In this work, we propose Genifer (GENeratIve FEature-driven image Replay), where a generative model is trained to replay images that must induce the same hidden features as real samples when they are passed through the classifier. Our technique therefore incorporates the benefits of both image and feature replay, i.e.: (1) unlike conventional image replay, our generative model explicitly learns the distribution of features that are relevant for classification; (2) in contrast to feature replay, our entire classifier remains trainable; and (3) we can leverage image-space augmentations, which increase distillation performance while also mitigating overfitting during the training of the generative model. We show that Genifer substantially outperforms the previous state of the art for various settings on the CIFAR-100 and CUB-200 datasets.

Despite significant advances, the performance of state-of-the-art continual learning approaches hinges on the unrealistic scenario of fully labeled data. In this paper, we tackle this challenge and propose an approach for continual semi-supervised learning -- a setting where not all the data samples are labeled. An underlying issue in this scenario is the model forgetting representations of unlabeled data and overfitting the labeled ones. We leverage the power of nearest-neighbor classifiers to non-linearly partition the feature space and learn a strong representation for the current task, as well as distill relevant information from previous tasks. We perform a thorough experimental evaluation and show that our method outperforms all the existing approaches by large margins, setting a strong state of the art on the continual semi-supervised learning paradigm. For example, on CIFAR100 we surpass several others even when using at least 30 times less supervision (0.8% vs. 25% of annotations).

视觉世界中新对象的不断出现对现实世界部署中当前的深度学习方法构成了巨大的挑战。由于稀有性或成本，新任务学习的挑战通常会加剧新类别的数据。在这里，我们探讨了几乎没有类别学习的重要任务（FSCIL）及其极端数据稀缺条件。理想的FSCIL模型都需要在所有类别上表现良好，无论其显示顺序或数据的匮乏。开放式现实世界条件也需要健壮，并可以轻松地适应始终在现场出现的新任务。在本文中，我们首先重新评估当前的任务设置，并为FSCIL任务提出更全面和实用的设置。然后，受到FSCIL和现代面部识别系统目标的相似性的启发，我们提出了我们的方法 - 增强角损失渐进分类或爱丽丝。在爱丽丝（Alice）中，我们建议使用角度损失损失来获得良好的特征。由于所获得的功能不仅需要紧凑，而且还需要足够多样化以维持未来的增量类别的概括，我们进一步讨论了类增强，数据增强和数据平衡如何影响分类性能。在包括CIFAR100，Miniimagenet和Cub200在内的基准数据集上的实验证明了爱丽丝在最新的FSCIL方法上的性能提高。

新课程经常出现在我们不断变化的世界中，例如社交媒体中的新兴主题和电子商务中的新产品。模型应识别新的类，同时保持对旧类的可区分性。在严重的情况下，只有有限的新颖实例可以逐步更新模型。在不忘记旧课程的情况下识别几个新课程的任务称为少数类的课程学习（FSCIL）。在这项工作中，我们通过学习多相增量任务（limit）提出了一个基于元学习的FSCIL的新范式，该任务从基本数据集中综合了伪造的FSCIL任务。假任务的数据格式与“真实”的增量任务一致，我们可以通过元学习构建可概括的特征空间。此外，限制还基于变压器构建了一个校准模块，该模块将旧类分类器和新类原型校准为相同的比例，并填补语义间隙。校准模块还可以自适应地将具有设置对集合函数的特定于实例的嵌入方式化。限制有效地适应新课程，同时拒绝忘记旧课程。在三个基准数据集（CIFAR100，Miniimagenet和Cub200）和大规模数据集上进行的实验，即Imagenet ILSVRC2012验证以实现最新性能。

本文认为增量少量学习，这需要一个模型，不断识别新类别，只有一些例子。我们的研究表明，现有方法严重遭受灾难性的遗忘，是一个增量学习中的一个众所周知的问题，这是由于少量拍摄设置中的数据稀缺和不平衡而加剧。我们的分析进一步表明，为了防止灾难性的遗忘，需要在原始阶段采取行动 - 基础类别的培训而不是稍后的几秒钟学习会议。因此，我们建议寻找基本训练目标函数的扁平本地最小值，然后在新任务中微调平面区域内的模型参数。通过这种方式，模型可以在保留旧的时有效地学习新类。综合实验结果表明，我们的方法优于所有现有最先进的方法，并且非常接近近似上限。源代码可在https://github.com/moukamisama/f2m上获得。

Although deep learning approaches have stood out in recent years due to their state-of-the-art results, they continue to suffer from catastrophic forgetting, a dramatic decrease in overall performance when training with new classes added incrementally. This is due to current neural network architectures requiring the entire dataset, consisting of all the samples from the old as well as the new classes, to update the model-a requirement that becomes easily unsustainable as the number of classes grows. We address this issue with our approach to learn deep neural networks incrementally, using new data and only a small exemplar set corresponding to samples from the old classes. This is based on a loss composed of a distillation measure to retain the knowledge acquired from the old classes, and a cross-entropy loss to learn the new classes. Our incremental training is achieved while keeping the entire framework end-to-end, i.e., learning the data representation and the classifier jointly, unlike recent methods with no such guarantees. We evaluate our method extensively on the CIFAR-100 and Im-ageNet (ILSVRC 2012) image classification datasets, and show state-of-the-art performance.

几乎没有类似的课堂学习（FSCIL）旨在通过避免过度拟合和灾难性遗忘，从一些标记的样本中逐步学习新颖的课程。 FSCIL的当前协议是通过模仿一般类知识学习设置来构建的，而由于不同的数据配置，即新颖的类都在有限的数据状态下，因此并不完全合适。在本文中，我们通过保留第一个会话的可能性来重新考虑FSCIL对开放式假设的配置。为了为模型分配更好的近距离和开放式识别性能，双曲线相互学习模块（Hyper-RPL）建立在与双曲神经网络的相互点学习（RPL）上。此外，为了从有限标记的数据中学习新颖类别，我们将双曲线度量学习（超级现象）模块纳入基于蒸馏的框架中，以减轻过度拟合的问题，并更好地处理保存旧知识和旧知识之间的权衡问题。获得新知识。对三个基准数据集上提出的配置和模块的全面评估被执行，以验证有关三个评估指标的有效性。

持续学习旨在快速，不断地从一系列任务中学习当前的任务。与其他类型的方法相比，基于经验重播的方法表现出了极大的优势来克服灾难性的遗忘。该方法的一个常见局限性是上一个任务和当前任务之间的数据不平衡，这将进一步加剧遗忘。此外，如何在这种情况下有效解决稳定性困境也是一个紧迫的问题。在本文中，我们通过提出一个通过多尺度知识蒸馏和数据扩展（MMKDDA）提出一个名为Meta学习更新的新框架来克服这些挑战。具体而言，我们应用多尺度知识蒸馏来掌握不同特征级别的远程和短期空间关系的演变，以减轻数据不平衡问题。此外，我们的方法在在线持续训练程序中混合了来自情节记忆和当前任务的样品，从而减轻了由于概率分布的变化而减轻了侧面影响。此外，我们通过元学习更新来优化我们的模型，该更新诉诸于前面所看到的任务数量，这有助于保持稳定性和可塑性之间的更好平衡。最后，我们对四个基准数据集的实验评估显示了提出的MMKDDA框架对其他流行基线的有效性，并且还进行了消融研究，以进一步分析每个组件在我们的框架中的作用。

逐步学习新课程的能力对于所有现实世界的人工智能系统至关重要。像社交媒体，推荐系统，电子商务平台等的大部分高冲击应用都可以由图形模型表示。在本文中，我们调查了挑战但实际问题，图表几次拍摄的类增量（图形FCL）问题，其中图形模型是任务，以对新遇到的类和以前学习的类进行分类。为此目的，我们通过从基类循环地采样任务来提出图形伪增量学习范例，以便为我们的模型产生任意数量的培训集，以练习增量学习技能。此外，我们设计了一种基于分层的图形元学习框架，Hag-Meta。我们介绍了一个任务敏感的常规程序，从任务级关注和节点类原型计算，以缓解到新颖或基本类上的过度拟合。为了采用拓扑知识，我们添加了一个节点级注意模块来调整原型表示。我们的模型不仅达到了旧知识整合的更大稳定性，而且还可以获得对具有非常有限的数据样本的新知识的有利适应性。在三个现实世界数据集上进行广泛的实验，包括亚马逊服装，Reddit和DBLP，表明我们的框架与基线和其他相关最先进的方法相比，展示了显着的优势。

Conventionally, deep neural networks are trained offline, relying on a large dataset prepared in advance. This paradigm is often challenged in real-world applications, e.g. online services that involve continuous streams of incoming data. Recently, incremental learning receives increasing attention, and is considered as a promising solution to the practical challenges mentioned above. However, it has been observed that incremental learning is subject to a fundamental difficulty -catastrophic forgetting, namely adapting a model to new data often results in severe performance degradation on previous tasks or classes. Our study reveals that the imbalance between previous and new data is a crucial cause to this problem. In this work, we develop a new framework for incrementally learning a unified classifier, i.e. a classifier that treats both old and new classes uniformly. Specifically, we incorporate three components, cosine normalization, less-forget constraint, and inter-class separation, to mitigate the adverse effects of the imbalance. Experiments show that the proposed method can effectively rebalance the training process, thus obtaining superior performance compared to the existing methods. On CIFAR-100 and ImageNet, our method can reduce the classification errors by more than 6% and 13% respectively, under the incremental setting of 10 phases.

人类智慧的主食是以不断的方式获取知识的能力。在Stark对比度下，深网络忘记灾难性，而且为此原因，类增量连续学习促进方法的子字段逐步学习一系列任务，将顺序获得的知识混合成综合预测。这项工作旨在评估和克服我们以前提案黑暗体验重播（Der）的陷阱，这是一种简单有效的方法，将排练和知识蒸馏结合在一起。灵感来自于我们的思想不断重写过去的回忆和对未来的期望，我们赋予了我的能力，即我的能力来修改其重播记忆，以欢迎有关过去数据II的新信息II）为学习尚未公开的课程铺平了道路。我们表明，这些策略的应用导致了显着的改进;实际上，得到的方法 - 被称为扩展-DAR（X-DER） - 优于标准基准（如CiFar-100和MiniimAgeNet）的技术状态，并且这里引入了一个新颖的。为了更好地了解，我们进一步提供了广泛的消融研究，以证实并扩展了我们以前研究的结果（例如，在持续学习设置中知识蒸馏和漂流最小值的价值）。

虽然灾难性遗忘的概念是直截了当的，但缺乏对其原因的研究。在本文中，我们系统地探索并揭示了课堂增量学习中灾难性遗忘的三个原因（CIL）。从代表学习的角度来看，（i）当学习者未能正确对准相同相位数据时，逐步忘记在训练所得和（ii）当学习者混淆当前相数据时发生相互相互混淆上一阶段。从特定于任务特定的角度来看，CIL模型遭受了（iii）分类器偏差的问题。在调查现有策略后，我们观察到缺乏关于如何防止相互局部混淆的研究。要启动对该具体问题的研究，我们提出了一种简单但有效的框架，CIL（C4IL）的对比阶级浓度。我们的框架利用了对比度学习的阶级集中效应，产生了具有更好的级别的紧凑性和阶级间可分离的表示分布。经验上，我们观察到C4IL显着降低了相互相连的概率，并且结果提高了多个数据集的多个CIL设置的性能。

基于标准的深度学习分类方法需要提前从所有课程中收集所有样本，并受到离线培训。在现实世界的临床应用中，这种范式可能不实用，在现实世界中，通过添加新数据来逐步引入新类。班级学习是一种允许从此类数据学习的策略。但是，一个主要的挑战是灾难性遗忘，即，在适应训练有素的模型中，在以前的课程中的性能退化。减轻此挑战的先前方法可以节省一部分培训数据，需要永久存储此类数据，这些数据可能引入隐私问题。在这里，我们提出了一个新颖的无数据类增量学习框架，该框架首先综合了从以前类中训练的模型中生成\我们的数据。随后，它通过将综合数据与新类数据相结合来更新模型。此外，我们结合了余弦归一化的横向渗透损失，以减轻不平衡的不利影响，增加以前类别和新类别的分离的边缘损失以及域内的对比损失，以概括对合成数据训练的模型真实数据。我们将我们提出的框架与类增量学习中的最先进方法进行了比较，在该方法中，我们证明了11,062个超声心动图Cine Cine系列患者的精度提高。

深度学习模型在逐步学习新任务时遭受灾难性遗忘。已经提出了增量学习，以保留旧课程的知识，同时学习识别新课程。一种典型的方法是使用一些示例来避免忘记旧知识。在这种情况下，旧类和新课之间的数据失衡是导致模型性能下降的关键问题。由于数据不平衡，已经设计了几种策略来纠正新类别的偏见。但是，他们在很大程度上依赖于新旧阶层之间偏见关系的假设。因此，它们不适合复杂的现实世界应用。在这项研究中，我们提出了一种假设不足的方法，即多粒性重新平衡（MGRB），以解决此问题。重新平衡方法用于减轻数据不平衡的影响；但是，我们从经验上发现，他们将拟合新的课程。为此，我们进一步设计了一个新颖的多晶正式化项，该项使模型还可以考虑除了重新平衡数据之外的类别的相关性。类层次结构首先是通过将语义或视觉上类似类分组来构建的。然后，多粒性正则化将单热标签向量转换为连续的标签分布，这反映了基于构造的类层次结构的目标类别和其他类之间的关系。因此，该模型可以学习类间的关系信息，这有助于增强新旧课程的学习。公共数据集和现实世界中的故障诊断数据集的实验结果验证了所提出的方法的有效性。

在课堂增量学习（CIL）设置中，在每个学习阶段将类别组引入模型。目的是学习到目前为止观察到的所有类别的统一模型表现。鉴于视觉变压器（VIT）在常规分类设置中的最新流行，一个有趣的问题是研究其持续学习行为。在这项工作中，我们为CIL开发了一个伪造的双蒸馏变压器，称为$ \ textrm {d}^3 \ textrm {前} $。提出的模型利用混合嵌套的VIT设计，以确保数据效率和可扩展性对小数据集和大数据集。与最近的基于VIT的CIL方法相反，我们的$ \ textrm {d}^3 \ textrm {前} $在学习新任务并仍然适用于大量增量任务时不会动态扩展其体系结构。 $ \ textrm {d}^3 \ textrm {oft} $的CIL行为的改善归功于VIT设计的两个基本变化。首先，我们将增量学习视为一个长尾分类问题，其中大多数新课程的大多数样本都超过了可用于旧课程的有限范例。为了避免对少数族裔的偏见，我们建议动态调整逻辑，以强调保留与旧任务相关的表示形式。其次，我们建议在学习跨任务进行时保留空间注意图的配置。这有助于减少灾难性遗忘，通过限制模型以将注意力保留到最歧视区域上。 $ \ textrm {d}^3 \ textrm {以前} $在CIFAR-100，MNIST，SVHN和Imagenet数据集的增量版本上获得了有利的结果。

很少有课堂学习（FSCIL）着重于设计学习算法，这些学习算法可以不断地从几个样本中学习一系列新任务，而不会忘记旧任务。困难是，从新任务中进行一系列有限数据的培训会导致严重的过度拟合问题，并导致众所周知的灾难性遗忘问题。现有研究主要利用图像信息，例如存储以前任务的图像知识或限制分类器更新。但是，他们忽略了分析课堂标签的信息丰富且较少的嘈杂文本信息。在这项工作中，我们建议通过采用内存提示来利用标签文本信息。内存提示可以依次学习新数据，同时存储先前的知识。此外，为了优化内存提示而不破坏存储的知识，我们提出了基于刺激的训练策略。它根据图像嵌入刺激（即嵌入元素的分布）来优化内存提示。实验表明，我们提出的方法的表现优于所有先前的最新方法，从而大大减轻了灾难性的遗忘和过度拟合问题。