基于正规化的方法有利于缓解类渐进式学习中的灾难性遗忘问题。由于缺乏旧任务图像，如果分类器在新图像上产生类似的输出，它们通常会假设旧知识得到很好的保存。在本文中，我们发现他们的效果很大程度上取决于旧课程的性质：它们在彼此之间容易区分的课程上工作，但可能在更细粒度的群体上失败，例如，男孩和女孩。在SPIRIT中，此类方法将新数据项目投入到完全连接层中的权重向量中跨越的特征空间，对应于旧类。由此产生的预测在细粒度的旧课程上是相似的，因此，新分类器将逐步失去这些课程的歧视能力。为了解决这个问题，我们提出了一种无记忆生成的重播策略，通过直接从旧分类器生成代表性的旧图像并结合新的分类器培训的新数据来保留细粒度的旧阶级特征。为了解决所产生的样本的均化问题，我们还提出了一种分集体损失，使得产生的样品之间的Kullback Leibler（KL）发散。我们的方法最好是通过先前的基于正规化的方法补充，证明是为了易于区分的旧课程有效。我们验证了上述关于CUB-200-2011，CALTECH-101，CIFAR-100和微小想象的设计和见解，并表明我们的策略优于现有的无记忆方法，并具有清晰的保证金。代码可在https://github.com/xmengxin/mfgr获得

很少有人提出了几乎没有阶级的课程学习（FSCIL），目的是使深度学习系统能够逐步学习有限的数据。最近，一位先驱声称，通常使用的基于重播的课堂学习方法（CIL）是无效的，因此对于FSCIL而言并不是首选。如果真理，这对FSCIL领域产生了重大影响。在本文中，我们通过经验结果表明，采用数据重播非常有利。但是，存储和重播旧数据可能会导致隐私问题。为了解决此问题，我们或建议使用无数据重播，该重播可以通过发电机综合数据而无需访问真实数据。在观察知识蒸馏的不确定数据的有效性时，我们在发电机培训中强加了熵正则化，以鼓励更不确定的例子。此外，我们建议使用单速样标签重新标记生成的数据。这种修改使网络可以通过完全减少交叉渗透损失来学习，从而减轻了在常规知识蒸馏方法中平衡不同目标的问题。最后，我们对CIFAR-100，Miniimagenet和Cub-200展示了广泛的实验结果和分析，以证明我们提出的效果。

Neural networks are prone to catastrophic forgetting when trained incrementally on different tasks. Popular incremental learning methods mitigate such forgetting by retaining a subset of previously seen samples and replaying them during the training on subsequent tasks. However, this is not always possible, e.g., due to data protection regulations. In such restricted scenarios, one can employ generative models to replay either artificial images or hidden features to a classifier. In this work, we propose Genifer (GENeratIve FEature-driven image Replay), where a generative model is trained to replay images that must induce the same hidden features as real samples when they are passed through the classifier. Our technique therefore incorporates the benefits of both image and feature replay, i.e.: (1) unlike conventional image replay, our generative model explicitly learns the distribution of features that are relevant for classification; (2) in contrast to feature replay, our entire classifier remains trainable; and (3) we can leverage image-space augmentations, which increase distillation performance while also mitigating overfitting during the training of the generative model. We show that Genifer substantially outperforms the previous state of the art for various settings on the CIFAR-100 and CUB-200 datasets.

Conventionally, deep neural networks are trained offline, relying on a large dataset prepared in advance. This paradigm is often challenged in real-world applications, e.g. online services that involve continuous streams of incoming data. Recently, incremental learning receives increasing attention, and is considered as a promising solution to the practical challenges mentioned above. However, it has been observed that incremental learning is subject to a fundamental difficulty -catastrophic forgetting, namely adapting a model to new data often results in severe performance degradation on previous tasks or classes. Our study reveals that the imbalance between previous and new data is a crucial cause to this problem. In this work, we develop a new framework for incrementally learning a unified classifier, i.e. a classifier that treats both old and new classes uniformly. Specifically, we incorporate three components, cosine normalization, less-forget constraint, and inter-class separation, to mitigate the adverse effects of the imbalance. Experiments show that the proposed method can effectively rebalance the training process, thus obtaining superior performance compared to the existing methods. On CIFAR-100 and ImageNet, our method can reduce the classification errors by more than 6% and 13% respectively, under the incremental setting of 10 phases.

虽然灾难性遗忘的概念是直截了当的，但缺乏对其原因的研究。在本文中，我们系统地探索并揭示了课堂增量学习中灾难性遗忘的三个原因（CIL）。从代表学习的角度来看，（i）当学习者未能正确对准相同相位数据时，逐步忘记在训练所得和（ii）当学习者混淆当前相数据时发生相互相互混淆上一阶段。从特定于任务特定的角度来看，CIL模型遭受了（iii）分类器偏差的问题。在调查现有策略后，我们观察到缺乏关于如何防止相互局部混淆的研究。要启动对该具体问题的研究，我们提出了一种简单但有效的框架，CIL（C4IL）的对比阶级浓度。我们的框架利用了对比度学习的阶级集中效应，产生了具有更好的级别的紧凑性和阶级间可分离的表示分布。经验上，我们观察到C4IL显着降低了相互相连的概率，并且结果提高了多个数据集的多个CIL设置的性能。

在学习新知识时，班级学习学习（CIL）与灾难性遗忘和无数据CIL（DFCIL）的斗争更具挑战性，而无需访问以前学过的课程的培训数据。尽管最近的DFCIL作品介绍了诸如模型反转以合成以前类的数据，但由于合成数据和真实数据之间的严重域间隙，它们无法克服遗忘。为了解决这个问题，本文提出了有关DFCIL的关系引导的代表学习（RRL），称为R-DFCIL。在RRL中，我们引入了关系知识蒸馏，以灵活地将新数据的结构关系从旧模型转移到当前模型。我们的RRL增强DFCIL可以指导当前的模型来学习与以前类的表示更好地兼容的新课程的表示，从而大大减少了在改善可塑性的同时遗忘。为了避免表示和分类器学习之间的相互干扰，我们在RRL期间采用本地分类损失而不是全球分类损失。在RRL之后，分类头将通过全球类平衡的分类损失进行完善，以解决数据不平衡问题，并学习新课程和以前类之间的决策界限。关于CIFAR100，Tiny-Imagenet200和Imagenet100的广泛实验表明，我们的R-DFCIL显着超过了以前的方法，并实现了DFCIL的新最新性能。代码可从https://github.com/jianzhangcs/r-dfcil获得。

深度学习模型在逐步学习新任务时遭受灾难性遗忘。已经提出了增量学习，以保留旧课程的知识，同时学习识别新课程。一种典型的方法是使用一些示例来避免忘记旧知识。在这种情况下，旧类和新课之间的数据失衡是导致模型性能下降的关键问题。由于数据不平衡，已经设计了几种策略来纠正新类别的偏见。但是，他们在很大程度上依赖于新旧阶层之间偏见关系的假设。因此，它们不适合复杂的现实世界应用。在这项研究中，我们提出了一种假设不足的方法，即多粒性重新平衡（MGRB），以解决此问题。重新平衡方法用于减轻数据不平衡的影响；但是，我们从经验上发现，他们将拟合新的课程。为此，我们进一步设计了一个新颖的多晶正式化项，该项使模型还可以考虑除了重新平衡数据之外的类别的相关性。类层次结构首先是通过将语义或视觉上类似类分组来构建的。然后，多粒性正则化将单热标签向量转换为连续的标签分布，这反映了基于构造的类层次结构的目标类别和其他类之间的关系。因此，该模型可以学习类间的关系信息，这有助于增强新旧课程的学习。公共数据集和现实世界中的故障诊断数据集的实验结果验证了所提出的方法的有效性。

Although deep learning approaches have stood out in recent years due to their state-of-the-art results, they continue to suffer from catastrophic forgetting, a dramatic decrease in overall performance when training with new classes added incrementally. This is due to current neural network architectures requiring the entire dataset, consisting of all the samples from the old as well as the new classes, to update the model-a requirement that becomes easily unsustainable as the number of classes grows. We address this issue with our approach to learn deep neural networks incrementally, using new data and only a small exemplar set corresponding to samples from the old classes. This is based on a loss composed of a distillation measure to retain the knowledge acquired from the old classes, and a cross-entropy loss to learn the new classes. Our incremental training is achieved while keeping the entire framework end-to-end, i.e., learning the data representation and the classifier jointly, unlike recent methods with no such guarantees. We evaluate our method extensively on the CIFAR-100 and Im-ageNet (ILSVRC 2012) image classification datasets, and show state-of-the-art performance.

Despite significant advances, the performance of state-of-the-art continual learning approaches hinges on the unrealistic scenario of fully labeled data. In this paper, we tackle this challenge and propose an approach for continual semi-supervised learning -- a setting where not all the data samples are labeled. An underlying issue in this scenario is the model forgetting representations of unlabeled data and overfitting the labeled ones. We leverage the power of nearest-neighbor classifiers to non-linearly partition the feature space and learn a strong representation for the current task, as well as distill relevant information from previous tasks. We perform a thorough experimental evaluation and show that our method outperforms all the existing approaches by large margins, setting a strong state of the art on the continual semi-supervised learning paradigm. For example, on CIFAR100 we surpass several others even when using at least 30 times less supervision (0.8% vs. 25% of annotations).

我们研究了类新型小说类发现的新任务（class-incd），该任务是指在未标记的数据集中发现新型类别的问题，该问题通过利用已在包含脱节的标签数据集上训练的预训练的模型，该模型已受过培训但是相关类别。除了发现新颖的课程外，我们还旨在维护模型识别先前看到的基本类别的能力。受到基于彩排的增量学习方法的启发，在本文中，我们提出了一种新颖的方法，以防止通过共同利用基类功能原型和特征级知识蒸馏来忘记对基础类的过去信息。我们还提出了一种自我训练的聚类策略，该策略同时将新颖的类别簇簇，并为基础和新颖类培训共同分类器。这使得我们的方法能够在课堂内设置中运行。我们的实验以三个共同的基准进行，表明我们的方法显着优于最先进的方法。代码可从https://github.com/oatmealliu/class-incd获得

基于标准的深度学习分类方法需要提前从所有课程中收集所有样本，并受到离线培训。在现实世界的临床应用中，这种范式可能不实用，在现实世界中，通过添加新数据来逐步引入新类。班级学习是一种允许从此类数据学习的策略。但是，一个主要的挑战是灾难性遗忘，即，在适应训练有素的模型中，在以前的课程中的性能退化。减轻此挑战的先前方法可以节省一部分培训数据，需要永久存储此类数据，这些数据可能引入隐私问题。在这里，我们提出了一个新颖的无数据类增量学习框架，该框架首先综合了从以前类中训练的模型中生成\我们的数据。随后，它通过将综合数据与新类数据相结合来更新模型。此外，我们结合了余弦归一化的横向渗透损失，以减轻不平衡的不利影响，增加以前类别和新类别的分离的边缘损失以及域内的对比损失，以概括对合成数据训练的模型真实数据。我们将我们提出的框架与类增量学习中的最先进方法进行了比较，在该方法中，我们证明了11,062个超声心动图Cine Cine系列患者的精度提高。

Modern machine learning suffers from catastrophic forgetting when learning new classes incrementally. The performance dramatically degrades due to the missing data of old classes. Incremental learning methods have been proposed to retain the knowledge acquired from the old classes, by using knowledge distilling and keeping a few exemplars from the old classes. However, these methods struggle to scale up to a large number of classes. We believe this is because of the combination of two factors: (a) the data imbalance between the old and new classes, and (b) the increasing number of visually similar classes. Distinguishing between an increasing number of visually similar classes is particularly challenging, when the training data is unbalanced. We propose a simple and effective method to address this data imbalance issue. We found that the last fully connected layer has a strong bias towards the new classes, and this bias can be corrected by a linear model. With two bias parameters, our method performs remarkably well on two large datasets: ImageNet (1000 classes) and MS-Celeb-1M (10000 classes), outperforming the state-of-the-art algorithms by 11.1% and 13.2% respectively.

在这个不断变化的世界中，必须不断学习新概念的能力。但是，深层神经网络在学习新类别时会遭受灾难性的遗忘。已经提出了许多减轻这种现象的作品，而其中大多数要么属于稳定性困境，要么陷入了过多的计算或储存开销。受到梯度增强算法的启发，以逐渐适应目标模型和上一个合奏模型之间的残差，我们提出了一种新颖的两阶段学习范式寄养物，使该模型能够适应新的类别。具体而言，我们首先动态扩展新模块，以适合原始模型的目标和输出之间的残差。接下来，我们通过有效的蒸馏策略删除冗余参数和特征尺寸，以维护单个骨干模型。我们在不同的设置下验证CIFAR-100和Imagenet-100/1000的方法寄养。实验结果表明，我们的方法实现了最先进的性能。代码可在以下网址获得：https：//github.com/g-u-n/eccv22-foster。

持续学习旨在快速，不断地从一系列任务中学习当前的任务。与其他类型的方法相比，基于经验重播的方法表现出了极大的优势来克服灾难性的遗忘。该方法的一个常见局限性是上一个任务和当前任务之间的数据不平衡，这将进一步加剧遗忘。此外，如何在这种情况下有效解决稳定性困境也是一个紧迫的问题。在本文中，我们通过提出一个通过多尺度知识蒸馏和数据扩展（MMKDDA）提出一个名为Meta学习更新的新框架来克服这些挑战。具体而言，我们应用多尺度知识蒸馏来掌握不同特征级别的远程和短期空间关系的演变，以减轻数据不平衡问题。此外，我们的方法在在线持续训练程序中混合了来自情节记忆和当前任务的样品，从而减轻了由于概率分布的变化而减轻了侧面影响。此外，我们通过元学习更新来优化我们的模型，该更新诉诸于前面所看到的任务数量，这有助于保持稳定性和可塑性之间的更好平衡。最后，我们对四个基准数据集的实验评估显示了提出的MMKDDA框架对其他流行基线的有效性，并且还进行了消融研究，以进一步分析每个组件在我们的框架中的作用。

对于人工学习系统，随着时间的流逝，从数据流进行持续学习至关重要。对监督持续学习的新兴研究取得了长足的进步，而无监督学习中灾难性遗忘的研究仍然是空白的。在无监督的学习方法中，自居民学习方法在视觉表示上显示出巨大的潜力，而无需大规模标记的数据。为了改善自我监督学习的视觉表示，需要更大和更多的数据。在现实世界中，始终生成未标记的数据。这种情况为学习自我监督方法提供了巨大的优势。但是，在当前的范式中，将先前的数据和当前数据包装在一起并再次培训是浪费时间和资源。因此，迫切需要一种持续的自我监督学习方法。在本文中，我们首次尝试通过提出彩排方法来实现连续的对比自我监督学习，从而使以前的数据保持了一些典范。我们通过模仿旧网络通过一组保存的示例，通过模仿旧网络推断出的相似性分数分布，而不是将保存的示例与当前数据集结合到当前的培训数据集，而是利用自我监督的知识蒸馏将对比度信息传输到当前网络。此外，我们建立一个额外的样本队列，以帮助网络区分以前的数据和当前数据并在学习自己的功能表示时防止相互干扰。实验结果表明，我们的方法在CIFAR100和Imagenet-Sub上的性能很好。与基线的学习任务无需采用任何技术，我们将图像分类在CIFAR100上提高了1.60％，Imagenet-Sub上的2.86％，在10个增量步骤设置下对Imagenet-Full进行1.29％。

General Continual Learning (GCL) aims at learning from non independent and identically distributed stream data without catastrophic forgetting of the old tasks that don't rely on task boundaries during both training and testing stages. We reveal that the relation and feature deviations are crucial problems for catastrophic forgetting, in which relation deviation refers to the deficiency of the relationship among all classes in knowledge distillation, and feature deviation refers to indiscriminative feature representations. To this end, we propose a Complementary Calibration (CoCa) framework by mining the complementary model's outputs and features to alleviate the two deviations in the process of GCL. Specifically, we propose a new collaborative distillation approach for addressing the relation deviation. It distills model's outputs by utilizing ensemble dark knowledge of new model's outputs and reserved outputs, which maintains the performance of old tasks as well as balancing the relationship among all classes. Furthermore, we explore a collaborative self-supervision idea to leverage pretext tasks and supervised contrastive learning for addressing the feature deviation problem by learning complete and discriminative features for all classes. Extensive experiments on four popular datasets show that our CoCa framework achieves superior performance against state-of-the-art methods. Code is available at https://github.com/lijincm/CoCa.

在课堂增量学习（CIL）设置中，在每个学习阶段将类别组引入模型。目的是学习到目前为止观察到的所有类别的统一模型表现。鉴于视觉变压器（VIT）在常规分类设置中的最新流行，一个有趣的问题是研究其持续学习行为。在这项工作中，我们为CIL开发了一个伪造的双蒸馏变压器，称为$ \ textrm {d}^3 \ textrm {前} $。提出的模型利用混合嵌套的VIT设计，以确保数据效率和可扩展性对小数据集和大数据集。与最近的基于VIT的CIL方法相反，我们的$ \ textrm {d}^3 \ textrm {前} $在学习新任务并仍然适用于大量增量任务时不会动态扩展其体系结构。 $ \ textrm {d}^3 \ textrm {oft} $的CIL行为的改善归功于VIT设计的两个基本变化。首先，我们将增量学习视为一个长尾分类问题，其中大多数新课程的大多数样本都超过了可用于旧课程的有限范例。为了避免对少数族裔的偏见，我们建议动态调整逻辑，以强调保留与旧任务相关的表示形式。其次，我们建议在学习跨任务进行时保留空间注意图的配置。这有助于减少灾难性遗忘，通过限制模型以将注意力保留到最歧视区域上。 $ \ textrm {d}^3 \ textrm {以前} $在CIFAR-100，MNIST，SVHN和Imagenet数据集的增量版本上获得了有利的结果。

视觉世界中新对象的不断出现对现实世界部署中当前的深度学习方法构成了巨大的挑战。由于稀有性或成本，新任务学习的挑战通常会加剧新类别的数据。在这里，我们探讨了几乎没有类别学习的重要任务（FSCIL）及其极端数据稀缺条件。理想的FSCIL模型都需要在所有类别上表现良好，无论其显示顺序或数据的匮乏。开放式现实世界条件也需要健壮，并可以轻松地适应始终在现场出现的新任务。在本文中，我们首先重新评估当前的任务设置，并为FSCIL任务提出更全面和实用的设置。然后，受到FSCIL和现代面部识别系统目标的相似性的启发，我们提出了我们的方法 - 增强角损失渐进分类或爱丽丝。在爱丽丝（Alice）中，我们建议使用角度损失损失来获得良好的特征。由于所获得的功能不仅需要紧凑，而且还需要足够多样化以维持未来的增量类别的概括，我们进一步讨论了类增强，数据增强和数据平衡如何影响分类性能。在包括CIFAR100，Miniimagenet和Cub200在内的基准数据集上的实验证明了爱丽丝在最新的FSCIL方法上的性能提高。

在本文中，我们为连续表示学习问题提出了一种新颖的培训程序，其中依次学习了神经网络模型，以减轻视觉搜索任务中的灾难性遗忘。我们的方法称为对比度有监督的蒸馏（CSD），在学习判别特征的同时，还会减少忘记。这是通过在蒸馏设置中利用标签信息来实现的，在蒸馏设置中，从教师模型中对学生模型进行了相反的学习。广泛的实验表明，CSD在减轻灾难性遗忘方面的表现优于当前最新方法。我们的结果还提供了进一步的证据，表明在视觉检索任务中评估的功能忘记不像分类任务那样灾难性。代码：https：//github.com/niccobiondi/contrastivesupervisedistillation。