在课堂学习学习中，预计该模型将在保持以前课程的知识的同时，不断地学习新课程。这里的挑战在于保留该模型在功能空间中有效代表先前类的能力，同时调整其代表传入的新类。我们提出了两个基于蒸馏的目标，用于类增量学习，以利用特征空间的结构来维持以前的课程的准确性，并使学习新课程。在我们的第一个目标（称为跨空间聚类（CSC））中，我们建议使用先前模型的特征空间结构来表征优化的方向，这些方向可以最大程度地保留类 - 特定类的所有实例应集体优化，对，以及他们应该集体优化的人。除了最大程度地减少忘记之外，这种间接的鼓励模型将所有类的实例聚集在当前功能空间中，并引起牛群免疫的感觉，从而使班级的所有样本都可以将模型共同与遗忘班级共同打击模型。我们的第二个目标被称为受控转移（CT）从研究班间转移的研究的逐步学习。 CT明确近似于和条件，当前模型在逐步到达类和先验类之间的语义相似性上。这使模型可以学习类，以使其从相似的先前类中最大化正向转移，从而提高可塑性，并最大程度地减少不同先验类别的负向后转移，从而增强稳定性。我们在两个基准数据集上执行了广泛的实验，并在三种突出的课堂学习方法的顶部添加了我们的方法（CSCCT）。我们观察到各种实验环境的性能一致。

在学习新知识时，班级学习学习（CIL）与灾难性遗忘和无数据CIL（DFCIL）的斗争更具挑战性，而无需访问以前学过的课程的培训数据。尽管最近的DFCIL作品介绍了诸如模型反转以合成以前类的数据，但由于合成数据和真实数据之间的严重域间隙，它们无法克服遗忘。为了解决这个问题，本文提出了有关DFCIL的关系引导的代表学习（RRL），称为R-DFCIL。在RRL中，我们引入了关系知识蒸馏，以灵活地将新数据的结构关系从旧模型转移到当前模型。我们的RRL增强DFCIL可以指导当前的模型来学习与以前类的表示更好地兼容的新课程的表示，从而大大减少了在改善可塑性的同时遗忘。为了避免表示和分类器学习之间的相互干扰，我们在RRL期间采用本地分类损失而不是全球分类损失。在RRL之后，分类头将通过全球类平衡的分类损失进行完善，以解决数据不平衡问题，并学习新课程和以前类之间的决策界限。关于CIFAR100，Tiny-Imagenet200和Imagenet100的广泛实验表明，我们的R-DFCIL显着超过了以前的方法，并实现了DFCIL的新最新性能。代码可从https://github.com/jianzhangcs/r-dfcil获得。

人类智慧的主食是以不断的方式获取知识的能力。在Stark对比度下，深网络忘记灾难性，而且为此原因，类增量连续学习促进方法的子字段逐步学习一系列任务，将顺序获得的知识混合成综合预测。这项工作旨在评估和克服我们以前提案黑暗体验重播（Der）的陷阱，这是一种简单有效的方法，将排练和知识蒸馏结合在一起。灵感来自于我们的思想不断重写过去的回忆和对未来的期望，我们赋予了我的能力，即我的能力来修改其重播记忆，以欢迎有关过去数据II的新信息II）为学习尚未公开的课程铺平了道路。我们表明，这些策略的应用导致了显着的改进;实际上，得到的方法 - 被称为扩展-DAR（X-DER） - 优于标准基准（如CiFar-100和MiniimAgeNet）的技术状态，并且这里引入了一个新颖的。为了更好地了解，我们进一步提供了广泛的消融研究，以证实并扩展了我们以前研究的结果（例如，在持续学习设置中知识蒸馏和漂流最小值的价值）。

在课堂增量学习（CIL）设置中，在每个学习阶段将类别组引入模型。目的是学习到目前为止观察到的所有类别的统一模型表现。鉴于视觉变压器（VIT）在常规分类设置中的最新流行，一个有趣的问题是研究其持续学习行为。在这项工作中，我们为CIL开发了一个伪造的双蒸馏变压器，称为$ \ textrm {d}^3 \ textrm {前} $。提出的模型利用混合嵌套的VIT设计，以确保数据效率和可扩展性对小数据集和大数据集。与最近的基于VIT的CIL方法相反，我们的$ \ textrm {d}^3 \ textrm {前} $在学习新任务并仍然适用于大量增量任务时不会动态扩展其体系结构。 $ \ textrm {d}^3 \ textrm {oft} $的CIL行为的改善归功于VIT设计的两个基本变化。首先，我们将增量学习视为一个长尾分类问题，其中大多数新课程的大多数样本都超过了可用于旧课程的有限范例。为了避免对少数族裔的偏见，我们建议动态调整逻辑，以强调保留与旧任务相关的表示形式。其次，我们建议在学习跨任务进行时保留空间注意图的配置。这有助于减少灾难性遗忘，通过限制模型以将注意力保留到最歧视区域上。 $ \ textrm {d}^3 \ textrm {以前} $在CIFAR-100，MNIST，SVHN和Imagenet数据集的增量版本上获得了有利的结果。

持续学习旨在快速，不断地从一系列任务中学习当前的任务。与其他类型的方法相比，基于经验重播的方法表现出了极大的优势来克服灾难性的遗忘。该方法的一个常见局限性是上一个任务和当前任务之间的数据不平衡，这将进一步加剧遗忘。此外，如何在这种情况下有效解决稳定性困境也是一个紧迫的问题。在本文中，我们通过提出一个通过多尺度知识蒸馏和数据扩展（MMKDDA）提出一个名为Meta学习更新的新框架来克服这些挑战。具体而言，我们应用多尺度知识蒸馏来掌握不同特征级别的远程和短期空间关系的演变，以减轻数据不平衡问题。此外，我们的方法在在线持续训练程序中混合了来自情节记忆和当前任务的样品，从而减轻了由于概率分布的变化而减轻了侧面影响。此外，我们通过元学习更新来优化我们的模型，该更新诉诸于前面所看到的任务数量，这有助于保持稳定性和可塑性之间的更好平衡。最后，我们对四个基准数据集的实验评估显示了提出的MMKDDA框架对其他流行基线的有效性，并且还进行了消融研究，以进一步分析每个组件在我们的框架中的作用。

Lifelong learning has attracted much attention, but existing works still struggle to fight catastrophic forgetting and accumulate knowledge over long stretches of incremental learning. In this work, we propose PODNet, a model inspired by representation learning. By carefully balancing the compromise between remembering the old classes and learning new ones, PODNet fights catastrophic forgetting, even over very long runs of small incremental tasks -a setting so far unexplored by current works. PODNet innovates on existing art with an efficient spatialbased distillation-loss applied throughout the model and a representation comprising multiple proxy vectors for each class. We validate those innovations thoroughly, comparing PODNet with three state-of-the-art models on three datasets: CIFAR100, ImageNet100, and ImageNet1000. Our results showcase a significant advantage of PODNet over existing art, with accuracy gains of 12.10, 6.51, and 2.85 percentage points, respectively. 5

深度学习模型在逐步学习新任务时遭受灾难性遗忘。已经提出了增量学习，以保留旧课程的知识，同时学习识别新课程。一种典型的方法是使用一些示例来避免忘记旧知识。在这种情况下，旧类和新课之间的数据失衡是导致模型性能下降的关键问题。由于数据不平衡，已经设计了几种策略来纠正新类别的偏见。但是，他们在很大程度上依赖于新旧阶层之间偏见关系的假设。因此，它们不适合复杂的现实世界应用。在这项研究中，我们提出了一种假设不足的方法，即多粒性重新平衡（MGRB），以解决此问题。重新平衡方法用于减轻数据不平衡的影响；但是，我们从经验上发现，他们将拟合新的课程。为此，我们进一步设计了一个新颖的多晶正式化项，该项使模型还可以考虑除了重新平衡数据之外的类别的相关性。类层次结构首先是通过将语义或视觉上类似类分组来构建的。然后，多粒性正则化将单热标签向量转换为连续的标签分布，这反映了基于构造的类层次结构的目标类别和其他类之间的关系。因此，该模型可以学习类间的关系信息，这有助于增强新旧课程的学习。公共数据集和现实世界中的故障诊断数据集的实验结果验证了所提出的方法的有效性。

Despite significant advances, the performance of state-of-the-art continual learning approaches hinges on the unrealistic scenario of fully labeled data. In this paper, we tackle this challenge and propose an approach for continual semi-supervised learning -- a setting where not all the data samples are labeled. An underlying issue in this scenario is the model forgetting representations of unlabeled data and overfitting the labeled ones. We leverage the power of nearest-neighbor classifiers to non-linearly partition the feature space and learn a strong representation for the current task, as well as distill relevant information from previous tasks. We perform a thorough experimental evaluation and show that our method outperforms all the existing approaches by large margins, setting a strong state of the art on the continual semi-supervised learning paradigm. For example, on CIFAR100 we surpass several others even when using at least 30 times less supervision (0.8% vs. 25% of annotations).

持续学习旨在通过以在线学习方式利用过去获得的知识，同时能够在所有以前的任务上表现良好，从而学习一系列任务，这对人工智能（AI）系统至关重要，因此持续学习与传统学习模式相比，更适合大多数现实和复杂的应用方案。但是，当前的模型通常在每个任务上的类标签上学习一个通用表示基础，并选择有效的策略来避免灾难性的遗忘。我们假设，仅从获得的知识中选择相关且有用的零件比利用整个知识更有效。基于这一事实，在本文中，我们提出了一个新框架，名为“选择相关的在线持续学习知识（SRKOCL），该框架结合了一种额外的有效频道注意机制，以选择每个任务的特定相关知识。我们的模型还结合了经验重播和知识蒸馏，以避免灾难性的遗忘。最后，在不同的基准上进行了广泛的实验，竞争性实验结果表明，我们提出的SRKOCL是针对最先进的承诺方法。

General Continual Learning (GCL) aims at learning from non independent and identically distributed stream data without catastrophic forgetting of the old tasks that don't rely on task boundaries during both training and testing stages. We reveal that the relation and feature deviations are crucial problems for catastrophic forgetting, in which relation deviation refers to the deficiency of the relationship among all classes in knowledge distillation, and feature deviation refers to indiscriminative feature representations. To this end, we propose a Complementary Calibration (CoCa) framework by mining the complementary model's outputs and features to alleviate the two deviations in the process of GCL. Specifically, we propose a new collaborative distillation approach for addressing the relation deviation. It distills model's outputs by utilizing ensemble dark knowledge of new model's outputs and reserved outputs, which maintains the performance of old tasks as well as balancing the relationship among all classes. Furthermore, we explore a collaborative self-supervision idea to leverage pretext tasks and supervised contrastive learning for addressing the feature deviation problem by learning complete and discriminative features for all classes. Extensive experiments on four popular datasets show that our CoCa framework achieves superior performance against state-of-the-art methods. Code is available at https://github.com/lijincm/CoCa.

最近的自我监督学习方法能够学习高质量的图像表示，并通过监督方法关闭差距。但是，这些方法无法逐步获取新的知识 - 事实上，它们实际上主要仅用为具有IID数据的预训练阶段。在这项工作中，我们在没有额外的记忆或重放的情况下调查持续学习制度的自我监督方法。为防止忘记以前的知识，我们提出了功能正规化的使用。我们将表明，朴素的功能正则化，也称为特征蒸馏，导致可塑性的低可塑性，因此严重限制了连续的学习性能。为了解决这个问题，我们提出了预测的功能正则化，其中一个单独的投影网络确保新学习的特征空间保留了先前的特征空间的信息，同时允许学习新功能。这使我们可以防止在保持学习者的可塑性时忘记。针对应用于自我监督的其他增量学习方法的评估表明我们的方法在不同场景和多个数据集中获得竞争性能。

我们考虑了类增量学习（CIL）问题，其中学习代理人通过逐步到达的培训数据批次不断学习新课程，并旨在在迄今为止所学的所有课程中很好地预测。问题的主要挑战是灾难性的遗忘，对于基于典范的示例性记忆方法，通常众所周知，遗忘通常是由于分类评分偏差引起的，该分类得分偏差是由于新类和新类之间的数据失衡而注射的旧课（在示例记忆中）。尽管已经提出了几种方法来通过一些其他后处理（例如，得分重新缩放或平衡的微调）来纠正这种分数偏见，但没有对这种偏见的根本原因进行系统分析。为此，我们分析了通过组合所有旧类和新类的输出得分来计算SoftMax概率的主要原因。然后，我们提出了一种新方法，称为分离的软磁性学习（SS-IL），该方法由分离的SoftMax（SS）输出层组成，结合了任务知识蒸馏（TKD）来解决此类偏见。在几个大规模CIL基准数据集的广泛实验结果中，我们通过在没有任何其他后处理的情况下获得更加平衡的预测分数来表明我们的SS-IL实现了强大的最新准确性。

在不忘记以前的任务的情况下不断获得新知识的能力仍然是计算机视觉系统的具有挑战性问题。标准的持续学习基准专注于在离线设置中从静态IID图像学习。在这里，我们研究了一个更具挑战性和现实的在线持续学习问题，称为在线流学习。像人类一样，一些AI代理必须从连续的不重复数据流逐步学习。我们提出了一种新颖的模型，假设驱动的增强存储器网络（HAMN），其有效地使用“假设”的增强内存矩阵来巩固先前的知识，并重播重建的图像特征以避免灾难性的遗忘。与像素级和生成的重播方法相比，Hamn的优点是两倍。首先，基于假设的知识合并避免了图像像素空间中的冗余信息，并使内存使用更有效。其次，增强记忆中的假设可以重新用于学习新任务，提高泛化和转移学习能力。鉴于视频流缺乏在线增量类学习数据集，我们介绍并调整两个额外的视频数据集，Toybox和Ilab，用于在线流学习。我们还在Core50和在线CIFAR100数据集上评估我们的方法。我们的方法显着优于所有最先进的方法，同时提供更有效的内存使用情况。所有源代码和数据都在https://github.com/kreimanlab/augmem公开使用

Continual Learning (CL) is a field dedicated to devise algorithms able to achieve lifelong learning. Overcoming the knowledge disruption of previously acquired concepts, a drawback affecting deep learning models and that goes by the name of catastrophic forgetting, is a hard challenge. Currently, deep learning methods can attain impressive results when the data modeled does not undergo a considerable distributional shift in subsequent learning sessions, but whenever we expose such systems to this incremental setting, performance drop very quickly. Overcoming this limitation is fundamental as it would allow us to build truly intelligent systems showing stability and plasticity. Secondly, it would allow us to overcome the onerous limitation of retraining these architectures from scratch with the new updated data. In this thesis, we tackle the problem from multiple directions. In a first study, we show that in rehearsal-based techniques (systems that use memory buffer), the quantity of data stored in the rehearsal buffer is a more important factor over the quality of the data. Secondly, we propose one of the early works of incremental learning on ViTs architectures, comparing functional, weight and attention regularization approaches and propose effective novel a novel asymmetric loss. At the end we conclude with a study on pretraining and how it affects the performance in Continual Learning, raising some questions about the effective progression of the field. We then conclude with some future directions and closing remarks.

这项工作调查了持续学习（CL）与转移学习（TL）之间的纠缠。特别是，我们阐明了网络预训练的广泛应用，强调它本身受到灾难性遗忘的影响。不幸的是，这个问题导致在以后任务期间知识转移的解释不足。在此基础上，我们提出了转移而不忘记（TWF），这是在固定的经过预定的兄弟姐妹网络上建立的混合方法，该方法不断传播源域中固有的知识，通过层次损失项。我们的实验表明，TWF在各种设置上稳步优于其他CL方法，在各种数据集和不同的缓冲尺寸上，平均每种类型的精度增长了4.81％。

在这个不断变化的世界中，必须不断学习新概念的能力。但是，深层神经网络在学习新类别时会遭受灾难性的遗忘。已经提出了许多减轻这种现象的作品，而其中大多数要么属于稳定性困境，要么陷入了过多的计算或储存开销。受到梯度增强算法的启发，以逐渐适应目标模型和上一个合奏模型之间的残差，我们提出了一种新颖的两阶段学习范式寄养物，使该模型能够适应新的类别。具体而言，我们首先动态扩展新模块，以适合原始模型的目标和输出之间的残差。接下来，我们通过有效的蒸馏策略删除冗余参数和特征尺寸，以维护单个骨干模型。我们在不同的设置下验证CIFAR-100和Imagenet-100/1000的方法寄养。实验结果表明，我们的方法实现了最先进的性能。代码可在以下网址获得：https：//github.com/g-u-n/eccv22-foster。

Conventionally, deep neural networks are trained offline, relying on a large dataset prepared in advance. This paradigm is often challenged in real-world applications, e.g. online services that involve continuous streams of incoming data. Recently, incremental learning receives increasing attention, and is considered as a promising solution to the practical challenges mentioned above. However, it has been observed that incremental learning is subject to a fundamental difficulty -catastrophic forgetting, namely adapting a model to new data often results in severe performance degradation on previous tasks or classes. Our study reveals that the imbalance between previous and new data is a crucial cause to this problem. In this work, we develop a new framework for incrementally learning a unified classifier, i.e. a classifier that treats both old and new classes uniformly. Specifically, we incorporate three components, cosine normalization, less-forget constraint, and inter-class separation, to mitigate the adverse effects of the imbalance. Experiments show that the proposed method can effectively rebalance the training process, thus obtaining superior performance compared to the existing methods. On CIFAR-100 and ImageNet, our method can reduce the classification errors by more than 6% and 13% respectively, under the incremental setting of 10 phases.

深层神经网络由于灾难性忘记了以前学习的任务而难以不断学习多个顺序任务。基于排练的方法将以前的任务样本明确存储在缓冲区中，并将其与当前的任务样本交​​织在一起，这被证明是缓解遗忘的最有效的方法。但是，由于其性能与缓冲区的大小相称，因此在低缓冲机制和更长的任务序列下，经验重播（ER）表现不佳。软目标预测的一致性可以帮助ER保存与先前任务有关的信息，因为软目标捕获了数据的丰富相似性结构。因此，我们研究了在各种持续学习方案下，一致性正则化在ER框架中的作用。我们还建议将一致性正规化作为一个自制的借口任务，从而使使用各种自我监督的学习方法作为正规化者。同时增强了对自然腐败的模型校准和鲁棒性，但规范预测的一致性会导致在所有持续学习场景中遗忘。在不同的正规化家族中，我们发现更严格的一致性约束可以更好地保留先前的任务信息。

对于人工学习系统，随着时间的流逝，从数据流进行持续学习至关重要。对监督持续学习的新兴研究取得了长足的进步，而无监督学习中灾难性遗忘的研究仍然是空白的。在无监督的学习方法中，自居民学习方法在视觉表示上显示出巨大的潜力，而无需大规模标记的数据。为了改善自我监督学习的视觉表示，需要更大和更多的数据。在现实世界中，始终生成未标记的数据。这种情况为学习自我监督方法提供了巨大的优势。但是，在当前的范式中，将先前的数据和当前数据包装在一起并再次培训是浪费时间和资源。因此，迫切需要一种持续的自我监督学习方法。在本文中，我们首次尝试通过提出彩排方法来实现连续的对比自我监督学习，从而使以前的数据保持了一些典范。我们通过模仿旧网络通过一组保存的示例，通过模仿旧网络推断出的相似性分数分布，而不是将保存的示例与当前数据集结合到当前的培训数据集，而是利用自我监督的知识蒸馏将对比度信息传输到当前网络。此外，我们建立一个额外的样本队列，以帮助网络区分以前的数据和当前数据并在学习自己的功能表示时防止相互干扰。实验结果表明，我们的方法在CIFAR100和Imagenet-Sub上的性能很好。与基线的学习任务无需采用任何技术，我们将图像分类在CIFAR100上提高了1.60％，Imagenet-Sub上的2.86％，在10个增量步骤设置下对Imagenet-Full进行1.29％。

The dynamic expansion architecture is becoming popular in class incremental learning, mainly due to its advantages in alleviating catastrophic forgetting. However, task confusion is not well assessed within this framework, e.g., the discrepancy between classes of different tasks is not well learned (i.e., inter-task confusion, ITC), and certain priority is still given to the latest class batch (i.e., old-new confusion, ONC). We empirically validate the side effects of the two types of confusion. Meanwhile, a novel solution called Task Correlated Incremental Learning (TCIL) is proposed to encourage discriminative and fair feature utilization across tasks. TCIL performs a multi-level knowledge distillation to propagate knowledge learned from old tasks to the new one. It establishes information flow paths at both feature and logit levels, enabling the learning to be aware of old classes. Besides, attention mechanism and classifier re-scoring are applied to generate more fair classification scores. We conduct extensive experiments on CIFAR100 and ImageNet100 datasets. The results demonstrate that TCIL consistently achieves state-of-the-art accuracy. It mitigates both ITC and ONC, while showing advantages in battle with catastrophic forgetting even no rehearsal memory is reserved.