神经网络（NNS）的能力在顺序地学习和记住多项任务是由于其灾难性遗忘（CF）问题而在实现一般人工智能方面面临艰难的挑战。幸运的是，最新的OWM正交权重修改）和其他几种连续学习（CL）方法表明了一些有希望的克服CF问题的方法。但是，现有的CL方法都没有探讨以下三个关键问题，以便有效地克服CF问题：即，它有助于在其顺序任务学习期间对NN的有效权重修改有所了解？当新学习任务的数据分布与先前学习的任务相对应的更改时，是否应该采用统一/特定的权重修改策略？对于给定的CL方法，可学习任务的上限是什么？ ect。为了实现这一点，在本文中，我们首先揭示了新的学习任务的权重梯度的事实是由新任务的输入空间和先前学习任务的重量空间顺序确定。在这种观察和递归最小二乘法的情况下，我们通过增强型OWM提出了一种新的高效和有效的连续学习方法EOWM。我们理论上和明确地赋予了我们的EOWM的学习任务的上限。在基准测试上进行的广泛实验表明，我们的EOWM是有效性，优于所有最先进的CL基线。

持续学习研究的主要重点领域是通过设计新算法对分布变化更强大的新算法来减轻神经网络中的“灾难性遗忘”问题。尽管持续学习文献的最新进展令人鼓舞，但我们对神经网络的特性有助于灾难性遗忘的理解仍然有限。为了解决这个问题，我们不关注持续的学习算法，而是在这项工作中专注于模型本身，并研究神经网络体系结构对灾难性遗忘的“宽度”的影响，并表明宽度在遗忘遗产方面具有出人意料的显着影响。为了解释这种效果，我们从各个角度研究网络的学习动力学，例如梯度正交性，稀疏性和懒惰的培训制度。我们提供了与不同架构和持续学习基准之间的经验结果一致的潜在解释。

We motivate Energy-Based Models (EBMs) as a promising model class for continual learning problems. Instead of tackling continual learning via the use of external memory, growing models, or regularization, EBMs change the underlying training objective to cause less interference with previously learned information. Our proposed version of EBMs for continual learning is simple, efficient, and outperforms baseline methods by a large margin on several benchmarks. Moreover, our proposed contrastive divergence-based training objective can be combined with other continual learning methods, resulting in substantial boosts in their performance. We further show that EBMs are adaptable to a more general continual learning setting where the data distribution changes without the notion of explicitly delineated tasks. These observations point towards EBMs as a useful building block for future continual learning methods.

增量任务学习（ITL）是一个持续学习的类别，试图培训单个网络以进行多个任务（一个接一个），其中每个任务的培训数据仅在培训该任务期间可用。当神经网络接受较新的任务培训时，往往会忘记旧任务。该特性通常被称为灾难性遗忘。为了解决此问题，ITL方法使用情节内存，参数正则化，掩盖和修剪或可扩展的网络结构。在本文中，我们提出了一个基于低级别分解的新的增量任务学习框架。特别是，我们表示每一层的网络权重作为几个等级1矩阵的线性组合。为了更新新任务的网络，我们学习一个排名1（或低级别）矩阵，并将其添加到每一层的权重。我们还引入了一个其他选择器向量，该向量将不同的权重分配给对先前任务的低级矩阵。我们表明，就准确性和遗忘而言，我们的方法的表现比当前的最新方法更好。与基于情节的内存和基于面具的方法相比，我们的方法还提供了更好的内存效率。我们的代码将在https://github.com/csiplab/task-increment-rank-update.git上找到。

从一系列任务中学习一生对于人为一般情报的代理至关重要。这要求代理商不断学习和记住没有干扰的新知识。本文首先展示了使用神经网络的终身学习的基本问题，命名为Anterograde忘记，即保留和转移记忆可能会抑制新知识的学习。这归因于，由于它不断记住历史知识，因此神经网络的学习能力将减少，并且可能发生概念混淆的事实，因为它转移到当前任务的无关旧知识。这项工作提出了一个名为循环内存网络（CMN）的一般框架，以解决终身学习神经网络中的伪造遗忘。 CMN由两个单独的存储器网络组成，用于存储短期和长期存储器以避免容量收缩。传输单元被设计为连接这两个存储器网络，使得从长期存储器网络的知识转移到短期内存网络以减轻概念混淆，并且开发了存储器整合机制以将短期知识集成到其中知识累积的长期记忆网络。实验结果表明，CMN可以有效地解决了在几个与任务相关的，任务冲突，类增量和跨域基准测试中忘记的伪造遗忘。

我们引入了一个新的培训范式，该范围对神经网络参数空间进行间隔约束以控制遗忘。当代持续学习（CL）方法从一系列数据流有效地培训神经网络，同时减少灾难性遗忘的负面影响，但它们不能提供任何确保的确保网络性能不会随着时间的流逝而无法控制地恶化。在这项工作中，我们展示了如何通过将模型的持续学习作为其参数空间的持续收缩来遗忘。为此，我们提出了Hypertrectangle训练，这是一种新的训练方法，其中每个任务都由参数空间中的超矩形表示，完全包含在先前任务的超矩形中。这种配方将NP-HARD CL问题降低到多项式时间，同时提供了完全防止遗忘的弹性。我们通过开发Intercontinet（间隔持续学习）算法来验证我们的主张，该算法利用间隔算术来有效地将参数区域建模为高矩形。通过实验结果，我们表明我们的方法在不连续的学习设置中表现良好，而无需存储以前的任务中的数据。

A growing body of research in continual learning focuses on the catastrophic forgetting problem. While many attempts have been made to alleviate this problem, the majority of the methods assume a single model in the continual learning setup. In this work, we question this assumption and show that employing ensemble models can be a simple yet effective method to improve continual performance. However, ensembles' training and inference costs can increase significantly as the number of models grows. Motivated by this limitation, we study different ensemble models to understand their benefits and drawbacks in continual learning scenarios. Finally, to overcome the high compute cost of ensembles, we leverage recent advances in neural network subspace to propose a computationally cheap algorithm with similar runtime to a single model yet enjoying the performance benefits of ensembles.

我们提出了一种有效的正则化战略（CW-TALAR），用于解决持续的学习问题。它使用由在由所有任务共享的底层神经网络的目标层上定义的两个概率分布之间的校准术语，该概率分布在由所有任务共享的底层神经网络的目标层，以及用于建模输出数据表示的克拉米 - WOLD发生器的简单架构。我们的策略在学习新任务时保留了目标层分发，但不需要记住以前的任务的数据集。我们执行涉及几个常见监督框架的实验，该框架证明了CW-TALAR方法的竞争力与一些现有的现有最先进的持续学习模型相比。

持续学习是一种学习范式，可以通过资源限制顺序学习任务，其中关键挑战是稳定性的难题，即同时具有稳定性来防止灾难性忘记旧任务和可很好地学习新任务的稳定性是不安的。 。在本文中，我们提出了一种新的持续学习方法，即先进的空空间（ADN），以平衡稳定性和可塑性，而无需存储以前任务的任何旧数据。具体而言，为了获得更好的稳定性，ADN会利用低级近似来获得新的空空间，并将梯度投射到空空间上，以防止干扰过去的任务。为了控制无效空间的产生，我们引入了不均匀的约束强度，以进一步减少遗忘。此外，我们提出了一种简单但有效的方法，即任务内蒸馏，以提高当前任务的性能。最后，从理论上讲，无效空间分别在塑性和稳定性中起关键作用。实验结果表明，与最先进的持续学习方法相比，所提出的方法可以实现更好的性能。

在持续学习中使用神经网络中的任务特定组件（CL）是一种令人信服的策略，可以解决固定容量模型中稳定性 - 塑性困境，而无需访问过去的数据。当前方法仅着重于选择一个新任务的子网络，以减少忘记过去任务。但是，这种选择可能会限制有助于将来学习的相关过去知识的前瞻性转移。我们的研究表明，当统一的分类器用于所有类别的任务课程学习（class-il）时，共同满足这两个目标是更具挑战性的，因为这很容易跨越任务之间的类之间的歧义。此外，当跨任务的课程相似性增加时，挑战就会增加。为了应对这一挑战，我们提出了一种名为AFAF的新CL方法，旨在避免忘记并允许使用Fix-apainality模型在IL类中向前转移。 AFAF分配了一个子网络，该子网络可以选择性地转移相关知识到新任务，同时保留过去的知识，重复一些先前分配的组件以利用固定容量，并在存在相似之处时解决类型。该实验表明，AFAF在为模型提供多种CL所需属性方面的有效性，同时在具有不同语义相似性的各种具有挑战性的基准上优于最先进的方法。

Continual Learning (CL) is a field dedicated to devise algorithms able to achieve lifelong learning. Overcoming the knowledge disruption of previously acquired concepts, a drawback affecting deep learning models and that goes by the name of catastrophic forgetting, is a hard challenge. Currently, deep learning methods can attain impressive results when the data modeled does not undergo a considerable distributional shift in subsequent learning sessions, but whenever we expose such systems to this incremental setting, performance drop very quickly. Overcoming this limitation is fundamental as it would allow us to build truly intelligent systems showing stability and plasticity. Secondly, it would allow us to overcome the onerous limitation of retraining these architectures from scratch with the new updated data. In this thesis, we tackle the problem from multiple directions. In a first study, we show that in rehearsal-based techniques (systems that use memory buffer), the quantity of data stored in the rehearsal buffer is a more important factor over the quality of the data. Secondly, we propose one of the early works of incremental learning on ViTs architectures, comparing functional, weight and attention regularization approaches and propose effective novel a novel asymmetric loss. At the end we conclude with a study on pretraining and how it affects the performance in Continual Learning, raising some questions about the effective progression of the field. We then conclude with some future directions and closing remarks.

由于其非参数化干扰和灾难性遗忘的非参数化能力，核心连续学习\ Cite {derakhshani2021kernel}最近被成为一个强大的持续学习者。不幸的是，它的成功是以牺牲一个明确的内存为代价来存储来自过去任务的样本，这妨碍了具有大量任务的连续学习设置的可扩展性。在本文中，我们介绍了生成的内核持续学习，探讨了生成模型与内核之间的协同作用以进行持续学习。生成模型能够生产用于内核学习的代表性样本，其消除了在内核持续学习中对内存的依赖性。此外，由于我们仅在生成模型上重播，我们避免了与在整个模型上需要重播的先前的方法相比，在计算上更有效的情况下避免任务干扰。我们进一步引入了监督的对比正规化，使我们的模型能够为更好的基于内核的分类性能产生更具辨别性样本。我们对三种广泛使用的连续学习基准进行了广泛的实验，展示了我们贡献的能力和益处。最值得注意的是，在具有挑战性的SplitCifar100基准测试中，只需一个简单的线性内核，我们获得了与内核连续学习的相同的准确性，对于内存的十分之一，或者对于相同的内存预算的10.1％的精度增益。

人类的持续学习（CL）能力与稳定性与可塑性困境密切相关，描述了人类如何实现持续的学习能力和保存的学习信息。自发育以来，CL的概念始终存在于人工智能（AI）中。本文提出了对CL的全面审查。与之前的评论不同，主要关注CL中的灾难性遗忘现象，本文根据稳定性与可塑性机制的宏观视角来调查CL。类似于生物对应物，“智能”AI代理商应该是I）记住以前学到的信息（信息回流）; ii）不断推断新信息（信息浏览:); iii）转移有用的信息（信息转移），以实现高级CL。根据分类学，评估度量，算法，应用以及一些打开问题。我们的主要贡献涉及I）从人工综合情报层面重新检查CL; ii）在CL主题提供详细和广泛的概述; iii）提出一些关于CL潜在发展的新颖思路。

古典机器学习者仅设计用于解决一项任务，而无需采用新的新兴任务或课程，而这种能力在现实世界中更实用和人类。为了解决这种缺点，阐述了持续的机器学习者，以表彰使用域和班级的任务流，不同的任务之间的转变。在本文中，我们提出了一种基于一个基于对比的连续学习方法，其能够处理多个持续学习场景。具体地，我们通过特征传播和对比表示学习来对准当前和先前的表示空间来弥合不同任务之间的域移位。为了进一步减轻特征表示的类别的班次，利用了监督的对比损失以使与不同类别的相同类的示例嵌入。广泛的实验结果表明，与一组尖端连续学习方法相比，六个连续学习基准中提出的方法的出色性能。

人类在整个生命周期中不断学习，通过积累多样化的知识并为未来的任务进行微调。当出现类似目标时，神经网络会遭受灾难性忘记，在学习过程中跨顺序任务跨好任务的数据分布是否不固定。解决此类持续学习（CL）问题的有效方法是使用超网络为目标网络生成任务依赖权重。但是，现有基于超网的方法的持续学习性能受到整个层之间权重的独立性的假设，以维持参数效率。为了解决这一限制，我们提出了一种新颖的方法，该方法使用依赖关系保留超网络来为目标网络生成权重，同时还保持参数效率。我们建议使用基于复发的神经网络（RNN）的超网络，该网络可以有效地生成层权重，同时允许在它们的依赖关系中。此外，我们为基于RNN的超网络提出了新颖的正则化和网络增长技术，以进一步提高持续的学习绩效。为了证明所提出的方法的有效性，我们对几个图像分类持续学习任务和设置进行了实验。我们发现，基于RNN HyperNetworks的建议方法在所有这些CL设置和任务中都优于基准。

持续学习旨在快速，不断地从一系列任务中学习当前的任务。与其他类型的方法相比，基于经验重播的方法表现出了极大的优势来克服灾难性的遗忘。该方法的一个常见局限性是上一个任务和当前任务之间的数据不平衡，这将进一步加剧遗忘。此外，如何在这种情况下有效解决稳定性困境也是一个紧迫的问题。在本文中，我们通过提出一个通过多尺度知识蒸馏和数据扩展（MMKDDA）提出一个名为Meta学习更新的新框架来克服这些挑战。具体而言，我们应用多尺度知识蒸馏来掌握不同特征级别的远程和短期空间关系的演变，以减轻数据不平衡问题。此外，我们的方法在在线持续训练程序中混合了来自情节记忆和当前任务的样品，从而减轻了由于概率分布的变化而减轻了侧面影响。此外，我们通过元学习更新来优化我们的模型，该更新诉诸于前面所看到的任务数量，这有助于保持稳定性和可塑性之间的更好平衡。最后，我们对四个基准数据集的实验评估显示了提出的MMKDDA框架对其他流行基线的有效性，并且还进行了消融研究，以进一步分析每个组件在我们的框架中的作用。

本文研究持续学习（CL）的逐步学习（CIL）。已经提出了许多方法来处理CIL中的灾难性遗忘（CF）。大多数方法都会为单个头网络中所有任务的所有类别构建单个分类器。为了防止CF，一种流行的方法是记住以前任务中的少数样本，并在培训新任务时重播它们。但是，这种方法仍然患有严重的CF，因为在内存中仅使用有限的保存样本数量来更新或调整了先前任务的参数。本文提出了一种完全不同的方法，该方法使用变压器网络为每个任务（称为多头模型）构建一个单独的分类器（头部），称为更多。与其在内存中使用保存的样本在现有方法中更新以前的任务/类的网络，不如利用保存的样本来构建特定任务分类器（添加新的分类头），而无需更新用于先前任务/类的网络。新任务的模型经过培训，可以学习任务的类别，并且还可以检测到不是从相同数据分布（即，均分布（OOD））的样本。这使测试实例属于的任务的分类器能够为正确的类产生高分，而其他任务的分类器可以产生低分，因为测试实例不是来自这些分类器的数据分布。实验结果表明，更多的表现优于最先进的基线，并且自然能够在持续学习环境中进行OOD检测。

持续学习旨在通过以在线学习方式利用过去获得的知识，同时能够在所有以前的任务上表现良好，从而学习一系列任务，这对人工智能（AI）系统至关重要，因此持续学习与传统学习模式相比，更适合大多数现实和复杂的应用方案。但是，当前的模型通常在每个任务上的类标签上学习一个通用表示基础，并选择有效的策略来避免灾难性的遗忘。我们假设，仅从获得的知识中选择相关且有用的零件比利用整个知识更有效。基于这一事实，在本文中，我们提出了一个新框架，名为“选择相关的在线持续学习知识（SRKOCL），该框架结合了一种额外的有效频道注意机制，以选择每个任务的特定相关知识。我们的模型还结合了经验重播和知识蒸馏，以避免灾难性的遗忘。最后，在不同的基准上进行了广泛的实验，竞争性实验结果表明，我们提出的SRKOCL是针对最先进的承诺方法。

随着智能代理在更长的时间内变得自主，他们最终可能会成为特定人的终身对应者。如果是这样，用户可能希望代理商暂时掌握任务，但后来由于隐私问题而忘记了任务。但是，使代理到\ emph {忘记}用户在不降低其余知识的情况下指定的内容是一个具有挑战性的问题。为了应对这一挑战，本文正式将这种持续学习和私人学习（CLPU）问题形式化。该论文进一步引入了一个直接但完全私有的解决方案Clpu-der ++，作为解决CLPU问题的第一步，以及一组精心设计的基准问题，以评估所提出的解决方案的有效性。该代码可在https://github.com/cranial-xix/continual-learning-private-unlearning上找到。

Despite significant advances, the performance of state-of-the-art continual learning approaches hinges on the unrealistic scenario of fully labeled data. In this paper, we tackle this challenge and propose an approach for continual semi-supervised learning -- a setting where not all the data samples are labeled. An underlying issue in this scenario is the model forgetting representations of unlabeled data and overfitting the labeled ones. We leverage the power of nearest-neighbor classifiers to non-linearly partition the feature space and learn a strong representation for the current task, as well as distill relevant information from previous tasks. We perform a thorough experimental evaluation and show that our method outperforms all the existing approaches by large margins, setting a strong state of the art on the continual semi-supervised learning paradigm. For example, on CIFAR100 we surpass several others even when using at least 30 times less supervision (0.8% vs. 25% of annotations).