持续学习依次解决学习不同任务的设置。尽管以前的许多解决方案，但大多数仍然遭受重大忘记或昂贵的记忆成本。在这项工作中，针对这些问题，我们首先通过信息理论的镜头来研究持续学习过程，并观察到在学习时从前一个任务中的参数丢失的遗忘。新任务。从这个角度来看，我们提出了一种名为位级信息保留（BLIP）的新的连续学习方法，其通过更新位电平的参数来保留模型参数的信息增益，这可以用参数量化方便地实现。更具体地，BLIP首先列举具有对新输入任务的权重量化的神经网络，然后估计由任务数据提供的每个参数上的信息增益，以确定要冻结的比特以防止遗忘。我们进行广泛的实验，从分类任务到加强学习任务，结果表明，我们的方法更好地生成了与以前最先进的结果相比的结果。实际上，昙花一现接近零忘记，同时只需要在连续学习中需要恒定的记忆开销。

The ability to learn tasks in a sequential fashion is crucial to the development of artificial intelligence. Neural networks are not, in general, capable of this and it has been widely thought that catastrophic forgetting is an inevitable feature of connectionist models. We show that it is possible to overcome this limitation and train networks that can maintain expertise on tasks which they have not experienced for a long time. Our approach remembers old tasks by selectively slowing down learning on the weights important for those tasks. We demonstrate our approach is scalable and effective by solving a set of classification tasks based on the MNIST hand written digit dataset and by learning several Atari 2600 games sequentially.

持续学习旨在从动态数据分布中学习一系列任务。如果不访问旧培训样本，难以确定的旧任务从旧任务转移，这可能是正面或负面的。如果旧知识干扰了新任务的学习，即，前瞻性知识转移是消极的，那么精确地记住旧任务将进一步加剧干扰，从而降低持续学习的性能。相比之下，通过调节学习触发的突触膨胀和突触收敛，生物神经网络可以积极忘记与新经验的学习冲突的旧知识。灵感来自于生物积极的遗忘，我们建议积极忘记限制新任务的学习以努力学习的旧知识。在贝叶斯持续学习的框架下，我们开发了一种名为积极遗忘的新方法，突触扩张 - 收敛（AFEC）。我们的方法动态扩展参数以了解每项新任务，然后选择性地结合它们，这与生物积极遗忘的底层机制正式一致。我们广泛地评估AFEC在各种持续的学习基准上，包括CIFAR-10回归任务，可视化分类任务和Atari加强任务，其中Afec有效提高了新任务的学习，并在插头中实现了最先进的性能 - 游戏方式。

We introduce a conceptually simple and scalable framework for continual learning domains where tasks are learned sequentially. Our method is constant in the number of parameters and is designed to preserve performance on previously encountered tasks while accelerating learning progress on subsequent problems. This is achieved by training a network with two components: A knowledge base, capable of solving previously encountered problems, which is connected to an active column that is employed to efficiently learn the current task. After learning a new task, the active column is distilled into the knowledge base, taking care to protect any previously acquired skills. This cycle of active learning (progression) followed by consolidation (compression) requires no architecture growth, no access to or storing of previous data or tasks, and no task-specific parameters. We demonstrate the progress & compress approach on sequential classification of handwritten alphabets as well as two reinforcement learning domains: Atari games and 3D maze navigation.

增量任务学习（ITL）是一个持续学习的类别，试图培训单个网络以进行多个任务（一个接一个），其中每个任务的培训数据仅在培训该任务期间可用。当神经网络接受较新的任务培训时，往往会忘记旧任务。该特性通常被称为灾难性遗忘。为了解决此问题，ITL方法使用情节内存，参数正则化，掩盖和修剪或可扩展的网络结构。在本文中，我们提出了一个基于低级别分解的新的增量任务学习框架。特别是，我们表示每一层的网络权重作为几个等级1矩阵的线性组合。为了更新新任务的网络，我们学习一个排名1（或低级别）矩阵，并将其添加到每一层的权重。我们还引入了一个其他选择器向量，该向量将不同的权重分配给对先前任务的低级矩阵。我们表明，就准确性和遗忘而言，我们的方法的表现比当前的最新方法更好。与基于情节的内存和基于面具的方法相比，我们的方法还提供了更好的内存效率。我们的代码将在https://github.com/csiplab/task-increment-rank-update.git上找到。

由于其非参数化干扰和灾难性遗忘的非参数化能力，核心连续学习\ Cite {derakhshani2021kernel}最近被成为一个强大的持续学习者。不幸的是，它的成功是以牺牲一个明确的内存为代价来存储来自过去任务的样本，这妨碍了具有大量任务的连续学习设置的可扩展性。在本文中，我们介绍了生成的内核持续学习，探讨了生成模型与内核之间的协同作用以进行持续学习。生成模型能够生产用于内核学习的代表性样本，其消除了在内核持续学习中对内存的依赖性。此外，由于我们仅在生成模型上重播，我们避免了与在整个模型上需要重播的先前的方法相比，在计算上更有效的情况下避免任务干扰。我们进一步引入了监督的对比正规化，使我们的模型能够为更好的基于内核的分类性能产生更具辨别性样本。我们对三种广泛使用的连续学习基准进行了广泛的实验，展示了我们贡献的能力和益处。最值得注意的是，在具有挑战性的SplitCifar100基准测试中，只需一个简单的线性内核，我们获得了与内核连续学习的相同的准确性，对于内存的十分之一，或者对于相同的内存预算的10.1％的精度增益。

Lack of performance when it comes to continual learning over non-stationary distributions of data remains a major challenge in scaling neural network learning to more human realistic settings. In this work we propose a new conceptualization of the continual learning problem in terms of a temporally symmetric trade-off between transfer and interference that can be optimized by enforcing gradient alignment across examples. We then propose a new algorithm, Meta-Experience Replay (MER), that directly exploits this view by combining experience replay with optimization based meta-learning. This method learns parameters that make interference based on future gradients less likely and transfer based on future gradients more likely. 1 We conduct experiments across continual lifelong supervised learning benchmarks and non-stationary reinforcement learning environments demonstrating that our approach consistently outperforms recently proposed baselines for continual learning. Our experiments show that the gap between the performance of MER and baseline algorithms grows both as the environment gets more non-stationary and as the fraction of the total experiences stored gets smaller.

Artificial neural networks thrive in solving the classification problem for a particular rigid task, acquiring knowledge through generalized learning behaviour from a distinct training phase. The resulting network resembles a static entity of knowledge, with endeavours to extend this knowledge without targeting the original task resulting in a catastrophic forgetting. Continual learning shifts this paradigm towards networks that can continually accumulate knowledge over different tasks without the need to retrain from scratch. We focus on task incremental classification, where tasks arrive sequentially and are delineated by clear boundaries. Our main contributions concern (1) a taxonomy and extensive overview of the state-of-the-art; (2) a novel framework to continually determine the stability-plasticity trade-off of the continual learner; (3) a comprehensive experimental comparison of 11 state-of-the-art continual learning methods and 4 baselines. We empirically scrutinize method strengths and weaknesses on three benchmarks, considering Tiny Imagenet and large-scale unbalanced iNaturalist and a sequence of recognition datasets. We study the influence of model capacity, weight decay and dropout regularization, and the order in which the tasks are presented, and qualitatively compare methods in terms of required memory, computation time and storage.

持续学习背后的主流范例一直在使模型参数调整到非静止数据分布，灾难性遗忘是中央挑战。典型方法在测试时间依赖排练缓冲区或已知的任务标识，以检索学到的知识和地址遗忘，而这项工作呈现了一个新的范例，用于持续学习，旨在训练更加简洁的内存系统而不在测试时间访问任务标识。我们的方法学会动态提示（L2P）预先训练的模型，以在不同的任务转换下顺序地学习任务。在我们提出的框架中，提示是小型可学习参数，这些参数在内存空间中保持。目标是优化提示，以指示模型预测并明确地管理任务不变和任务特定知识，同时保持模型可塑性。我们在流行的图像分类基准下进行全面的实验，具有不同挑战的持续学习环境，其中L2P始终如一地优于现有最先进的方法。令人惊讶的是，即使没有排练缓冲区，L2P即使没有排练缓冲，L2P也能实现竞争力的结果，并直接适用于具有挑战性的任务不可行的持续学习。源代码在https://github.com/google-Research/l2p中获得。

A growing body of research in continual learning focuses on the catastrophic forgetting problem. While many attempts have been made to alleviate this problem, the majority of the methods assume a single model in the continual learning setup. In this work, we question this assumption and show that employing ensemble models can be a simple yet effective method to improve continual performance. However, ensembles' training and inference costs can increase significantly as the number of models grows. Motivated by this limitation, we study different ensemble models to understand their benefits and drawbacks in continual learning scenarios. Finally, to overcome the high compute cost of ensembles, we leverage recent advances in neural network subspace to propose a computationally cheap algorithm with similar runtime to a single model yet enjoying the performance benefits of ensembles.

持续学习旨在快速，不断地从一系列任务中学习当前的任务。与其他类型的方法相比，基于经验重播的方法表现出了极大的优势来克服灾难性的遗忘。该方法的一个常见局限性是上一个任务和当前任务之间的数据不平衡，这将进一步加剧遗忘。此外，如何在这种情况下有效解决稳定性困境也是一个紧迫的问题。在本文中，我们通过提出一个通过多尺度知识蒸馏和数据扩展（MMKDDA）提出一个名为Meta学习更新的新框架来克服这些挑战。具体而言，我们应用多尺度知识蒸馏来掌握不同特征级别的远程和短期空间关系的演变，以减轻数据不平衡问题。此外，我们的方法在在线持续训练程序中混合了来自情节记忆和当前任务的样品，从而减轻了由于概率分布的变化而减轻了侧面影响。此外，我们通过元学习更新来优化我们的模型，该更新诉诸于前面所看到的任务数量，这有助于保持稳定性和可塑性之间的更好平衡。最后，我们对四个基准数据集的实验评估显示了提出的MMKDDA框架对其他流行基线的有效性，并且还进行了消融研究，以进一步分析每个组件在我们的框架中的作用。

在持续学习中使用神经网络中的任务特定组件（CL）是一种令人信服的策略，可以解决固定容量模型中稳定性 - 塑性困境，而无需访问过去的数据。当前方法仅着重于选择一个新任务的子网络，以减少忘记过去任务。但是，这种选择可能会限制有助于将来学习的相关过去知识的前瞻性转移。我们的研究表明，当统一的分类器用于所有类别的任务课程学习（class-il）时，共同满足这两个目标是更具挑战性的，因为这很容易跨越任务之间的类之间的歧义。此外，当跨任务的课程相似性增加时，挑战就会增加。为了应对这一挑战，我们提出了一种名为AFAF的新CL方法，旨在避免忘记并允许使用Fix-apainality模型在IL类中向前转移。 AFAF分配了一个子网络，该子网络可以选择性地转移相关知识到新任务，同时保留过去的知识，重复一些先前分配的组件以利用固定容量，并在存在相似之处时解决类型。该实验表明，AFAF在为模型提供多种CL所需属性方面的有效性，同时在具有不同语义相似性的各种具有挑战性的基准上优于最先进的方法。

持续学习旨在使单个模型能够学习一系列任务，而不会造成灾难性的遗忘。表现最好的方法通常需要排练缓冲区来存储过去的原始示例以进行经验重播，但是，由于隐私和内存约束，这会限制其实际价值。在这项工作中，我们提出了一个简单而有效的框架，即DualPrompt，该框架学习了一组称为提示的参数，以正确指示预先训练的模型，以依次学习到达的任务，而不会缓冲过去的示例。 DualPrompt提出了一种新颖的方法，可以将互补提示附加到预训练的主链上，然后将目标提出为学习任务不变和特定于任务的“指令”。通过广泛的实验验证，双启示始终在具有挑战性的课堂开发环境下始终设置最先进的表现。尤其是，双启示的表现优于最近的高级持续学习方法，其缓冲尺寸相对较大。我们还引入了一个更具挑战性的基准Split Imagenet-R，以帮助概括无连续的持续学习研究。源代码可在https://github.com/google-research/l2p上找到。

持续学习（CL）旨在制定模仿人类能力顺序学习新任务的能力，同时能够保留从过去经验获得的知识。在本文中，我们介绍了内存约束在线连续学习（MC-OCL）的新问题，这对存储器开销对可能算法可以用于避免灾难性遗忘的记忆开销。最多，如果不是全部，之前的CL方法违反了这些约束，我们向MC-OCL提出了一种算法解决方案：批量蒸馏（BLD），基于正则化的CL方法，有效地平衡了稳定性和可塑性，以便学习数据流，同时保留通过蒸馏解决旧任务的能力。我们在三个公开的基准测试中进行了广泛的实验评估，经验证明我们的方法成功地解决了MC-OCL问题，并实现了需要更高内存开销的先前蒸馏方法的可比准确性。

当在具有不同分布的数据集上不断学习时，神经网络往往会忘记以前学习的知识，这一现象被称为灾难性遗忘。数据集之间的分配更改会导致更多的遗忘。最近，基于参数 - 隔离的方法在克服遗忘时具有巨大的潜力。但是，当他们在培训过程中修复每个数据集的神经路径时，他们的概括不佳，并且在推断过程中需要数据集标签。此外，他们不支持向后的知识转移，因为它们优先于过去的数据。在本文中，我们提出了一种名为ADAPTCL的新的自适应学习方法，该方法完全重复使用并在学习的参数上生长，以克服灾难性的遗忘，并允许在不需要数据集标签的情况下进行积极的向后传输。我们提出的技术通过允许最佳的冷冻参数重复使用在相同的神经路径上生长。此外，它使用参数级数据驱动的修剪来为数据分配同等优先级。我们对MNIST变体，域和食物新鲜度检测数据集进行了广泛的实验，而无需数据集标签。结果表明，我们所提出的方法优于替代基线，可以最大程度地减少遗忘和实现积极的向后知识转移。

持续学习旨在通过以在线学习方式利用过去获得的知识，同时能够在所有以前的任务上表现良好，从而学习一系列任务，这对人工智能（AI）系统至关重要，因此持续学习与传统学习模式相比，更适合大多数现实和复杂的应用方案。但是，当前的模型通常在每个任务上的类标签上学习一个通用表示基础，并选择有效的策略来避免灾难性的遗忘。我们假设，仅从获得的知识中选择相关且有用的零件比利用整个知识更有效。基于这一事实，在本文中，我们提出了一个新框架，名为“选择相关的在线持续学习知识（SRKOCL），该框架结合了一种额外的有效频道注意机制，以选择每个任务的特定相关知识。我们的模型还结合了经验重播和知识蒸馏，以避免灾难性的遗忘。最后，在不同的基准上进行了广泛的实验，竞争性实验结果表明，我们提出的SRKOCL是针对最先进的承诺方法。

随着智能代理在更长的时间内变得自主，他们最终可能会成为特定人的终身对应者。如果是这样，用户可能希望代理商暂时掌握任务，但后来由于隐私问题而忘记了任务。但是，使代理到\ emph {忘记}用户在不降低其余知识的情况下指定的内容是一个具有挑战性的问题。为了应对这一挑战，本文正式将这种持续学习和私人学习（CLPU）问题形式化。该论文进一步引入了一个直接但完全私有的解决方案Clpu-der ++，作为解决CLPU问题的第一步，以及一组精心设计的基准问题，以评估所提出的解决方案的有效性。该代码可在https://github.com/cranial-xix/continual-learning-private-unlearning上找到。

人类在整个生命周期中不断学习，通过积累多样化的知识并为未来的任务进行微调。当出现类似目标时，神经网络会遭受灾难性忘记，在学习过程中跨顺序任务跨好任务的数据分布是否不固定。解决此类持续学习（CL）问题的有效方法是使用超网络为目标网络生成任务依赖权重。但是，现有基于超网的方法的持续学习性能受到整个层之间权重的独立性的假设，以维持参数效率。为了解决这一限制，我们提出了一种新颖的方法，该方法使用依赖关系保留超网络来为目标网络生成权重，同时还保持参数效率。我们建议使用基于复发的神经网络（RNN）的超网络，该网络可以有效地生成层权重，同时允许在它们的依赖关系中。此外，我们为基于RNN的超网络提出了新颖的正则化和网络增长技术，以进一步提高持续的学习绩效。为了证明所提出的方法的有效性，我们对几个图像分类持续学习任务和设置进行了实验。我们发现，基于RNN HyperNetworks的建议方法在所有这些CL设置和任务中都优于基准。

A continual learning agent learns online with a non-stationary and never-ending stream of data. The key to such learning process is to overcome the catastrophic forgetting of previously seen data, which is a well known problem of neural networks. To prevent forgetting, a replay buffer is usually employed to store the previous data for the purpose of rehearsal. Previous works often depend on task boundary and i.i.d. assumptions to properly select samples for the replay buffer. In this work, we formulate sample selection as a constraint reduction problem based on the constrained optimization view of continual learning. The goal is to select a fixed subset of constraints that best approximate the feasible region defined by the original constraints. We show that it is equivalent to maximizing the diversity of samples in the replay buffer with parameters gradient as the feature. We further develop a greedy alternative that is cheap and efficient. The advantage of the proposed method is demonstrated by comparing to other alternatives under the continual learning setting. Further comparisons are made against state of the art methods that rely on task boundaries which show comparable or even better results for our method.

深度神经网络的强大学习能力使强化学习者能够直接从连续环境中学习有效的控制政策。从理论上讲，为了实现稳定的性能，神经网络假设I.I.D.不幸的是，在训练数据在时间上相关且非平稳的一般强化学习范式中，输入不存在。这个问题可能导致“灾难性干扰”和性能崩溃的现象。在本文中，我们提出智商，即干涉意识深度Q学习，以减轻单任务深度加固学习中的灾难性干扰。具体来说，我们求助于在线聚类，以实现在线上下文部门，以及一个多头网络和一个知识蒸馏正规化术语，用于保留学习上下文的政策。与现有方法相比，智商基于深Q网络，始终如一地提高稳定性和性能，并通过对经典控制和ATARI任务进行了广泛的实验。该代码可在以下网址公开获取：https：//github.com/sweety-dm/interference-aware-ware-deep-q-learning。