增量任务学习（ITL）是一个持续学习的类别，试图培训单个网络以进行多个任务（一个接一个），其中每个任务的培训数据仅在培训该任务期间可用。当神经网络接受较新的任务培训时，往往会忘记旧任务。该特性通常被称为灾难性遗忘。为了解决此问题，ITL方法使用情节内存，参数正则化，掩盖和修剪或可扩展的网络结构。在本文中，我们提出了一个基于低级别分解的新的增量任务学习框架。特别是，我们表示每一层的网络权重作为几个等级1矩阵的线性组合。为了更新新任务的网络，我们学习一个排名1（或低级别）矩阵，并将其添加到每一层的权重。我们还引入了一个其他选择器向量，该向量将不同的权重分配给对先前任务的低级矩阵。我们表明，就准确性和遗忘而言，我们的方法的表现比当前的最新方法更好。与基于情节的内存和基于面具的方法相比，我们的方法还提供了更好的内存效率。我们的代码将在https://github.com/csiplab/task-increment-rank-update.git上找到。

持续学习旨在通过以在线学习方式利用过去获得的知识，同时能够在所有以前的任务上表现良好，从而学习一系列任务，这对人工智能（AI）系统至关重要，因此持续学习与传统学习模式相比，更适合大多数现实和复杂的应用方案。但是，当前的模型通常在每个任务上的类标签上学习一个通用表示基础，并选择有效的策略来避免灾难性的遗忘。我们假设，仅从获得的知识中选择相关且有用的零件比利用整个知识更有效。基于这一事实，在本文中，我们提出了一个新框架，名为“选择相关的在线持续学习知识（SRKOCL），该框架结合了一种额外的有效频道注意机制，以选择每个任务的特定相关知识。我们的模型还结合了经验重播和知识蒸馏，以避免灾难性的遗忘。最后，在不同的基准上进行了广泛的实验，竞争性实验结果表明，我们提出的SRKOCL是针对最先进的承诺方法。

人类在整个生命周期中不断学习，通过积累多样化的知识并为未来的任务进行微调。当出现类似目标时，神经网络会遭受灾难性忘记，在学习过程中跨顺序任务跨好任务的数据分布是否不固定。解决此类持续学习（CL）问题的有效方法是使用超网络为目标网络生成任务依赖权重。但是，现有基于超网的方法的持续学习性能受到整个层之间权重的独立性的假设，以维持参数效率。为了解决这一限制，我们提出了一种新颖的方法，该方法使用依赖关系保留超网络来为目标网络生成权重，同时还保持参数效率。我们建议使用基于复发的神经网络（RNN）的超网络，该网络可以有效地生成层权重，同时允许在它们的依赖关系中。此外，我们为基于RNN的超网络提出了新颖的正则化和网络增长技术，以进一步提高持续的学习绩效。为了证明所提出的方法的有效性，我们对几个图像分类持续学习任务和设置进行了实验。我们发现，基于RNN HyperNetworks的建议方法在所有这些CL设置和任务中都优于基准。

持续学习（CL）旨在开发单一模型适应越来越多的任务的技术，从而潜在地利用跨任务的学习以资源有效的方式。 CL系统的主要挑战是灾难性的遗忘，在学习新任务时忘记了早期的任务。为了解决此问题，基于重播的CL方法在遇到遇到任务中选择的小缓冲区中维护和重复培训。我们提出梯度Coreset重放（GCR），一种新颖的重播缓冲区选择和使用仔细设计的优化标准的更新策略。具体而言，我们选择并维护一个“Coreset”，其与迄今为止关于当前模型参数的所有数据的梯度紧密近似，并讨论其有效应用于持续学习设置所需的关键策略。在学习的离线持续学习环境中，我们在最先进的最先进的最先进的持续学习环境中表现出显着的收益（2％-4％）。我们的调查结果还有效地转移到在线/流媒体CL设置，从而显示现有方法的5％。最后，我们展示了持续学习的监督对比损失的价值，当与我们的子集选择策略相结合时，累计增益高达5％。

持续学习旨在快速，不断地从一系列任务中学习当前的任务。与其他类型的方法相比，基于经验重播的方法表现出了极大的优势来克服灾难性的遗忘。该方法的一个常见局限性是上一个任务和当前任务之间的数据不平衡，这将进一步加剧遗忘。此外，如何在这种情况下有效解决稳定性困境也是一个紧迫的问题。在本文中，我们通过提出一个通过多尺度知识蒸馏和数据扩展（MMKDDA）提出一个名为Meta学习更新的新框架来克服这些挑战。具体而言，我们应用多尺度知识蒸馏来掌握不同特征级别的远程和短期空间关系的演变，以减轻数据不平衡问题。此外，我们的方法在在线持续训练程序中混合了来自情节记忆和当前任务的样品，从而减轻了由于概率分布的变化而减轻了侧面影响。此外，我们通过元学习更新来优化我们的模型，该更新诉诸于前面所看到的任务数量，这有助于保持稳定性和可塑性之间的更好平衡。最后，我们对四个基准数据集的实验评估显示了提出的MMKDDA框架对其他流行基线的有效性，并且还进行了消融研究，以进一步分析每个组件在我们的框架中的作用。

持续学习的目标（CL）是随着时间的推移学习不同的任务。与CL相关的主要Desiderata是在旧任务上保持绩效，利用后者来改善未来任务的学习，并在培训过程中引入最小的开销（例如，不需要增长的模型或再培训）。我们建议通过固定密度的稀疏神经网络来解决这些避难所的神经启发性塑性适应（NISPA）体系结构。 NISPA形成了稳定的途径，可以从较旧的任务中保存知识。此外，NISPA使用连接重新设计来创建新的塑料路径，以重用有关新任务的现有知识。我们对EMNIST，FashionMnist，CIFAR10和CIFAR100数据集的广泛评估表明，NISPA的表现明显胜过代表性的最先进的持续学习基线，并且与盆地相比，它的可学习参数最多少了十倍。我们还认为稀疏是持续学习的重要组成部分。 NISPA代码可在https://github.com/burakgurbuz97/nispa上获得。

持续学习研究的主要重点领域是通过设计新算法对分布变化更强大的新算法来减轻神经网络中的“灾难性遗忘”问题。尽管持续学习文献的最新进展令人鼓舞，但我们对神经网络的特性有助于灾难性遗忘的理解仍然有限。为了解决这个问题，我们不关注持续的学习算法，而是在这项工作中专注于模型本身，并研究神经网络体系结构对灾难性遗忘的“宽度”的影响，并表明宽度在遗忘遗产方面具有出人意料的显着影响。为了解释这种效果，我们从各个角度研究网络的学习动力学，例如梯度正交性，稀疏性和懒惰的培训制度。我们提供了与不同架构和持续学习基准之间的经验结果一致的潜在解释。

当随着时间的推移学习任务时，人工神经网络遭受称为灾难性遗忘（CF）的问题。当在训练网络的训练过程中覆盖网络的权重，导致忘记旧信息的新任务时，会发生这种情况。为了解决这个问题，我们提出了META可重复使用的知识或标记，这是一种新的方法，可以在学习新任务时促进重量可重用性而不是覆盖。具体来说，标记在任务之间保留一组共享权重。我们将这些共享权重设定为共同的知识库（KB），不仅用于学习新任务，而且还富有以丰富的新知识，因为模型了解新任务。标记背后的关键组件是两倍。一方面，冶金学习方法提供了逐步丰富KB的关键机制，并在任务之间促进重量可重用性。另一方面，一组培训掩模提供了选择性地从KB相关权重中选择的关键机制来解决每个任务。通过使用Mark，我们实现了最普遍的基准，在几个流行的基准中实现了最新的基准，在20分拆性MiniimAgenet数据集上超过了平均精度的最佳性能方法，同时使用55％的数量来实现几乎零遗忘参数。此外，消融研究提供了证据，实际上，标记正在学习每个任务选择性地使用的可重复使用的知识。

A growing body of research in continual learning focuses on the catastrophic forgetting problem. While many attempts have been made to alleviate this problem, the majority of the methods assume a single model in the continual learning setup. In this work, we question this assumption and show that employing ensemble models can be a simple yet effective method to improve continual performance. However, ensembles' training and inference costs can increase significantly as the number of models grows. Motivated by this limitation, we study different ensemble models to understand their benefits and drawbacks in continual learning scenarios. Finally, to overcome the high compute cost of ensembles, we leverage recent advances in neural network subspace to propose a computationally cheap algorithm with similar runtime to a single model yet enjoying the performance benefits of ensembles.

当代理在终身学习设置中遇到连续的新任务流时，它利用了从早期任务中获得的知识来帮助更好地学习新任务。在这种情况下，确定有效的知识表示成为一个具有挑战性的问题。大多数研究工作都建议将过去任务中的一部分示例存储在重播缓冲区中，将一组参数集成给每个任务，或通过引入正则化项来对参数进行过多的更新。尽管现有方法采用了一般任务无关的随机梯度下降更新规则，但我们提出了一个任务吸引的优化器，可根据任务之间的相关性调整学习率。我们通过累积针对每个任务的梯度来利用参数在更新过程中采取的方向。这些基于任务的累积梯度充当了在整个流中维护和更新的知识库。我们从经验上表明，我们提出的自适应学习率不仅说明了灾难性的遗忘，而且还允许积极的向后转移。我们还表明，在具有大量任务的复杂数据集中，我们的方法比终身学习中的几种最先进的方法更好。

本文研究持续学习（CL）的逐步学习（CIL）。已经提出了许多方法来处理CIL中的灾难性遗忘（CF）。大多数方法都会为单个头网络中所有任务的所有类别构建单个分类器。为了防止CF，一种流行的方法是记住以前任务中的少数样本，并在培训新任务时重播它们。但是，这种方法仍然患有严重的CF，因为在内存中仅使用有限的保存样本数量来更新或调整了先前任务的参数。本文提出了一种完全不同的方法，该方法使用变压器网络为每个任务（称为多头模型）构建一个单独的分类器（头部），称为更多。与其在内存中使用保存的样本在现有方法中更新以前的任务/类的网络，不如利用保存的样本来构建特定任务分类器（添加新的分类头），而无需更新用于先前任务/类的网络。新任务的模型经过培训，可以学习任务的类别，并且还可以检测到不是从相同数据分布（即，均分布（OOD））的样本。这使测试实例属于的任务的分类器能够为正确的类产生高分，而其他任务的分类器可以产生低分，因为测试实例不是来自这些分类器的数据分布。实验结果表明，更多的表现优于最先进的基线，并且自然能够在持续学习环境中进行OOD检测。

当在具有不同分布的数据集上不断学习时，神经网络往往会忘记以前学习的知识，这一现象被称为灾难性遗忘。数据集之间的分配更改会导致更多的遗忘。最近，基于参数 - 隔离的方法在克服遗忘时具有巨大的潜力。但是，当他们在培训过程中修复每个数据集的神经路径时，他们的概括不佳，并且在推断过程中需要数据集标签。此外，他们不支持向后的知识转移，因为它们优先于过去的数据。在本文中，我们提出了一种名为ADAPTCL的新的自适应学习方法，该方法完全重复使用并在学习的参数上生长，以克服灾难性的遗忘，并允许在不需要数据集标签的情况下进行积极的向后传输。我们提出的技术通过允许最佳的冷冻参数重复使用在相同的神经路径上生长。此外，它使用参数级数据驱动的修剪来为数据分配同等优先级。我们对MNIST变体，域和食物新鲜度检测数据集进行了广泛的实验，而无需数据集标签。结果表明，我们所提出的方法优于替代基线，可以最大程度地减少遗忘和实现积极的向后知识转移。

A continual learning agent learns online with a non-stationary and never-ending stream of data. The key to such learning process is to overcome the catastrophic forgetting of previously seen data, which is a well known problem of neural networks. To prevent forgetting, a replay buffer is usually employed to store the previous data for the purpose of rehearsal. Previous works often depend on task boundary and i.i.d. assumptions to properly select samples for the replay buffer. In this work, we formulate sample selection as a constraint reduction problem based on the constrained optimization view of continual learning. The goal is to select a fixed subset of constraints that best approximate the feasible region defined by the original constraints. We show that it is equivalent to maximizing the diversity of samples in the replay buffer with parameters gradient as the feature. We further develop a greedy alternative that is cheap and efficient. The advantage of the proposed method is demonstrated by comparing to other alternatives under the continual learning setting. Further comparisons are made against state of the art methods that rely on task boundaries which show comparable or even better results for our method.

We motivate Energy-Based Models (EBMs) as a promising model class for continual learning problems. Instead of tackling continual learning via the use of external memory, growing models, or regularization, EBMs change the underlying training objective to cause less interference with previously learned information. Our proposed version of EBMs for continual learning is simple, efficient, and outperforms baseline methods by a large margin on several benchmarks. Moreover, our proposed contrastive divergence-based training objective can be combined with other continual learning methods, resulting in substantial boosts in their performance. We further show that EBMs are adaptable to a more general continual learning setting where the data distribution changes without the notion of explicitly delineated tasks. These observations point towards EBMs as a useful building block for future continual learning methods.

Lack of performance when it comes to continual learning over non-stationary distributions of data remains a major challenge in scaling neural network learning to more human realistic settings. In this work we propose a new conceptualization of the continual learning problem in terms of a temporally symmetric trade-off between transfer and interference that can be optimized by enforcing gradient alignment across examples. We then propose a new algorithm, Meta-Experience Replay (MER), that directly exploits this view by combining experience replay with optimization based meta-learning. This method learns parameters that make interference based on future gradients less likely and transfer based on future gradients more likely. 1 We conduct experiments across continual lifelong supervised learning benchmarks and non-stationary reinforcement learning environments demonstrating that our approach consistently outperforms recently proposed baselines for continual learning. Our experiments show that the gap between the performance of MER and baseline algorithms grows both as the environment gets more non-stationary and as the fraction of the total experiences stored gets smaller.

Artificial neural networks thrive in solving the classification problem for a particular rigid task, acquiring knowledge through generalized learning behaviour from a distinct training phase. The resulting network resembles a static entity of knowledge, with endeavours to extend this knowledge without targeting the original task resulting in a catastrophic forgetting. Continual learning shifts this paradigm towards networks that can continually accumulate knowledge over different tasks without the need to retrain from scratch. We focus on task incremental classification, where tasks arrive sequentially and are delineated by clear boundaries. Our main contributions concern (1) a taxonomy and extensive overview of the state-of-the-art; (2) a novel framework to continually determine the stability-plasticity trade-off of the continual learner; (3) a comprehensive experimental comparison of 11 state-of-the-art continual learning methods and 4 baselines. We empirically scrutinize method strengths and weaknesses on three benchmarks, considering Tiny Imagenet and large-scale unbalanced iNaturalist and a sequence of recognition datasets. We study the influence of model capacity, weight decay and dropout regularization, and the order in which the tasks are presented, and qualitatively compare methods in terms of required memory, computation time and storage.

持续学习背后的主流范例一直在使模型参数调整到非静止数据分布，灾难性遗忘是中央挑战。典型方法在测试时间依赖排练缓冲区或已知的任务标识，以检索学到的知识和地址遗忘，而这项工作呈现了一个新的范例，用于持续学习，旨在训练更加简洁的内存系统而不在测试时间访问任务标识。我们的方法学会动态提示（L2P）预先训练的模型，以在不同的任务转换下顺序地学习任务。在我们提出的框架中，提示是小型可学习参数，这些参数在内存空间中保持。目标是优化提示，以指示模型预测并明确地管理任务不变和任务特定知识，同时保持模型可塑性。我们在流行的图像分类基准下进行全面的实验，具有不同挑战的持续学习环境，其中L2P始终如一地优于现有最先进的方法。令人惊讶的是，即使没有排练缓冲区，L2P即使没有排练缓冲，L2P也能实现竞争力的结果，并直接适用于具有挑战性的任务不可行的持续学习。源代码在https://github.com/google-Research/l2p中获得。

从非平稳的输入数据流进行连续/终身学习是智力的基石。尽管在各种应用中表现出色，但深度神经网络仍容易在学习新信息时忘记他们以前学习的信息。这种现象称为“灾难性遗忘”，深深地植根于稳定性困境。近年来，克服深层神经网络中的灾难性遗忘已成为一个积极的研究领域。特别是，基于梯度投射的方法最近在克服灾难性遗忘时表现出了出色的表现。本文提出了基于稀疏性和异质辍学的两种受生物学启发的机制，这些机制在长期的任务上显着提高了持续学习者的表现。我们提出的方法建立在梯度投影内存（GPM）框架上。我们利用神经网络的每一层中的K-获奖者激活来为每个任务执行层次稀疏激活，以及任务间的异质辍学，鼓励网络在不同任务之间使用非重叠的激活模式。此外，我们引入了两个新的基准，用于在分配转移下连续学习，即连续的瑞士卷和Imagenet Superdog-40。最后，我们对我们提出的方法进行了深入的分析，并证明了各种基准持续学习问题的显着性能。

由于其非参数化干扰和灾难性遗忘的非参数化能力，核心连续学习\ Cite {derakhshani2021kernel}最近被成为一个强大的持续学习者。不幸的是，它的成功是以牺牲一个明确的内存为代价来存储来自过去任务的样本，这妨碍了具有大量任务的连续学习设置的可扩展性。在本文中，我们介绍了生成的内核持续学习，探讨了生成模型与内核之间的协同作用以进行持续学习。生成模型能够生产用于内核学习的代表性样本，其消除了在内核持续学习中对内存的依赖性。此外，由于我们仅在生成模型上重播，我们避免了与在整个模型上需要重播的先前的方法相比，在计算上更有效的情况下避免任务干扰。我们进一步引入了监督的对比正规化，使我们的模型能够为更好的基于内核的分类性能产生更具辨别性样本。我们对三种广泛使用的连续学习基准进行了广泛的实验，展示了我们贡献的能力和益处。最值得注意的是，在具有挑战性的SplitCifar100基准测试中，只需一个简单的线性内核，我们获得了与内核连续学习的相同的准确性，对于内存的十分之一，或者对于相同的内存预算的10.1％的精度增益。

模块化是持续学习（CL）的令人信服的解决方案，是相关任务建模的问题。学习和组合模块来解决不同的任务提供了一种抽象来解决CL的主要挑战，包括灾难性的遗忘，向后和向前传输跨任务以及子线性模型的增长。我们引入本地模块组成（LMC），该方法是模块化CL的方法，其中每个模块都提供了局部结构组件，其估计模块与输入的相关性。基于本地相关评分进行动态模块组合。我们展示了对任务身份（IDS）的不可知性来自（本地）结构学习，该结构学习是特定于模块和/或模型特定于以前的作品，使LMC适用于与以前的作品相比的更多CL设置。此外，LMC还跟踪输入分布的统计信息，并在检测到异常样本时添加新模块。在第一组实验中，LMC与最近的持续转移学习基准上的现有方法相比，不需要任务标识。在另一个研究中，我们表明结构学习的局部性允许LMC插入相关但未遵守的任务（OOD），以及在不同任务序列上独立于不同的任务序列培训的模块化网络，而无需任何微调。最后，在寻找LMC的限制，我们在30和100个任务的更具挑战性序列上研究它，展示了本地模块选择在存在大量候选模块时变得更具挑战性。在此设置中，与Oracle基准的基线相比，最佳执行LMC产生的模块更少，但它达到了较低的总体精度。 CodeBase可在https://github.com/oleksost/lmc下找到。