深度神经网络（DNN）最近在计算机视觉和几个相关领域取得了巨大成功。尽管如此，目前的神经结构仍然遭受灾难性干扰（A.K.A.忘记），这阻碍了DNN不断学习。虽然已经提出了几种最先进的方法来缓解遗忘，但这些现有解决方案是高度僵化的（正则化）或时间/内存要求（作为重播）。在文献中提出了一种基于动态网络的中等方法，并在文献中提出了在任务记忆和计算足迹之间提供合理的平衡。在本文中，我们基于一种基于新颖的无遗忘神经块（FFNB）来设计用于持续学习的动态网络架构。使用新的程序实现新任务的FFNB功能，该程序可以通过在前一个任务的空空间中约束底层参数，而训练分类器参数等同于Fisher判别分析。后者提供了一种有效的增量过程，这也是贝叶斯视角的最佳。使用增量的“端到端”微调进一步增强了训练有素的功能和分类器。在不同具有挑战性的分类问题上进行的大量实验，表明了该方法的高效性。

Continual Learning (CL) is a field dedicated to devise algorithms able to achieve lifelong learning. Overcoming the knowledge disruption of previously acquired concepts, a drawback affecting deep learning models and that goes by the name of catastrophic forgetting, is a hard challenge. Currently, deep learning methods can attain impressive results when the data modeled does not undergo a considerable distributional shift in subsequent learning sessions, but whenever we expose such systems to this incremental setting, performance drop very quickly. Overcoming this limitation is fundamental as it would allow us to build truly intelligent systems showing stability and plasticity. Secondly, it would allow us to overcome the onerous limitation of retraining these architectures from scratch with the new updated data. In this thesis, we tackle the problem from multiple directions. In a first study, we show that in rehearsal-based techniques (systems that use memory buffer), the quantity of data stored in the rehearsal buffer is a more important factor over the quality of the data. Secondly, we propose one of the early works of incremental learning on ViTs architectures, comparing functional, weight and attention regularization approaches and propose effective novel a novel asymmetric loss. At the end we conclude with a study on pretraining and how it affects the performance in Continual Learning, raising some questions about the effective progression of the field. We then conclude with some future directions and closing remarks.

当随着时间的推移学习任务时，人工神经网络遭受称为灾难性遗忘（CF）的问题。当在训练网络的训练过程中覆盖网络的权重，导致忘记旧信息的新任务时，会发生这种情况。为了解决这个问题，我们提出了META可重复使用的知识或标记，这是一种新的方法，可以在学习新任务时促进重量可重用性而不是覆盖。具体来说，标记在任务之间保留一组共享权重。我们将这些共享权重设定为共同的知识库（KB），不仅用于学习新任务，而且还富有以丰富的新知识，因为模型了解新任务。标记背后的关键组件是两倍。一方面，冶金学习方法提供了逐步丰富KB的关键机制，并在任务之间促进重量可重用性。另一方面，一组培训掩模提供了选择性地从KB相关权重中选择的关键机制来解决每个任务。通过使用Mark，我们实现了最普遍的基准，在几个流行的基准中实现了最新的基准，在20分拆性MiniimAgenet数据集上超过了平均精度的最佳性能方法，同时使用55％的数量来实现几乎零遗忘参数。此外，消融研究提供了证据，实际上，标记正在学习每个任务选择性地使用的可重复使用的知识。

本文研究持续学习（CL）的逐步学习（CIL）。已经提出了许多方法来处理CIL中的灾难性遗忘（CF）。大多数方法都会为单个头网络中所有任务的所有类别构建单个分类器。为了防止CF，一种流行的方法是记住以前任务中的少数样本，并在培训新任务时重播它们。但是，这种方法仍然患有严重的CF，因为在内存中仅使用有限的保存样本数量来更新或调整了先前任务的参数。本文提出了一种完全不同的方法，该方法使用变压器网络为每个任务（称为多头模型）构建一个单独的分类器（头部），称为更多。与其在内存中使用保存的样本在现有方法中更新以前的任务/类的网络，不如利用保存的样本来构建特定任务分类器（添加新的分类头），而无需更新用于先前任务/类的网络。新任务的模型经过培训，可以学习任务的类别，并且还可以检测到不是从相同数据分布（即，均分布（OOD））的样本。这使测试实例属于的任务的分类器能够为正确的类产生高分，而其他任务的分类器可以产生低分，因为测试实例不是来自这些分类器的数据分布。实验结果表明，更多的表现优于最先进的基线，并且自然能够在持续学习环境中进行OOD检测。

Artificial neural networks thrive in solving the classification problem for a particular rigid task, acquiring knowledge through generalized learning behaviour from a distinct training phase. The resulting network resembles a static entity of knowledge, with endeavours to extend this knowledge without targeting the original task resulting in a catastrophic forgetting. Continual learning shifts this paradigm towards networks that can continually accumulate knowledge over different tasks without the need to retrain from scratch. We focus on task incremental classification, where tasks arrive sequentially and are delineated by clear boundaries. Our main contributions concern (1) a taxonomy and extensive overview of the state-of-the-art; (2) a novel framework to continually determine the stability-plasticity trade-off of the continual learner; (3) a comprehensive experimental comparison of 11 state-of-the-art continual learning methods and 4 baselines. We empirically scrutinize method strengths and weaknesses on three benchmarks, considering Tiny Imagenet and large-scale unbalanced iNaturalist and a sequence of recognition datasets. We study the influence of model capacity, weight decay and dropout regularization, and the order in which the tasks are presented, and qualitatively compare methods in terms of required memory, computation time and storage.

持续学习旨在快速，不断地从一系列任务中学习当前的任务。与其他类型的方法相比，基于经验重播的方法表现出了极大的优势来克服灾难性的遗忘。该方法的一个常见局限性是上一个任务和当前任务之间的数据不平衡，这将进一步加剧遗忘。此外，如何在这种情况下有效解决稳定性困境也是一个紧迫的问题。在本文中，我们通过提出一个通过多尺度知识蒸馏和数据扩展（MMKDDA）提出一个名为Meta学习更新的新框架来克服这些挑战。具体而言，我们应用多尺度知识蒸馏来掌握不同特征级别的远程和短期空间关系的演变，以减轻数据不平衡问题。此外，我们的方法在在线持续训练程序中混合了来自情节记忆和当前任务的样品，从而减轻了由于概率分布的变化而减轻了侧面影响。此外，我们通过元学习更新来优化我们的模型，该更新诉诸于前面所看到的任务数量，这有助于保持稳定性和可塑性之间的更好平衡。最后，我们对四个基准数据集的实验评估显示了提出的MMKDDA框架对其他流行基线的有效性，并且还进行了消融研究，以进一步分析每个组件在我们的框架中的作用。

人类智慧的主食是以不断的方式获取知识的能力。在Stark对比度下，深网络忘记灾难性，而且为此原因，类增量连续学习促进方法的子字段逐步学习一系列任务，将顺序获得的知识混合成综合预测。这项工作旨在评估和克服我们以前提案黑暗体验重播（Der）的陷阱，这是一种简单有效的方法，将排练和知识蒸馏结合在一起。灵感来自于我们的思想不断重写过去的回忆和对未来的期望，我们赋予了我的能力，即我的能力来修改其重播记忆，以欢迎有关过去数据II的新信息II）为学习尚未公开的课程铺平了道路。我们表明，这些策略的应用导致了显着的改进;实际上，得到的方法 - 被称为扩展-DAR（X-DER） - 优于标准基准（如CiFar-100和MiniimAgeNet）的技术状态，并且这里引入了一个新颖的。为了更好地了解，我们进一步提供了广泛的消融研究，以证实并扩展了我们以前研究的结果（例如，在持续学习设置中知识蒸馏和漂流最小值的价值）。

光谱图卷积网络（GCNS）是特别的深层模型，其目的在于将神经网络扩展到任意的不规则域。这些网络的原理包括使用Laplacians的特征分解突出图信号，然后在将所产生的滤波信号返回到输入图域之前在光谱域中实现滤波。然而，这些操作的成功高度依赖于主要手工制作的二手拉普拉斯人的相关性，这使得GCN明显次优。在本文中，我们介绍了一种新颖的光谱GCN，不仅可以仅限于通常的卷积参数，而且是拉普拉斯运营商。后者设计了“端到端”作为递归Chebyshev分解的一部分，其特殊性地传送了学习表示的差异和非差异性质 - 随着顺序和辨别力的增加 - 没有过分统计化训练有素的GCN。对基于骨架的动作识别的具有挑战性的任务进行了广泛的实验，展示了我们提出的拉普拉斯设计的泛化能力和表现优惠。不同的基线（建造在手工制作和其他学习的拉普拉斯人）以及相关工作。

增量任务学习（ITL）是一个持续学习的类别，试图培训单个网络以进行多个任务（一个接一个），其中每个任务的培训数据仅在培训该任务期间可用。当神经网络接受较新的任务培训时，往往会忘记旧任务。该特性通常被称为灾难性遗忘。为了解决此问题，ITL方法使用情节内存，参数正则化，掩盖和修剪或可扩展的网络结构。在本文中，我们提出了一个基于低级别分解的新的增量任务学习框架。特别是，我们表示每一层的网络权重作为几个等级1矩阵的线性组合。为了更新新任务的网络，我们学习一个排名1（或低级别）矩阵，并将其添加到每一层的权重。我们还引入了一个其他选择器向量，该向量将不同的权重分配给对先前任务的低级矩阵。我们表明，就准确性和遗忘而言，我们的方法的表现比当前的最新方法更好。与基于情节的内存和基于面具的方法相比，我们的方法还提供了更好的内存效率。我们的代码将在https://github.com/csiplab/task-increment-rank-update.git上找到。

持续学习是一种学习范式，可以通过资源限制顺序学习任务，其中关键挑战是稳定性的难题，即同时具有稳定性来防止灾难性忘记旧任务和可很好地学习新任务的稳定性是不安的。 。在本文中，我们提出了一种新的持续学习方法，即先进的空空间（ADN），以平衡稳定性和可塑性，而无需存储以前任务的任何旧数据。具体而言，为了获得更好的稳定性，ADN会利用低级近似来获得新的空空间，并将梯度投射到空空间上，以防止干扰过去的任务。为了控制无效空间的产生，我们引入了不均匀的约束强度，以进一步减少遗忘。此外，我们提出了一种简单但有效的方法，即任务内蒸馏，以提高当前任务的性能。最后，从理论上讲，无效空间分别在塑性和稳定性中起关键作用。实验结果表明，与最先进的持续学习方法相比，所提出的方法可以实现更好的性能。

The ability to dynamically adapt neural networks to newly-available data without performance deterioration would revolutionize deep learning applications. Streaming learning (i.e., learning from one data example at a time) has the potential to enable such real-time adaptation, but current approaches i) freeze a majority of network parameters during streaming and ii) are dependent upon offline, base initialization procedures over large subsets of data, which damages performance and limits applicability. To mitigate these shortcomings, we propose Cold Start Streaming Learning (CSSL), a simple, end-to-end approach for streaming learning with deep networks that uses a combination of replay and data augmentation to avoid catastrophic forgetting. Because CSSL updates all model parameters during streaming, the algorithm is capable of beginning streaming from a random initialization, making base initialization optional. Going further, the algorithm's simplicity allows theoretical convergence guarantees to be derived using analysis of the Neural Tangent Random Feature (NTRF). In experiments, we find that CSSL outperforms existing baselines for streaming learning in experiments on CIFAR100, ImageNet, and Core50 datasets. Additionally, we propose a novel multi-task streaming learning setting and show that CSSL performs favorably in this domain. Put simply, CSSL performs well and demonstrates that the complicated, multi-step training pipelines adopted by most streaming methodologies can be replaced with a simple, end-to-end learning approach without sacrificing performance.

持续学习（CL）旨在开发单一模型适应越来越多的任务的技术，从而潜在地利用跨任务的学习以资源有效的方式。 CL系统的主要挑战是灾难性的遗忘，在学习新任务时忘记了早期的任务。为了解决此问题，基于重播的CL方法在遇到遇到任务中选择的小缓冲区中维护和重复培训。我们提出梯度Coreset重放（GCR），一种新颖的重播缓冲区选择和使用仔细设计的优化标准的更新策略。具体而言，我们选择并维护一个“Coreset”，其与迄今为止关于当前模型参数的所有数据的梯度紧密近似，并讨论其有效应用于持续学习设置所需的关键策略。在学习的离线持续学习环境中，我们在最先进的最先进的最先进的持续学习环境中表现出显着的收益（2％-4％）。我们的调查结果还有效地转移到在线/流媒体CL设置，从而显示现有方法的5％。最后，我们展示了持续学习的监督对比损失的价值，当与我们的子集选择策略相结合时，累计增益高达5％。

我们研究深度神经网络中不同的输出层如何学习并忘记在持续的学习环境中。以下三个因素可能会影响输出层中的灾难性忘记：（1）权重修改，（2）干扰和（3）投影漂移。在本文中，我们的目标是提供更多关于如何改变输出层可以解决（1）和（2）的洞察。在几个连续学习情景中提出并评估了这些问题的一些潜在解决方案。我们表明，最佳执行类型的输出层取决于数据分布漂移和/或可用数据量。特别地，在某些情况下，在某些情况下，标准线性层将失败，结果改变参数化是足够的，以便实现显着更好的性能，从而引入持续学习算法，而是使用标准SGD训练模型。我们的分析和结果在连续学习场景中输出层动态的阐明，并表明了一种选择给定场景的最佳输出层的方法。

预训练的代表是现代深度学习成功的关键要素之一。但是，现有的关于持续学习方法的作品主要集中在从头开始逐步学习学习模型。在本文中，我们探讨了一个替代框架，以逐步学习，我们不断从预训练的表示中微调模型。我们的方法利用了预训练的神经网络的线性化技术来进行简单有效的持续学习。我们表明，这使我们能够设计一个线性模型，其中将二次参数正则方法作为最佳持续学习策略，同时享受神经网络的高性能。我们还表明，所提出的算法使参数正则化方法适用于类新问题。此外，我们还提供了一个理论原因，为什么在接受跨凝结损失训练的神经网络上，现有的参数空间正则化算法（例如EWC表现不佳）。我们表明，提出的方法可以防止忘记，同时在图像分类任务上实现高连续的微调性能。为了证明我们的方法可以应用于一般的持续学习设置，我们评估了我们在数据收入，任务收入和课堂学习问题方面的方法。

持续学习研究的主要重点领域是通过设计新算法对分布变化更强大的新算法来减轻神经网络中的“灾难性遗忘”问题。尽管持续学习文献的最新进展令人鼓舞，但我们对神经网络的特性有助于灾难性遗忘的理解仍然有限。为了解决这个问题，我们不关注持续的学习算法，而是在这项工作中专注于模型本身，并研究神经网络体系结构对灾难性遗忘的“宽度”的影响，并表明宽度在遗忘遗产方面具有出人意料的显着影响。为了解释这种效果，我们从各个角度研究网络的学习动力学，例如梯度正交性，稀疏性和懒惰的培训制度。我们提供了与不同架构和持续学习基准之间的经验结果一致的潜在解释。

最近的自我监督学习方法能够学习高质量的图像表示，并通过监督方法关闭差距。但是，这些方法无法逐步获取新的知识 - 事实上，它们实际上主要仅用为具有IID数据的预训练阶段。在这项工作中，我们在没有额外的记忆或重放的情况下调查持续学习制度的自我监督方法。为防止忘记以前的知识，我们提出了功能正规化的使用。我们将表明，朴素的功能正则化，也称为特征蒸馏，导致可塑性的低可塑性，因此严重限制了连续的学习性能。为了解决这个问题，我们提出了预测的功能正则化，其中一个单独的投影网络确保新学习的特征空间保留了先前的特征空间的信息，同时允许学习新功能。这使我们可以防止在保持学习者的可塑性时忘记。针对应用于自我监督的其他增量学习方法的评估表明我们的方法在不同场景和多个数据集中获得竞争性能。

Lifelong learning has attracted much attention, but existing works still struggle to fight catastrophic forgetting and accumulate knowledge over long stretches of incremental learning. In this work, we propose PODNet, a model inspired by representation learning. By carefully balancing the compromise between remembering the old classes and learning new ones, PODNet fights catastrophic forgetting, even over very long runs of small incremental tasks -a setting so far unexplored by current works. PODNet innovates on existing art with an efficient spatialbased distillation-loss applied throughout the model and a representation comprising multiple proxy vectors for each class. We validate those innovations thoroughly, comparing PODNet with three state-of-the-art models on three datasets: CIFAR100, ImageNet100, and ImageNet1000. Our results showcase a significant advantage of PODNet over existing art, with accuracy gains of 12.10, 6.51, and 2.85 percentage points, respectively. 5

这项工作调查了持续学习（CL）与转移学习（TL）之间的纠缠。特别是，我们阐明了网络预训练的广泛应用，强调它本身受到灾难性遗忘的影响。不幸的是，这个问题导致在以后任务期间知识转移的解释不足。在此基础上，我们提出了转移而不忘记（TWF），这是在固定的经过预定的兄弟姐妹网络上建立的混合方法，该方法不断传播源域中固有的知识，通过层次损失项。我们的实验表明，TWF在各种设置上稳步优于其他CL方法，在各种数据集和不同的缓冲尺寸上，平均每种类型的精度增长了4.81％。

深网络架构在不忘记以前的任务的情况下努力继续学习新任务。最近的趋势表明，基于参数扩展的动态架构可以在持续学习中有效地减少灾难性忘记。但是，现有方法通常需要在测试时需要任务标识符，需要复杂调整以平衡越来越多的参数，并且几乎不在任务中共享任何信息。结果，他们努力扩展到大量任务，而无需显着开销。在本文中，我们提出了一种基于专用编码器/解码器框架的变压器体系结构。批判性地，编码器和解码器在所有任务中共享。通过特殊令牌的动态扩展，我们专注于任务分发的解码器网络的各个向前。由于严格控制参数扩展，我们的策略缩小到大量任务，同时具有可忽略的内存和时间开销。此外，这种有效的策略不需要任何HyperParameter调整来控制网络的扩展。我们的模型在大型ImageNet100和ImageNet100上达到了Cifar100和最先进的表演，而参数比并发动态框架的参数越小。

持续学习的目标（CL）是随着时间的推移学习不同的任务。与CL相关的主要Desiderata是在旧任务上保持绩效，利用后者来改善未来任务的学习，并在培训过程中引入最小的开销（例如，不需要增长的模型或再培训）。我们建议通过固定密度的稀疏神经网络来解决这些避难所的神经启发性塑性适应（NISPA）体系结构。 NISPA形成了稳定的途径，可以从较旧的任务中保存知识。此外，NISPA使用连接重新设计来创建新的塑料路径，以重用有关新任务的现有知识。我们对EMNIST，FashionMnist，CIFAR10和CIFAR100数据集的广泛评估表明，NISPA的表现明显胜过代表性的最先进的持续学习基线，并且与盆地相比，它的可学习参数最多少了十倍。我们还认为稀疏是持续学习的重要组成部分。 NISPA代码可在https://github.com/burakgurbuz97/nispa上获得。