在许多实际情况下，随着时间的推移，用于训练机器学习模型的数据将获得。但是，神经网络模型努力不断学习新概念，而不会忘记过去学到了什么。这种现象被称为灾难性的遗忘，由于实际的约束，通常很难预防，例如可以存储的数据量或可以使用的有限计算源。此外，从头开始培训大型神经网络，例如变形金刚，非常昂贵，需要大量的培训数据，这可能在感兴趣的应用程序领域中不可用。最近的趋势表明，基于参数扩展的动态体系结构可以在持续学习中有效地减少灾难性遗忘，但是这种需要复杂的调整以平衡不断增长的参数，并且几乎无法在任务中共享任何信息。结果，他们难以扩展到没有大量开销的大量任务。在本文中，我们在计算机视觉域中验证了一种最新的解决方案，称为适配器的自适应蒸馏（ADA），该解决方案是为了使用预先训练的变压器和适配器在文本分类任务上进行连续学习。我们在不同的分类任务上进行了经验证明，此方法在不进行模型或增加模型参数数量的情况下保持良好的预测性能。此外，与最先进的方法相比，推理时间的速度明显更快。

深网络架构在不忘记以前的任务的情况下努力继续学习新任务。最近的趋势表明，基于参数扩展的动态架构可以在持续学习中有效地减少灾难性忘记。但是，现有方法通常需要在测试时需要任务标识符，需要复杂调整以平衡越来越多的参数，并且几乎不在任务中共享任何信息。结果，他们努力扩展到大量任务，而无需显着开销。在本文中，我们提出了一种基于专用编码器/解码器框架的变压器体系结构。批判性地，编码器和解码器在所有任务中共享。通过特殊令牌的动态扩展，我们专注于任务分发的解码器网络的各个向前。由于严格控制参数扩展，我们的策略缩小到大量任务，同时具有可忽略的内存和时间开销。此外，这种有效的策略不需要任何HyperParameter调整来控制网络的扩展。我们的模型在大型ImageNet100和ImageNet100上达到了Cifar100和最先进的表演，而参数比并发动态框架的参数越小。

持续学习（CL）逐步学习一系列任务，其目标是实现两个主要目标：克服灾难性的遗忘（CF）并鼓励跨任务的知识转移（KT）。然而，大多数现有技术只关注克服CF并且没有鼓励KT的机制，因此在KT中不好做得很好。虽然有几篇论文试图处理CF和KT，但我们的实验表明，当任务没有太多的共享知识时，他们患有严重的CF。另一个观察是，大多数电流CL方法不使用预先训练的型号，但已经表明这种模型可以显着提高结束任务性能。例如，在自然语言处理中，微调伯特的预训练语言模型是最有效的方法之一。然而，对于CL，这种方法遭受严重的CF.一个有趣的问题是如何充分利用预先训练的电流模型。本文提出了一种名为CTR的新型模型来解决这些问题。我们的实验结果表明了CTR的有效性

本文研究持续学习（CL）的逐步学习（CIL）。已经提出了许多方法来处理CIL中的灾难性遗忘（CF）。大多数方法都会为单个头网络中所有任务的所有类别构建单个分类器。为了防止CF，一种流行的方法是记住以前任务中的少数样本，并在培训新任务时重播它们。但是，这种方法仍然患有严重的CF，因为在内存中仅使用有限的保存样本数量来更新或调整了先前任务的参数。本文提出了一种完全不同的方法，该方法使用变压器网络为每个任务（称为多头模型）构建一个单独的分类器（头部），称为更多。与其在内存中使用保存的样本在现有方法中更新以前的任务/类的网络，不如利用保存的样本来构建特定任务分类器（添加新的分类头），而无需更新用于先前任务/类的网络。新任务的模型经过培训，可以学习任务的类别，并且还可以检测到不是从相同数据分布（即，均分布（OOD））的样本。这使测试实例属于的任务的分类器能够为正确的类产生高分，而其他任务的分类器可以产生低分，因为测试实例不是来自这些分类器的数据分布。实验结果表明，更多的表现优于最先进的基线，并且自然能够在持续学习环境中进行OOD检测。

Continual Learning (CL) is a field dedicated to devise algorithms able to achieve lifelong learning. Overcoming the knowledge disruption of previously acquired concepts, a drawback affecting deep learning models and that goes by the name of catastrophic forgetting, is a hard challenge. Currently, deep learning methods can attain impressive results when the data modeled does not undergo a considerable distributional shift in subsequent learning sessions, but whenever we expose such systems to this incremental setting, performance drop very quickly. Overcoming this limitation is fundamental as it would allow us to build truly intelligent systems showing stability and plasticity. Secondly, it would allow us to overcome the onerous limitation of retraining these architectures from scratch with the new updated data. In this thesis, we tackle the problem from multiple directions. In a first study, we show that in rehearsal-based techniques (systems that use memory buffer), the quantity of data stored in the rehearsal buffer is a more important factor over the quality of the data. Secondly, we propose one of the early works of incremental learning on ViTs architectures, comparing functional, weight and attention regularization approaches and propose effective novel a novel asymmetric loss. At the end we conclude with a study on pretraining and how it affects the performance in Continual Learning, raising some questions about the effective progression of the field. We then conclude with some future directions and closing remarks.

本文研究了一个特定CL设置中的一系列方面情绪分类（ASC）任务的持续学习（CL），称为域增量学习（DIL）。每个任务都来自不同的域或产品。DIL设置特别适合ASC，因为在测试中，系统不需要知道测试数据所属的任务/域。据我们所知，此环境尚未在ASC之前进行过研究。本文提出了一种名为CLASSIC的新型模型。关键新颖性是一种对比的持续学习方法，可以通过从旧任务到新任务的任务和知识蒸馏的知识转移，这消除了对测试中的任务ID的需求。实验结果表明了经典的高效性。

在单独或多任务设置中评估了当前最新的视觉和语言模型，从而忽略了持续学习（CL）任务到达时的挑战。现有的CLENG分类促进了有关调整任务和减轻“灾难性遗忘”的研究，但仅限于仅视觉和仅语言的任务。我们提出了攀登，这是研究CL设置中学习多模式任务的挑战的基准，并系统地评估上游持续学习如何迅速概括为新的多模式和单峰任务。攀登包括几种CL算法的实现以及可以在多模式和单峰任务上部署的修改视觉语言变压器（VILT）模型。我们发现，常见的CL方法可以帮助减轻多模式任务学习期间的遗忘，但不要实现交叉任务知识转移。我们设想，攀登将有助于针对这种具有挑战性的多模式环境的新的CL算法进行研究。

大规模预训练的快速开发导致基础模型可以充当各种下游任务和领域的有效提取器。在此激励的情况下，我们研究了预训练的视觉模型的功效，作为下游持续学习（CL）场景的基础。我们的目标是双重的。首先，我们想了解RAW-DATA空间中CL和预训练编码器的潜在空间之间CL之间的计算准确性权衡。其次，我们研究编码器的特征，训练算法和数据以及所得的潜在空间如何影响CL性能。为此，我们将各种预训练的模型在大规模基准测试方案中的功效与在潜在和原始数据空间中应用的香草重播设置的功效。值得注意的是，这项研究表明了转移，遗忘，任务相似性和学习如何取决于输入数据特征，而不一定取决于CL算法。首先，我们表明，在某些情况下，通过可忽略的计算中的非参数分类器可以很容易地实现合理的CL性能。然后，我们展示模型如何在更广泛的数据上进行预训练，从而为各种重播大小提供更好的性能。我们以这些表示形式的代表性相似性和传递属性来解释这一点。最后，与训练域相比，我们显示了自我监督预训练对下游域的有效性。我们指出并验证了几个研究方向，这些方向可以进一步提高潜在CL的功效，包括表示结合。本研究中使用的各种数据集可以用作进一步CL研究的计算效率游乐场。该代码库可在https://github.com/oleksost/latent_cl下获得。

本文研究了一系列方面情绪分类（ASC）任务的持续学习（CL）。虽然已经提出了一些CL技术进行了文档情绪分类，但我们不知道任何CL在ASC上工作。逐步学习一系列ASC任务的CL系统应该解决以下两个问题：（1）将从以前任务的传输知识从以前的任务中学到的新任务，以帮助它学习更好的模型，并且（2）保持模型的性能以前的任务让他们没有忘记。本文提出了一种新颖的基于胶囊网络的模型，称为B-CL以解决这些问题。B-CL通过前向和后向知识传输显着提高了新任务和旧任务的ASC性能。通过广泛的实验证明了B-CL的有效性。

随着时间的流逝，不断扩大知识并利用其快速推广到新任务的能力是人类语言智能的关键特征。然而，现有对新任务进行快速概括的模型（例如，很少的学习方法）主要是在固定数据集中的单个镜头中训练，无法动态扩展其知识；虽然不断学习算法并非专门设计用于快速概括。我们提出了一种新的学习设置，对几杆学习者（CLIF）的持续学习，以应对统一设置的两个学习设置的挑战。 CLIF假设模型从依次到达的一系列不同的NLP任务中学习，从而积累了知识，以改善对新任务的概括，同时还保留了较早所学的任务的性能。我们研究了在持续学习设置中如何影响概括能力，评估许多持续学习算法，并提出一种新型的正则适配器生成方法。我们发现，灾难性的遗忘影响着概括能力的程度远低于所见任务的表现。虽然持续学习算法仍然可以为概括能力带来可观的好处。

持续学习背后的主流范例一直在使模型参数调整到非静止数据分布，灾难性遗忘是中央挑战。典型方法在测试时间依赖排练缓冲区或已知的任务标识，以检索学到的知识和地址遗忘，而这项工作呈现了一个新的范例，用于持续学习，旨在训练更加简洁的内存系统而不在测试时间访问任务标识。我们的方法学会动态提示（L2P）预先训练的模型，以在不同的任务转换下顺序地学习任务。在我们提出的框架中，提示是小型可学习参数，这些参数在内存空间中保持。目标是优化提示，以指示模型预测并明确地管理任务不变和任务特定知识，同时保持模型可塑性。我们在流行的图像分类基准下进行全面的实验，具有不同挑战的持续学习环境，其中L2P始终如一地优于现有最先进的方法。令人惊讶的是，即使没有排练缓冲区，L2P即使没有排练缓冲，L2P也能实现竞争力的结果，并直接适用于具有挑战性的任务不可行的持续学习。源代码在https://github.com/google-Research/l2p中获得。

增量任务学习（ITL）是一个持续学习的类别，试图培训单个网络以进行多个任务（一个接一个），其中每个任务的培训数据仅在培训该任务期间可用。当神经网络接受较新的任务培训时，往往会忘记旧任务。该特性通常被称为灾难性遗忘。为了解决此问题，ITL方法使用情节内存，参数正则化，掩盖和修剪或可扩展的网络结构。在本文中，我们提出了一个基于低级别分解的新的增量任务学习框架。特别是，我们表示每一层的网络权重作为几个等级1矩阵的线性组合。为了更新新任务的网络，我们学习一个排名1（或低级别）矩阵，并将其添加到每一层的权重。我们还引入了一个其他选择器向量，该向量将不同的权重分配给对先前任务的低级矩阵。我们表明，就准确性和遗忘而言，我们的方法的表现比当前的最新方法更好。与基于情节的内存和基于面具的方法相比，我们的方法还提供了更好的内存效率。我们的代码将在https://github.com/csiplab/task-increment-rank-update.git上找到。

Fine-tuning large pre-trained models is an effective transfer mechanism in NLP. However, in the presence of many downstream tasks, fine-tuning is parameter inefficient: an entire new model is required for every task. As an alternative, we propose transfer with adapter modules. Adapter modules yield a compact and extensible model; they add only a few trainable parameters per task, and new tasks can be added without revisiting previous ones. The parameters of the original network remain fixed, yielding a high degree of parameter sharing. To demonstrate adapter's effectiveness, we transfer the recently proposed BERT Transformer model to 26 diverse text classification tasks, including the GLUE benchmark. Adapters attain near state-of-the-art performance, whilst adding only a few parameters per task. On GLUE, we attain within 0.4% of the performance of full fine-tuning, adding only 3.6% parameters per task. By contrast, fine-tuning trains 100% of the parameters per task.

持续学习旨在使单个模型能够学习一系列任务，而不会造成灾难性的遗忘。表现最好的方法通常需要排练缓冲区来存储过去的原始示例以进行经验重播，但是，由于隐私和内存约束，这会限制其实际价值。在这项工作中，我们提出了一个简单而有效的框架，即DualPrompt，该框架学习了一组称为提示的参数，以正确指示预先训练的模型，以依次学习到达的任务，而不会缓冲过去的示例。 DualPrompt提出了一种新颖的方法，可以将互补提示附加到预训练的主链上，然后将目标提出为学习任务不变和特定于任务的“指令”。通过广泛的实验验证，双启示始终在具有挑战性的课堂开发环境下始终设置最先进的表现。尤其是，双启示的表现优于最近的高级持续学习方法，其缓冲尺寸相对较大。我们还引入了一个更具挑战性的基准Split Imagenet-R，以帮助概括无连续的持续学习研究。源代码可在https://github.com/google-research/l2p上找到。

恶意软件（恶意软件）分类为持续学习（CL）制度提供了独特的挑战，这是由于每天收到的新样本的数量以及恶意软件的发展以利用新漏洞。在典型的一天中，防病毒供应商将获得数十万个独特的软件，包括恶意和良性，并且在恶意软件分类器的一生中，有超过十亿个样品很容易积累。鉴于问题的规模，使用持续学习技术的顺序培训可以在减少培训和存储开销方面提供可观的好处。但是，迄今为止，还没有对CL应用于恶意软件分类任务的探索。在本文中，我们研究了11种应用于三个恶意软件任务的CL技术，涵盖了常见的增量学习方案，包括任务，类和域增量学习（IL）。具体而言，使用两个现实的大规模恶意软件数据集，我们评估了CL方法在二进制恶意软件分类（domain-il）和多类恶意软件家庭分类（Task-IL和类IL）任务上的性能。令我们惊讶的是，在几乎所有情况下，持续的学习方法显着不足以使训练数据的幼稚关节重播 - 在某些情况下，将精度降低了70个百分点以上。与关节重播相比，有选择性重播20％的存储数据的一种简单方法可以实现更好的性能，占训练时间的50％。最后，我们讨论了CL技术表现出乎意料差的潜在原因，希望它激发进一步研究在恶意软件分类域中更有效的技术。

Recently, neural networks purely based on attention were shown to address image understanding tasks such as image classification. These highperforming vision transformers are pre-trained with hundreds of millions of images using a large infrastructure, thereby limiting their adoption.In this work, we produce competitive convolution-free transformers by training on Imagenet only. We train them on a single computer in less than 3 days. Our reference vision transformer (86M parameters) achieves top-1 accuracy of 83.1% (single-crop) on ImageNet with no external data.More importantly, we introduce a teacher-student strategy specific to transformers. It relies on a distillation token ensuring that the student learns from the teacher through attention. We show the interest of this token-based distillation, especially when using a convnet as a teacher. This leads us to report results competitive with convnets for both Imagenet (where we obtain up to 85.2% accuracy) and when transferring to other tasks. We share our code and models.

经过审计的语言模型（PTLMS）通常是通过大型静态语料库学习的，并针对各种下游任务进行了微调。但是，当部署在现实世界中时，基于PTLM的模型必须处理偏离PTLM最初培训的数据分布。在本文中，我们研究了一个终身语言模型预处理挑战，其中不断更新PTLM以适应新兴数据。在域内收入的研究纸流和按时间顺序排序的推文流上，我们从具有不同持续学习算法的PTLM逐渐预处理PTLM，并跟踪下游任务性能（经过微调之后）。我们评估了PTLM在保留早期语料库中学习知识的同时适应新语料库的能力。我们的实验表明，基于蒸馏的方法最有效地在早期域中保持下游性能。该算法还可以改善知识传递，从而使模型能够比最新数据实现更好的下游性能，并在由于时间而在培训和评估之间存在分配差距时改善时间概括。我们认为，我们的问题制定，方法和分析将激发未来的研究朝着语言模型的持续预处理。

Artificial neural networks thrive in solving the classification problem for a particular rigid task, acquiring knowledge through generalized learning behaviour from a distinct training phase. The resulting network resembles a static entity of knowledge, with endeavours to extend this knowledge without targeting the original task resulting in a catastrophic forgetting. Continual learning shifts this paradigm towards networks that can continually accumulate knowledge over different tasks without the need to retrain from scratch. We focus on task incremental classification, where tasks arrive sequentially and are delineated by clear boundaries. Our main contributions concern (1) a taxonomy and extensive overview of the state-of-the-art; (2) a novel framework to continually determine the stability-plasticity trade-off of the continual learner; (3) a comprehensive experimental comparison of 11 state-of-the-art continual learning methods and 4 baselines. We empirically scrutinize method strengths and weaknesses on three benchmarks, considering Tiny Imagenet and large-scale unbalanced iNaturalist and a sequence of recognition datasets. We study the influence of model capacity, weight decay and dropout regularization, and the order in which the tasks are presented, and qualitatively compare methods in terms of required memory, computation time and storage.

持续学习旨在快速，不断地从一系列任务中学习当前的任务。与其他类型的方法相比，基于经验重播的方法表现出了极大的优势来克服灾难性的遗忘。该方法的一个常见局限性是上一个任务和当前任务之间的数据不平衡，这将进一步加剧遗忘。此外，如何在这种情况下有效解决稳定性困境也是一个紧迫的问题。在本文中，我们通过提出一个通过多尺度知识蒸馏和数据扩展（MMKDDA）提出一个名为Meta学习更新的新框架来克服这些挑战。具体而言，我们应用多尺度知识蒸馏来掌握不同特征级别的远程和短期空间关系的演变，以减轻数据不平衡问题。此外，我们的方法在在线持续训练程序中混合了来自情节记忆和当前任务的样品，从而减轻了由于概率分布的变化而减轻了侧面影响。此外，我们通过元学习更新来优化我们的模型，该更新诉诸于前面所看到的任务数量，这有助于保持稳定性和可塑性之间的更好平衡。最后，我们对四个基准数据集的实验评估显示了提出的MMKDDA框架对其他流行基线的有效性，并且还进行了消融研究，以进一步分析每个组件在我们的框架中的作用。

人类在整个生命周期中不断学习，通过积累多样化的知识并为未来的任务进行微调。当出现类似目标时，神经网络会遭受灾难性忘记，在学习过程中跨顺序任务跨好任务的数据分布是否不固定。解决此类持续学习（CL）问题的有效方法是使用超网络为目标网络生成任务依赖权重。但是，现有基于超网的方法的持续学习性能受到整个层之间权重的独立性的假设，以维持参数效率。为了解决这一限制，我们提出了一种新颖的方法，该方法使用依赖关系保留超网络来为目标网络生成权重，同时还保持参数效率。我们建议使用基于复发的神经网络（RNN）的超网络，该网络可以有效地生成层权重，同时允许在它们的依赖关系中。此外，我们为基于RNN的超网络提出了新颖的正则化和网络增长技术，以进一步提高持续的学习绩效。为了证明所提出的方法的有效性，我们对几个图像分类持续学习任务和设置进行了实验。我们发现，基于RNN HyperNetworks的建议方法在所有这些CL设置和任务中都优于基准。