预训练的代表是现代深度学习成功的关键要素之一。但是，现有的关于持续学习方法的作品主要集中在从头开始逐步学习学习模型。在本文中，我们探讨了一个替代框架，以逐步学习，我们不断从预训练的表示中微调模型。我们的方法利用了预训练的神经网络的线性化技术来进行简单有效的持续学习。我们表明，这使我们能够设计一个线性模型，其中将二次参数正则方法作为最佳持续学习策略，同时享受神经网络的高性能。我们还表明，所提出的算法使参数正则化方法适用于类新问题。此外，我们还提供了一个理论原因，为什么在接受跨凝结损失训练的神经网络上，现有的参数空间正则化算法（例如EWC表现不佳）。我们表明，提出的方法可以防止忘记，同时在图像分类任务上实现高连续的微调性能。为了证明我们的方法可以应用于一般的持续学习设置，我们评估了我们在数据收入，任务收入和课堂学习问题方面的方法。

已知生物制剂在他们的生活过程中学习许多不同的任务，并且能够重新审视以前的任务和行为，而没有表现不损失。相比之下，人工代理容易出于“灾难性遗忘”，在以前任务上的性能随着所获取的新的任务而恶化。最近使用该方法通过鼓励参数保持接近以前任务的方法来解决此缺点。这可以通过（i）使用特定的参数正常数来完成，该参数正常数是在参数空间中映射合适的目的地，或（ii）通过将渐变投影到不会干扰先前任务的子空间来指导优化旅程。然而，这些方法通常在前馈和经常性神经网络中表现出子分子表现，并且经常性网络对支持生物持续学习的神经动力学研究感兴趣。在这项工作中，我们提出了自然的持续学习（NCL），一种统一重量正则化和预测梯度下降的新方法。 NCL使用贝叶斯重量正常化来鼓励在收敛的所有任务上进行良好的性能，并将其与梯度投影结合使用先前的精度，这可以防止在优化期间陷入灾难性遗忘。当应用于前馈和经常性网络中的连续学习问题时，我们的方法占据了标准重量正则化技术和投影的方法。最后，训练有素的网络演变了特定于任务特定的动态，这些动态被认为是学习的新任务，类似于生物电路中的实验结果。

Incremental learning (IL) has received a lot of attention recently, however, the literature lacks a precise problem definition, proper evaluation settings, and metrics tailored specifically for the IL problem. One of the main objectives of this work is to fill these gaps so as to provide a common ground for better understanding of IL. The main challenge for an IL algorithm is to update the classifier whilst preserving existing knowledge. We observe that, in addition to forgetting, a known issue while preserving knowledge, IL also suffers from a problem we call intransigence, inability of a model to update its knowledge. We introduce two metrics to quantify forgetting and intransigence that allow us to understand, analyse, and gain better insights into the behaviour of IL algorithms. We present RWalk, a generalization of EWC++ (our efficient version of EWC [7]) and Path Integral [26] with a theoretically grounded KL-divergence based perspective. We provide a thorough analysis of various IL algorithms on MNIST and CIFAR-100 datasets. In these experiments, RWalk obtains superior results in terms of accuracy, and also provides a better trade-off between forgetting and intransigence.

We motivate Energy-Based Models (EBMs) as a promising model class for continual learning problems. Instead of tackling continual learning via the use of external memory, growing models, or regularization, EBMs change the underlying training objective to cause less interference with previously learned information. Our proposed version of EBMs for continual learning is simple, efficient, and outperforms baseline methods by a large margin on several benchmarks. Moreover, our proposed contrastive divergence-based training objective can be combined with other continual learning methods, resulting in substantial boosts in their performance. We further show that EBMs are adaptable to a more general continual learning setting where the data distribution changes without the notion of explicitly delineated tasks. These observations point towards EBMs as a useful building block for future continual learning methods.

While deep learning has led to remarkable advances across diverse applications, it struggles in domains where the data distribution changes over the course of learning. In stark contrast, biological neural networks continually adapt to changing domains, possibly by leveraging complex molecular machinery to solve many tasks simultaneously. In this study, we introduce intelligent synapses that bring some of this biological complexity into artificial neural networks. Each synapse accumulates task relevant information over time, and exploits this information to rapidly store new memories without forgetting old ones. We evaluate our approach on continual learning of classification tasks, and show that it dramatically reduces forgetting while maintaining computational efficiency.

人类智慧的主食是以不断的方式获取知识的能力。在Stark对比度下，深网络忘记灾难性，而且为此原因，类增量连续学习促进方法的子字段逐步学习一系列任务，将顺序获得的知识混合成综合预测。这项工作旨在评估和克服我们以前提案黑暗体验重播（Der）的陷阱，这是一种简单有效的方法，将排练和知识蒸馏结合在一起。灵感来自于我们的思想不断重写过去的回忆和对未来的期望，我们赋予了我的能力，即我的能力来修改其重播记忆，以欢迎有关过去数据II的新信息II）为学习尚未公开的课程铺平了道路。我们表明，这些策略的应用导致了显着的改进;实际上，得到的方法 - 被称为扩展-DAR（X-DER） - 优于标准基准（如CiFar-100和MiniimAgeNet）的技术状态，并且这里引入了一个新颖的。为了更好地了解，我们进一步提供了广泛的消融研究，以证实并扩展了我们以前研究的结果（例如，在持续学习设置中知识蒸馏和漂流最小值的价值）。

持续学习（CL）旨在开发单一模型适应越来越多的任务的技术，从而潜在地利用跨任务的学习以资源有效的方式。 CL系统的主要挑战是灾难性的遗忘，在学习新任务时忘记了早期的任务。为了解决此问题，基于重播的CL方法在遇到遇到任务中选择的小缓冲区中维护和重复培训。我们提出梯度Coreset重放（GCR），一种新颖的重播缓冲区选择和使用仔细设计的优化标准的更新策略。具体而言，我们选择并维护一个“Coreset”，其与迄今为止关于当前模型参数的所有数据的梯度紧密近似，并讨论其有效应用于持续学习设置所需的关键策略。在学习的离线持续学习环境中，我们在最先进的最先进的最先进的持续学习环境中表现出显着的收益（2％-4％）。我们的调查结果还有效地转移到在线/流媒体CL设置，从而显示现有方法的5％。最后，我们展示了持续学习的监督对比损失的价值，当与我们的子集选择策略相结合时，累计增益高达5％。

二阶优化器被认为具有加快神经网络训练的潜力，但是由于曲率矩阵的尺寸巨大，它们通常需要近似值才能计算。最成功的近似家庭是Kronecker因块状曲率估计值（KFAC）。在这里，我们结合了先前工作的工具，以评估确切的二阶更新和仔细消融以建立令人惊讶的结果：由于其近似值，KFAC与二阶更新无关，尤其是，它极大地胜过真实的第二阶段更新。订单更新。这一挑战广泛地相信，并立即提出了为什么KFAC表现如此出色的问题。为了回答这个问题，我们提出了强烈的证据，表明KFAC近似于一阶算法，该算法在神经元上执行梯度下降而不是权重。最后，我们表明，这种优化器通常会在计算成本和数据效率方面改善KFAC。

人类在整个生命周期中不断学习，通过积累多样化的知识并为未来的任务进行微调。当出现类似目标时，神经网络会遭受灾难性忘记，在学习过程中跨顺序任务跨好任务的数据分布是否不固定。解决此类持续学习（CL）问题的有效方法是使用超网络为目标网络生成任务依赖权重。但是，现有基于超网的方法的持续学习性能受到整个层之间权重的独立性的假设，以维持参数效率。为了解决这一限制，我们提出了一种新颖的方法，该方法使用依赖关系保留超网络来为目标网络生成权重，同时还保持参数效率。我们建议使用基于复发的神经网络（RNN）的超网络，该网络可以有效地生成层权重，同时允许在它们的依赖关系中。此外，我们为基于RNN的超网络提出了新颖的正则化和网络增长技术，以进一步提高持续的学习绩效。为了证明所提出的方法的有效性，我们对几个图像分类持续学习任务和设置进行了实验。我们发现，基于RNN HyperNetworks的建议方法在所有这些CL设置和任务中都优于基准。

The ability to dynamically adapt neural networks to newly-available data without performance deterioration would revolutionize deep learning applications. Streaming learning (i.e., learning from one data example at a time) has the potential to enable such real-time adaptation, but current approaches i) freeze a majority of network parameters during streaming and ii) are dependent upon offline, base initialization procedures over large subsets of data, which damages performance and limits applicability. To mitigate these shortcomings, we propose Cold Start Streaming Learning (CSSL), a simple, end-to-end approach for streaming learning with deep networks that uses a combination of replay and data augmentation to avoid catastrophic forgetting. Because CSSL updates all model parameters during streaming, the algorithm is capable of beginning streaming from a random initialization, making base initialization optional. Going further, the algorithm's simplicity allows theoretical convergence guarantees to be derived using analysis of the Neural Tangent Random Feature (NTRF). In experiments, we find that CSSL outperforms existing baselines for streaming learning in experiments on CIFAR100, ImageNet, and Core50 datasets. Additionally, we propose a novel multi-task streaming learning setting and show that CSSL performs favorably in this domain. Put simply, CSSL performs well and demonstrates that the complicated, multi-step training pipelines adopted by most streaming methodologies can be replaced with a simple, end-to-end learning approach without sacrificing performance.

A growing body of research in continual learning focuses on the catastrophic forgetting problem. While many attempts have been made to alleviate this problem, the majority of the methods assume a single model in the continual learning setup. In this work, we question this assumption and show that employing ensemble models can be a simple yet effective method to improve continual performance. However, ensembles' training and inference costs can increase significantly as the number of models grows. Motivated by this limitation, we study different ensemble models to understand their benefits and drawbacks in continual learning scenarios. Finally, to overcome the high compute cost of ensembles, we leverage recent advances in neural network subspace to propose a computationally cheap algorithm with similar runtime to a single model yet enjoying the performance benefits of ensembles.

本文研究了在连续学习框架中使用分类网络的固定架构培训深度学习模型的优化算法的新设计。训练数据是非平稳的，非平稳性是由一系列不同的任务施加的。我们首先分析了一个仅在隔离的学习任务的深层模型，并在网络参数空间中识别一个区域，其中模型性能接近恢复的最佳。我们提供的经验证据表明该区域类似于沿收敛方向扩展的锥体。我们研究了融合后优化器轨迹的主要方向，并表明沿着一些顶级主要方向旅行可以迅速将参数带到锥体之外，但其余方向并非如此。我们认为，当参数被限制以保持在训练过程中迄今为止遇到的单个任务的相交中，可以缓解持续学习环境中的灾难性遗忘。基于此观察结果，我们介绍了我们的方向约束优化（DCO）方法，在每个任务中，我们引入一个线性自动编码器以近似其相应的顶部禁止主要方向。然后将它们以正规化术语的形式合并到损失函数中，以便在不忘记的情况下学习即将到来的任务。此外，为了随着任务数量的增加而控制内存的增长，我们提出了一种称为压缩DCO（DCO-comp）的算法的内存效率版本，该版本为存储所有自动编码器的固定大小分配了存储器。我们从经验上证明，与其他基于最新正规化的持续学习方法相比，我们的算法表现出色。

增量任务学习（ITL）是一个持续学习的类别，试图培训单个网络以进行多个任务（一个接一个），其中每个任务的培训数据仅在培训该任务期间可用。当神经网络接受较新的任务培训时，往往会忘记旧任务。该特性通常被称为灾难性遗忘。为了解决此问题，ITL方法使用情节内存，参数正则化，掩盖和修剪或可扩展的网络结构。在本文中，我们提出了一个基于低级别分解的新的增量任务学习框架。特别是，我们表示每一层的网络权重作为几个等级1矩阵的线性组合。为了更新新任务的网络，我们学习一个排名1（或低级别）矩阵，并将其添加到每一层的权重。我们还引入了一个其他选择器向量，该向量将不同的权重分配给对先前任务的低级矩阵。我们表明，就准确性和遗忘而言，我们的方法的表现比当前的最新方法更好。与基于情节的内存和基于面具的方法相比，我们的方法还提供了更好的内存效率。我们的代码将在https://github.com/csiplab/task-increment-rank-update.git上找到。

恶意软件（恶意软件）分类为持续学习（CL）制度提供了独特的挑战，这是由于每天收到的新样本的数量以及恶意软件的发展以利用新漏洞。在典型的一天中，防病毒供应商将获得数十万个独特的软件，包括恶意和良性，并且在恶意软件分类器的一生中，有超过十亿个样品很容易积累。鉴于问题的规模，使用持续学习技术的顺序培训可以在减少培训和存储开销方面提供可观的好处。但是，迄今为止，还没有对CL应用于恶意软件分类任务的探索。在本文中，我们研究了11种应用于三个恶意软件任务的CL技术，涵盖了常见的增量学习方案，包括任务，类和域增量学习（IL）。具体而言，使用两个现实的大规模恶意软件数据集，我们评估了CL方法在二进制恶意软件分类（domain-il）和多类恶意软件家庭分类（Task-IL和类IL）任务上的性能。令我们惊讶的是，在几乎所有情况下，持续的学习方法显着不足以使训练数据的幼稚关节重播 - 在某些情况下，将精度降低了70个百分点以上。与关节重播相比，有选择性重播20％的存储数据的一种简单方法可以实现更好的性能，占训练时间的50％。最后，我们讨论了CL技术表现出乎意料差的潜在原因，希望它激发进一步研究在恶意软件分类域中更有效的技术。

Continual Learning is considered a key step toward next-generation Artificial Intelligence. Among various methods, replay-based approaches that maintain and replay a small episodic memory of previous samples are one of the most successful strategies against catastrophic forgetting. However, since forgetting is inevitable given bounded memory and unbounded tasks, how to forget is a problem continual learning must address. Therefore, beyond simply avoiding catastrophic forgetting, an under-explored issue is how to reasonably forget while ensuring the merits of human memory, including 1. storage efficiency, 2. generalizability, and 3. some interpretability. To achieve these simultaneously, our paper proposes a new saliency-augmented memory completion framework for continual learning, inspired by recent discoveries in memory completion separation in cognitive neuroscience. Specifically, we innovatively propose to store the part of the image most important to the tasks in episodic memory by saliency map extraction and memory encoding. When learning new tasks, previous data from memory are inpainted by an adaptive data generation module, which is inspired by how humans complete episodic memory. The module's parameters are shared across all tasks and it can be jointly trained with a continual learning classifier as bilevel optimization. Extensive experiments on several continual learning and image classification benchmarks demonstrate the proposed method's effectiveness and efficiency.

语义细分（CISS）的课堂学习学习目前是一个经过深入研究的领域，旨在通过依次学习新的语义类别来更新语义分割模型。 CISS中的一个主要挑战是克服灾难性遗忘的影响，这描述了在模型接受新的一组课程培训之后，先前学习的类的准确性突然下降。尽管在减轻灾难性遗忘方面取得了最新进展，但在CISS中特别遗忘的根本原因尚未得到很好的理解。因此，在一组实验和代表性分析中，我们证明了背景类别的语义转移和对新类别的偏见是忘记CISS的主要原因。此外，我们表明两者都在网络的更深层分类层中表现出来，而模型的早期层没有影响。最后，我们证明了如何利用背景中包含的信息在知识蒸馏和无偏见的跨透镜损失的帮助下有效地减轻两种原因。

我们引入了一个新的培训范式，该范围对神经网络参数空间进行间隔约束以控制遗忘。当代持续学习（CL）方法从一系列数据流有效地培训神经网络，同时减少灾难性遗忘的负面影响，但它们不能提供任何确保的确保网络性能不会随着时间的流逝而无法控制地恶化。在这项工作中，我们展示了如何通过将模型的持续学习作为其参数空间的持续收缩来遗忘。为此，我们提出了Hypertrectangle训练，这是一种新的训练方法，其中每个任务都由参数空间中的超矩形表示，完全包含在先前任务的超矩形中。这种配方将NP-HARD CL问题降低到多项式时间，同时提供了完全防止遗忘的弹性。我们通过开发Intercontinet（间隔持续学习）算法来验证我们的主张，该算法利用间隔算术来有效地将参数区域建模为高矩形。通过实验结果，我们表明我们的方法在不连续的学习设置中表现良好，而无需存储以前的任务中的数据。

持续学习需要模型来学习新任务，同时保持先前学识到的知识。已经提出了各种算法来解决这一真正的挑战。到目前为止，基于排练的方法，例如经验重播，取得了最先进的性能。这些方法将过去任务的一小部分保存为内存缓冲区，以防止模型忘记以前学识的知识。但是，它们中的大多数情况都同样对待每一个新任务，即，在学习不同的新任务时修复了框架的超级参数。这样的设置缺乏对过去和新任务之间的关系/相似性的考虑。例如，与从公共汽车中学到的人相比，从狗的知识/特征比识别猫（新任务）更有益。在这方面，我们提出了一种基于BI级优化的元学习算法，以便自适应地调整从过去和新任务中提取的知识之间的关系。因此，该模型可以在持续学习期间找到适当的梯度方向，避免在内存缓冲区上的严重过度拟合问题。广泛的实验是在三个公开的数据集（即CiFar-10，CiFar-100和微小想象网）上进行的。实验结果表明，该方法可以一致地改善所有基线的性能。

近年来，在数字病理应用中，在研究和临床环境中越来越普遍的部署这些模型的部署证明了在数字病理应用中的深度学习模型的开发方面取得了巨大进步。尽管此类模型在解决DP应用程序中的基本计算任务方面表现出了前所未有的表现，但在适应转移学习的看不见数据时，它们会遭受灾难性的遗忘。随着对深度学习模型的需求越来越多地处理不断变化的数据分布，包括不断发展的患者人群和新的诊断测定法，持续的学习模型减轻了模型忘记的遗忘，需要在基于DP的分析中引入。但是，据我们所知，没有针对DP特定应用的此类模型的系统研究。在这里，我们提出了DP设置中的CL方案，其中的组织病理学图像数据来自不同来源/分布，其知识已集成到单个模型中，而无需从头开始训练所有数据。然后，我们建立了一个用于结直肠癌H＆E分类的增强数据集，以模拟图像外观的变化，并在拟议的CL方案中评估了CL模型性能。我们利用乳腺肿瘤H＆E数据集以及结直肠癌来评估不同肿瘤类型的CL。此外，我们在注释和计算资源的限制下在在线几弹性设置中评估了CL方法。我们揭示了DP应用中CL的有希望的结果，这可能为这些方法在临床实践中的应用铺平了道路。

Large pre-trained, zero-shot capable models have shown considerable success both for standard transfer and adaptation tasks, with particular robustness towards distribution shifts. In addition, subsequent fine-tuning can considerably improve performance on a selected downstream task. However, through naive fine-tuning, these zero-shot models lose their generalizability and robustness towards distribution shifts. This is a particular problem for tasks such as Continual Learning (CL), where continuous adaptation has to be performed as new task distributions are introduced sequentially. In this work, we showcase that where fine-tuning falls short to adapt such zero-shot capable models, simple momentum-based weight interpolation can provide consistent improvements for CL tasks in both memory-free and memory-based settings. In particular, we find improvements of over $+4\%$ on standard CL benchmarks, while reducing the error to the upper limit of jointly training on all tasks at once in parts by more than half, allowing the continual learner to inch closer to the joint training limits.