人的大脑能够依次地学习任务，而无需忘记。但是，深度神经网络（DNN）在学习一项任务时遭受灾难性遗忘。我们考虑了一个挑战，考虑了一个课堂学习方案，在该方案中，DNN看到测试数据而不知道该数据启动的任务。在培训期间，持续的捕获和选择（CP＆S）在DNN中找到了负责解决给定任务的子网。然后，在推理期间，CP＆S选择正确的子网以对该任务进行预测。通过培训DNN的可用神经元连接（以前未经训练）来创建一个新的子网络，从而通过修剪来学习一项新任务，该连接可以包括以前训练的其他子网络（S），因为它没有更新共享的连接，因为它可以属于其他子网络（S）。这使得通过在DNN中创建专门的区域而不会相互冲突的同时仍允许知识转移在其中，可以消除灾难性的遗忘。 CP＆S策略采用不同的子网络选择策略实施，揭示了在各种数据集（CIFAR-100，CUB-200，2011年，Imagenet-100和Imagenet-100）上测试的最先进的持续学习方法的卓越性能。特别是，CP＆S能够从Imagenet-1000中依次学习10个任务，以确保94％的精度，而遗忘可忽略不计，这是课堂学习学习的首要结果。据作者所知，与最佳替代方法相比，这表示准确性高于20％的改善。

在持续学习中使用神经网络中的任务特定组件（CL）是一种令人信服的策略，可以解决固定容量模型中稳定性 - 塑性困境，而无需访问过去的数据。当前方法仅着重于选择一个新任务的子网络，以减少忘记过去任务。但是，这种选择可能会限制有助于将来学习的相关过去知识的前瞻性转移。我们的研究表明，当统一的分类器用于所有类别的任务课程学习（class-il）时，共同满足这两个目标是更具挑战性的，因为这很容易跨越任务之间的类之间的歧义。此外，当跨任务的课程相似性增加时，挑战就会增加。为了应对这一挑战，我们提出了一种名为AFAF的新CL方法，旨在避免忘记并允许使用Fix-apainality模型在IL类中向前转移。 AFAF分配了一个子网络，该子网络可以选择性地转移相关知识到新任务，同时保留过去的知识，重复一些先前分配的组件以利用固定容量，并在存在相似之处时解决类型。该实验表明，AFAF在为模型提供多种CL所需属性方面的有效性，同时在具有不同语义相似性的各种具有挑战性的基准上优于最先进的方法。

Artificial neural networks thrive in solving the classification problem for a particular rigid task, acquiring knowledge through generalized learning behaviour from a distinct training phase. The resulting network resembles a static entity of knowledge, with endeavours to extend this knowledge without targeting the original task resulting in a catastrophic forgetting. Continual learning shifts this paradigm towards networks that can continually accumulate knowledge over different tasks without the need to retrain from scratch. We focus on task incremental classification, where tasks arrive sequentially and are delineated by clear boundaries. Our main contributions concern (1) a taxonomy and extensive overview of the state-of-the-art; (2) a novel framework to continually determine the stability-plasticity trade-off of the continual learner; (3) a comprehensive experimental comparison of 11 state-of-the-art continual learning methods and 4 baselines. We empirically scrutinize method strengths and weaknesses on three benchmarks, considering Tiny Imagenet and large-scale unbalanced iNaturalist and a sequence of recognition datasets. We study the influence of model capacity, weight decay and dropout regularization, and the order in which the tasks are presented, and qualitatively compare methods in terms of required memory, computation time and storage.

当在具有不同分布的数据集上不断学习时，神经网络往往会忘记以前学习的知识，这一现象被称为灾难性遗忘。数据集之间的分配更改会导致更多的遗忘。最近，基于参数 - 隔离的方法在克服遗忘时具有巨大的潜力。但是，当他们在培训过程中修复每个数据集的神经路径时，他们的概括不佳，并且在推断过程中需要数据集标签。此外，他们不支持向后的知识转移，因为它们优先于过去的数据。在本文中，我们提出了一种名为ADAPTCL的新的自适应学习方法，该方法完全重复使用并在学习的参数上生长，以克服灾难性的遗忘，并允许在不需要数据集标签的情况下进行积极的向后传输。我们提出的技术通过允许最佳的冷冻参数重复使用在相同的神经路径上生长。此外，它使用参数级数据驱动的修剪来为数据分配同等优先级。我们对MNIST变体，域和食物新鲜度检测数据集进行了广泛的实验，而无需数据集标签。结果表明，我们所提出的方法优于替代基线，可以最大程度地减少遗忘和实现积极的向后知识转移。

当随着时间的推移学习任务时，人工神经网络遭受称为灾难性遗忘（CF）的问题。当在训练网络的训练过程中覆盖网络的权重，导致忘记旧信息的新任务时，会发生这种情况。为了解决这个问题，我们提出了META可重复使用的知识或标记，这是一种新的方法，可以在学习新任务时促进重量可重用性而不是覆盖。具体来说，标记在任务之间保留一组共享权重。我们将这些共享权重设定为共同的知识库（KB），不仅用于学习新任务，而且还富有以丰富的新知识，因为模型了解新任务。标记背后的关键组件是两倍。一方面，冶金学习方法提供了逐步丰富KB的关键机制，并在任务之间促进重量可重用性。另一方面，一组培训掩模提供了选择性地从KB相关权重中选择的关键机制来解决每个任务。通过使用Mark，我们实现了最普遍的基准，在几个流行的基准中实现了最新的基准，在20分拆性MiniimAgenet数据集上超过了平均精度的最佳性能方法，同时使用55％的数量来实现几乎零遗忘参数。此外，消融研究提供了证据，实际上，标记正在学习每个任务选择性地使用的可重复使用的知识。

We motivate Energy-Based Models (EBMs) as a promising model class for continual learning problems. Instead of tackling continual learning via the use of external memory, growing models, or regularization, EBMs change the underlying training objective to cause less interference with previously learned information. Our proposed version of EBMs for continual learning is simple, efficient, and outperforms baseline methods by a large margin on several benchmarks. Moreover, our proposed contrastive divergence-based training objective can be combined with other continual learning methods, resulting in substantial boosts in their performance. We further show that EBMs are adaptable to a more general continual learning setting where the data distribution changes without the notion of explicitly delineated tasks. These observations point towards EBMs as a useful building block for future continual learning methods.

当前的深神经网络（DNN）被过度参数化，并在推断每个任务期间使用其大多数神经元连接。然而，人的大脑开发了针对不同任务的专门区域，并通过其神经元连接的一小部分进行推断。我们提出了一种迭代修剪策略，引入了一个简单的重要性评分度量度量，该指标可以停用不重要的连接，解决DNN中的过度参数化并调节射击模式。目的是找到仍然能够以可比精度解决给定任务的最小连接，即更简单的子网。我们在MNIST上实现了LENET体系结构的可比性能，并且与CIFAR-10/100和Tiny-ImageNet上的VGG和Resnet架构的最先进算法相比，参数压缩的性能明显更高。我们的方法对于考虑到ADAM和SGD的两个不同优化器也表现良好。该算法并非旨在在考虑当前的硬件和软件实现时最小化失败，尽管与最新技术相比，该算法的性能合理。

受到正规彩票假说（RLTH）的启发，该假说假设在密集网络中存在平稳（非二进制）子网，以实现密集网络的竞争性能，我们提出了几个播放类增量学习（FSCIL）方法。 to as \ emph {soft-subnetworks（softnet）}。我们的目标是逐步学习一系列会议，每个会议在每个课程中只包含一些培训实例，同时保留了先前学到的知识。软网络在基本训练会议上共同学习模型权重和自适应非二进制软面具，每个面具由主要和次要子网组成；前者的目的是最大程度地减少训练期间的灾难性遗忘，而后者的目的是避免在每个新培训课程中过度拟合一些样本。我们提供了全面的经验验证，表明我们的软网络通过超越基准数据集的最先进基准的性能来有效地解决了几个弹药的学习问题。

由于灾难性的遗忘，计算系统的持续学习是挑战。我们在果蝇嗅觉系统中发现了两个层神经循环，通过独特地组合稀疏编码和关联学习来解决这一挑战。在第一层中，使用稀疏，高尺寸表示来编码气味，这通过激活非重叠神经元的神经元以进行不同气味来减少内存干扰。在第二层中，在学习期间仅修改异味活性神经元和与气味相关的输出神经元之间的突触;冻结其余重量以防止不相关的存储器被覆盖。我们经验和分析显示，这种简单轻型的算法显着提高了不断的学习性能。飞行关联学习算法与经典的Perceptron学习算法引人注目，尽管我们表现出两种修改对于减少灾难性遗忘至关重要。总体而言，果蝇演变了一种有效的终身学习算法，可以转换来自神经科学的电路机制以改善机器计算。

Neural networks are prone to catastrophic forgetting when trained incrementally on different tasks. Popular incremental learning methods mitigate such forgetting by retaining a subset of previously seen samples and replaying them during the training on subsequent tasks. However, this is not always possible, e.g., due to data protection regulations. In such restricted scenarios, one can employ generative models to replay either artificial images or hidden features to a classifier. In this work, we propose Genifer (GENeratIve FEature-driven image Replay), where a generative model is trained to replay images that must induce the same hidden features as real samples when they are passed through the classifier. Our technique therefore incorporates the benefits of both image and feature replay, i.e.: (1) unlike conventional image replay, our generative model explicitly learns the distribution of features that are relevant for classification; (2) in contrast to feature replay, our entire classifier remains trainable; and (3) we can leverage image-space augmentations, which increase distillation performance while also mitigating overfitting during the training of the generative model. We show that Genifer substantially outperforms the previous state of the art for various settings on the CIFAR-100 and CUB-200 datasets.

This paper presents a method for adding multiple tasks to a single deep neural network while avoiding catastrophic forgetting. Inspired by network pruning techniques, we exploit redundancies in large deep networks to free up parameters that can then be employed to learn new tasks. By performing iterative pruning and network re-training, we are able to sequentially "pack" multiple tasks into a single network while ensuring minimal drop in performance and minimal storage overhead. Unlike prior work that uses proxy losses to maintain accuracy on older tasks, we always optimize for the task at hand. We perform extensive experiments on a variety of network architectures and largescale datasets, and observe much better robustness against catastrophic forgetting than prior work. In particular, we are able to add three fine-grained classification tasks to a single ImageNet-trained VGG-16 network and achieve accuracies close to those of separately trained networks for each task. Code available at https://github.com/ arunmallya/packnet

持续学习旨在从动态数据分布中学习一系列任务。如果不访问旧培训样本，难以确定的旧任务从旧任务转移，这可能是正面或负面的。如果旧知识干扰了新任务的学习，即，前瞻性知识转移是消极的，那么精确地记住旧任务将进一步加剧干扰，从而降低持续学习的性能。相比之下，通过调节学习触发的突触膨胀和突触收敛，生物神经网络可以积极忘记与新经验的学习冲突的旧知识。灵感来自于生物积极的遗忘，我们建议积极忘记限制新任务的学习以努力学习的旧知识。在贝叶斯持续学习的框架下，我们开发了一种名为积极遗忘的新方法，突触扩张 - 收敛（AFEC）。我们的方法动态扩展参数以了解每项新任务，然后选择性地结合它们，这与生物积极遗忘的底层机制正式一致。我们广泛地评估AFEC在各种持续的学习基准上，包括CIFAR-10回归任务，可视化分类任务和Atari加强任务，其中Afec有效提高了新任务的学习，并在插头中实现了最先进的性能 - 游戏方式。

这项工作调查了持续学习（CL）与转移学习（TL）之间的纠缠。特别是，我们阐明了网络预训练的广泛应用，强调它本身受到灾难性遗忘的影响。不幸的是，这个问题导致在以后任务期间知识转移的解释不足。在此基础上，我们提出了转移而不忘记（TWF），这是在固定的经过预定的兄弟姐妹网络上建立的混合方法，该方法不断传播源域中固有的知识，通过层次损失项。我们的实验表明，TWF在各种设置上稳步优于其他CL方法，在各种数据集和不同的缓冲尺寸上，平均每种类型的精度增长了4.81％。

增量任务学习（ITL）是一个持续学习的类别，试图培训单个网络以进行多个任务（一个接一个），其中每个任务的培训数据仅在培训该任务期间可用。当神经网络接受较新的任务培训时，往往会忘记旧任务。该特性通常被称为灾难性遗忘。为了解决此问题，ITL方法使用情节内存，参数正则化，掩盖和修剪或可扩展的网络结构。在本文中，我们提出了一个基于低级别分解的新的增量任务学习框架。特别是，我们表示每一层的网络权重作为几个等级1矩阵的线性组合。为了更新新任务的网络，我们学习一个排名1（或低级别）矩阵，并将其添加到每一层的权重。我们还引入了一个其他选择器向量，该向量将不同的权重分配给对先前任务的低级矩阵。我们表明，就准确性和遗忘而言，我们的方法的表现比当前的最新方法更好。与基于情节的内存和基于面具的方法相比，我们的方法还提供了更好的内存效率。我们的代码将在https://github.com/csiplab/task-increment-rank-update.git上找到。

Although deep learning approaches have stood out in recent years due to their state-of-the-art results, they continue to suffer from catastrophic forgetting, a dramatic decrease in overall performance when training with new classes added incrementally. This is due to current neural network architectures requiring the entire dataset, consisting of all the samples from the old as well as the new classes, to update the model-a requirement that becomes easily unsustainable as the number of classes grows. We address this issue with our approach to learn deep neural networks incrementally, using new data and only a small exemplar set corresponding to samples from the old classes. This is based on a loss composed of a distillation measure to retain the knowledge acquired from the old classes, and a cross-entropy loss to learn the new classes. Our incremental training is achieved while keeping the entire framework end-to-end, i.e., learning the data representation and the classifier jointly, unlike recent methods with no such guarantees. We evaluate our method extensively on the CIFAR-100 and Im-ageNet (ILSVRC 2012) image classification datasets, and show state-of-the-art performance.

In continual learning (CL), the goal is to design models that can learn a sequence of tasks without catastrophic forgetting. While there is a rich set of techniques for CL, relatively little understanding exists on how representations built by previous tasks benefit new tasks that are added to the network. To address this, we study the problem of continual representation learning (CRL) where we learn an evolving representation as new tasks arrive. Focusing on zero-forgetting methods where tasks are embedded in subnetworks (e.g., PackNet), we first provide experiments demonstrating CRL can significantly boost sample efficiency when learning new tasks. To explain this, we establish theoretical guarantees for CRL by providing sample complexity and generalization error bounds for new tasks by formalizing the statistical benefits of previously-learned representations. Our analysis and experiments also highlight the importance of the order in which we learn the tasks. Specifically, we show that CL benefits if the initial tasks have large sample size and high "representation diversity". Diversity ensures that adding new tasks incurs small representation mismatch and can be learned with few samples while training only few additional nonzero weights. Finally, we ask whether one can ensure each task subnetwork to be efficient during inference time while retaining the benefits of representation learning. To this end, we propose an inference-efficient variation of PackNet called Efficient Sparse PackNet (ESPN) which employs joint channel & weight pruning. ESPN embeds tasks in channel-sparse subnets requiring up to 80% less FLOPs to compute while approximately retaining accuracy and is very competitive with a variety of baselines. In summary, this work takes a step towards data and compute-efficient CL with a representation learning perspective. GitHub page: https://github.com/ucr-optml/CtRL

持续学习的目标（CL）是随着时间的推移学习不同的任务。与CL相关的主要Desiderata是在旧任务上保持绩效，利用后者来改善未来任务的学习，并在培训过程中引入最小的开销（例如，不需要增长的模型或再培训）。我们建议通过固定密度的稀疏神经网络来解决这些避难所的神经启发性塑性适应（NISPA）体系结构。 NISPA形成了稳定的途径，可以从较旧的任务中保存知识。此外，NISPA使用连接重新设计来创建新的塑料路径，以重用有关新任务的现有知识。我们对EMNIST，FashionMnist，CIFAR10和CIFAR100数据集的广泛评估表明，NISPA的表现明显胜过代表性的最先进的持续学习基线，并且与盆地相比，它的可学习参数最多少了十倍。我们还认为稀疏是持续学习的重要组成部分。 NISPA代码可在https://github.com/burakgurbuz97/nispa上获得。

持续的学习方法通​​过试图解决灾难性遗忘来帮助深度神经网络模型适应和逐步学习。但是，无论这些现有方法是否传统上应用于基于图像的任务，都具有与移动或嵌入式传感系统生成的顺序时间序列数据相同的疗效仍然是一个未解决的问题。为了解决这一空白，我们进行了第一项全面的经验研究，该研究量化了三个主要的持续学习方案的性能（即，在三个移动和嵌入式感应应用程序中的六个数据集中的三个主要的持续学习方案（即正规化，重播和重播）的性能。不同的学习复杂性。更具体地说，我们在Edge设备上实现了端到端连续学习框架。然后，我们研究了不同持续学习方法的性能，存储，计算成本和记忆足迹之间的普遍性，权衡。我们的发现表明，以示例性计划（例如ICARL）重播，即使在复杂的场景中，甚至在复杂的场景中都具有最佳的性能权衡，以牺牲一些存储空间（少数MB）来训练示例（1％至5％）。我们还首次证明，以有限的记忆预算进行连续学习，可行和实用。特别是，两种类型的移动设备和嵌入式设备的延迟表明，可以接受递增的学习时间（几秒钟-4分钟）和培训时间（1-75分钟），可以接受，因为嵌入式嵌入式时可能会在设备上进行培训设备正在充电，从而确保完整的数据隐私。最后，我们为希望将不断学习范式应用于移动传感任务的从业者提供了一些准则。

近年来，在数字病理应用中，在研究和临床环境中越来越普遍的部署这些模型的部署证明了在数字病理应用中的深度学习模型的开发方面取得了巨大进步。尽管此类模型在解决DP应用程序中的基本计算任务方面表现出了前所未有的表现，但在适应转移学习的看不见数据时，它们会遭受灾难性的遗忘。随着对深度学习模型的需求越来越多地处理不断变化的数据分布，包括不断发展的患者人群和新的诊断测定法，持续的学习模型减轻了模型忘记的遗忘，需要在基于DP的分析中引入。但是，据我们所知，没有针对DP特定应用的此类模型的系统研究。在这里，我们提出了DP设置中的CL方案，其中的组织病理学图像数据来自不同来源/分布，其知识已集成到单个模型中，而无需从头开始训练所有数据。然后，我们建立了一个用于结直肠癌H＆E分类的增强数据集，以模拟图像外观的变化，并在拟议的CL方案中评估了CL模型性能。我们利用乳腺肿瘤H＆E数据集以及结直肠癌来评估不同肿瘤类型的CL。此外，我们在注释和计算资源的限制下在在线几弹性设置中评估了CL方法。我们揭示了DP应用中CL的有希望的结果，这可能为这些方法在临床实践中的应用铺平了道路。

持续学习需要模型来学习新任务，同时保持先前学识到的知识。已经提出了各种算法来解决这一真正的挑战。到目前为止，基于排练的方法，例如经验重播，取得了最先进的性能。这些方法将过去任务的一小部分保存为内存缓冲区，以防止模型忘记以前学识的知识。但是，它们中的大多数情况都同样对待每一个新任务，即，在学习不同的新任务时修复了框架的超级参数。这样的设置缺乏对过去和新任务之间的关系/相似性的考虑。例如，与从公共汽车中学到的人相比，从狗的知识/特征比识别猫（新任务）更有益。在这方面，我们提出了一种基于BI级优化的元学习算法，以便自适应地调整从过去和新任务中提取的知识之间的关系。因此，该模型可以在持续学习期间找到适当的梯度方向，避免在内存缓冲区上的严重过度拟合问题。广泛的实验是在三个公开的数据集（即CiFar-10，CiFar-100和微小想象网）上进行的。实验结果表明，该方法可以一致地改善所有基线的性能。