持续学习 - 从一系列学习经验中积累知识 - 是一个重要但充满挑战的问题。在此范式中，由于看到其他数据，该模型的先前遇到实例的性能可能会大大下降。在处理类不平衡数据时，忘记进一步加剧了。先前的工作提出了基于重播的方法，旨在通过智能存储未来重播的实例来减少遗忘。尽管类平衡储层抽样（CBRS）在处理不平衡数据方面已经成功，但尚未考虑类内的多样性，隐含地假设类的每个实例都同样有用。我们提出了不同的cbrs（D-CBRS），这是一种算法，使我们可以在存储内存中的实例时在类多样性中考虑。我们的结果表明，D-CBR的表现优于最先进的存储器管理在具有相当大的内部多样性的数据集上的持续学习算法。

在线持续学习，尤其是在任务身份和任务边界不可用时，是一个挑战性的持续学习设置。一种代表性的在线持续学习方法是基于重播的方法，其中保留称为内存的重播缓冲区，以保留过去样本的一小部分，以克服灾难性的遗忘。当通过在线持续学习来解决时，大多数现有的基于重播的方法都集中在单标签问题上，其中数据流中的每个样本只有一个标签。但是，在在线持续学习环境中，多标签问题也可能发生，在线持续学习环境中，每个样本可能具有多个标签。在使用多标签样本的在线设置中，数据流中的类分布通常是高度不平衡的，并且在内存中控制类别的分配是一项挑战课程。但是，内存中的课程分布对于基于重播的内存至关重要，以获得良好的性能，尤其是当数据流中的类分布高度不平衡时。在本文中，我们提出了一种简单但有效的方法，称为多标签在线持续学习，称为内存中的班级分布（OCDM）。 OCDM将内存更新机制制定为优化问题，并通过解决此问题来更新内存。在两个广泛使用的多标签数据集上的实验表明，OCDM可以很好地控制内存中的类分布，并且可以胜过其他最先进的方法。

在线持续学习是一个充满挑战的学习方案，模型必须从非平稳的数据流中学习，其中每个样本只能看到一次。主要的挑战是在避免灾难性遗忘的同时逐步学习，即在从新数据中学习时忘记先前获得的知识的问题。在这种情况下，一种流行的解决方案是使用较小的内存来保留旧数据并随着时间的推移进行排练。不幸的是，由于内存尺寸有限，随着时间的推移，内存的质量会恶化。在本文中，我们提出了OLCGM，这是一种基于新型重放的持续学习策略，该策略使用知识冷凝技术连续压缩记忆并更好地利用其有限的尺寸。样品冷凝步骤压缩了旧样品，而不是像其他重播策略那样将其删除。结果，实验表明，每当与数据的复杂性相比，每当记忆预算受到限制，OLCGM都会提高与最先进的重播策略相比的最终准确性。

在不同的持续学习场景中可以经验经验评估模型的能力。每种情况都定义了限制和学习环境的机会。在这里，我们挑战了持续学习文学中的当前趋势，主要是在类渐进式场景上进行实验，其中一项经验中的课程从未被重新审视。我们对这种环境的过度注重可能是对持续学习的未来研究来限制，因为类增量场景人为地加剧了灾难性的遗忘，以牺牲其他重要目标等于前向传递和计算效率。在许多现实世界环境中，实际上，重复先前遇到的概念自然地发生，有助于软化对先前知识的破坏。我们倡导更深入地研究替代持续学习场景，其中重复通过传入信息流中的设计集成。从已经现有的提案开始，我们描述了这种级别的级别与重复方案的优势可以提供更全面的持续学习模型的评估。

持续学习（CL）旨在制定模仿人类能力顺序学习新任务的能力，同时能够保留从过去经验获得的知识。在本文中，我们介绍了内存约束在线连续学习（MC-OCL）的新问题，这对存储器开销对可能算法可以用于避免灾难性遗忘的记忆开销。最多，如果不是全部，之前的CL方法违反了这些约束，我们向MC-OCL提出了一种算法解决方案：批量蒸馏（BLD），基于正则化的CL方法，有效地平衡了稳定性和可塑性，以便学习数据流，同时保留通过蒸馏解决旧任务的能力。我们在三个公开的基准测试中进行了广泛的实验评估，经验证明我们的方法成功地解决了MC-OCL问题，并实现了需要更高内存开销的先前蒸馏方法的可比准确性。

持续的学习方法努力减轻灾难性遗忘（CF），在学习新任务时，从以前学习的任务中丢失了知识。在这些算法中，有些在训练时维护以前任务中的样本子集。这些样本称为内存。这些方法表现出出色的性能，同时在概念上简单易于实现。然而，尽管它们很受欢迎，但几乎没有做任何事情来理解要包含在记忆中的元素。当前，这种记忆通常是通过随机抽样填充的，没有指导原则可以有助于保留以前的知识。在这项工作中，我们提出了一个基于称为一致性意识采样（CAWS）的样本的学习一致性的标准。该标准优先考虑通过深网更容易学习的样本。我们对三种不同的基于内存的方法进行研究：AGEM，GDUMB和经验重播，在MNIST，CIFAR-10和CIFAR-100数据集上。我们表明，使用最一致的元素在受到计算预算的约束时会产生性能提高；如果在没有这种约束的情况下，随机抽样是一个强大的基线。但是，在经验重播上使用CAWS可以改善随机基线的性能。最后，我们表明CAWS取得了与流行的内存选择方法相似的结果，同时需要大大减少计算资源。

持续学习旨在从一系列任务中学习，能够同时记住新任务和旧任务。尽管提出了许多用于单级分类的方法，但在连续场景中，多标签分类仍然是一个具有挑战性的问题。我们第一次在域增量学习方案中研究多标签分类。此外，我们提出了一种有效的方法，该方法在任务数量方面具有对数复杂性，并且也可以在类增量学习方案中应用。我们在包装行业的现实世界多标签警报预测问题上验证了我们的方法。为了重现性，公开可用的数据集和用于实验的代码。

We motivate Energy-Based Models (EBMs) as a promising model class for continual learning problems. Instead of tackling continual learning via the use of external memory, growing models, or regularization, EBMs change the underlying training objective to cause less interference with previously learned information. Our proposed version of EBMs for continual learning is simple, efficient, and outperforms baseline methods by a large margin on several benchmarks. Moreover, our proposed contrastive divergence-based training objective can be combined with other continual learning methods, resulting in substantial boosts in their performance. We further show that EBMs are adaptable to a more general continual learning setting where the data distribution changes without the notion of explicitly delineated tasks. These observations point towards EBMs as a useful building block for future continual learning methods.

持续学习旨在通过以在线学习方式利用过去获得的知识，同时能够在所有以前的任务上表现良好，从而学习一系列任务，这对人工智能（AI）系统至关重要，因此持续学习与传统学习模式相比，更适合大多数现实和复杂的应用方案。但是，当前的模型通常在每个任务上的类标签上学习一个通用表示基础，并选择有效的策略来避免灾难性的遗忘。我们假设，仅从获得的知识中选择相关且有用的零件比利用整个知识更有效。基于这一事实，在本文中，我们提出了一个新框架，名为“选择相关的在线持续学习知识（SRKOCL），该框架结合了一种额外的有效频道注意机制，以选择每个任务的特定相关知识。我们的模型还结合了经验重播和知识蒸馏，以避免灾难性的遗忘。最后，在不同的基准上进行了广泛的实验，竞争性实验结果表明，我们提出的SRKOCL是针对最先进的承诺方法。

物联网系统中的微型机器学习（Tinyml）利用MCU作为数据处理的边缘设备。但是，传统的Tinyml方法只能执行推理，仅限于静态环境或类。真实情况通常在动态环境中起作用，从而将原始神经模型不再合适的上下文漂移。因此，预训练的模型降低了其一生中的准确性和可靠性，因为记录的数据缓慢变为过时或出现新模式。连续学习策略通过对参数进行运行时进行微调维护模型。本文比较了两个实际应用中的四种最新算法：i）基于加速度计数据的手势识别和ii）图像分类。我们的结果证实了这些系统的可靠性以及将它们部署到微小的MCUS中的可行性，相对于无约束计算平台的原始模型的精确度下降了几个百分点。

Online Class Incremental learning (CIL) is a challenging setting in Continual Learning (CL), wherein data of new tasks arrive in incoming streams and online learning models need to handle incoming data streams without revisiting previous ones. Existing works used a single centroid adapted with incoming data streams to characterize a class. This approach possibly exposes limitations when the incoming data stream of a class is naturally multimodal. To address this issue, in this work, we first propose an online mixture model learning approach based on nice properties of the mature optimal transport theory (OT-MM). Specifically, the centroids and covariance matrices of the mixture model are adapted incrementally according to incoming data streams. The advantages are two-fold: (i) we can characterize more accurately complex data streams and (ii) by using centroids for each class produced by OT-MM, we can estimate the similarity of an unseen example to each class more reasonably when doing inference. Moreover, to combat the catastrophic forgetting in the CIL scenario, we further propose Dynamic Preservation. Particularly, after performing the dynamic preservation technique across data streams, the latent representations of the classes in the old and new tasks become more condensed themselves and more separate from each other. Together with a contraction feature extractor, this technique facilitates the model in mitigating the catastrophic forgetting. The experimental results on real-world datasets show that our proposed method can significantly outperform the current state-of-the-art baselines.

我们探索无任务持续学习（CL），其中培训模型以避免在没有明确的任务边界或身份的情况下造成灾难性的遗忘。在无任务CL上的许多努力中，一个值得注意的方法是基于内存的，存储和重放训练示例的子集。然而，由于CL模型不断更新，所以存储的示例的效用可以随时间缩短。这里，我们提出基于梯度的存储器编辑（GMED），该框架是通过梯度更新在连续输入空间中编辑存储的示例的框架，以便为重放创建更多的“具有挑战性”示例。 GMED编辑的例子仍然类似于其未编辑的形式，但可以在即将到来的模型更新中产生增加的损失，从而使未来的重播在克服灾难性遗忘方面更有效。通过施工，GMED可以与其他基于内存的CL算法一起无缝应用，以进一步改进。实验验证了GMED的有效性，以及我们最好的方法显着优于基线和以前的五个数据集中的最先进。可以在https://github.com/ink-usc/gmed找到代码。

语义分割（CSS）的持续学习是一个快速新兴的领域，其中分割模型的功能通过学习新类或新域而逐渐改善。持续学习中的一个核心挑战是克服灾难性遗忘的影响，这是指在模型对新类或领域进行培训后，准确性突然下降了先前学习的任务。在持续分类中，通常通过重播以前任务中的少量样本来克服这种挑战，但是在CSS中很少考虑重播。因此，我们研究了各种重播策略对语义细分的影响，并在类和域内的环境中评估它们。我们的发现表明，在课堂开发环境中，至关重要的是，对于缓冲区中不同类别的不同类别的分布至关重要，以避免对新学习的班级产生偏见。在域内营养设置中，通过从学习特征表示的分布或通过中位熵选择样品来选择缓冲液样品是最有效的。最后，我们观察到，有效的抽样方法有助于减少早期层中的表示形式的变化，这是忘记域内收入学习的主要原因。

Lack of performance when it comes to continual learning over non-stationary distributions of data remains a major challenge in scaling neural network learning to more human realistic settings. In this work we propose a new conceptualization of the continual learning problem in terms of a temporally symmetric trade-off between transfer and interference that can be optimized by enforcing gradient alignment across examples. We then propose a new algorithm, Meta-Experience Replay (MER), that directly exploits this view by combining experience replay with optimization based meta-learning. This method learns parameters that make interference based on future gradients less likely and transfer based on future gradients more likely. 1 We conduct experiments across continual lifelong supervised learning benchmarks and non-stationary reinforcement learning environments demonstrating that our approach consistently outperforms recently proposed baselines for continual learning. Our experiments show that the gap between the performance of MER and baseline algorithms grows both as the environment gets more non-stationary and as the fraction of the total experiences stored gets smaller.

凭借持续学习的能力，人类可以在整个生命周期中不断获得知识。但是，一般而言，计算系统不能顺序学习任务。对深神经网络（DNN）的长期挑战称为灾难性遗忘。已经提出了多种解决方案来克服这一限制。本文对内存重播方法进行了深入的评估，从而探讨了选择重播数据时各种采样策略的效率，性能和可扩展性。所有实验均在各个域下的多个数据集上进行。最后，提供了为各种数据分布选择重播方法的实用解决方案。

深度学习模型在识别医学图像中的发现方面表现出了极大的有效性。但是，他们无法处理不断变化的临床环境，从而带来了来自不同来源的新注释的医学数据。为了利用传入的数据流，这些模型将在很大程度上受益于从新样本中依次学习，而不会忘记先前获得的知识。在本文中，我们通过应用现有的最新持续学习方法介绍了MedMnist收集中连续疾病分类的基准。特别是，我们考虑了三种连续的学习方案，即任务和班级增量学习以及新定义的跨域增量学习。疾病的任务和班级增量学习解决了对新样本进行分类的问题，而无需重新从头开始模型，而跨域增量学习解决了处理源自不同机构的数据集的问题，同时保留了先前获得的知识。我们对表现进行彻底的分析，并研究如何在这种情况下表现出灾难性遗忘的持续学习挑战。令人鼓舞的结果表明，持续学习具有推进疾病分类并为临床环境产生更强大，更有效的学习框架的主要潜力。将公开提供完整基准测试的代码存储库，数据分区和基线结果。

人类在整个生命周期中不断学习，通过积累多样化的知识并为未来的任务进行微调。当出现类似目标时，神经网络会遭受灾难性忘记，在学习过程中跨顺序任务跨好任务的数据分布是否不固定。解决此类持续学习（CL）问题的有效方法是使用超网络为目标网络生成任务依赖权重。但是，现有基于超网的方法的持续学习性能受到整个层之间权重的独立性的假设，以维持参数效率。为了解决这一限制，我们提出了一种新颖的方法，该方法使用依赖关系保留超网络来为目标网络生成权重，同时还保持参数效率。我们建议使用基于复发的神经网络（RNN）的超网络，该网络可以有效地生成层权重，同时允许在它们的依赖关系中。此外，我们为基于RNN的超网络提出了新颖的正则化和网络增长技术，以进一步提高持续的学习绩效。为了证明所提出的方法的有效性，我们对几个图像分类持续学习任务和设置进行了实验。我们发现，基于RNN HyperNetworks的建议方法在所有这些CL设置和任务中都优于基准。

Continual Learning is a step towards lifelong intelligence where models continuously learn from recently collected data without forgetting previous knowledge. Existing continual learning approaches mostly focus on image classification in the class-incremental setup with clear task boundaries and unlimited computational budget. This work explores Online Domain-Incremental Continual Segmentation~(ODICS), a real-world problem that arises in many applications, \eg, autonomous driving. In ODICS, the model is continually presented with batches of densely labeled images from different domains; computation is limited and no information about the task boundaries is available. In autonomous driving, this may correspond to the realistic scenario of training a segmentation model over time on a sequence of cities. We analyze several existing continual learning methods and show that they do not perform well in this setting despite working well in class-incremental segmentation. We propose SimCS, a parameter-free method complementary to existing ones that leverages simulated data as a continual learning regularizer. Extensive experiments show consistent improvements over different types of continual learning methods that use regularizers and even replay.

A continual learning agent learns online with a non-stationary and never-ending stream of data. The key to such learning process is to overcome the catastrophic forgetting of previously seen data, which is a well known problem of neural networks. To prevent forgetting, a replay buffer is usually employed to store the previous data for the purpose of rehearsal. Previous works often depend on task boundary and i.i.d. assumptions to properly select samples for the replay buffer. In this work, we formulate sample selection as a constraint reduction problem based on the constrained optimization view of continual learning. The goal is to select a fixed subset of constraints that best approximate the feasible region defined by the original constraints. We show that it is equivalent to maximizing the diversity of samples in the replay buffer with parameters gradient as the feature. We further develop a greedy alternative that is cheap and efficient. The advantage of the proposed method is demonstrated by comparing to other alternatives under the continual learning setting. Further comparisons are made against state of the art methods that rely on task boundaries which show comparable or even better results for our method.

无监督的终身学习是指随着时间的流逝学习的能力，同时在没有监督的情况下记住以前的模式。以前的作品假设了有关传入数据（例如，了解类边界）的强大先验知识，这些数据是在复杂且不可预测的环境中无法获得的。在本文中，以现实世界情景的启发，我们通过类外的流媒体数据正式定义了在线无监督的终身学习问题，该数据是非IID和单次通道。由于缺乏标签和先验知识，该问题比现有的终身学习问题更具挑战性。为了解决这个问题，我们提出了自我监督的对比终身学习（比例），该学习提取并记住了知识。规模围绕三个主要组成部分进行设计：伪监督的对比损失，自我监督的遗忘损失以及统一子集选择的在线记忆更新。这三个组件旨在协作以最大程度地提高学习表现。我们的损失功能利用成对相似性，因此消除了对监督或先验知识的依赖。我们在IID和四个非IID数据流下进行了全面的规模实验。在所有设置上，缩放量优于最佳最新算法，在CIFAR-10，CIFAR-100和Subimagenet数据集上，提高了高达6.43％，5.23％和5.86％的KNN精度。