最近的自我监督学习方法能够学习高质量的图像表示，并通过监督方法关闭差距。但是，这些方法无法逐步获取新的知识 - 事实上，它们实际上主要仅用为具有IID数据的预训练阶段。在这项工作中，我们在没有额外的记忆或重放的情况下调查持续学习制度的自我监督方法。为防止忘记以前的知识，我们提出了功能正规化的使用。我们将表明，朴素的功能正则化，也称为特征蒸馏，导致可塑性的低可塑性，因此严重限制了连续的学习性能。为了解决这个问题，我们提出了预测的功能正则化，其中一个单独的投影网络确保新学习的特征空间保留了先前的特征空间的信息，同时允许学习新功能。这使我们可以防止在保持学习者的可塑性时忘记。针对应用于自我监督的其他增量学习方法的评估表明我们的方法在不同场景和多个数据集中获得竞争性能。

当自我监督的模型已经显示出比在规模上未标记的数据训练的情况下的监督对方的可比视觉表现。然而，它们的功效在持续的学习（CL）场景中灾难性地减少，其中数据被顺序地向模型呈现给模型。在本文中，我们表明，通过添加将表示的当前状态映射到其过去状态，可以通过添加预测的网络来无缝地转换为CL的蒸馏机制。这使我们能够制定一个持续自我监督的视觉表示的框架，学习（i）显着提高了学习象征的质量，（ii）与若干最先进的自我监督目标兼容（III）几乎没有近似参数调整。我们通过在各种CL设置中培训六种受欢迎的自我监督模型来证明我们的方法的有效性。

Despite significant advances, the performance of state-of-the-art continual learning approaches hinges on the unrealistic scenario of fully labeled data. In this paper, we tackle this challenge and propose an approach for continual semi-supervised learning -- a setting where not all the data samples are labeled. An underlying issue in this scenario is the model forgetting representations of unlabeled data and overfitting the labeled ones. We leverage the power of nearest-neighbor classifiers to non-linearly partition the feature space and learn a strong representation for the current task, as well as distill relevant information from previous tasks. We perform a thorough experimental evaluation and show that our method outperforms all the existing approaches by large margins, setting a strong state of the art on the continual semi-supervised learning paradigm. For example, on CIFAR100 we surpass several others even when using at least 30 times less supervision (0.8% vs. 25% of annotations).

对于人工学习系统，随着时间的流逝，从数据流进行持续学习至关重要。对监督持续学习的新兴研究取得了长足的进步，而无监督学习中灾难性遗忘的研究仍然是空白的。在无监督的学习方法中，自居民学习方法在视觉表示上显示出巨大的潜力，而无需大规模标记的数据。为了改善自我监督学习的视觉表示，需要更大和更多的数据。在现实世界中，始终生成未标记的数据。这种情况为学习自我监督方法提供了巨大的优势。但是，在当前的范式中，将先前的数据和当前数据包装在一起并再次培训是浪费时间和资源。因此，迫切需要一种持续的自我监督学习方法。在本文中，我们首次尝试通过提出彩排方法来实现连续的对比自我监督学习，从而使以前的数据保持了一些典范。我们通过模仿旧网络通过一组保存的示例，通过模仿旧网络推断出的相似性分数分布，而不是将保存的示例与当前数据集结合到当前的培训数据集，而是利用自我监督的知识蒸馏将对比度信息传输到当前网络。此外，我们建立一个额外的样本队列，以帮助网络区分以前的数据和当前数据并在学习自己的功能表示时防止相互干扰。实验结果表明，我们的方法在CIFAR100和Imagenet-Sub上的性能很好。与基线的学习任务无需采用任何技术，我们将图像分类在CIFAR100上提高了1.60％，Imagenet-Sub上的2.86％，在10个增量步骤设置下对Imagenet-Full进行1.29％。

持续学习（CL）旨在从依次到达的任务中学习，而无需忘记以前的任务。尽管CL算法试图在到目前为止所学的所有任务中实现更高的平均测试准确性，但学习对成功的概括和下游转移至关重要。为了衡量代表性质量，我们仅使用一个小平衡数据集对所有任务进行重新培训，从而评估平均准确性，而无需对当前任务进行任何偏见的预测。我们还测试了几个下游任务，测量了学习表示的转移学习准确性。通过测试我们在Imagenet-100和Imagenet-1000上的新形式主义，我们发现使用更多的示例记忆是在学习的表示形式中产生有意义差异的唯一选择，以及大多数基于正则化或蒸馏的CL算法，都使用了示例记忆无法在课堂学习学习中学习不断有用的表示。令人惊讶的是，具有足够记忆大小的无监督（或自制的）CL可以达到与受监督对应物相当的性能。考虑到非平凡的标签成本，我们声称找到更有效的无监督CL算法，这些算法最少使用示例性记忆将是CL研究的下一个有希望的方向。

持续学习（CL）调查如何在无需遗忘的情况下培训在任务流上的深网络。文献中提出的CL设置假设每个传入示例都与地面真实注释配对。然而，这与许多真实应用的冲突这项工作探讨了持续的半监督学习（CSSL）：这里只有一小部分标记的输入示例显示给学习者。我们评估当前CL方法（例如：EWC，LWF，Icarl，ER，GDumb，Der）在这部小说和具有挑战性的情况下，过度装箱纠缠忘记。随后，我们设计了一种新的CSSL方法，用于在学习时利用度量学习和一致性正则化来利用未标记的示例。我们展示我们的提案对监督越来越令人惊讶的是，我们的提案呈现出更高的恢复能力，甚至更令人惊讶地，仅依赖于25％的监督，以满足全面监督培训的优于营业型SOTA方法。

General Continual Learning (GCL) aims at learning from non independent and identically distributed stream data without catastrophic forgetting of the old tasks that don't rely on task boundaries during both training and testing stages. We reveal that the relation and feature deviations are crucial problems for catastrophic forgetting, in which relation deviation refers to the deficiency of the relationship among all classes in knowledge distillation, and feature deviation refers to indiscriminative feature representations. To this end, we propose a Complementary Calibration (CoCa) framework by mining the complementary model's outputs and features to alleviate the two deviations in the process of GCL. Specifically, we propose a new collaborative distillation approach for addressing the relation deviation. It distills model's outputs by utilizing ensemble dark knowledge of new model's outputs and reserved outputs, which maintains the performance of old tasks as well as balancing the relationship among all classes. Furthermore, we explore a collaborative self-supervision idea to leverage pretext tasks and supervised contrastive learning for addressing the feature deviation problem by learning complete and discriminative features for all classes. Extensive experiments on four popular datasets show that our CoCa framework achieves superior performance against state-of-the-art methods. Code is available at https://github.com/lijincm/CoCa.

持续学习旨在快速，不断地从一系列任务中学习当前的任务。与其他类型的方法相比，基于经验重播的方法表现出了极大的优势来克服灾难性的遗忘。该方法的一个常见局限性是上一个任务和当前任务之间的数据不平衡，这将进一步加剧遗忘。此外，如何在这种情况下有效解决稳定性困境也是一个紧迫的问题。在本文中，我们通过提出一个通过多尺度知识蒸馏和数据扩展（MMKDDA）提出一个名为Meta学习更新的新框架来克服这些挑战。具体而言，我们应用多尺度知识蒸馏来掌握不同特征级别的远程和短期空间关系的演变，以减轻数据不平衡问题。此外，我们的方法在在线持续训练程序中混合了来自情节记忆和当前任务的样品，从而减轻了由于概率分布的变化而减轻了侧面影响。此外，我们通过元学习更新来优化我们的模型，该更新诉诸于前面所看到的任务数量，这有助于保持稳定性和可塑性之间的更好平衡。最后，我们对四个基准数据集的实验评估显示了提出的MMKDDA框架对其他流行基线的有效性，并且还进行了消融研究，以进一步分析每个组件在我们的框架中的作用。

Online continual learning (OCL) aims to enable model learning from a non-stationary data stream to continuously acquire new knowledge as well as retain the learnt one, under the constraints of having limited system size and computational cost, in which the main challenge comes from the "catastrophic forgetting" issue -- the inability to well remember the learnt knowledge while learning the new ones. With the specific focus on the class-incremental OCL scenario, i.e. OCL for classification, the recent advance incorporates the contrastive learning technique for learning more generalised feature representation to achieve the state-of-the-art performance but is still unable to fully resolve the catastrophic forgetting. In this paper, we follow the strategy of adopting contrastive learning but further introduce the semantically distinct augmentation technique, in which it leverages strong augmentation to generate more data samples, and we show that considering these samples semantically different from their original classes (thus being related to the out-of-distribution samples) in the contrastive learning mechanism contributes to alleviate forgetting and facilitate model stability. Moreover, in addition to contrastive learning, the typical classification mechanism and objective (i.e. softmax classifier and cross-entropy loss) are included in our model design for faster convergence and utilising the label information, but particularly equipped with a sampling strategy to tackle the tendency of favouring the new classes (i.e. model bias towards the recently learnt classes). Upon conducting extensive experiments on CIFAR-10, CIFAR-100, and Mini-Imagenet datasets, our proposed method is shown to achieve superior performance against various baselines.

持续学习旨在通过以在线学习方式利用过去获得的知识，同时能够在所有以前的任务上表现良好，从而学习一系列任务，这对人工智能（AI）系统至关重要，因此持续学习与传统学习模式相比，更适合大多数现实和复杂的应用方案。但是，当前的模型通常在每个任务上的类标签上学习一个通用表示基础，并选择有效的策略来避免灾难性的遗忘。我们假设，仅从获得的知识中选择相关且有用的零件比利用整个知识更有效。基于这一事实，在本文中，我们提出了一个新框架，名为“选择相关的在线持续学习知识（SRKOCL），该框架结合了一种额外的有效频道注意机制，以选择每个任务的特定相关知识。我们的模型还结合了经验重播和知识蒸馏，以避免灾难性的遗忘。最后，在不同的基准上进行了广泛的实验，竞争性实验结果表明，我们提出的SRKOCL是针对最先进的承诺方法。

在本文中，我们为连续表示学习问题提出了一种新颖的培训程序，其中依次学习了神经网络模型，以减轻视觉搜索任务中的灾难性遗忘。我们的方法称为对比度有监督的蒸馏（CSD），在学习判别特征的同时，还会减少忘记。这是通过在蒸馏设置中利用标签信息来实现的，在蒸馏设置中，从教师模型中对学生模型进行了相反的学习。广泛的实验表明，CSD在减轻灾难性遗忘方面的表现优于当前最新方法。我们的结果还提供了进一步的证据，表明在视觉检索任务中评估的功能忘记不像分类任务那样灾难性。代码：https：//github.com/niccobiondi/contrastivesupervisedistillation。

In this paper, we work on a sound recognition system that continually incorporates new sound classes. Our main goal is to develop a framework where the model can be updated without relying on labeled data. For this purpose, we propose adopting representation learning, where an encoder is trained using unlabeled data. This learning framework enables the study and implementation of a practically relevant use case where only a small amount of the labels is available in a continual learning context. We also make the empirical observation that a similarity-based representation learning method within this framework is robust to forgetting even if no explicit mechanism against forgetting is employed. We show that this approach obtains similar performance compared to several distillation-based continual learning methods when employed on self-supervised representation learning methods.

持续深度学习的领域是一个新兴领域，已经取得了很多进步。但是，同时仅根据图像分类的任务进行了大多数方法，这在智能车辆领域无关。直到最近才提出了班级开展语义分割的方法。但是，所有这些方法都是基于某种形式的知识蒸馏。目前，尚未对基于重播的方法进行调查，这些方法通常在连续的环境中用于对象识别。同时，尽管无监督的语义分割的域适应性获得了很多吸引力，但在持续环境中有关域内收入学习的调查并未得到充分研究。因此，我们工作的目的是评估和调整已建立的解决方案，以连续对象识别语义分割任务，并为连续语义分割的任务提供基线方法和评估协议。首先，我们介绍了类和域内的分割的评估协议，并分析了选定的方法。我们表明，语义分割变化的任务的性质在减轻与图像分类相比最有效的方法中最有效。特别是，在课堂学习中，学习知识蒸馏被证明是至关重要的工具，而在域内，学习重播方法是最有效的方法。

这项工作调查了持续学习（CL）与转移学习（TL）之间的纠缠。特别是，我们阐明了网络预训练的广泛应用，强调它本身受到灾难性遗忘的影响。不幸的是，这个问题导致在以后任务期间知识转移的解释不足。在此基础上，我们提出了转移而不忘记（TWF），这是在固定的经过预定的兄弟姐妹网络上建立的混合方法，该方法不断传播源域中固有的知识，通过层次损失项。我们的实验表明，TWF在各种设置上稳步优于其他CL方法，在各种数据集和不同的缓冲尺寸上，平均每种类型的精度增长了4.81％。

Continual Learning (CL) is a field dedicated to devise algorithms able to achieve lifelong learning. Overcoming the knowledge disruption of previously acquired concepts, a drawback affecting deep learning models and that goes by the name of catastrophic forgetting, is a hard challenge. Currently, deep learning methods can attain impressive results when the data modeled does not undergo a considerable distributional shift in subsequent learning sessions, but whenever we expose such systems to this incremental setting, performance drop very quickly. Overcoming this limitation is fundamental as it would allow us to build truly intelligent systems showing stability and plasticity. Secondly, it would allow us to overcome the onerous limitation of retraining these architectures from scratch with the new updated data. In this thesis, we tackle the problem from multiple directions. In a first study, we show that in rehearsal-based techniques (systems that use memory buffer), the quantity of data stored in the rehearsal buffer is a more important factor over the quality of the data. Secondly, we propose one of the early works of incremental learning on ViTs architectures, comparing functional, weight and attention regularization approaches and propose effective novel a novel asymmetric loss. At the end we conclude with a study on pretraining and how it affects the performance in Continual Learning, raising some questions about the effective progression of the field. We then conclude with some future directions and closing remarks.

古典机器学习者仅设计用于解决一项任务，而无需采用新的新兴任务或课程，而这种能力在现实世界中更实用和人类。为了解决这种缺点，阐述了持续的机器学习者，以表彰使用域和班级的任务流，不同的任务之间的转变。在本文中，我们提出了一种基于一个基于对比的连续学习方法，其能够处理多个持续学习场景。具体地，我们通过特征传播和对比表示学习来对准当前和先前的表示空间来弥合不同任务之间的域移位。为了进一步减轻特征表示的类别的班次，利用了监督的对比损失以使与不同类别的相同类的示例嵌入。广泛的实验结果表明，与一组尖端连续学习方法相比，六个连续学习基准中提出的方法的出色性能。

Artificial neural networks thrive in solving the classification problem for a particular rigid task, acquiring knowledge through generalized learning behaviour from a distinct training phase. The resulting network resembles a static entity of knowledge, with endeavours to extend this knowledge without targeting the original task resulting in a catastrophic forgetting. Continual learning shifts this paradigm towards networks that can continually accumulate knowledge over different tasks without the need to retrain from scratch. We focus on task incremental classification, where tasks arrive sequentially and are delineated by clear boundaries. Our main contributions concern (1) a taxonomy and extensive overview of the state-of-the-art; (2) a novel framework to continually determine the stability-plasticity trade-off of the continual learner; (3) a comprehensive experimental comparison of 11 state-of-the-art continual learning methods and 4 baselines. We empirically scrutinize method strengths and weaknesses on three benchmarks, considering Tiny Imagenet and large-scale unbalanced iNaturalist and a sequence of recognition datasets. We study the influence of model capacity, weight decay and dropout regularization, and the order in which the tasks are presented, and qualitatively compare methods in terms of required memory, computation time and storage.

根据互补学习系统（CLS）理论〜\ cite {mcclelland1995there}在神经科学中，人类通过两个补充系统有效\ emph {持续学习}：一种快速学习系统，以海马为中心，用于海马，以快速学习细节，个人体验，个人体验，个人体验，个人体验，个人体验，个人体验，个人体验，个人体验的快速学习， ;以及位于新皮层中的缓慢学习系统，以逐步获取有关环境的结构化知识。在该理论的激励下，我们提出\ emph {dualnets}（对于双网络），这是一个一般的持续学习框架，该框架包括一个快速学习系统，用于监督从特定任务和慢速学习系统中的模式分离代表学习，用于表示任务的慢学习系统 - 不可知论的一般代表通过自我监督学习（SSL）。双网符可以无缝地将两种表示类型纳入整体框架中，以促进在深层神经网络中更好地持续学习。通过广泛的实验，我们在各种持续的学习协议上展示了双网络的有希望的结果，从标准离线，任务感知设置到具有挑战性的在线，无任务的场景。值得注意的是，在Ctrl〜 \ Cite {veniat2020202020202020202020202020202020202020202020202020202020202021- coite {ostapenko2021-continual}的基准中。此外，我们进行了全面的消融研究，以验证双nets功效，鲁棒性和可伸缩性。代码可在\ url {https://github.com/phquang/dualnet}上公开获得。

持续学习（CL）旨在开发单一模型适应越来越多的任务的技术，从而潜在地利用跨任务的学习以资源有效的方式。 CL系统的主要挑战是灾难性的遗忘，在学习新任务时忘记了早期的任务。为了解决此问题，基于重播的CL方法在遇到遇到任务中选择的小缓冲区中维护和重复培训。我们提出梯度Coreset重放（GCR），一种新颖的重播缓冲区选择和使用仔细设计的优化标准的更新策略。具体而言，我们选择并维护一个“Coreset”，其与迄今为止关于当前模型参数的所有数据的梯度紧密近似，并讨论其有效应用于持续学习设置所需的关键策略。在学习的离线持续学习环境中，我们在最先进的最先进的最先进的持续学习环境中表现出显着的收益（2％-4％）。我们的调查结果还有效地转移到在线/流媒体CL设置，从而显示现有方法的5％。最后，我们展示了持续学习的监督对比损失的价值，当与我们的子集选择策略相结合时，累计增益高达5％。

先前的关于自我监督预训练的研究重点是联合培训方案，在该场景中，假定大量未标记的数据一次性地将其作为输入，只有那时才受过培训的学习者。不幸的是，这种问题设置通常是不切实际的，即使不是不可行的，因为许多现实世界的任务依赖于顺序学习，例如，数据是以流方式分散或收集的。在本文中，我们对通过流数据进行了对自我监督的预训练进行了首次彻底而专门的研究，旨在阐明这种被忽视的设置下的模型行为。具体而言，我们在来自ImageNet和域内的四类预训练流数据数据上预先培训超过500个模型，并在三种类型的下游任务和12个不同的下游数据集上对其进行评估。我们的研究表明，以某种方式超出了我们的期望，通过简单的数据重播或参数正则化，顺序的自我监督预训练的预训练证明是联合预训练的有效替代方法，因为前者的性能主要与这些培训相同后者。此外，灾难性的遗忘是顺序监督学习中的一个常见问题，在顺序的自学学习（SSL）中得到了极大的缓解，这是通过我们对损失景观中最小值的表示和敏锐度的全面经验分析来很好地证明的。因此，我们的发现表明，在实践中，对于SSL，可以主要通过顺序学习来代替繁琐的联合培训，这反过来又可以更广泛的潜在应用方案。