持续的学习旨在不断学习多个传入的新任务，并将学习任务的绩效保持一致。但是，现有的关于持续学习的研究假设对象的姿势是预先定义和良好的。对于实际应用，这项工作着重于姿势不合时宜的持续学习任务，在该任务中，对象的姿势动态和不可预测地变化。从过去的方法中采用的点云增加将随着连续学习过程中的任务增加而急剧上升。为了解决这个问题，我们将模棱两可作为额外的先验知识注入网络。我们提出了一个新颖的持续学习模型，该模型有效地提炼了先前任务的几何模棱两可信息。该实验表明，我们的方法克服了几个主流点云数据集中姿势无关方案的挑战。我们进一步进行消融研究，以评估方法的每个组成部分的验证。

灾难性的遗忘是阻碍在持续学习环境中部署深度学习算法的一个重大问题。已经提出了许多方法来解决灾难性的遗忘问题，在学习新任务时，代理商在旧任务中失去了其旧任务的概括能力。我们提出了一项替代策略，可以通过知识合并（CFA）处理灾难性遗忘，该策略从多个专门从事以前任务的多个异构教师模型中学习了学生网络，并可以应用于当前的离线方法。知识融合过程以单头方式进行，只有选定数量的记忆样本，没有注释。教师和学生不需要共享相同的网络结构，可以使异质任务适应紧凑或稀疏的数据表示。我们将我们的方法与不同策略的竞争基线进行比较，证明了我们的方法的优势。

持续学习旨在通过以在线学习方式利用过去获得的知识，同时能够在所有以前的任务上表现良好，从而学习一系列任务，这对人工智能（AI）系统至关重要，因此持续学习与传统学习模式相比，更适合大多数现实和复杂的应用方案。但是，当前的模型通常在每个任务上的类标签上学习一个通用表示基础，并选择有效的策略来避免灾难性的遗忘。我们假设，仅从获得的知识中选择相关且有用的零件比利用整个知识更有效。基于这一事实，在本文中，我们提出了一个新框架，名为“选择相关的在线持续学习知识（SRKOCL），该框架结合了一种额外的有效频道注意机制，以选择每个任务的特定相关知识。我们的模型还结合了经验重播和知识蒸馏，以避免灾难性的遗忘。最后，在不同的基准上进行了广泛的实验，竞争性实验结果表明，我们提出的SRKOCL是针对最先进的承诺方法。

持续学习旨在快速，不断地从一系列任务中学习当前的任务。与其他类型的方法相比，基于经验重播的方法表现出了极大的优势来克服灾难性的遗忘。该方法的一个常见局限性是上一个任务和当前任务之间的数据不平衡，这将进一步加剧遗忘。此外，如何在这种情况下有效解决稳定性困境也是一个紧迫的问题。在本文中，我们通过提出一个通过多尺度知识蒸馏和数据扩展（MMKDDA）提出一个名为Meta学习更新的新框架来克服这些挑战。具体而言，我们应用多尺度知识蒸馏来掌握不同特征级别的远程和短期空间关系的演变，以减轻数据不平衡问题。此外，我们的方法在在线持续训练程序中混合了来自情节记忆和当前任务的样品，从而减轻了由于概率分布的变化而减轻了侧面影响。此外，我们通过元学习更新来优化我们的模型，该更新诉诸于前面所看到的任务数量，这有助于保持稳定性和可塑性之间的更好平衡。最后，我们对四个基准数据集的实验评估显示了提出的MMKDDA框架对其他流行基线的有效性，并且还进行了消融研究，以进一步分析每个组件在我们的框架中的作用。

人类的持续学习（CL）能力与稳定性与可塑性困境密切相关，描述了人类如何实现持续的学习能力和保存的学习信息。自发育以来，CL的概念始终存在于人工智能（AI）中。本文提出了对CL的全面审查。与之前的评论不同，主要关注CL中的灾难性遗忘现象，本文根据稳定性与可塑性机制的宏观视角来调查CL。类似于生物对应物，“智能”AI代理商应该是I）记住以前学到的信息（信息回流）; ii）不断推断新信息（信息浏览:); iii）转移有用的信息（信息转移），以实现高级CL。根据分类学，评估度量，算法，应用以及一些打开问题。我们的主要贡献涉及I）从人工综合情报层面重新检查CL; ii）在CL主题提供详细和广泛的概述; iii）提出一些关于CL潜在发展的新颖思路。

在课堂增量学习（CIL）设置中，在每个学习阶段将类别组引入模型。目的是学习到目前为止观察到的所有类别的统一模型表现。鉴于视觉变压器（VIT）在常规分类设置中的最新流行，一个有趣的问题是研究其持续学习行为。在这项工作中，我们为CIL开发了一个伪造的双蒸馏变压器，称为$ \ textrm {d}^3 \ textrm {前} $。提出的模型利用混合嵌套的VIT设计，以确保数据效率和可扩展性对小数据集和大数据集。与最近的基于VIT的CIL方法相反，我们的$ \ textrm {d}^3 \ textrm {前} $在学习新任务并仍然适用于大量增量任务时不会动态扩展其体系结构。 $ \ textrm {d}^3 \ textrm {oft} $的CIL行为的改善归功于VIT设计的两个基本变化。首先，我们将增量学习视为一个长尾分类问题，其中大多数新课程的大多数样本都超过了可用于旧课程的有限范例。为了避免对少数族裔的偏见，我们建议动态调整逻辑，以强调保留与旧任务相关的表示形式。其次，我们建议在学习跨任务进行时保留空间注意图的配置。这有助于减少灾难性遗忘，通过限制模型以将注意力保留到最歧视区域上。 $ \ textrm {d}^3 \ textrm {以前} $在CIFAR-100，MNIST，SVHN和Imagenet数据集的增量版本上获得了有利的结果。

Continual Learning (CL) is a field dedicated to devise algorithms able to achieve lifelong learning. Overcoming the knowledge disruption of previously acquired concepts, a drawback affecting deep learning models and that goes by the name of catastrophic forgetting, is a hard challenge. Currently, deep learning methods can attain impressive results when the data modeled does not undergo a considerable distributional shift in subsequent learning sessions, but whenever we expose such systems to this incremental setting, performance drop very quickly. Overcoming this limitation is fundamental as it would allow us to build truly intelligent systems showing stability and plasticity. Secondly, it would allow us to overcome the onerous limitation of retraining these architectures from scratch with the new updated data. In this thesis, we tackle the problem from multiple directions. In a first study, we show that in rehearsal-based techniques (systems that use memory buffer), the quantity of data stored in the rehearsal buffer is a more important factor over the quality of the data. Secondly, we propose one of the early works of incremental learning on ViTs architectures, comparing functional, weight and attention regularization approaches and propose effective novel a novel asymmetric loss. At the end we conclude with a study on pretraining and how it affects the performance in Continual Learning, raising some questions about the effective progression of the field. We then conclude with some future directions and closing remarks.

人类智慧的主食是以不断的方式获取知识的能力。在Stark对比度下，深网络忘记灾难性，而且为此原因，类增量连续学习促进方法的子字段逐步学习一系列任务，将顺序获得的知识混合成综合预测。这项工作旨在评估和克服我们以前提案黑暗体验重播（Der）的陷阱，这是一种简单有效的方法，将排练和知识蒸馏结合在一起。灵感来自于我们的思想不断重写过去的回忆和对未来的期望，我们赋予了我的能力，即我的能力来修改其重播记忆，以欢迎有关过去数据II的新信息II）为学习尚未公开的课程铺平了道路。我们表明，这些策略的应用导致了显着的改进;实际上，得到的方法 - 被称为扩展-DAR（X-DER） - 优于标准基准（如CiFar-100和MiniimAgeNet）的技术状态，并且这里引入了一个新颖的。为了更好地了解，我们进一步提供了广泛的消融研究，以证实并扩展了我们以前研究的结果（例如，在持续学习设置中知识蒸馏和漂流最小值的价值）。

Despite significant advances, the performance of state-of-the-art continual learning approaches hinges on the unrealistic scenario of fully labeled data. In this paper, we tackle this challenge and propose an approach for continual semi-supervised learning -- a setting where not all the data samples are labeled. An underlying issue in this scenario is the model forgetting representations of unlabeled data and overfitting the labeled ones. We leverage the power of nearest-neighbor classifiers to non-linearly partition the feature space and learn a strong representation for the current task, as well as distill relevant information from previous tasks. We perform a thorough experimental evaluation and show that our method outperforms all the existing approaches by large margins, setting a strong state of the art on the continual semi-supervised learning paradigm. For example, on CIFAR100 we surpass several others even when using at least 30 times less supervision (0.8% vs. 25% of annotations).

General Continual Learning (GCL) aims at learning from non independent and identically distributed stream data without catastrophic forgetting of the old tasks that don't rely on task boundaries during both training and testing stages. We reveal that the relation and feature deviations are crucial problems for catastrophic forgetting, in which relation deviation refers to the deficiency of the relationship among all classes in knowledge distillation, and feature deviation refers to indiscriminative feature representations. To this end, we propose a Complementary Calibration (CoCa) framework by mining the complementary model's outputs and features to alleviate the two deviations in the process of GCL. Specifically, we propose a new collaborative distillation approach for addressing the relation deviation. It distills model's outputs by utilizing ensemble dark knowledge of new model's outputs and reserved outputs, which maintains the performance of old tasks as well as balancing the relationship among all classes. Furthermore, we explore a collaborative self-supervision idea to leverage pretext tasks and supervised contrastive learning for addressing the feature deviation problem by learning complete and discriminative features for all classes. Extensive experiments on four popular datasets show that our CoCa framework achieves superior performance against state-of-the-art methods. Code is available at https://github.com/lijincm/CoCa.

Data-Free Class Incremental Learning (DFCIL) aims to sequentially learn tasks with access only to data from the current one. DFCIL is of interest because it mitigates concerns about privacy and long-term storage of data, while at the same time alleviating the problem of catastrophic forgetting in incremental learning. In this work, we introduce robust saliency guidance for DFCIL and propose a new framework, which we call RObust Saliency Supervision (ROSS), for mitigating the negative effect of saliency drift. Firstly, we use a teacher-student architecture leveraging low-level tasks to supervise the model with global saliency. We also apply boundary-guided saliency to protect it from drifting across object boundaries at intermediate layers. Finally, we introduce a module for injecting and recovering saliency noise to increase robustness of saliency preservation. Our experiments demonstrate that our method can retain better saliency maps across tasks and achieve state-of-the-art results on the CIFAR-100, Tiny-ImageNet and ImageNet-Subset DFCIL benchmarks. Code will be made publicly available.

很少有类别的课堂学习（FSCIL）旨在使用一些示例逐步微调模型（在基础课上培训），而不忘记先前的培训。最近的工作主要解决了2D图像。但是，由于相机技术的发展，3D点云数据比以往任何时候都更可用，这需要考虑3D数据的FSCIL。本文介绍了3D域中的FSCIL。除了灾难性忘记过去的知识和过度贴合数据的众所周知的问题外，3D FSCIL还可以带来更新的挑战。例如，基类可能在现实情况下包含许多合成实例。相比之下，新型类​​别只有少数几个实际扫描的样本（来自RGBD传感器）以增量步骤获得。由于数据从合成到真实的变化，FSCIL会承受其他挑战，以后的增量步骤降低了性能。我们尝试使用微莎普（正交基矢量）来解决此问题，并使用预定义的一组规则来描述任何3D对象。它支持逐步训练，几乎没有示例将合成与真实数据变化最小化。我们使用流行的合成数据集（ModelNet和Shapenet）和3D实范围的数据集（ScanoBjectNN和CO3D）为3D FSCIL提供新的测试协议。通过比较最先进的方法，我们确定了3D域中方法的有效性。

持续学习（CL）旨在制定模仿人类能力顺序学习新任务的能力，同时能够保留从过去经验获得的知识。在本文中，我们介绍了内存约束在线连续学习（MC-OCL）的新问题，这对存储器开销对可能算法可以用于避免灾难性遗忘的记忆开销。最多，如果不是全部，之前的CL方法违反了这些约束，我们向MC-OCL提出了一种算法解决方案：批量蒸馏（BLD），基于正则化的CL方法，有效地平衡了稳定性和可塑性，以便学习数据流，同时保留通过蒸馏解决旧任务的能力。我们在三个公开的基准测试中进行了广泛的实验评估，经验证明我们的方法成功地解决了MC-OCL问题，并实现了需要更高内存开销的先前蒸馏方法的可比准确性。

卷积神经网络在分类方面表现出了显着的结果，但在即时学习新事物方面挣扎。我们提出了一种新颖的彩排方法，其中深度神经网络正在不断学习新的看不见的对象类别，而无需保存任何先前序列的数据。我们的方法称为召回，因为网络通过在培训新类别之前计算旧类别的逻辑来回忆类别。然后在培训期间使用这些，以避免更改旧类别。对于每个新序列，都会添加一个新的头部以适应新类别。为了减轻遗忘，我们提出了一种正规化策略，在该策略中我们用回归替换分类。此外，对于已知类别，我们提出了一个玛哈拉氏症损失，其中包括差异，以说明已知类别和未知类别之间的密度变化。最后，我们提供了一个用于持续学习的新颖数据集，尤其是适用于移动机器人（Hows-CL-25）上的对象识别的数据集，其中包括25个家庭对象类别的150,795个合成图像。我们的方法回忆起优于Core50和ICIFAR-100上的艺术现状，并在HOWS-CL-25上取得了最佳性能。

持续深度学习的领域是一个新兴领域，已经取得了很多进步。但是，同时仅根据图像分类的任务进行了大多数方法，这在智能车辆领域无关。直到最近才提出了班级开展语义分割的方法。但是，所有这些方法都是基于某种形式的知识蒸馏。目前，尚未对基于重播的方法进行调查，这些方法通常在连续的环境中用于对象识别。同时，尽管无监督的语义分割的域适应性获得了很多吸引力，但在持续环境中有关域内收入学习的调查并未得到充分研究。因此，我们工作的目的是评估和调整已建立的解决方案，以连续对象识别语义分割任务，并为连续语义分割的任务提供基线方法和评估协议。首先，我们介绍了类和域内的分割的评估协议，并分析了选定的方法。我们表明，语义分割变化的任务的性质在减轻与图像分类相比最有效的方法中最有效。特别是，在课堂学习中，学习知识蒸馏被证明是至关重要的工具，而在域内，学习重播方法是最有效的方法。

The dynamic expansion architecture is becoming popular in class incremental learning, mainly due to its advantages in alleviating catastrophic forgetting. However, task confusion is not well assessed within this framework, e.g., the discrepancy between classes of different tasks is not well learned (i.e., inter-task confusion, ITC), and certain priority is still given to the latest class batch (i.e., old-new confusion, ONC). We empirically validate the side effects of the two types of confusion. Meanwhile, a novel solution called Task Correlated Incremental Learning (TCIL) is proposed to encourage discriminative and fair feature utilization across tasks. TCIL performs a multi-level knowledge distillation to propagate knowledge learned from old tasks to the new one. It establishes information flow paths at both feature and logit levels, enabling the learning to be aware of old classes. Besides, attention mechanism and classifier re-scoring are applied to generate more fair classification scores. We conduct extensive experiments on CIFAR100 and ImageNet100 datasets. The results demonstrate that TCIL consistently achieves state-of-the-art accuracy. It mitigates both ITC and ONC, while showing advantages in battle with catastrophic forgetting even no rehearsal memory is reserved.

对于人工学习系统，随着时间的流逝，从数据流进行持续学习至关重要。对监督持续学习的新兴研究取得了长足的进步，而无监督学习中灾难性遗忘的研究仍然是空白的。在无监督的学习方法中，自居民学习方法在视觉表示上显示出巨大的潜力，而无需大规模标记的数据。为了改善自我监督学习的视觉表示，需要更大和更多的数据。在现实世界中，始终生成未标记的数据。这种情况为学习自我监督方法提供了巨大的优势。但是，在当前的范式中，将先前的数据和当前数据包装在一起并再次培训是浪费时间和资源。因此，迫切需要一种持续的自我监督学习方法。在本文中，我们首次尝试通过提出彩排方法来实现连续的对比自我监督学习，从而使以前的数据保持了一些典范。我们通过模仿旧网络通过一组保存的示例，通过模仿旧网络推断出的相似性分数分布，而不是将保存的示例与当前数据集结合到当前的培训数据集，而是利用自我监督的知识蒸馏将对比度信息传输到当前网络。此外，我们建立一个额外的样本队列，以帮助网络区分以前的数据和当前数据并在学习自己的功能表示时防止相互干扰。实验结果表明，我们的方法在CIFAR100和Imagenet-Sub上的性能很好。与基线的学习任务无需采用任何技术，我们将图像分类在CIFAR100上提高了1.60％，Imagenet-Sub上的2.86％，在10个增量步骤设置下对Imagenet-Full进行1.29％。

深度学习模型在逐步学习新任务时遭受灾难性遗忘。已经提出了增量学习，以保留旧课程的知识，同时学习识别新课程。一种典型的方法是使用一些示例来避免忘记旧知识。在这种情况下，旧类和新课之间的数据失衡是导致模型性能下降的关键问题。由于数据不平衡，已经设计了几种策略来纠正新类别的偏见。但是，他们在很大程度上依赖于新旧阶层之间偏见关系的假设。因此，它们不适合复杂的现实世界应用。在这项研究中，我们提出了一种假设不足的方法，即多粒性重新平衡（MGRB），以解决此问题。重新平衡方法用于减轻数据不平衡的影响；但是，我们从经验上发现，他们将拟合新的课程。为此，我们进一步设计了一个新颖的多晶正式化项，该项使模型还可以考虑除了重新平衡数据之外的类别的相关性。类层次结构首先是通过将语义或视觉上类似类分组来构建的。然后，多粒性正则化将单热标签向量转换为连续的标签分布，这反映了基于构造的类层次结构的目标类别和其他类之间的关系。因此，该模型可以学习类间的关系信息，这有助于增强新旧课程的学习。公共数据集和现实世界中的故障诊断数据集的实验结果验证了所提出的方法的有效性。

最近的自我监督学习方法能够学习高质量的图像表示，并通过监督方法关闭差距。但是，这些方法无法逐步获取新的知识 - 事实上，它们实际上主要仅用为具有IID数据的预训练阶段。在这项工作中，我们在没有额外的记忆或重放的情况下调查持续学习制度的自我监督方法。为防止忘记以前的知识，我们提出了功能正规化的使用。我们将表明，朴素的功能正则化，也称为特征蒸馏，导致可塑性的低可塑性，因此严重限制了连续的学习性能。为了解决这个问题，我们提出了预测的功能正则化，其中一个单独的投影网络确保新学习的特征空间保留了先前的特征空间的信息，同时允许学习新功能。这使我们可以防止在保持学习者的可塑性时忘记。针对应用于自我监督的其他增量学习方法的评估表明我们的方法在不同场景和多个数据集中获得竞争性能。

表面缺陷检测是工业质量检查最重要的过程之一。基于深度学习的表面缺陷检测方法已显示出巨大的潜力。但是，表现出色的模型通常需要大量的训练数据，并且只能检测出在训练阶段出现的缺陷。当面对少量数据数据时，缺陷检测模型不可避免地会遭受灾难性遗忘和错误分类问题的困扰。为了解决这些问题，本文提出了一个新的知识蒸馏网络，称为双知识对齐网络（DKAN）。提出的DKAN方法遵循预处理的转移学习范式，并设计了用于微调的知识蒸馏框架。具体而言，提出了增量RCNN以实现不同类别的分离稳定特征表示。在此框架下，设计特征知识对齐（FKA）的损失是在类不足的特征图之间设计的，以解决灾难性的遗忘问题，而logit知识对准（LKA）损失在logit分布之间部署以解决错误分类问题。实验已经在递增的几个neu-det数据集上进行，结果表明，DKAN在各种几个场景上的其他方法都优于其他方法，对平均平均精度度量指标最高可达6.65％，这证明了该方法的有效性。