我们研究了类新型小说类发现的新任务（class-incd），该任务是指在未标记的数据集中发现新型类别的问题，该问题通过利用已在包含脱节的标签数据集上训练的预训练的模型，该模型已受过培训但是相关类别。除了发现新颖的课程外，我们还旨在维护模型识别先前看到的基本类别的能力。受到基于彩排的增量学习方法的启发，在本文中，我们提出了一种新颖的方法，以防止通过共同利用基类功能原型和特征级知识蒸馏来忘记对基础类的过去信息。我们还提出了一种自我训练的聚类策略，该策略同时将新颖的类别簇簇，并为基础和新颖类培训共同分类器。这使得我们的方法能够在课堂内设置中运行。我们的实验以三个共同的基准进行，表明我们的方法显着优于最先进的方法。代码可从https://github.com/oatmealliu/class-incd获得

通过利用和适应到目前为止获得的知识，人类具有识别和区分他们不熟悉的实例的天生能力。重要的是，他们实现了这一目标，而不会在早期学习中恶化表现。受此启发，我们识别并制定了NCDWF的新的，务实的问题设置：新颖的类发现而无需忘记，哪个任务是机器学习模型从未标记的数据中逐步发现实例的新颖类别，同时在先前看到的类别上保持其性能。我们提出1）一种生成伪内表示的方法，该表示的代理（不再可用）标记的数据，从而减轻遗忘的遗忘，2）基于相互信息的正常化程序，可以增强对新型类别的无聊发现，而3）a 3）当测试数据包含所见类别和看不见的类别的实例时，简单的已知类标识符可以有助于广义推断。我们介绍了基于CIFAR-10，CIFAR-100和IMAGENET-1000的实验协议，以衡量知识保留和新型类发现之间的权衡。我们广泛的评估表明，现有的模型在确定新类别的同时灾难性地忘记了先前看到的类别，而我们的方法能够有效地在竞争目标之间平衡。我们希望我们的工作能够吸引对这个新确定的实用问题设定的进一步研究。

在这个不断变化的世界中，必须不断学习新概念的能力。但是，深层神经网络在学习新类别时会遭受灾难性的遗忘。已经提出了许多减轻这种现象的作品，而其中大多数要么属于稳定性困境，要么陷入了过多的计算或储存开销。受到梯度增强算法的启发，以逐渐适应目标模型和上一个合奏模型之间的残差，我们提出了一种新颖的两阶段学习范式寄养物，使该模型能够适应新的类别。具体而言，我们首先动态扩展新模块，以适合原始模型的目标和输出之间的残差。接下来，我们通过有效的蒸馏策略删除冗余参数和特征尺寸，以维护单个骨干模型。我们在不同的设置下验证CIFAR-100和Imagenet-100/1000的方法寄养。实验结果表明，我们的方法实现了最先进的性能。代码可在以下网址获得：https：//github.com/g-u-n/eccv22-foster。

当自我监督的模型已经显示出比在规模上未标记的数据训练的情况下的监督对方的可比视觉表现。然而，它们的功效在持续的学习（CL）场景中灾难性地减少，其中数据被顺序地向模型呈现给模型。在本文中，我们表明，通过添加将表示的当前状态映射到其过去状态，可以通过添加预测的网络来无缝地转换为CL的蒸馏机制。这使我们能够制定一个持续自我监督的视觉表示的框架，学习（i）显着提高了学习象征的质量，（ii）与若干最先进的自我监督目标兼容（III）几乎没有近似参数调整。我们通过在各种CL设置中培训六种受欢迎的自我监督模型来证明我们的方法的有效性。

本文解决了新型类别发现（NCD）的问题，该问题旨在区分大规模图像集中的未知类别。 NCD任务由于与现实世界情景的亲密关系而具有挑战性，我们只遇到了一些部分类和图像。与NCD上的其他作品不同，我们利用原型强调类别歧视的重要性，并减轻缺少新颖阶级注释的问题。具体而言，我们提出了一种新型的适应性原型学习方法，该方法由两个主要阶段组成：原型表示学习和原型自我训练。在第一阶段，我们获得了一个可靠的特征提取器，该功能提取器可以为所有具有基础和新颖类别的图像提供。该功能提取器的实例和类别歧视能力通过自我监督的学习和适应性原型来提高。在第二阶段，我们再次利用原型来整理离线伪标签，并训练类别聚类的最终参数分类器。我们对四个基准数据集进行了广泛的实验，并证明了该方法具有最先进的性能的有效性和鲁棒性。

Despite significant advances, the performance of state-of-the-art continual learning approaches hinges on the unrealistic scenario of fully labeled data. In this paper, we tackle this challenge and propose an approach for continual semi-supervised learning -- a setting where not all the data samples are labeled. An underlying issue in this scenario is the model forgetting representations of unlabeled data and overfitting the labeled ones. We leverage the power of nearest-neighbor classifiers to non-linearly partition the feature space and learn a strong representation for the current task, as well as distill relevant information from previous tasks. We perform a thorough experimental evaluation and show that our method outperforms all the existing approaches by large margins, setting a strong state of the art on the continual semi-supervised learning paradigm. For example, on CIFAR100 we surpass several others even when using at least 30 times less supervision (0.8% vs. 25% of annotations).

班级增量学习（CIL）吸引了很多关注，但是大多数现有相关的作品都集中在微调整个表示模型上，这不可避免地导致了许多灾难性的遗忘。相比之下，使用语义丰富的预训练的表示模型，参数 - 辅助调整（PAT）仅更改很少的参数来学习新的视觉概念。最近的研究证明，基于PAT的CIL自然可以避免像大多数现有方法一样通过重播或蒸馏而战斗。但是，我们发现基于PAT的CIL仍然面临严重的语义漂移，这是由分类器学习偏见在不同学习阶段引起的问题，这大大降低了基于PAT的CIL的性能。为了解决这个问题，我们提出了增量原型调整（IPT），这是一种简单但有效的方法，它调整了分类和学习示例原型的类别原型，以补偿语义漂移。广泛的实验表明，我们的方法可以有效地补偿语义漂移。与经过良好训练的VIT骨架和其他PAT方法相结合，IPT超过了主流学习基准的最新基准。

Although deep learning approaches have stood out in recent years due to their state-of-the-art results, they continue to suffer from catastrophic forgetting, a dramatic decrease in overall performance when training with new classes added incrementally. This is due to current neural network architectures requiring the entire dataset, consisting of all the samples from the old as well as the new classes, to update the model-a requirement that becomes easily unsustainable as the number of classes grows. We address this issue with our approach to learn deep neural networks incrementally, using new data and only a small exemplar set corresponding to samples from the old classes. This is based on a loss composed of a distillation measure to retain the knowledge acquired from the old classes, and a cross-entropy loss to learn the new classes. Our incremental training is achieved while keeping the entire framework end-to-end, i.e., learning the data representation and the classifier jointly, unlike recent methods with no such guarantees. We evaluate our method extensively on the CIFAR-100 and Im-ageNet (ILSVRC 2012) image classification datasets, and show state-of-the-art performance.

基于正规化的方法有利于缓解类渐进式学习中的灾难性遗忘问题。由于缺乏旧任务图像，如果分类器在新图像上产生类似的输出，它们通常会假设旧知识得到很好的保存。在本文中，我们发现他们的效果很大程度上取决于旧课程的性质：它们在彼此之间容易区分的课程上工作，但可能在更细粒度的群体上失败，例如，男孩和女孩。在SPIRIT中，此类方法将新数据项目投入到完全连接层中的权重向量中跨越的特征空间，对应于旧类。由此产生的预测在细粒度的旧课程上是相似的，因此，新分类器将逐步失去这些课程的歧视能力。为了解决这个问题，我们提出了一种无记忆生成的重播策略，通过直接从旧分类器生成代表性的旧图像并结合新的分类器培训的新数据来保留细粒度的旧阶级特征。为了解决所产生的样本的均化问题，我们还提出了一种分集体损失，使得产生的样品之间的Kullback Leibler（KL）发散。我们的方法最好是通过先前的基于正规化的方法补充，证明是为了易于区分的旧课程有效。我们验证了上述关于CUB-200-2011，CALTECH-101，CIFAR-100和微小想象的设计和见解，并表明我们的策略优于现有的无记忆方法，并具有清晰的保证金。代码可在https://github.com/xmengxin/mfgr获得

半监督学习（SSL）是解决监督学习的注释瓶颈的主要方法之一。最近的SSL方法可以有效利用大量未标记数据的存储库来提高性能，同时依靠一小部分标记数据。在大多数SSL方法中，一个常见的假设是，标记和未标记的数据来自同一基础数据分布。但是，在许多实际情况下，情况并非如此，这限制了其适用性。相反，在这项工作中，我们试图解决最近提出的挑战性的开放世界SSL问题，这些问题并非如此。在开放世界的SSL问题中，目的是识别已知类别的样本，并同时检测和群集样品属于未标记数据中的新型类别。这项工作引入了OpenLDN，该OpenLDN利用成对的相似性损失来发现新颖的类别。使用双层优化规则，此成对相似性损失利用了标记的设置中可用的信息，以隐式群集新颖的类样本，同时识别来自已知类别的样本。在发现新颖的类别后，OpenLDN将Open-World SSL问题转换为标准SSL问题，以使用现有的SSL方法实现额外的性能提高。我们的广泛实验表明，OpenLDN在多个流行的分类基准上胜过当前的最新方法，同时提供了更好的准确性/培训时间权衡。

深度学习正在推动许多计算机视觉应用中的最新技术。但是，它依赖于大量注释的数据存储库，并且捕获现实世界数据的不受约束性质尚未解决。半监督学习（SSL）用大量未标记的数据来补充带注释的培训数据，以降低注释成本。标准SSL方法假设未标记的数据来自与注释数据相同的分布。最近，Orca [9]引入了一个更现实的SSL问题，称为开放世界SSL，假设未注释的数据可能包含来自未知类别的样本。这项工作提出了一种在开放世界中解决SSL的新方法，我们同时学习对已知和未知类别进行分类。在我们方法的核心方面，我们利用样本不确定性，并将有关类分布的先验知识纳入，以生成可靠的伪标记，以适用于已知和未知类别的未标记数据。我们广泛的实验在几个基准数据集上展示了我们的方法的有效性，在该数据集上，它在其中的七个不同数据集（包括CIFAR-100（17.6％）（17.6％），Imagenet-100（5.7％）（5.7％）和微小成像网（9.9％）。

General Continual Learning (GCL) aims at learning from non independent and identically distributed stream data without catastrophic forgetting of the old tasks that don't rely on task boundaries during both training and testing stages. We reveal that the relation and feature deviations are crucial problems for catastrophic forgetting, in which relation deviation refers to the deficiency of the relationship among all classes in knowledge distillation, and feature deviation refers to indiscriminative feature representations. To this end, we propose a Complementary Calibration (CoCa) framework by mining the complementary model's outputs and features to alleviate the two deviations in the process of GCL. Specifically, we propose a new collaborative distillation approach for addressing the relation deviation. It distills model's outputs by utilizing ensemble dark knowledge of new model's outputs and reserved outputs, which maintains the performance of old tasks as well as balancing the relationship among all classes. Furthermore, we explore a collaborative self-supervision idea to leverage pretext tasks and supervised contrastive learning for addressing the feature deviation problem by learning complete and discriminative features for all classes. Extensive experiments on four popular datasets show that our CoCa framework achieves superior performance against state-of-the-art methods. Code is available at https://github.com/lijincm/CoCa.

当以连续的方式学习新任务时，深层神经网络倾向于忘记他们以前学到的任务，这种现象称为灾难性遗忘。班级增量学习方法旨在通过记忆以前学到的任务的一些示例，并从中蒸馏出知识来解决此问题。但是，现有的方法努力平衡跨课程的性能，因为它们通常将模型过于最新任务。在我们的工作中，我们建议通过引入一种实现级别平衡性能的逐步学习（TKIL）的新型方法来解决这些挑战。该方法保留了各个类别的表示形式，并平衡了每个类别的准确性，因此可以更好地达到总体准确性和差异。 TKIL方法基于神经切线核（NTK），该神经网络将神经网络作为无限宽度极限的内核函数的收敛行为。在tkil中，特征层之间的梯度被视为这些层的表示之间的距离，可以定义为切线切线损失（GTK损耗），因此将其与平均重量一起最小化。这允许TKIL自动识别任务并在推理过程中快速适应它。具有各种增量学习设置的CIFAR-100和Imagenet数据集的实验表明，这些策略允许TKIL优于现有的最新方法。

Conventionally, deep neural networks are trained offline, relying on a large dataset prepared in advance. This paradigm is often challenged in real-world applications, e.g. online services that involve continuous streams of incoming data. Recently, incremental learning receives increasing attention, and is considered as a promising solution to the practical challenges mentioned above. However, it has been observed that incremental learning is subject to a fundamental difficulty -catastrophic forgetting, namely adapting a model to new data often results in severe performance degradation on previous tasks or classes. Our study reveals that the imbalance between previous and new data is a crucial cause to this problem. In this work, we develop a new framework for incrementally learning a unified classifier, i.e. a classifier that treats both old and new classes uniformly. Specifically, we incorporate three components, cosine normalization, less-forget constraint, and inter-class separation, to mitigate the adverse effects of the imbalance. Experiments show that the proposed method can effectively rebalance the training process, thus obtaining superior performance compared to the existing methods. On CIFAR-100 and ImageNet, our method can reduce the classification errors by more than 6% and 13% respectively, under the incremental setting of 10 phases.

The dynamic expansion architecture is becoming popular in class incremental learning, mainly due to its advantages in alleviating catastrophic forgetting. However, task confusion is not well assessed within this framework, e.g., the discrepancy between classes of different tasks is not well learned (i.e., inter-task confusion, ITC), and certain priority is still given to the latest class batch (i.e., old-new confusion, ONC). We empirically validate the side effects of the two types of confusion. Meanwhile, a novel solution called Task Correlated Incremental Learning (TCIL) is proposed to encourage discriminative and fair feature utilization across tasks. TCIL performs a multi-level knowledge distillation to propagate knowledge learned from old tasks to the new one. It establishes information flow paths at both feature and logit levels, enabling the learning to be aware of old classes. Besides, attention mechanism and classifier re-scoring are applied to generate more fair classification scores. We conduct extensive experiments on CIFAR100 and ImageNet100 datasets. The results demonstrate that TCIL consistently achieves state-of-the-art accuracy. It mitigates both ITC and ONC, while showing advantages in battle with catastrophic forgetting even no rehearsal memory is reserved.

人类智慧的主食是以不断的方式获取知识的能力。在Stark对比度下，深网络忘记灾难性，而且为此原因，类增量连续学习促进方法的子字段逐步学习一系列任务，将顺序获得的知识混合成综合预测。这项工作旨在评估和克服我们以前提案黑暗体验重播（Der）的陷阱，这是一种简单有效的方法，将排练和知识蒸馏结合在一起。灵感来自于我们的思想不断重写过去的回忆和对未来的期望，我们赋予了我的能力，即我的能力来修改其重播记忆，以欢迎有关过去数据II的新信息II）为学习尚未公开的课程铺平了道路。我们表明，这些策略的应用导致了显着的改进;实际上，得到的方法 - 被称为扩展-DAR（X-DER） - 优于标准基准（如CiFar-100和MiniimAgeNet）的技术状态，并且这里引入了一个新颖的。为了更好地了解，我们进一步提供了广泛的消融研究，以证实并扩展了我们以前研究的结果（例如，在持续学习设置中知识蒸馏和漂流最小值的价值）。

在课堂学习学习中，预计该模型将在保持以前课程的知识的同时，不断地学习新课程。这里的挑战在于保留该模型在功能空间中有效代表先前类的能力，同时调整其代表传入的新类。我们提出了两个基于蒸馏的目标，用于类增量学习，以利用特征空间的结构来维持以前的课程的准确性，并使学习新课程。在我们的第一个目标（称为跨空间聚类（CSC））中，我们建议使用先前模型的特征空间结构来表征优化的方向，这些方向可以最大程度地保留类 - 特定类的所有实例应集体优化，对，以及他们应该集体优化的人。除了最大程度地减少忘记之外，这种间接的鼓励模型将所有类的实例聚集在当前功能空间中，并引起牛群免疫的感觉，从而使班级的所有样本都可以将模型共同与遗忘班级共同打击模型。我们的第二个目标被称为受控转移（CT）从研究班间转移的研究的逐步学习。 CT明确近似于和条件，当前模型在逐步到达类和先验类之间的语义相似性上。这使模型可以学习类，以使其从相似的先前类中最大化正向转移，从而提高可塑性，并最大程度地减少不同先验类别的负向后转移，从而增强稳定性。我们在两个基准数据集上执行了广泛的实验，并在三种突出的课堂学习方法的顶部添加了我们的方法（CSCCT）。我们观察到各种实验环境的性能一致。

在学习新知识时，班级学习学习（CIL）与灾难性遗忘和无数据CIL（DFCIL）的斗争更具挑战性，而无需访问以前学过的课程的培训数据。尽管最近的DFCIL作品介绍了诸如模型反转以合成以前类的数据，但由于合成数据和真实数据之间的严重域间隙，它们无法克服遗忘。为了解决这个问题，本文提出了有关DFCIL的关系引导的代表学习（RRL），称为R-DFCIL。在RRL中，我们引入了关系知识蒸馏，以灵活地将新数据的结构关系从旧模型转移到当前模型。我们的RRL增强DFCIL可以指导当前的模型来学习与以前类的表示更好地兼容的新课程的表示，从而大大减少了在改善可塑性的同时遗忘。为了避免表示和分类器学习之间的相互干扰，我们在RRL期间采用本地分类损失而不是全球分类损失。在RRL之后，分类头将通过全球类平衡的分类损失进行完善，以解决数据不平衡问题，并学习新课程和以前类之间的决策界限。关于CIFAR100，Tiny-Imagenet200和Imagenet100的广泛实验表明，我们的R-DFCIL显着超过了以前的方法，并实现了DFCIL的新最新性能。代码可从https://github.com/jianzhangcs/r-dfcil获得。

本文在课堂增量学习中使用视觉变压器（VIT）研究。令人惊讶的是，天真地应用Vit替代卷积神经网络（CNNS）导致性能下降。我们的分析揭示了三个天然使用VIT的问题：（a）vit在课程中较小时具有非常缓慢的会聚，（b）在比CNN的模型中观察到新类的更多偏差，并且（c）适当的学习率Vit太低，无法学习良好的分类器。基于此分析，我们展示了这些问题可以简单地通过使用现有技术来解决：使用卷积杆，平衡FineTuning来纠正偏置，以及分类器的更高学习率。我们的简单解决方案名为Vitil（Vit用于增量学习），为所有三类增量学习设置实现了全新的最先进的保证金，为研究界提供了强大的基线。例如，在ImageNet-1000上，我们的体内体达到69.20％的前1个精度为500个初始类别的15个初始类别，5个增量步骤（每次100个新类），表现优于leulir + dde ​​1.69％。对于10个增量步骤（100个新课程）的更具挑战性的协议，我们的方法优于PODNet 7.27％（65.13％与57.86％）。

深度神经网络在学习新任务时遭受灾难性遗忘的主要限制。在本文中，我们专注于语义细分中的课堂持续学习，其中新类别随着时间的推移，而在未保留以前的训练数据。建议的持续学习方案塑造了潜在的空间来减少遗忘，同时提高了对新型课程的识别。我们的框架是由三种新的组件驱动，我们还毫不费力地结合现有的技术。首先，匹配的原型匹配在旧类上强制执行潜在空间一致性，约束编码器在后续步骤中为先前看到的类生成类似的潜在潜在表示。其次，特征稀疏性允许在潜在空间中腾出空间以容纳新型课程。最后，根据他们的语义，在统一的同时撕裂不同类别的语义，对形成对比的学习。对Pascal VOC2012和ADE20K数据集的广泛评估展示了我们方法的有效性，显着优于最先进的方法。