很少有课堂学习（FSCIL）旨在仅用几个样本不断学习新概念，这很容易遭受灾难性的遗忘和过度拟合的问题。旧阶级的无法获得性和新颖样本的稀缺性使实现保留旧知识和学习新颖概念之间的权衡很大。受到不同模型的启发，我们在学习新颖概念时记住了不同的知识，我们提出了一个记忆的补充网络（MCNET），以整合多个模型，以在新任务中相互补充不同的记忆知识。此外，为了用很少的新样本更新模型，我们开发了一个原型平滑的硬矿三元组（PSHT）损失，以将新型样品不仅在当前任务中彼此远离，而且在旧分布中脱颖而出。在三个基准数据集（例如CIFAR100，Miniimagenet和Cub200）上进行了广泛的实验，证明了我们提出的方法的优势。

视觉世界中新对象的不断出现对现实世界部署中当前的深度学习方法构成了巨大的挑战。由于稀有性或成本，新任务学习的挑战通常会加剧新类别的数据。在这里，我们探讨了几乎没有类别学习的重要任务（FSCIL）及其极端数据稀缺条件。理想的FSCIL模型都需要在所有类别上表现良好，无论其显示顺序或数据的匮乏。开放式现实世界条件也需要健壮，并可以轻松地适应始终在现场出现的新任务。在本文中，我们首先重新评估当前的任务设置，并为FSCIL任务提出更全面和实用的设置。然后，受到FSCIL和现代面部识别系统目标的相似性的启发，我们提出了我们的方法 - 增强角损失渐进分类或爱丽丝。在爱丽丝（Alice）中，我们建议使用角度损失损失来获得良好的特征。由于所获得的功能不仅需要紧凑，而且还需要足够多样化以维持未来的增量类别的概括，我们进一步讨论了类增强，数据增强和数据平衡如何影响分类性能。在包括CIFAR100，Miniimagenet和Cub200在内的基准数据集上的实验证明了爱丽丝在最新的FSCIL方法上的性能提高。

新课程经常出现在我们不断变化的世界中，例如社交媒体中的新兴主题和电子商务中的新产品。模型应识别新的类，同时保持对旧类的可区分性。在严重的情况下，只有有限的新颖实例可以逐步更新模型。在不忘记旧课程的情况下识别几个新课程的任务称为少数类的课程学习（FSCIL）。在这项工作中，我们通过学习多相增量任务（limit）提出了一个基于元学习的FSCIL的新范式，该任务从基本数据集中综合了伪造的FSCIL任务。假任务的数据格式与“真实”的增量任务一致，我们可以通过元学习构建可概括的特征空间。此外，限制还基于变压器构建了一个校准模块，该模块将旧类分类器和新类原型校准为相同的比例，并填补语义间隙。校准模块还可以自适应地将具有设置对集合函数的特定于实例的嵌入方式化。限制有效地适应新课程，同时拒绝忘记旧课程。在三个基准数据集（CIFAR100，Miniimagenet和Cub200）和大规模数据集上进行的实验，即Imagenet ILSVRC2012验证以实现最新性能。

很少有课堂学习（FSCIL）着重于设计学习算法，这些学习算法可以不断地从几个样本中学习一系列新任务，而不会忘记旧任务。困难是，从新任务中进行一系列有限数据的培训会导致严重的过度拟合问题，并导致众所周知的灾难性遗忘问题。现有研究主要利用图像信息，例如存储以前任务的图像知识或限制分类器更新。但是，他们忽略了分析课堂标签的信息丰富且较少的嘈杂文本信息。在这项工作中，我们建议通过采用内存提示来利用标签文本信息。内存提示可以依次学习新数据，同时存储先前的知识。此外，为了优化内存提示而不破坏存储的知识，我们提出了基于刺激的训练策略。它根据图像嵌入刺激（即嵌入元素的分布）来优化内存提示。实验表明，我们提出的方法的表现优于所有先前的最新方法，从而大大减轻了灾难性的遗忘和过度拟合问题。

Many modern computer vision algorithms suffer from two major bottlenecks: scarcity of data and learning new tasks incrementally. While training the model with new batches of data the model looses it's ability to classify the previous data judiciously which is termed as catastrophic forgetting. Conventional methods have tried to mitigate catastrophic forgetting of the previously learned data while the training at the current session has been compromised. The state-of-the-art generative replay based approaches use complicated structures such as generative adversarial network (GAN) to deal with catastrophic forgetting. Additionally, training a GAN with few samples may lead to instability. In this work, we present a novel method to deal with these two major hurdles. Our method identifies a better embedding space with an improved contrasting loss to make classification more robust. Moreover, our approach is able to retain previously acquired knowledge in the embedding space even when trained with new classes. We update previous session class prototypes while training in such a way that it is able to represent the true class mean. This is of prime importance as our classification rule is based on the nearest class mean classification strategy. We have demonstrated our results by showing that the embedding space remains intact after training the model with new classes. We showed that our method preformed better than the existing state-of-the-art algorithms in terms of accuracy across different sessions.

几乎没有类似的课堂学习（FSCIL）旨在通过避免过度拟合和灾难性遗忘，从一些标记的样本中逐步学习新颖的课程。 FSCIL的当前协议是通过模仿一般类知识学习设置来构建的，而由于不同的数据配置，即新颖的类都在有限的数据状态下，因此并不完全合适。在本文中，我们通过保留第一个会话的可能性来重新考虑FSCIL对开放式假设的配置。为了为模型分配更好的近距离和开放式识别性能，双曲线相互学习模块（Hyper-RPL）建立在与双曲神经网络的相互点学习（RPL）上。此外，为了从有限标记的数据中学习新颖类别，我们将双曲线度量学习（超级现象）模块纳入基于蒸馏的框架中，以减轻过度拟合的问题，并更好地处理保存旧知识和旧知识之间的权衡问题。获得新知识。对三个基准数据集上提出的配置和模块的全面评估被执行，以验证有关三个评估指标的有效性。

受到正规彩票假说（RLTH）的启发，该假说假设在密集网络中存在平稳（非二进制）子网，以实现密集网络的竞争性能，我们提出了几个播放类增量学习（FSCIL）方法。 to as \ emph {soft-subnetworks（softnet）}。我们的目标是逐步学习一系列会议，每个会议在每个课程中只包含一些培训实例，同时保留了先前学到的知识。软网络在基本训练会议上共同学习模型权重和自适应非二进制软面具，每个面具由主要和次要子网组成；前者的目的是最大程度地减少训练期间的灾难性遗忘，而后者的目的是避免在每个新培训课程中过度拟合一些样本。我们提供了全面的经验验证，表明我们的软网络通过超越基准数据集的最先进基准的性能来有效地解决了几个弹药的学习问题。

本文认为增量少量学习，这需要一个模型，不断识别新类别，只有一些例子。我们的研究表明，现有方法严重遭受灾难性的遗忘，是一个增量学习中的一个众所周知的问题，这是由于少量拍摄设置中的数据稀缺和不平衡而加剧。我们的分析进一步表明，为了防止灾难性的遗忘，需要在原始阶段采取行动 - 基础类别的培训而不是稍后的几秒钟学习会议。因此，我们建议寻找基本训练目标函数的扁平本地最小值，然后在新任务中微调平面区域内的模型参数。通过这种方式，模型可以在保留旧的时有效地学习新类。综合实验结果表明，我们的方法优于所有现有最先进的方法，并且非常接近近似上限。源代码可在https://github.com/moukamisama/f2m上获得。

表面缺陷检测是工业质量检查最重要的过程之一。基于深度学习的表面缺陷检测方法已显示出巨大的潜力。但是，表现出色的模型通常需要大量的训练数据，并且只能检测出在训练阶段出现的缺陷。当面对少量数据数据时，缺陷检测模型不可避免地会遭受灾难性遗忘和错误分类问题的困扰。为了解决这些问题，本文提出了一个新的知识蒸馏网络，称为双知识对齐网络（DKAN）。提出的DKAN方法遵循预处理的转移学习范式，并设计了用于微调的知识蒸馏框架。具体而言，提出了增量RCNN以实现不同类别的分离稳定特征表示。在此框架下，设计特征知识对齐（FKA）的损失是在类不足的特征图之间设计的，以解决灾难性的遗忘问题，而logit知识对准（LKA）损失在logit分布之间部署以解决错误分类问题。实验已经在递增的几个neu-det数据集上进行，结果表明，DKAN在各种几个场景上的其他方法都优于其他方法，对平均平均精度度量指标最高可达6.65％，这证明了该方法的有效性。

逐渐射击的语义分割（IFSS）目标以逐步扩展模型的能力逐渐扩大了仅由几个样本监督的新图像。但是，在旧课程中学到的特征可能会大大漂移，从而导致灾难性遗忘。此外，很少有针对新课程的像素级细分样本会导致每个学习课程中臭名昭著的过度拟合问题。在本文中，我们明确表示基于类别的语义分割的知识作为类别嵌入和超级类嵌入，前者描述了独家的语义属性，而后者则表示超级类知识作为类共享语义属性。为了解决IFSS问题，我们提出了EHNET，即从两个方面嵌入自适应更高和超级级表示网络。首先，我们提出了一种嵌入自适应的策略，以避免特征漂移，该策略通过超级班级表示保持旧知识，并使用类似课程的方案自适应地更新类别嵌入类别，以涉及在各个会话中学习的新课程。其次，为了抵制很少有培训样本引起的过度拟合问题，通过将所有类别嵌入以进行初始化并与新班级的类别保持一致以进行增强，从而学习了超级班级的嵌入，从而使学会知识有助于学习新知识，从而减轻了绩效绩效的绩效，依赖培训数据量表。值得注意的是，这两种设计为具有足够语义和有限偏见的类提供了表示能力，从而可以执行需要高语义依赖性的分割任务。 Pascal-5i和可可数据集的实验表明，EHNET具有显着优势的新最先进的性能。

Conventionally, deep neural networks are trained offline, relying on a large dataset prepared in advance. This paradigm is often challenged in real-world applications, e.g. online services that involve continuous streams of incoming data. Recently, incremental learning receives increasing attention, and is considered as a promising solution to the practical challenges mentioned above. However, it has been observed that incremental learning is subject to a fundamental difficulty -catastrophic forgetting, namely adapting a model to new data often results in severe performance degradation on previous tasks or classes. Our study reveals that the imbalance between previous and new data is a crucial cause to this problem. In this work, we develop a new framework for incrementally learning a unified classifier, i.e. a classifier that treats both old and new classes uniformly. Specifically, we incorporate three components, cosine normalization, less-forget constraint, and inter-class separation, to mitigate the adverse effects of the imbalance. Experiments show that the proposed method can effectively rebalance the training process, thus obtaining superior performance compared to the existing methods. On CIFAR-100 and ImageNet, our method can reduce the classification errors by more than 6% and 13% respectively, under the incremental setting of 10 phases.

很少有视觉识别是指从一些标记实例中识别新颖的视觉概念。通过将查询表示形式与类表征进行比较以预测查询实例的类别，许多少数射击的视觉识别方法采用了基于公制的元学习范式。但是，当前基于度量的方法通常平等地对待所有实例，因此通常会获得有偏见的类表示，考虑到并非所有实例在总结了类级表示的实例级表示时都同样重要。例如，某些实例可能包含无代表性的信息，例如过多的背景和无关概念的信息，这使结果偏差。为了解决上述问题，我们提出了一个新型的基于公制的元学习框架，称为实例自适应类别表示网络（ICRL-net），以进行几次视觉识别。具体而言，我们开发了一个自适应实例重新平衡网络，具有在生成班级表示，通过学习和分配自适应权重的不同实例中的自适应权重时，根据其在相应类的支持集中的相对意义来解决偏见的表示问题。此外，我们设计了改进的双线性实例表示，并结合了两个新型的结构损失，即，阶层内实例聚类损失和阶层间表示区分损失，以进一步调节实例重估过程并完善类表示。我们对四个通常采用的几个基准测试：Miniimagenet，Tieredimagenet，Cifar-FS和FC100数据集进行了广泛的实验。与最先进的方法相比，实验结果证明了我们的ICRL-NET的优势。

从一个非常少数标记的样品中学习新颖的课程引起了机器学习区域的越来越高。最近关于基于元学习或转移学习的基于范例的研究表明，良好特征空间的获取信息可以是在几次拍摄任务上实现有利性能的有效解决方案。在本文中，我们提出了一种简单但有效的范式，该范式解耦了学习特征表示和分类器的任务，并且只能通过典型的传送学习培训策略从基类嵌入体系结构的特征。为了在每个类别内保持跨基地和新类别和辨别能力的泛化能力，我们提出了一种双路径特征学习方案，其有效地结合了与对比特征结构的结构相似性。以这种方式，内部级别对齐和级别的均匀性可以很好地平衡，并且导致性能提高。三个流行基准测试的实验表明，当与简单的基于原型的分类器结合起来时，我们的方法仍然可以在电感或转换推理设置中的标准和广义的几次射击问题达到有希望的结果。

很少有图像分类是一个具有挑战性的问题，旨在仅基于少量培训图像来达到人类的识别水平。少数图像分类的一种主要解决方案是深度度量学习。这些方法是，通过将看不见的样本根据距离的距离进行分类，可在强大的深神经网络中学到的嵌入空间中看到的样品，可以避免以少数图像分类的少数训练图像过度拟合，并实现了最新的图像表现。在本文中，我们提供了对深度度量学习方法的最新审查，以进行2018年至2022年的少量图像分类，并根据度量学习的三个阶段将它们分为三组，即学习功能嵌入，学习课堂表示和学习距离措施。通过这种分类法，我们确定了他们面临的不同方法和问题的新颖性。我们通过讨论当前的挑战和未来趋势进行了少量图像分类的讨论。

General Continual Learning (GCL) aims at learning from non independent and identically distributed stream data without catastrophic forgetting of the old tasks that don't rely on task boundaries during both training and testing stages. We reveal that the relation and feature deviations are crucial problems for catastrophic forgetting, in which relation deviation refers to the deficiency of the relationship among all classes in knowledge distillation, and feature deviation refers to indiscriminative feature representations. To this end, we propose a Complementary Calibration (CoCa) framework by mining the complementary model's outputs and features to alleviate the two deviations in the process of GCL. Specifically, we propose a new collaborative distillation approach for addressing the relation deviation. It distills model's outputs by utilizing ensemble dark knowledge of new model's outputs and reserved outputs, which maintains the performance of old tasks as well as balancing the relationship among all classes. Furthermore, we explore a collaborative self-supervision idea to leverage pretext tasks and supervised contrastive learning for addressing the feature deviation problem by learning complete and discriminative features for all classes. Extensive experiments on four popular datasets show that our CoCa framework achieves superior performance against state-of-the-art methods. Code is available at https://github.com/lijincm/CoCa.

逐步学习新课程的能力对于所有现实世界的人工智能系统至关重要。像社交媒体，推荐系统，电子商务平台等的大部分高冲击应用都可以由图形模型表示。在本文中，我们调查了挑战但实际问题，图表几次拍摄的类增量（图形FCL）问题，其中图形模型是任务，以对新遇到的类和以前学习的类进行分类。为此目的，我们通过从基类循环地采样任务来提出图形伪增量学习范例，以便为我们的模型产生任意数量的培训集，以练习增量学习技能。此外，我们设计了一种基于分层的图形元学习框架，Hag-Meta。我们介绍了一个任务敏感的常规程序，从任务级关注和节点类原型计算，以缓解到新颖或基本类上的过度拟合。为了采用拓扑知识，我们添加了一个节点级注意模块来调整原型表示。我们的模型不仅达到了旧知识整合的更大稳定性，而且还可以获得对具有非常有限的数据样本的新知识的有利适应性。在三个现实世界数据集上进行广泛的实验，包括亚马逊服装，Reddit和DBLP，表明我们的框架与基线和其他相关最先进的方法相比，展示了显着的优势。

大多数元学习方法都假设存在于可用于基本知识的情节元学习的一组非常大的标记数据。这与更现实的持续学习范例形成对比，其中数据以包含不相交类的任务的形式逐步到达。在本文中，我们考虑了这个增量元学习（IML）的这个问题，其中类在离散任务中逐步呈现。我们提出了一种方法，我们调用了IML，我们称之为eCISODIC重播蒸馏（ERD），该方法将来自当前任务的类混合到当前任务中，当研究剧集时，来自先前任务的类别示例。然后将这些剧集用于知识蒸馏以最大限度地减少灾难性的遗忘。四个数据集的实验表明ERD超越了最先进的。特别是，在一次挑战的单次次数较挑战，长任务序列增量元学习场景中，我们将IML和联合训练与当前状态的3.5％/ 10.1％/ 13.4％之间的差距降低我们在Diered-ImageNet / Mini-ImageNet / CIFAR100上分别为2.6％/ 2.9％/ 5.0％。

Although significant progress has been made in few-shot learning, most of existing few-shot learning methods require supervised pre-training on a large amount of samples of base classes, which limits their generalization ability in real world application. Recently, large-scale self-supervised vision-language models (e.g., CLIP) have provided a new paradigm for transferable visual representation learning. However, the pre-trained VLPs may neglect detailed visual information that is difficult to describe by language sentences, but important for learning an effective classifier in few-shot classification. To address the above problem, we propose a new framework, named Semantic-guided Visual Adapting (SgVA), which can effectively extend vision-language pre-trained models to produce discriminative task-specific visual features by comprehensively using a vision-specific contrastive loss, a cross-modal contrastive loss, and an implicit knowledge distillation. The implicit knowledge distillation is designed to transfer the fine-grained cross-modal knowledge to guide the updating of the vision adapter. State-of-the-art results on 13 datasets demonstrate that the adapted visual features can well complement the cross-modal features to improve few-shot image classification.

很少有人提出了几乎没有阶级的课程学习（FSCIL），目的是使深度学习系统能够逐步学习有限的数据。最近，一位先驱声称，通常使用的基于重播的课堂学习方法（CIL）是无效的，因此对于FSCIL而言并不是首选。如果真理，这对FSCIL领域产生了重大影响。在本文中，我们通过经验结果表明，采用数据重播非常有利。但是，存储和重播旧数据可能会导致隐私问题。为了解决此问题，我们或建议使用无数据重播，该重播可以通过发电机综合数据而无需访问真实数据。在观察知识蒸馏的不确定数据的有效性时，我们在发电机培训中强加了熵正则化，以鼓励更不确定的例子。此外，我们建议使用单速样标签重新标记生成的数据。这种修改使网络可以通过完全减少交叉渗透损失来学习，从而减轻了在常规知识蒸馏方法中平衡不同目标的问题。最后，我们对CIFAR-100，Miniimagenet和Cub-200展示了广泛的实验结果和分析，以证明我们提出的效果。

很少有类别的课堂学习（FSCIL）旨在使用一些示例逐步微调模型（在基础课上培训），而不忘记先前的培训。最近的工作主要解决了2D图像。但是，由于相机技术的发展，3D点云数据比以往任何时候都更可用，这需要考虑3D数据的FSCIL。本文介绍了3D域中的FSCIL。除了灾难性忘记过去的知识和过度贴合数据的众所周知的问题外，3D FSCIL还可以带来更新的挑战。例如，基类可能在现实情况下包含许多合成实例。相比之下，新型类​​别只有少数几个实际扫描的样本（来自RGBD传感器）以增量步骤获得。由于数据从合成到真实的变化，FSCIL会承受其他挑战，以后的增量步骤降低了性能。我们尝试使用微莎普（正交基矢量）来解决此问题，并使用预定义的一组规则来描述任何3D对象。它支持逐步训练，几乎没有示例将合成与真实数据变化最小化。我们使用流行的合成数据集（ModelNet和Shapenet）和3D实范围的数据集（ScanoBjectNN和CO3D）为3D FSCIL提供新的测试协议。通过比较最先进的方法，我们确定了3D域中方法的有效性。