深度神经网络在学习新任务时遭受灾难性遗忘的主要限制。在本文中，我们专注于语义细分中的课堂持续学习，其中新类别随着时间的推移，而在未保留以前的训练数据。建议的持续学习方案塑造了潜在的空间来减少遗忘，同时提高了对新型课程的识别。我们的框架是由三种新的组件驱动，我们还毫不费力地结合现有的技术。首先，匹配的原型匹配在旧类上强制执行潜在空间一致性，约束编码器在后续步骤中为先前看到的类生成类似的潜在潜在表示。其次，特征稀疏性允许在潜在空间中腾出空间以容纳新型课程。最后，根据他们的语义，在统一的同时撕裂不同类别的语义，对形成对比的学习。对Pascal VOC2012和ADE20K数据集的广泛评估展示了我们方法的有效性，显着优于最先进的方法。

Class-Incremental Learning is a challenging problem in machine learning that aims to extend previously trained neural networks with new classes. This is especially useful if the system is able to classify new objects despite the original training data being unavailable. While the semantic segmentation problem has received less attention than classification, it poses distinct problems and challenges since previous and future target classes can be unlabeled in the images of a single increment. In this case, the background, past and future classes are correlated and there exist a background-shift. In this paper, we address the problem of how to model unlabeled classes while avoiding spurious feature clustering of future uncorrelated classes. We propose to use Evidential Deep Learning to model the evidence of the classes as a Dirichlet distribution. Our method factorizes the problem into a separate foreground class probability, calculated by the expected value of the Dirichlet distribution, and an unknown class (background) probability corresponding to the uncertainty of the estimate. In our novel formulation, the background probability is implicitly modeled, avoiding the feature space clustering that comes from forcing the model to output a high background score for pixels that are not labeled as objects. Experiments on the incremental Pascal VOC, and ADE20k benchmarks show that our method is superior to state-of-the-art, especially when repeatedly learning new classes with increasing number of increments.

虽然现有的语义分割方法实现令人印象深刻的结果，但它们仍然努力将其模型逐步更新，因为新类别被发现。此外，逐个像素注释昂贵且耗时。本文提出了一种新颖的对语义分割学习弱增量学习的框架，旨在学习从廉价和大部分可用的图像级标签进行新课程。与现有的方法相反，需要从下线生成伪标签，我们使用辅助分类器，用图像级标签培训并由分段模型规范化，在线获取伪监督并逐步更新模型。我们通过使用由辅助分类器生成的软标签来应对过程中的内在噪声。我们展示了我们对Pascal VOC和Coco数据集的方法的有效性，表现出离线弱监督方法，并获得了具有全面监督的增量学习方法的结果。

语义细分（CISS）的课堂学习学习目前是一个经过深入研究的领域，旨在通过依次学习新的语义类别来更新语义分割模型。 CISS中的一个主要挑战是克服灾难性遗忘的影响，这描述了在模型接受新的一组课程培训之后，先前学习的类的准确性突然下降。尽管在减轻灾难性遗忘方面取得了最新进展，但在CISS中特别遗忘的根本原因尚未得到很好的理解。因此，在一组实验和代表性分析中，我们证明了背景类别的语义转移和对新类别的偏见是忘记CISS的主要原因。此外，我们表明两者都在网络的更深层分类层中表现出来，而模型的早期层没有影响。最后，我们证明了如何利用背景中包含的信息在知识蒸馏和无偏见的跨透镜损失的帮助下有效地减轻两种原因。

本文介绍了类增量语义分割（CISS）问题的固态基线。虽然最近的CISS算法利用了知识蒸馏（KD）技术的变体来解决问题，但他们未能充分解决CISS引起灾难性遗忘的关键挑战;背景类的语义漂移和多标签预测问题。为了更好地解决这些挑战，我们提出了一种新方法，被称为SSUL-M（具有内存的未知标签的语义分割），通过仔细组合为语义分割量身定制的技术。具体来说，我们要求三项主要贡献。 （1）在背景课程中定义未知的类，以帮助学习未来的课程（帮助可塑性），（2）冻结骨干网以及与二进制交叉熵丢失和伪标签的跨熵丢失的分类器，以克服灾难性的遗忘（帮助稳定）和（3）首次利用微小的示例存储器在CISS中提高可塑性和稳定性。广泛进行的实验表明了我们的方法的有效性，而不是标准基准数据集上最近的最新的基线的性能明显更好。此外，与彻底的消融分析有关我们对彻底消融分析的贡献，并与传统的类增量学习针对分类相比，讨论了CISS问题的不同自然。官方代码可在https://github.com/clovaai/ssul获得。

持续深度学习的领域是一个新兴领域，已经取得了很多进步。但是，同时仅根据图像分类的任务进行了大多数方法，这在智能车辆领域无关。直到最近才提出了班级开展语义分割的方法。但是，所有这些方法都是基于某种形式的知识蒸馏。目前，尚未对基于重播的方法进行调查，这些方法通常在连续的环境中用于对象识别。同时，尽管无监督的语义分割的域适应性获得了很多吸引力，但在持续环境中有关域内收入学习的调查并未得到充分研究。因此，我们工作的目的是评估和调整已建立的解决方案，以连续对象识别语义分割任务，并为连续语义分割的任务提供基线方法和评估协议。首先，我们介绍了类和域内的分割的评估协议，并分析了选定的方法。我们表明，语义分割变化的任务的性质在减轻与图像分类相比最有效的方法中最有效。特别是，在课堂学习中，学习知识蒸馏被证明是至关重要的工具，而在域内，学习重播方法是最有效的方法。

Continually learning to segment more and more types of image regions is a desired capability for many intelligent systems. However, such continual semantic segmentation suffers from the same catastrophic forgetting issue as in continual classification learning. While multiple knowledge distillation strategies originally for continual classification have been well adapted to continual semantic segmentation, they only consider transferring old knowledge based on the outputs from one or more layers of deep fully convolutional networks. Different from existing solutions, this study proposes to transfer a new type of information relevant to knowledge, i.e. the relationships between elements (Eg. pixels or small local regions) within each image which can capture both within-class and between-class knowledge. The relationship information can be effectively obtained from the self-attention maps in a Transformer-style segmentation model. Considering that pixels belonging to the same class in each image often share similar visual properties, a class-specific region pooling is applied to provide more efficient relationship information for knowledge transfer. Extensive evaluations on multiple public benchmarks support that the proposed self-attention transfer method can further effectively alleviate the catastrophic forgetting issue, and its flexible combination with one or more widely adopted strategies significantly outperforms state-of-the-art solutions.

Continual Learning (CL) is a field dedicated to devise algorithms able to achieve lifelong learning. Overcoming the knowledge disruption of previously acquired concepts, a drawback affecting deep learning models and that goes by the name of catastrophic forgetting, is a hard challenge. Currently, deep learning methods can attain impressive results when the data modeled does not undergo a considerable distributional shift in subsequent learning sessions, but whenever we expose such systems to this incremental setting, performance drop very quickly. Overcoming this limitation is fundamental as it would allow us to build truly intelligent systems showing stability and plasticity. Secondly, it would allow us to overcome the onerous limitation of retraining these architectures from scratch with the new updated data. In this thesis, we tackle the problem from multiple directions. In a first study, we show that in rehearsal-based techniques (systems that use memory buffer), the quantity of data stored in the rehearsal buffer is a more important factor over the quality of the data. Secondly, we propose one of the early works of incremental learning on ViTs architectures, comparing functional, weight and attention regularization approaches and propose effective novel a novel asymmetric loss. At the end we conclude with a study on pretraining and how it affects the performance in Continual Learning, raising some questions about the effective progression of the field. We then conclude with some future directions and closing remarks.

语义分割（CSS）的持续学习是一个快速新兴的领域，其中分割模型的功能通过学习新类或新域而逐渐改善。持续学习中的一个核心挑战是克服灾难性遗忘的影响，这是指在模型对新类或领域进行培训后，准确性突然下降了先前学习的任务。在持续分类中，通常通过重播以前任务中的少量样本来克服这种挑战，但是在CSS中很少考虑重播。因此，我们研究了各种重播策略对语义细分的影响，并在类和域内的环境中评估它们。我们的发现表明，在课堂开发环境中，至关重要的是，对于缓冲区中不同类别的不同类别的分布至关重要，以避免对新学习的班级产生偏见。在域内营养设置中，通过从学习特征表示的分布或通过中位熵选择样品来选择缓冲液样品是最有效的。最后，我们观察到，有效的抽样方法有助于减少早期层中的表示形式的变化，这是忘记域内收入学习的主要原因。

增量学习代表了空中图像处理中的一个关键任务，特别是给出了大规模注释数据集的有限可用性。关于当前深度神经结构的一个主要问题被称为灾难性遗忘，即无能忠实地维护过去的知识，一旦提供了一种新的数据来刷新。多年来，已经提出了几种技术来减轻图像分类和对象检测的这个问题。但是，只有最近，焦点已经转移到更复杂的下游任务，例如实例或语义细分。从增量级学习的语义分割任务开始，我们的目标是将此策略调整到空中域，利用与自然图像不同的特殊功能，即定向。除了标准知识蒸馏方法之外，我们还提出了一种对比规范化，其中任何给定的输入与其增强版本（即翻转和旋转）进行了比较，以便最小化两个输入产生的分段特征之间的差异。我们展示了我们解决Potsdam数据集的效果，表现出每次测试中的增量基线。可用的代码：https：//github.com/edornd/contrastive-distillation。

人类智慧的主食是以不断的方式获取知识的能力。在Stark对比度下，深网络忘记灾难性，而且为此原因，类增量连续学习促进方法的子字段逐步学习一系列任务，将顺序获得的知识混合成综合预测。这项工作旨在评估和克服我们以前提案黑暗体验重播（Der）的陷阱，这是一种简单有效的方法，将排练和知识蒸馏结合在一起。灵感来自于我们的思想不断重写过去的回忆和对未来的期望，我们赋予了我的能力，即我的能力来修改其重播记忆，以欢迎有关过去数据II的新信息II）为学习尚未公开的课程铺平了道路。我们表明，这些策略的应用导致了显着的改进;实际上，得到的方法 - 被称为扩展-DAR（X-DER） - 优于标准基准（如CiFar-100和MiniimAgeNet）的技术状态，并且这里引入了一个新颖的。为了更好地了解，我们进一步提供了广泛的消融研究，以证实并扩展了我们以前研究的结果（例如，在持续学习设置中知识蒸馏和漂流最小值的价值）。

虽然监督语义分割存在重大进展，但由于领域偏差，将分段模型部署到解除域来仍然具有挑战性。域适应可以通过将知识从标记的源域传输到未标记的目标域来帮助。以前的方法通常尝试执行对全局特征的适应，然而，通常忽略要计入特征空间中的每个像素的本地语义附属机构，导致较少的可辨性。为解决这个问题，我们提出了一种用于细粒度阶级对齐的新型语义原型对比学习框架。具体地，语义原型提供了用于每个像素鉴别的表示学习的监控信号，并且需要在特征空间中的源极和目标域的每个像素来反映相应的语义原型的内容。通过这种方式，我们的框架能够明确地制作较近的类别的像素表示，并且进一步越来越多地分开，以改善分割模型的鲁棒性以及减轻域移位问题。与最先进的方法相比，我们的方法易于实施并达到优异的结果，如众多实验所展示的那样。代码在[此HTTPS URL]（https://github.com/binhuixie/spcl）上公开可用。

当自我监督的模型已经显示出比在规模上未标记的数据训练的情况下的监督对方的可比视觉表现。然而，它们的功效在持续的学习（CL）场景中灾难性地减少，其中数据被顺序地向模型呈现给模型。在本文中，我们表明，通过添加将表示的当前状态映射到其过去状态，可以通过添加预测的网络来无缝地转换为CL的蒸馏机制。这使我们能够制定一个持续自我监督的视觉表示的框架，学习（i）显着提高了学习象征的质量，（ii）与若干最先进的自我监督目标兼容（III）几乎没有近似参数调整。我们通过在各种CL设置中培训六种受欢迎的自我监督模型来证明我们的方法的有效性。

Jitendra Malik once said, "Supervision is the opium of the AI researcher". Most deep learning techniques heavily rely on extreme amounts of human labels to work effectively. In today's world, the rate of data creation greatly surpasses the rate of data annotation. Full reliance on human annotations is just a temporary means to solve current closed problems in AI. In reality, only a tiny fraction of data is annotated. Annotation Efficient Learning (AEL) is a study of algorithms to train models effectively with fewer annotations. To thrive in AEL environments, we need deep learning techniques that rely less on manual annotations (e.g., image, bounding-box, and per-pixel labels), but learn useful information from unlabeled data. In this thesis, we explore five different techniques for handling AEL.

Despite significant advances, the performance of state-of-the-art continual learning approaches hinges on the unrealistic scenario of fully labeled data. In this paper, we tackle this challenge and propose an approach for continual semi-supervised learning -- a setting where not all the data samples are labeled. An underlying issue in this scenario is the model forgetting representations of unlabeled data and overfitting the labeled ones. We leverage the power of nearest-neighbor classifiers to non-linearly partition the feature space and learn a strong representation for the current task, as well as distill relevant information from previous tasks. We perform a thorough experimental evaluation and show that our method outperforms all the existing approaches by large margins, setting a strong state of the art on the continual semi-supervised learning paradigm. For example, on CIFAR100 we surpass several others even when using at least 30 times less supervision (0.8% vs. 25% of annotations).

我们解决了几次拍摄语义分割（FSS）的问题，该问题旨在通过一些带有一些注释的样本分段为目标图像中的新型类对象。尽管通过结合基于原型的公制学习来进行最近的进步，但由于其特征表示差，现有方法仍然显示出在极端内部对象变化和语义相似的类别对象下的有限性能。为了解决这个问题，我们提出了一种针对FSS任务定制的双重原型对比学习方法，以有效地捕获代表性的语义。主要思想是通过增加阶级距离来鼓励原型更差异，同时减少了原型特征空间中的课堂距离。为此，我们首先向类别特定的对比丢失丢失具有动态原型字典，该字典字典存储在训练期间的类感知原型，从而实现相同的类原型和不同的类原型是不同的。此外，我们通过压缩每集内语义类的特征分布来提高类别无话的对比损失，以提高未经看不见的类别的概念能力。我们表明，所提出的双重原型对比学习方法优于Pascal-5i和Coco-20i数据集的最先进的FSS方法。该代码可用于：https：//github.com/kwonjunn01/dpcl1。

在本文中，我们为连续表示学习问题提出了一种新颖的培训程序，其中依次学习了神经网络模型，以减轻视觉搜索任务中的灾难性遗忘。我们的方法称为对比度有监督的蒸馏（CSD），在学习判别特征的同时，还会减少忘记。这是通过在蒸馏设置中利用标签信息来实现的，在蒸馏设置中，从教师模型中对学生模型进行了相反的学习。广泛的实验表明，CSD在减轻灾难性遗忘方面的表现优于当前最新方法。我们的结果还提供了进一步的证据，表明在视觉检索任务中评估的功能忘记不像分类任务那样灾难性。代码：https：//github.com/niccobiondi/contrastivesupervisedistillation。

弱监督语义分段（WSSS）的现有研究已经利用了类激活映射（CAM）来本地化类对象。然而，由于分类损失不足以提供精确的物区域，因此凸轮倾向于偏向辨别模式（即，稀疏），并且不提供精确的对象边界信息（即，不确定）。为了解决这些限制，我们提出了一种新颖的框架（由MainNet和SupportNet组成），从给定的图像级监督导出像素级自我监督。在我们的框架中，借助拟议的区域对比模块（RCM）和多尺寸细分模块（MAM），MainNet由来自SupportNet的自我监督训练。 RCM从SupportNet中提取两种形式的自我监督：（1）从凸轮和（2）根据类区域掩码的特征获得的（2）类的类别区域掩模。然后，主目的的每个像素明智的特征被原型训练以对比的方式，锐化所产生的凸轮。 MAM利用从SupportNet的多个尺度推断的凸轮作为自我监控来指导MailNet。基于Mainnet和SupportNet的多尺度凸轮之间的不相似性，来自主目的的凸轮训练以扩展到较少辨别的区域。该方法在Pascal VOC 2012数据集上显示了在列车和验证集上的最先进的WSSS性能。为了再现性，代码将很快公开提供。

转移学习是一种强大的方法，可以使现有的深度学习模型在遥感中新兴利用案例调整。从已经接受了语义分割的神经网络开始，我们建议修改其标签空间以在弱势监督下将其迅速调整到新课程。为了缓解这种形式的连续学习固有的背景转变和灾难性的遗忘问题，我们比较不同的正则化条款并利用伪标签策略。我们通过实验显示了我们在三个公共遥感数据集中的方法的相关性。

无监督的域适应性（UDA）旨在减少训练和测试数据之间的域间隙，并在大多数情况下以离线方式进行。但是，在部署过程中可能会连续且不可预测地发生域的变化（例如，天气变化突然变化）。在这种情况下，深度神经网络见证了准确性的急剧下降，离线适应可能不足以对比。在本文中，我们解决了在线域适应（ONDA）进行语义细分。我们设计了一条可逐步或突然转移的域转移的管道，在多雨和有雾的情况下，我们对其进行了评估。我们的实验表明，我们的框架可以有效地适应部署期间的新域，而不受灾难性遗忘以前的域的影响。