通过利用和适应到目前为止获得的知识，人类具有识别和区分他们不熟悉的实例的天生能力。重要的是，他们实现了这一目标，而不会在早期学习中恶化表现。受此启发，我们识别并制定了NCDWF的新的，务实的问题设置：新颖的类发现而无需忘记，哪个任务是机器学习模型从未标记的数据中逐步发现实例的新颖类别，同时在先前看到的类别上保持其性能。我们提出1）一种生成伪内表示的方法，该表示的代理（不再可用）标记的数据，从而减轻遗忘的遗忘，2）基于相互信息的正常化程序，可以增强对新型类别的无聊发现，而3）a 3）当测试数据包含所见类别和看不见的类别的实例时，简单的已知类标识符可以有助于广义推断。我们介绍了基于CIFAR-10，CIFAR-100和IMAGENET-1000的实验协议，以衡量知识保留和新型类发现之间的权衡。我们广泛的评估表明，现有的模型在确定新类别的同时灾难性地忘记了先前看到的类别，而我们的方法能够有效地在竞争目标之间平衡。我们希望我们的工作能够吸引对这个新确定的实用问题设定的进一步研究。

我们研究了类新型小说类发现的新任务（class-incd），该任务是指在未标记的数据集中发现新型类别的问题，该问题通过利用已在包含脱节的标签数据集上训练的预训练的模型，该模型已受过培训但是相关类别。除了发现新颖的课程外，我们还旨在维护模型识别先前看到的基本类别的能力。受到基于彩排的增量学习方法的启发，在本文中，我们提出了一种新颖的方法，以防止通过共同利用基类功能原型和特征级知识蒸馏来忘记对基础类的过去信息。我们还提出了一种自我训练的聚类策略，该策略同时将新颖的类别簇簇，并为基础和新颖类培训共同分类器。这使得我们的方法能够在课堂内设置中运行。我们的实验以三个共同的基准进行，表明我们的方法显着优于最先进的方法。代码可从https://github.com/oatmealliu/class-incd获得

Despite significant advances, the performance of state-of-the-art continual learning approaches hinges on the unrealistic scenario of fully labeled data. In this paper, we tackle this challenge and propose an approach for continual semi-supervised learning -- a setting where not all the data samples are labeled. An underlying issue in this scenario is the model forgetting representations of unlabeled data and overfitting the labeled ones. We leverage the power of nearest-neighbor classifiers to non-linearly partition the feature space and learn a strong representation for the current task, as well as distill relevant information from previous tasks. We perform a thorough experimental evaluation and show that our method outperforms all the existing approaches by large margins, setting a strong state of the art on the continual semi-supervised learning paradigm. For example, on CIFAR100 we surpass several others even when using at least 30 times less supervision (0.8% vs. 25% of annotations).

我们解决了新颖的类发现问题，旨在根据可见类别的数据在未标记的数据中发现新的类。主要的挑战是将所见类中包含的知识转移到看不见的知识中。先前的方法主要通过共享表示空间或关节标签空间传输知识。但是，他们倾向于忽略可见类别和看不见的类别之间的阶级关系，因此学习的表示对聚类的看不见类别的有效性较差。在本文中，我们提出了一种原理和一般方法，以在可见的和看不见的阶级之间传递语义知识。我们的见解是利用共同的信息来衡量受限的标签空间中看到的类和看不见的类之间的关系，并最大化相互信息可以促进传递语义知识的传递。为了验证我们方法的有效性和概括，我们对新型类发现和一般新型类发现设置进行了广泛的实验。我们的结果表明，所提出的方法在几个基准上优于先前的SOTA。

We tackle the problem of novel class discovery and localization (NCDL). In this setting, we assume a source dataset with supervision for only some object classes. Instances of other classes need to be discovered, classified, and localized automatically based on visual similarity without any human supervision. To tackle NCDL, we propose a two-stage object detection network Region-based NCDL (RNCDL) that uses a region proposal network to localize regions of interest (RoIs). We then train our network to learn to classify each RoI, either as one of the known classes, seen in the source dataset, or one of the novel classes, with a long-tail distribution constraint on the class assignments, reflecting the natural frequency of classes in the real world. By training our detection network with this objective in an end-to-end manner, it learns to classify all region proposals for a large variety of classes, including those not part of the labeled object class vocabulary. Our experiments conducted using COCO and LVIS datasets reveal that our method is significantly more effective than multi-stage pipelines that rely on traditional clustering algorithms. Furthermore, we demonstrate the generality of our approach by applying our method to a large-scale Visual Genome dataset, where our network successfully learns to detect various semantic classes without direct supervision.

在新颖的类发现（NCD）中，目标是在一个未标记的集合中找到新的类，并给定一组已知但不同的类别。尽管NCD最近引起了社区的关注，但尽管非常普遍的数据表示，但尚未提出异质表格数据的框架。在本文中，我们提出了TabularNCD，这是一种在表格数据中发现新类别的新方法。我们展示了一种从已知类别中提取知识的方法，以指导包含异质变量的表格数据中新型类的发现过程。该过程的一部分是通过定义伪标签的新方法来完成的，我们遵循多任务学习中的最新发现以优化关节目标函数。我们的方法表明，NCD不仅适用于图像，而且适用于异质表格数据。进行了广泛的实验，以评估我们的方法并证明其对7种不同公共分类数据集的3个竞争对手的有效性。

半监督学习（SSL）是解决监督学习的注释瓶颈的主要方法之一。最近的SSL方法可以有效利用大量未标记数据的存储库来提高性能，同时依靠一小部分标记数据。在大多数SSL方法中，一个常见的假设是，标记和未标记的数据来自同一基础数据分布。但是，在许多实际情况下，情况并非如此，这限制了其适用性。相反，在这项工作中，我们试图解决最近提出的挑战性的开放世界SSL问题，这些问题并非如此。在开放世界的SSL问题中，目的是识别已知类别的样本，并同时检测和群集样品属于未标记数据中的新型类别。这项工作引入了OpenLDN，该OpenLDN利用成对的相似性损失来发现新颖的类别。使用双层优化规则，此成对相似性损失利用了标记的设置中可用的信息，以隐式群集新颖的类样本，同时识别来自已知类别的样本。在发现新颖的类别后，OpenLDN将Open-World SSL问题转换为标准SSL问题，以使用现有的SSL方法实现额外的性能提高。我们的广泛实验表明，OpenLDN在多个流行的分类基准上胜过当前的最新方法，同时提供了更好的准确性/培训时间权衡。

深度学习正在推动许多计算机视觉应用中的最新技术。但是，它依赖于大量注释的数据存储库，并且捕获现实世界数据的不受约束性质尚未解决。半监督学习（SSL）用大量未标记的数据来补充带注释的培训数据，以降低注释成本。标准SSL方法假设未标记的数据来自与注释数据相同的分布。最近，Orca [9]引入了一个更现实的SSL问题，称为开放世界SSL，假设未注释的数据可能包含来自未知类别的样本。这项工作提出了一种在开放世界中解决SSL的新方法，我们同时学习对已知和未知类别进行分类。在我们方法的核心方面，我们利用样本不确定性，并将有关类分布的先验知识纳入，以生成可靠的伪标记，以适用于已知和未知类别的未标记数据。我们广泛的实验在几个基准数据集上展示了我们的方法的有效性，在该数据集上，它在其中的七个不同数据集（包括CIFAR-100（17.6％）（17.6％），Imagenet-100（5.7％）（5.7％）和微小成像网（9.9％）。

We introduce an information-maximization approach for the Generalized Category Discovery (GCD) problem. Specifically, we explore a parametric family of loss functions evaluating the mutual information between the features and the labels, and find automatically the one that maximizes the predictive performances. Furthermore, we introduce the Elbow Maximum Centroid-Shift (EMaCS) technique, which estimates the number of classes in the unlabeled set. We report comprehensive experiments, which show that our mutual information-based approach (MIB) is both versatile and highly competitive under various GCD scenarios. The gap between the proposed approach and the existing methods is significant, more so when dealing with fine-grained classification problems. Our code: \url{https://github.com/fchiaroni/Mutual-Information-Based-GCD}.

在对比学习中，最近的进步表现出了出色的表现。但是，绝大多数方法仅限于封闭世界的环境。在本文中，我们通过挖掘开放世界的环境来丰富表示学习的景观，其中新颖阶级的未标记样本自然可以在野外出现。为了弥合差距，我们引入了一个新的学习框架，开放世界的对比学习（Opencon）。Opencon应对已知和新颖阶级学习紧凑的表现的挑战，并促进了一路上的新颖性发现。我们证明了Opencon在挑战基准数据集中的有效性并建立竞争性能。在Imagenet数据集上，Opencon在新颖和总体分类精度上分别胜过当前最佳方法的最佳方法，分别胜过11.9％和7.4％。我们希望我们的工作能为未来的工作打开新的大门，以解决这一重要问题。

新颖的类发现（NCD）的目的是在一个未标记的数据集中推断出新的类别，该数据集利用了包含不相交但相关类别的标签集的先验知识。现有的研究主要侧重于利用方法学层面的标签集，而不太强调标记集合本身的分析。因此，在本文中，我们从标记的集合中重新考虑了小说类发现，并关注两个核心问题：（i）给定特定的未标记集，什么样的标签集可以最好地支持新颖的类发现？ （ii）NCD的基本前提是标记的集合必须与未标记的集合有关，但是我们如何衡量这种关系？对于（i），我们提出并证实了这样的假设，即NCD可以从具有与未标记集的标签相似性的标签集中受益更多。具体而言，我们通过利用其层次结构结构来建立一个广泛而大规模的基准，在Imagenet上标记/未标记的数据集之间具有不同程度的语义相似性。作为鲜明的对比，现有的NCD基准是根据具有不同类别和图像的标签集开发的，并且完全忽略了语义关系。对于（ii），我们引入了一个数学定义，用于量化标记和未标记集之间的语义相似性。此外，我们使用此指标来确认我们提出的基准测试的有效性，并证明它与NCD性能高度相关。此外，在没有定量分析的情况下，以前的工作通常认为标签信息总是有益的。但是，违反直觉，我们的实验结果表明，使用标签可能会导致低相似性设置中的次级优势。

视觉识别任务通常限于处理小型类的小型，因为剩余类别不可用。我们有兴趣通过基于标记和未标记的示例的表示学习来识别数据集中的新颖概念，并将识别的视野扩展到已知和新型类别。为了解决这一具有挑战性的任务，我们提出了一种组合学习方法，其自然地使用由异构标签空间上的多个监督元分类器给出的组成知识来委托未经组合的类别。组合嵌入给出的表示通过一致性正则化进行了更强大的。我们还介绍了公制学习策略，以估算成对伪标签，以改善未标记的例子的表示，其有效地保护了朝着所知和新型课程的语义关系。该算法通过联合优化提高了看不见的课程的歧视以及学习知名课程的表示，通过联合优化来发现新颖的概念，以便更广泛地提高到新颖的课程。我们广泛的实验通过多种图像检索和新型类发现基准中的提出方法表现出显着的性能。

在本文中，我们通过利用包含来自其他不同但相关类别的图像的标记数据集将来自新类的未标记的图像与新类别分组从新类别分组到不同的语义分区的问题。这是一个比传统的半监督学习更现实和具有挑战性的。我们为这个问题提出了一个双分支学习框架，一个分支专注于本地部分级信息和专注于整体特征的另一个分支。将知识从标记的数据传输到未标记的，我们建议使用两个分支机构的双重排名统计信息来生成伪标签，用于培训未标记的数据。我们进一步介绍了一个相互知识蒸馏方法，以允许信息交流并鼓励两个分支机构之间的协议，以发现新类别，允许我们的模型享受全球和当地特征的好处。我们全面评估了我们在通用对象分类的公共基准上的方法，以及用于细粒度的视觉识别的更具挑战性的数据集，实现最先进的性能。

持续学习（CL）调查如何在无需遗忘的情况下培训在任务流上的深网络。文献中提出的CL设置假设每个传入示例都与地面真实注释配对。然而，这与许多真实应用的冲突这项工作探讨了持续的半监督学习（CSSL）：这里只有一小部分标记的输入示例显示给学习者。我们评估当前CL方法（例如：EWC，LWF，Icarl，ER，GDumb，Der）在这部小说和具有挑战性的情况下，过度装箱纠缠忘记。随后，我们设计了一种新的CSSL方法，用于在学习时利用度量学习和一致性正则化来利用未标记的示例。我们展示我们的提案对监督越来越令人惊讶的是，我们的提案呈现出更高的恢复能力，甚至更令人惊讶地，仅依赖于25％的监督，以满足全面监督培训的优于营业型SOTA方法。

少量学习（FSL）旨在学习概括到具有有限培训样本的小型课程的模型。最近的作品将FSL推进一个场景，其中还提供了未标记的例子并提出半监督FSL方法。另一种方法还关心基类的性能，除了新颖的外，还建立了增量FSL方案。在本文中，我们在更现实但复杂的环境下概括了上述两个，通过半监督增量少量学习（S2 I-FSL）命名。为了解决任务，我们提出了一种包含两部分的新型范例：（1）一种精心设计的元训练算法，用于减轻由不可靠的伪标签和（2）模型适应机制来减轻基础和新颖类之间的模糊性，以学习歧视特征对于小说类，同时使用少数标记和所有未标记的数据保留基本知识。对标准FSL，半监控FSL，增量FSL的广泛实验，以及第一个构建的S2 I-FSL基准测试证明了我们提出的方法的有效性。

在本文中，我们考虑一个高度通用的图像识别设置，其中，给定标记和未标记的图像集，任务是在未标记的集合中对所有图像进行分类。这里，未标记的图像可以来自标记的类或新颖的图像。现有的识别方法无法处理此设置，因为它们会产生几种限制性假设，例如仅来自已知或未知 - 类的未标记的实例以及已知的未知类的数量。我们解决了更加不受约束的环境，命名为“广义类别发现”，并挑战所有这些假设。我们首先通过从新型类别发现和适应这项任务的最先进的算法来建立强有力的基线。接下来，我们建议使用视觉变形金刚，为此开放的世界设置具有对比的代表学习。然后，我们介绍一个简单而有效的半监督$ k $ -means方法，将未标记的数据自动聚类，看不见的类，显着优于基线。最后，我们还提出了一种新的方法来估计未标记数据中的类别数。我们彻底评估了我们在公共数据集上的方法，包括Cifar10，CiFar100和Imagenet-100，以及包括幼崽，斯坦福汽车和植宝司19，包括幼崽，斯坦福汽车和Herbarium19，在这个新的环境中基准测试，以培养未来的研究。

大多数现有的工作在几次学习中，依赖于Meta-Learning网络在大型基础数据集上，该网络通常是与目标数据集相同的域。我们解决了跨域几秒钟的问题，其中基础和目标域之间存在大移位。与未标记的目标数据的跨域几秒识别问题在很大程度上在文献中毫无根据。启动是使用自我训练解决此问题的第一个方法。但是，它使用固定的老师在标记的基础数据集上返回，以为未标记的目标样本创建软标签。由于基本数据集和未标记的数据集来自不同的域，因此将基本数据集的类域中的目标图像投影，具有固定的预制模型可能是子最优的。我们提出了一种简单的动态蒸馏基方法，以方便来自新颖/基础数据集的未标记图像。我们通过从教师网络中的未标记图像的未标记版本的预测计算并将其与来自学生网络相同的相同图像的强大版本匹配来施加一致性正常化。教师网络的参数被更新为学生网络参数的指数移动平均值。我们表明所提出的网络了解可以轻松适应目标域的表示，即使它尚未在预先预测阶段的目标专用类别训练。我们的车型优于当前最先进的方法，在BSCD-FSL基准中的5次分类，3.6％的3.6％，并在传统的域名几枪学习任务中显示出竞争性能。

本文解决了新型类别发现（NCD）的问题，该问题旨在区分大规模图像集中的未知类别。 NCD任务由于与现实世界情景的亲密关系而具有挑战性，我们只遇到了一些部分类和图像。与NCD上的其他作品不同，我们利用原型强调类别歧视的重要性，并减轻缺少新颖阶级注释的问题。具体而言，我们提出了一种新型的适应性原型学习方法，该方法由两个主要阶段组成：原型表示学习和原型自我训练。在第一阶段，我们获得了一个可靠的特征提取器，该功能提取器可以为所有具有基础和新颖类别的图像提供。该功能提取器的实例和类别歧视能力通过自我监督的学习和适应性原型来提高。在第二阶段，我们再次利用原型来整理离线伪标签，并训练类别聚类的最终参数分类器。我们对四个基准数据集进行了广泛的实验，并证明了该方法具有最先进的性能的有效性和鲁棒性。

在这项工作中，我们建议相互分布对准（RDA）解决半监督学习（SSL），该学习是一个无主参数框架，与置信阈值无关，并与匹配的（常规）和不匹配的类别分布一起工作。分布不匹配是一个经常被忽略但更通用的SSL场景，在该场景中，标记和未标记的数据不属于相同的类别分布。这可能导致该模型不利用标记的数据可靠，并大大降低SSL方法的性能，而传统的分布对齐无法挽救。在RDA中，我们对来自两个分类器的预测分布进行了相互对准，这些分类器预测了未标记的数据上的伪标签和互补标签。携带补充信息的这两个分布可用于相互正规化，而无需任何课堂分布。此外，我们从理论上显示RDA最大化输入输出互信息。我们的方法在各种不匹配的分布以及常规匹配的SSL设置的情况下，在SSL中实现了有希望的性能。我们的代码可在以下网址提供：https：//github.com/njuyued/rda4robustssl。

我们研究了用于半监控学习（SSL）的无监督数据选择，其中可以提供大规模的未标记数据集，并且为标签采集预算小额数据子集。现有的SSL方法专注于学习一个有效地集成了来自给定小标记数据和大型未标记数据的信息的模型，而我们专注于选择正确的数据以用于SSL的注释，而无需任何标签或任务信息。直观地，要标记的实例应统称为下游任务的最大多样性和覆盖范围，并且单独具有用于SSL的最大信息传播实用程序。我们以三步数据为中心的SSL方法形式化这些概念，使稳定性和精度的纤维液改善8％的CiFar-10（标记为0.08％）和14％的Imagenet -1k（标记为0.2％）。它也是一种具有各种SSL方法的通用框架，提供一致的性能增益。我们的工作表明，在仔细选择注释数据上花费的小计算带来了大注释效率和模型性能增益，而无需改变学习管道。我们完全无监督的数据选择可以轻松扩展到其他弱监督的学习设置。