我们解决了新颖的类发现问题,旨在根据可见类别的数据在未标记的数据中发现新的类。主要的挑战是将所见类中包含的知识转移到看不见的知识中。先前的方法主要通过共享表示空间或关节标签空间传输知识。但是,他们倾向于忽略可见类别和看不见的类别之间的阶级关系,因此学习的表示对聚类的看不见类别的有效性较差。在本文中,我们提出了一种原理和一般方法,以在可见的和看不见的阶级之间传递语义知识。我们的见解是利用共同的信息来衡量受限的标签空间中看到的类和看不见的类之间的关系,并最大化相互信息可以促进传递语义知识的传递。为了验证我们方法的有效性和概括,我们对新型类发现和一般新型类发现设置进行了广泛的实验。我们的结果表明,所提出的方法在几个基准上优于先前的SOTA。
translated by 谷歌翻译
We introduce an information-maximization approach for the Generalized Category Discovery (GCD) problem. Specifically, we explore a parametric family of loss functions evaluating the mutual information between the features and the labels, and find automatically the one that maximizes the predictive performances. Furthermore, we introduce the Elbow Maximum Centroid-Shift (EMaCS) technique, which estimates the number of classes in the unlabeled set. We report comprehensive experiments, which show that our mutual information-based approach (MIB) is both versatile and highly competitive under various GCD scenarios. The gap between the proposed approach and the existing methods is significant, more so when dealing with fine-grained classification problems. Our code: \url{https://github.com/fchiaroni/Mutual-Information-Based-GCD}.
translated by 谷歌翻译
新颖的类发现(NCD)的目的是在一个未标记的数据集中推断出新的类别,该数据集利用了包含不相交但相关类别的标签集的先验知识。现有的研究主要侧重于利用方法学层面的标签集,而不太强调标记集合本身的分析。因此,在本文中,我们从标记的集合中重新考虑了小说类发现,并关注两个核心问题:(i)给定特定的未标记集,什么样的标签集可以最好地支持新颖的类发现? (ii)NCD的基本前提是标记的集合必须与未标记的集合有关,但是我们如何衡量这种关系?对于(i),我们提出并证实了这样的假设,即NCD可以从具有与未标记集的标签相似性的标签集中受益更多。具体而言,我们通过利用其层次结构结构来建立一个广泛而大规模的基准,在Imagenet上标记/未标记的数据集之间具有不同程度的语义相似性。作为鲜明的对比,现有的NCD基准是根据具有不同类别和图像的标签集开发的,并且完全忽略了语义关系。对于(ii),我们引入了一个数学定义,用于量化标记和未标记集之间的语义相似性。此外,我们使用此指标来确认我们提出的基准测试的有效性,并证明它与NCD性能高度相关。此外,在没有定量分析的情况下,以前的工作通常认为标签信息总是有益的。但是,违反直觉,我们的实验结果表明,使用标签可能会导致低相似性设置中的次级优势。
translated by 谷歌翻译
我们在本文中解决了广义类别发现(GCD)的问题,即从一组可见的类中利用信息的未标记的图像,其中未标记的图像可以包含可见的类和看不见的类。可以将所见类看作是类的隐式标准,这使得此设置不同于无监督的聚类,而集群标准可能模棱两可。我们主要关注在细粒数据集中发现类别的问题,因为它是类别发现的最直接应用程序之一,即帮助专家使用所见类规定的隐性标准在未标记的数据集中发现新颖概念。通用类别发现的最新方法杠杆对比度学习以学习表示形式,但是较大的类间相似性和阶层内差异对方法提出了挑战,因为负面示例可能包含无关的线索,以识别类别因此,算法可能会收敛到局部微米。我们提出了一种名为“专家对抗性学习(XCON)”的新颖方法,可以通过将数据集使用K-均值聚类将数据集划分为子数据库,然后对每个子数据集进行对比度学习,从而帮助模型从图像中挖掘有用的信息。学习细粒度的判别特征。在细粒度数据集上的实验表明,与以前的最佳方法相比,性能明显改善,表明我们方法的有效性。
translated by 谷歌翻译
深度学习正在推动许多计算机视觉应用中的最新技术。但是,它依赖于大量注释的数据存储库,并且捕获现实世界数据的不受约束性质尚未解决。半监督学习(SSL)用大量未标记的数据来补充带注释的培训数据,以降低注释成本。标准SSL方法假设未标记的数据来自与注释数据相同的分布。最近,Orca [9]引入了一个更现实的SSL问题,称为开放世界SSL,假设未注释的数据可能包含来自未知类别的样本。这项工作提出了一种在开放世界中解决SSL的新方法,我们同时学习对已知和未知类别进行分类。在我们方法的核心方面,我们利用样本不确定性,并将有关类分布的先验知识纳入,以生成可靠的伪标记,以适用于已知和未知类别的未标记数据。我们广泛的实验在几个基准数据集上展示了我们的方法的有效性,在该数据集上,它在其中的七个不同数据集(包括CIFAR-100(17.6%)(17.6%),Imagenet-100(5.7%)(5.7%)和微小成像网(9.9%)。
translated by 谷歌翻译
通过利用和适应到目前为止获得的知识,人类具有识别和区分他们不熟悉的实例的天生能力。重要的是,他们实现了这一目标,而不会在早期学习中恶化表现。受此启发,我们识别并制定了NCDWF的新的,务实的问题设置:新颖的类发现而无需忘记,哪个任务是机器学习模型从未标记的数据中逐步发现实例的新颖类别,同时在先前看到的类别上保持其性能。我们提出1)一种生成伪内表示的方法,该表示的代理(不再可用)标记的数据,从而减轻遗忘的遗忘,2)基于相互信息的正常化程序,可以增强对新型类别的无聊发现,而3)a 3)当测试数据包含所见类别和看不见的类别的实例时,简单的已知类标识符可以有助于广义推断。我们介绍了基于CIFAR-10,CIFAR-100和IMAGENET-1000的实验协议,以衡量知识保留和新型类发现之间的权衡。我们广泛的评估表明,现有的模型在确定新类别的同时灾难性地忘记了先前看到的类别,而我们的方法能够有效地在竞争目标之间平衡。我们希望我们的工作能够吸引对这个新确定的实用问题设定的进一步研究。
translated by 谷歌翻译
半监督学习(SSL)是解决监督学习的注释瓶颈的主要方法之一。最近的SSL方法可以有效利用大量未标记数据的存储库来提高性能,同时依靠一小部分标记数据。在大多数SSL方法中,一个常见的假设是,标记和未标记的数据来自同一基础数据分布。但是,在许多实际情况下,情况并非如此,这限制了其适用性。相反,在这项工作中,我们试图解决最近提出的挑战性的开放世界SSL问题,这些问题并非如此。在开放世界的SSL问题中,目的是识别已知类别的样本,并同时检测和群集样品属于未标记数据中的新型类别。这项工作引入了OpenLDN,该OpenLDN利用成对的相似性损失来发现新颖的类别。使用双层优化规则,此成对相似性损失利用了标记的设置中可用的信息,以隐式群集新颖的类样本,同时识别来自已知类别的样本。在发现新颖的类别后,OpenLDN将Open-World SSL问题转换为标准SSL问题,以使用现有的SSL方法实现额外的性能提高。我们的广泛实验表明,OpenLDN在多个流行的分类基准上胜过当前的最新方法,同时提供了更好的准确性/培训时间权衡。
translated by 谷歌翻译
视觉识别任务通常限于处理小型类的小型,因为剩余类别不可用。我们有兴趣通过基于标记和未标记的示例的表示学习来识别数据集中的新颖概念,并将识别的视野扩展到已知和新型类别。为了解决这一具有挑战性的任务,我们提出了一种组合学习方法,其自然地使用由异构标签空间上的多个监督元分类器给出的组成知识来委托未经组合的类别。组合嵌入给出的表示通过一致性正则化进行了更强大的。我们还介绍了公制学习策略,以估算成对伪标签,以改善未标记的例子的表示,其有效地保护了朝着所知和新型课程的语义关系。该算法通过联合优化提高了看不见的课程的歧视以及学习知名课程的表示,通过联合优化来发现新颖的概念,以便更广泛地提高到新颖的课程。我们广泛的实验通过多种图像检索和新型类发现基准中的提出方法表现出显着的性能。
translated by 谷歌翻译
基于伪标签的半监督学习(SSL)在原始数据利用率上取得了巨大的成功。但是,由于自我生成的人工标签中包含的噪声,其训练程序受到确认偏差的影响。此外,该模型的判断在具有广泛分布数据的现实应用程序中变得更加嘈杂。为了解决这个问题,我们提出了一种名为“班级意识的对比度半监督学习”(CCSSL)的通用方法,该方法是提高伪标签质量并增强现实环境中模型的稳健性的插手。我们的方法不是将现实世界数据视为一个联合集合,而是分别处理可靠的分布数据,并将其融合到下游任务中,并将其与图像对比度融合到下游任务中,以更好地泛化。此外,通过应用目标重新加权,我们成功地强调了清洁标签学习,并同时减少嘈杂的标签学习。尽管它很简单,但我们提出的CCSSL比标准数据集CIFAR100和STL10上的最新SSL方法具有显着的性能改进。在现实世界数据集Semi-Inat 2021上,我们将FixMatch提高了9.80%,并提高了3.18%。代码可用https://github.com/tencentyouturesearch/classification-spoomls。
translated by 谷歌翻译
Despite significant advances, the performance of state-of-the-art continual learning approaches hinges on the unrealistic scenario of fully labeled data. In this paper, we tackle this challenge and propose an approach for continual semi-supervised learning -- a setting where not all the data samples are labeled. An underlying issue in this scenario is the model forgetting representations of unlabeled data and overfitting the labeled ones. We leverage the power of nearest-neighbor classifiers to non-linearly partition the feature space and learn a strong representation for the current task, as well as distill relevant information from previous tasks. We perform a thorough experimental evaluation and show that our method outperforms all the existing approaches by large margins, setting a strong state of the art on the continual semi-supervised learning paradigm. For example, on CIFAR100 we surpass several others even when using at least 30 times less supervision (0.8% vs. 25% of annotations).
translated by 谷歌翻译
在对比学习中,最近的进步表现出了出色的表现。但是,绝大多数方法仅限于封闭世界的环境。在本文中,我们通过挖掘开放世界的环境来丰富表示学习的景观,其中新颖阶级的未标记样本自然可以在野外出现。为了弥合差距,我们引入了一个新的学习框架,开放世界的对比学习(Opencon)。Opencon应对已知和新颖阶级学习紧凑的表现的挑战,并促进了一路上的新颖性发现。我们证明了Opencon在挑战基准数据集中的有效性并建立竞争性能。在Imagenet数据集上,Opencon在新颖和总体分类精度上分别胜过当前最佳方法的最佳方法,分别胜过11.9%和7.4%。我们希望我们的工作能为未来的工作打开新的大门,以解决这一重要问题。
translated by 谷歌翻译
在本文中,我们考虑一个高度通用的图像识别设置,其中,给定标记和未标记的图像集,任务是在未标记的集合中对所有图像进行分类。这里,未标记的图像可以来自标记的类或新颖的图像。现有的识别方法无法处理此设置,因为它们会产生几种限制性假设,例如仅来自已知或未知 - 类的未标记的实例以及已知的未知类的数量。我们解决了更加不受约束的环境,命名为“广义类别发现”,并挑战所有这些假设。我们首先通过从新型类别发现和适应这项任务的最先进的算法来建立强有力的基线。接下来,我们建议使用视觉变形金刚,为此开放的世界设置具有对比的代表学习。然后,我们介绍一个简单而有效的半监督$ k $ -means方法,将未标记的数据自动聚类,看不见的类,显着优于基线。最后,我们还提出了一种新的方法来估计未标记数据中的类别数。我们彻底评估了我们在公共数据集上的方法,包括Cifar10,CiFar100和Imagenet-100,以及包括幼崽,斯坦福汽车和植宝司19,包括幼崽,斯坦福汽车和Herbarium19,在这个新的环境中基准测试,以培养未来的研究。
translated by 谷歌翻译
本文解决了新型类别发现(NCD)的问题,该问题旨在区分大规模图像集中的未知类别。 NCD任务由于与现实世界情景的亲密关系而具有挑战性,我们只遇到了一些部分类和图像。与NCD上的其他作品不同,我们利用原型强调类别歧视的重要性,并减轻缺少新颖阶级注释的问题。具体而言,我们提出了一种新型的适应性原型学习方法,该方法由两个主要阶段组成:原型表示学习和原型自我训练。在第一阶段,我们获得了一个可靠的特征提取器,该功能提取器可以为所有具有基础和新颖类别的图像提供。该功能提取器的实例和类别歧视能力通过自我监督的学习和适应性原型来提高。在第二阶段,我们再次利用原型来整理离线伪标签,并训练类别聚类的最终参数分类器。我们对四个基准数据集进行了广泛的实验,并证明了该方法具有最先进的性能的有效性和鲁棒性。
translated by 谷歌翻译
Generalized Category Discovery (GCD) aims to recognize both known and novel categories from a set of unlabeled data, based on another dataset labeled with only known categories. Without considering differences between known and novel categories, current methods learn about them in a coupled manner, which can hurt model's generalization and discriminative ability. Furthermore, the coupled training approach prevents these models transferring category-specific knowledge explicitly from labeled data to unlabeled data, which can lose high-level semantic information and impair model performance. To mitigate above limitations, we present a novel model called Decoupled Prototypical Network (DPN). By formulating a bipartite matching problem for category prototypes, DPN can not only decouple known and novel categories to achieve different training targets effectively, but also align known categories in labeled and unlabeled data to transfer category-specific knowledge explicitly and capture high-level semantics. Furthermore, DPN can learn more discriminative features for both known and novel categories through our proposed Semantic-aware Prototypical Learning (SPL). Besides capturing meaningful semantic information, SPL can also alleviate the noise of hard pseudo labels through semantic-weighted soft assignment. Extensive experiments show that DPN outperforms state-of-the-art models by a large margin on all evaluation metrics across multiple benchmark datasets. Code and data are available at https://github.com/Lackel/DPN.
translated by 谷歌翻译
在本文中,我们通过利用包含来自其他不同但相关类别的图像的标记数据集将来自新类的未标记的图像与新类别分组从新类别分组到不同的语义分区的问题。这是一个比传统的半监督学习更现实和具有挑战性的。我们为这个问题提出了一个双分支学习框架,一个分支专注于本地部分级信息和专注于整体特征的另一个分支。将知识从标记的数据传输到未标记的,我们建议使用两个分支机构的双重排名统计信息来生成伪标签,用于培训未标记的数据。我们进一步介绍了一个相互知识蒸馏方法,以允许信息交流并鼓励两个分支机构之间的协议,以发现新类别,允许我们的模型享受全球和当地特征的好处。我们全面评估了我们在通用对象分类的公共基准上的方法,以及用于细粒度的视觉识别的更具挑战性的数据集,实现最先进的性能。
translated by 谷歌翻译
在这项工作中,我们建议相互分布对准(RDA)解决半监督学习(SSL),该学习是一个无主参数框架,与置信阈值无关,并与匹配的(常规)和不匹配的类别分布一起工作。分布不匹配是一个经常被忽略但更通用的SSL场景,在该场景中,标记和未标记的数据不属于相同的类别分布。这可能导致该模型不利用标记的数据可靠,并大大降低SSL方法的性能,而传统的分布对齐无法挽救。在RDA中,我们对来自两个分类器的预测分布进行了相互对准,这些分类器预测了未标记的数据上的伪标签和互补标签。携带补充信息的这两个分布可用于相互正规化,而无需任何课堂分布。此外,我们从理论上显示RDA最大化输入输出互信息。我们的方法在各种不匹配的分布以及常规匹配的SSL设置的情况下,在SSL中实现了有希望的性能。我们的代码可在以下网址提供:https://github.com/njuyued/rda4robustssl。
translated by 谷歌翻译
我们在语义分段(NCDSS)中介绍了新型类发现的新设置,其目的在于将未标记的图像分段,其中给出了从标记的不相交类集之前知识的新类。与看起来在图像分类中的新型类发现的现有方法相比,我们专注于更具挑战性的语义细分。在NCDS中,我们需要区分对象和背景,并处理图像内的多个类的存在,这增加了使用未标记数据的难度。为了解决这个新的设置,我们利用标记的基础数据和显着模型来粗略地集群新颖的课程,以便在我们的基本框架中进行模型培训。此外,我们提出了基于熵的不确定性建模和自我培训(EUMS)框架来克服嘈杂的伪标签,进一步提高了新颖类别的模型性能。我们的欧姆斯利用熵排名技术和动态重新分配来蒸馏清洁标签,从而充分利用自我监督的学习来充分利用嘈杂的数据。我们在Pascal-5 $ ^ i $ dataSet上构建NCDSS基准。广泛的实验表明了基本框架的可行性(实现了平均Miou的49.81%)和欧姆斯框架的有效性(优于9.28%Miou的基本框架)。
translated by 谷歌翻译
Positive-Unlabeled (PU) learning aims to learn a model with rare positive samples and abundant unlabeled samples. Compared with classical binary classification, the task of PU learning is much more challenging due to the existence of many incompletely-annotated data instances. Since only part of the most confident positive samples are available and evidence is not enough to categorize the rest samples, many of these unlabeled data may also be the positive samples. Research on this topic is particularly useful and essential to many real-world tasks which demand very expensive labelling cost. For example, the recognition tasks in disease diagnosis, recommendation system and satellite image recognition may only have few positive samples that can be annotated by the experts. These methods mainly omit the intrinsic hardness of some unlabeled data, which can result in sub-optimal performance as a consequence of fitting the easy noisy data and not sufficiently utilizing the hard data. In this paper, we focus on improving the commonly-used nnPU with a novel training pipeline. We highlight the intrinsic difference of hardness of samples in the dataset and the proper learning strategies for easy and hard data. By considering this fact, we propose first splitting the unlabeled dataset with an early-stop strategy. The samples that have inconsistent predictions between the temporary and base model are considered as hard samples. Then the model utilizes a noise-tolerant Jensen-Shannon divergence loss for easy data; and a dual-source consistency regularization for hard data which includes a cross-consistency between student and base model for low-level features and self-consistency for high-level features and predictions, respectively.
translated by 谷歌翻译
在新颖的类发现(NCD)中,目标是在一个未标记的集合中找到新的类,并给定一组已知但不同的类别。尽管NCD最近引起了社区的关注,但尽管非常普遍的数据表示,但尚未提出异质表格数据的框架。在本文中,我们提出了TabularNCD,这是一种在表格数据中发现新类别的新方法。我们展示了一种从已知类别中提取知识的方法,以指导包含异质变量的表格数据中新型类的发现过程。该过程的一部分是通过定义伪标签的新方法来完成的,我们遵循多任务学习中的最新发现以优化关节目标函数。我们的方法表明,NCD不仅适用于图像,而且适用于异质表格数据。进行了广泛的实验,以评估我们的方法并证明其对7种不同公共分类数据集的3个竞争对手的有效性。
translated by 谷歌翻译
深度学习的成功通常伴随着神经网络深度的增长。但是,传统培训方法仅在最后一层监督神经网络并逐层传播,这导致了优化中间层的困难。最近,已经提出了深层监督,以在深神经网络的中间层中添加辅助分类器。通过通过监督任务损失优化这些辅助分类器,可以将监督直接应用于浅层层。但是,深层监督与众所周知的观察结果冲突,即浅层学习低级特征,而不是任务偏向的高级语义特征。为了解决这个问题,本文提出了一个名为“对比深度监督”的新型培训框架,该框架通过基于增强的对比学习来监督中间层。具有11个模型的九个流行数据集的实验结果证明了其对监督学习,半监督学习和知识蒸馏中一般图像分类,细粒度的图像分类和对象检测的影响。代码已在Github发布。
translated by 谷歌翻译