深层网络的监督表示学习倾向于过度培养培训课程，而对新课程的概括是一个具有挑战性的问题。经常评估在同一培训课程的固定图像上学习的嵌入。但是，在实际应用中，数据来自新来源，新颖的类可能会出现。我们假设将新颖类的未标记图像以半监督的方式纳入训练，这将有助于与香草监督的表述相比，有效地检索新颖级别的图像。为了以一种综合的方式验证这一假设，我们提出了一种原始的评估方法，该方法可以通过随机或语义上的数据集类别进行分区，即通过对基础和新颖类之间的共享语义进行最小化，从而改变了新颖类的新颖性程度。该评估程序允许盲目训练一台新型级标签，并评估基础或新型阶级检索的冷冻表示。我们发现，香草的监督表现不足，因此在新颖阶级的检索中差不多，因此当语义差距更高时。半监督算法可以部分弥合这一性能差距，但仍然有很大的改进空间。

本文解决了新型类别发现（NCD）的问题，该问题旨在区分大规模图像集中的未知类别。 NCD任务由于与现实世界情景的亲密关系而具有挑战性，我们只遇到了一些部分类和图像。与NCD上的其他作品不同，我们利用原型强调类别歧视的重要性，并减轻缺少新颖阶级注释的问题。具体而言，我们提出了一种新型的适应性原型学习方法，该方法由两个主要阶段组成：原型表示学习和原型自我训练。在第一阶段，我们获得了一个可靠的特征提取器，该功能提取器可以为所有具有基础和新颖类别的图像提供。该功能提取器的实例和类别歧视能力通过自我监督的学习和适应性原型来提高。在第二阶段，我们再次利用原型来整理离线伪标签，并训练类别聚类的最终参数分类器。我们对四个基准数据集进行了广泛的实验，并证明了该方法具有最先进的性能的有效性和鲁棒性。

大多数现有的工作在几次学习中，依赖于Meta-Learning网络在大型基础数据集上，该网络通常是与目标数据集相同的域。我们解决了跨域几秒钟的问题，其中基础和目标域之间存在大移位。与未标记的目标数据的跨域几秒识别问题在很大程度上在文献中毫无根据。启动是使用自我训练解决此问题的第一个方法。但是，它使用固定的老师在标记的基础数据集上返回，以为未标记的目标样本创建软标签。由于基本数据集和未标记的数据集来自不同的域，因此将基本数据集的类域中的目标图像投影，具有固定的预制模型可能是子最优的。我们提出了一种简单的动态蒸馏基方法，以方便来自新颖/基础数据集的未标记图像。我们通过从教师网络中的未标记图像的未标记版本的预测计算并将其与来自学生网络相同的相同图像的强大版本匹配来施加一致性正常化。教师网络的参数被更新为学生网络参数的指数移动平均值。我们表明所提出的网络了解可以轻松适应目标域的表示，即使它尚未在预先预测阶段的目标专用类别训练。我们的车型优于当前最先进的方法，在BSCD-FSL基准中的5次分类，3.6％的3.6％，并在传统的域名几枪学习任务中显示出竞争性能。

在本文中，我们考虑一个高度通用的图像识别设置，其中，给定标记和未标记的图像集，任务是在未标记的集合中对所有图像进行分类。这里，未标记的图像可以来自标记的类或新颖的图像。现有的识别方法无法处理此设置，因为它们会产生几种限制性假设，例如仅来自已知或未知 - 类的未标记的实例以及已知的未知类的数量。我们解决了更加不受约束的环境，命名为“广义类别发现”，并挑战所有这些假设。我们首先通过从新型类别发现和适应这项任务的最先进的算法来建立强有力的基线。接下来，我们建议使用视觉变形金刚，为此开放的世界设置具有对比的代表学习。然后，我们介绍一个简单而有效的半监督$ k $ -means方法，将未标记的数据自动聚类，看不见的类，显着优于基线。最后，我们还提出了一种新的方法来估计未标记数据中的类别数。我们彻底评估了我们在公共数据集上的方法，包括Cifar10，CiFar100和Imagenet-100，以及包括幼崽，斯坦福汽车和植宝司19，包括幼崽，斯坦福汽车和Herbarium19，在这个新的环境中基准测试，以培养未来的研究。

Jitendra Malik once said, "Supervision is the opium of the AI researcher". Most deep learning techniques heavily rely on extreme amounts of human labels to work effectively. In today's world, the rate of data creation greatly surpasses the rate of data annotation. Full reliance on human annotations is just a temporary means to solve current closed problems in AI. In reality, only a tiny fraction of data is annotated. Annotation Efficient Learning (AEL) is a study of algorithms to train models effectively with fewer annotations. To thrive in AEL environments, we need deep learning techniques that rely less on manual annotations (e.g., image, bounding-box, and per-pixel labels), but learn useful information from unlabeled data. In this thesis, we explore five different techniques for handling AEL.

新颖的类发现（NCD）的目的是在一个未标记的数据集中推断出新的类别，该数据集利用了包含不相交但相关类别的标签集的先验知识。现有的研究主要侧重于利用方法学层面的标签集，而不太强调标记集合本身的分析。因此，在本文中，我们从标记的集合中重新考虑了小说类发现，并关注两个核心问题：（i）给定特定的未标记集，什么样的标签集可以最好地支持新颖的类发现？ （ii）NCD的基本前提是标记的集合必须与未标记的集合有关，但是我们如何衡量这种关系？对于（i），我们提出并证实了这样的假设，即NCD可以从具有与未标记集的标签相似性的标签集中受益更多。具体而言，我们通过利用其层次结构结构来建立一个广泛而大规模的基准，在Imagenet上标记/未标记的数据集之间具有不同程度的语义相似性。作为鲜明的对比，现有的NCD基准是根据具有不同类别和图像的标签集开发的，并且完全忽略了语义关系。对于（ii），我们引入了一个数学定义，用于量化标记和未标记集之间的语义相似性。此外，我们使用此指标来确认我们提出的基准测试的有效性，并证明它与NCD性能高度相关。此外，在没有定量分析的情况下，以前的工作通常认为标签信息总是有益的。但是，违反直觉，我们的实验结果表明，使用标签可能会导致低相似性设置中的次级优势。

我们在本文中解决了广义类别发现（GCD）的问题，即从一组可见的类中利用信息的未标记的图像，其中未标记的图像可以包含可见的类和看不见的类。可以将所见类看作是类的隐式标准，这使得此设置不同于无监督的聚类，而集群标准可能模棱两可。我们主要关注在细粒数据集中发现类别的问题，因为它是类别发现的最直接应用程序之一，即帮助专家使用所见类规定的隐性标准在未标记的数据集中发现新颖概念。通用类别发现的最新方法杠杆对比度学习以学习表示形式，但是较大的类间相似性和阶层内差异对方法提出了挑战，因为负面示例可能包含无关的线索，以识别类别因此，算法可能会收敛到局部微米。我们提出了一种名为“专家对抗性学习（XCON）”的新颖方法，可以通过将数据集使用K-均值聚类将数据集划分为子数据库，然后对每个子数据集进行对比度学习，从而帮助模型从图像中挖掘有用的信息。学习细粒度的判别特征。在细粒度数据集上的实验表明，与以前的最佳方法相比，性能明显改善，表明我们方法的有效性。

Can we automatically group images into semantically meaningful clusters when ground-truth annotations are absent? The task of unsupervised image classification remains an important, and open challenge in computer vision. Several recent approaches have tried to tackle this problem in an end-to-end fashion. In this paper, we deviate from recent works, and advocate a two-step approach where feature learning and clustering are decoupled. First, a self-supervised task from representation learning is employed to obtain semantically meaningful features. Second, we use the obtained features as a prior in a learnable clustering approach. In doing so, we remove the ability for cluster learning to depend on low-level features, which is present in current end-to-end learning approaches. Experimental evaluation shows that we outperform state-of-the-art methods by large margins, in particular +26.6% on CI-FAR10, +25.0% on CIFAR100-20 and +21.3% on STL10 in terms of classification accuracy. Furthermore, our method is the first to perform well on a large-scale dataset for image classification. In particular, we obtain promising results on ImageNet, and outperform several semi-supervised learning methods in the low-data regime without the use of any groundtruth annotations. The code is made publicly available here.

我们解决了新颖的类发现问题，旨在根据可见类别的数据在未标记的数据中发现新的类。主要的挑战是将所见类中包含的知识转移到看不见的知识中。先前的方法主要通过共享表示空间或关节标签空间传输知识。但是，他们倾向于忽略可见类别和看不见的类别之间的阶级关系，因此学习的表示对聚类的看不见类别的有效性较差。在本文中，我们提出了一种原理和一般方法，以在可见的和看不见的阶级之间传递语义知识。我们的见解是利用共同的信息来衡量受限的标签空间中看到的类和看不见的类之间的关系，并最大化相互信息可以促进传递语义知识的传递。为了验证我们方法的有效性和概括，我们对新型类发现和一般新型类发现设置进行了广泛的实验。我们的结果表明，所提出的方法在几个基准上优于先前的SOTA。

我们对自我监督，监督或半监督设置的代表学习感兴趣。在应用自我监督学习的平均移位思想的事先工作，通过拉动查询图像来概括拜尔的想法，不仅更接近其其他增强，而且还可以到其他增强的最近邻居（NNS）。我们认为，学习可以从选择远处与查询相关的邻居选择遥远的邻居。因此，我们建议通过约束最近邻居的搜索空间来概括MSF算法。我们显示我们的方法在SSL设置中优于MSF，当约束使用不同的图像时，并且当约束确保NNS具有与查询相同的伪标签时，在半监控设置中优于培训资源的半监控设置中的爪子。

This work tackles the problem of semi-supervised learning of image classifiers. Our main insight is that the field of semi-supervised learning can benefit from the quickly advancing field of self-supervised visual representation learning. Unifying these two approaches, we propose the framework of self-supervised semi-supervised learning (S 4 L) and use it to derive two novel semi-supervised image classification methods. We demonstrate the effectiveness of these methods in comparison to both carefully tuned baselines, and existing semi-supervised learning methods. We then show that S 4 L and existing semi-supervised methods can be jointly trained, yielding a new state-of-the-art result on semi-supervised ILSVRC-2012 with 10% of labels.

半监督学习（SSL）是规避建立高性能模型的昂贵标签成本的最有前途的范例之一。大多数现有的SSL方法常规假定标记和未标记的数据是从相同（类）分布中绘制的。但是，在实践中，未标记的数据可能包括课外样本；那些不能从标签数据中的封闭类中的单热编码标签，即未标记的数据是开放设置。在本文中，我们介绍了Opencos，这是一种基于最新的自我监督视觉表示学习框架来处理这种现实的半监督学习方案。具体而言，我们首先观察到，可以通过自我监督的对比度学习有效地识别开放式未标记数据集中的类外样本。然后，Opencos利用此信息来克服现有的最新半监督方法中的故障模式，通过利用一式旋转伪标签和软标签来为已识别的识别和外部未标记的标签数据分别。我们广泛的实验结果表明了Opencos的有效性，可以修复最新的半监督方法，适合涉及开放式无标记数据的各种情况。

半监督学习方法已成为对打击获得大量注释数据的挑战的活跃研究领域。为了提高半监督学习方法表现的目标，我们提出了一种新颖的框架，Hiematch，一种半监督方法，利用分层信息来降低标签成本并表现以及vanilla半监督学习方法。分层信息通常是具有细粒标签的粗标签（例如，啄木鸟）的粗标签（例如，啄木鸟）的现有知识（例如，柔软的啄木鸟或金朝啄木鸟）。但是，尚未探讨使用使用粗类标签来改进半监督技术的监督。在没有细粒度的标签的情况下，Himatch利用标签层次结构，并使用粗级标签作为弱监控信号。此外，Himatch是一种改进任何半熟的学习框架的通用方法，我们使用我们的结果在最近的最先进的技术Mixmatch和Fixmatch上展示了这一点。我们评估了在两个基准数据集，即CiFar-100和Nabirds上的Himatch疗效。与MixMatch相比，HOMACHACT可以在CIFAR-100上减少50％的粒度标签50％的用量，仅在前1个精度的边缘下降0.59％。代码：https://github.com/07agarg/hiermatch.

半监督学习（SSL）在稀缺标记的数据时取得了长足的进步，但未标记的数据丰富。至关重要的是，最近的工作假设这种未标记的数据是从与标记数据相同的分布中汲取的。在这项工作中，我们表明，在存在未标记的辅助数据的情况下，最先进的SSL算法在性能下遭受了降解，这些数据不一定具有与标签集相同的类别分布。我们将此问题称为辅助-SSL，并提出了AuxMix，这是一种利用自我监督的学习任务来学习通用功能，以掩盖与标记的集合在语义上相似的辅助数据。我们还建议通过最大化不同辅助样品的预测熵来正规化学习。当在CIFAR10数据集中培训带有4K标记的样品时，我们在Resnet-50型号上显示了5％的改善，并且从Tiny-ImageNet数据集中绘制所有未标记的数据。我们报告了几个数据集的竞争结果，并进行消融研究。

我们对最近的自我和半监督ML技术进行严格的评估，从而利用未标记的数据来改善下游任务绩效，以河床分割的三个遥感任务，陆地覆盖映射和洪水映射。这些方法对于遥感任务特别有价值，因为易于访问未标记的图像，并获得地面真理标签通常可以昂贵。当未标记的图像（标记数据集之外）提供培训时，我们量化性能改进可以对这些遥感分割任务进行期望。我们还设计实验以测试这些技术的有效性，当测试集相对于训练和验证集具有域移位时。

基于伪标签的半监督学习（SSL）在原始数据利用率上取得了巨大的成功。但是，由于自我生成的人工标签中包含的噪声，其训练程序受到确认偏差的影响。此外，该模型的判断在具有广泛分布数据的现实应用程序中变得更加嘈杂。为了解决这个问题，我们提出了一种名为“班级意识的对比度半监督学习”（CCSSL）的通用方法，该方法是提高伪标签质量并增强现实环境中模型的稳健性的插手。我们的方法不是将现实世界数据视为一个联合集合，而是分别处理可靠的分布数据，并将其融合到下游任务中，并将其与图像对比度融合到下游任务中，以更好地泛化。此外，通过应用目标重新加权，我们成功地强调了清洁标签学习，并同时减少嘈杂的标签学习。尽管它很简单，但我们提出的CCSSL比标准数据集CIFAR100和STL10上的最新SSL方法具有显着的性能改进。在现实世界数据集Semi-Inat 2021上，我们将FixMatch提高了9.80％，并提高了3.18％。代码可用https://github.com/tencentyouturesearch/classification-spoomls。

我们提出了将粗大分类标签纳入细粒域中的图像分类器的技术。这种标签通常可以通过较小的努力来获得较小的粒状域，例如根据生物分类法组织类别的自然界。在三个王国组成的半inat数据集上，包括Phylum标签，在使用ImageNet预训练模型的转移学习设置中将物种级别分类精度提高了6％。使用称为FixMatch的最先进的半监督学习算法的分层标签结构提高了1.3％的性能。当提供诸如类或订单的详细标签或从头开始培训时，相对收益更大。但是，我们发现大多数方法对来自新类别的域名数据的存在并不强大。我们提出了一种技术来从层次结构引导的大量未标记图像中选择相关数据，这提高了鲁棒性。总体而言，我们的实验表明，具有粗大分类标签的半监督学习对于细粒度域中的培训分类器是实用的。

一个常见的分类任务情况是，有大量数据可用于培训，但只有一小部分用类标签注释。在这种情况下，半监督培训的目的是通过利用标记数据，而且从大量未标记的数据中提高分类准确性。最近的作品通过探索不同标记和未标记数据的不同增强性数据之间的一致性约束，从而取得了重大改进。遵循这条路径，我们提出了一个新颖的无监督目标，该目标侧重于彼此相似的高置信度未标记的数据之间所研究的关系较少。新提出的对损失最大程度地减少了高置信度伪伪标签之间的统计距离，其相似性高于一定阈值。我们提出的简单算法将对损失与MixMatch家族开发的技术结合在一起，显示出比以前在CIFAR-100和MINI-IMAGENET上的算法的显着性能增长，并且与CIFAR-的最先进方法相当。 10和SVHN。此外，简单还优于传输学习设置中最新方法，其中模型是由在ImainEnet或域内实现的权重初始化的。该代码可在github.com/zijian-hu/simple上获得。

少量分类需要调整从大型注释的基础数据集中学到的知识来识别新颖的看不见的类，每个类别由少数标记的示例表示。在这样的场景中，预先绘制大容量在大型数据集上的网络，然后在少数示例下向少量抵消导致严重的过度拟合。同时，在从大型标记数据集中学到的“冷冻”特征的顶部培训一个简单的线性分类器无法使模型调整到新型类的属性，有效地诱导底部。在本文中，我们向这两种流行的策略提出了一种替代方法。首先，我们的方法使用在新颖类上培训的线性分类器来伪标签整个大型数据集。这有效地“幻觉”在大型数据集中的新型类别，尽管基本数据库中未存在的新类别（新颖和基类是不相交的）。然后，除了在新型数据集上的标准交叉熵损失之外，它将在伪标记的基础示例上具有蒸馏损失的整个模型。这一步骤有效地训练了网络，识别对新型类别识别的上下文和外观提示，而是使用整个大规模基础数据集，从而克服了几次拍摄学习的固有数据稀缺问题。尽管这种方法的简单性，但我们表明我们的方法在四个成熟的少量分类基准上表现出最先进的。

机器学习从业者通常可以访问数据的频谱：目标任务（通常是有限），未标记的数据和辅助数据的标记数据，用于其他任务的许多可用标记的数据集。我们描述了TAGLET，一个系统为学习技术，用于自动利用所有三种类型的数据并创建高质量的可服装分类器。 TAGLET的关键组件是：（1）根据知识图组织组织的辅助数据，（2）封装用于利用辅助和未标记数据的不同方法的模块，以及（3）将被整合模块组合成可用的蒸馏阶段模型。我们将TAGLETS与最先进的传输学习和半监督学习方法进行比较，四个图像分类任务。我们的研究涵盖了一系列设置，改变了标记数据的量和辅助数据的语义相关性到目标任务。我们发现，辅助和未标记数据的智能融合到多个学习技术使Taglet能够匹配 - 并且最常见的是这些替代方案。 Taglets可作为Github.com/batsresearch/taglet的开源系统使用。