这项工作研究了伪标签的偏见问题，一种广泛发生的自然现象，但经常通过先前的研究忽视。当在源数据上培训的分类器被传送到未标记的目标数据时，会生成伪标签。当半监督的学习模型Fixmatch预测未标记的数据时，我们观察到沉重的长尾伪标签即使未标记的数据被策划到平衡。没有干预，培训模型继承了伪标签的偏置，最终是次优。为了消除模型偏置，我们提出了一种简单而有效的方法DebiSmatch，包括自适应脱叠模块和自适应边际损失。通过使用在线更新的队列，可以自动调整脱叠的强度和边距的大小。在ImageNet-1K上基准测试，DebiasMatch分别在半监督学习（0.2％注释数据）和零拍摄学习任务中显着超过26％和8.7％的最先进。

半监督学习（SSL）的最新最新方法将一致性正则化与基于置信的伪标记结合在一起。为了获得高质量的伪标签，通常采用高置信度阈值。但是，已经表明，对于远离训练数据的样本，深网的基于软磁性的置信度得分可能很高，因此，即使是高信心不明的样品，伪标签也可能仍然不可靠。在这项工作中，我们提出了伪标记的新观点：而不是依靠模型信心，而是衡量未标记的样本是否可能是“分布”；即，接近当前的培训数据。为了对未标记的样本进行分类是“分布”还是“分发”，我们采用了分布外检测文献中的能量评分。随着培训的进行进展，更不标记的样品成为分配并有助于培训，标记和伪标记的数据可以更好地近似于真正的分布以改善模型。实验表明，我们的基于能量的伪标记方法，尽管从概念上讲简单，但在不平衡的SSL基准测试方面显着优于基于置信的方法，并在类平衡的数据上实现了竞争性能。例如，当不平衡比率高于50时，它会在CIFAR10-LT上产生4-6％的绝对准确性提高。当与最新的长尾SSL方法结合使用时，可以实现进一步的改进。

在本文中，我们提出了一种新的共同学习框架（COSSL），具有解耦的表示学习和分类器学习，用于实施SSL。为了处理数据不平衡，我们为分类器学习设计了尾级功能增强（TFE）。此外，Imbalanced SSL的当前评估协议仅针对均衡测试集，在现实世界方案中具有有限的实用性。因此，我们进一步在各种转移试验分布下进行了综合评价。在实验中，我们表明我们的方法优于大量移位的分布，在基准数据集中实现最先进的性能，从CiFar-10，CiFar-100，Imagenet到食品-101。我们的代码将公开可用。

我们研究了用于半监控学习（SSL）的无监督数据选择，其中可以提供大规模的未标记数据集，并且为标签采集预算小额数据子集。现有的SSL方法专注于学习一个有效地集成了来自给定小标记数据和大型未标记数据的信息的模型，而我们专注于选择正确的数据以用于SSL的注释，而无需任何标签或任务信息。直观地，要标记的实例应统称为下游任务的最大多样性和覆盖范围，并且单独具有用于SSL的最大信息传播实用程序。我们以三步数据为中心的SSL方法形式化这些概念，使稳定性和精度的纤维液改善8％的CiFar-10（标记为0.08％）和14％的Imagenet -1k（标记为0.2％）。它也是一种具有各种SSL方法的通用框架，提供一致的性能增益。我们的工作表明，在仔细选择注释数据上花费的小计算带来了大注释效率和模型性能增益，而无需改变学习管道。我们完全无监督的数据选择可以轻松扩展到其他弱监督的学习设置。

半监督学习（SSL）在标记数据稀缺时，在利用未标记数据的情况下表现出强大的能力。但是，大多数SSL算法在假设中，在培训和测试集中平衡类分布。在这项工作中，我们考虑到SSL对类别不平衡数据的问题，这更好地反映了现实世界的情况。特别是，我们将表示和分类器的训练分离，并系统地在培训包括分类器的整个网络以及仅微调特征提取器的整个网络时进行不同数据重新采样技术的影响。我们发现数据重新采样是重要的，以了解一个良好的分类器，因为它增加了伪标签的准确性，特别是对于未标记数据中的少数群体类别。有趣的是，我们发现准确的伪标签在训练特征提取器时无助于，相反，数据重新采样损害了特征提取器的训练。这一发现是针对错误的伪标签始终损害SSL中的模型性能的通用直觉。基于这些发现，我们建议重新思考具有单个数据重新采样策略的当前范式，并在类上不平衡数据上开发SSL的简单但高效的双采样（BIS）策略。 BIS实现了两种不同的重新采样策略，用于训练特征提取器和分类器，并将这种解耦培训集成到端到端框架中。具体地，BIS逐渐改变训练期间的数据分布，使得在开始时，特征提取器有效地训练，而朝向训练的结束时，数据被重新平衡，使得分类器可靠地训练。我们在广泛的数据集中广泛地基准了我们提出的双采样策略，实现了最先进的表演。

在这项工作中，我们建议相互分布对准（RDA）解决半监督学习（SSL），该学习是一个无主参数框架，与置信阈值无关，并与匹配的（常规）和不匹配的类别分布一起工作。分布不匹配是一个经常被忽略但更通用的SSL场景，在该场景中，标记和未标记的数据不属于相同的类别分布。这可能导致该模型不利用标记的数据可靠，并大大降低SSL方法的性能，而传统的分布对齐无法挽救。在RDA中，我们对来自两个分类器的预测分布进行了相互对准，这些分类器预测了未标记的数据上的伪标签和互补标签。携带补充信息的这两个分布可用于相互正规化，而无需任何课堂分布。此外，我们从理论上显示RDA最大化输入输出互信息。我们的方法在各种不匹配的分布以及常规匹配的SSL设置的情况下，在SSL中实现了有希望的性能。我们的代码可在以下网址提供：https：//github.com/njuyued/rda4robustssl。

伪标记已被证明是一种有希望的半监督学习（SSL）范式。现有的伪标记方法通常假定培训数据的类别分布是平衡的。但是，这种假设远非现实的场景，现有的伪标记方法在班级不平衡的背景下遭受了严重的性能变性。在这项工作中，我们在半监督设置下研究伪标记。核心思想是使用偏置自适应分类器自动吸收由班级失衡引起的训练偏差，该分类器将原始线性分类器与偏置吸引子配合使用。偏置吸引子设计为适应训练偏见的轻巧残留网络。具体而言，通过双级学习框架来学习偏见吸引子，以便偏见自适应分类器能够符合不平衡的训练数据，而线性分类器可以为每个类提供无偏的标签预测。我们在各种不平衡的半监督设置下进行了广泛的实验，结果表明我们的方法可以适用于不同的伪标记模型，并且优于先前的艺术。

Semi-supervised learning (SSL) provides an effective means of leveraging unlabeled data to improve a model's performance. This domain has seen fast progress recently, at the cost of requiring more complex methods. In this paper we propose FixMatch, an algorithm that is a significant simplification of existing SSL methods. FixMatch first generates pseudo-labels using the model's predictions on weaklyaugmented unlabeled images. For a given image, the pseudo-label is only retained if the model produces a high-confidence prediction. The model is then trained to predict the pseudo-label when fed a strongly-augmented version of the same image. Despite its simplicity, we show that FixMatch achieves state-of-the-art performance across a variety of standard semi-supervised learning benchmarks, including 94.93% accuracy on CIFAR-10 with 250 labels and 88.61% accuracy with 40 -just 4 labels per class. We carry out an extensive ablation study to tease apart the experimental factors that are most important to FixMatch's success. The code is available at https://github.com/google-research/fixmatch.

深度神经网络在大规模标记的数据集的帮助下，在各种任务上取得了出色的表现。然而，这些数据集既耗时又竭尽全力来获得现实的任务。为了减轻对标记数据的需求，通过迭代分配伪标签将伪标签分配给未标记的样本，自我训练被广泛用于半监督学习中。尽管它很受欢迎，但自我训练还是不可靠的，通常会导致训练不稳定。我们的实验研究进一步表明，半监督学习的偏见既来自问题本身，也来自不适当的训练，并具有可能不正确的伪标签，这会在迭代自我训练过程中累积错误。为了减少上述偏见，我们提出了自我训练（DST）。首先，伪标签的生成和利用是由两个独立于参数的分类器头解耦，以避免直接误差积累。其次，我们估计自我训练偏差的最坏情况，其中伪标记函数在标记的样品上是准确的，但在未标记的样本上却尽可能多地犯错。然后，我们通过避免最坏的情况来优化表示形式，以提高伪标签的质量。广泛的实验证明，DST在标准的半监督学习基准数据集上的最先进方法中，平均提高了6.3％，而在13个不同任务上，FIXMATCH的平均水平为18.9％。此外，DST可以无缝地适应其他自我训练方法，并有助于稳定他们在从头开始的培训和预先训练模型的训练的情况下，在培训的情况下进行培训和平衡表现。

一个常见的分类任务情况是，有大量数据可用于培训，但只有一小部分用类标签注释。在这种情况下，半监督培训的目的是通过利用标记数据，而且从大量未标记的数据中提高分类准确性。最近的作品通过探索不同标记和未标记数据的不同增强性数据之间的一致性约束，从而取得了重大改进。遵循这条路径，我们提出了一个新颖的无监督目标，该目标侧重于彼此相似的高置信度未标记的数据之间所研究的关系较少。新提出的对损失最大程度地减少了高置信度伪伪标签之间的统计距离，其相似性高于一定阈值。我们提出的简单算法将对损失与MixMatch家族开发的技术结合在一起，显示出比以前在CIFAR-100和MINI-IMAGENET上的算法的显着性能增长，并且与CIFAR-的最先进方法相当。 10和SVHN。此外，简单还优于传输学习设置中最新方法，其中模型是由在ImainEnet或域内实现的权重初始化的。该代码可在github.com/zijian-hu/simple上获得。

半监督学习（SSL）从根本上是一个缺失的标签问题，与广泛的随机假设完全既贴心又无标记的标签完全失踪，而不是随机（mnar）问题（mnar）问题更现实和挑战数据共享相同的类分布。与现有的SSL解决方案不同，这些解决方案忽略了“类”在引起非随机性中的作用，例如，用户更有可能将流行类标记为“类别”，我们将“类”明确地纳入SSL。我们的方法是三倍：1）我们建议使用偏置标记的数据来利用未标记的数据来利用未标记的数据来训练改进的分类器。 2）鼓励罕见的课堂培训，其模型是低回调但高精度，丢弃了太多的伪标记的数据，我们提出了类动态降低（或增加）伪标签分配阈值的class感知插补（CAI）稀有（或频繁）的课程。 3）总体而言，我们将CAP和CAI集成到训练无偏的SSL模型的双重稳健估计器中。在各种MNAR设置和消融中，我们的方法不仅显着优于现有基线，而且超过了其他标签偏置删除SSL方法。请通过以下方式查看我们的代码：https：//github.com/joyhuyy1412/cadr-fixmatch。

半监督学习方法已成为对打击获得大量注释数据的挑战的活跃研究领域。为了提高半监督学习方法表现的目标，我们提出了一种新颖的框架，Hiematch，一种半监督方法，利用分层信息来降低标签成本并表现以及vanilla半监督学习方法。分层信息通常是具有细粒标签的粗标签（例如，啄木鸟）的粗标签（例如，啄木鸟）的现有知识（例如，柔软的啄木鸟或金朝啄木鸟）。但是，尚未探讨使用使用粗类标签来改进半监督技术的监督。在没有细粒度的标签的情况下，Himatch利用标签层次结构，并使用粗级标签作为弱监控信号。此外，Himatch是一种改进任何半熟的学习框架的通用方法，我们使用我们的结果在最近的最先进的技术Mixmatch和Fixmatch上展示了这一点。我们评估了在两个基准数据集，即CiFar-100和Nabirds上的Himatch疗效。与MixMatch相比，HOMACHACT可以在CIFAR-100上减少50％的粒度标签50％的用量，仅在前1个精度的边缘下降0.59％。代码：https://github.com/07agarg/hiermatch.

基于伪标签的半监督学习（SSL）在原始数据利用率上取得了巨大的成功。但是，由于自我生成的人工标签中包含的噪声，其训练程序受到确认偏差的影响。此外，该模型的判断在具有广泛分布数据的现实应用程序中变得更加嘈杂。为了解决这个问题，我们提出了一种名为“班级意识的对比度半监督学习”（CCSSL）的通用方法，该方法是提高伪标签质量并增强现实环境中模型的稳健性的插手。我们的方法不是将现实世界数据视为一个联合集合，而是分别处理可靠的分布数据，并将其融合到下游任务中，并将其与图像对比度融合到下游任务中，以更好地泛化。此外，通过应用目标重新加权，我们成功地强调了清洁标签学习，并同时减少嘈杂的标签学习。尽管它很简单，但我们提出的CCSSL比标准数据集CIFAR100和STL10上的最新SSL方法具有显着的性能改进。在现实世界数据集Semi-Inat 2021上，我们将FixMatch提高了9.80％，并提高了3.18％。代码可用https://github.com/tencentyouturesearch/classification-spoomls。

部分标签学习（PLL）是一项奇特的弱监督学习任务，其中训练样本通常与一组候选标签而不是单个地面真理相关联。尽管在该域中提出了各种标签歧义方法，但他们通常假设在许多现实世界应用中可能不存在类平衡的方案。从经验上讲，我们在面对长尾分布和部分标记的组合挑战时观察到了先前方法的退化性能。在这项工作中，我们首先确定先前工作失败的主要原因。随后，我们提出了一种新型的基于最佳运输的框架太阳能，它允许完善被歧义的标签，以匹配边缘级别的先验分布。太阳能还结合了一种新的系统机制，用于估计PLL设置下的长尾类先验分布。通过广泛的实验，与先前的最先进的PLL方法相比，太阳能在标准化基准方面表现出基本优势。代码和数据可在以下网址获得：https：//github.com/hbzju/solar。

半监督学习（SSL）在稀缺标记的数据时取得了长足的进步，但未标记的数据丰富。至关重要的是，最近的工作假设这种未标记的数据是从与标记数据相同的分布中汲取的。在这项工作中，我们表明，在存在未标记的辅助数据的情况下，最先进的SSL算法在性能下遭受了降解，这些数据不一定具有与标签集相同的类别分布。我们将此问题称为辅助-SSL，并提出了AuxMix，这是一种利用自我监督的学习任务来学习通用功能，以掩盖与标记的集合在语义上相似的辅助数据。我们还建议通过最大化不同辅助样品的预测熵来正规化学习。当在CIFAR10数据集中培训带有4K标记的样品时，我们在Resnet-50型号上显示了5％的改善，并且从Tiny-ImageNet数据集中绘制所有未标记的数据。我们报告了几个数据集的竞争结果，并进行消融研究。

视觉世界自然地展现了一个长尾的开放类分布，这对现代视觉系统带来了巨大挑战。现有方法可以执行类重新平衡策略或直接改进网络模块以解决问题。然而，他们仍然用有限一套预定义标签训练模型，限制了他们的监督信息并限制了他们对新颖实例的可转移性。新途径上的大型对比视觉普瑞宁普雷宁闪光灯的最新进展，可视识别。利用开放词汇监督，预先染色的对比视觉语言模型学习强大的多模式表示，这是对处理数据缺陷和看不见的概念。通过计算视觉和文本输入之间的语义相似性，可视识别被转换为vision语言匹配问题。灵感来自于此，我们提出了民谣，利用了对比尾识别的对比视觉模型。我们首先通过对特定的长尾目标数据集进行对比学习继续预先预留视觉语言骨干。之后，我们冻结了骨干，进一步采用了额外的适配器层，以增强通过重新采样策略构建的平衡训练样本上的尾级课程的表示。已经在三个流行的长尾识别基准测试中进行了广泛的实验。因此，我们简单有效的方法设定了新的最先进的表演，优于具有大边距的竞争基础。代码在https://github.com/gaopengcuhk/ballad发布。

域适应（DA）旨在将知识从标签富裕但异构的域转移到标签恐慌域，这减轻了标签努力并吸引了相当大的关注。与以前的方法不同，重点是学习域中的特征表示，一些最近的方法存在通用半监督学习（SSL）技术，直接将它们应用于DA任务，甚至实现竞争性能。最受欢迎的SSL技术之一是伪标记，可通过标记数据训练的分类器为每个未标记数据分配伪标签。但是，它忽略了DA问题的分布偏移，并且不可避免地偏置为源数据。要解决此问题，我们提出了一个名为辅助目标域导向的分类器（ATDOC）的新伪标签框架。 ATDOC通过为目标数据引入辅助分类器来缓解分类器偏置，以提高伪标签的质量。具体地，我们使用内存机制并开发两种类型的非参数分类器，即最近的质心分类器和邻域聚合，而不引入任何其他网络参数。尽管在伪分类目标中具有简单性，但具有邻域聚集的ATDOC显着优于域对齐技术和现有的SSL技术，以及甚至瘢痕标记的SSL任务。

We present Noisy Student Training, a semi-supervised learning approach that works well even when labeled data is abundant. Noisy Student Training achieves 88.4% top-1 accuracy on ImageNet, which is 2.0% better than the state-of-the-art model that requires 3.5B weakly labeled Instagram images. On robustness test sets, it improves ImageNet-A top-1 accuracy from 61.0% to 83.7%, reduces ImageNet-C mean corruption error from 45.7 to 28.3, and reduces ImageNet-P mean flip rate from 27.8 to 12.2.Noisy Student Training extends the idea of self-training and distillation with the use of equal-or-larger student models and noise added to the student during learning. On Im-ageNet, we first train an EfficientNet model on labeled images and use it as a teacher to generate pseudo labels for 300M unlabeled images. We then train a larger Efficient-Net as a student model on the combination of labeled and pseudo labeled images. We iterate this process by putting back the student as the teacher. During the learning of the student, we inject noise such as dropout, stochastic depth, and data augmentation via RandAugment to the student so that the student generalizes better than the teacher. 1 * This work was conducted at Google.

Jitendra Malik once said, "Supervision is the opium of the AI researcher". Most deep learning techniques heavily rely on extreme amounts of human labels to work effectively. In today's world, the rate of data creation greatly surpasses the rate of data annotation. Full reliance on human annotations is just a temporary means to solve current closed problems in AI. In reality, only a tiny fraction of data is annotated. Annotation Efficient Learning (AEL) is a study of algorithms to train models effectively with fewer annotations. To thrive in AEL environments, we need deep learning techniques that rely less on manual annotations (e.g., image, bounding-box, and per-pixel labels), but learn useful information from unlabeled data. In this thesis, we explore five different techniques for handling AEL.

半监督的几次学习在于培训分类器以适应有限的标记数据和固定数量未标记的数据的新任务。已经开发了许多复杂的方法来解决该问题所包含的挑战。在本文中，我们提出了一种简单但相当有效的方法，可以从间接学习的角度预测未标记数据的准确伪标记，然后增强在几个拍摄分类任务中设置的极其标签受限的支持。我们的方法只能通过仅使用现成的操作来仅在几行代码中实现，但是它能够在四个基准数据集上超越最先进的方法。