一致性正则化是半监督学习（SSL）最广泛使用的技术之一。通常，目的是培训一种模型，该模型是各种数据增强的模型。在本文中，我们重新审视了这个想法，并发现通过减少来自不同增强图像之间的特征之间的距离来实现不变性，导致性能提高。然而，通过增加特征距离来鼓励其令人鼓舞，而是提高性能。为此，我们通过一个简单但有效的技术，专长的技术提出了一种改进的一致性正则化框架，它分别施加了对分类器和特征级别的一致性和增义。实验结果表明，我们的模型定义了各种数据集和设置的新技术，并以最高的余量优于以前的工作，特别是在低数据制度中。进行了广泛的实验以分析该方法，并将发布代码。

Semi-supervised learning (SSL) provides an effective means of leveraging unlabeled data to improve a model's performance. This domain has seen fast progress recently, at the cost of requiring more complex methods. In this paper we propose FixMatch, an algorithm that is a significant simplification of existing SSL methods. FixMatch first generates pseudo-labels using the model's predictions on weaklyaugmented unlabeled images. For a given image, the pseudo-label is only retained if the model produces a high-confidence prediction. The model is then trained to predict the pseudo-label when fed a strongly-augmented version of the same image. Despite its simplicity, we show that FixMatch achieves state-of-the-art performance across a variety of standard semi-supervised learning benchmarks, including 94.93% accuracy on CIFAR-10 with 250 labels and 88.61% accuracy with 40 -just 4 labels per class. We carry out an extensive ablation study to tease apart the experimental factors that are most important to FixMatch's success. The code is available at https://github.com/google-research/fixmatch.

一个常见的分类任务情况是，有大量数据可用于培训，但只有一小部分用类标签注释。在这种情况下，半监督培训的目的是通过利用标记数据，而且从大量未标记的数据中提高分类准确性。最近的作品通过探索不同标记和未标记数据的不同增强性数据之间的一致性约束，从而取得了重大改进。遵循这条路径，我们提出了一个新颖的无监督目标，该目标侧重于彼此相似的高置信度未标记的数据之间所研究的关系较少。新提出的对损失最大程度地减少了高置信度伪伪标签之间的统计距离，其相似性高于一定阈值。我们提出的简单算法将对损失与MixMatch家族开发的技术结合在一起，显示出比以前在CIFAR-100和MINI-IMAGENET上的算法的显着性能增长，并且与CIFAR-的最先进方法相当。 10和SVHN。此外，简单还优于传输学习设置中最新方法，其中模型是由在ImainEnet或域内实现的权重初始化的。该代码可在github.com/zijian-hu/simple上获得。

我们提出了一个新颖的半监督学习框架，该框架巧妙地利用了模型的预测，从两个强烈的图像观点中的预测之间的一致性正则化，并由伪标签的信心加权，称为conmatch。虽然最新的半监督学习方法使用图像的弱和强烈的观点来定义方向的一致性损失，但如何为两个强大的观点之间的一致性定义定义这种方向仍然没有探索。为了解决这个问题，我们通过弱小的观点作为非参数和参数方法中的锚点来提出从强大的观点中对伪标签的新颖置信度度量。特别是，在参数方法中，我们首次介绍了伪标签在网络中的信心，该网络的信心是以端到端方式通过骨干模型学习的。此外，我们还提出了阶段训练，以提高培训的融合。当纳入现有的半监督学习者中时，并始终提高表现。我们进行实验，以证明我们对最新方法的有效性并提供广泛的消融研究。代码已在https://github.com/jiwoncocoder/conmatch上公开提供。

Semi-supervised learning has proven to be a powerful paradigm for leveraging unlabeled data to mitigate the reliance on large labeled datasets. In this work, we unify the current dominant approaches for semi-supervised learning to produce a new algorithm, MixMatch, that guesses low-entropy labels for data-augmented unlabeled examples and mixes labeled and unlabeled data using MixUp. MixMatch obtains state-of-the-art results by a large margin across many datasets and labeled data amounts. For example, on CIFAR-10 with 250 labels, we reduce error rate by a factor of 4 (from 38% to 11%) and by a factor of 2 on STL-10. We also demonstrate how MixMatch can help achieve a dramatically better accuracy-privacy trade-off for differential privacy. Finally, we perform an ablation study to tease apart which components of MixMatch are most important for its success. We release all code used in our experiments. 1

The core issue in semi-supervised learning (SSL) lies in how to effectively leverage unlabeled data, whereas most existing methods tend to put a great emphasis on the utilization of high-confidence samples yet seldom fully explore the usage of low-confidence samples. In this paper, we aim to utilize low-confidence samples in a novel way with our proposed mutex-based consistency regularization, namely MutexMatch. Specifically, the high-confidence samples are required to exactly predict "what it is" by conventional True-Positive Classifier, while the low-confidence samples are employed to achieve a simpler goal -- to predict with ease "what it is not" by True-Negative Classifier. In this sense, we not only mitigate the pseudo-labeling errors but also make full use of the low-confidence unlabeled data by consistency of dissimilarity degree. MutexMatch achieves superior performance on multiple benchmark datasets, i.e., CIFAR-10, CIFAR-100, SVHN, STL-10, mini-ImageNet and Tiny-ImageNet. More importantly, our method further shows superiority when the amount of labeled data is scarce, e.g., 92.23% accuracy with only 20 labeled data on CIFAR-10. Our code and model weights have been released at https://github.com/NJUyued/MutexMatch4SSL.

完全监督分类的问题是，它需要大量的注释数据，但是，在许多数据集中，很大一部分数据是未标记的。为了缓解此问题，半监督学习（SSL）利用了标记域上的分类器知识，并将其推送到无标记的域，该域具有与注释数据相似的分布。 SSL方法的最新成功至关重要地取决于阈值伪标记，从而对未标记的域的一致性正则化。但是，现有方法并未在训练过程中纳入伪标签或未标记样品的不确定性，这是由于嘈杂的标签或由于强大的增强而导致的分布样品。受SSL最近发展的启发，我们本文的目标是提出一个新颖的无监督不确定性意识的目标，依赖于核心和认识论不确定性量化。通过提出的不确定性感知损失功能，我们的方法优于标准SSL基准，在计算轻量级的同时，与最新的方法相匹配，或与最先进的方法相提并论。我们的结果优于复杂数据集（例如CIFAR-100和MINI-IMAGENET）的最新结果。

标签预测上的一致性正则化成为半监督学习中的一项基本技术，但是它仍然需要大量的训练迭代以进行高性能。在这项研究中，我们分析了一致性正则化限制了由于在模型更新中排除具有不受欢迎的伪标记的样品，因此标记信息的传播限制了。然后，我们提出对比度正则化，以提高未标记数据的群集特征一致性正则化的效率和准确性。在特定的情况下，在通过其伪标签将强大的增强样品分配给群集后，我们的对比度正规化更新了模型，以便具有自信的伪标签的功能在同一集群中汇总了功能，同时将功能推迟了不同的群集中的功能。结果，在培训中，可以有效地将自信的伪标签的信息有效地传播到更无标记的样品中。在半监督学习任务的基准上，我们的对比正则化改善了以前的基于一致性的方法，并取得了最新的结果，尤其是在培训次数较少的情况下。我们的方法还显示了在开放式半监督学习中的稳健性能，其中未标记的数据包括分发样本。

半监督学习（SSL）是解决监督学习的注释瓶颈的主要方法之一。最近的SSL方法可以有效利用大量未标记数据的存储库来提高性能，同时依靠一小部分标记数据。在大多数SSL方法中，一个常见的假设是，标记和未标记的数据来自同一基础数据分布。但是，在许多实际情况下，情况并非如此，这限制了其适用性。相反，在这项工作中，我们试图解决最近提出的挑战性的开放世界SSL问题，这些问题并非如此。在开放世界的SSL问题中，目的是识别已知类别的样本，并同时检测和群集样品属于未标记数据中的新型类别。这项工作引入了OpenLDN，该OpenLDN利用成对的相似性损失来发现新颖的类别。使用双层优化规则，此成对相似性损失利用了标记的设置中可用的信息，以隐式群集新颖的类样本，同时识别来自已知类别的样本。在发现新颖的类别后，OpenLDN将Open-World SSL问题转换为标准SSL问题，以使用现有的SSL方法实现额外的性能提高。我们的广泛实验表明，OpenLDN在多个流行的分类基准上胜过当前的最新方法，同时提供了更好的准确性/培训时间权衡。

长期以来，半监督学习（SSL）已被证明是一种有限的标签模型的有效技术。在现有的文献中，基于一致性的基于正则化的方法，这些方法迫使扰动样本具有类似的预测，而原始的样本则引起了极大的关注。但是，我们观察到，当标签变得极为有限时，例如，每个类别的2或3标签时，此类方法的性能会大大降低。我们的实证研究发现，主要问题在于语义信息在数据增强过程中的漂移。当提供足够的监督时，可以缓解问题。但是，如果几乎没有指导，错误的正则化将误导网络并破坏算法的性能。为了解决该问题，我们（1）提出了一种基于插值的方法来构建更可靠的正样品对； （2）设计一种新颖的对比损失，以指导学习网络的嵌入以在样品之间进行线性更改，从而通过扩大保证金决策边界来提高网络的歧视能力。由于未引入破坏性正则化，因此我们提出的算法的性能在很大程度上得到了改善。具体而言，所提出的算法的表现优于第二好算法（COMATT），而当CIFAR-10数据集中的每个类只有两个标签可用时，可以实现88.73％的分类精度，占5.3％。此外，我们通过通过我们提出的策略大大改善现有最新算法的性能，进一步证明了所提出的方法的普遍性。

Semi-supervised learning (SSL) has achieved great success in leveraging a large amount of unlabeled data to learn a promising classifier. A popular approach is pseudo-labeling that generates pseudo labels only for those unlabeled data with high-confidence predictions. As for the low-confidence ones, existing methods often simply discard them because these unreliable pseudo labels may mislead the model. Nevertheless, we highlight that these data with low-confidence pseudo labels can be still beneficial to the training process. Specifically, although the class with the highest probability in the prediction is unreliable, we can assume that this sample is very unlikely to belong to the classes with the lowest probabilities. In this way, these data can be also very informative if we can effectively exploit these complementary labels, i.e., the classes that a sample does not belong to. Inspired by this, we propose a novel Contrastive Complementary Labeling (CCL) method that constructs a large number of reliable negative pairs based on the complementary labels and adopts contrastive learning to make use of all the unlabeled data. Extensive experiments demonstrate that CCL significantly improves the performance on top of existing methods. More critically, our CCL is particularly effective under the label-scarce settings. For example, we yield an improvement of 2.43% over FixMatch on CIFAR-10 only with 40 labeled data.

Semi-supervised learning lately has shown much promise in improving deep learning models when labeled data is scarce. Common among recent approaches is the use of consistency training on a large amount of unlabeled data to constrain model predictions to be invariant to input noise. In this work, we present a new perspective on how to effectively noise unlabeled examples and argue that the quality of noising, specifically those produced by advanced data augmentation methods, plays a crucial role in semi-supervised learning. By substituting simple noising operations with advanced data augmentation methods such as RandAugment and back-translation, our method brings substantial improvements across six language and three vision tasks under the same consistency training framework. On the IMDb text classification dataset, with only 20 labeled examples, our method achieves an error rate of 4.20, outperforming the state-of-the-art model trained on 25,000 labeled examples. On a standard semi-supervised learning benchmark, CIFAR-10, our method outperforms all previous approaches and achieves an error rate of 5.43 with only 250 examples. Our method also combines well with transfer learning, e.g., when finetuning from BERT, and yields improvements in high-data regime, such as ImageNet, whether when there is only 10% labeled data or when a full labeled set with 1.3M extra unlabeled examples is used. 1

半监督学习（SSL）的最新最新方法将一致性正则化与基于置信的伪标记结合在一起。为了获得高质量的伪标签，通常采用高置信度阈值。但是，已经表明，对于远离训练数据的样本，深网的基于软磁性的置信度得分可能很高，因此，即使是高信心不明的样品，伪标签也可能仍然不可靠。在这项工作中，我们提出了伪标记的新观点：而不是依靠模型信心，而是衡量未标记的样本是否可能是“分布”；即，接近当前的培训数据。为了对未标记的样本进行分类是“分布”还是“分发”，我们采用了分布外检测文献中的能量评分。随着培训的进行进展，更不标记的样品成为分配并有助于培训，标记和伪标记的数据可以更好地近似于真正的分布以改善模型。实验表明，我们的基于能量的伪标记方法，尽管从概念上讲简单，但在不平衡的SSL基准测试方面显着优于基于置信的方法，并在类平衡的数据上实现了竞争性能。例如，当不平衡比率高于50时，它会在CIFAR10-LT上产生4-6％的绝对准确性提高。当与最新的长尾SSL方法结合使用时，可以实现进一步的改进。

近年来，已取得了巨大进展，以通过半监督学习（SSL）来纳入未标记的数据来克服效率低下的监督问题。大多数最先进的模型是基于对未标记的数据追求一致的模型预测的想法，该模型被称为输入噪声，这称为一致性正则化。尽管如此，对其成功的原因缺乏理论上的见解。为了弥合理论和实际结果之间的差距，我们在本文中提出了SSL的最坏情况一致性正则化技术。具体而言，我们首先提出了针对SSL的概括，该概括由分别在标记和未标记的训练数据上观察到的经验损失项组成。在这种界限的激励下，我们得出了一个SSL目标，该目标可最大程度地减少原始未标记的样本与其多重增强变体之间最大的不一致性。然后，我们提供了一种简单但有效的算法来解决提出的最小问题，从理论上证明它会收敛到固定点。五个流行基准数据集的实验验证了我们提出的方法的有效性。

半监督学习方法已成为对打击获得大量注释数据的挑战的活跃研究领域。为了提高半监督学习方法表现的目标，我们提出了一种新颖的框架，Hiematch，一种半监督方法，利用分层信息来降低标签成本并表现以及vanilla半监督学习方法。分层信息通常是具有细粒标签的粗标签（例如，啄木鸟）的粗标签（例如，啄木鸟）的现有知识（例如，柔软的啄木鸟或金朝啄木鸟）。但是，尚未探讨使用使用粗类标签来改进半监督技术的监督。在没有细粒度的标签的情况下，Himatch利用标签层次结构，并使用粗级标签作为弱监控信号。此外，Himatch是一种改进任何半熟的学习框架的通用方法，我们使用我们的结果在最近的最先进的技术Mixmatch和Fixmatch上展示了这一点。我们评估了在两个基准数据集，即CiFar-100和Nabirds上的Himatch疗效。与MixMatch相比，HOMACHACT可以在CIFAR-100上减少50％的粒度标签50％的用量，仅在前1个精度的边缘下降0.59％。代码：https://github.com/07agarg/hiermatch.

半监督学习（SSL）在稀缺标记的数据时取得了长足的进步，但未标记的数据丰富。至关重要的是，最近的工作假设这种未标记的数据是从与标记数据相同的分布中汲取的。在这项工作中，我们表明，在存在未标记的辅助数据的情况下，最先进的SSL算法在性能下遭受了降解，这些数据不一定具有与标签集相同的类别分布。我们将此问题称为辅助-SSL，并提出了AuxMix，这是一种利用自我监督的学习任务来学习通用功能，以掩盖与标记的集合在语义上相似的辅助数据。我们还建议通过最大化不同辅助样品的预测熵来正规化学习。当在CIFAR10数据集中培训带有4K标记的样品时，我们在Resnet-50型号上显示了5％的改善，并且从Tiny-ImageNet数据集中绘制所有未标记的数据。我们报告了几个数据集的竞争结果，并进行消融研究。

在本文中，我们提出了一种新的共同学习框架（COSSL），具有解耦的表示学习和分类器学习，用于实施SSL。为了处理数据不平衡，我们为分类器学习设计了尾级功能增强（TFE）。此外，Imbalanced SSL的当前评估协议仅针对均衡测试集，在现实世界方案中具有有限的实用性。因此，我们进一步在各种转移试验分布下进行了综合评价。在实验中，我们表明我们的方法优于大量移位的分布，在基准数据集中实现最先进的性能，从CiFar-10，CiFar-100，Imagenet到食品-101。我们的代码将公开可用。

培训深层神经网络以识别图像识别通常需要大规模的人类注释数据。为了减少深神经溶液对标记数据的依赖，文献中已经提出了最先进的半监督方法。尽管如此，在面部表达识别领域（FER）领域，使用这种半监督方法非常罕见。在本文中，我们介绍了一项关于最近提出的在FER背景下的最先进的半监督学习方法的全面研究。我们对八种半监督学习方法进行了比较研究当使用各种标记的样品时。我们还将这些方法的性能与完全监督的培训进行了比较。我们的研究表明，当培训现有的半监督方法时，每类标记的样本只有250个标记的样品可以产生可比的性能，而在完整标记的数据集中训练的完全监督的方法。为了促进该领域的进一步研究，我们在：https：//github.com/shuvenduroy/ssl_fer上公开提供代码

半监督的学习受到了最近的关注，因为它减轻了对大量标签数据的需求，这些数据通常很昂贵，需要专家知识并耗时收集。深度半监督分类的最新发展已经达到了前所未有的表现，而受监督和半监督学习之间的差距一直在挑战。这种绩效的改善是基于包含众多技术技巧，强大的增强技术和具有多项损失功能的昂贵优化方案。我们提出了一个新的框架，即laplacenet，以进行深度半监督分类，该分类大大降低了模型的复杂性。我们利用一种混合方法，在该方法中，通过将图表上的laplacian能量最小化来产生伪标记。然后，这些伪标签被用来迭代训练神经网络骨架。在几个基准数据集上，我们的模型优于深度半监督分类的最先进方法。此外，我们在理论上考虑了强大化对神经网络的应用，并证明使用多样采样方法对半监督学习的使用是合理的。我们通过严格的实验证明，多样采样增强方法可以改善概括并降低网络对增强的敏感性。

半监督学习（SSL）是规避建立高性能模型的昂贵标签成本的最有前途的范例之一。大多数现有的SSL方法常规假定标记和未标记的数据是从相同（类）分布中绘制的。但是，在实践中，未标记的数据可能包括课外样本；那些不能从标签数据中的封闭类中的单热编码标签，即未标记的数据是开放设置。在本文中，我们介绍了Opencos，这是一种基于最新的自我监督视觉表示学习框架来处理这种现实的半监督学习方案。具体而言，我们首先观察到，可以通过自我监督的对比度学习有效地识别开放式未标记数据集中的类外样本。然后，Opencos利用此信息来克服现有的最新半监督方法中的故障模式，通过利用一式旋转伪标签和软标签来为已识别的识别和外部未标记的标签数据分别。我们广泛的实验结果表明了Opencos的有效性，可以修复最新的半监督方法，适合涉及开放式无标记数据的各种情况。