标签昂贵，有时是不可靠的。嘈杂的标签学习，半监督学习和对比学习是三种不同的设计，用于设计需要更少的注释成本的学习过程。最近已经证明了半监督学习和对比学习，以改善使用嘈杂标签地址数据集的学习策略。尽管如此，这些领域之间的内部连接以及将它们的强度结合在一起的可能性仅开始出现。在本文中，我们探讨了融合它们的进一步方法和优势。具体而言，我们提出了CSSL，统一的对比半监督学习算法和Codim（对比DivideMix），一种用嘈杂标签学习的新算法。 CSSL利用经典半监督学习和对比学习技术的力量，并进一步适应了Codim，其从多种类型和标签噪声水平鲁莽地学习。我们表明Codim带来了一致的改进，并在多个基准上实现了最先进的结果。

Deep neural networks are known to be annotation-hungry. Numerous efforts have been devoted to reducing the annotation cost when learning with deep networks. Two prominent directions include learning with noisy labels and semi-supervised learning by exploiting unlabeled data. In this work, we propose DivideMix, a novel framework for learning with noisy labels by leveraging semi-supervised learning techniques. In particular, DivideMix models the per-sample loss distribution with a mixture model to dynamically divide the training data into a labeled set with clean samples and an unlabeled set with noisy samples, and trains the model on both the labeled and unlabeled data in a semi-supervised manner. To avoid confirmation bias, we simultaneously train two diverged networks where each network uses the dataset division from the other network. During the semi-supervised training phase, we improve the MixMatch strategy by performing label co-refinement and label co-guessing on labeled and unlabeled samples, respectively. Experiments on multiple benchmark datasets demonstrate substantial improvements over state-of-the-art methods. Code is available at https://github.com/LiJunnan1992/DivideMix.

尽管对神经网络进行了监督学习的巨大进展，但在获得高质量，大规模和准确标记的数据集中存在重大挑战。在这种情况下，在本文中，我们在存在标签噪声的情况下解决分类问题，更具体地，既有闭合和开放式标签噪声，就是样本的真实标签或可能不属于时给定标签的集合。在我们的方法中，方法是一种样本选择机制，其依赖于样本的注释标签与其邻域中标签的分布之间的一致性;依赖于分类器跨后续迭代的置信机制的依赖标签机制;以及培训编码器的培训策略，同时通过单独的选择样本上的跨熵丢失和分类器编码器培训。没有钟声和口哨，如共同训练，以便减少自我确认偏差，并且对其少数超参数的环境具有鲁棒性，我们的方法显着超越了与人工噪声和真实的CIFAR10 / CIFAR100上的先前方法-world噪声数据集如webvision和动物-10n。

半监督学习（SSL）是一个有效的框架，可以使用标记和未标记的数据训练模型，但是当缺乏足够的标记样品时，可能会产生模棱两可和不可区分的表示。有了人类的循环学习，积极的学习可以迭代地选择无标记的样品进行标签和培训，以提高SSL框架的性能。但是，大多数现有的活跃学习方法都取决于预先训练的功能，这不适合端到端学习。为了解决SSL的缺点，在本文中，我们提出了一种新颖的端到端表示方法，即ActiveMatch，它将SSL与对比度学习和积极学习结合在一起，以充分利用有限的标签。从少量的标记数据开始，无监督的对比度学习作为热身学习，然后将ActiveMatch结合在一起，将SSL和监督对比度学习结合在一起，并积极选择在培训期间标记的最具代表性的样本，从而更好地表示分类。与MixMatch和FixMatch具有相同数量的标记数据相比，我们表明ActiveMatch实现了最先进的性能，CIFAR-10的精度为89.24％，具有100个收集的标签，而92.20％的精度为92.20％，有200个收集的标签。

标签预测上的一致性正则化成为半监督学习中的一项基本技术，但是它仍然需要大量的训练迭代以进行高性能。在这项研究中，我们分析了一致性正则化限制了由于在模型更新中排除具有不受欢迎的伪标记的样品，因此标记信息的传播限制了。然后，我们提出对比度正则化，以提高未标记数据的群集特征一致性正则化的效率和准确性。在特定的情况下，在通过其伪标签将强大的增强样品分配给群集后，我们的对比度正规化更新了模型，以便具有自信的伪标签的功能在同一集群中汇总了功能，同时将功能推迟了不同的群集中的功能。结果，在培训中，可以有效地将自信的伪标签的信息有效地传播到更无标记的样品中。在半监督学习任务的基准上，我们的对比正则化改善了以前的基于一致性的方法，并取得了最新的结果，尤其是在培训次数较少的情况下。我们的方法还显示了在开放式半监督学习中的稳健性能，其中未标记的数据包括分发样本。

作为标签噪声，最受欢迎的分布变化之一，严重降低了深度神经网络的概括性能，具有嘈杂标签的强大训练正在成为现代深度学习中的重要任务。在本文中，我们提出了我们的框架，在子分类器（ALASCA）上创造了自适应标签平滑，该框架提供了具有理论保证和可忽略的其他计算的可靠特征提取器。首先，我们得出标签平滑（LS）会产生隐式Lipschitz正则化（LR）。此外，基于这些推导，我们将自适应LS（ALS）应用于子分类器架构上，以在中间层上的自适应LR的实际应用。我们对ALASCA进行了广泛的实验，并将其与以前的几个数据集上的噪声燃烧方法相结合，并显示我们的框架始终优于相应的基线。

半监督学习（SSL）是规避建立高性能模型的昂贵标签成本的最有前途的范例之一。大多数现有的SSL方法常规假定标记和未标记的数据是从相同（类）分布中绘制的。但是，在实践中，未标记的数据可能包括课外样本；那些不能从标签数据中的封闭类中的单热编码标签，即未标记的数据是开放设置。在本文中，我们介绍了Opencos，这是一种基于最新的自我监督视觉表示学习框架来处理这种现实的半监督学习方案。具体而言，我们首先观察到，可以通过自我监督的对比度学习有效地识别开放式未标记数据集中的类外样本。然后，Opencos利用此信息来克服现有的最新半监督方法中的故障模式，通过利用一式旋转伪标签和软标签来为已识别的识别和外部未标记的标签数据分别。我们广泛的实验结果表明了Opencos的有效性，可以修复最新的半监督方法，适合涉及开放式无标记数据的各种情况。

Semi-supervised learning based methods are current SOTA solutions to the noisy-label learning problem, which rely on learning an unsupervised label cleaner first to divide the training samples into a labeled set for clean data and an unlabeled set for noise data. Typically, the cleaner is obtained via fitting a mixture model to the distribution of per-sample training losses. However, the modeling procedure is \emph{class agnostic} and assumes the loss distributions of clean and noise samples are the same across different classes. Unfortunately, in practice, such an assumption does not always hold due to the varying learning difficulty of different classes, thus leading to sub-optimal label noise partition criteria. In this work, we reveal this long-ignored problem and propose a simple yet effective solution, named \textbf{C}lass \textbf{P}rototype-based label noise \textbf{C}leaner (\textbf{CPC}). Unlike previous works treating all the classes equally, CPC fully considers loss distribution heterogeneity and applies class-aware modulation to partition the clean and noise data. CPC takes advantage of loss distribution modeling and intra-class consistency regularization in feature space simultaneously and thus can better distinguish clean and noise labels. We theoretically justify the effectiveness of our method by explaining it from the Expectation-Maximization (EM) framework. Extensive experiments are conducted on the noisy-label benchmarks CIFAR-10, CIFAR-100, Clothing1M and WebVision. The results show that CPC consistently brings about performance improvement across all benchmarks. Codes and pre-trained models will be released at \url{https://github.com/hjjpku/CPC.git}.

不完美的标签在现实世界数据集中无处不在，严重损害了模型性能。几个最近处理嘈杂标签的有效方法有两个关键步骤：1）将样品分开通过培训丢失，2）使用半监控方法在错误标记的集合中生成样本的伪标签。然而，由于硬样品和噪声之间的类似损失分布，目前的方法总是损害信息性的硬样品。在本文中，我们提出了PGDF（先前引导的去噪框架），通过生成样本的先验知识来学习深层模型来抑制噪声的新框架，这被集成到分割样本步骤和半监督步骤中。我们的框架可以将更多信息性硬清洁样本保存到干净标记的集合中。此外，我们的框架还通过抑制当前伪标签生成方案中的噪声来促进半监控步骤期间伪标签的质量。为了进一步增强硬样品，我们在训练期间在干净的标记集合中重新重量样品。我们使用基于CiFar-10和CiFar-100的合成数据集以及现实世界数据集WebVision和服装1M进行了评估了我们的方法。结果表明了最先进的方法的大量改进。

基于伪标签的半监督学习（SSL）在原始数据利用率上取得了巨大的成功。但是，由于自我生成的人工标签中包含的噪声，其训练程序受到确认偏差的影响。此外，该模型的判断在具有广泛分布数据的现实应用程序中变得更加嘈杂。为了解决这个问题，我们提出了一种名为“班级意识的对比度半监督学习”（CCSSL）的通用方法，该方法是提高伪标签质量并增强现实环境中模型的稳健性的插手。我们的方法不是将现实世界数据视为一个联合集合，而是分别处理可靠的分布数据，并将其融合到下游任务中，并将其与图像对比度融合到下游任务中，以更好地泛化。此外，通过应用目标重新加权，我们成功地强调了清洁标签学习，并同时减少嘈杂的标签学习。尽管它很简单，但我们提出的CCSSL比标准数据集CIFAR100和STL10上的最新SSL方法具有显着的性能改进。在现实世界数据集Semi-Inat 2021上，我们将FixMatch提高了9.80％，并提高了3.18％。代码可用https://github.com/tencentyouturesearch/classification-spoomls。

Partial label learning (PLL) is an important problem that allows each training example to be labeled with a coarse candidate set, which well suits many real-world data annotation scenarios with label ambiguity. Despite the promise, the performance of PLL often lags behind the supervised counterpart. In this work, we bridge the gap by addressing two key research challenges in PLL -- representation learning and label disambiguation -- in one coherent framework. Specifically, our proposed framework PiCO consists of a contrastive learning module along with a novel class prototype-based label disambiguation algorithm. PiCO produces closely aligned representations for examples from the same classes and facilitates label disambiguation. Theoretically, we show that these two components are mutually beneficial, and can be rigorously justified from an expectation-maximization (EM) algorithm perspective. Moreover, we study a challenging yet practical noisy partial label learning setup, where the ground-truth may not be included in the candidate set. To remedy this problem, we present an extension PiCO+ that performs distance-based clean sample selection and learns robust classifiers by a semi-supervised contrastive learning algorithm. Extensive experiments demonstrate that our proposed methods significantly outperform the current state-of-the-art approaches in standard and noisy PLL tasks and even achieve comparable results to fully supervised learning.

We approach the problem of improving robustness of deep learning algorithms in the presence of label noise. Building upon existing label correction and co-teaching methods, we propose a novel training procedure to mitigate the memorization of noisy labels, called CrossSplit, which uses a pair of neural networks trained on two disjoint parts of the dataset. CrossSplit combines two main ingredients: (i) Cross-split label correction. The idea is that, since the model trained on one part of the data cannot memorize example-label pairs from the other part, the training labels presented to each network can be smoothly adjusted by using the predictions of its peer network; (ii) Cross-split semi-supervised training. A network trained on one part of the data also uses the unlabeled inputs of the other part. Extensive experiments on CIFAR-10, CIFAR-100, Tiny-ImageNet and mini-WebVision datasets demonstrate that our method can outperform the current state-of-the-art up to 90% noise ratio.

在标签噪声下训练深神网络的能力很有吸引力，因为不完美的注释数据相对便宜。最先进的方法基于半监督学习（SSL），该学习选择小损失示例为清洁，然后应用SSL技术来提高性能。但是，选择步骤主要提供一个中等大小的清洁子集，该子集可俯瞰丰富的干净样品。在这项工作中，我们提出了一个新颖的嘈杂标签学习框架Promix，试图最大程度地提高清洁样品的实用性以提高性能。我们方法的关键是，我们提出了一种匹配的高信心选择技术，该技术选择了那些具有很高置信的示例，并与给定标签进行了匹配的预测。结合小损失选择，我们的方法能够达到99.27的精度，并在检测CIFAR-10N数据集上的干净样品时召回98.22。基于如此大的清洁数据，Promix将最佳基线方法提高了CIFAR-10N的 +2.67％，而CIFAR-100N数据集则提高了 +1.61％。代码和数据可从https://github.com/justherozen/promix获得

Annotating the dataset with high-quality labels is crucial for performance of deep network, but in real world scenarios, the labels are often contaminated by noise. To address this, some methods were proposed to automatically split clean and noisy labels, and learn a semi-supervised learner in a Learning with Noisy Labels (LNL) framework. However, they leverage a handcrafted module for clean-noisy label splitting, which induces a confirmation bias in the semi-supervised learning phase and limits the performance. In this paper, we for the first time present a learnable module for clean-noisy label splitting, dubbed SplitNet, and a novel LNL framework which complementarily trains the SplitNet and main network for the LNL task. We propose to use a dynamic threshold based on a split confidence by SplitNet to better optimize semi-supervised learner. To enhance SplitNet training, we also present a risk hedging method. Our proposed method performs at a state-of-the-art level especially in high noise ratio settings on various LNL benchmarks.

我们提出了一个新颖的半监督学习框架，该框架巧妙地利用了模型的预测，从两个强烈的图像观点中的预测之间的一致性正则化，并由伪标签的信心加权，称为conmatch。虽然最新的半监督学习方法使用图像的弱和强烈的观点来定义方向的一致性损失，但如何为两个强大的观点之间的一致性定义定义这种方向仍然没有探索。为了解决这个问题，我们通过弱小的观点作为非参数和参数方法中的锚点来提出从强大的观点中对伪标签的新颖置信度度量。特别是，在参数方法中，我们首次介绍了伪标签在网络中的信心，该网络的信心是以端到端方式通过骨干模型学习的。此外，我们还提出了阶段训练，以提高培训的融合。当纳入现有的半监督学习者中时，并始终提高表现。我们进行实验，以证明我们对最新方法的有效性并提供广泛的消融研究。代码已在https://github.com/jiwoncocoder/conmatch上公开提供。

半监督学习方法已成为对打击获得大量注释数据的挑战的活跃研究领域。为了提高半监督学习方法表现的目标，我们提出了一种新颖的框架，Hiematch，一种半监督方法，利用分层信息来降低标签成本并表现以及vanilla半监督学习方法。分层信息通常是具有细粒标签的粗标签（例如，啄木鸟）的粗标签（例如，啄木鸟）的现有知识（例如，柔软的啄木鸟或金朝啄木鸟）。但是，尚未探讨使用使用粗类标签来改进半监督技术的监督。在没有细粒度的标签的情况下，Himatch利用标签层次结构，并使用粗级标签作为弱监控信号。此外，Himatch是一种改进任何半熟的学习框架的通用方法，我们使用我们的结果在最近的最先进的技术Mixmatch和Fixmatch上展示了这一点。我们评估了在两个基准数据集，即CiFar-100和Nabirds上的Himatch疗效。与MixMatch相比，HOMACHACT可以在CIFAR-100上减少50％的粒度标签50％的用量，仅在前1个精度的边缘下降0.59％。代码：https://github.com/07agarg/hiermatch.

自数据注释（尤其是对于大型数据集）以来，使用嘈杂的标签学习引起了很大的研究兴趣，这可能不可避免地不可避免。最近的方法通过将培训样本分为清洁和嘈杂的集合来求助于半监督的学习问题。然而，这种范式在重标签噪声下容易出现重大变性，因为干净样品的数量太小，无法进行常规方法。在本文中，我们介绍了一个新颖的框架，称为LC-Booster，以在极端噪音下明确处理学习。 LC-Booster的核心思想是将标签校正纳入样品选择中，以便可以通过可靠的标签校正来培训更纯化的样品，从而减轻确认偏差。实验表明，LC-Booster在几个嘈杂标签的基准测试中提高了最先进的结果，包括CIFAR-10，CIFAR-100，CLASTINGING 1M和WEBVISION。值得注意的是，在极端的90 \％噪声比下，LC-Booster在CIFAR-10和CIFAR-100上获得了92.9 \％和48.4 \％的精度，超过了最终方法，较大的边距就超过了最终方法。

深层神经网络能够轻松地使用软磁横层（CE）丢失来记住嘈杂的标签。先前的研究试图解决此问题的重点是将噪声损失函数纳入CE损失。但是，记忆问题得到了缓解，但仍然由于非持鲁棒的损失而造成的。为了解决这个问题，我们专注于学习可靠的对比度表示数据，分类器很难记住CE损失下的标签噪声。我们提出了一种新颖的对比正则化函数，以通过标签噪声不主导表示表示的嘈杂数据来学习此类表示。通过理论上研究由提议的正则化功能引起的表示形式，我们揭示了学识渊博的表示形式将信息保留与真实标签和丢弃与损坏标签相关的信息有关的信息。此外，我们的理论结果还表明，学到的表示形式对标签噪声是可靠的。通过基准数据集的实验证明了该方法的有效性。

使用嘈杂标签（LNL）学习旨在设计策略来通过减轻模型过度适应嘈杂标签的影响来提高模型性能和概括。 LNL的主要成功在于从大量嘈杂数据中识别尽可能多的干净样品，同时纠正错误分配的嘈杂标签。最近的进步采用了单个样品的预测标签分布来执行噪声验证和嘈杂的标签校正，很容易产生确认偏差。为了减轻此问题，我们提出了邻里集体估计，其中通过将其与其功能空间最近的邻居进行对比，重新估计了候选样本的预测性可靠性。具体而言，我们的方法分为两个步骤：1）邻域集体噪声验证，将所有训练样品分为干净或嘈杂的子集，2）邻里集体标签校正到Relabel嘈杂样品，然后使用辅助技术来帮助进一步的模型优化。 。在四个常用基准数据集（即CIFAR-10，CIFAR-100，Clothing-1M和WebVision-1.0）上进行了广泛的实验，这表明我们提出的方法非常优于最先进的方法。

Learning with noisy label (LNL) is a classic problem that has been extensively studied for image tasks, but much less for video in the literature. A straightforward migration from images to videos without considering the properties of videos, such as computational cost and redundant information, is not a sound choice. In this paper, we propose two new strategies for video analysis with noisy labels: 1) A lightweight channel selection method dubbed as Channel Truncation for feature-based label noise detection. This method selects the most discriminative channels to split clean and noisy instances in each category; 2) A novel contrastive strategy dubbed as Noise Contrastive Learning, which constructs the relationship between clean and noisy instances to regularize model training. Experiments on three well-known benchmark datasets for video classification show that our proposed tru{\bf N}cat{\bf E}-split-contr{\bf A}s{\bf T} (NEAT) significantly outperforms the existing baselines. By reducing the dimension to 10\% of it, our method achieves over 0.4 noise detection F1-score and 5\% classification accuracy improvement on Mini-Kinetics dataset under severe noise (symmetric-80\%). Thanks to Noise Contrastive Learning, the average classification accuracy improvement on Mini-Kinetics and Sth-Sth-V1 is over 1.6\%.