尽管对神经网络进行了监督学习的巨大进展，但在获得高质量，大规模和准确标记的数据集中存在重大挑战。在这种情况下，在本文中，我们在存在标签噪声的情况下解决分类问题，更具体地，既有闭合和开放式标签噪声，就是样本的真实标签或可能不属于时给定标签的集合。在我们的方法中，方法是一种样本选择机制，其依赖于样本的注释标签与其邻域中标签的分布之间的一致性;依赖于分类器跨后续迭代的置信机制的依赖标签机制;以及培训编码器的培训策略，同时通过单独的选择样本上的跨熵丢失和分类器编码器培训。没有钟声和口哨，如共同训练，以便减少自我确认偏差，并且对其少数超参数的环境具有鲁棒性，我们的方法显着超越了与人工噪声和真实的CIFAR10 / CIFAR100上的先前方法-world噪声数据集如webvision和动物-10n。

自我监督的学习最近在没有人类注释的情况下在表示学习方面取得了巨大的成功。主要方法（即对比度学习）通常基于实例歧视任务，即单个样本被视为独立类别。但是，假定所有样品都是不同的，这与普通视觉数据集中类似样品的自然分组相矛盾，例如同一狗的多个视图。为了弥合差距，本文提出了一种自适应方法，该方法引入了软样本间关系，即自适应软化对比度学习（ASCL）。更具体地说，ASCL将原始实例歧视任务转换为多实体软歧视任务，并自适应地引入样本间关系。作为现有的自我监督学习框架的有效简明的插件模块，ASCL就性能和效率都实现了多个基准的最佳性能。代码可从https://github.com/mrchenfeng/ascl_icpr2022获得。

使用嘈杂标签（LNL）学习旨在设计策略来通过减轻模型过度适应嘈杂标签的影响来提高模型性能和概括。 LNL的主要成功在于从大量嘈杂数据中识别尽可能多的干净样品，同时纠正错误分配的嘈杂标签。最近的进步采用了单个样品的预测标签分布来执行噪声验证和嘈杂的标签校正，很容易产生确认偏差。为了减轻此问题，我们提出了邻里集体估计，其中通过将其与其功能空间最近的邻居进行对比，重新估计了候选样本的预测性可靠性。具体而言，我们的方法分为两个步骤：1）邻域集体噪声验证，将所有训练样品分为干净或嘈杂的子集，2）邻里集体标签校正到Relabel嘈杂样品，然后使用辅助技术来帮助进一步的模型优化。 。在四个常用基准数据集（即CIFAR-10，CIFAR-100，Clothing-1M和WebVision-1.0）上进行了广泛的实验，这表明我们提出的方法非常优于最先进的方法。

标签昂贵，有时是不可靠的。嘈杂的标签学习，半监督学习和对比学习是三种不同的设计，用于设计需要更少的注释成本的学习过程。最近已经证明了半监督学习和对比学习，以改善使用嘈杂标签地址数据集的学习策略。尽管如此，这些领域之间的内部连接以及将它们的强度结合在一起的可能性仅开始出现。在本文中，我们探讨了融合它们的进一步方法和优势。具体而言，我们提出了CSSL，统一的对比半监督学习算法和Codim（对比DivideMix），一种用嘈杂标签学习的新算法。 CSSL利用经典半监督学习和对比学习技术的力量，并进一步适应了Codim，其从多种类型和标签噪声水平鲁莽地学习。我们表明Codim带来了一致的改进，并在多个基准上实现了最先进的结果。

Deep neural networks are known to be annotation-hungry. Numerous efforts have been devoted to reducing the annotation cost when learning with deep networks. Two prominent directions include learning with noisy labels and semi-supervised learning by exploiting unlabeled data. In this work, we propose DivideMix, a novel framework for learning with noisy labels by leveraging semi-supervised learning techniques. In particular, DivideMix models the per-sample loss distribution with a mixture model to dynamically divide the training data into a labeled set with clean samples and an unlabeled set with noisy samples, and trains the model on both the labeled and unlabeled data in a semi-supervised manner. To avoid confirmation bias, we simultaneously train two diverged networks where each network uses the dataset division from the other network. During the semi-supervised training phase, we improve the MixMatch strategy by performing label co-refinement and label co-guessing on labeled and unlabeled samples, respectively. Experiments on multiple benchmark datasets demonstrate substantial improvements over state-of-the-art methods. Code is available at https://github.com/LiJunnan1992/DivideMix.

经过嘈杂标签训练的深层模型很容易在概括中过度拟合和挣扎。大多数现有的解决方案都是基于理想的假设，即标签噪声是类条件，即同一类的实例共享相同的噪声模型，并且独立于特征。在实践中，现实世界中的噪声模式通常更为细粒度作为实例依赖性，这构成了巨大的挑战，尤其是在阶层间失衡的情况下。在本文中，我们提出了一种两阶段的干净样品识别方法，以应对上述挑战。首先，我们采用类级特征聚类程序，以早期识别在班级预测中心附近的干净样品。值得注意的是，我们根据稀有类的预测熵来解决类不平衡问题。其次，对于接近地面真相类边界的其余清洁样品（通常与样品与实例有关的噪声混合），我们提出了一种基于一致性的新型分类方法，该方法使用两个分类器头的一致性来识别它们：一致性越高，样品清洁的可能性就越大。对几个具有挑战性的基准进行了广泛的实验，证明了我们的方法与最先进的方法相比。

作为标签噪声，最受欢迎的分布变化之一，严重降低了深度神经网络的概括性能，具有嘈杂标签的强大训练正在成为现代深度学习中的重要任务。在本文中，我们提出了我们的框架，在子分类器（ALASCA）上创造了自适应标签平滑，该框架提供了具有理论保证和可忽略的其他计算的可靠特征提取器。首先，我们得出标签平滑（LS）会产生隐式Lipschitz正则化（LR）。此外，基于这些推导，我们将自适应LS（ALS）应用于子分类器架构上，以在中间层上的自适应LR的实际应用。我们对ALASCA进行了广泛的实验，并将其与以前的几个数据集上的噪声燃烧方法相结合，并显示我们的框架始终优于相应的基线。

深度学习的最新进展依赖于大型标签的数据集来培训大容量模型。但是，以时间和成本效益的方式收集大型数据集通常会导致标签噪声。我们提出了一种从嘈杂的标签中学习的方法，该方法利用特征空间中的训练示例之间的相似性，鼓励每个示例的预测与其最近的邻居相似。与使用多个模型或不同阶段的训练算法相比，我们的方法采用了简单，附加的正规化项的形式。它可以被解释为经典的，偏置标签传播算法的归纳版本。我们在数据集上彻底评估我们的方法评估合成（CIFAR-10，CIFAR-100）和现实（迷你网络，网络vision，Clotsing1m，Mini-Imagenet-Red）噪声，并实现竞争性或最先进的精度，在所有人之间。

在标签噪声下训练深神网络的能力很有吸引力，因为不完美的注释数据相对便宜。最先进的方法基于半监督学习（SSL），该学习选择小损失示例为清洁，然后应用SSL技术来提高性能。但是，选择步骤主要提供一个中等大小的清洁子集，该子集可俯瞰丰富的干净样品。在这项工作中，我们提出了一个新颖的嘈杂标签学习框架Promix，试图最大程度地提高清洁样品的实用性以提高性能。我们方法的关键是，我们提出了一种匹配的高信心选择技术，该技术选择了那些具有很高置信的示例，并与给定标签进行了匹配的预测。结合小损失选择，我们的方法能够达到99.27的精度，并在检测CIFAR-10N数据集上的干净样品时召回98.22。基于如此大的清洁数据，Promix将最佳基线方法提高了CIFAR-10N的 +2.67％，而CIFAR-100N数据集则提高了 +1.61％。代码和数据可从https://github.com/justherozen/promix获得

在嘈杂标记的数据上进行强大的学习是实际应用中的重要任务，因为标签噪声直接导致深度学习模型的概括不良。现有的标签噪声学习方法通​​常假定培训数据的基础类别是平衡的。但是，现实世界中的数据通常是不平衡的，导致观察到的与标签噪声引起的固有类别分布之间的不一致。分布不一致使标签 - 噪声学习的问题更具挑战性，因为很难将干净的样本与内在尾巴类别的嘈杂样本区分开来。在本文中，我们提出了一个学习框架，用于使用内在长尾数据进行标签 - 噪声学习。具体而言，我们提出了一种称为两阶段双维样品选择（TBS）的可靠样品选择方法，以更好地与嘈杂的样品分开清洁样品，尤其是对于尾巴类别。 TBSS由两个新的分离指标组成，以在每个类别中共同分开样本。对具有内在长尾巴分布的多个嘈杂标记的数据集进行了广泛的实验，证明了我们方法的有效性。

The existence of label noise imposes significant challenges (e.g., poor generalization) on the training process of deep neural networks (DNN). As a remedy, this paper introduces a permutation layer learning approach termed PermLL to dynamically calibrate the training process of the DNN subject to instance-dependent and instance-independent label noise. The proposed method augments the architecture of a conventional DNN by an instance-dependent permutation layer. This layer is essentially a convex combination of permutation matrices that is dynamically calibrated for each sample. The primary objective of the permutation layer is to correct the loss of noisy samples mitigating the effect of label noise. We provide two variants of PermLL in this paper: one applies the permutation layer to the model's prediction, while the other applies it directly to the given noisy label. In addition, we provide a theoretical comparison between the two variants and show that previous methods can be seen as one of the variants. Finally, we validate PermLL experimentally and show that it achieves state-of-the-art performance on both real and synthetic datasets.

不完美的标签在现实世界数据集中无处不在，严重损害了模型性能。几个最近处理嘈杂标签的有效方法有两个关键步骤：1）将样品分开通过培训丢失，2）使用半监控方法在错误标记的集合中生成样本的伪标签。然而，由于硬样品和噪声之间的类似损失分布，目前的方法总是损害信息性的硬样品。在本文中，我们提出了PGDF（先前引导的去噪框架），通过生成样本的先验知识来学习深层模型来抑制噪声的新框架，这被集成到分割样本步骤和半监督步骤中。我们的框架可以将更多信息性硬清洁样本保存到干净标记的集合中。此外，我们的框架还通过抑制当前伪标签生成方案中的噪声来促进半监控步骤期间伪标签的质量。为了进一步增强硬样品，我们在训练期间在干净的标记集合中重新重量样品。我们使用基于CiFar-10和CiFar-100的合成数据集以及现实世界数据集WebVision和服装1M进行了评估了我们的方法。结果表明了最先进的方法的大量改进。

元学习是一种处理不平衡和嘈杂标签学习的有效方法，但它取决于验证集，其中包含随机选择，手动标记和平衡的分布式样品。该验证集的随机选择和手动标记和平衡不仅是元学习的最佳选择，而且随着类的数量，它的缩放范围也很差。因此，最近的元学习论文提出了临时启发式方法来自动构建和标记此验证集，但是这些启发式方法仍然是元学习的最佳选择。在本文中，我们分析了元学习算法，并提出了新的标准来表征验证集的实用性，基于：1）验证集的信息性； 2）集合的班级分配余额； 3）集合标签的正确性。此外，我们提出了一种新的不平衡的嘈杂标签元学习（INOLML）算法，该算法会自动构建通过上面的标准最大化其实用程序来构建验证。我们的方法比以前的元学习方法显示出显着改进，并在几个基准上设定了新的最新技术。

样品选择是减轻标签噪声在鲁棒学习中的影响的有效策略。典型的策略通常应用小损失标准来识别干净的样品。但是，这些样本位于决策边界周围，通常会与嘈杂的例子纠缠在一起，这将被此标准丢弃，从而导致概括性能的严重退化。在本文中，我们提出了一种新颖的选择策略，\ textbf {s} elf- \ textbf {f} il \ textbf {t} ering（sft），它利用历史预测中嘈杂的示例的波动来过滤它们，可以过滤它们，这可以是可以过滤的。避免在边界示例中的小损失标准的选择偏置。具体来说，我们介绍了一个存储库模块，该模块存储了每个示例的历史预测，并动态更新以支持随后的学习迭代的选择。此外，为了减少SFT样本选择偏置的累积误差，我们设计了一个正规化术语来惩罚自信的输出分布。通过通过此术语增加错误分类类别的重量，损失函数在轻度条件下标记噪声是可靠的。我们对具有变化噪声类型的三个基准测试并实现了新的最先进的实验。消融研究和进一步分析验证了SFT在健壮学习中选择样本的优点。

Semi-supervised learning based methods are current SOTA solutions to the noisy-label learning problem, which rely on learning an unsupervised label cleaner first to divide the training samples into a labeled set for clean data and an unlabeled set for noise data. Typically, the cleaner is obtained via fitting a mixture model to the distribution of per-sample training losses. However, the modeling procedure is \emph{class agnostic} and assumes the loss distributions of clean and noise samples are the same across different classes. Unfortunately, in practice, such an assumption does not always hold due to the varying learning difficulty of different classes, thus leading to sub-optimal label noise partition criteria. In this work, we reveal this long-ignored problem and propose a simple yet effective solution, named \textbf{C}lass \textbf{P}rototype-based label noise \textbf{C}leaner (\textbf{CPC}). Unlike previous works treating all the classes equally, CPC fully considers loss distribution heterogeneity and applies class-aware modulation to partition the clean and noise data. CPC takes advantage of loss distribution modeling and intra-class consistency regularization in feature space simultaneously and thus can better distinguish clean and noise labels. We theoretically justify the effectiveness of our method by explaining it from the Expectation-Maximization (EM) framework. Extensive experiments are conducted on the noisy-label benchmarks CIFAR-10, CIFAR-100, Clothing1M and WebVision. The results show that CPC consistently brings about performance improvement across all benchmarks. Codes and pre-trained models will be released at \url{https://github.com/hjjpku/CPC.git}.

深神经网络（DNN）的记忆效果在许多最先进的标签噪声学习方法中起着枢轴作用。为了利用这一财产，通常采用早期停止训练早期优化的伎俩。目前的方法通常通过考虑整个DNN来决定早期停止点。然而，DNN可以被认为是一系列层的组成，并且发现DNN中的后一个层对标签噪声更敏感，而其前同行是非常稳健的。因此，选择整个网络的停止点可以使不同的DNN层对抗彼此影响，从而降低最终性能。在本文中，我们建议将DNN分离为不同的部位，逐步培训它们以解决这个问题。而不是早期停止，它一次列举一个整体DNN，我们最初通过用相对大量的时期优化DNN来训练前DNN层。在培训期间，我们通过使用较少数量的时期使用较少的地层来逐步培训后者DNN层，以抵消嘈杂标签的影响。我们将所提出的方法术语作为渐进式早期停止（PES）。尽管其简单性，与早期停止相比，PES可以帮助获得更有前景和稳定的结果。此外，通过将PE与现有的嘈杂标签培训相结合，我们在图像分类基准上实现了最先进的性能。

Learning with noisy-labels has become an important research topic in computer vision where state-of-the-art (SOTA) methods explore: 1) prediction disagreement with co-teaching strategy that updates two models when they disagree on the prediction of training samples; and 2) sample selection to divide the training set into clean and noisy sets based on small training loss. However, the quick convergence of co-teaching models to select the same clean subsets combined with relatively fast overfitting of noisy labels may induce the wrong selection of noisy label samples as clean, leading to an inevitable confirmation bias that damages accuracy. In this paper, we introduce our noisy-label learning approach, called Asymmetric Co-teaching (AsyCo), which introduces novel prediction disagreement that produces more consistent divergent results of the co-teaching models, and a new sample selection approach that does not require small-loss assumption to enable a better robustness to confirmation bias than previous methods. More specifically, the new prediction disagreement is achieved with the use of different training strategies, where one model is trained with multi-class learning and the other with multi-label learning. Also, the new sample selection is based on multi-view consensus, which uses the label views from training labels and model predictions to divide the training set into clean and noisy for training the multi-class model and to re-label the training samples with multiple top-ranked labels for training the multi-label model. Extensive experiments on synthetic and real-world noisy-label datasets show that AsyCo improves over current SOTA methods.

最近对比学习在从未标记数据学习视觉表现方面表现出显着进展。核心思想正在培训骨干，以不变的实例的不同增强。虽然大多数方法只能最大化两个增强数据之间的特征相似性，但我们进一步产生了更具挑战性的训练样本，并强迫模型继续预测这些硬样品上的判别表示。在本文中，我们提出了Mixsiam，传统暹罗网络的混合方法。一方面，我们将实例的两个增强图像输入到骨干，并通过执行两个特征的元素最大值来获得辨别结果。另一方面，我们将这些增强图像的混合物作为输入，并期望模型预测接近鉴别的表示。以这种方式，模型可以访问实例的更多变体数据样本，并继续预测它们的不变判别表示。因此，与先前的对比学习方法相比，学习模型更加强大。大型数据集的广泛实验表明，Mixsiam稳步提高了基线，并通过最先进的方法实现了竞争结果。我们的代码即将发布。

最近已证明自我监督的对比学习（CL）非常有效地防止深网贴上嘈杂的标签。尽管取得了经验成功，但对对比度学习对增强鲁棒性的影响的理论理解非常有限。在这项工作中，我们严格地证明，通过对比度学习学到的表示矩阵可以通过：（i）与数据中每个子类相对应的一个突出的奇异值来增强鲁棒性，并显着较小的剩余奇异值； （ii）{{显着的单数矢量与每个子类的干净标签之间的一个很大的对齐。以上属性使对此类表示的线性层能够有效地学习干净的标签，而不会过度适应噪音。}我们进一步表明，通过对比度学习预先训练的深网的雅各比式的低级别结构使他们能够获得优越的最初的性能是在嘈杂的标签上进行微调时。最后，我们证明了对比度学习提供的最初鲁棒性使鲁棒训练方法能够在极端噪声水平下实现最先进的性能，例如平均27.18 \％\％和15.58 \％\％\％\％\％cifar-10上的提高和80 \％对称嘈杂标签的CIFAR-100，网络视频的准确性提高4.11 \％。

本文解决了新型类别发现（NCD）的问题，该问题旨在区分大规模图像集中的未知类别。 NCD任务由于与现实世界情景的亲密关系而具有挑战性，我们只遇到了一些部分类和图像。与NCD上的其他作品不同，我们利用原型强调类别歧视的重要性，并减轻缺少新颖阶级注释的问题。具体而言，我们提出了一种新型的适应性原型学习方法，该方法由两个主要阶段组成：原型表示学习和原型自我训练。在第一阶段，我们获得了一个可靠的特征提取器，该功能提取器可以为所有具有基础和新颖类别的图像提供。该功能提取器的实例和类别歧视能力通过自我监督的学习和适应性原型来提高。在第二阶段，我们再次利用原型来整理离线伪标签，并训练类别聚类的最终参数分类器。我们对四个基准数据集进行了广泛的实验，并证明了该方法具有最先进的性能的有效性和鲁棒性。