标签噪声显着降低了应用中深度模型的泛化能力。有效的策略和方法，\ Texit {例如}重新加权或损失校正，旨在在训练神经网络时缓解标签噪声的负面影响。这些现有的工作通常依赖于预指定的架构并手动调整附加的超参数。在本文中，我们提出了翘曲的概率推断（WARPI），以便在元学习情景中自适应地整理分类网络的培训程序。与确定性模型相比，WARPI通过学习摊销元网络来制定为分层概率模型，这可以解决样本模糊性，因此对严格的标签噪声更加坚固。与直接生成损耗的重量值的现有近似加权功能不同，我们的元网络被学习以估计从登录和标签的输入来估计整流向量，这具有利用躺在它们中的足够信息的能力。这提供了纠正分类网络的学习过程的有效方法，证明了泛化能力的显着提高。此外，可以将整流载体建模为潜在变量并学习元网络，可以无缝地集成到分类网络的SGD优化中。我们在嘈杂的标签上评估了四个强大学习基准的Warpi，并在变体噪声类型下实现了新的最先进的。广泛的研究和分析还展示了我们模型的有效性。

Current deep neural networks (DNNs) can easily overfit to biased training data with corrupted labels or class imbalance. Sample re-weighting strategy is commonly used to alleviate this issue by designing a weighting function mapping from training loss to sample weight, and then iterating between weight recalculating and classifier updating. Current approaches, however, need manually pre-specify the weighting function as well as its additional hyper-parameters. It makes them fairly hard to be generally applied in practice due to the significant variation of proper weighting schemes relying on the investigated problem and training data. To address this issue, we propose a method capable of adaptively learning an explicit weighting function directly from data. The weighting function is an MLP with one hidden layer, constituting a universal approximator to almost any continuous functions, making the method able to fit a wide range of weighting functions including those assumed in conventional research. Guided by a small amount of unbiased meta-data, the parameters of the weighting function can be finely updated simultaneously with the learning process of the classifiers. Synthetic and real experiments substantiate the capability of our method for achieving proper weighting functions in class imbalance and noisy label cases, fully complying with the common settings in traditional methods, and more complicated scenarios beyond conventional cases. This naturally leads to its better accuracy than other state-of-the-art methods. Source code is available at https://github.com/xjtushujun/meta-weight-net. * Corresponding author. 1 We call the training data biased when they are generated from a joint sample-label distribution deviating from the distribution of evaluation/test set [1].

深度学习在大量大数据的帮助下取得了众多域中的显着成功。然而，由于许多真实情景中缺乏高质量标签，数据标签的质量是一个问题。由于嘈杂的标签严重降低了深度神经网络的泛化表现，从嘈杂的标签（强大的培训）学习是在现代深度学习应用中成为一项重要任务。在本调查中，我们首先从监督的学习角度描述了与标签噪声学习的问题。接下来，我们提供62项最先进的培训方法的全面审查，所有这些培训方法都按照其方法论差异分为五个群体，其次是用于评估其优越性的六种性质的系统比较。随后，我们对噪声速率估计进行深入分析，并总结了通常使用的评估方法，包括公共噪声数据集和评估度量。最后，我们提出了几个有前途的研究方向，可以作为未来研究的指导。所有内容将在https://github.com/songhwanjun/awesome-noisy-labels提供。

样品选择是减轻标签噪声在鲁棒学习中的影响的有效策略。典型的策略通常应用小损失标准来识别干净的样品。但是，这些样本位于决策边界周围，通常会与嘈杂的例子纠缠在一起，这将被此标准丢弃，从而导致概括性能的严重退化。在本文中，我们提出了一种新颖的选择策略，\ textbf {s} elf- \ textbf {f} il \ textbf {t} ering（sft），它利用历史预测中嘈杂的示例的波动来过滤它们，可以过滤它们，这可以是可以过滤的。避免在边界示例中的小损失标准的选择偏置。具体来说，我们介绍了一个存储库模块，该模块存储了每个示例的历史预测，并动态更新以支持随后的学习迭代的选择。此外，为了减少SFT样本选择偏置的累积误差，我们设计了一个正规化术语来惩罚自信的输出分布。通过通过此术语增加错误分类类别的重量，损失函数在轻度条件下标记噪声是可靠的。我们对具有变化噪声类型的三个基准测试并实现了新的最先进的实验。消融研究和进一步分析验证了SFT在健壮学习中选择样本的优点。

In this paper, we introduced the novel concept of advisor network to address the problem of noisy labels in image classification. Deep neural networks (DNN) are prone to performance reduction and overfitting problems on training data with noisy annotations. Weighting loss methods aim to mitigate the influence of noisy labels during the training, completely removing their contribution. This discarding process prevents DNNs from learning wrong associations between images and their correct labels but reduces the amount of data used, especially when most of the samples have noisy labels. Differently, our method weighs the feature extracted directly from the classifier without altering the loss value of each data. The advisor helps to focus only on some part of the information present in mislabeled examples, allowing the classifier to leverage that data as well. We trained it with a meta-learning strategy so that it can adapt throughout the training of the main model. We tested our method on CIFAR10 and CIFAR100 with synthetic noise, and on Clothing1M which contains real-world noise, reporting state-of-the-art results.

对标签噪声的学习是一个至关重要的话题，可以保证深度神经网络的可靠表现。最近的研究通常是指具有模型输出概率和损失值的动态噪声建模，然后分离清洁和嘈杂的样本。这些方法取得了显着的成功。但是，与樱桃挑选的数据不同，现有方法在面对不平衡数据集时通常无法表现良好，这是现实世界中常见的情况。我们彻底研究了这一现象，并指出了两个主要问题，这些问题阻碍了性能，即\ emph {类间损耗分布差异}和\ emph {由于不确定性而引起的误导性预测}。第一个问题是现有方法通常执行类不足的噪声建模。然而，损失分布显示在类失衡下的类别之间存在显着差异，并且类不足的噪声建模很容易与少数族裔类别中的嘈杂样本和样本混淆。第二个问题是指该模型可能会因认知不确定性和不确定性而导致的误导性预测，因此仅依靠输出概率的现有方法可能无法区分自信的样本。受我们的观察启发，我们提出了一个不确定性的标签校正框架〜（ULC）来处理不平衡数据集上的标签噪声。首先，我们执行认识不确定性的班级特异性噪声建模，以识别可信赖的干净样本并精炼/丢弃高度自信的真实/损坏的标签。然后，我们在随后的学习过程中介绍了不确定性，以防止标签噪声建模过程中的噪声积累。我们对几个合成和现实世界数据集进行实验。结果证明了提出的方法的有效性，尤其是在数据集中。

最近关于使用嘈杂标签的学习的研究通过利用小型干净数据集来显示出色的性能。特别是，基于模型不可知的元学习的标签校正方法进一步提高了性能，通过纠正了嘈杂的标签。但是，标签错误矫予没有保障措施，导致不可避免的性能下降。此外，每个训练步骤都需要至少三个背部传播，显着减慢训练速度。为了缓解这些问题，我们提出了一种强大而有效的方法，可以在飞行中学习标签转换矩阵。采用转换矩阵使分类器对所有校正样本持怀疑态度，这减轻了错误的错误问题。我们还介绍了一个双头架构，以便在单个反向传播中有效地估计标签转换矩阵，使得估计的矩阵紧密地遵循由标签校正引起的移位噪声分布。广泛的实验表明，我们的方法在训练效率方面表现出比现有方法相当或更好的准确性。

带有嘈杂标签的训练深神经网络（DNN）实际上是具有挑战性的，因为不准确的标签严重降低了DNN的概括能力。以前的努力倾向于通过识别带有粗糙的小损失标准来减轻嘈杂标签的干扰的嘈杂数据来处理统一的denoising流中的零件或完整数据，而忽略了嘈杂样本的困难是不同的，因此是刚性和统一的。数据选择管道无法很好地解决此问题。在本文中，我们首先提出了一种称为CREMA的粗到精细的稳健学习方法，以分裂和串扰的方式处理嘈杂的数据。在粗糙水平中，干净和嘈杂的集合首先从统计意义上就可信度分开。由于实际上不可能正确对所有嘈杂样本进行分类，因此我们通过对每个样本的可信度进行建模来进一步处理它们。具体而言，对于清洁集，我们故意设计了一种基于内存的调制方案，以动态调整每个样本在训练过程中的历史可信度顺序方面的贡献，从而减轻了错误地分组为清洁集中的嘈杂样本的效果。同时，对于分类为嘈杂集的样品，提出了选择性标签更新策略，以纠正嘈杂的标签，同时减轻校正错误的问题。广泛的实验是基于不同方式的基准，包括图像分类（CIFAR，Clothing1M等）和文本识别（IMDB），具有合成或自然语义噪声，表明CREMA的优势和普遍性。

Deep neural networks have been shown to be very powerful modeling tools for many supervised learning tasks involving complex input patterns. However, they can also easily overfit to training set biases and label noises. In addition to various regularizers, example reweighting algorithms are popular solutions to these problems, but they require careful tuning of additional hyperparameters, such as example mining schedules and regularization hyperparameters. In contrast to past reweighting methods, which typically consist of functions of the cost value of each example, in this work we propose a novel meta-learning algorithm that learns to assign weights to training examples based on their gradient directions. To determine the example weights, our method performs a meta gradient descent step on the current mini-batch example weights (which are initialized from zero) to minimize the loss on a clean unbiased validation set. Our proposed method can be easily implemented on any type of deep network, does not require any additional hyperparameter tuning, and achieves impressive performance on class imbalance and corrupted label problems where only a small amount of clean validation data is available.

Deep Learning with noisy labels is a practically challenging problem in weakly supervised learning. The stateof-the-art approaches "Decoupling" and "Co-teaching+" claim that the "disagreement" strategy is crucial for alleviating the problem of learning with noisy labels. In this paper, we start from a different perspective and propose a robust learning paradigm called JoCoR, which aims to reduce the diversity of two networks during training. Specifically, we first use two networks to make predictions on the same mini-batch data and calculate a joint loss with Co-Regularization for each training example. Then we select small-loss examples to update the parameters of both two networks simultaneously. Trained by the joint loss, these two networks would be more and more similar due to the effect of Co-Regularization. Extensive experimental results on corrupted data from benchmark datasets including MNIST, CIFAR-10, CIFAR-100 and Clothing1M demonstrate that JoCoR is superior to many state-of-the-art approaches for learning with noisy labels.

Training accurate deep neural networks (DNNs) in the presence of noisy labels is an important and challenging task. Though a number of approaches have been proposed for learning with noisy labels, many open issues remain. In this paper, we show that DNN learning with Cross Entropy (CE) exhibits overfitting to noisy labels on some classes ("easy" classes), but more surprisingly, it also suffers from significant under learning on some other classes ("hard" classes). Intuitively, CE requires an extra term to facilitate learning of hard classes, and more importantly, this term should be noise tolerant, so as to avoid overfitting to noisy labels. Inspired by the symmetric KL-divergence, we propose the approach of Symmetric cross entropy Learning (SL), boosting CE symmetrically with a noise robust counterpart Reverse Cross Entropy (RCE). Our proposed SL approach simultaneously addresses both the under learning and overfitting problem of CE in the presence of noisy labels. We provide a theoretical analysis of SL and also empirically show, on a range of benchmark and real-world datasets, that SL outperforms state-of-the-art methods. We also show that SL can be easily incorporated into existing methods in order to further enhance their performance.

元学习是一种处理不平衡和嘈杂标签学习的有效方法，但它取决于验证集，其中包含随机选择，手动标记和平衡的分布式样品。该验证集的随机选择和手动标记和平衡不仅是元学习的最佳选择，而且随着类的数量，它的缩放范围也很差。因此，最近的元学习论文提出了临时启发式方法来自动构建和标记此验证集，但是这些启发式方法仍然是元学习的最佳选择。在本文中，我们分析了元学习算法，并提出了新的标准来表征验证集的实用性，基于：1）验证集的信息性； 2）集合的班级分配余额； 3）集合标签的正确性。此外，我们提出了一种新的不平衡的嘈杂标签元学习（INOLML）算法，该算法会自动构建通过上面的标准最大化其实用程序来构建验证。我们的方法比以前的元学习方法显示出显着改进，并在几个基准上设定了新的最新技术。

深神经网络（DNN）的记忆效应在最近的标签噪声学习方法中起关键作用。为了利用这种效果，已经广泛采用了基于模型预测的方法，该方法旨在利用DNN在学习的早期阶段以纠正嘈杂标签的效果。但是，我们观察到该模型在标签预测期间会犯错误，从而导致性能不令人满意。相比之下，在学习早期阶段产生的特征表现出更好的鲁棒性。受到这一观察的启发，在本文中，我们提出了一种基于特征嵌入的新方法，用于用标签噪声，称为标签NoissiLution（Lend）。要具体而言，我们首先根据当前的嵌入式特征计算一个相似性矩阵，以捕获训练数据的局部结构。然后，附近标记的数据（\ textIt {i.e。}，标签噪声稀释）使错误标记的数据携带的嘈杂的监督信号淹没了，其有效性是由特征嵌入的固有鲁棒性保证的。最后，带有稀释标签的培训数据进一步用于培训强大的分类器。从经验上讲，我们通过将我们的贷款与几种代表性的强大学习方法进行比较，对合成和现实世界嘈杂数据集进行了广泛的实验。结果验证了我们贷款的有效性。

Deep neural networks are known to be annotation-hungry. Numerous efforts have been devoted to reducing the annotation cost when learning with deep networks. Two prominent directions include learning with noisy labels and semi-supervised learning by exploiting unlabeled data. In this work, we propose DivideMix, a novel framework for learning with noisy labels by leveraging semi-supervised learning techniques. In particular, DivideMix models the per-sample loss distribution with a mixture model to dynamically divide the training data into a labeled set with clean samples and an unlabeled set with noisy samples, and trains the model on both the labeled and unlabeled data in a semi-supervised manner. To avoid confirmation bias, we simultaneously train two diverged networks where each network uses the dataset division from the other network. During the semi-supervised training phase, we improve the MixMatch strategy by performing label co-refinement and label co-guessing on labeled and unlabeled samples, respectively. Experiments on multiple benchmark datasets demonstrate substantial improvements over state-of-the-art methods. Code is available at https://github.com/LiJunnan1992/DivideMix.

自数据注释（尤其是对于大型数据集）以来，使用嘈杂的标签学习引起了很大的研究兴趣，这可能不可避免地不可避免。最近的方法通过将培训样本分为清洁和嘈杂的集合来求助于半监督的学习问题。然而，这种范式在重标签噪声下容易出现重大变性，因为干净样品的数量太小，无法进行常规方法。在本文中，我们介绍了一个新颖的框架，称为LC-Booster，以在极端噪音下明确处理学习。 LC-Booster的核心思想是将标签校正纳入样品选择中，以便可以通过可靠的标签校正来培训更纯化的样品，从而减轻确认偏差。实验表明，LC-Booster在几个嘈杂标签的基准测试中提高了最先进的结果，包括CIFAR-10，CIFAR-100，CLASTINGING 1M和WEBVISION。值得注意的是，在极端的90 \％噪声比下，LC-Booster在CIFAR-10和CIFAR-100上获得了92.9 \％和48.4 \％的精度，超过了最终方法，较大的边距就超过了最终方法。

可以将监督学习视为将相关信息从输入数据中提取到特征表示形式。当监督嘈杂时，此过程变得困难，因为蒸馏信息可能无关紧要。实际上，最近的研究表明，网络可以轻松地过度贴合所有标签，包括损坏的标签，因此几乎无法概括以清洁数据集。在本文中，我们专注于使用嘈杂的标签学习的问题，并将压缩归纳偏置引入网络体系结构以减轻这种过度的问题。更确切地说，我们重新审视一个名为辍学的经典正则化及其变体嵌套辍学。辍学可以作为其功能删除机制的压缩约束，而嵌套辍学进一步学习有序的特征表示W.R.T.特征重要性。此外，具有压缩正则化的训练有素的模型与共同教学相结合，以提高性能。从理论上讲，我们在压缩正则化下对目标函数进行偏置变化分解。我们分析了单个模型和共同教学。该分解提供了三个见解：（i）表明过度合适确实是使用嘈杂标签学习的问题； （ii）通过信息瓶颈配方，它解释了为什么提出的特征压缩有助于对抗标签噪声； （iii）它通过将压缩正规化纳入共同教学而带来的性能提升提供了解释。实验表明，我们的简单方法比具有现实世界标签噪声（包括服装1M和Animal-10N）的基准测试标准的最先进方法具有可比性甚至更好的性能。我们的实施可在https://yingyichen-cyy.github.io/compressfatsfeatnoisylabels/上获得。

应付嘈杂标签的大多数现有方法通常假定类别分布良好，因此无法应对训练样本不平衡分布的实际情况的能力不足。为此，本文尽早努力通过长尾分配和标签噪声来解决图像分类任务。在这种情况下，现有的噪声学习方法无法正常工作，因为将噪声样本与干净的尾巴类别的样本区分开来是具有挑战性的。为了解决这个问题，我们提出了一个新的学习范式，基于对弱数据和强数据扩展的推论，以筛选嘈杂的样本，并引入休假散布的正则化，以消除公认的嘈杂样本的效果。此外，我们基于在线先验分布中纳入了一种新颖的预测惩罚，以避免对头等阶层的偏见。与现有的长尾分类方法相比，这种机制在实时捕获班级拟合度方面具有优越性。详尽的实验表明，所提出的方法优于解决噪声标签下长尾分类中分布不平衡问题的最先进算法。

使用嘈杂标签（LNL）学习旨在设计策略来通过减轻模型过度适应嘈杂标签的影响来提高模型性能和概括。 LNL的主要成功在于从大量嘈杂数据中识别尽可能多的干净样品，同时纠正错误分配的嘈杂标签。最近的进步采用了单个样品的预测标签分布来执行噪声验证和嘈杂的标签校正，很容易产生确认偏差。为了减轻此问题，我们提出了邻里集体估计，其中通过将其与其功能空间最近的邻居进行对比，重新估计了候选样本的预测性可靠性。具体而言，我们的方法分为两个步骤：1）邻域集体噪声验证，将所有训练样品分为干净或嘈杂的子集，2）邻里集体标签校正到Relabel嘈杂样品，然后使用辅助技术来帮助进一步的模型优化。 。在四个常用基准数据集（即CIFAR-10，CIFAR-100，Clothing-1M和WebVision-1.0）上进行了广泛的实验，这表明我们提出的方法非常优于最先进的方法。

为了训练强大的深神经网络（DNNS），我们系统地研究了几种目标修饰方法，其中包括输出正则化，自我和非自动标签校正（LC）。发现了三个关键问题：（1）自我LC是最吸引人的，因为它利用了自己的知识，不需要额外的模型。但是，在文献中，如何自动确定学习者的信任程度并没有很好地回答。 （2）一些方法会受到惩罚，而另一些方法奖励低渗透预测，促使我们询问哪一种更好。 （3）使用标准训练设置，当存在严重的噪音时，受过训练的网络的信心较低，因此很难利用其高渗透自我知识。为了解决问题（1），采取两个良好接受的命题 - 深度神经网络在拟合噪声和最小熵正则原理之前学习有意义的模式 - 我们提出了一种名为Proselflc的新颖的端到端方法，该方法是根据根据学习时间和熵。具体而言，给定数据点，如果对模型进行了足够的时间训练，并且预测的熵较低（置信度很高），则我们逐渐增加对预测标签分布的信任与其注释的信任。根据ProSelfLC的说法，对于（2），我们从经验上证明，最好重新定义有意义的低渗透状态并优化学习者对其进行优化。这是防御熵最小化的防御。为了解决该问题（3），我们在利用低温以纠正标签之前使用低温降低了自我知识的熵，因此修订后的标签重新定义了低渗透目标状态。我们通过在清洁和嘈杂的环境以及图像和蛋白质数据集中进行广泛的实验来证明ProSelfLC的有效性。此外，我们的源代码可在https://github.com/xinshaoamoswang/proselflc-at上获得。

深神经网络（DNN）的记忆效果在许多最先进的标签噪声学习方法中起着枢轴作用。为了利用这一财产，通常采用早期停止训练早期优化的伎俩。目前的方法通常通过考虑整个DNN来决定早期停止点。然而，DNN可以被认为是一系列层的组成，并且发现DNN中的后一个层对标签噪声更敏感，而其前同行是非常稳健的。因此，选择整个网络的停止点可以使不同的DNN层对抗彼此影响，从而降低最终性能。在本文中，我们建议将DNN分离为不同的部位，逐步培训它们以解决这个问题。而不是早期停止，它一次列举一个整体DNN，我们最初通过用相对大量的时期优化DNN来训练前DNN层。在培训期间，我们通过使用较少数量的时期使用较少的地层来逐步培训后者DNN层，以抵消嘈杂标签的影响。我们将所提出的方法术语作为渐进式早期停止（PES）。尽管其简单性，与早期停止相比，PES可以帮助获得更有前景和稳定的结果。此外，通过将PE与现有的嘈杂标签培训相结合，我们在图像分类基准上实现了最先进的性能。