作为标签噪声，最受欢迎的分布变化之一，严重降低了深度神经网络的概括性能，具有嘈杂标签的强大训练正在成为现代深度学习中的重要任务。在本文中，我们提出了我们的框架，在子分类器（ALASCA）上创造了自适应标签平滑，该框架提供了具有理论保证和可忽略的其他计算的可靠特征提取器。首先，我们得出标签平滑（LS）会产生隐式Lipschitz正则化（LR）。此外，基于这些推导，我们将自适应LS（ALS）应用于子分类器架构上，以在中间层上的自适应LR的实际应用。我们对ALASCA进行了广泛的实验，并将其与以前的几个数据集上的噪声燃烧方法相结合，并显示我们的框架始终优于相应的基线。

Deep neural networks are known to be annotation-hungry. Numerous efforts have been devoted to reducing the annotation cost when learning with deep networks. Two prominent directions include learning with noisy labels and semi-supervised learning by exploiting unlabeled data. In this work, we propose DivideMix, a novel framework for learning with noisy labels by leveraging semi-supervised learning techniques. In particular, DivideMix models the per-sample loss distribution with a mixture model to dynamically divide the training data into a labeled set with clean samples and an unlabeled set with noisy samples, and trains the model on both the labeled and unlabeled data in a semi-supervised manner. To avoid confirmation bias, we simultaneously train two diverged networks where each network uses the dataset division from the other network. During the semi-supervised training phase, we improve the MixMatch strategy by performing label co-refinement and label co-guessing on labeled and unlabeled samples, respectively. Experiments on multiple benchmark datasets demonstrate substantial improvements over state-of-the-art methods. Code is available at https://github.com/LiJunnan1992/DivideMix.

深度学习在大量大数据的帮助下取得了众多域中的显着成功。然而，由于许多真实情景中缺乏高质量标签，数据标签的质量是一个问题。由于嘈杂的标签严重降低了深度神经网络的泛化表现，从嘈杂的标签（强大的培训）学习是在现代深度学习应用中成为一项重要任务。在本调查中，我们首先从监督的学习角度描述了与标签噪声学习的问题。接下来，我们提供62项最先进的培训方法的全面审查，所有这些培训方法都按照其方法论差异分为五个群体，其次是用于评估其优越性的六种性质的系统比较。随后，我们对噪声速率估计进行深入分析，并总结了通常使用的评估方法，包括公共噪声数据集和评估度量。最后，我们提出了几个有前途的研究方向，可以作为未来研究的指导。所有内容将在https://github.com/songhwanjun/awesome-noisy-labels提供。

在标签噪声下训练深神网络的能力很有吸引力，因为不完美的注释数据相对便宜。最先进的方法基于半监督学习（SSL），该学习选择小损失示例为清洁，然后应用SSL技术来提高性能。但是，选择步骤主要提供一个中等大小的清洁子集，该子集可俯瞰丰富的干净样品。在这项工作中，我们提出了一个新颖的嘈杂标签学习框架Promix，试图最大程度地提高清洁样品的实用性以提高性能。我们方法的关键是，我们提出了一种匹配的高信心选择技术，该技术选择了那些具有很高置信的示例，并与给定标签进行了匹配的预测。结合小损失选择，我们的方法能够达到99.27的精度，并在检测CIFAR-10N数据集上的干净样品时召回98.22。基于如此大的清洁数据，Promix将最佳基线方法提高了CIFAR-10N的 +2.67％，而CIFAR-100N数据集则提高了 +1.61％。代码和数据可从https://github.com/justherozen/promix获得

样品选择是减轻标签噪声在鲁棒学习中的影响的有效策略。典型的策略通常应用小损失标准来识别干净的样品。但是，这些样本位于决策边界周围，通常会与嘈杂的例子纠缠在一起，这将被此标准丢弃，从而导致概括性能的严重退化。在本文中，我们提出了一种新颖的选择策略，\ textbf {s} elf- \ textbf {f} il \ textbf {t} ering（sft），它利用历史预测中嘈杂的示例的波动来过滤它们，可以过滤它们，这可以是可以过滤的。避免在边界示例中的小损失标准的选择偏置。具体来说，我们介绍了一个存储库模块，该模块存储了每个示例的历史预测，并动态更新以支持随后的学习迭代的选择。此外，为了减少SFT样本选择偏置的累积误差，我们设计了一个正规化术语来惩罚自信的输出分布。通过通过此术语增加错误分类类别的重量，损失函数在轻度条件下标记噪声是可靠的。我们对具有变化噪声类型的三个基准测试并实现了新的最先进的实验。消融研究和进一步分析验证了SFT在健壮学习中选择样本的优点。

最近关于使用嘈杂标签的学习的研究通过利用小型干净数据集来显示出色的性能。特别是，基于模型不可知的元学习的标签校正方法进一步提高了性能，通过纠正了嘈杂的标签。但是，标签错误矫予没有保障措施，导致不可避免的性能下降。此外，每个训练步骤都需要至少三个背部传播，显着减慢训练速度。为了缓解这些问题，我们提出了一种强大而有效的方法，可以在飞行中学习标签转换矩阵。采用转换矩阵使分类器对所有校正样本持怀疑态度，这减轻了错误的错误问题。我们还介绍了一个双头架构，以便在单个反向传播中有效地估计标签转换矩阵，使得估计的矩阵紧密地遵循由标签校正引起的移位噪声分布。广泛的实验表明，我们的方法在训练效率方面表现出比现有方法相当或更好的准确性。

In the presence of noisy labels, designing robust loss functions is critical for securing the generalization performance of deep neural networks. Cross Entropy (CE) loss has been shown to be not robust to noisy labels due to its unboundedness. To alleviate this issue, existing works typically design specialized robust losses with the symmetric condition, which usually lead to the underfitting issue. In this paper, our key idea is to induce a loss bound at the logit level, thus universally enhancing the noise robustness of existing losses. Specifically, we propose logit clipping (LogitClip), which clamps the norm of the logit vector to ensure that it is upper bounded by a constant. In this manner, CE loss equipped with our LogitClip method is effectively bounded, mitigating the overfitting to examples with noisy labels. Moreover, we present theoretical analyses to certify the noise-tolerant ability of LogitClip. Extensive experiments show that LogitClip not only significantly improves the noise robustness of CE loss, but also broadly enhances the generalization performance of popular robust losses.

最近已证明自我监督的对比学习（CL）非常有效地防止深网贴上嘈杂的标签。尽管取得了经验成功，但对对比度学习对增强鲁棒性的影响的理论理解非常有限。在这项工作中，我们严格地证明，通过对比度学习学到的表示矩阵可以通过：（i）与数据中每个子类相对应的一个突出的奇异值来增强鲁棒性，并显着较小的剩余奇异值； （ii）{{显着的单数矢量与每个子类的干净标签之间的一个很大的对齐。以上属性使对此类表示的线性层能够有效地学习干净的标签，而不会过度适应噪音。}我们进一步表明，通过对比度学习预先训练的深网的雅各比式的低级别结构使他们能够获得优越的最初的性能是在嘈杂的标签上进行微调时。最后，我们证明了对比度学习提供的最初鲁棒性使鲁棒训练方法能够在极端噪声水平下实现最先进的性能，例如平均27.18 \％\％和15.58 \％\％\％\％\％cifar-10上的提高和80 \％对称嘈杂标签的CIFAR-100，网络视频的准确性提高4.11 \％。

深度学习的最新进展依赖于大型标签的数据集来培训大容量模型。但是，以时间和成本效益的方式收集大型数据集通常会导致标签噪声。我们提出了一种从嘈杂的标签中学习的方法，该方法利用特征空间中的训练示例之间的相似性，鼓励每个示例的预测与其最近的邻居相似。与使用多个模型或不同阶段的训练算法相比，我们的方法采用了简单，附加的正规化项的形式。它可以被解释为经典的，偏置标签传播算法的归纳版本。我们在数据集上彻底评估我们的方法评估合成（CIFAR-10，CIFAR-100）和现实（迷你网络，网络vision，Clotsing1m，Mini-Imagenet-Red）噪声，并实现竞争性或最先进的精度，在所有人之间。

Training accurate deep neural networks (DNNs) in the presence of noisy labels is an important and challenging task. Though a number of approaches have been proposed for learning with noisy labels, many open issues remain. In this paper, we show that DNN learning with Cross Entropy (CE) exhibits overfitting to noisy labels on some classes ("easy" classes), but more surprisingly, it also suffers from significant under learning on some other classes ("hard" classes). Intuitively, CE requires an extra term to facilitate learning of hard classes, and more importantly, this term should be noise tolerant, so as to avoid overfitting to noisy labels. Inspired by the symmetric KL-divergence, we propose the approach of Symmetric cross entropy Learning (SL), boosting CE symmetrically with a noise robust counterpart Reverse Cross Entropy (RCE). Our proposed SL approach simultaneously addresses both the under learning and overfitting problem of CE in the presence of noisy labels. We provide a theoretical analysis of SL and also empirically show, on a range of benchmark and real-world datasets, that SL outperforms state-of-the-art methods. We also show that SL can be easily incorporated into existing methods in order to further enhance their performance.

对标签噪声的学习是一个至关重要的话题，可以保证深度神经网络的可靠表现。最近的研究通常是指具有模型输出概率和损失值的动态噪声建模，然后分离清洁和嘈杂的样本。这些方法取得了显着的成功。但是，与樱桃挑选的数据不同，现有方法在面对不平衡数据集时通常无法表现良好，这是现实世界中常见的情况。我们彻底研究了这一现象，并指出了两个主要问题，这些问题阻碍了性能，即\ emph {类间损耗分布差异}和\ emph {由于不确定性而引起的误导性预测}。第一个问题是现有方法通常执行类不足的噪声建模。然而，损失分布显示在类失衡下的类别之间存在显着差异，并且类不足的噪声建模很容易与少数族裔类别中的嘈杂样本和样本混淆。第二个问题是指该模型可能会因认知不确定性和不确定性而导致的误导性预测，因此仅依靠输出概率的现有方法可能无法区分自信的样本。受我们的观察启发，我们提出了一个不确定性的标签校正框架〜（ULC）来处理不平衡数据集上的标签噪声。首先，我们执行认识不确定性的班级特异性噪声建模，以识别可信赖的干净样本并精炼/丢弃高度自信的真实/损坏的标签。然后，我们在随后的学习过程中介绍了不确定性，以防止标签噪声建模过程中的噪声积累。我们对几个合成和现实世界数据集进行实验。结果证明了提出的方法的有效性，尤其是在数据集中。

深度神经网络模型对有限的标签噪声非常强大，但是它们在高噪声率问题中记住嘈杂标签的能力仍然是一个空旷的问题。最具竞争力的嘈杂标签学习算法依赖于一个2阶段的过程，其中包括无监督的学习，将培训样本分类为清洁或嘈杂，然后是半监督的学习，将经验仿生风险（EVR）最小化，该学习使用标记的集合制成的集合。样品被归类为干净，并提供了一个未标记的样品，该样品被分类为嘈杂。在本文中，我们假设这种2阶段嘈杂标签的学习方法的概括取决于无监督分类器的精度以及训练设置的大小以最大程度地减少EVR。我们从经验上验证了这两个假设，并提出了新的2阶段嘈杂标签训练算法longRemix。我们在嘈杂的标签基准CIFAR-10，CIFAR-100，Webvision，Clotsing1m和Food101-N上测试Longremix。结果表明，我们的Longremix比竞争方法更好，尤其是在高标签噪声问题中。此外，我们的方法在大多数数据集中都能达到最先进的性能。该代码可在https://github.com/filipe-research/longremix上获得。

深度神经网络的成功在很大程度上取决于大量高质量注释的数据的可用性，但是这些数据很难或昂贵。由此产生的标签可能是类别不平衡，嘈杂或人类偏见。从不完美注释的数据集中学习无偏分类模型是一项挑战，我们通常会遭受过度拟合或不足的折磨。在这项工作中，我们彻底研究了流行的软马克斯损失和基于保证金的损失，并提供了一种可行的方法来加强通过最大化最小样本余量来限制的概括误差。我们为此目的进一步得出了最佳条件，该条件指示了类原型应锚定的方式。通过理论分析的激励，我们提出了一种简单但有效的方法，即原型锚定学习（PAL），可以轻松地将其纳入各种基于学习的分类方案中以处理不完美的注释。我们通过对合成和现实世界数据集进行广泛的实验来验证PAL对班级不平衡学习和降低噪声学习的有效性。

The existence of label noise imposes significant challenges (e.g., poor generalization) on the training process of deep neural networks (DNN). As a remedy, this paper introduces a permutation layer learning approach termed PermLL to dynamically calibrate the training process of the DNN subject to instance-dependent and instance-independent label noise. The proposed method augments the architecture of a conventional DNN by an instance-dependent permutation layer. This layer is essentially a convex combination of permutation matrices that is dynamically calibrated for each sample. The primary objective of the permutation layer is to correct the loss of noisy samples mitigating the effect of label noise. We provide two variants of PermLL in this paper: one applies the permutation layer to the model's prediction, while the other applies it directly to the given noisy label. In addition, we provide a theoretical comparison between the two variants and show that previous methods can be seen as one of the variants. Finally, we validate PermLL experimentally and show that it achieves state-of-the-art performance on both real and synthetic datasets.

实际数据集中不可避免地有许多错误标记的数据。由于深度神经网络（DNNS）具有记忆标签的巨大能力，因此需要强大的训练方案来防止标签错误降低DNN的概括性能。当前的最新方法提出了一种共同训练方案，该方案使用与小损失相关的样本训练双网络。但是，实际上，培训两个网络可以同时负担计算资源。在这项研究中，我们提出了一种简单而有效的健壮培训计划，该计划仅通过培训一个网络来运行。在训练过程中，提出的方法通过从随机梯度下降优化形成的重量轨迹中抽样中间网络参数来生成时间自我启动。使用这些自我归档评估的损失总和用于识别错误标记的样品。同时，我们的方法通过将输入数据转换为各种形式，并考虑其协议以识别错误标记的样本来生成多视图预测。通过结合上述指标，我们介绍了提出的{\ it基于自动化的鲁棒训练}（SRT）方法，该方法可以用嘈杂的标签过滤样品，以减少其对训练的影响。广泛使用的公共数据集的实验表明，所提出的方法在某些类别中实现了最新的性能，而无需训练双网络。

尽管对神经网络进行了监督学习的巨大进展，但在获得高质量，大规模和准确标记的数据集中存在重大挑战。在这种情况下，在本文中，我们在存在标签噪声的情况下解决分类问题，更具体地，既有闭合和开放式标签噪声，就是样本的真实标签或可能不属于时给定标签的集合。在我们的方法中，方法是一种样本选择机制，其依赖于样本的注释标签与其邻域中标签的分布之间的一致性;依赖于分类器跨后续迭代的置信机制的依赖标签机制;以及培训编码器的培训策略，同时通过单独的选择样本上的跨熵丢失和分类器编码器培训。没有钟声和口哨，如共同训练，以便减少自我确认偏差，并且对其少数超参数的环境具有鲁棒性，我们的方法显着超越了与人工噪声和真实的CIFAR10 / CIFAR100上的先前方法-world噪声数据集如webvision和动物-10n。

不完美的标签在现实世界数据集中无处不在，严重损害了模型性能。几个最近处理嘈杂标签的有效方法有两个关键步骤：1）将样品分开通过培训丢失，2）使用半监控方法在错误标记的集合中生成样本的伪标签。然而，由于硬样品和噪声之间的类似损失分布，目前的方法总是损害信息性的硬样品。在本文中，我们提出了PGDF（先前引导的去噪框架），通过生成样本的先验知识来学习深层模型来抑制噪声的新框架，这被集成到分割样本步骤和半监督步骤中。我们的框架可以将更多信息性硬清洁样本保存到干净标记的集合中。此外，我们的框架还通过抑制当前伪标签生成方案中的噪声来促进半监控步骤期间伪标签的质量。为了进一步增强硬样品，我们在训练期间在干净的标记集合中重新重量样品。我们使用基于CiFar-10和CiFar-100的合成数据集以及现实世界数据集WebVision和服装1M进行了评估了我们的方法。结果表明了最先进的方法的大量改进。

标签昂贵，有时是不可靠的。嘈杂的标签学习，半监督学习和对比学习是三种不同的设计，用于设计需要更少的注释成本的学习过程。最近已经证明了半监督学习和对比学习，以改善使用嘈杂标签地址数据集的学习策略。尽管如此，这些领域之间的内部连接以及将它们的强度结合在一起的可能性仅开始出现。在本文中，我们探讨了融合它们的进一步方法和优势。具体而言，我们提出了CSSL，统一的对比半监督学习算法和Codim（对比DivideMix），一种用嘈杂标签学习的新算法。 CSSL利用经典半监督学习和对比学习技术的力量，并进一步适应了Codim，其从多种类型和标签噪声水平鲁莽地学习。我们表明Codim带来了一致的改进，并在多个基准上实现了最先进的结果。

在标签 - 噪声学习中，估计过渡矩阵是一个热门话题，因为矩阵在构建统计上一致的分类器中起着重要作用。传统上，从干净的标签到嘈杂的标签（即，清洁标签过渡矩阵（CLTM））已被广泛利用，以通过使用嘈杂的数据来学习干净的标签分类器。该分类器的动机主要是输出贝叶斯的最佳预测标签，在本文中，我们研究以直接建模从贝叶斯最佳标签过渡到嘈杂标签（即贝叶斯标签，贝叶斯标签，是BLTM）），并学习分类器以预测贝叶斯最佳的分类器标签。请注意，只有嘈杂的数据，它不足以估计CLTM或BLTM。但是，贝叶斯最佳标签与干净标签相比，贝叶斯最佳标签的不确定性较小，即，贝叶斯最佳标签的类后代是一热矢量，而干净标签的载体则不是。这使两个优点能够估算BLTM，即（a）一组具有理论上保证的贝叶斯最佳标签的示例可以从嘈杂的数据中收集； （b）可行的解决方案空间要小得多。通过利用优势，我们通过采用深层神经网络来估计BLTM参数，从而更好地概括和出色的分类性能。

使用嘈杂的标签学习是一场实际上有挑战性的弱势监督。在现有文献中，开放式噪声总是被认为是有毒的泛化，类似于封闭式噪音。在本文中，我们经验证明，开放式嘈杂标签可能是无毒的，甚至有利于对固有的嘈杂标签的鲁棒性。灵感来自观察，我们提出了一种简单而有效的正则化，通过将具有动态噪声标签（ODNL）引入培训的开放式样本。使用ODNL，神经网络的额外容量可以在很大程度上以不干扰来自清洁数据的学习模式的方式消耗。通过SGD噪声的镜头，我们表明我们的方法引起的噪音是随机方向，无偏向，这可能有助于模型收敛到最小的最小值，具有卓越的稳定性，并强制执行模型以产生保守预测-of-分配实例。具有各种类型噪声标签的基准数据集的广泛实验结果表明，所提出的方法不仅提高了许多现有的强大算法的性能，而且即使在标签噪声设置中也能实现分配异点检测任务的显着改进。