原始收集的培训数据通常带有从多个不完美的注释器中收集的单独的嘈杂标签（例如，通过众包）。通常，首先将单独的嘈杂标签汇总为一个，并应用标准培训方法。文献还广泛研究了有效的聚合方法。本文重新审视了此选择，并旨在为一个问题提供一个答案，即是否应该将单独的嘈杂标签汇总为单个单个标签或单独使用它们作为给定标签。我们从理论上分析了许多流行损失功能的经验风险最小化框架下的两种方法的性能，包括专门为使用嘈杂标签学习的问题而设计的损失功能。我们的定理得出的结论是，当噪声速率较高时，标签分离优于标签聚集，或者标记器/注释的数量不足。广泛的经验结果证明了我们的结论。

标签平滑（LS）是一种出现的学习范式，它使用硬训练标签和均匀分布的软标签的正加权平均值。结果表明，LS是带有硬标签的训练数据的常规器，因此改善了模型的概括。后来，据报道，LS甚至有助于用嘈杂的标签学习时改善鲁棒性。但是，我们观察到，当我们以高标签噪声状态运行时，LS的优势就会消失。从直觉上讲，这是由于$ \ mathbb {p}的熵增加（\ text {noisy label} | x）$当噪声速率很高时，在这种情况下，进一步应用LS会倾向于“超平滑”估计后部。我们开始发现，文献中的几种学习与噪声标签的解决方案相反，与负面/不标签平滑（NLS）更紧密地关联，它们与LS相反，并将其定义为使用负重量来结合硬和软标签呢我们在使用嘈杂标签学习时对LS和NLS的性质提供理解。在其他已建立的属性中，我们从理论上表明，当标签噪声速率高时，NLS被认为更有益。我们在多个基准测试中提供了广泛的实验结果，以支持我们的发现。代码可在https://github.com/ucsc-real/negative-label-smooth上公开获取。

最近关于使用嘈杂标签的学习的研究通过利用小型干净数据集来显示出色的性能。特别是，基于模型不可知的元学习的标签校正方法进一步提高了性能，通过纠正了嘈杂的标签。但是，标签错误矫予没有保障措施，导致不可避免的性能下降。此外，每个训练步骤都需要至少三个背部传播，显着减慢训练速度。为了缓解这些问题，我们提出了一种强大而有效的方法，可以在飞行中学习标签转换矩阵。采用转换矩阵使分类器对所有校正样本持怀疑态度，这减轻了错误的错误问题。我们还介绍了一个双头架构，以便在单个反向传播中有效地估计标签转换矩阵，使得估计的矩阵紧密地遵循由标签校正引起的移位噪声分布。广泛的实验表明，我们的方法在训练效率方面表现出比现有方法相当或更好的准确性。

在本文中，我们回答了插入标签噪声（较少的信息标签）时的问题，而是返回更准确和公平的模型。我们主要通过三次观察启发：1）与降低标签噪声速率相比，增加噪声速率易于实现; 2）增加某类实例的标签噪声以平衡噪声速率（增加到平衡）导致更容易的学习问题; 3）增加对平衡改善了对标签偏差的公平保障。在本文中，我们首先通过增加一组实例的标签噪声率W.r.t.来量化推出的权衡。损失标签信息和降低的学习困难。我们在改善泛化能量或公平保证方面，我们分析了这样的增加是有益的。然后，我们介绍一种方法来正确插入标签噪声，以便与嘈杂的标签学习学习的任务，无论是没有还是公平约束。我们面临的主要技术挑战是由于我们不知道哪些数据实例遭受更高的噪音，而且我们不会有地面真理标签来验证任何可能的假设。我们提出了一种检测方法，可以向我们通知我们，在不使用地面真理标签的情况下，哪一组标签可能会遭受更高的噪音。我们正式建立了提出的解决方案的有效性，并通过广泛的实验证明了它。

In the presence of noisy labels, designing robust loss functions is critical for securing the generalization performance of deep neural networks. Cross Entropy (CE) loss has been shown to be not robust to noisy labels due to its unboundedness. To alleviate this issue, existing works typically design specialized robust losses with the symmetric condition, which usually lead to the underfitting issue. In this paper, our key idea is to induce a loss bound at the logit level, thus universally enhancing the noise robustness of existing losses. Specifically, we propose logit clipping (LogitClip), which clamps the norm of the logit vector to ensure that it is upper bounded by a constant. In this manner, CE loss equipped with our LogitClip method is effectively bounded, mitigating the overfitting to examples with noisy labels. Moreover, we present theoretical analyses to certify the noise-tolerant ability of LogitClip. Extensive experiments show that LogitClip not only significantly improves the noise robustness of CE loss, but also broadly enhances the generalization performance of popular robust losses.

In many applications of classifier learning, training data suffers from label noise. Deep networks are learned using huge training data where the problem of noisy labels is particularly relevant. The current techniques proposed for learning deep networks under label noise focus on modifying the network architecture and on algorithms for estimating true labels from noisy labels. An alternate approach would be to look for loss functions that are inherently noise-tolerant. For binary classification there exist theoretical results on loss functions that are robust to label noise. In this paper, we provide some sufficient conditions on a loss function so that risk minimization under that loss function would be inherently tolerant to label noise for multiclass classification problems. These results generalize the existing results on noise-tolerant loss functions for binary classification. We study some of the widely used loss functions in deep networks and show that the loss function based on mean absolute value of error is inherently robust to label noise. Thus standard back propagation is enough to learn the true classifier even under label noise. Through experiments, we illustrate the robustness of risk minimization with such loss functions for learning neural networks.

Deep neural networks (DNNs) have achieved tremendous success in a variety of applications across many disciplines. Yet, their superior performance comes with the expensive cost of requiring correctly annotated large-scale datasets. Moreover, due to DNNs' rich capacity, errors in training labels can hamper performance. To combat this problem, mean absolute error (MAE) has recently been proposed as a noise-robust alternative to the commonly-used categorical cross entropy (CCE) loss. However, as we show in this paper, MAE can perform poorly with DNNs and challenging datasets. Here, we present a theoretically grounded set of noise-robust loss functions that can be seen as a generalization of MAE and CCE. Proposed loss functions can be readily applied with any existing DNN architecture and algorithm, while yielding good performance in a wide range of noisy label scenarios. We report results from experiments conducted with CIFAR-10, CIFAR-100 and FASHION-MNIST datasets and synthetically generated noisy labels.

噪声过渡矩阵在使用嘈杂标签的学习问题中起着核心作用。在许多其他原因中，许多现有解决方案都依赖于访问它。在没有地面真相标签的情况下识别和估算过渡矩阵是一项艰巨而挑战的任务。当标签噪声转变取决于每个实例时，识别与实例有关的噪声转变矩阵的问题变得更加具有挑战性。尽管最近的作品提出了从实例依赖性嘈杂标签中学习的解决方案，但该领域仍缺乏对何时仍然可以识别此问题的统一理解。本文的目的是表征标签噪声过渡矩阵的可识别性。在Kruskal的可识别性结果的基础上，我们能够在实例级别识别通用情况的噪声过渡矩阵时表明需要多个嘈杂标签的必要性。我们进一步实例化了结果，以解释最先进的解决方案的成功，以及如何缓解多个嘈杂标签的需求的其他假设。我们的结果还表明，分离的特征对上述标识任务有帮助，我们提供了经验证据。

标签噪声过渡矩阵，表示从干净标签到嘈杂标签的过渡概率，对于设计统计上强大的解决方案至关重要。噪声过渡矩阵的现有估计器，例如，使用锚点或凝集性，专注于相对容易获得高质量表示的计算机视觉任务。我们观察到，由于非信息和信息性表示的共存，具有较低质量特征的任务无法满足锚点或凝聚力条件。为了解决这个问题，我们提出了一种通用和实用的信息理论方法，以减少质量较低特征的信息不足的部分。这种改进对于识别和估计标签噪声转变矩阵至关重要。显着的技术挑战是仅使用嘈杂标签而不是干净的标签来计算相关的信息理论指标。我们证明，著名的$ f $ - 潮流信息度量通常可以在使用嘈杂标签计算时保留订单。然后，我们使用此蒸馏版本的功能构建过渡矩阵估计器。通过评估具有较低质量特征的各种表格数据和文本分类任务的估计误差，还可以通过评估拟议方法的必要性和有效性。代码可在github.com/ucsc-real/beyondimages上找到。

深入学习在现代分类任务中取得了许多突破。已经提出了众多架构用于不同的数据结构，但是当涉及丢失功能时，跨熵损失是主要的选择。最近，若干替代损失已经看到了深度分类器的恢复利益。特别是，经验证据似乎促进了方形损失，但仍然缺乏理论效果。在这项工作中，我们通过系统地研究了在神经切线内核（NTK）制度中的过度分化的神经网络的表现方式来促进对分类方面损失的理论理解。揭示了关于泛化误差，鲁棒性和校准错误的有趣特性。根据课程是否可分离，我们考虑两种情况。在一般的不可分类案例中，为错误分类率和校准误差建立快速收敛速率。当类是可分离的时，错误分类率改善了速度快。此外，经过证明得到的余量被证明是低于零的较低，提供了鲁棒性的理论保证。我们希望我们的调查结果超出NTK制度并转化为实际设置。为此，我们对实际神经网络进行广泛的实证研究，展示了合成低维数据和真实图像数据中方损的有效性。与跨熵相比，方形损耗具有可比的概括误差，但具有明显的鲁棒性和模型校准的优点。

学习算法的目标之一是补充和减轻人类决策者的负担。算法可以自行预测的专家延期设置，也可以将决定推迟到下游专家有助于实现这一目标。这种环境的一个基本方面是需要学习改善人类弱点的互补预测因子，而不是学习预测因素以优化平均错误。在这项工作中，我们提供了对专家延期中学习补充预测指标的好处的第一个理论分析。为了有效地学习此类预测因素，我们考虑了一个始终如一的替代损失功能的家族，以延期专家并分析其理论特性。最后，我们设计的主动学习方案需要最少的人类专家预测数据，以学习准确的延期系统。

In this paper, we theoretically study the problem of binary classification in the presence of random classification noise -the learner, instead of seeing the true labels, sees labels that have independently been flipped with some small probability. Moreover, random label noise is class-conditional -the flip probability depends on the class. We provide two approaches to suitably modify any given surrogate loss function. First, we provide a simple unbiased estimator of any loss, and obtain performance bounds for empirical risk minimization in the presence of iid data with noisy labels. If the loss function satisfies a simple symmetry condition, we show that the method leads to an efficient algorithm for empirical minimization. Second, by leveraging a reduction of risk minimization under noisy labels to classification with weighted 0-1 loss, we suggest the use of a simple weighted surrogate loss, for which we are able to obtain strong empirical risk bounds. This approach has a very remarkable consequence -methods used in practice such as biased SVM and weighted logistic regression are provably noise-tolerant. On a synthetic non-separable dataset, our methods achieve over 88% accuracy even when 40% of the labels are corrupted, and are competitive with respect to recently proposed methods for dealing with label noise in several benchmark datasets.

Training accurate deep neural networks (DNNs) in the presence of noisy labels is an important and challenging task. Though a number of approaches have been proposed for learning with noisy labels, many open issues remain. In this paper, we show that DNN learning with Cross Entropy (CE) exhibits overfitting to noisy labels on some classes ("easy" classes), but more surprisingly, it also suffers from significant under learning on some other classes ("hard" classes). Intuitively, CE requires an extra term to facilitate learning of hard classes, and more importantly, this term should be noise tolerant, so as to avoid overfitting to noisy labels. Inspired by the symmetric KL-divergence, we propose the approach of Symmetric cross entropy Learning (SL), boosting CE symmetrically with a noise robust counterpart Reverse Cross Entropy (RCE). Our proposed SL approach simultaneously addresses both the under learning and overfitting problem of CE in the presence of noisy labels. We provide a theoretical analysis of SL and also empirically show, on a range of benchmark and real-world datasets, that SL outperforms state-of-the-art methods. We also show that SL can be easily incorporated into existing methods in order to further enhance their performance.

深度学习在大量大数据的帮助下取得了众多域中的显着成功。然而，由于许多真实情景中缺乏高质量标签，数据标签的质量是一个问题。由于嘈杂的标签严重降低了深度神经网络的泛化表现，从嘈杂的标签（强大的培训）学习是在现代深度学习应用中成为一项重要任务。在本调查中，我们首先从监督的学习角度描述了与标签噪声学习的问题。接下来，我们提供62项最先进的培训方法的全面审查，所有这些培训方法都按照其方法论差异分为五个群体，其次是用于评估其优越性的六种性质的系统比较。随后，我们对噪声速率估计进行深入分析，并总结了通常使用的评估方法，包括公共噪声数据集和评估度量。最后，我们提出了几个有前途的研究方向，可以作为未来研究的指导。所有内容将在https://github.com/songhwanjun/awesome-noisy-labels提供。

We present a theoretically grounded approach to train deep neural networks, including recurrent networks, subject to class-dependent label noise. We propose two procedures for loss correction that are agnostic to both application domain and network architecture. They simply amount to at most a matrix inversion and multiplication, provided that we know the probability of each class being corrupted into another. We further show how one can estimate these probabilities, adapting a recent technique for noise estimation to the multi-class setting, and thus providing an end-to-end framework. Extensive experiments on MNIST, IMDB, CIFAR-10, CIFAR-100 and a large scale dataset of clothing images employing a diversity of architectures -stacking dense, convolutional, pooling, dropout, batch normalization, word embedding, LSTM and residual layers -demonstrate the noise robustness of our proposals. Incidentally, we also prove that, when ReLU is the only non-linearity, the loss curvature is immune to class-dependent label noise.

消息传递神经网络（MPNN）自从引入卷积神经网络以泛滥到图形结构的数据以来，人们的受欢迎程度急剧上升，现在被认为是解决各种以图形为中心的最先进的工具问题。我们研究图形分类和回归中MPNN的概括误差。我们假设不同类别的图是从不同的随机图模型中采样的。我们表明，当在从这种分布中采样的数据集上训练MPNN时，概括差距会增加MPNN的复杂性，并且不仅相对于训练样本的数量，而且还会减少节点的平均数量在图中。这表明，只要图形很大，具有高复杂性的MPNN如何从图形的小数据集中概括。概括结合是从均匀收敛结果得出的，该结果表明，应用于图的任何MPNN近似于该图离散的几何模型上应用的MPNN。

模型不足的元学习（MAML）已越来越流行，对于可以通过一个或几个随机梯度下降步骤迅速适应新任务的训练模型。但是，与标准的非自适应学习（NAL）相比，MAML目标更难优化，并且几乎没有理解MAML在各种情况下的溶液的快速适应性方面的改善。我们通过线性回归设置进行分析解决此问题，该设置由简单而艰难的任务组成，其中硬度与梯度下降在任务上收敛的速率有关。具体而言，我们证明，为了使MAML比NAL获得可观的收益，（i）任务之间的硬度必须有一定的差异，并且（ii）艰苦任务的最佳解决方案必须与中心远离远离中心。简单任务最佳解决方案的中心。我们还提供数值和分析结果，表明这些见解适用于两层神经网络。最后，我们提供了很少的图像分类实验，可以支持我们何时使用MAML的见解，并强调培训MAML对实践中的艰巨任务的重要性。

部分标签学习（PLL）是一个典型的弱监督学习框架，每个培训实例都与候选标签集相关联，其中只有一个标签是有效的。为了解决PLL问题，通常方法试图通过使用先验知识（例如培训数据的结构信息）或以自训练方式提炼模型输出来对候选人集进行歧义。不幸的是，由于在模型训练的早期阶段缺乏先前的信息或不可靠的预测，这些方法通常无法获得有利的性能。在本文中，我们提出了一个新的针对部分标签学习的框架，该框架具有元客观指导性的歧义（MOGD），该框架旨在通过在小验证集中求解元目标来从设置的候选标签中恢复地面真相标签。具体而言，为了减轻假阳性标签的负面影响，我们根据验证集的元损失重新权重。然后，分类器通过最大程度地减少加权交叉熵损失来训练。通过使用普通SGD优化器的各种深网络可以轻松实现所提出的方法。从理论上讲，我们证明了元目标的收敛属性，并得出了所提出方法的估计误差界限。在各种基准数据集和实际PLL数据集上进行的广泛实验表明，与最先进的方法相比，所提出的方法可以实现合理的性能。

最近已证明自我监督的对比学习（CL）非常有效地防止深网贴上嘈杂的标签。尽管取得了经验成功，但对对比度学习对增强鲁棒性的影响的理论理解非常有限。在这项工作中，我们严格地证明，通过对比度学习学到的表示矩阵可以通过：（i）与数据中每个子类相对应的一个突出的奇异值来增强鲁棒性，并显着较小的剩余奇异值； （ii）{{显着的单数矢量与每个子类的干净标签之间的一个很大的对齐。以上属性使对此类表示的线性层能够有效地学习干净的标签，而不会过度适应噪音。}我们进一步表明，通过对比度学习预先训练的深网的雅各比式的低级别结构使他们能够获得优越的最初的性能是在嘈杂的标签上进行微调时。最后，我们证明了对比度学习提供的最初鲁棒性使鲁棒训练方法能够在极端噪声水平下实现最先进的性能，例如平均27.18 \％\％和15.58 \％\％\％\％\％cifar-10上的提高和80 \％对称嘈杂标签的CIFAR-100，网络视频的准确性提高4.11 \％。

近年来，已取得了巨大进展，以通过半监督学习（SSL）来纳入未标记的数据来克服效率低下的监督问题。大多数最先进的模型是基于对未标记的数据追求一致的模型预测的想法，该模型被称为输入噪声，这称为一致性正则化。尽管如此，对其成功的原因缺乏理论上的见解。为了弥合理论和实际结果之间的差距，我们在本文中提出了SSL的最坏情况一致性正则化技术。具体而言，我们首先提出了针对SSL的概括，该概括由分别在标记和未标记的训练数据上观察到的经验损失项组成。在这种界限的激励下，我们得出了一个SSL目标，该目标可最大程度地减少原始未标记的样本与其多重增强变体之间最大的不一致性。然后，我们提供了一种简单但有效的算法来解决提出的最小问题，从理论上证明它会收敛到固定点。五个流行基准数据集的实验验证了我们提出的方法的有效性。