Deep neural networks may easily memorize noisy labels present in real-world data, which degrades their ability to generalize. It is therefore important to track and evaluate the robustness of models against noisy label memorization. We propose a metric, called susceptibility, to gauge such memorization for neural networks. Susceptibility is simple and easy to compute during training. Moreover, it does not require access to ground-truth labels and it only uses unlabeled data. We empirically show the effectiveness of our metric in tracking memorization on various architectures and datasets and provide theoretical insights into the design of the susceptibility metric. Finally, we show through extensive experiments on datasets with synthetic and real-world label noise that one can utilize susceptibility and the overall training accuracy to distinguish models that maintain a low memorization on the training set and generalize well to unseen clean data.

最近已证明自我监督的对比学习（CL）非常有效地防止深网贴上嘈杂的标签。尽管取得了经验成功，但对对比度学习对增强鲁棒性的影响的理论理解非常有限。在这项工作中，我们严格地证明，通过对比度学习学到的表示矩阵可以通过：（i）与数据中每个子类相对应的一个突出的奇异值来增强鲁棒性，并显着较小的剩余奇异值； （ii）{{显着的单数矢量与每个子类的干净标签之间的一个很大的对齐。以上属性使对此类表示的线性层能够有效地学习干净的标签，而不会过度适应噪音。}我们进一步表明，通过对比度学习预先训练的深网的雅各比式的低级别结构使他们能够获得优越的最初的性能是在嘈杂的标签上进行微调时。最后，我们证明了对比度学习提供的最初鲁棒性使鲁棒训练方法能够在极端噪声水平下实现最先进的性能，例如平均27.18 \％\％和15.58 \％\％\％\％\％cifar-10上的提高和80 \％对称嘈杂标签的CIFAR-100，网络视频的准确性提高4.11 \％。

In today's heavily overparameterized models, the value of the training loss provides few guarantees on model generalization ability. Indeed, optimizing only the training loss value, as is commonly done, can easily lead to suboptimal model quality. Motivated by prior work connecting the geometry of the loss landscape and generalization, we introduce a novel, effective procedure for instead simultaneously minimizing loss value and loss sharpness. In particular, our procedure, Sharpness-Aware Minimization (SAM), seeks parameters that lie in neighborhoods having uniformly low loss; this formulation results in a minmax optimization problem on which gradient descent can be performed efficiently. We present empirical results showing that SAM improves model generalization across a variety of benchmark datasets (e.g., CIFAR-{10, 100}, Ima-geNet, finetuning tasks) and models, yielding novel state-of-the-art performance for several. Additionally, we find that SAM natively provides robustness to label noise on par with that provided by state-of-the-art procedures that specifically target learning with noisy labels. We open source our code at https: //github.com/google-research/sam. * Work done as part of the Google AI Residency program.

最近关于使用嘈杂标签的学习的研究通过利用小型干净数据集来显示出色的性能。特别是，基于模型不可知的元学习的标签校正方法进一步提高了性能，通过纠正了嘈杂的标签。但是，标签错误矫予没有保障措施，导致不可避免的性能下降。此外，每个训练步骤都需要至少三个背部传播，显着减慢训练速度。为了缓解这些问题，我们提出了一种强大而有效的方法，可以在飞行中学习标签转换矩阵。采用转换矩阵使分类器对所有校正样本持怀疑态度，这减轻了错误的错误问题。我们还介绍了一个双头架构，以便在单个反向传播中有效地估计标签转换矩阵，使得估计的矩阵紧密地遵循由标签校正引起的移位噪声分布。广泛的实验表明，我们的方法在训练效率方面表现出比现有方法相当或更好的准确性。

我们提出了自适应培训 - 一种统一的培训算法，通过模型预测动态校准并增强训练过程，而不会产生额外的计算成本 - 以推进深度神经网络的监督和自我监督的学习。我们分析了培训数据的深网络培训动态，例如随机噪声和对抗例。我们的分析表明，模型预测能够在数据中放大有用的基础信息，即使在没有任何标签信息的情况下，这种现象也会发生，突出显示模型预测可能会产生培训过程：自适应培训改善了深网络的概括在噪音下，增强自我监督的代表学习。分析还阐明了解深度学习，例如，在经验风险最小化和最新的自我监督学习算法的折叠问题中对最近发现的双重现象的潜在解释。在CIFAR，STL和Imagenet数据集上的实验验证了我们在三种应用中的方法的有效性：用标签噪声，选择性分类和线性评估进行分类。为了促进未来的研究，该代码已在HTTPS://github.com/layneh/Self-Aveptive-训练中公开提供。

在监督的机器学习中，使用正确的标签对于确保高精度非常重要。不幸的是，大多数数据集都包含损坏的标签。在此类数据集上训练的机器学习模型不能很好地概括。因此，检测其标签错误可以显着提高其功效。我们提出了一个名为CTRL的新型框架（标签错误检测的聚类训练损失），以检测多级数据集中的标签错误。它基于模型以不同方式学习干净和嘈杂的标签的观察结果，以两个步骤检测标签错误。首先，我们使用嘈杂的训练数据集训练神经网络，并为每个样本获得损失曲线。然后，我们将聚类算法应用于训练损失，将样本分为两类：已标记和噪声标记。标签误差检测后，我们删除带有嘈杂标签的样品并重新训练该模型。我们的实验结果表明，在模拟噪声下，图像（CIFAR-10和CIFAR-100和CIFAR-100）和表格数据集上的最新误差检测准确性。我们还使用理论分析来提供有关CTRL表现如此出色的见解。

作为标签噪声，最受欢迎的分布变化之一，严重降低了深度神经网络的概括性能，具有嘈杂标签的强大训练正在成为现代深度学习中的重要任务。在本文中，我们提出了我们的框架，在子分类器（ALASCA）上创造了自适应标签平滑，该框架提供了具有理论保证和可忽略的其他计算的可靠特征提取器。首先，我们得出标签平滑（LS）会产生隐式Lipschitz正则化（LR）。此外，基于这些推导，我们将自适应LS（ALS）应用于子分类器架构上，以在中间层上的自适应LR的实际应用。我们对ALASCA进行了广泛的实验，并将其与以前的几个数据集上的噪声燃烧方法相结合，并显示我们的框架始终优于相应的基线。

Many recent works on understanding deep learning try to quantify how much individual data instances influence the optimization and generalization of a model, either by analyzing the behavior of the model during training or by measuring the performance gap of the model when the instance is removed from the dataset. Such approaches reveal characteristics and importance of individual instances, which may provide useful information in diagnosing and improving deep learning. However, most of the existing works on data valuation require actual training of a model, which often demands high-computational cost. In this paper, we provide a training-free data valuation score, called complexity-gap score, which is a data-centric score to quantify the influence of individual instances in generalization of two-layer overparameterized neural networks. The proposed score can quantify irregularity of the instances and measure how much each data instance contributes in the total movement of the network parameters during training. We theoretically analyze and empirically demonstrate the effectiveness of the complexity-gap score in finding 'irregular or mislabeled' data instances, and also provide applications of the score in analyzing datasets and diagnosing training dynamics.

Deep neural networks have been shown to be very powerful modeling tools for many supervised learning tasks involving complex input patterns. However, they can also easily overfit to training set biases and label noises. In addition to various regularizers, example reweighting algorithms are popular solutions to these problems, but they require careful tuning of additional hyperparameters, such as example mining schedules and regularization hyperparameters. In contrast to past reweighting methods, which typically consist of functions of the cost value of each example, in this work we propose a novel meta-learning algorithm that learns to assign weights to training examples based on their gradient directions. To determine the example weights, our method performs a meta gradient descent step on the current mini-batch example weights (which are initialized from zero) to minimize the loss on a clean unbiased validation set. Our proposed method can be easily implemented on any type of deep network, does not require any additional hyperparameter tuning, and achieves impressive performance on class imbalance and corrupted label problems where only a small amount of clean validation data is available.

Deep neural networks are known to be annotation-hungry. Numerous efforts have been devoted to reducing the annotation cost when learning with deep networks. Two prominent directions include learning with noisy labels and semi-supervised learning by exploiting unlabeled data. In this work, we propose DivideMix, a novel framework for learning with noisy labels by leveraging semi-supervised learning techniques. In particular, DivideMix models the per-sample loss distribution with a mixture model to dynamically divide the training data into a labeled set with clean samples and an unlabeled set with noisy samples, and trains the model on both the labeled and unlabeled data in a semi-supervised manner. To avoid confirmation bias, we simultaneously train two diverged networks where each network uses the dataset division from the other network. During the semi-supervised training phase, we improve the MixMatch strategy by performing label co-refinement and label co-guessing on labeled and unlabeled samples, respectively. Experiments on multiple benchmark datasets demonstrate substantial improvements over state-of-the-art methods. Code is available at https://github.com/LiJunnan1992/DivideMix.

在最近的几项研究中已经显示了过度参数化在实现卓越概括性能方面的好处，证明了在实践中使用较大模型的趋势。然而，在强大的学习背景下，神经网络大小的影响尚未得到很好的研究。在这项工作中，我们发现，在大量错误标记的示例的存在下，将网络大小的增加超出某个点可能是有害的。特别是，当标签噪声增加时，最初是单调或“双重下降”测试损失曲线（W.R.T.网络宽度）变成U形或双U形曲线，这表明某些模型具有中等大小的模型实现了最佳的概括。我们观察到，当通过随机修剪通过密度控制网络大小时，观察到相似的测试损失行为。我们还通过偏置变化分解和理论上表征标签噪声塑造方差项的方式来仔细研究现象。即使采用最新的鲁棒方法，也可以观察到测试损失的类似行为，这表明限制网络大小可以进一步提高现有方法。最后，我们从经验上检查网络大小对学习函数平稳性的影响，并发现最初的大小和平滑度之间的负相关性是由标签噪声翻转的。

我们理论上和经验地证明，对抗性鲁棒性可以显着受益于半体验学习。从理论上讲，我们重新审视了Schmidt等人的简单高斯模型。这显示了标准和稳健分类之间的示例复杂性差距。我们证明了未标记的数据桥接这种差距：简单的半体验学习程序（自我训练）使用相同数量的达到高标准精度所需的标签实现高的强大精度。经验上，我们增强了CiFar-10，使用50万微小的图像，使用了8000万微小的图像，并使用强大的自我训练来优于最先进的鲁棒精度（i）$ \ ell_ infty $鲁棒性通过对抗培训和（ii）认证$ \ ell_2 $和$ \ ell_ \ infty $鲁棒性通过随机平滑的几个强大的攻击。在SVHN上，添加DataSet自己的额外训练集，删除的标签提供了4到10个点的增益，在使用额外标签的1点之内。

差异隐私（DP）提供了正式的隐私保证，以防止对手可以访问机器学习模型，从而从提取有关单个培训点的信息。最受欢迎的DP训练方法是差异私有随机梯度下降（DP-SGD），它通过在训练过程中注入噪声来实现这种保护。然而，以前的工作发现，DP-SGD通常会导致标准图像分类基准的性能显着降解。此外，一些作者假设DP-SGD在大型模型上固有地表现不佳，因为保留隐私所需的噪声规范与模型维度成正比。相反，我们证明了过度参数化模型上的DP-SGD可以比以前想象的要好得多。将仔细的超参数调整与简单技术结合起来，以确保信号传播并提高收敛速率，我们获得了新的SOTA，而没有额外数据的CIFAR-10，在81.4％的81.4％下（8，10^{ - 5}） - 使用40 -layer wide-Resnet，比以前的SOTA提高了71.7％。当对预训练的NFNET-F3进行微调时，我们在ImageNet（0.5，8*10^{ - 7}）下达到了83.8％的TOP-1精度。此外，我们还在（8，8 \ cdot 10^{ - 7}）下达到了86.7％的TOP-1精度，DP仅比当前的非私人SOTA仅4.3％。我们认为，我们的结果是缩小私人图像分类和非私有图像分类之间准确性差距的重要一步。

可以将监督学习视为将相关信息从输入数据中提取到特征表示形式。当监督嘈杂时，此过程变得困难，因为蒸馏信息可能无关紧要。实际上，最近的研究表明，网络可以轻松地过度贴合所有标签，包括损坏的标签，因此几乎无法概括以清洁数据集。在本文中，我们专注于使用嘈杂的标签学习的问题，并将压缩归纳偏置引入网络体系结构以减轻这种过度的问题。更确切地说，我们重新审视一个名为辍学的经典正则化及其变体嵌套辍学。辍学可以作为其功能删除机制的压缩约束，而嵌套辍学进一步学习有序的特征表示W.R.T.特征重要性。此外，具有压缩正则化的训练有素的模型与共同教学相结合，以提高性能。从理论上讲，我们在压缩正则化下对目标函数进行偏置变化分解。我们分析了单个模型和共同教学。该分解提供了三个见解：（i）表明过度合适确实是使用嘈杂标签学习的问题； （ii）通过信息瓶颈配方，它解释了为什么提出的特征压缩有助于对抗标签噪声； （iii）它通过将压缩正规化纳入共同教学而带来的性能提升提供了解释。实验表明，我们的简单方法比具有现实世界标签噪声（包括服装1M和Animal-10N）的基准测试标准的最先进方法具有可比性甚至更好的性能。我们的实施可在https://yingyichen-cyy.github.io/compressfatsfeatnoisylabels/上获得。

虽然神经网络在平均病例的性能方面对分类任务的成功显着，但它们通常无法在某些数据组上表现良好。这样的组信息可能是昂贵的;因此，即使在培训数据不可用的组标签不可用，较稳健性和公平的最新作品也提出了改善最差组性能的方法。然而，这些方法通常在培训时间使用集团信息的表现不佳。在这项工作中，我们假设没有组标签的较大数据集一起访问少量组标签。我们提出了一个简单的两步框架，利用这个部分组信息来提高最差组性能：训练模型以预测训练数据的丢失组标签，然后在强大的优化目标中使用这些预测的组标签。从理论上讲，我们在最差的组性能方面为我们的方法提供泛化界限，展示了泛化误差如何相对于培训点总数和具有组标签的培训点的数量。凭经验，我们的方法优于不使用群组信息的基线表达，即使只有1-33％的积分都有组标签。我们提供消融研究，以支持我们框架的稳健性和可扩展性。

对网络规模数据进行培训可能需要几个月的时间。但是，在已经学习或不可学习的冗余和嘈杂点上浪费了很多计算和时间。为了加速训练，我们引入了可减少的持有损失选择（Rho-loss），这是一种简单但原则上的技术，它大致选择了这些训练点，最大程度地减少了模型的概括损失。结果，Rho-loss减轻了现有数据选择方法的弱点：优化文献中的技术通常选择“硬损失”（例如，高损失），但是这种点通常是嘈杂的（不可学习）或更少的任务与任务相关。相反，课程学习优先考虑“简单”的积分，但是一旦学习，就不必对这些要点进行培训。相比之下，Rho-Loss选择了可以学习的点，值得学习的，尚未学习。与先前的艺术相比，Rho-loss火车的步骤要少得多，可以提高准确性，并加快对广泛的数据集，超参数和体系结构（MLP，CNNS和BERT）的培训。在大型Web绑带图像数据集服装1M上，与统一的数据改组相比，步骤少18倍，最终精度的速度少2％。

学习存在于数据的背景下，但信心的概念通常集中在模型预测上，而不是标签质量上。自信学习（CL）是一种替代方法，它通过根据修剪嘈杂数据的原理来表征和识别数据集中的标签错误来重点关注标签质量，并使用概率阈值来估算噪声，并将示例排名以自信。尽管许多研究已经独立开发了这些原理，但在这里，我们将它们结合起来，建立在类似的噪声过程的基础上，以直接估计嘈杂（给定的）标签和未腐败（未知）标签之间的关节分布。这导致了广义的CL，该CL证明是一致且具有实验性能的。我们提供了足够的条件，CL准确地发现标签错误，并且CL性能超过了CIFAR数据集上使用嘈杂标签的七种近期学习方法。独特的是，CL框架不与特定的数据模式或模型耦合（例如，我们使用CL在假定的无错误MNIST数据集中查找几个标签错误，并在亚马逊评论中对文本数据进行改善的情感分类）。我们还使用Imagenet上的CL来量化本体论类重叠（例如，估计645个“导弹”图像被错误标记为其母体类“弹丸”），并通过清洁训练前清洁数据来提高模型准确性（例如，用于RESNET）。使用开源清洁行释放可以复制这些结果。

In the presence of noisy labels, designing robust loss functions is critical for securing the generalization performance of deep neural networks. Cross Entropy (CE) loss has been shown to be not robust to noisy labels due to its unboundedness. To alleviate this issue, existing works typically design specialized robust losses with the symmetric condition, which usually lead to the underfitting issue. In this paper, our key idea is to induce a loss bound at the logit level, thus universally enhancing the noise robustness of existing losses. Specifically, we propose logit clipping (LogitClip), which clamps the norm of the logit vector to ensure that it is upper bounded by a constant. In this manner, CE loss equipped with our LogitClip method is effectively bounded, mitigating the overfitting to examples with noisy labels. Moreover, we present theoretical analyses to certify the noise-tolerant ability of LogitClip. Extensive experiments show that LogitClip not only significantly improves the noise robustness of CE loss, but also broadly enhances the generalization performance of popular robust losses.

深度学习在大量大数据的帮助下取得了众多域中的显着成功。然而，由于许多真实情景中缺乏高质量标签，数据标签的质量是一个问题。由于嘈杂的标签严重降低了深度神经网络的泛化表现，从嘈杂的标签（强大的培训）学习是在现代深度学习应用中成为一项重要任务。在本调查中，我们首先从监督的学习角度描述了与标签噪声学习的问题。接下来，我们提供62项最先进的培训方法的全面审查，所有这些培训方法都按照其方法论差异分为五个群体，其次是用于评估其优越性的六种性质的系统比较。随后，我们对噪声速率估计进行深入分析，并总结了通常使用的评估方法，包括公共噪声数据集和评估度量。最后，我们提出了几个有前途的研究方向，可以作为未来研究的指导。所有内容将在https://github.com/songhwanjun/awesome-noisy-labels提供。

一种广泛使用的传输学习算法是微调的，其中预先接受的模型在具有少量标记数据的目标任务上进行微调。当预训练模型的容量大于目标数据集的大小时，微调容易过度，并“记忆”训练标签。因此，一个重要的问题是规范微调，并确保其对噪声的鲁棒性。为了解决这个问题，我们首先分析微调的泛化属性。我们介绍了PAC-Bayes泛化界定，这取决于在微调和微调模型的噪声稳定期间在每层中行进的距离。我们经验衡量这些数量。根据分析，我们建议正规化的自我标签 - 正规化和自我标记方法之间的插值，包括（i）层明智的正则化，以限制在每层中行进的距离; （ii）自我标记 - 纠正和标签重新重复纠正错误标记的数据点（模型是自信的）和重新重复的自信数据点。我们在使用多个预先训练的模型体系结构上验证我们的方法和文本数据集的广泛集合和文本数据集。我们的方法将基线方法提高了1.76％（平均），可实现七种图像分类任务和0.75％，为几次拍摄的分类任务。当目标数据集包括嘈杂的标签时，我们的方法在两个嘈杂的设置中平均优于基线方法3.56％。