学习存在于数据的背景下，但信心的概念通常集中在模型预测上，而不是标签质量上。自信学习（CL）是一种替代方法，它通过根据修剪嘈杂数据的原理来表征和识别数据集中的标签错误来重点关注标签质量，并使用概率阈值来估算噪声，并将示例排名以自信。尽管许多研究已经独立开发了这些原理，但在这里，我们将它们结合起来，建立在类似的噪声过程的基础上，以直接估计嘈杂（给定的）标签和未腐败（未知）标签之间的关节分布。这导致了广义的CL，该CL证明是一致且具有实验性能的。我们提供了足够的条件，CL准确地发现标签错误，并且CL性能超过了CIFAR数据集上使用嘈杂标签的七种近期学习方法。独特的是，CL框架不与特定的数据模式或模型耦合（例如，我们使用CL在假定的无错误MNIST数据集中查找几个标签错误，并在亚马逊评论中对文本数据进行改善的情感分类）。我们还使用Imagenet上的CL来量化本体论类重叠（例如，估计645个“导弹”图像被错误标记为其母体类“弹丸”），并通过清洁训练前清洁数据来提高模型准确性（例如，用于RESNET）。使用开源清洁行释放可以复制这些结果。

我们在最常用的计算机视觉，自然语言和音频数据集中的10个测试集中识别标签错误，随后研究这些标签错误的可能性影响基准结果。测试集中的错误是众多和广泛的：我们估计10个数据集的至少3.3％的误差，例如标签错误包括至少6％的想象验证集。使用自信的学习算法识别推定的标签错误，然后通过众包（51％的算法上标记的候选者的51％确实错误地标记了数据集）。传统上，机器学习从业者选择基于测试准确性部署哪种模型 - 我们的调查结果在此提出谨慎行事，提出在正确标记的测试集上判断模型可能更有用，特别是对于嘈杂的现实世界数据集。令人惊讶的是，我们发现较低的容量模型可能与现实世界数据集中的更高容量模型几乎更有用，具有高比例的错误标记数据。例如，在具有校正标签的ImageNet上：Reset-18优于Reset-50，如果最初错误标记的测试示例的普及仅增加6％。在具有校正标签的CiFar-10上：VGG-11优于VGG-19，如果最初错误标记的测试示例的患病率达到5％。在HTTPS://labelerrors.com上查看10个数据集中的测试集错误，HTTPS：//github.com/cleanlab/labelors可以再现所有标签错误。

深度学习在大量大数据的帮助下取得了众多域中的显着成功。然而，由于许多真实情景中缺乏高质量标签，数据标签的质量是一个问题。由于嘈杂的标签严重降低了深度神经网络的泛化表现，从嘈杂的标签（强大的培训）学习是在现代深度学习应用中成为一项重要任务。在本调查中，我们首先从监督的学习角度描述了与标签噪声学习的问题。接下来，我们提供62项最先进的培训方法的全面审查，所有这些培训方法都按照其方法论差异分为五个群体，其次是用于评估其优越性的六种性质的系统比较。随后，我们对噪声速率估计进行深入分析，并总结了通常使用的评估方法，包括公共噪声数据集和评估度量。最后，我们提出了几个有前途的研究方向，可以作为未来研究的指导。所有内容将在https://github.com/songhwanjun/awesome-noisy-labels提供。

We show that large pre-trained language models are inherently highly capable of identifying label errors in natural language datasets: simply examining out-of-sample data points in descending order of fine-tuned task loss significantly outperforms more complex error-detection mechanisms proposed in previous work. To this end, we contribute a novel method for introducing realistic, human-originated label noise into existing crowdsourced datasets such as SNLI and TweetNLP. We show that this noise has similar properties to real, hand-verified label errors, and is harder to detect than existing synthetic noise, creating challenges for model robustness. We argue that human-originated noise is a better standard for evaluation than synthetic noise. Finally, we use crowdsourced verification to evaluate the detection of real errors on IMDB, Amazon Reviews, and Recon, and confirm that pre-trained models perform at a 9-36% higher absolute Area Under the Precision-Recall Curve than existing models.

在监督的机器学习中，使用正确的标签对于确保高精度非常重要。不幸的是，大多数数据集都包含损坏的标签。在此类数据集上训练的机器学习模型不能很好地概括。因此，检测其标签错误可以显着提高其功效。我们提出了一个名为CTRL的新型框架（标签错误检测的聚类训练损失），以检测多级数据集中的标签错误。它基于模型以不同方式学习干净和嘈杂的标签的观察结果，以两个步骤检测标签错误。首先，我们使用嘈杂的训练数据集训练神经网络，并为每个样本获得损失曲线。然后，我们将聚类算法应用于训练损失，将样本分为两类：已标记和噪声标记。标签误差检测后，我们删除带有嘈杂标签的样品并重新训练该模型。我们的实验结果表明，在模拟噪声下，图像（CIFAR-10和CIFAR-100和CIFAR-100）和表格数据集上的最新误差检测准确性。我们还使用理论分析来提供有关CTRL表现如此出色的见解。

Deep neural networks may easily memorize noisy labels present in real-world data, which degrades their ability to generalize. It is therefore important to track and evaluate the robustness of models against noisy label memorization. We propose a metric, called susceptibility, to gauge such memorization for neural networks. Susceptibility is simple and easy to compute during training. Moreover, it does not require access to ground-truth labels and it only uses unlabeled data. We empirically show the effectiveness of our metric in tracking memorization on various architectures and datasets and provide theoretical insights into the design of the susceptibility metric. Finally, we show through extensive experiments on datasets with synthetic and real-world label noise that one can utilize susceptibility and the overall training accuracy to distinguish models that maintain a low memorization on the training set and generalize well to unseen clean data.

作为标签噪声，最受欢迎的分布变化之一，严重降低了深度神经网络的概括性能，具有嘈杂标签的强大训练正在成为现代深度学习中的重要任务。在本文中，我们提出了我们的框架，在子分类器（ALASCA）上创造了自适应标签平滑，该框架提供了具有理论保证和可忽略的其他计算的可靠特征提取器。首先，我们得出标签平滑（LS）会产生隐式Lipschitz正则化（LR）。此外，基于这些推导，我们将自适应LS（ALS）应用于子分类器架构上，以在中间层上的自适应LR的实际应用。我们对ALASCA进行了广泛的实验，并将其与以前的几个数据集上的噪声燃烧方法相结合，并显示我们的框架始终优于相应的基线。

标签平滑（LS）是一种出现的学习范式，它使用硬训练标签和均匀分布的软标签的正加权平均值。结果表明，LS是带有硬标签的训练数据的常规器，因此改善了模型的概括。后来，据报道，LS甚至有助于用嘈杂的标签学习时改善鲁棒性。但是，我们观察到，当我们以高标签噪声状态运行时，LS的优势就会消失。从直觉上讲，这是由于$ \ mathbb {p}的熵增加（\ text {noisy label} | x）$当噪声速率很高时，在这种情况下，进一步应用LS会倾向于“超平滑”估计后部。我们开始发现，文献中的几种学习与噪声标签的解决方案相反，与负面/不标签平滑（NLS）更紧密地关联，它们与LS相反，并将其定义为使用负重量来结合硬和软标签呢我们在使用嘈杂标签学习时对LS和NLS的性质提供理解。在其他已建立的属性中，我们从理论上表明，当标签噪声速率高时，NLS被认为更有益。我们在多个基准测试中提供了广泛的实验结果，以支持我们的发现。代码可在https://github.com/ucsc-real/negative-label-smooth上公开获取。

为了训练强大的深神经网络（DNNS），我们系统地研究了几种目标修饰方法，其中包括输出正则化，自我和非自动标签校正（LC）。发现了三个关键问题：（1）自我LC是最吸引人的，因为它利用了自己的知识，不需要额外的模型。但是，在文献中，如何自动确定学习者的信任程度并没有很好地回答。 （2）一些方法会受到惩罚，而另一些方法奖励低渗透预测，促使我们询问哪一种更好。 （3）使用标准训练设置，当存在严重的噪音时，受过训练的网络的信心较低，因此很难利用其高渗透自我知识。为了解决问题（1），采取两个良好接受的命题 - 深度神经网络在拟合噪声和最小熵正则原理之前学习有意义的模式 - 我们提出了一种名为Proselflc的新颖的端到端方法，该方法是根据根据学习时间和熵。具体而言，给定数据点，如果对模型进行了足够的时间训练，并且预测的熵较低（置信度很高），则我们逐渐增加对预测标签分布的信任与其注释的信任。根据ProSelfLC的说法，对于（2），我们从经验上证明，最好重新定义有意义的低渗透状态并优化学习者对其进行优化。这是防御熵最小化的防御。为了解决该问题（3），我们在利用低温以纠正标签之前使用低温降低了自我知识的熵，因此修订后的标签重新定义了低渗透目标状态。我们通过在清洁和嘈杂的环境以及图像和蛋白质数据集中进行广泛的实验来证明ProSelfLC的有效性。此外，我们的源代码可在https://github.com/xinshaoamoswang/proselflc-at上获得。

有针对性的训练集攻击将恶意实例注入训练集中，以导致训练有素的模型错误地标记一个或多个特定的测试实例。这项工作提出了目标识别的任务，该任务决定了特定的测试实例是否是训练集攻击的目标。目标识别可以与对抗性识别相结合，以查找（并删除）攻击实例，从而减轻对其他预测的影响，从而减轻攻击。我们没有专注于单个攻击方法或数据模式，而是基于影响力估计，这量化了每个培训实例对模型预测的贡献。我们表明，现有的影响估计量的不良实际表现通常来自于他们对训练实例和迭代次数的过度依赖。我们重新归一化的影响估计器解决了这一弱点。他们的表现远远超过了原始估计量，可以在对抗和非对抗环境中识别有影响力的训练示例群体，甚至发现多达100％的对抗训练实例，没有清洁数据误报。然后，目标识别简化以检测具有异常影响值的测试实例。我们证明了我们的方法对各种数据域的后门和中毒攻击的有效性，包括文本，视觉和语音，以及针对灰色盒子的自适应攻击者，该攻击者专门优化了逃避我们方法的对抗性实例。我们的源代码可在https://github.com/zaydh/target_indistification中找到。

我们开发了一种新的原则性算法，用于估计培训数据点对深度学习模型的行为的贡献，例如它做出的特定预测。我们的算法估计了AME，该数量量衡量了将数据点添加到训练数据子集中的预期（平均）边际效应，并从给定的分布中采样。当从均匀分布中采样子集时，AME将还原为众所周知的Shapley值。我们的方法受因果推断和随机实验的启发：我们采样了训练数据的不同子集以训练多个子模型，并评估每个子模型的行为。然后，我们使用套索回归来基于子集组成共同估计每个数据点的AME。在稀疏假设（$ k \ ll n $数据点具有较大的AME）下，我们的估计器仅需要$ O（k \ log n）$随机的子模型培训，从而改善了最佳先前的Shapley值估算器。

虽然神经网络在平均病例的性能方面对分类任务的成功显着，但它们通常无法在某些数据组上表现良好。这样的组信息可能是昂贵的;因此，即使在培训数据不可用的组标签不可用，较稳健性和公平的最新作品也提出了改善最差组性能的方法。然而，这些方法通常在培训时间使用集团信息的表现不佳。在这项工作中，我们假设没有组标签的较大数据集一起访问少量组标签。我们提出了一个简单的两步框架，利用这个部分组信息来提高最差组性能：训练模型以预测训练数据的丢失组标签，然后在强大的优化目标中使用这些预测的组标签。从理论上讲，我们在最差的组性能方面为我们的方法提供泛化界限，展示了泛化误差如何相对于培训点总数和具有组标签的培训点的数量。凭经验，我们的方法优于不使用群组信息的基线表达，即使只有1-33％的积分都有组标签。我们提供消融研究，以支持我们框架的稳健性和可扩展性。

最近关于使用嘈杂标签的学习的研究通过利用小型干净数据集来显示出色的性能。特别是，基于模型不可知的元学习的标签校正方法进一步提高了性能，通过纠正了嘈杂的标签。但是，标签错误矫予没有保障措施，导致不可避免的性能下降。此外，每个训练步骤都需要至少三个背部传播，显着减慢训练速度。为了缓解这些问题，我们提出了一种强大而有效的方法，可以在飞行中学习标签转换矩阵。采用转换矩阵使分类器对所有校正样本持怀疑态度，这减轻了错误的错误问题。我们还介绍了一个双头架构，以便在单个反向传播中有效地估计标签转换矩阵，使得估计的矩阵紧密地遵循由标签校正引起的移位噪声分布。广泛的实验表明，我们的方法在训练效率方面表现出比现有方法相当或更好的准确性。

在我们与正在使用当今汽车系统的领域专家合作的经验中，我们遇到的一个常见问题是我们所说的“不切实际的期望” - 当用户通过嘈杂的数据获取过程面临非常具有挑战性的任务时，同时被期望实现机器学习（ML）的精度非常高。其中许多是从一开始就失败的。在传统的软件工程中，通过可行性研究解决了此问题，这是开发任何软件系统之前必不可少的一步。在本文中，我们介绍了Snoopy，目的是支持数据科学家和机器学习工程师在构建ML应用之前进行系统和理论上建立的可行性研究。我们通过估计基本任务的不可还原错误（也称为贝叶斯错误率（BER））来解决此问题，这源于用于训练或评估ML模型工件的数据集中的数据质量问题。我们设计了一个实用的贝叶斯误差估计器，该估计值与计算机视觉和自然语言处理中的6个数据集（具有不同级别的其他实际和合成噪声）上的基线可行性研究候选者进行了比较。此外，通过将我们的系统可行性研究和其他信号包括在迭代标签清洁过程中，我们在端到端实验中证明了用户如何能够节省大量的标签时间和货币努力。

现实世界数据集中的标签噪声编码错误的相关模式并损害深神经网络（DNNS）的概括。寻找有效的方法来检测损坏的模式至关重要。当前的方法主要着重于设计强大的训练技术，以防止DNN记住损坏的模式。这些方法通常需要定制的培训过程，并可能过度腐败的模式，从而导致检测的性能下降。在本文中，从以数据为中心的角度来看，我们提出了一种无培训的解决方案来检测损坏的标签。直观地，``Closer''实例更有可能共享相同的干净标签。根据邻域信息，我们提出了两种方法：第一种方法通过检查附近功能的嘈杂标签通过``本地投票''使用''本地投票。可能会损坏的实例。我们理论上分析了功能的质量如何影响本地投票并为调整邻里规模提供指南。我们还证明了基于排名的方法的最坏情况错误。合成和真实的实验 - 世界标签噪声表明我们的无训练解决方案始终如一，并显着改善了大多数基于训练的基线。

在标签 - 噪声学习中，估计过渡矩阵是一个热门话题，因为矩阵在构建统计上一致的分类器中起着重要作用。传统上，从干净的标签到嘈杂的标签（即，清洁标签过渡矩阵（CLTM））已被广泛利用，以通过使用嘈杂的数据来学习干净的标签分类器。该分类器的动机主要是输出贝叶斯的最佳预测标签，在本文中，我们研究以直接建模从贝叶斯最佳标签过渡到嘈杂标签（即贝叶斯标签，贝叶斯标签，是BLTM）），并学习分类器以预测贝叶斯最佳的分类器标签。请注意，只有嘈杂的数据，它不足以估计CLTM或BLTM。但是，贝叶斯最佳标签与干净标签相比，贝叶斯最佳标签的不确定性较小，即，贝叶斯最佳标签的类后代是一热矢量，而干净标签的载体则不是。这使两个优点能够估算BLTM，即（a）一组具有理论上保证的贝叶斯最佳标签的示例可以从嘈杂的数据中收集； （b）可行的解决方案空间要小得多。通过利用优势，我们通过采用深层神经网络来估计BLTM参数，从而更好地概括和出色的分类性能。

当可能的许多标签是可能的时，选择单个可以导致低精度。一个常见的替代方案，称为顶级k $分类，是选择一些数字$ k $（通常约5），并返回最高分数的$ k $标签。不幸的是，对于明确的案例，$ k> 1 $太多，对于非常暧昧的情况，$ k \ leq 5 $（例如）太小。另一种明智的策略是使用一种自适应方法，其中返回的标签数量随着计算的歧义而变化，但必须平均到所有样本的某些特定的$ k $。我们表示这种替代方案 - $ k $分类。本文在平均值的含量较低的误差率时，本文正式地表征了模糊性曲线，比固定的顶级k $分类更低。此外，它为固定尺寸和自适应分类器提供了自然估计程序，并证明了它们的一致性。最后，它报告了实际图像数据集的实验，揭示了平均值的效益 - 在实践中的价格超过高度k $分类。总的来说，当含糊不清的歧义时，平均值-$ k $永远不会比Top-$ K $更差，并且在我们的实验中，当估计时，这也持有。

Label noise is an important issue in classification, with many potential negative consequences. For example, the accuracy of predictions may decrease, whereas the complexity of inferred models and the number of necessary training samples may increase. Many works in the literature have been devoted to the study of label noise and the development of techniques to deal with label noise. However, the field lacks a comprehensive survey on the different types of label noise, their consequences and the algorithms that consider label noise. This paper proposes to fill this gap. First, the definitions and sources of label noise are considered and a taxonomy of the types of label noise is proposed. Second, the potential consequences of label noise are discussed. Third, label noise-robust, label noise cleansing, and label noise-tolerant algorithms are reviewed. For each category of approaches, a short discussion is proposed to help the practitioner to choose the most suitable technique in its own particular field of application. Eventually, the design of experiments is also discussed, what may interest the researchers who would like to test their own algorithms. In this paper, label noise consists of mislabeled instances: no additional information is assumed to be available like e.g. confidences on labels.

对标签噪声的学习是一个至关重要的话题，可以保证深度神经网络的可靠表现。最近的研究通常是指具有模型输出概率和损失值的动态噪声建模，然后分离清洁和嘈杂的样本。这些方法取得了显着的成功。但是，与樱桃挑选的数据不同，现有方法在面对不平衡数据集时通常无法表现良好，这是现实世界中常见的情况。我们彻底研究了这一现象，并指出了两个主要问题，这些问题阻碍了性能，即\ emph {类间损耗分布差异}和\ emph {由于不确定性而引起的误导性预测}。第一个问题是现有方法通常执行类不足的噪声建模。然而，损失分布显示在类失衡下的类别之间存在显着差异，并且类不足的噪声建模很容易与少数族裔类别中的嘈杂样本和样本混淆。第二个问题是指该模型可能会因认知不确定性和不确定性而导致的误导性预测，因此仅依靠输出概率的现有方法可能无法区分自信的样本。受我们的观察启发，我们提出了一个不确定性的标签校正框架〜（ULC）来处理不平衡数据集上的标签噪声。首先，我们执行认识不确定性的班级特异性噪声建模，以识别可信赖的干净样本并精炼/丢弃高度自信的真实/损坏的标签。然后，我们在随后的学习过程中介绍了不确定性，以防止标签噪声建模过程中的噪声积累。我们对几个合成和现实世界数据集进行实验。结果证明了提出的方法的有效性，尤其是在数据集中。

联合学习（FL）是一个分布式的机器学习范式，可从分散的私人数据集中进行学习模型，在该数据集中将标签工作委托给客户。尽管大多数现有的FL方法都假定用户的设备很容易获得高质量的标签。实际上，标签噪声自然会发生在FL中，并遵循非i.i.d。客户之间的分布。由于非IID的挑战，现有的最先进的集中式方法表现出不令人满意的性能，而先前的FL研究依靠数据交换或重复的服务器端援助来提高模型的性能。在这里，我们提出了Fedln，这是一个框架，可以在不同的FL训练阶段处理标签噪声；即，FL初始化，设备模型培训和服务器模型聚合。具体而言，FedLN在单个联合回合中计算每客户噪声级估计，并通过纠正（或限制）噪声样本的效果来改善模型的性能。与其他现有方法相比，对各种公开视觉和音频数据集的广泛实验平均提高了24％，标签噪声水平为70％。我们进一步验证了FedLN在人类通知的现实世界嘈杂数据集中的效率，并报告了模型的识别率平均增长了9％，这强调了FEDLN对于改善提供给日常用户的FL服务很有用。