目的：深度神经网络（DNN）已被广泛应用于医学图像分类中，从其在医学图像中的强大映射能力中受益。但是，这些现有的基于深度学习的方法取决于大量精心标记的图像。同时，标记过程中不可避免地引入噪声，从而降低了模型的性能。因此，制定强大的培训策略以减轻医学图像分类任务中的标签噪声是很重要的。方法：在这项工作中，我们提出了一种新颖的贝叶斯统计数据指导标签翻新机制（BLRM），以防止过度适合嘈杂的图像。 BLRM利用贝叶斯统计数据和指定时间加权技术中的最大后验概率（MAP）来选择性地纠正嘈杂图像的标签。激活BLRM时，训练时期逐渐纯化训练图像，从而进一步改善分类性能。结果：关于合成噪声图像（公共OCT和Messidor数据集）和现实世界嘈杂图像（Animal-10N）的全面实验表明，BLRM选择性地翻新了噪声标签，从而凝结了噪声数据的不良影响。同样，与DNN集成的抗噪声BLRM在不同的噪声比下有效，并且独立于骨干DNN架构。此外，BLRM优于抗噪声的最新比较方法。结论：这些研究表明，所提出的BLRM能够缓解医学图像分类任务中的标签噪声。

深度学习在大量大数据的帮助下取得了众多域中的显着成功。然而，由于许多真实情景中缺乏高质量标签，数据标签的质量是一个问题。由于嘈杂的标签严重降低了深度神经网络的泛化表现，从嘈杂的标签（强大的培训）学习是在现代深度学习应用中成为一项重要任务。在本调查中，我们首先从监督的学习角度描述了与标签噪声学习的问题。接下来，我们提供62项最先进的培训方法的全面审查，所有这些培训方法都按照其方法论差异分为五个群体，其次是用于评估其优越性的六种性质的系统比较。随后，我们对噪声速率估计进行深入分析，并总结了通常使用的评估方法，包括公共噪声数据集和评估度量。最后，我们提出了几个有前途的研究方向，可以作为未来研究的指导。所有内容将在https://github.com/songhwanjun/awesome-noisy-labels提供。

最近关于使用嘈杂标签的学习的研究通过利用小型干净数据集来显示出色的性能。特别是，基于模型不可知的元学习的标签校正方法进一步提高了性能，通过纠正了嘈杂的标签。但是，标签错误矫予没有保障措施，导致不可避免的性能下降。此外，每个训练步骤都需要至少三个背部传播，显着减慢训练速度。为了缓解这些问题，我们提出了一种强大而有效的方法，可以在飞行中学习标签转换矩阵。采用转换矩阵使分类器对所有校正样本持怀疑态度，这减轻了错误的错误问题。我们还介绍了一个双头架构，以便在单个反向传播中有效地估计标签转换矩阵，使得估计的矩阵紧密地遵循由标签校正引起的移位噪声分布。广泛的实验表明，我们的方法在训练效率方面表现出比现有方法相当或更好的准确性。

带有嘈杂标签的训练深神经网络（DNN）实际上是具有挑战性的，因为不准确的标签严重降低了DNN的概括能力。以前的努力倾向于通过识别带有粗糙的小损失标准来减轻嘈杂标签的干扰的嘈杂数据来处理统一的denoising流中的零件或完整数据，而忽略了嘈杂样本的困难是不同的，因此是刚性和统一的。数据选择管道无法很好地解决此问题。在本文中，我们首先提出了一种称为CREMA的粗到精细的稳健学习方法，以分裂和串扰的方式处理嘈杂的数据。在粗糙水平中，干净和嘈杂的集合首先从统计意义上就可信度分开。由于实际上不可能正确对所有嘈杂样本进行分类，因此我们通过对每个样本的可信度进行建模来进一步处理它们。具体而言，对于清洁集，我们故意设计了一种基于内存的调制方案，以动态调整每个样本在训练过程中的历史可信度顺序方面的贡献，从而减轻了错误地分组为清洁集中的嘈杂样本的效果。同时，对于分类为嘈杂集的样品，提出了选择性标签更新策略，以纠正嘈杂的标签，同时减轻校正错误的问题。广泛的实验是基于不同方式的基准，包括图像分类（CIFAR，Clothing1M等）和文本识别（IMDB），具有合成或自然语义噪声，表明CREMA的优势和普遍性。

深神经网络（DNN）的记忆效应在最近的标签噪声学习方法中起关键作用。为了利用这种效果，已经广泛采用了基于模型预测的方法，该方法旨在利用DNN在学习的早期阶段以纠正嘈杂标签的效果。但是，我们观察到该模型在标签预测期间会犯错误，从而导致性能不令人满意。相比之下，在学习早期阶段产生的特征表现出更好的鲁棒性。受到这一观察的启发，在本文中，我们提出了一种基于特征嵌入的新方法，用于用标签噪声，称为标签NoissiLution（Lend）。要具体而言，我们首先根据当前的嵌入式特征计算一个相似性矩阵，以捕获训练数据的局部结构。然后，附近标记的数据（\ textIt {i.e。}，标签噪声稀释）使错误标记的数据携带的嘈杂的监督信号淹没了，其有效性是由特征嵌入的固有鲁棒性保证的。最后，带有稀释标签的培训数据进一步用于培训强大的分类器。从经验上讲，我们通过将我们的贷款与几种代表性的强大学习方法进行比较，对合成和现实世界嘈杂数据集进行了广泛的实验。结果验证了我们贷款的有效性。

Semi-supervised learning based methods are current SOTA solutions to the noisy-label learning problem, which rely on learning an unsupervised label cleaner first to divide the training samples into a labeled set for clean data and an unlabeled set for noise data. Typically, the cleaner is obtained via fitting a mixture model to the distribution of per-sample training losses. However, the modeling procedure is \emph{class agnostic} and assumes the loss distributions of clean and noise samples are the same across different classes. Unfortunately, in practice, such an assumption does not always hold due to the varying learning difficulty of different classes, thus leading to sub-optimal label noise partition criteria. In this work, we reveal this long-ignored problem and propose a simple yet effective solution, named \textbf{C}lass \textbf{P}rototype-based label noise \textbf{C}leaner (\textbf{CPC}). Unlike previous works treating all the classes equally, CPC fully considers loss distribution heterogeneity and applies class-aware modulation to partition the clean and noise data. CPC takes advantage of loss distribution modeling and intra-class consistency regularization in feature space simultaneously and thus can better distinguish clean and noise labels. We theoretically justify the effectiveness of our method by explaining it from the Expectation-Maximization (EM) framework. Extensive experiments are conducted on the noisy-label benchmarks CIFAR-10, CIFAR-100, Clothing1M and WebVision. The results show that CPC consistently brings about performance improvement across all benchmarks. Codes and pre-trained models will be released at \url{https://github.com/hjjpku/CPC.git}.

基于深度学习的组织病理学图像分类是帮助医生提高癌症诊断的准确性和迅速性的关键技术。然而，在复杂的手动注释过程中，嘈杂的标签通常是不可避免的，因此误导了分类模型的培训。在这项工作中，我们介绍了一种用于组织病理学图像分类的新型硬样本感知噪声稳健学习方法。为了区分来自有害嘈杂的内容漏洞，我们通过使用样本培训历史来构建一个简单/硬/噪声（EHN）检测模型。然后，我们将EHN集成到自动训练架构中，通过逐渐校正降低噪声速率。通过获得的几乎干净的数据集，我们进一步提出了一种噪声抑制和硬增强（NSHE）方案来训练噪声鲁棒模型。与以前的作品相比，我们的方法可以节省更多清洁样本，并且可以直接应用于实际嘈杂的数据集场景，而无需使用清洁子集。实验结果表明，该方案在合成和现实世界嘈杂的数据集中优于当前最先进的方法。源代码和数据可在https://github.com/bupt-ai-cz/hsa-nrl/处获得。

遥感（RS）图像的多标签分类（MLC）的准确方法的开发是RS中最重要的研究主题之一。基于深度卷积神经网络（CNNS）的方法显示了RS MLC问题的强劲性能。然而，基于CNN的方法通常需要多个陆地覆盖类标签注释的大量可靠的训练图像。收集这些数据是耗时和昂贵的。为了解决这个问题，可包括嘈杂标签的公开专题产品可用于向RS零标记成本注释RS图像。但是，多标签噪声（可能与错误且缺少标签注释相关）可以扭曲MLC算法的学习过程。标签噪声的检测和校正是具有挑战性的任务，尤其是在多标签场景中，其中每个图像可以与多于一个标签相关联。为了解决这个问题，我们提出了一种新的噪声稳健协作多标签学习（RCML）方法，以减轻CNN模型训练期间多标签噪声的不利影响。 RCML在基于三个主模块的RS图像中识别，排名和排除噪声多标签：1）差异模块; 2）组套索模块; 3）交换模块。差异模块确保两个网络了解不同的功能，同时产生相同的预测。组套索模块的任务是检测分配给多标记训练图像的潜在嘈杂的标签，而交换模块任务致力于在两个网络之间交换排名信息。与现有的方法不同，我们提出了关于噪声分布的假设，我们所提出的RCML不会在训练集中的噪声类型之前进行任何先前的假设。我们的代码在线公开提供：http：//www.noisy-labels-in-rs.org

Deep neural networks are known to be annotation-hungry. Numerous efforts have been devoted to reducing the annotation cost when learning with deep networks. Two prominent directions include learning with noisy labels and semi-supervised learning by exploiting unlabeled data. In this work, we propose DivideMix, a novel framework for learning with noisy labels by leveraging semi-supervised learning techniques. In particular, DivideMix models the per-sample loss distribution with a mixture model to dynamically divide the training data into a labeled set with clean samples and an unlabeled set with noisy samples, and trains the model on both the labeled and unlabeled data in a semi-supervised manner. To avoid confirmation bias, we simultaneously train two diverged networks where each network uses the dataset division from the other network. During the semi-supervised training phase, we improve the MixMatch strategy by performing label co-refinement and label co-guessing on labeled and unlabeled samples, respectively. Experiments on multiple benchmark datasets demonstrate substantial improvements over state-of-the-art methods. Code is available at https://github.com/LiJunnan1992/DivideMix.

Point cloud segmentation is a fundamental task in 3D. Despite recent progress on point cloud segmentation with the power of deep networks, current learning methods based on the clean label assumptions may fail with noisy labels. Yet, class labels are often mislabeled at both instance-level and boundary-level in real-world datasets. In this work, we take the lead in solving the instance-level label noise by proposing a Point Noise-Adaptive Learning (PNAL) framework. Compared to noise-robust methods on image tasks, our framework is noise-rate blind, to cope with the spatially variant noise rate specific to point clouds. Specifically, we propose a point-wise confidence selection to obtain reliable labels from the historical predictions of each point. A cluster-wise label correction is proposed with a voting strategy to generate the best possible label by considering the neighbor correlations. To handle boundary-level label noise, we also propose a variant ``PNAL-boundary " with a progressive boundary label cleaning strategy. Extensive experiments demonstrate its effectiveness on both synthetic and real-world noisy datasets. Even with $60\%$ symmetric noise and high-level boundary noise, our framework significantly outperforms its baselines, and is comparable to the upper bound trained on completely clean data. Moreover, we cleaned the popular real-world dataset ScanNetV2 for rigorous experiment. Our code and data is available at https://github.com/pleaseconnectwifi/PNAL.

The performance of the Deep Learning (DL) models depends on the quality of labels. In some areas, the involvement of human annotators may lead to noise in the data. When these corrupted labels are blindly regarded as the ground truth (GT), DL models suffer from performance deficiency. This paper presents a method that aims to learn a confident model in the presence of noisy labels. This is done in conjunction with estimating the uncertainty of multiple annotators. We robustly estimate the predictions given only the noisy labels by adding entropy or information-based regularizer to the classifier network. We conduct our experiments on a noisy version of MNIST, CIFAR-10, and FMNIST datasets. Our empirical results demonstrate the robustness of our method as it outperforms or performs comparably to other state-of-the-art (SOTA) methods. In addition, we evaluated the proposed method on the curated dataset, where the noise type and level of various annotators depend on the input image style. We show that our approach performs well and is adept at learning annotators' confusion. Moreover, we demonstrate how our model is more confident in predicting GT than other baselines. Finally, we assess our approach for segmentation problem and showcase its effectiveness with experiments.

现实世界的面部表达识别（FER）数据集遭受吵闹的注释，由于众包，表达式的歧义，注释者的主观性和类间的相似性。但是，最近的深层网络具有强大的能力，可以记住嘈杂的注释导致腐蚀功能嵌入和泛化不良的能力。为了处理嘈杂的注释，我们提出了一个动态FER学习框架（DNFER），其中根据训练过程中的动态类特定阈值选择了干净的样品。具体而言，DNFER基于使用选定的干净样品和使用所有样品的无监督培训的监督培训。在训练过程中，每个微型批次的平均后类概率被用作动态类特异性阈值，以选择干净的样品进行监督训练。该阈值与噪声率无关，与其他方法不同，不需要任何干净的数据。此外，要从所有样品中学习，使用无监督的一致性损失对齐弱调节图像和强大图像之间的后验分布。我们证明了DNFER在合成和实际噪声注释的FER数据集（如RaFDB，Ferplus，Sfew和altimpnet）上的鲁棒性。

自数据注释（尤其是对于大型数据集）以来，使用嘈杂的标签学习引起了很大的研究兴趣，这可能不可避免地不可避免。最近的方法通过将培训样本分为清洁和嘈杂的集合来求助于半监督的学习问题。然而，这种范式在重标签噪声下容易出现重大变性，因为干净样品的数量太小，无法进行常规方法。在本文中，我们介绍了一个新颖的框架，称为LC-Booster，以在极端噪音下明确处理学习。 LC-Booster的核心思想是将标签校正纳入样品选择中，以便可以通过可靠的标签校正来培训更纯化的样品，从而减轻确认偏差。实验表明，LC-Booster在几个嘈杂标签的基准测试中提高了最先进的结果，包括CIFAR-10，CIFAR-100，CLASTINGING 1M和WEBVISION。值得注意的是，在极端的90 \％噪声比下，LC-Booster在CIFAR-10和CIFAR-100上获得了92.9 \％和48.4 \％的精度，超过了最终方法，较大的边距就超过了最终方法。

在深度学习的生态系统中，嘈杂的标签是不可避免的，但很麻烦，因为模型可以轻松地过度拟合它们。标签噪声有许多类型，例如对称，不对称和实例依赖性噪声（IDN），而IDN是唯一取决于图像信息的类型。鉴于标签错误很大程度上是由于图像中存在的视觉类别不足或模棱两可的信息引起的，因此对图像信息的这种依赖性使IDN成为可研究标签噪声的关键类型。为了提供一种有效的技术来解决IDN，我们提出了一种称为InstanceGM的新图形建模方法，该方法结合了判别和生成模型。实例GM的主要贡献是：i）使用连续的Bernoulli分布来培训生成模型，提供了重要的培训优势，ii）探索最先进的噪声标签歧视分类器来生成清洁标签来自实例依赖性嘈杂标签样品。 InstanceGM具有当前嘈杂的学习方法的竞争力，尤其是在使用合成和现实世界数据集的IDN基准测试中，我们的方法比大多数实验中的竞争对手都表现出更好的准确性。

遥感（RS）图像的多标签分类（MLC）精确方法的开发是RS中最重要的研究主题之一。为了解决MLC问题，发现需要大量可靠的可靠训练图像，该图像由多个土地覆盖级标签（多标签）注释，这些培训图像在Rs中很受欢迎。但是，收集这种注释是耗时且昂贵的。以零标签成本获得注释的常见程序是依靠主题产品或众包标签。作为缺点，这些过程具有标签噪声的风险，可能会扭曲MLC算法的学习过程。在文献中，大多数标签噪声鲁棒方法都是针对计算机视觉（CV）中单标签分类（SLC）问题设计的，其中每个图像都由单个标签注释。与SLC不同，MLC中的标签噪声可以与：1）减去标签 - 噪声（在图像中存在该类时，未分配土地覆盖类标签为图像）； 2）添加标签噪声（尽管该类不存在在给定图像中，但将土地覆盖类标签分配给图像）； 3）混合标签 - 噪声（两者的组合）。在本文中，我们研究了三种不同的噪声鲁棒CV SLC方法，并将其适应为RS的多标签噪声场景。在实验过程中，我们研究了不同类型的多标签噪声的影响，并严格评估了适用的方法。为此，我们还引入了一种合成的多标签噪声注入策略，该策略与统一标签噪声注入策略相比，该策略更适合模拟操作场景，在该策略中，缺少和当前类的标签以均匀的概率上翻转。此外，我们研究了噪声多标签下不同评估指标在MLC问题中的相关性。

使用嘈杂的标签学习是一场实际上有挑战性的弱势监督。在现有文献中，开放式噪声总是被认为是有毒的泛化，类似于封闭式噪音。在本文中，我们经验证明，开放式嘈杂标签可能是无毒的，甚至有利于对固有的嘈杂标签的鲁棒性。灵感来自观察，我们提出了一种简单而有效的正则化，通过将具有动态噪声标签（ODNL）引入培训的开放式样本。使用ODNL，神经网络的额外容量可以在很大程度上以不干扰来自清洁数据的学习模式的方式消耗。通过SGD噪声的镜头，我们表明我们的方法引起的噪音是随机方向，无偏向，这可能有助于模型收敛到最小的最小值，具有卓越的稳定性，并强制执行模型以产生保守预测-of-分配实例。具有各种类型噪声标签的基准数据集的广泛实验结果表明，所提出的方法不仅提高了许多现有的强大算法的性能，而且即使在标签噪声设置中也能实现分配异点检测任务的显着改进。

作为标签噪声，最受欢迎的分布变化之一，严重降低了深度神经网络的概括性能，具有嘈杂标签的强大训练正在成为现代深度学习中的重要任务。在本文中，我们提出了我们的框架，在子分类器（ALASCA）上创造了自适应标签平滑，该框架提供了具有理论保证和可忽略的其他计算的可靠特征提取器。首先，我们得出标签平滑（LS）会产生隐式Lipschitz正则化（LR）。此外，基于这些推导，我们将自适应LS（ALS）应用于子分类器架构上，以在中间层上的自适应LR的实际应用。我们对ALASCA进行了广泛的实验，并将其与以前的几个数据集上的噪声燃烧方法相结合，并显示我们的框架始终优于相应的基线。

标签噪声显着降低了应用中深度模型的泛化能力。有效的策略和方法，\ Texit {例如}重新加权或损失校正，旨在在训练神经网络时缓解标签噪声的负面影响。这些现有的工作通常依赖于预指定的架构并手动调整附加的超参数。在本文中，我们提出了翘曲的概率推断（WARPI），以便在元学习情景中自适应地整理分类网络的培训程序。与确定性模型相比，WARPI通过学习摊销元网络来制定为分层概率模型，这可以解决样本模糊性，因此对严格的标签噪声更加坚固。与直接生成损耗的重量值的现有近似加权功能不同，我们的元网络被学习以估计从登录和标签的输入来估计整流向量，这具有利用躺在它们中的足够信息的能力。这提供了纠正分类网络的学习过程的有效方法，证明了泛化能力的显着提高。此外，可以将整流载体建模为潜在变量并学习元网络，可以无缝地集成到分类网络的SGD优化中。我们在嘈杂的标签上评估了四个强大学习基准的Warpi，并在变体噪声类型下实现了新的最先进的。广泛的研究和分析还展示了我们模型的有效性。

可以将监督学习视为将相关信息从输入数据中提取到特征表示形式。当监督嘈杂时，此过程变得困难，因为蒸馏信息可能无关紧要。实际上，最近的研究表明，网络可以轻松地过度贴合所有标签，包括损坏的标签，因此几乎无法概括以清洁数据集。在本文中，我们专注于使用嘈杂的标签学习的问题，并将压缩归纳偏置引入网络体系结构以减轻这种过度的问题。更确切地说，我们重新审视一个名为辍学的经典正则化及其变体嵌套辍学。辍学可以作为其功能删除机制的压缩约束，而嵌套辍学进一步学习有序的特征表示W.R.T.特征重要性。此外，具有压缩正则化的训练有素的模型与共同教学相结合，以提高性能。从理论上讲，我们在压缩正则化下对目标函数进行偏置变化分解。我们分析了单个模型和共同教学。该分解提供了三个见解：（i）表明过度合适确实是使用嘈杂标签学习的问题； （ii）通过信息瓶颈配方，它解释了为什么提出的特征压缩有助于对抗标签噪声； （iii）它通过将压缩正规化纳入共同教学而带来的性能提升提供了解释。实验表明，我们的简单方法比具有现实世界标签噪声（包括服装1M和Animal-10N）的基准测试标准的最先进方法具有可比性甚至更好的性能。我们的实施可在https://yingyichen-cyy.github.io/compressfatsfeatnoisylabels/上获得。

Current deep neural networks (DNNs) can easily overfit to biased training data with corrupted labels or class imbalance. Sample re-weighting strategy is commonly used to alleviate this issue by designing a weighting function mapping from training loss to sample weight, and then iterating between weight recalculating and classifier updating. Current approaches, however, need manually pre-specify the weighting function as well as its additional hyper-parameters. It makes them fairly hard to be generally applied in practice due to the significant variation of proper weighting schemes relying on the investigated problem and training data. To address this issue, we propose a method capable of adaptively learning an explicit weighting function directly from data. The weighting function is an MLP with one hidden layer, constituting a universal approximator to almost any continuous functions, making the method able to fit a wide range of weighting functions including those assumed in conventional research. Guided by a small amount of unbiased meta-data, the parameters of the weighting function can be finely updated simultaneously with the learning process of the classifiers. Synthetic and real experiments substantiate the capability of our method for achieving proper weighting functions in class imbalance and noisy label cases, fully complying with the common settings in traditional methods, and more complicated scenarios beyond conventional cases. This naturally leads to its better accuracy than other state-of-the-art methods. Source code is available at https://github.com/xjtushujun/meta-weight-net. * Corresponding author. 1 We call the training data biased when they are generated from a joint sample-label distribution deviating from the distribution of evaluation/test set [1].