Humans exhibit disagreement during data labeling. We term this disagreement as human label uncertainty. In this work, we study the ramifications of human label uncertainty (HLU). Our evaluation of existing uncertainty estimation algorithms, with the presence of HLU, indicates the limitations of existing uncertainty metrics and algorithms themselves in response to HLU. Meanwhile, we observe undue effects in predictive uncertainty and generalizability. To mitigate the undue effects, we introduce a novel natural scene statistics (NSS) based label dilution training scheme without requiring massive human labels. Specifically, we first select a subset of samples with low perceptual quality ranked by statistical regularities of images. We then assign separate labels to each sample in this subset to obtain a training set with diluted labels. Our experiments and analysis demonstrate that training with NSS-based label dilution alleviates the undue effects caused by HLU.

人工智能（AI）辅助方法在风险领域（例如疾病诊断）受到了很多关注。与疾病类型的分类不同，将医学图像归类为良性或恶性肿瘤是一项精细的任务。但是，大多数研究仅着重于提高诊断准确性，而忽略了模型可靠性的评估，从而限制了其临床应用。对于临床实践，校准对过度参数化的模型和固有的噪声极为明显地提出了低数据表格的主要挑战。特别是，我们发现建模与数据相关的不确定性更有利于置信度校准。与测试时间增强（TTA）相比，我们通过混合数据增强策略提出了一个修改后的自举损失（BS损耗）功能，可以更好地校准预测性不确定性并捕获数据分布转换而无需额外推断时间。我们的实验表明，与标准数据增强，深度集合和MC辍学相比，混合（BSM）模型的BS损失（BSM）模型可以将预期校准误差（ECE）减半。在BSM模型下，不确定性与相似性之间的相关性高达-0.4428。此外，BSM模型能够感知室外数据的语义距离，这表明在现实世界中的临床实践中潜力很高。

用于训练机器学习（ML）模型的标签至关重要。通常，对于ML分类任务，数据集包含硬标签，但已证明使用软标签的学习可以产生模型概括，鲁棒性和校准的好处。较早的工作发现从多个注释者的硬标签形成软标签方面的成功；但是，这种方法可能不会融合到最佳标签，因此需要许多注释者，这可能是昂贵且效率低下的。我们专注于有效地从单个注释者那里引起软标签。我们通过众包研究（$ n = 242 $）收集并发布了CIFAR-10的软标签数据集。我们证明，使用标签学习可以实现可比的模型性能与先前的方法，同时需要更少的注释者。因此，我们的启发方法表明，有望使从业者能够通过更少的注释来享受改善模型性能和可靠性的好处，并为将来的数据集策展人提供指南，以了解从单个注释者那里利用更丰富信息（例如分类不确定性）的好处。

对标签噪声的学习是一个至关重要的话题，可以保证深度神经网络的可靠表现。最近的研究通常是指具有模型输出概率和损失值的动态噪声建模，然后分离清洁和嘈杂的样本。这些方法取得了显着的成功。但是，与樱桃挑选的数据不同，现有方法在面对不平衡数据集时通常无法表现良好，这是现实世界中常见的情况。我们彻底研究了这一现象，并指出了两个主要问题，这些问题阻碍了性能，即\ emph {类间损耗分布差异}和\ emph {由于不确定性而引起的误导性预测}。第一个问题是现有方法通常执行类不足的噪声建模。然而，损失分布显示在类失衡下的类别之间存在显着差异，并且类不足的噪声建模很容易与少数族裔类别中的嘈杂样本和样本混淆。第二个问题是指该模型可能会因认知不确定性和不确定性而导致的误导性预测，因此仅依靠输出概率的现有方法可能无法区分自信的样本。受我们的观察启发，我们提出了一个不确定性的标签校正框架〜（ULC）来处理不平衡数据集上的标签噪声。首先，我们执行认识不确定性的班级特异性噪声建模，以识别可信赖的干净样本并精炼/丢弃高度自信的真实/损坏的标签。然后，我们在随后的学习过程中介绍了不确定性，以防止标签噪声建模过程中的噪声积累。我们对几个合成和现实世界数据集进行实验。结果证明了提出的方法的有效性，尤其是在数据集中。

联合学习（FL）是一个分布式的机器学习范式，可从分散的私人数据集中进行学习模型，在该数据集中将标签工作委托给客户。尽管大多数现有的FL方法都假定用户的设备很容易获得高质量的标签。实际上，标签噪声自然会发生在FL中，并遵循非i.i.d。客户之间的分布。由于非IID的挑战，现有的最先进的集中式方法表现出不令人满意的性能，而先前的FL研究依靠数据交换或重复的服务器端援助来提高模型的性能。在这里，我们提出了Fedln，这是一个框架，可以在不同的FL训练阶段处理标签噪声；即，FL初始化，设备模型培训和服务器模型聚合。具体而言，FedLN在单个联合回合中计算每客户噪声级估计，并通过纠正（或限制）噪声样本的效果来改善模型的性能。与其他现有方法相比，对各种公开视觉和音频数据集的广泛实验平均提高了24％，标签噪声水平为70％。我们进一步验证了FedLN在人类通知的现实世界嘈杂数据集中的效率，并报告了模型的识别率平均增长了9％，这强调了FEDLN对于改善提供给日常用户的FL服务很有用。

Large-scale supervised datasets are crucial to train convolutional neural networks (CNNs) for various computer vision problems. However, obtaining a massive amount of well-labeled data is usually very expensive and time consuming. In this paper, we introduce a general framework to train CNNs with only a limited number of clean labels and millions of easily obtained noisy labels. We model the relationships between images, class labels and label noises with a probabilistic graphical model and further integrate it into an end-to-end deep learning system. To demonstrate the effectiveness of our approach, we collect a large-scale real-world clothing classification dataset with both noisy and clean labels. Experiments on this dataset indicate that our approach can better correct the noisy labels and improves the performance of trained CNNs.

现实世界的面部表达识别（FER）数据集遭受吵闹的注释，由于众包，表达式的歧义，注释者的主观性和类间的相似性。但是，最近的深层网络具有强大的能力，可以记住嘈杂的注释导致腐蚀功能嵌入和泛化不良的能力。为了处理嘈杂的注释，我们提出了一个动态FER学习框架（DNFER），其中根据训练过程中的动态类特定阈值选择了干净的样品。具体而言，DNFER基于使用选定的干净样品和使用所有样品的无监督培训的监督培训。在训练过程中，每个微型批次的平均后类概率被用作动态类特异性阈值，以选择干净的样品进行监督训练。该阈值与噪声率无关，与其他方法不同，不需要任何干净的数据。此外，要从所有样品中学习，使用无监督的一致性损失对齐弱调节图像和强大图像之间的后验分布。我们证明了DNFER在合成和实际噪声注释的FER数据集（如RaFDB，Ferplus，Sfew和altimpnet）上的鲁棒性。

目的：深度神经网络（DNN）已被广泛应用于医学图像分类中，从其在医学图像中的强大映射能力中受益。但是，这些现有的基于深度学习的方法取决于大量精心标记的图像。同时，标记过程中不可避免地引入噪声，从而降低了模型的性能。因此，制定强大的培训策略以减轻医学图像分类任务中的标签噪声是很重要的。方法：在这项工作中，我们提出了一种新颖的贝叶斯统计数据指导标签翻新机制（BLRM），以防止过度适合嘈杂的图像。 BLRM利用贝叶斯统计数据和指定时间加权技术中的最大后验概率（MAP）来选择性地纠正嘈杂图像的标签。激活BLRM时，训练时期逐渐纯化训练图像，从而进一步改善分类性能。结果：关于合成噪声图像（公共OCT和Messidor数据集）和现实世界嘈杂图像（Animal-10N）的全面实验表明，BLRM选择性地翻新了噪声标签，从而凝结了噪声数据的不良影响。同样，与DNN集成的抗噪声BLRM在不同的噪声比下有效，并且独立于骨干DNN架构。此外，BLRM优于抗噪声的最新比较方法。结论：这些研究表明，所提出的BLRM能够缓解医学图像分类任务中的标签噪声。

In the past years, deep learning has seen an increase of usage in the domain of histopathological applications. However, while these approaches have shown great potential, in high-risk environments deep learning models need to be able to judge their own uncertainty and be able to reject inputs when there is a significant chance of misclassification. In this work, we conduct a rigorous evaluation of the most commonly used uncertainty and robustness methods for the classification of Whole-Slide-Images under domain shift using the H\&E stained Camelyon17 breast cancer dataset. Although it is known that histopathological data can be subject to strong domain shift and label noise, to our knowledge this is the first work that compares the most common methods for uncertainty estimation under these aspects. In our experiments, we compare Stochastic Variational Inference, Monte-Carlo Dropout, Deep Ensembles, Test-Time Data Augmentation as well as combinations thereof. We observe that ensembles of methods generally lead to higher accuracies and better calibration and that Test-Time Data Augmentation can be a promising alternative when choosing an appropriate set of augmentations. Across methods, a rejection of the most uncertain tiles leads to a significant increase in classification accuracy on both in-distribution as well as out-of-distribution data. Furthermore, we conduct experiments comparing these methods under varying conditions of label noise. We observe that the border regions of the Camelyon17 dataset are subject to label noise and evaluate the robustness of the included methods against different noise levels. Lastly, we publish our code framework to facilitate further research on uncertainty estimation on histopathological data.

我们研究保形预测的鲁棒性，这是标记噪声的不确定性定量的强大工具。我们的分析解决了回归和分类问题，表征了何时以及如何构建正确覆盖未观察到的无噪音地面真相标签的不确定性集。通过风格化的理论示例和实际实验，我们认为天真的保形预测涵盖了无噪声的地面真相标签，除非噪声分布是对手设计的。这使我们相信，除了病理数据分布或噪声源外，对标签噪声的纠正是不必要的。在这种情况下，我们还可以在保形预测算法中校正有界大小的噪声，以确保在没有得分或数据规律性的情况下正确覆盖地面真相标签。

使用嘈杂标签（LNL）学习旨在设计策略来通过减轻模型过度适应嘈杂标签的影响来提高模型性能和概括。 LNL的主要成功在于从大量嘈杂数据中识别尽可能多的干净样品，同时纠正错误分配的嘈杂标签。最近的进步采用了单个样品的预测标签分布来执行噪声验证和嘈杂的标签校正，很容易产生确认偏差。为了减轻此问题，我们提出了邻里集体估计，其中通过将其与其功能空间最近的邻居进行对比，重新估计了候选样本的预测性可靠性。具体而言，我们的方法分为两个步骤：1）邻域集体噪声验证，将所有训练样品分为干净或嘈杂的子集，2）邻里集体标签校正到Relabel嘈杂样品，然后使用辅助技术来帮助进一步的模型优化。 。在四个常用基准数据集（即CIFAR-10，CIFAR-100，Clothing-1M和WebVision-1.0）上进行了广泛的实验，这表明我们提出的方法非常优于最先进的方法。

标签噪声显着降低了应用中深度模型的泛化能力。有效的策略和方法，\ Texit {例如}重新加权或损失校正，旨在在训练神经网络时缓解标签噪声的负面影响。这些现有的工作通常依赖于预指定的架构并手动调整附加的超参数。在本文中，我们提出了翘曲的概率推断（WARPI），以便在元学习情景中自适应地整理分类网络的培训程序。与确定性模型相比，WARPI通过学习摊销元网络来制定为分层概率模型，这可以解决样本模糊性，因此对严格的标签噪声更加坚固。与直接生成损耗的重量值的现有近似加权功能不同，我们的元网络被学习以估计从登录和标签的输入来估计整流向量，这具有利用躺在它们中的足够信息的能力。这提供了纠正分类网络的学习过程的有效方法，证明了泛化能力的显着提高。此外，可以将整流载体建模为潜在变量并学习元网络，可以无缝地集成到分类网络的SGD优化中。我们在嘈杂的标签上评估了四个强大学习基准的Warpi，并在变体噪声类型下实现了新的最先进的。广泛的研究和分析还展示了我们模型的有效性。

Point cloud segmentation is a fundamental task in 3D. Despite recent progress on point cloud segmentation with the power of deep networks, current learning methods based on the clean label assumptions may fail with noisy labels. Yet, class labels are often mislabeled at both instance-level and boundary-level in real-world datasets. In this work, we take the lead in solving the instance-level label noise by proposing a Point Noise-Adaptive Learning (PNAL) framework. Compared to noise-robust methods on image tasks, our framework is noise-rate blind, to cope with the spatially variant noise rate specific to point clouds. Specifically, we propose a point-wise confidence selection to obtain reliable labels from the historical predictions of each point. A cluster-wise label correction is proposed with a voting strategy to generate the best possible label by considering the neighbor correlations. To handle boundary-level label noise, we also propose a variant ``PNAL-boundary " with a progressive boundary label cleaning strategy. Extensive experiments demonstrate its effectiveness on both synthetic and real-world noisy datasets. Even with $60\%$ symmetric noise and high-level boundary noise, our framework significantly outperforms its baselines, and is comparable to the upper bound trained on completely clean data. Moreover, we cleaned the popular real-world dataset ScanNetV2 for rigorous experiment. Our code and data is available at https://github.com/pleaseconnectwifi/PNAL.

遥感（RS）图像的多标签分类（MLC）的准确方法的开发是RS中最重要的研究主题之一。基于深度卷积神经网络（CNNS）的方法显示了RS MLC问题的强劲性能。然而，基于CNN的方法通常需要多个陆地覆盖类标签注释的大量可靠的训练图像。收集这些数据是耗时和昂贵的。为了解决这个问题，可包括嘈杂标签的公开专题产品可用于向RS零标记成本注释RS图像。但是，多标签噪声（可能与错误且缺少标签注释相关）可以扭曲MLC算法的学习过程。标签噪声的检测和校正是具有挑战性的任务，尤其是在多标签场景中，其中每个图像可以与多于一个标签相关联。为了解决这个问题，我们提出了一种新的噪声稳健协作多标签学习（RCML）方法，以减轻CNN模型训练期间多标签噪声的不利影响。 RCML在基于三个主模块的RS图像中识别，排名和排除噪声多标签：1）差异模块; 2）组套索模块; 3）交换模块。差异模块确保两个网络了解不同的功能，同时产生相同的预测。组套索模块的任务是检测分配给多标记训练图像的潜在嘈杂的标签，而交换模块任务致力于在两个网络之间交换排名信息。与现有的方法不同，我们提出了关于噪声分布的假设，我们所提出的RCML不会在训练集中的噪声类型之前进行任何先前的假设。我们的代码在线公开提供：http：//www.noisy-labels-in-rs.org

组织病理学分析是对癌前病变诊断的本金标准。从数字图像自动组织病理学分类的目标需要监督培训，这需要大量的专家注释，这可能是昂贵且耗时的收集。同时，精确分类从全幻灯片裁剪的图像斑块对于基于标准滑动窗口的组织病理学幻灯片分类方法是必不可少的。为了减轻这些问题，我们提出了一个精心设计的条件GaN模型，即hostogan，用于在类标签上合成现实组织病理学图像补丁。我们还研究了一种新颖的合成增强框架，可选择地添加由我们提出的HADOGAN生成的新的合成图像补丁，而不是直接扩展与合成图像的训练集。通过基于其指定标签的置信度和实际标记图像的特征相似性选择合成图像，我们的框架为合成增强提供了质量保证。我们的模型在两个数据集上进行评估：具有有限注释的宫颈组织病理学图像数据集，以及具有转移性癌症的淋巴结组织病理学图像的另一个数据集。在这里，我们表明利用具有选择性增强的组织产生的图像导致对宫颈组织病理学和转移性癌症数据集分别的分类性能（分别为6.7％和2.8％）的显着和一致性。

尽管在过去的几年中取得了重大进展，但歧义仍然是面部表情识别（FER）的关键挑战。它可能导致嘈杂和不一致的注释，这阻碍了现实世界中深度学习模型的性能。在本文中，我们提出了一种新的不确定性标签分布学习方法，以提高深层模型的鲁棒性，以防止不确定性和歧义。我们利用价值空间中的邻里信息来适应培训训练样本的情绪分布。我们还考虑提供的标签将其纳入标签分布时的不确定性。我们的方法可以轻松地集成到深层网络中，以获得更多的培训监督并提高识别准确性。在各种嘈杂和模棱两可的环境下，在几个数据集上进行了密集的实验表明，我们的方法取得了竞争成果，并且超出了最新的最新方法。我们的代码和模型可在https://github.com/minhnhatvt/label-distribution-learning-fer-tf上找到。

人工智能的最新趋势是将验证的模型用于语言和视觉任务，这些模型已经实现了非凡的表现，但也令人困惑。因此，以各种方式探索这些模型的能力对该领域至关重要。在本文中，我们探讨了模型的可靠性，在其中我们将可靠的模型定义为一个不仅可以实现强大的预测性能，而且在许多涉及不确定性（例如选择性预测，开放式设置识别）的决策任务上，在许多决策任务上表现出色，而且表现良好。强大的概括（例如，准确性和适当的评分规则，例如在分布数据集中和分发数据集上的对数可能性）和适应性（例如，主动学习，几乎没有射击不确定性）。我们设计了40个数据集的10种任务类型，以评估视觉和语言域上可靠性的不同方面。为了提高可靠性，我们分别开发了VIT-PLEX和T5-PLEX，分别针对视觉和语言方式扩展了大型模型。 PLEX极大地改善了跨可靠性任务的最先进，并简化了传统协议，因为它可以改善开箱即用的性能，并且不需要设计分数或为每个任务调整模型。我们演示了高达1B参数的模型尺寸的缩放效果，并预处理数据集大小最多4B示例。我们还展示了PLEX在具有挑战性的任务上的功能，包括零射门的开放式识别，主动学习和对话语言理解中的不确定性。

应付嘈杂标签的大多数现有方法通常假定类别分布良好，因此无法应对训练样本不平衡分布的实际情况的能力不足。为此，本文尽早努力通过长尾分配和标签噪声来解决图像分类任务。在这种情况下，现有的噪声学习方法无法正常工作，因为将噪声样本与干净的尾巴类别的样本区分开来是具有挑战性的。为了解决这个问题，我们提出了一个新的学习范式，基于对弱数据和强数据扩展的推论，以筛选嘈杂的样本，并引入休假散布的正则化，以消除公认的嘈杂样本的效果。此外，我们基于在线先验分布中纳入了一种新颖的预测惩罚，以避免对头等阶层的偏见。与现有的长尾分类方法相比，这种机制在实时捕获班级拟合度方面具有优越性。详尽的实验表明，所提出的方法优于解决噪声标签下长尾分类中分布不平衡问题的最先进算法。

由于类间的相似性和注释歧义，嘈杂的标签面部表达识别（FER）比传统的嘈杂标签分类任务更具挑战性。最近的作品主要通过过滤大量损坏样本来解决此问题。在本文中，我们从新功能学习的角度探索了嘈杂的标签。我们发现，FER模型通过专注于可以认为与嘈杂标签相关的一部分来记住嘈杂的样本，而不是从导致潜在真理的整个功能中学习。受到的启发，我们提出了一种新颖的擦除注意力一致性（EAC）方法，以自动抑制嘈杂的样品。具体而言，我们首先利用面部图像的翻转语义一致性来设计不平衡的框架。然后，我们随机删除输入图像，并使用翻转注意一致性，以防止模型专注于部分特征。 EAC明显优于最先进的嘈杂标签方法，并将其概括地概括为其他类似CIFAR100和Tiny-Imagenet等类别的任务。该代码可在https://github.com/zyh-uaiaaaa/erasing-prestention-consistency中获得。

强大的学习方法旨在从嘈杂和损坏的训练数据中学习清洁的目标分布，其中经常假设特定的损坏模式是先验的。我们所提出的方法不仅可以成功地从脏数据集中学习清洁目标分布，还可以估计潜在的噪声模式。为此，我们利用了专家模型，可以区分两种不同类型的预测性不确定性，炼术和认识性的不确定性。我们表明，估计不确定性的能力在阐明腐败模式时发挥着重要作用，因为这两个目标紧密交织在一起。我们还提出了一种用于评估腐败模式估计性能的新型验证方案。我们提出的方法通过许多域来广泛地评估了鲁棒性和腐败模式估计，包括计算机视觉和自然语言处理。