The development of deep learning based image representation learning (IRL) methods has attracted great attention in the context of remote sensing (RS) image understanding. Most of these methods require the availability of a high quantity and quality of annotated training images, which can be time-consuming and costly to gather. To reduce labeling costs, publicly available thematic maps, automatic labeling procedures or crowdsourced data can be used. However, such approaches increase the risk of including label noise in training data. It may result in overfitting on noisy labels when discriminative reasoning is employed as in most of the existing methods. This leads to sub-optimal learning procedures, and thus inaccurate characterization of RS images. In this paper, as a first time in RS, we introduce a generative reasoning integrated label noise robust representation learning (GRID) approach. GRID aims to model the complementary characteristics of discriminative and generative reasoning for IRL under noisy labels. To this end, we first integrate generative reasoning into discriminative reasoning through a variational autoencoder. This allows our approach to automatically detect training samples with noisy labels. Then, through our label noise robust hybrid representation learning strategy, GRID adjusts the whole learning procedure for IRL of these samples through generative reasoning and that of the other samples through discriminative reasoning. Our approach learns discriminative image representations while preventing interference of noisy labels during training independently from the IRL method. Thus, unlike the existing methods, GRID does not depend on the type of annotation, label noise, neural network, loss or learning task, and thus can be utilized for various RS image understanding problems. Experimental results show the effectiveness of GRID compared to state-of-the-art methods.

遥感（RS）图像的多标签分类（MLC）的准确方法的开发是RS中最重要的研究主题之一。基于深度卷积神经网络（CNNS）的方法显示了RS MLC问题的强劲性能。然而，基于CNN的方法通常需要多个陆地覆盖类标签注释的大量可靠的训练图像。收集这些数据是耗时和昂贵的。为了解决这个问题，可包括嘈杂标签的公开专题产品可用于向RS零标记成本注释RS图像。但是，多标签噪声（可能与错误且缺少标签注释相关）可以扭曲MLC算法的学习过程。标签噪声的检测和校正是具有挑战性的任务，尤其是在多标签场景中，其中每个图像可以与多于一个标签相关联。为了解决这个问题，我们提出了一种新的噪声稳健协作多标签学习（RCML）方法，以减轻CNN模型训练期间多标签噪声的不利影响。 RCML在基于三个主模块的RS图像中识别，排名和排除噪声多标签：1）差异模块; 2）组套索模块; 3）交换模块。差异模块确保两个网络了解不同的功能，同时产生相同的预测。组套索模块的任务是检测分配给多标记训练图像的潜在嘈杂的标签，而交换模块任务致力于在两个网络之间交换排名信息。与现有的方法不同，我们提出了关于噪声分布的假设，我们所提出的RCML不会在训练集中的噪声类型之前进行任何先前的假设。我们的代码在线公开提供：http：//www.noisy-labels-in-rs.org

遥感（RS）图像的多标签分类（MLC）精确方法的开发是RS中最重要的研究主题之一。为了解决MLC问题，发现需要大量可靠的可靠训练图像，该图像由多个土地覆盖级标签（多标签）注释，这些培训图像在Rs中很受欢迎。但是，收集这种注释是耗时且昂贵的。以零标签成本获得注释的常见程序是依靠主题产品或众包标签。作为缺点，这些过程具有标签噪声的风险，可能会扭曲MLC算法的学习过程。在文献中，大多数标签噪声鲁棒方法都是针对计算机视觉（CV）中单标签分类（SLC）问题设计的，其中每个图像都由单个标签注释。与SLC不同，MLC中的标签噪声可以与：1）减去标签 - 噪声（在图像中存在该类时，未分配土地覆盖类标签为图像）； 2）添加标签噪声（尽管该类不存在在给定图像中，但将土地覆盖类标签分配给图像）； 3）混合标签 - 噪声（两者的组合）。在本文中，我们研究了三种不同的噪声鲁棒CV SLC方法，并将其适应为RS的多标签噪声场景。在实验过程中，我们研究了不同类型的多标签噪声的影响，并严格评估了适用的方法。为此，我们还引入了一种合成的多标签噪声注入策略，该策略与统一标签噪声注入策略相比，该策略更适合模拟操作场景，在该策略中，缺少和当前类的标签以均匀的概率上翻转。此外，我们研究了噪声多标签下不同评估指标在MLC问题中的相关性。

学习遥感（RS）图像之间的相似性形成基于内容的RS图像检索（CBIR）的基础。最近，将图像的语义相似性映射到嵌入（度量标准）空间的深度度量学习方法已经发现非常流行。学习公制空间的常见方法依赖于将与作为锚称为锚的参考图像的类似（正）和不同（负）图像的三胞胎的选择。选择三胞胎是一个难以为多标签RS CBIR的困难任务，其中每个训练图像由多个类标签注释。为了解决这个问题，在本文中，我们提出了一种在为多标签RS CBIR问题定义的深神经网络（DNN）的框架中提出了一种新颖的三联样品采样方法。该方法基于两个主要步骤选择一小部分最多代表性和信息性三元组。在第一步中，使用迭代算法从当前迷你批量选择在嵌入空间中彼此多样化的一组锚。在第二步中，通过基于新颖的策略评估彼此之间的图像的相关性，硬度和多样性来选择不同的正面和负图像。在两个多标签基准档案上获得的实验结果表明，在DNN的上下文中选择最具信息丰富和代表性的三胞胎，导致：i）降低DNN训练阶段的计算复杂性，而性能没有任何显着损失; ii）由于信息性三元组允许快速收敛，因此学习速度的增加。所提出的方法的代码在https://git.tu-berlin.de/rsim/image-reetrieval-from-tropls上公开使用。

由于多模式遥感（RS）图像档案的可用性，最重要的研究主题之一是开发跨模式RS图像检索（CM-RSIR）方法，该方法可以在不同模态上搜索语义上相似的图像。现有的CM-RSIR方法需要提供高质量和数量的带注释的培训图像。在操作方案中，收集足够数量的可靠标记图像是耗时，复杂且昂贵的，并且可能会显着影响CM-RSIR的最终准确性。在本文中，我们介绍了一种新颖的自我监督的CM-RSIR方法，其目的是：i）以自我监督的方式模拟不同方式之间的相互信息； ii）保留彼此相似的模态特异性特征空间的分布； iii）在每种模式中定义最相似的图像，而无需任何带注释的训练图像。为此，我们提出了一个新的目标，其中包括同时同时使用的三个损失函数：i）最大化不同模态的共同信息以保存模式间相似性； ii）最小化多模式图像元素的角度距离，以消除模式间差异； iii）增加每种模式中最相似图像的余弦相似性，以表征模式内相似性。实验结果表明，与最新方法相比，该方法的有效性。该方法的代码可在https://git.tu-berlin.de/rsim/ss-cm-rsir上公开获得。

在深度学习的生态系统中，嘈杂的标签是不可避免的，但很麻烦，因为模型可以轻松地过度拟合它们。标签噪声有许多类型，例如对称，不对称和实例依赖性噪声（IDN），而IDN是唯一取决于图像信息的类型。鉴于标签错误很大程度上是由于图像中存在的视觉类别不足或模棱两可的信息引起的，因此对图像信息的这种依赖性使IDN成为可研究标签噪声的关键类型。为了提供一种有效的技术来解决IDN，我们提出了一种称为InstanceGM的新图形建模方法，该方法结合了判别和生成模型。实例GM的主要贡献是：i）使用连续的Bernoulli分布来培训生成模型，提供了重要的培训优势，ii）探索最先进的噪声标签歧视分类器来生成清洁标签来自实例依赖性嘈杂标签样品。 InstanceGM具有当前嘈杂的学习方法的竞争力，尤其是在使用合成和现实世界数据集的IDN基准测试中，我们的方法比大多数实验中的竞争对手都表现出更好的准确性。

深度学习在大量大数据的帮助下取得了众多域中的显着成功。然而，由于许多真实情景中缺乏高质量标签，数据标签的质量是一个问题。由于嘈杂的标签严重降低了深度神经网络的泛化表现，从嘈杂的标签（强大的培训）学习是在现代深度学习应用中成为一项重要任务。在本调查中，我们首先从监督的学习角度描述了与标签噪声学习的问题。接下来，我们提供62项最先进的培训方法的全面审查，所有这些培训方法都按照其方法论差异分为五个群体，其次是用于评估其优越性的六种性质的系统比较。随后，我们对噪声速率估计进行深入分析，并总结了通常使用的评估方法，包括公共噪声数据集和评估度量。最后，我们提出了几个有前途的研究方向，可以作为未来研究的指导。所有内容将在https://github.com/songhwanjun/awesome-noisy-labels提供。

The use of deep neural networks (DNNs) has recently attracted great attention in the framework of the multi-label classification (MLC) of remote sensing (RS) images. To optimize the large number of parameters of DNNs a high number of reliable training images annotated with multi-labels is often required. However, the collection of a large training set is time-consuming, complex and costly. To minimize annotation efforts for data-demanding DNNs, in this paper we present several query functions for active learning (AL) in the context of DNNs for the MLC of RS images. Unlike the AL query functions defined for single-label classification or semantic segmentation problems, each query function presented in this paper is based on the evaluation of two criteria: i) multi-label uncertainty; and ii) multi-label diversity. The multi-label uncertainty criterion is associated to the confidence of the DNNs in correctly assigning multi-labels to each image. To assess the multi-label uncertainty, we present and adapt to the MLC problems three strategies: i) learning multi-label loss ordering; ii) measuring temporal discrepancy of multi-label prediction; and iii) measuring magnitude of approximated gradient embedding. The multi-label diversity criterion aims at selecting a set of uncertain images that are as diverse as possible to reduce the redundancy among them. To assess this criterion we exploit a clustering based strategy. We combine each of the above-mentioned uncertainty strategy with the clustering based diversity strategy, resulting in three different query functions. Experimental results obtained on two benchmark archives show that our query functions result in the selection of a highly informative set of samples at each iteration of the AL process in the context of MLC.

目的：深度神经网络（DNN）已被广泛应用于医学图像分类中，从其在医学图像中的强大映射能力中受益。但是，这些现有的基于深度学习的方法取决于大量精心标记的图像。同时，标记过程中不可避免地引入噪声，从而降低了模型的性能。因此，制定强大的培训策略以减轻医学图像分类任务中的标签噪声是很重要的。方法：在这项工作中，我们提出了一种新颖的贝叶斯统计数据指导标签翻新机制（BLRM），以防止过度适合嘈杂的图像。 BLRM利用贝叶斯统计数据和指定时间加权技术中的最大后验概率（MAP）来选择性地纠正嘈杂图像的标签。激活BLRM时，训练时期逐渐纯化训练图像，从而进一步改善分类性能。结果：关于合成噪声图像（公共OCT和Messidor数据集）和现实世界嘈杂图像（Animal-10N）的全面实验表明，BLRM选择性地翻新了噪声标签，从而凝结了噪声数据的不良影响。同样，与DNN集成的抗噪声BLRM在不同的噪声比下有效，并且独立于骨干DNN架构。此外，BLRM优于抗噪声的最新比较方法。结论：这些研究表明，所提出的BLRM能够缓解医学图像分类任务中的标签噪声。

标签噪声显着降低了应用中深度模型的泛化能力。有效的策略和方法，\ Texit {例如}重新加权或损失校正，旨在在训练神经网络时缓解标签噪声的负面影响。这些现有的工作通常依赖于预指定的架构并手动调整附加的超参数。在本文中，我们提出了翘曲的概率推断（WARPI），以便在元学习情景中自适应地整理分类网络的培训程序。与确定性模型相比，WARPI通过学习摊销元网络来制定为分层概率模型，这可以解决样本模糊性，因此对严格的标签噪声更加坚固。与直接生成损耗的重量值的现有近似加权功能不同，我们的元网络被学习以估计从登录和标签的输入来估计整流向量，这具有利用躺在它们中的足够信息的能力。这提供了纠正分类网络的学习过程的有效方法，证明了泛化能力的显着提高。此外，可以将整流载体建模为潜在变量并学习元网络，可以无缝地集成到分类网络的SGD优化中。我们在嘈杂的标签上评估了四个强大学习基准的Warpi，并在变体噪声类型下实现了新的最先进的。广泛的研究和分析还展示了我们模型的有效性。

应付嘈杂标签的大多数现有方法通常假定类别分布良好，因此无法应对训练样本不平衡分布的实际情况的能力不足。为此，本文尽早努力通过长尾分配和标签噪声来解决图像分类任务。在这种情况下，现有的噪声学习方法无法正常工作，因为将噪声样本与干净的尾巴类别的样本区分开来是具有挑战性的。为了解决这个问题，我们提出了一个新的学习范式，基于对弱数据和强数据扩展的推论，以筛选嘈杂的样本，并引入休假散布的正则化，以消除公认的嘈杂样本的效果。此外，我们基于在线先验分布中纳入了一种新颖的预测惩罚，以避免对头等阶层的偏见。与现有的长尾分类方法相比，这种机制在实时捕获班级拟合度方面具有优越性。详尽的实验表明，所提出的方法优于解决噪声标签下长尾分类中分布不平衡问题的最先进算法。

传统上，信号处理，通信和控制一直依赖经典的统计建模技术。这种基于模型的方法利用代表基本物理，先验信息和其他领域知识的数学公式。简单的经典模型有用，但对不准确性敏感，当真实系统显示复杂或动态行为时，可能会导致性能差。另一方面，随着数据集变得丰富，现代深度学习管道的力量增加，纯粹的数据驱动的方法越来越流行。深度神经网络（DNNS）使用通用体系结构，这些架构学会从数据中运行，并表现出出色的性能，尤其是针对受监督的问题。但是，DNN通常需要大量的数据和巨大的计算资源，从而限制了它们对某些信号处理方案的适用性。我们对将原则数学模型与数据驱动系统相结合的混合技术感兴趣，以从两种方法的优势中受益。这种基于模型的深度学习方法通​​过为特定问题设计的数学结构以及从有限的数据中学习来利用这两个部分领域知识。在本文中，我们调查了研究和设计基于模型的深度学习系统的领先方法。我们根据其推理机制将基于混合模型/数据驱动的系统分为类别。我们对以系统的方式将基于模型的算法与深度学习以及具体指南和详细的信号处理示例相结合的领先方法进行了全面综述。我们的目的是促进对未来系统的设计和研究信号处理和机器学习的交集，这些系统结合了两个领域的优势。

可以将监督学习视为将相关信息从输入数据中提取到特征表示形式。当监督嘈杂时，此过程变得困难，因为蒸馏信息可能无关紧要。实际上，最近的研究表明，网络可以轻松地过度贴合所有标签，包括损坏的标签，因此几乎无法概括以清洁数据集。在本文中，我们专注于使用嘈杂的标签学习的问题，并将压缩归纳偏置引入网络体系结构以减轻这种过度的问题。更确切地说，我们重新审视一个名为辍学的经典正则化及其变体嵌套辍学。辍学可以作为其功能删除机制的压缩约束，而嵌套辍学进一步学习有序的特征表示W.R.T.特征重要性。此外，具有压缩正则化的训练有素的模型与共同教学相结合，以提高性能。从理论上讲，我们在压缩正则化下对目标函数进行偏置变化分解。我们分析了单个模型和共同教学。该分解提供了三个见解：（i）表明过度合适确实是使用嘈杂标签学习的问题； （ii）通过信息瓶颈配方，它解释了为什么提出的特征压缩有助于对抗标签噪声； （iii）它通过将压缩正规化纳入共同教学而带来的性能提升提供了解释。实验表明，我们的简单方法比具有现实世界标签噪声（包括服装1M和Animal-10N）的基准测试标准的最先进方法具有可比性甚至更好的性能。我们的实施可在https://yingyichen-cyy.github.io/compressfatsfeatnoisylabels/上获得。

深度学习算法的最新进展为解决许多医学图像分析问题带来了重大好处。培训深度学习模型通常需要具有专家标记注释的大型数据集。但是，获取专家标记的注释不仅昂贵，而且主观，容易出错，并且观察者内部变异性会引入标签。由于解剖学的模棱两可，使用深度学习模型来细分医学图像时，这尤其是一个问题。基于图像的医学诊断工具使用经过不正确分段标签训练的深度学习模型可以导致错误的诊断和治疗建议。与单评论注释相比，多评价者注释可能更适合于使用小型培训集的深度学习模型进行训练。本文的目的是开发和评估一种基于MRI中病变特征的多评价者注释和解剖学知识来生成概率标签的方法，以及一种使用概率的标签使用归一化活动性损失作为A的病变特征的解剖学知识，以训练分割模型”。耐噪声损失的功能。通过将17个膝盖MRI扫描的二进制基础真理进行比较，以评估该模型，以用于临床分割和检测骨髓病变（BML）。该方法与二进制跨透镜损失函数相比，该方法成功提高了精度14，召回22和骰子得分8％。总体而言，这项工作的结果表明，使用软标签的拟议归一化主动损失成功地减轻了嘈杂标签的影响。

Large-scale supervised datasets are crucial to train convolutional neural networks (CNNs) for various computer vision problems. However, obtaining a massive amount of well-labeled data is usually very expensive and time consuming. In this paper, we introduce a general framework to train CNNs with only a limited number of clean labels and millions of easily obtained noisy labels. We model the relationships between images, class labels and label noises with a probabilistic graphical model and further integrate it into an end-to-end deep learning system. To demonstrate the effectiveness of our approach, we collect a large-scale real-world clothing classification dataset with both noisy and clean labels. Experiments on this dataset indicate that our approach can better correct the noisy labels and improves the performance of trained CNNs.

The performance of the Deep Learning (DL) models depends on the quality of labels. In some areas, the involvement of human annotators may lead to noise in the data. When these corrupted labels are blindly regarded as the ground truth (GT), DL models suffer from performance deficiency. This paper presents a method that aims to learn a confident model in the presence of noisy labels. This is done in conjunction with estimating the uncertainty of multiple annotators. We robustly estimate the predictions given only the noisy labels by adding entropy or information-based regularizer to the classifier network. We conduct our experiments on a noisy version of MNIST, CIFAR-10, and FMNIST datasets. Our empirical results demonstrate the robustness of our method as it outperforms or performs comparably to other state-of-the-art (SOTA) methods. In addition, we evaluated the proposed method on the curated dataset, where the noise type and level of various annotators depend on the input image style. We show that our approach performs well and is adept at learning annotators' confusion. Moreover, we demonstrate how our model is more confident in predicting GT than other baselines. Finally, we assess our approach for segmentation problem and showcase its effectiveness with experiments.

现实世界的面部表达识别（FER）数据集遭受吵闹的注释，由于众包，表达式的歧义，注释者的主观性和类间的相似性。但是，最近的深层网络具有强大的能力，可以记住嘈杂的注释导致腐蚀功能嵌入和泛化不良的能力。为了处理嘈杂的注释，我们提出了一个动态FER学习框架（DNFER），其中根据训练过程中的动态类特定阈值选择了干净的样品。具体而言，DNFER基于使用选定的干净样品和使用所有样品的无监督培训的监督培训。在训练过程中，每个微型批次的平均后类概率被用作动态类特异性阈值，以选择干净的样品进行监督训练。该阈值与噪声率无关，与其他方法不同，不需要任何干净的数据。此外，要从所有样品中学习，使用无监督的一致性损失对齐弱调节图像和强大图像之间的后验分布。我们证明了DNFER在合成和实际噪声注释的FER数据集（如RaFDB，Ferplus，Sfew和altimpnet）上的鲁棒性。

Point cloud segmentation is a fundamental task in 3D. Despite recent progress on point cloud segmentation with the power of deep networks, current learning methods based on the clean label assumptions may fail with noisy labels. Yet, class labels are often mislabeled at both instance-level and boundary-level in real-world datasets. In this work, we take the lead in solving the instance-level label noise by proposing a Point Noise-Adaptive Learning (PNAL) framework. Compared to noise-robust methods on image tasks, our framework is noise-rate blind, to cope with the spatially variant noise rate specific to point clouds. Specifically, we propose a point-wise confidence selection to obtain reliable labels from the historical predictions of each point. A cluster-wise label correction is proposed with a voting strategy to generate the best possible label by considering the neighbor correlations. To handle boundary-level label noise, we also propose a variant ``PNAL-boundary " with a progressive boundary label cleaning strategy. Extensive experiments demonstrate its effectiveness on both synthetic and real-world noisy datasets. Even with $60\%$ symmetric noise and high-level boundary noise, our framework significantly outperforms its baselines, and is comparable to the upper bound trained on completely clean data. Moreover, we cleaned the popular real-world dataset ScanNetV2 for rigorous experiment. Our code and data is available at https://github.com/pleaseconnectwifi/PNAL.

深度学习算法在非常高分辨率（VHR）图像的语义分割方面取得了巨大成功。然而，培训这些模型通常需要大量准确的像素注释，这非常费力且耗时。为了减轻注释负担，本文提出了一个一致性调节的区域生长网络（CRGNET），以实现具有点级注释的VHR图像的语义分割。 CRGNET的关键思想是迭代选择未标记的像素，具有很高的信心，可以从原始稀疏点扩展带注释的区域。但是，由于扩展的注释中可能存在一些错误和噪音，因此直接向它们学习可能会误导网络的培训。为此，我们进一步提出了一致性正则化策略，在该策略中，基本分类器和扩展的分类器被采用。具体而言，基本分类器受原始稀疏注释的监督，而扩展的分类器的目的是从基本分类器生成的扩展注释中学习具有区域生长机制。因此，通过最大程度地减少基础和扩展分类器的预测之间的差异来实现一致性正则化。我们发现如此简单的正则化策略对于控制区域生长机制的质量非常有用。在两个基准数据集上进行的广泛实验表明，所提出的CRGNET显着优于现有的最新方法。代码和预培训模型可在线获得（https://github.com/yonghaoxu/crgnet）。

基于深度学习的组织病理学图像分类是帮助医生提高癌症诊断的准确性和迅速性的关键技术。然而，在复杂的手动注释过程中，嘈杂的标签通常是不可避免的，因此误导了分类模型的培训。在这项工作中，我们介绍了一种用于组织病理学图像分类的新型硬样本感知噪声稳健学习方法。为了区分来自有害嘈杂的内容漏洞，我们通过使用样本培训历史来构建一个简单/硬/噪声（EHN）检测模型。然后，我们将EHN集成到自动训练架构中，通过逐渐校正降低噪声速率。通过获得的几乎干净的数据集，我们进一步提出了一种噪声抑制和硬增强（NSHE）方案来训练噪声鲁棒模型。与以前的作品相比，我们的方法可以节省更多清洁样本，并且可以直接应用于实际嘈杂的数据集场景，而无需使用清洁子集。实验结果表明，该方案在合成和现实世界嘈杂的数据集中优于当前最先进的方法。源代码和数据可在https://github.com/bupt-ai-cz/hsa-nrl/处获得。