由于难以收集详尽的多标签注释，因此多标签数据集通常包含部分标签。我们考虑了这个弱监督的学习问题的极端，称为单个积极的多标签学习（SPML），其中每个多标签训练图像只有一个正标签。传统上，所有未注释的标签都被认为是SPML中的负标签，它引入了假阴性标签，并导致模型训练被假定的负标签所支配。在这项工作中，我们选择从替代角度来对待所有未经注释的标签，即承认它们是未知的。因此，我们提出熵最大化（EM）损失，以达到提供适当监督信号的特殊梯度制度。此外，我们提出了采用不对称耐受性策略和自定进度程序的不对称伪标记（APL），以与EM损失合作，然后提供更精确的监督。实验表明，我们的方法可显着提高性能，并在所有四个基准测试中实现最先进的结果。代码可从https://github.com/correr-zhou/spml-acktheunknown获得。

在缺少标签（MLML）的情况下，多标签学习是一个具有挑战性的问题。现有方法主要关注网络结构或培训方案的设计，这提高了实现的复杂性。这项工作旨在满足MLML中的损失函数的潜力，而不增加程序和复杂性。为此，我们通过鲁棒损失设计提出了两种简单但有效的方法，基于观察到模型可以在高精度训练期间识别丢失的标签。首先是对底层的良好损失，即山损，重量底部以山的形状重量否定，以减轻虚假底片的效果。第二个是自定步损耗校正（SPLC）方法，其利用缺失标签的近似分布下的最大似然标准导出的丢失。在各种多标签图像分类数据集上的综合实验表明，我们的方法可以显着提高MLML的性能，并在MLML中实现新的最先进的损失函数。

多标签图像分类旨在预测图像中的所有可能标签。考虑到在每个培训图像中注释所有标签可能是昂贵的，通常将其作为部分标签的学习问题。关于部分标签学习的现有作品集中在每个训练图像只有其标签的子集注释的情况下。一种特殊情况是在每个训练图像中仅注释一个正标签。为了进一步减轻注释负担并增强了分类器的性能，本文提出了一个新的部分标签设置，其中仅标记了训练图像的一个子集，每个图像只有一个正面标签，而其余的培训图像仍保留未标记。为了处理这个新设置，我们建议一个端到端的深层网络PLMCL（部分标签动量课程学习），可以学会为部分标记和未标记的培训图像生成自信的伪标签。基于动量的新法律通过考虑更新伪标签的速度，更新每个训练图像上的软伪标签，这些标签的更新有助于避免捕获到低信心的本地最低限度，尤其是在培训的早期阶段，由于缺乏观察到的标签和培训的早期阶段对伪标签的信心。此外，我们还提出了一个信心的调度程序，以适应性地对不同标签进行易于锻炼的学习。广泛的实验表明，我们提出的PLMCL在三个不同数据集上的各个部分标签设置下优于许多最先进的多标签分类方法。

弱监督的多标签分类（WSML）任务是使用每个图像的部分观察标签学习多标签分类，由于其巨大的注释成本，它变得越来越重要。在这项工作中，我们首先将未观察到的标签视为负标签，将WSML任务投入到嘈杂的多标签分类中。从这个角度来看，我们从经验上观察到，在多标签环境中也出现了在嘈杂的多级环境中最初发现的记忆效应。也就是说，该模型首先了解清洁标签的表示，然后开始记住嘈杂的标签。基于这一发现，我们提出了WSML的新方法，该方法拒绝或纠正大型损失样品，以防止模型记住嘈杂的标签。如果没有沉重且复杂的组件，我们提出的方法在几种部分标签设置上的先前最先前的WSML方法（包括Pascal VOC 2012，Coco，MS Coco，Nuswide，Cub，Cub和OpenImimages V3数据集）都优于先前的最先前的WSML方法。各种分析还表明，我们的方法实际上效果很好，证实了在弱监督的多标签分类中正确处理大损失的问题。我们的代码可从https://github.com/snucml/largelossmatters获得。

我们提出了一种称为分配 - 均衡损失的新损失功能，用于展示长尾类分布的多标签识别问题。与传统的单标分类问题相比，由于两个重要问题，多标签识别问题通常更具挑战性，即标签的共同发生以及负标签的主导地位（当被视为多个二进制分类问题时）。分配 - 平衡损失通过对标准二进制交叉熵丢失的两个关键修改来解决这些问题：1）重新平衡考虑标签共发生造成的影响的重量的新方法，以及2）负耐受规则化以减轻负标签的过度抑制。 Pascal VOC和Coco的实验表明，使用这种新损失功能训练的模型可实现现有方法的显着性能。代码和型号可在：https://github.com/wutong16/distributionbalancedloss。

Partial label learning (PLL) is an important problem that allows each training example to be labeled with a coarse candidate set, which well suits many real-world data annotation scenarios with label ambiguity. Despite the promise, the performance of PLL often lags behind the supervised counterpart. In this work, we bridge the gap by addressing two key research challenges in PLL -- representation learning and label disambiguation -- in one coherent framework. Specifically, our proposed framework PiCO consists of a contrastive learning module along with a novel class prototype-based label disambiguation algorithm. PiCO produces closely aligned representations for examples from the same classes and facilitates label disambiguation. Theoretically, we show that these two components are mutually beneficial, and can be rigorously justified from an expectation-maximization (EM) algorithm perspective. Moreover, we study a challenging yet practical noisy partial label learning setup, where the ground-truth may not be included in the candidate set. To remedy this problem, we present an extension PiCO+ that performs distance-based clean sample selection and learns robust classifiers by a semi-supervised contrastive learning algorithm. Extensive experiments demonstrate that our proposed methods significantly outperform the current state-of-the-art approaches in standard and noisy PLL tasks and even achieve comparable results to fully supervised learning.

在本文中，我们研究了部分多标签（PML）图像分类问题，其中每个图像都用候选标签集注释，由多个相关标签和其他嘈杂标签组成。现有的PML方法通常会设计一种歧义策略来通过利用具有额外假设的先验知识来滤除嘈杂的标签，但不幸的是，这在许多实际任务中都无法使用。此外，由于歧义的目标函数通常是在整个训练集中精心设计的，因此在小型批次上使用SGD的深层模型中几乎无法优化它。在本文中，我们第一次提出了一个深层模型，以增强表示能力和歧视能力。一方面，我们提出了一种新型的基于课程的放弃策略，以通过融合不同类别的各种困难来逐步识别地面真相标签。另一方面，引入了一个一致性正规化，以供模型重新培训，以平衡拟合的易于标签并利用潜在的相关标签。对常用基准数据集的广泛实验结果表明，所提出的方法显着优于SOTA方法。

迄今为止，最强大的半监督对象检测器（SS-OD）基于伪盒，该盒子需要一系列带有微调超参数的后处理。在这项工作中，我们建议用稀疏的伪盒子以伪造的伪标签形式取代稀疏的伪盒。与伪盒相比，我们的密集伪标签（DPL）不涉及任何后处理方法，因此保留了更丰富的信息。我们还引入了一种区域选择技术，以突出关键信息，同时抑制密集标签所携带的噪声。我们将利用DPL作为密集老师的拟议的SS-OD算法命名。在可可和VOC上，密集的老师在各种环境下与基于伪盒的方法相比表现出卓越的表现。

弱监督对象检测（WSOD）旨在仅训练需要图像级注释的对象检测器。最近，一些作品设法选择了从训练有素的WSOD网络生成的准确框，以监督半监督的检测框架以提高性能。但是，这些方法只需根据图像级标准将设置的训练分为标记和未标记的集合，从而选择了足够的错误标记或错误的局部盒子预测作为伪基真正的真实性，从而产生了次优的检测性能解决方案。为了克服这个问题，我们提出了一个新颖的WSOD框架，其新范式从弱监督到嘈杂的监督（W2N）。通常，通过训练有素的WSOD网络产生的给定的伪基真实性，我们提出了一种两模块迭代训练算法来完善伪标签并逐步监督更好的对象探测器。在定位适应模块中，我们提出正规化损失，以减少原始伪基真实性中判别零件的比例，从而获得更好的伪基真实性，以进行进一步的训练。在半监督的模块中，我们提出了两个任务实例级拆分方法，以选择用于训练半监督检测器的高质量标签。不同基准测试的实验结果验证了W2N的有效性，我们的W2N优于所有现有的纯WSOD方法和转移学习方法。我们的代码可在https://github.com/1170300714/w2n_wsod上公开获得。

用于对象检测的注释边界框很昂贵，耗时且容易出错。在这项工作中，我们提出了一个基于DITR的框架，该框架旨在在部分注释的密集场景数据集中明确完成丢失的注释。这减少了注释场景中的每个对象实例，从而降低注释成本。完成DETR解码器中的对象查询，并使用图像中对象的补丁信息。结合匹配损失，它可以有效地找到与输入补丁相似的对象并完成丢失的注释。我们表明，我们的框架优于最先进的方法，例如软采样和公正的老师，同时可以与这些方法一起使用以进一步提高其性能。我们的框架对下游对象探测器的选择也不可知。我们显示了多个流行探测器的性能改进，例如在多个密集的场景数据集中更快的R-CNN，CASCADE R-CNN，CENTERNET2和可变形的DETR。

半监督学习旨在利用大量未标记的数据进行性能提升。现有工作主要关注图像分类。在本文中，我们深入了解对象检测的半监督学习，其中标记的数据更加劳动密集。目前的方法是由伪标签产生的嘈杂区域分散注意力。为了打击嘈杂的标签，我们通过量化区域不确定性提出抗噪声的半监督学习。我们首先调查与伪标签相关的不同形式的噪声带来的不利影响。然后，我们建议通过识别不同强度的区域的抗性特性来量化区域的不确定性。通过导入该地区不确定性量化和促进多跳概率分布输出，我们将不确定性引入训练和进一步实现抗噪声学习。 Pascal VOC和MS COCO两者的实验证明了我们的方法的特殊表现。

Unsupervised domain adaptation reduces the reliance on data annotation in deep learning by adapting knowledge from a source to a target domain. For privacy and efficiency concerns, source-free domain adaptation extends unsupervised domain adaptation by adapting a pre-trained source model to an unlabeled target domain without accessing the source data. However, most existing source-free domain adaptation methods to date focus on the transductive setting, where the target training set is also the testing set. In this paper, we address source-free domain adaptation in the more realistic inductive setting, where the target training and testing sets are mutually exclusive. We propose a new semi-supervised fine-tuning method named Dual Moving Average Pseudo-Labeling (DMAPL) for source-free inductive domain adaptation. We first split the unlabeled training set in the target domain into a pseudo-labeled confident subset and an unlabeled less-confident subset according to the prediction confidence scores from the pre-trained source model. Then we propose a soft-label moving-average updating strategy for the unlabeled subset based on a moving-average prototypical classifier, which gradually adapts the source model towards the target domain. Experiments show that our proposed method achieves state-of-the-art performance and outperforms previous methods by large margins.

尽管深神经网络的占优势性能，但最近的作品表明它们校准不佳，导致过度自信的预测。由于培训期间的跨熵最小化，因此可以通过过度化来加剧错误烫伤，因为它促进了预测的Softmax概率来匹配单热标签分配。这产生了正确的类别的Pre-SoftMax激活，该类别明显大于剩余的激活。来自文献的最近证据表明，损失函数嵌入隐含或明确最大化的预测熵会产生最先进的校准性能。我们提供了当前最先进的校准损耗的统一约束优化视角。具体地，这些损失可以被视为在Logit距离上施加平等约束的线性惩罚（或拉格朗日）的近似值。这指出了这种潜在的平等约束的一个重要限制，其随后的梯度不断推动非信息解决方案，这可能会阻止在基于梯度的优化期间模型的辨别性能和校准之间的最佳妥协。在我们的观察之后，我们提出了一种基于不平等约束的简单灵活的泛化，这在Logit距离上强加了可控裕度。关于各种图像分类，语义分割和NLP基准的综合实验表明，我们的方法在网络校准方面对这些任务设置了新的最先进的结果，而不会影响辨别性能。代码可在https://github.com/by-liu/mbls上获得。

半监督的对象检测在平均教师驱动的自我训练的发展中取得了重大进展。尽管结果有令人鼓舞，但在先前的工作中尚未完全探索标签不匹配问题，从而导致自训练期间严重确认偏见。在本文中，我们从两个不同但互补的角度（即分布级别和实例级别）提出了一个简单而有效的标签框架。对于前者，根据Monte Carlo采样，可以合理地近似来自标记数据的未标记数据的类分布。在这种弱监督提示的指导下，我们引入了一个重新分配卑鄙的老师，该老师利用自适应标签 - 分布意识到的信心阈值来生成无偏见的伪标签来推动学生学习。对于后一个，存在着跨教师模型的被忽视的标签分配歧义问题。为了解决这个问题，我们提出了一种新的标签分配机制，用于自我训练框架，即提案自我分配，该机制将学生的建议注入教师，并生成准确的伪标签，以相应地匹配学生模型中的每个建议。 MS-Coco和Pascal-VOC数据集的实验证明了我们提出的框架与其他最先进的框架相当优越。代码将在https://github.com/hikvision-research/ssod上找到。

遥感（RS）图像的多标签分类（MLC）精确方法的开发是RS中最重要的研究主题之一。为了解决MLC问题，发现需要大量可靠的可靠训练图像，该图像由多个土地覆盖级标签（多标签）注释，这些培训图像在Rs中很受欢迎。但是，收集这种注释是耗时且昂贵的。以零标签成本获得注释的常见程序是依靠主题产品或众包标签。作为缺点，这些过程具有标签噪声的风险，可能会扭曲MLC算法的学习过程。在文献中，大多数标签噪声鲁棒方法都是针对计算机视觉（CV）中单标签分类（SLC）问题设计的，其中每个图像都由单个标签注释。与SLC不同，MLC中的标签噪声可以与：1）减去标签 - 噪声（在图像中存在该类时，未分配土地覆盖类标签为图像）； 2）添加标签噪声（尽管该类不存在在给定图像中，但将土地覆盖类标签分配给图像）； 3）混合标签 - 噪声（两者的组合）。在本文中，我们研究了三种不同的噪声鲁棒CV SLC方法，并将其适应为RS的多标签噪声场景。在实验过程中，我们研究了不同类型的多标签噪声的影响，并严格评估了适用的方法。为此，我们还引入了一种合成的多标签噪声注入策略，该策略与统一标签噪声注入策略相比，该策略更适合模拟操作场景，在该策略中，缺少和当前类的标签以均匀的概率上翻转。此外，我们研究了噪声多标签下不同评估指标在MLC问题中的相关性。

我们提出了一个新颖的半监督学习框架，该框架巧妙地利用了模型的预测，从两个强烈的图像观点中的预测之间的一致性正则化，并由伪标签的信心加权，称为conmatch。虽然最新的半监督学习方法使用图像的弱和强烈的观点来定义方向的一致性损失，但如何为两个强大的观点之间的一致性定义定义这种方向仍然没有探索。为了解决这个问题，我们通过弱小的观点作为非参数和参数方法中的锚点来提出从强大的观点中对伪标签的新颖置信度度量。特别是，在参数方法中，我们首次介绍了伪标签在网络中的信心，该网络的信心是以端到端方式通过骨干模型学习的。此外，我们还提出了阶段训练，以提高培训的融合。当纳入现有的半监督学习者中时，并始终提高表现。我们进行实验，以证明我们对最新方法的有效性并提供广泛的消融研究。代码已在https://github.com/jiwoncocoder/conmatch上公开提供。

The core issue in semi-supervised learning (SSL) lies in how to effectively leverage unlabeled data, whereas most existing methods tend to put a great emphasis on the utilization of high-confidence samples yet seldom fully explore the usage of low-confidence samples. In this paper, we aim to utilize low-confidence samples in a novel way with our proposed mutex-based consistency regularization, namely MutexMatch. Specifically, the high-confidence samples are required to exactly predict "what it is" by conventional True-Positive Classifier, while the low-confidence samples are employed to achieve a simpler goal -- to predict with ease "what it is not" by True-Negative Classifier. In this sense, we not only mitigate the pseudo-labeling errors but also make full use of the low-confidence unlabeled data by consistency of dissimilarity degree. MutexMatch achieves superior performance on multiple benchmark datasets, i.e., CIFAR-10, CIFAR-100, SVHN, STL-10, mini-ImageNet and Tiny-ImageNet. More importantly, our method further shows superiority when the amount of labeled data is scarce, e.g., 92.23% accuracy with only 20 labeled data on CIFAR-10. Our code and model weights have been released at https://github.com/NJUyued/MutexMatch4SSL.

遥感（RS）图像的多标签分类（MLC）的准确方法的开发是RS中最重要的研究主题之一。基于深度卷积神经网络（CNNS）的方法显示了RS MLC问题的强劲性能。然而，基于CNN的方法通常需要多个陆地覆盖类标签注释的大量可靠的训练图像。收集这些数据是耗时和昂贵的。为了解决这个问题，可包括嘈杂标签的公开专题产品可用于向RS零标记成本注释RS图像。但是，多标签噪声（可能与错误且缺少标签注释相关）可以扭曲MLC算法的学习过程。标签噪声的检测和校正是具有挑战性的任务，尤其是在多标签场景中，其中每个图像可以与多于一个标签相关联。为了解决这个问题，我们提出了一种新的噪声稳健协作多标签学习（RCML）方法，以减轻CNN模型训练期间多标签噪声的不利影响。 RCML在基于三个主模块的RS图像中识别，排名和排除噪声多标签：1）差异模块; 2）组套索模块; 3）交换模块。差异模块确保两个网络了解不同的功能，同时产生相同的预测。组套索模块的任务是检测分配给多标记训练图像的潜在嘈杂的标签，而交换模块任务致力于在两个网络之间交换排名信息。与现有的方法不同，我们提出了关于噪声分布的假设，我们所提出的RCML不会在训练集中的噪声类型之前进行任何先前的假设。我们的代码在线公开提供：http：//www.noisy-labels-in-rs.org

Jitendra Malik once said, "Supervision is the opium of the AI researcher". Most deep learning techniques heavily rely on extreme amounts of human labels to work effectively. In today's world, the rate of data creation greatly surpasses the rate of data annotation. Full reliance on human annotations is just a temporary means to solve current closed problems in AI. In reality, only a tiny fraction of data is annotated. Annotation Efficient Learning (AEL) is a study of algorithms to train models effectively with fewer annotations. To thrive in AEL environments, we need deep learning techniques that rely less on manual annotations (e.g., image, bounding-box, and per-pixel labels), but learn useful information from unlabeled data. In this thesis, we explore five different techniques for handling AEL.

尽管半监督学习（SSL）的最新研究已经在单标签分类问题上取得了强劲的表现，但同样重要但毫无疑问的问题是如何利用多标签分类任务中未标记数据的优势。为了将SSL的成功扩展到多标签分类，我们首先使用说明性示例进行分析，以获得有关多标签分类中存在的额外挑战的一些直觉。基于分析，我们提出了一个基于百分比的阈值调整方案的百分位摩擦，以动态地改变训练期间每个类别的正和负伪标签的得分阈值，以及动态的未标记失误权重，从而进一步降低了从早期未标记的预测。与最近的SSL方法相比，在不丧失简单性的情况下，我们在Pascal VOC2007和MS-Coco数据集上实现了强劲的性能。