常规的去命名方法依赖于所有样品都是独立且分布相同的假设，因此最终的分类器虽然受到噪声的干扰，但仍然可以轻松地将噪声识别为训练分布的异常值。但是，在不可避免地长尾巴的大规模数据中，该假设是不现实的。这种不平衡的训练数据使分类器对尾巴类别的歧视性较小，而尾巴类别的差异化现在变成了“硬”的噪声 - 它们几乎与干净的尾巴样品一样离群值。我们将这一新挑战介绍为嘈杂的长尾分类（NLT）。毫不奇怪，我们发现大多数拖延方法无法识别出硬噪声，从而导致三个提出的NLT基准测试的性能大幅下降：Imagenet-NLT，Animal10-NLT和Food101-NLT。为此，我们设计了一个迭代嘈杂的学习框架，称为“难以容易”（H2E）。我们的引导理念是首先学习一个分类器作为噪声标识符不变的类和上下文分布变化，从而将“硬”噪声减少到“ Easy”的噪声，其删除进一步改善了不变性。实验结果表明，我们的H2E胜过最先进的方法及其在长尾设置上的消融，同时在传统平衡设置上保持稳定的性能。数据集和代码可从https://github.com/yxymessi/h2e-framework获得

现有的长尾分类（LT）方法仅着眼于解决阶级的失衡，即头部类别的样本多于尾巴类，但忽略了属性的不平衡。实际上，即使班级平衡，由于各种属性，每个类中的样本仍然可能会长时间尾。请注意，后者在根本上比前者更加普遍和具有挑战性，因为属性不仅是大多数数据集的隐含，而且在组合上也具有复杂性，因此平衡的昂贵。因此，我们引入了一个新的研究问题：广义的长尾分类（GLT），共同考虑两种失衡。通过“广义”，我们的意思是，GLT方法自然应该解决传统的LT，但反之亦然。毫不奇怪，我们发现大多数class LT方法在我们提出的两个基准中退化：Imagenet-GLT和Mscoco-GLT。我们认为这是因为他们过分强调了班级分布的调整，同时忽略了学习属性不变的功能。为此，我们提出了一种不变特征学习（IFL）方法，作为GLT的第一个强基线。 IFL首先从不完美的预测中发现具有不同类内分布的环境，然后在其中学习不变的功能。有希望的是，作为改进的功能主链，IFL提高了所有LT阵容：一个/两阶段的重新平衡，增强和合奏。代码和基准可在GitHub上获得：https：//github.com/kaihuatang/generalized-long-tailed-benchmarks.pytorch

应付嘈杂标签的大多数现有方法通常假定类别分布良好，因此无法应对训练样本不平衡分布的实际情况的能力不足。为此，本文尽早努力通过长尾分配和标签噪声来解决图像分类任务。在这种情况下，现有的噪声学习方法无法正常工作，因为将噪声样本与干净的尾巴类别的样本区分开来是具有挑战性的。为了解决这个问题，我们提出了一个新的学习范式，基于对弱数据和强数据扩展的推论，以筛选嘈杂的样本，并引入休假散布的正则化，以消除公认的嘈杂样本的效果。此外，我们基于在线先验分布中纳入了一种新颖的预测惩罚，以避免对头等阶层的偏见。与现有的长尾分类方法相比，这种机制在实时捕获班级拟合度方面具有优越性。详尽的实验表明，所提出的方法优于解决噪声标签下长尾分类中分布不平衡问题的最先进算法。

现实世界数据普遍面对严重的类别 - 不平衡问题，并且展示了长尾分布，即，大多数标签与有限的情况有关。由此类数据集监督的NA \“IVE模型更愿意占主导地位标签，遇到严重的普遍化挑战并变得不佳。我们从先前的角度提出了两种新的方法，以减轻这种困境。首先，我们推导了一个以平衡为导向的数据增强命名均匀的混合物（Unimix）促进长尾情景中的混合，采用先进的混合因子和采样器，支持少数民族。第二，受贝叶斯理论的动机，我们弄清了贝叶斯偏见（北美），是由此引起的固有偏见先前的不一致，并将其补偿为对标准交叉熵损失的修改。我们进一步证明了所提出的方法理论上和经验地确保分类校准。广泛的实验验证我们的策略是否有助于更好校准的模型，以及他们的策略组合在CIFAR-LT，ImageNet-LT和Inattations 2018上实现最先进的性能。

深度学习在大量大数据的帮助下取得了众多域中的显着成功。然而，由于许多真实情景中缺乏高质量标签，数据标签的质量是一个问题。由于嘈杂的标签严重降低了深度神经网络的泛化表现，从嘈杂的标签（强大的培训）学习是在现代深度学习应用中成为一项重要任务。在本调查中，我们首先从监督的学习角度描述了与标签噪声学习的问题。接下来，我们提供62项最先进的培训方法的全面审查，所有这些培训方法都按照其方法论差异分为五个群体，其次是用于评估其优越性的六种性质的系统比较。随后，我们对噪声速率估计进行深入分析，并总结了通常使用的评估方法，包括公共噪声数据集和评估度量。最后，我们提出了几个有前途的研究方向，可以作为未来研究的指导。所有内容将在https://github.com/songhwanjun/awesome-noisy-labels提供。

类别不平衡数据的问题在于，由于少数类别的数据缺乏数据，分类器的泛化性能劣化。在本文中，我们提出了一种新的少数民族过度采样方法，通过利用大多数类作为背景图像的丰富背景来增加多元化的少数民族样本。为了使少数民族样本多样化，我们的主要思想是将前景补丁从少数级别粘贴到来自具有富裕环境的多数类的背景图像。我们的方法很简单，可以轻松地与现有的长尾识别方法结合。我们通过广泛的实验和消融研究证明了提出的过采样方法的有效性。如果没有任何架构更改或复杂的算法，我们的方法在各种长尾分类基准上实现了最先进的性能。我们的代码将在链接上公开提供。

The real-world data tends to be heavily imbalanced and severely skew the data-driven deep neural networks, which makes Long-Tailed Recognition (LTR) a massive challenging task. Existing LTR methods seldom train Vision Transformers (ViTs) with Long-Tailed (LT) data, while the off-the-shelf pretrain weight of ViTs always leads to unfair comparisons. In this paper, we systematically investigate the ViTs' performance in LTR and propose LiVT to train ViTs from scratch only with LT data. With the observation that ViTs suffer more severe LTR problems, we conduct Masked Generative Pretraining (MGP) to learn generalized features. With ample and solid evidence, we show that MGP is more robust than supervised manners. In addition, Binary Cross Entropy (BCE) loss, which shows conspicuous performance with ViTs, encounters predicaments in LTR. We further propose the balanced BCE to ameliorate it with strong theoretical groundings. Specially, we derive the unbiased extension of Sigmoid and compensate extra logit margins to deploy it. Our Bal-BCE contributes to the quick convergence of ViTs in just a few epochs. Extensive experiments demonstrate that with MGP and Bal-BCE, LiVT successfully trains ViTs well without any additional data and outperforms comparable state-of-the-art methods significantly, e.g., our ViT-B achieves 81.0% Top-1 accuracy in iNaturalist 2018 without bells and whistles. Code is available at https://github.com/XuZhengzhuo/LiVT.

分布式概括（OOD）都是关于对环境变化的学习不变性。如果每个类中的上下文分布均匀分布，则OOD将是微不足道的，因为由于基本原则，可以轻松地删除上下文：类是上下文不变的。但是，收集这种平衡的数据集是不切实际的。学习不平衡的数据使模型偏见对上下文，从而伤害了OOD。因此，OOD的关键是上下文平衡。我们认为，在先前工作中广泛采用的假设，可以直接从偏见的类预测中注释或估算上下文偏差，从而使上下文不完整甚至不正确。相比之下，我们指出了上述原则的另一面：上下文对于类也不变，这激励我们将类（已经被标记为已标记的）视为不同环境以解决上下文偏见（没有上下文标签）。我们通过最大程度地减少阶级样本相似性的对比损失，同时确保这种相似性在所有类别中不变，从而实现这一想法。在具有各种上下文偏见和域间隙的基准测试中，我们表明，配备了我们上下文估计的简单基于重新加权的分类器实现了最新的性能。我们在https://github.com/simpleshinobu/irmcon上提供了附录中的理论理由和代码。

少数族裔类的数据增强是长尾识别的有效策略，因此开发了大量方法。尽管这些方法都确保了样本数量的平衡，但是增强样品的质量并不总是令人满意的，识别且容易出现过度拟合，缺乏多样性，语义漂移等问题。对于这些问题，我们建议班级感知的大学启发了重新平衡学习（CAUIRR），以进行长尾识别，这使Universum具有班级感知的能力，可以从样本数量和质量中重新平衡个人少数族裔。特别是，我们从理论上证明，凯尔学到的分类器与从贝叶斯的角度从平衡状态下学到的那些人一致。此外，我们进一步开发了一种高阶混合方法，该方法可以自动生成类感知的Universum（CAU）数据，而无需诉诸任何外部数据。与传统的大学不同，此类产生的全球还考虑了域的相似性，阶级可分离性和样本多样性。基准数据集的广泛实验证明了我们方法的令人惊讶的优势，尤其是与最先进的方法相比，少数族裔类别的TOP1准确性提高了1.9％6％。

The long-tail distribution of the visual world poses great challenges for deep learning based classification models on how to handle the class imbalance problem. Existing solutions usually involve class-balancing strategies, e.g. by loss re-weighting, data re-sampling, or transfer learning from head-to tail-classes, but most of them adhere to the scheme of jointly learning representations and classifiers. In this work, we decouple the learning procedure into representation learning and classification, and systematically explore how different balancing strategies affect them for long-tailed recognition. The findings are surprising: (1) data imbalance might not be an issue in learning high-quality representations; (2) with representations learned with the simplest instance-balanced (natural) sampling, it is also possible to achieve strong long-tailed recognition ability by adjusting only the classifier. We conduct extensive experiments and set new state-of-the-art performance on common long-tailed benchmarks like ImageNet-LT, Places-LT and iNaturalist, showing that it is possible to outperform carefully designed losses, sampling strategies, even complex modules with memory, by using a straightforward approach that decouples representation and classification. Our code is available at https://github.com/facebookresearch/classifier-balancing.

人们对从长尾班级分布中学习的具有挑战性的视觉感知任务越来越兴趣。训练数据集中的极端类失衡使模型偏向于识别多数级数据而不是少数级数据。最近，已经提出了两个分支网络的双分支网络（DBN）框架。传统的分支和重新平衡分支用于提高长尾视觉识别的准确性。重新平衡分支使用反向采样器来生成类平衡的训练样本，以减轻由于类不平衡而减轻偏见。尽管该策略在处理偏见方面非常成功，但使用反向采样器进行培训可以降低表示形式的学习绩效。为了减轻这个问题，常规方法使用了精心设计的累积学习策略，在整个培训阶段，重新平衡分支的影响逐渐增加。在这项研究中，我们旨在开发一种简单而有效的方法，以不需要优化的累积学习而在不累积学习的情况下提高DBN的性能。我们设计了一种称为双边混合增强的简单数据增强方法，该方法将统一采样器中的一个样品与反向采样器中的另一个样品结合在一起，以产生训练样本。此外，我们介绍了阶级条件的温度缩放，从而减轻对拟议的DBN结构的多数级别的偏见。我们对广泛使用的长尾视觉识别数据集进行的实验表明，双边混合增加在改善DBN的表示性能方面非常有效，并且所提出的方法可以实现某些类别的先进绩效。

当训练数据集患有极端阶级失衡时，深度神经网络通常会表现不佳。最近的研究发现，以半监督的方式直接使用分布外数据（即开放式样本）培训将损害概括性能。在这项工作中，我们从理论上表明，从贝叶斯的角度来看，仍然可以利用分发数据来扩大少数群体。基于这种动机，我们提出了一种称为开放采样的新方法，该方法利用开放式嘈杂标签重新平衡培训数据集的班级先验。对于每个开放式实例，标签是​​从我们的预定义分布中取样的，该分布互补，与原始类先验的分布互补。我们从经验上表明，开放采样不仅可以重新平衡阶级先验，还鼓励神经网络学习可分离的表示。广泛的实验表明，我们提出的方法显着优于现有数据重新平衡方法，并可以提高现有最新方法的性能。

Our work focuses on tackling the challenging but natural visual recognition task of long-tailed data distribution (i.e., a few classes occupy most of the data, while most classes have rarely few samples). In the literature, class re-balancing strategies (e.g., re-weighting and re-sampling) are the prominent and effective methods proposed to alleviate the extreme imbalance for dealing with long-tailed problems. In this paper, we firstly discover that these rebalancing methods achieving satisfactory recognition accuracy owe to that they could significantly promote the classifier learning of deep networks. However, at the same time, they will unexpectedly damage the representative ability of the learned deep features to some extent. Therefore, we propose a unified Bilateral-Branch Network (BBN) to take care of both representation learning and classifier learning simultaneously, where each branch does perform its own duty separately. In particular, our BBN model is further equipped with a novel cumulative learning strategy, which is designed to first learn the universal patterns and then pay attention to the tail data gradually. Extensive experiments on four benchmark datasets, including the large-scale iNaturalist ones, justify that the proposed BBN can significantly outperform state-of-the-art methods. Furthermore, validation experiments can demonstrate both our preliminary discovery and effectiveness of tailored designs in BBN for long-tailed problems. Our method won the first place in the iNaturalist 2019 large scale species classification competition, and our code is open-source and available at https://github.com/Megvii-Nanjing/BBN . * Q. Cui and Z.-M. Chen's contribution was made when they were interns in Megvii Research Nanjing, Megvii Technology, China. X.

尽管对神经网络进行了监督学习的巨大进展，但在获得高质量，大规模和准确标记的数据集中存在重大挑战。在这种情况下，在本文中，我们在存在标签噪声的情况下解决分类问题，更具体地，既有闭合和开放式标签噪声，就是样本的真实标签或可能不属于时给定标签的集合。在我们的方法中，方法是一种样本选择机制，其依赖于样本的注释标签与其邻域中标签的分布之间的一致性;依赖于分类器跨后续迭代的置信机制的依赖标签机制;以及培训编码器的培训策略，同时通过单独的选择样本上的跨熵丢失和分类器编码器培训。没有钟声和口哨，如共同训练，以便减少自我确认偏差，并且对其少数超参数的环境具有鲁棒性，我们的方法显着超越了与人工噪声和真实的CIFAR10 / CIFAR100上的先前方法-world噪声数据集如webvision和动物-10n。

现实世界数据通常存在长尾分布。对不平衡数据的培训倾向于呈现神经网络在头部上表现良好，而尾部课程则更加差。尾班的培训实例的严重稀疏性是主要挑战，这导致培训期间的偏见分配估计。丰富的努力已经致力于改善挑战，包括数据重新采样和综合尾班的新培训实例。然而，没有先前的研究已经利用了从头课程转移到尾班的可转让知识，以校准尾舱的分布。在本文中，我们假设可以通过类似的头部级别来丰富尾部类，并提出一种名为标签感知分布校准Ladc的新型分布校准方法。 Ladc从相关的头部课程转移统计数据以推断尾部课程的分布。从校准分布的采样进一步促进重新平衡分类器。图像和文本的实验和文本长尾数据集表明，LADC显着优于现有方法。可视化还显示LADC提供更准确的分布估计。

不平衡的数据对基于深度学习的分类模型构成挑战。解决不平衡数据的最广泛使用的方法之一是重新加权，其中训练样本与损失功能的不同权重相关。大多数现有的重新加权方法都将示例权重视为可学习的参数，并优化了元集中的权重，因此需要昂贵的双重优化。在本文中，我们从分布的角度提出了一种基于最佳运输（OT）的新型重新加权方法。具体而言，我们将训练集视为其样品上的不平衡分布，该分布由OT运输到从元集中获得的平衡分布。训练样品的权重是分布不平衡的概率质量，并通过最大程度地减少两个分布之间的ot距离来学习。与现有方法相比，我们提出的一种方法可以脱离每次迭代时的体重学习对相关分类器的依赖性。图像，文本和点云数据集的实验表明，我们提出的重新加权方法具有出色的性能，在许多情况下实现了最新的结果，并提供了一种有希望的工具来解决不平衡的分类问题。

自我监督的学习在表示视觉和文本数据的表示方面取得了巨大的成功。但是，当前的方法主要在经过良好策划的数据集中验证，这些数据集未显示现实世界的长尾分布。在损失的角度或模型观点中，重新平衡的重新平衡是为了考虑自我监督的长尾学习的最新尝试，类似于被监督的长尾学习中的范式。然而，没有标签的帮助，由于尾巴样品发现或启发式结构设计的限制，这些探索并未显示出预期的明显希望。与以前的作品不同，我们从替代角度（即数据角度）探索了这个方向，并提出了一种新颖的增强对比度学习（BCL）方法。具体而言，BCL利用深神经网络的记忆效果自动推动对比度学习中样本视图的信息差异，这更有效地增强了标签 - unaware环境中的长尾学习。对一系列基准数据集进行的广泛实验证明了BCL对几种最新方法的有效性。我们的代码可在https://github.com/mediabrain-sjtu/bcl上找到。

深度神经网络通常使用遇到数量不平衡和分类难度不平衡问题的数据集的性能很差。尽管在该领域取得了进展，但现有的两阶段方法中仍然存在数据集偏差或域转移问题。因此，提出了一个分阶段的渐进学习时间表，从而提出了从表示学习到上层分类器培训的平稳转移。这对严重失衡或较小尺度的数据集具有更大的有效性。设计了耦合 - 调节损失损失函数，耦合校正项，局灶性损失和LDAM损失。损失可以更好地处理数量不平衡和异常值，同时调节具有不同分类困难的样本的注意力重点。这些方法在多个基准数据集上取得了令人满意的结果，包括不平衡的CIFAR10，不平衡的CIFAR100，Imagenet-LT和Inaturalist 2018，并且还可以轻松地将其用于其他不平衡分类模型。

我们在现有的长尾分类方法中解决了被忽视的无偏见：我们发现它们的整体改善主要归因于尾部过度的偏置偏好，因为假设测试分配是平衡的;但是，当测试与长尾训练数据一样不平衡 - 让测试尊重ZIPF的自然定律 - 尾巴偏差不再有益，因为它伤害了大多数人。在本文中，我们提出了跨域经验风险最小化（XIM）来训练一个非偏见模型，以实现对两个测试分布的强大性能，经验证明Xerm通过学习更好的特征表示而不是头部与头部来改善分类。游戏。基于因果关系，我们进一步理论上解释了Xerm实现了非偏见的原因：通过调整不平衡域和平衡但不合形的结构域的经验风险来消除由域选择引起的偏差。代码可在https://github.com/beierzhu/xerm获得。

在嘈杂标记的数据上进行强大的学习是实际应用中的重要任务，因为标签噪声直接导致深度学习模型的概括不良。现有的标签噪声学习方法通​​常假定培训数据的基础类别是平衡的。但是，现实世界中的数据通常是不平衡的，导致观察到的与标签噪声引起的固有类别分布之间的不一致。分布不一致使标签 - 噪声学习的问题更具挑战性，因为很难将干净的样本与内在尾巴类别的嘈杂样本区分开来。在本文中，我们提出了一个学习框架，用于使用内在长尾数据进行标签 - 噪声学习。具体而言，我们提出了一种称为两阶段双维样品选择（TBS）的可靠样品选择方法，以更好地与嘈杂的样品分开清洁样品，尤其是对于尾巴类别。 TBSS由两个新的分离指标组成，以在每个类别中共同分开样本。对具有内在长尾巴分布的多个嘈杂标记的数据集进行了广泛的实验，证明了我们方法的有效性。