数据增强是使用深度学习来提高对象识别的识别精度的重要技术。从多个数据集中产生混合数据（例如混音）的方法可以获取未包含在培训数据中的新多样性，从而有助于改善准确性。但是，由于在整个训练过程中选择了选择用于混合的数据，因此在某些情况下未选择适当的类或数据。在这项研究中，我们提出了一种数据增强方法，该方法根据班级概率来计算类之间的距离，并可以从合适的类中选择数据以在培训过程中混合。根据每个班级的训练趋势，对混合数据进行动态调整，以促进培​​训。所提出的方法与常规方法结合使用，以生成混合数据。评估实验表明，提出的方法改善了对一般和长尾图像识别数据集的识别性能。

类别不平衡数据的问题在于，由于少数类别的数据缺乏数据，分类器的泛化性能劣化。在本文中，我们提出了一种新的少数民族过度采样方法，通过利用大多数类作为背景图像的丰富背景来增加多元化的少数民族样本。为了使少数民族样本多样化，我们的主要思想是将前景补丁从少数级别粘贴到来自具有富裕环境的多数类的背景图像。我们的方法很简单，可以轻松地与现有的长尾识别方法结合。我们通过广泛的实验和消融研究证明了提出的过采样方法的有效性。如果没有任何架构更改或复杂的算法，我们的方法在各种长尾分类基准上实现了最先进的性能。我们的代码将在链接上公开提供。

少数族裔类的数据增强是长尾识别的有效策略，因此开发了大量方法。尽管这些方法都确保了样本数量的平衡，但是增强样品的质量并不总是令人满意的，识别且容易出现过度拟合，缺乏多样性，语义漂移等问题。对于这些问题，我们建议班级感知的大学启发了重新平衡学习（CAUIRR），以进行长尾识别，这使Universum具有班级感知的能力，可以从样本数量和质量中重新平衡个人少数族裔。特别是，我们从理论上证明，凯尔学到的分类器与从贝叶斯的角度从平衡状态下学到的那些人一致。此外，我们进一步开发了一种高阶混合方法，该方法可以自动生成类感知的Universum（CAU）数据，而无需诉诸任何外部数据。与传统的大学不同，此类产生的全球还考虑了域的相似性，阶级可分离性和样本多样性。基准数据集的广泛实验证明了我们方法的令人惊讶的优势，尤其是与最先进的方法相比，少数族裔类别的TOP1准确性提高了1.9％6％。

现实世界数据普遍面对严重的类别 - 不平衡问题，并且展示了长尾分布，即，大多数标签与有限的情况有关。由此类数据集监督的NA \“IVE模型更愿意占主导地位标签，遇到严重的普遍化挑战并变得不佳。我们从先前的角度提出了两种新的方法，以减轻这种困境。首先，我们推导了一个以平衡为导向的数据增强命名均匀的混合物（Unimix）促进长尾情景中的混合，采用先进的混合因子和采样器，支持少数民族。第二，受贝叶斯理论的动机，我们弄清了贝叶斯偏见（北美），是由此引起的固有偏见先前的不一致，并将其补偿为对标准交叉熵损失的修改。我们进一步证明了所提出的方法理论上和经验地确保分类校准。广泛的实验验证我们的策略是否有助于更好校准的模型，以及他们的策略组合在CIFAR-LT，ImageNet-LT和Inattations 2018上实现最先进的性能。

人们对从长尾班级分布中学习的具有挑战性的视觉感知任务越来越兴趣。训练数据集中的极端类失衡使模型偏向于识别多数级数据而不是少数级数据。最近，已经提出了两个分支网络的双分支网络（DBN）框架。传统的分支和重新平衡分支用于提高长尾视觉识别的准确性。重新平衡分支使用反向采样器来生成类平衡的训练样本，以减轻由于类不平衡而减轻偏见。尽管该策略在处理偏见方面非常成功，但使用反向采样器进行培训可以降低表示形式的学习绩效。为了减轻这个问题，常规方法使用了精心设计的累积学习策略，在整个培训阶段，重新平衡分支的影响逐渐增加。在这项研究中，我们旨在开发一种简单而有效的方法，以不需要优化的累积学习而在不累积学习的情况下提高DBN的性能。我们设计了一种称为双边混合增强的简单数据增强方法，该方法将统一采样器中的一个样品与反向采样器中的另一个样品结合在一起，以产生训练样本。此外，我们介绍了阶级条件的温度缩放，从而减轻对拟议的DBN结构的多数级别的偏见。我们对广泛使用的长尾视觉识别数据集进行的实验表明，双边混合增加在改善DBN的表示性能方面非常有效，并且所提出的方法可以实现某些类别的先进绩效。

在这项工作中，我们解决了长尾图像识别的具有挑战性的任务。以前的长尾识别方法通常集中于尾巴类别的数据增强或重新平衡策略，以在模型培训期间更加关注尾巴类。但是，由于尾巴类别的训练图像有限，尾部类图像的多样性仍受到限制，从而导致特征表现不佳。在这项工作中，我们假设头部和尾部类中的常见潜在特征可用于提供更好的功能表示。由此激励，我们引入了基于潜在类别的长尾识别（LCREG）方法。具体来说，我们建议学习一组在头和尾巴中共享的类不足的潜在特征。然后，我们通过将语义数据扩展应用于潜在特征，隐式地丰富了训练样本的多样性。对五个长尾图识别数据集进行的广泛实验表明，我们提出的LCREG能够显着超越先前的方法并实现最新结果。

深度神经网络通常使用遇到数量不平衡和分类难度不平衡问题的数据集的性能很差。尽管在该领域取得了进展，但现有的两阶段方法中仍然存在数据集偏差或域转移问题。因此，提出了一个分阶段的渐进学习时间表，从而提出了从表示学习到上层分类器培训的平稳转移。这对严重失衡或较小尺度的数据集具有更大的有效性。设计了耦合 - 调节损失损失函数，耦合校正项，局灶性损失和LDAM损失。损失可以更好地处理数量不平衡和异常值，同时调节具有不同分类困难的样本的注意力重点。这些方法在多个基准数据集上取得了令人满意的结果，包括不平衡的CIFAR10，不平衡的CIFAR100，Imagenet-LT和Inaturalist 2018，并且还可以轻松地将其用于其他不平衡分类模型。

Model bias triggered by long-tailed data has been widely studied. However, measure based on the number of samples cannot explicate three phenomena simultaneously: (1) Given enough data, the classification performance gain is marginal with additional samples. (2) Classification performance decays precipitously as the number of training samples decreases when there is insufficient data. (3) Model trained on sample-balanced datasets still has different biases for different classes. In this work, we define and quantify the semantic scale of classes, which is used to measure the feature diversity of classes. It is exciting to find experimentally that there is a marginal effect of semantic scale, which perfectly describes the first two phenomena. Further, the quantitative measurement of semantic scale imbalance is proposed, which can accurately reflect model bias on multiple datasets, even on sample-balanced data, revealing a novel perspective for the study of class imbalance. Due to the prevalence of semantic scale imbalance, we propose semantic-scale-balanced learning, including a general loss improvement scheme and a dynamic re-weighting training framework that overcomes the challenge of calculating semantic scales in real-time during iterations. Comprehensive experiments show that dynamic semantic-scale-balanced learning consistently enables the model to perform superiorly on large-scale long-tailed and non-long-tailed natural and medical datasets, which is a good starting point for mitigating the prevalent but unnoticed model bias.

与其他类别（称为少数族裔或尾巴类）相比，很少的类或类别（称为多数或头等类别的类别）具有更高的数据样本数量，在现实世界中，长尾数据集经常遇到。在此类数据集上培训深层神经网络会给质量级别带来偏见。到目前为止，研究人员提出了多种加权损失和数据重新采样技术，以减少偏见。但是，大多数此类技术都认为，尾巴类始终是最难学习的类，因此需要更多的重量或注意力。在这里，我们认为该假设可能并不总是成立的。因此，我们提出了一种新颖的方法，可以在模型的训练阶段动态测量每个类别的瞬时难度。此外，我们使用每个班级的难度度量来设计一种新型的加权损失技术，称为“基于阶级难度的加权（CDB-W）损失”和一种新型的数据采样技术，称为“基于类别难度的采样）（CDB-S ）'。为了验证CDB方法的广泛可用性，我们对多个任务进行了广泛的实验，例如图像分类，对象检测，实例分割和视频操作分类。结果验证了CDB-W损失和CDB-S可以在许多类似于现实世界中用例的类别不平衡数据集（例如Imagenet-LT，LVIS和EGTEA）上实现最先进的结果。

现有的长尾分类（LT）方法仅着眼于解决阶级的失衡，即头部类别的样本多于尾巴类，但忽略了属性的不平衡。实际上，即使班级平衡，由于各种属性，每个类中的样本仍然可能会长时间尾。请注意，后者在根本上比前者更加普遍和具有挑战性，因为属性不仅是大多数数据集的隐含，而且在组合上也具有复杂性，因此平衡的昂贵。因此，我们引入了一个新的研究问题：广义的长尾分类（GLT），共同考虑两种失衡。通过“广义”，我们的意思是，GLT方法自然应该解决传统的LT，但反之亦然。毫不奇怪，我们发现大多数class LT方法在我们提出的两个基准中退化：Imagenet-GLT和Mscoco-GLT。我们认为这是因为他们过分强调了班级分布的调整，同时忽略了学习属性不变的功能。为此，我们提出了一种不变特征学习（IFL）方法，作为GLT的第一个强基线。 IFL首先从不完美的预测中发现具有不同类内分布的环境，然后在其中学习不变的功能。有希望的是，作为改进的功能主链，IFL提高了所有LT阵容：一个/两阶段的重新平衡，增强和合奏。代码和基准可在GitHub上获得：https：//github.com/kaihuatang/generalized-long-tailed-benchmarks.pytorch

现实世界数据通常存在长尾分布。对不平衡数据的培训倾向于呈现神经网络在头部上表现良好，而尾部课程则更加差。尾班的培训实例的严重稀疏性是主要挑战，这导致培训期间的偏见分配估计。丰富的努力已经致力于改善挑战，包括数据重新采样和综合尾班的新培训实例。然而，没有先前的研究已经利用了从头课程转移到尾班的可转让知识，以校准尾舱的分布。在本文中，我们假设可以通过类似的头部级别来丰富尾部类，并提出一种名为标签感知分布校准Ladc的新型分布校准方法。 Ladc从相关的头部课程转移统计数据以推断尾部课程的分布。从校准分布的采样进一步促进重新平衡分类器。图像和文本的实验和文本长尾数据集表明，LADC显着优于现有方法。可视化还显示LADC提供更准确的分布估计。

长尾数据集的泛化差距主要是由于大多数类别仅占占用几个训练样本。解耦培训通过分别培训骨干和分类器来实现更好的性能。导致端到端模型培训的较差的性能（例如，基于Logits利润率的方法）？在这项工作中，我们确定影响分类器的学习的关键因素：在输入分类器之前，具有低熵的通道相关功能。从信息理论的角度来看，我们分析了为什么交叉熵损失倾向于在不平衡数据上产生高度相关的特征。此外，我们理论上的分析和证明对分类器权重的梯度，Hessian的条件数量的影响，以及基于利润率的方法的影响。因此，我们首先建议使用频道美白与去相关（“散点”）分类器的输入用于解耦的权重更新和重塑偏移决策边界，这使得令人满意的结果与基于Logits裕度的方法相结合。但是，当小类课程的数量大，批量不平衡和更多的参与训练导致主要类的过度拟合。我们还提出了两种新颖的模块，基于块的相对平衡的批量采样器（B3RS）和批量嵌入式培训（BET）来解决上述问题，这使得端到端的训练能够实现比解耦训练更好的性能。在长尾分类基准测试，CIFAR-LT和Imagenet-LT上的实验结果证明了我们方法的有效性。

The real-world data tends to be heavily imbalanced and severely skew the data-driven deep neural networks, which makes Long-Tailed Recognition (LTR) a massive challenging task. Existing LTR methods seldom train Vision Transformers (ViTs) with Long-Tailed (LT) data, while the off-the-shelf pretrain weight of ViTs always leads to unfair comparisons. In this paper, we systematically investigate the ViTs' performance in LTR and propose LiVT to train ViTs from scratch only with LT data. With the observation that ViTs suffer more severe LTR problems, we conduct Masked Generative Pretraining (MGP) to learn generalized features. With ample and solid evidence, we show that MGP is more robust than supervised manners. In addition, Binary Cross Entropy (BCE) loss, which shows conspicuous performance with ViTs, encounters predicaments in LTR. We further propose the balanced BCE to ameliorate it with strong theoretical groundings. Specially, we derive the unbiased extension of Sigmoid and compensate extra logit margins to deploy it. Our Bal-BCE contributes to the quick convergence of ViTs in just a few epochs. Extensive experiments demonstrate that with MGP and Bal-BCE, LiVT successfully trains ViTs well without any additional data and outperforms comparable state-of-the-art methods significantly, e.g., our ViT-B achieves 81.0% Top-1 accuracy in iNaturalist 2018 without bells and whistles. Code is available at https://github.com/XuZhengzhuo/LiVT.

大多数现有的最新视频分类方法假设训练数据遵守统一的分布。但是，现实世界中的视频数据通常会表现出不平衡的长尾巴分布，从而导致模型偏见对头等阶层，并且在尾巴上的性能相对较低。虽然当前的长尾分类方法通常集中在图像分类上，但将其调整到视频数据并不是微不足道的扩展。我们提出了一种端到端的多专家分布校准方法，以基于两级分布信息来应对这些挑战。该方法共同考虑了每个类别中样品的分布（类内部分布）和各种数据（类间分布）的总体分布，以解决在长尾分布下数据不平衡数据的问题。通过对两级分布信息进行建模，该模型可以共同考虑头等阶层和尾部类别，并将知识从头等阶层显着转移，以提高尾部类别的性能。广泛的实验验证了我们的方法是否在长尾视频分类任务上实现了最先进的性能。

随着数据量表的增长，由于跨类别的样本数量严重，深层识别模型通常会遭受长尾数据分布的困扰。实际上，现实世界中的数据通常在不同类别（例如鸽子和麻雀）之间表现出一定的相似性关系，在这项工作中称为类别相似性。当这些类似外观类似的类别之间发生不平衡时，这是双重困难的。但是，现有的解决方案主要集中于样本编号以重新平衡数据分布。在这项工作中，我们从统一的角度系统地研究了长尾问题的本质。具体而言，我们证明了长尾识别均受样本数和类别相似性的影响。直观地，使用玩具示例，我们首先表明样本号不是长尾识别的性能下降的独特影响因素。从理论上讲，我们证明（1）类别相似性作为不可避免的因素，也将通过相似的样本在长尾分布下的模型学习，（2）使用更多的判别性表示方法（例如，自我监督的学习），以减少相似性。 ，可以通过大大改善的性能进一步缓解分类器偏见。在几个长尾数据集上进行了广泛的实验，验证了我们的理论分析的合理性，并表明基于现有的最先进（SOTA），可以通过降低相似性进一步提高性能。我们的调查突出了长尾问题背后的本质，并为未来的工作提出了几个可行的方向。

许多现实世界的识别问题都有不平衡或长尾标签的分布。这些分布使表示形式学习更具挑战性，因为对尾巴类别的概括有限。如果测试分布与训练分布有所不同，例如统一与长尾，需要解决分配转移的问题。为此，最近的作品通过贝叶斯定理的启发，使用边缘修改扩展了SoftMax跨凝结。在本文中，我们通过专家的平衡产品（Balpoe）概括了几种方法，该方法结合了一个具有不同测试时间目标分布的模型家庭，以解决数据中的不平衡。拟议的专家在一个阶段进行培训，无论是共同还是独立的，并无缝融合到Balpoe中。我们表明，Balpoe是Fisher的一致性，可以最大程度地减少均衡误差并执行广泛的实验以验证我们的方法的有效性。最后，我们研究了在这种情况下混合的效果，发现正则化是学习校准专家的关键要素。我们的实验表明，正则化的BALPOE在测试准确性和校准指标上的表现非常出色，从而导致CIFAR-100-LT，Imagenet-LT和Inaturalist-2018数据集的最新结果。该代码将在纸质接受后公开提供。

Deep neural networks still struggle on long-tailed image datasets, and one of the reasons is that the imbalance of training data across categories leads to the imbalance of trained model parameters. Motivated by the empirical findings that trained classifiers yield larger weight norms in head classes, we propose to reformulate the recognition probabilities through included angles without re-balancing the classifier weights. Specifically, we calculate the angles between the data feature and the class-wise classifier weights to obtain angle-based prediction results. Inspired by the performance improvement of the predictive form reformulation and the outstanding performance of the widely used two-stage learning framework, we explore the different properties of this angular prediction and propose novel modules to improve the performance of different components in the framework. Our method is able to obtain the best performance among peer methods without pretraining on CIFAR10/100-LT and ImageNet-LT. Source code will be made publicly available.

长尾数据集（Head Class）组成的培训样本比尾巴类别多得多，这会导致识别模型对头等舱有偏见。加权损失是缓解此问题的最受欢迎的方法之一，最近的一项工作表明，班级难度可能比常规使用的类频率更好地决定了权重的分布。在先前的工作中使用了一种启发式公式来量化难度，但是我们从经验上发现，最佳公式取决于数据集的特征。因此，我们提出了困难网络，该难题学习在元学习框架中使用模型的性能来预测类的难度。为了使其在其他班级的背景下学习班级的合理难度，我们新介绍了两个关键概念，即相对难度和驾驶员损失。前者有助于困难网络在计算班级难度时考虑其他课程，而后者对于将学习指向有意义的方向是必不可少的。对流行的长尾数据集进行了广泛的实验证明了该方法的有效性，并且在多个长尾数据集上实现了最先进的性能。

深度神经网络在严重的类不平衡数据集上的表现不佳。鉴于对比度学习的有希望的表现，我们提出了重新平衡的暹罗对比度采矿（RESCOM）来应对不平衡的识别。基于数学分析和仿真结果，我们声称监督的对比学习在原始批次和暹罗批次水平上都遭受双重失衡问题，这比长尾分类学习更为严重。在本文中，在原始批处理水平上，我们引入了级别平衡的监督对比损失，以分配不同类别的自适应权重。在暹罗批次级别，我们提出了一个级别平衡的队列，该队列维持所有类的键相同。此外，我们注意到，相对于对比度逻辑的不平衡对比损失梯度可以将其分解为阳性和负面因素，易于阳性和易于负面因素将使对比度梯度消失。我们建议有监督的正面和负面对挖掘，以获取信息对的对比度计算并改善表示形式学习。最后，为了大致最大程度地提高两种观点之间的相互信息，我们提出了暹罗平衡的软性软件，并与一阶段训练的对比损失结合。广泛的实验表明，在多个长尾识别基准上，RESCON优于先前的方法。我们的代码和模型可公开可用：https：//github.com/dvlab-research/rescom。

混合方案表明混合一对样品以创造增强的训练样本，并最近获得了相当大的关注，以提高神经网络的普遍性。混合的简单和广泛使用的扩展是与区域辍学方法相结合：从样品中除去随机贴片并用另一个样品的特征替换。尽管它们的简单性和有效性，但这些方法易于由于它们的随机性而产生有害样品。为了解决这个问题，最近提出了“最大显着性”策略：只选择最具信息性的功能以防止这种现象。然而，他们现在缺乏样品多样化，因为它们总是确定具有最大显着性的区域，将偏置注入增强数据。在本文中，我们展示了一种新颖，简单的混合变体，捕获了两个世界的最佳变化。我们的想法是两倍。通过将特征的随机抽查和“将它们嫁接到另一个样本”，我们的方法有效地产生了多样化但有意义的样本。其第二种成分是通过以显着校准的方式混合标签来生产接枝样品的标签，这整流了随机抽样程序引入的监督误导。我们在CiFar，微小想象成和Imagenet数据集下的实验表明，我们的方案不仅在分类准确性方面优于当前的最先进的增强策略，但在数据损坏等压力条件下也是优越的对象遮挡。