现实世界数据通常存在长尾分布。对不平衡数据的培训倾向于呈现神经网络在头部上表现良好，而尾部课程则更加差。尾班的培训实例的严重稀疏性是主要挑战，这导致培训期间的偏见分配估计。丰富的努力已经致力于改善挑战，包括数据重新采样和综合尾班的新培训实例。然而，没有先前的研究已经利用了从头课程转移到尾班的可转让知识，以校准尾舱的分布。在本文中，我们假设可以通过类似的头部级别来丰富尾部类，并提出一种名为标签感知分布校准Ladc的新型分布校准方法。 Ladc从相关的头部课程转移统计数据以推断尾部课程的分布。从校准分布的采样进一步促进重新平衡分类器。图像和文本的实验和文本长尾数据集表明，LADC显着优于现有方法。可视化还显示LADC提供更准确的分布估计。

视觉识别任务中的长尾类分布对于如何处理头部和尾部类之间的偏置预测，即，模型倾向于将尾部类作为头部类进行分类。虽然现有的研究专注于数据重采采样和损失函数工程，但在本文中，我们采取了不同的视角：分类利润率。我们研究边距和注册之间的关系（分类得分）并经验遵守偏置边缘，并且偏置的Logits是正相关的。我们提出MARC，一个简单但有效的边缘校准函数，用于动态校准偏置边缘的偏置利润。我们通过对普通的长尾基准测试进行了广泛的实验，包括CIFAR-LT，Imagenet-LT，LT，以及不适物 - LT的广泛实验。实验结果表明，我们的MARC在这些基准上实现了有利的结果。此外，Marc只需三行代码即可实现。我们希望这种简单的方法能够激励人们重新思考偏置的边距和偏见的长尾视觉识别标识。

The long-tail distribution of the visual world poses great challenges for deep learning based classification models on how to handle the class imbalance problem. Existing solutions usually involve class-balancing strategies, e.g. by loss re-weighting, data re-sampling, or transfer learning from head-to tail-classes, but most of them adhere to the scheme of jointly learning representations and classifiers. In this work, we decouple the learning procedure into representation learning and classification, and systematically explore how different balancing strategies affect them for long-tailed recognition. The findings are surprising: (1) data imbalance might not be an issue in learning high-quality representations; (2) with representations learned with the simplest instance-balanced (natural) sampling, it is also possible to achieve strong long-tailed recognition ability by adjusting only the classifier. We conduct extensive experiments and set new state-of-the-art performance on common long-tailed benchmarks like ImageNet-LT, Places-LT and iNaturalist, showing that it is possible to outperform carefully designed losses, sampling strategies, even complex modules with memory, by using a straightforward approach that decouples representation and classification. Our code is available at https://github.com/facebookresearch/classifier-balancing.

深度神经网络通常使用遇到数量不平衡和分类难度不平衡问题的数据集的性能很差。尽管在该领域取得了进展，但现有的两阶段方法中仍然存在数据集偏差或域转移问题。因此，提出了一个分阶段的渐进学习时间表，从而提出了从表示学习到上层分类器培训的平稳转移。这对严重失衡或较小尺度的数据集具有更大的有效性。设计了耦合 - 调节损失损失函数，耦合校正项，局灶性损失和LDAM损失。损失可以更好地处理数量不平衡和异常值，同时调节具有不同分类困难的样本的注意力重点。这些方法在多个基准数据集上取得了令人满意的结果，包括不平衡的CIFAR10，不平衡的CIFAR100，Imagenet-LT和Inaturalist 2018，并且还可以轻松地将其用于其他不平衡分类模型。

人们对从长尾班级分布中学习的具有挑战性的视觉感知任务越来越兴趣。训练数据集中的极端类失衡使模型偏向于识别多数级数据而不是少数级数据。最近，已经提出了两个分支网络的双分支网络（DBN）框架。传统的分支和重新平衡分支用于提高长尾视觉识别的准确性。重新平衡分支使用反向采样器来生成类平衡的训练样本，以减轻由于类不平衡而减轻偏见。尽管该策略在处理偏见方面非常成功，但使用反向采样器进行培训可以降低表示形式的学习绩效。为了减轻这个问题，常规方法使用了精心设计的累积学习策略，在整个培训阶段，重新平衡分支的影响逐渐增加。在这项研究中，我们旨在开发一种简单而有效的方法，以不需要优化的累积学习而在不累积学习的情况下提高DBN的性能。我们设计了一种称为双边混合增强的简单数据增强方法，该方法将统一采样器中的一个样品与反向采样器中的另一个样品结合在一起，以产生训练样本。此外，我们介绍了阶级条件的温度缩放，从而减轻对拟议的DBN结构的多数级别的偏见。我们对广泛使用的长尾视觉识别数据集进行的实验表明，双边混合增加在改善DBN的表示性能方面非常有效，并且所提出的方法可以实现某些类别的先进绩效。

Deep neural networks still struggle on long-tailed image datasets, and one of the reasons is that the imbalance of training data across categories leads to the imbalance of trained model parameters. Motivated by the empirical findings that trained classifiers yield larger weight norms in head classes, we propose to reformulate the recognition probabilities through included angles without re-balancing the classifier weights. Specifically, we calculate the angles between the data feature and the class-wise classifier weights to obtain angle-based prediction results. Inspired by the performance improvement of the predictive form reformulation and the outstanding performance of the widely used two-stage learning framework, we explore the different properties of this angular prediction and propose novel modules to improve the performance of different components in the framework. Our method is able to obtain the best performance among peer methods without pretraining on CIFAR10/100-LT and ImageNet-LT. Source code will be made publicly available.

类别不平衡数据的问题在于，由于少数类别的数据缺乏数据，分类器的泛化性能劣化。在本文中，我们提出了一种新的少数民族过度采样方法，通过利用大多数类作为背景图像的丰富背景来增加多元化的少数民族样本。为了使少数民族样本多样化，我们的主要思想是将前景补丁从少数级别粘贴到来自具有富裕环境的多数类的背景图像。我们的方法很简单，可以轻松地与现有的长尾识别方法结合。我们通过广泛的实验和消融研究证明了提出的过采样方法的有效性。如果没有任何架构更改或复杂的算法，我们的方法在各种长尾分类基准上实现了最先进的性能。我们的代码将在链接上公开提供。

与其他类别（称为少数族裔或尾巴类）相比，很少的类或类别（称为多数或头等类别的类别）具有更高的数据样本数量，在现实世界中，长尾数据集经常遇到。在此类数据集上培训深层神经网络会给质量级别带来偏见。到目前为止，研究人员提出了多种加权损失和数据重新采样技术，以减少偏见。但是，大多数此类技术都认为，尾巴类始终是最难学习的类，因此需要更多的重量或注意力。在这里，我们认为该假设可能并不总是成立的。因此，我们提出了一种新颖的方法，可以在模型的训练阶段动态测量每个类别的瞬时难度。此外，我们使用每个班级的难度度量来设计一种新型的加权损失技术，称为“基于阶级难度的加权（CDB-W）损失”和一种新型的数据采样技术，称为“基于类别难度的采样）（CDB-S ）'。为了验证CDB方法的广泛可用性，我们对多个任务进行了广泛的实验，例如图像分类，对象检测，实例分割和视频操作分类。结果验证了CDB-W损失和CDB-S可以在许多类似于现实世界中用例的类别不平衡数据集（例如Imagenet-LT，LVIS和EGTEA）上实现最先进的结果。

Significant progress has been made in learning image classification neural networks under long-tail data distribution using robust training algorithms such as data re-sampling, re-weighting, and margin adjustment. Those methods, however, ignore the impact of data imbalance on feature normalization. The dominance of majority classes (head classes) in estimating statistics and affine parameters causes internal covariate shifts within less-frequent categories to be overlooked. To alleviate this challenge, we propose a compound batch normalization method based on a Gaussian mixture. It can model the feature space more comprehensively and reduce the dominance of head classes. In addition, a moving average-based expectation maximization (EM) algorithm is employed to estimate the statistical parameters of multiple Gaussian distributions. However, the EM algorithm is sensitive to initialization and can easily become stuck in local minima where the multiple Gaussian components continue to focus on majority classes. To tackle this issue, we developed a dual-path learning framework that employs class-aware split feature normalization to diversify the estimated Gaussian distributions, allowing the Gaussian components to fit with training samples of less-frequent classes more comprehensively. Extensive experiments on commonly used datasets demonstrated that the proposed method outperforms existing methods on long-tailed image classification.

视觉世界自然地在目标或场景实例的数量中表现出不平衡，导致\ EMPH {长​​尾分布}。这种不平衡对基于深度学习的分类模式构成了重大挑战。尾课的过采样实例试图解决这种不平衡。然而，有限的视觉多样性导致具有差的呈现能力差的网络。一个简单的计数器到此是解耦表示和分类器网络，并使用过采样仅用于培训分类器。在本文中，而不是反复重新采样相同的图像（以及由此特征），我们探索通过估计尾类分布来生成有意义特征的方向。灵感来自于近期工作的思想，我们创建校准的分布，以对随后用于训练分类器的其他功能。通过在CiFar-100-LT（长尾）数据集上的几个实验，具有不同的不平衡因子和迷你想象 - LT（长尾），我们展示了我们的方法的功效并建立了新的状态 - 艺术。我们还使用T-SNE可视化对生成功能进行了定性分析，并分析了用于校准尾级分布的最近邻居。我们的代码可在https://github.com/rahulvigneswaran/tailcalibx获得。

当训练数据集患有极端阶级失衡时，深度神经网络通常会表现不佳。最近的研究发现，以半监督的方式直接使用分布外数据（即开放式样本）培训将损害概括性能。在这项工作中，我们从理论上表明，从贝叶斯的角度来看，仍然可以利用分发数据来扩大少数群体。基于这种动机，我们提出了一种称为开放采样的新方法，该方法利用开放式嘈杂标签重新平衡培训数据集的班级先验。对于每个开放式实例，标签是​​从我们的预定义分布中取样的，该分布互补，与原始类先验的分布互补。我们从经验上表明，开放采样不仅可以重新平衡阶级先验，还鼓励神经网络学习可分离的表示。广泛的实验表明，我们提出的方法显着优于现有数据重新平衡方法，并可以提高现有最新方法的性能。

许多现实世界的识别问题都有不平衡或长尾标签的分布。这些分布使表示形式学习更具挑战性，因为对尾巴类别的概括有限。如果测试分布与训练分布有所不同，例如统一与长尾，需要解决分配转移的问题。为此，最近的作品通过贝叶斯定理的启发，使用边缘修改扩展了SoftMax跨凝结。在本文中，我们通过专家的平衡产品（Balpoe）概括了几种方法，该方法结合了一个具有不同测试时间目标分布的模型家庭，以解决数据中的不平衡。拟议的专家在一个阶段进行培训，无论是共同还是独立的，并无缝融合到Balpoe中。我们表明，Balpoe是Fisher的一致性，可以最大程度地减少均衡误差并执行广泛的实验以验证我们的方法的有效性。最后，我们研究了在这种情况下混合的效果，发现正则化是学习校准专家的关键要素。我们的实验表明，正则化的BALPOE在测试准确性和校准指标上的表现非常出色，从而导致CIFAR-100-LT，Imagenet-LT和Inaturalist-2018数据集的最新结果。该代码将在纸质接受后公开提供。

我们在现有的长尾分类方法中解决了被忽视的无偏见：我们发现它们的整体改善主要归因于尾部过度的偏置偏好，因为假设测试分配是平衡的;但是，当测试与长尾训练数据一样不平衡 - 让测试尊重ZIPF的自然定律 - 尾巴偏差不再有益，因为它伤害了大多数人。在本文中，我们提出了跨域经验风险最小化（XIM）来训练一个非偏见模型，以实现对两个测试分布的强大性能，经验证明Xerm通过学习更好的特征表示而不是头部与头部来改善分类。游戏。基于因果关系，我们进一步理论上解释了Xerm实现了非偏见的原因：通过调整不平衡域和平衡但不合形的结构域的经验风险来消除由域选择引起的偏差。代码可在https://github.com/beierzhu/xerm获得。

长尾数据集的泛化差距主要是由于大多数类别仅占占用几个训练样本。解耦培训通过分别培训骨干和分类器来实现更好的性能。导致端到端模型培训的较差的性能（例如，基于Logits利润率的方法）？在这项工作中，我们确定影响分类器的学习的关键因素：在输入分类器之前，具有低熵的通道相关功能。从信息理论的角度来看，我们分析了为什么交叉熵损失倾向于在不平衡数据上产生高度相关的特征。此外，我们理论上的分析和证明对分类器权重的梯度，Hessian的条件数量的影响，以及基于利润率的方法的影响。因此，我们首先建议使用频道美白与去相关（“散点”）分类器的输入用于解耦的权重更新和重塑偏移决策边界，这使得令人满意的结果与基于Logits裕度的方法相结合。但是，当小类课程的数量大，批量不平衡和更多的参与训练导致主要类的过度拟合。我们还提出了两种新颖的模块，基于块的相对平衡的批量采样器（B3RS）和批量嵌入式培训（BET）来解决上述问题，这使得端到端的训练能够实现比解耦训练更好的性能。在长尾分类基准测试，CIFAR-LT和Imagenet-LT上的实验结果证明了我们方法的有效性。

自我监督的学习在表示视觉和文本数据的表示方面取得了巨大的成功。但是，当前的方法主要在经过良好策划的数据集中验证，这些数据集未显示现实世界的长尾分布。在损失的角度或模型观点中，重新平衡的重新平衡是为了考虑自我监督的长尾学习的最新尝试，类似于被监督的长尾学习中的范式。然而，没有标签的帮助，由于尾巴样品发现或启发式结构设计的限制，这些探索并未显示出预期的明显希望。与以前的作品不同，我们从替代角度（即数据角度）探索了这个方向，并提出了一种新颖的增强对比度学习（BCL）方法。具体而言，BCL利用深神经网络的记忆效果自动推动对比度学习中样本视图的信息差异，这更有效地增强了标签 - unaware环境中的长尾学习。对一系列基准数据集进行的广泛实验证明了BCL对几种最新方法的有效性。我们的代码可在https://github.com/mediabrain-sjtu/bcl上找到。

在这项工作中，我们解决了长尾图像识别的具有挑战性的任务。以前的长尾识别方法通常集中于尾巴类别的数据增强或重新平衡策略，以在模型培训期间更加关注尾巴类。但是，由于尾巴类别的训练图像有限，尾部类图像的多样性仍受到限制，从而导致特征表现不佳。在这项工作中，我们假设头部和尾部类中的常见潜在特征可用于提供更好的功能表示。由此激励，我们引入了基于潜在类别的长尾识别（LCREG）方法。具体来说，我们建议学习一组在头和尾巴中共享的类不足的潜在特征。然后，我们通过将语义数据扩展应用于潜在特征，隐式地丰富了训练样本的多样性。对五个长尾图识别数据集进行的广泛实验表明，我们提出的LCREG能够显着超越先前的方法并实现最新结果。

现实世界数据通常遵循长尾分布，这使得现有分类算法的性能较大。关键问题是尾类别中的样本未能描绘其级别的多种多样性。人类可以想象在新的姿势，场景和观看角度的样本，即使是第一次看到此类别也是如此。灵感来自于此，我们提出了一种新的基于推理的隐式语义数据增强方法，可以从其他类借用转换方向。由于每个类别的协方差矩阵表示特征转换方向，因此我们可以从类似类别中采样新的方向以产生绝对不同的实例。具体地，首先采用长尾分布式数据来训练骨干和分类器。然后，估计每个类别的协方差矩阵，构建知识图形以存储任何两个类别的关系。最后，通过从知识图中的所有类似类别传播信息，自适应地增强尾样本。 CiFar-100-LT，想象 - LT和Inattations 2018上的实验结果表明了我们所提出的方法的有效性与最先进的方法相比。

长尾数据集（Head Class）组成的培训样本比尾巴类别多得多，这会导致识别模型对头等舱有偏见。加权损失是缓解此问题的最受欢迎的方法之一，最近的一项工作表明，班级难度可能比常规使用的类频率更好地决定了权重的分布。在先前的工作中使用了一种启发式公式来量化难度，但是我们从经验上发现，最佳公式取决于数据集的特征。因此，我们提出了困难网络，该难题学习在元学习框架中使用模型的性能来预测类的难度。为了使其在其他班级的背景下学习班级的合理难度，我们新介绍了两个关键概念，即相对难度和驾驶员损失。前者有助于困难网络在计算班级难度时考虑其他课程，而后者对于将学习指向有意义的方向是必不可少的。对流行的长尾数据集进行了广泛的实验证明了该方法的有效性，并且在多个长尾数据集上实现了最先进的性能。

真实世界的图像通常是通过对每级图像数量的显着不平衡的特征，导致长尾的分布。长尾视觉识别的有效和简单的方法是分别学习特征表示和分类器，分别使用实例和类平衡采样。在这项工作中，我们介绍一个新的框架，通过键观察，即使用实例采样学习的特征表示远远不受长尾设置的最佳选择。我们的主要贡献是一种新的培训方法，称为类别平衡蒸馏（CBD），其利用知识蒸馏来增强特征表示。 CBD允许特征表示在第二阶段的老师指导的第二次培训阶段演变。第二阶段使用类平衡的采样，以专注于非代表性的类。此框架可以自然地适应多个教师的使用，从模型的集合中解锁信息以增强识别能力。我们的实验表明，所提出的技术始终如一地优于本领域的长尾识别基准，例如想象群 - LT，Inaturatibry17和Inaturation18。

不平衡的数据对基于深度学习的分类模型构成挑战。解决不平衡数据的最广泛使用的方法之一是重新加权，其中训练样本与损失功能的不同权重相关。大多数现有的重新加权方法都将示例权重视为可学习的参数，并优化了元集中的权重，因此需要昂贵的双重优化。在本文中，我们从分布的角度提出了一种基于最佳运输（OT）的新型重新加权方法。具体而言，我们将训练集视为其样品上的不平衡分布，该分布由OT运输到从元集中获得的平衡分布。训练样品的权重是分布不平衡的概率质量，并通过最大程度地减少两个分布之间的ot距离来学习。与现有方法相比，我们提出的一种方法可以脱离每次迭代时的体重学习对相关分类器的依赖性。图像，文本和点云数据集的实验表明，我们提出的重新加权方法具有出色的性能，在许多情况下实现了最新的结果，并提供了一种有希望的工具来解决不平衡的分类问题。