提出了一种学习算法，称为最大利润率（MM），以考虑集体不平衡数据学习问题：训练有素的模型倾向于预测大多数班级而不是少数群体。也就是说，少数群体的适合似乎是概括的挑战之一。为了对少数群体进行良好的概括，我们设计了一个新的最大利润率（MM）损失函数，通过最大程度地减少通过转移决策结合的基于利润的概括。理论上原理的标签 - 分布式利润率（LDAM）损失已成功应用于先前的策略，例如重新采样或重新采样以及有效的培训时间表。但是，他们尚未研究最大保证金损失函数。在这项研究中，我们研究了两种类型的基于硬利润的决策边界的性能，其中LDAM对人为不平衡的CIFAR-10/100的培训时间表，以进行公平的比较和有效性。

Deep learning algorithms can fare poorly when the training dataset suffers from heavy class-imbalance but the testing criterion requires good generalization on less frequent classes. We design two novel methods to improve performance in such scenarios. First, we propose a theoretically-principled label-distribution-aware margin (LDAM) loss motivated by minimizing a margin-based generalization bound. This loss replaces the standard cross-entropy objective during training and can be applied with prior strategies for training with class-imbalance such as re-weighting or re-sampling. Second, we propose a simple, yet effective, training schedule that defers re-weighting until after the initial stage, allowing the model to learn an initial representation while avoiding some of the complications associated with re-weighting or re-sampling. We test our methods on several benchmark vision tasks including the real-world imbalanced dataset iNaturalist 2018. Our experiments show that either of these methods alone can already improve over existing techniques and their combination achieves even better performance gains 1 .

Our work focuses on tackling the challenging but natural visual recognition task of long-tailed data distribution (i.e., a few classes occupy most of the data, while most classes have rarely few samples). In the literature, class re-balancing strategies (e.g., re-weighting and re-sampling) are the prominent and effective methods proposed to alleviate the extreme imbalance for dealing with long-tailed problems. In this paper, we firstly discover that these rebalancing methods achieving satisfactory recognition accuracy owe to that they could significantly promote the classifier learning of deep networks. However, at the same time, they will unexpectedly damage the representative ability of the learned deep features to some extent. Therefore, we propose a unified Bilateral-Branch Network (BBN) to take care of both representation learning and classifier learning simultaneously, where each branch does perform its own duty separately. In particular, our BBN model is further equipped with a novel cumulative learning strategy, which is designed to first learn the universal patterns and then pay attention to the tail data gradually. Extensive experiments on four benchmark datasets, including the large-scale iNaturalist ones, justify that the proposed BBN can significantly outperform state-of-the-art methods. Furthermore, validation experiments can demonstrate both our preliminary discovery and effectiveness of tailored designs in BBN for long-tailed problems. Our method won the first place in the iNaturalist 2019 large scale species classification competition, and our code is open-source and available at https://github.com/Megvii-Nanjing/BBN . * Q. Cui and Z.-M. Chen's contribution was made when they were interns in Megvii Research Nanjing, Megvii Technology, China. X.

当训练数据集患有极端阶级失衡时，深度神经网络通常会表现不佳。最近的研究发现，以半监督的方式直接使用分布外数据（即开放式样本）培训将损害概括性能。在这项工作中，我们从理论上表明，从贝叶斯的角度来看，仍然可以利用分发数据来扩大少数群体。基于这种动机，我们提出了一种称为开放采样的新方法，该方法利用开放式嘈杂标签重新平衡培训数据集的班级先验。对于每个开放式实例，标签是​​从我们的预定义分布中取样的，该分布互补，与原始类先验的分布互补。我们从经验上表明，开放采样不仅可以重新平衡阶级先验，还鼓励神经网络学习可分离的表示。广泛的实验表明，我们提出的方法显着优于现有数据重新平衡方法，并可以提高现有最新方法的性能。

深度神经网络的成功在很大程度上取决于大量高质量注释的数据的可用性，但是这些数据很难或昂贵。由此产生的标签可能是类别不平衡，嘈杂或人类偏见。从不完美注释的数据集中学习无偏分类模型是一项挑战，我们通常会遭受过度拟合或不足的折磨。在这项工作中，我们彻底研究了流行的软马克斯损失和基于保证金的损失，并提供了一种可行的方法来加强通过最大化最小样本余量来限制的概括误差。我们为此目的进一步得出了最佳条件，该条件指示了类原型应锚定的方式。通过理论分析的激励，我们提出了一种简单但有效的方法，即原型锚定学习（PAL），可以轻松地将其纳入各种基于学习的分类方案中以处理不完美的注释。我们通过对合成和现实世界数据集进行广泛的实验来验证PAL对班级不平衡学习和降低噪声学习的有效性。

类别不平衡数据的问题在于，由于少数类别的数据缺乏数据，分类器的泛化性能劣化。在本文中，我们提出了一种新的少数民族过度采样方法，通过利用大多数类作为背景图像的丰富背景来增加多元化的少数民族样本。为了使少数民族样本多样化，我们的主要思想是将前景补丁从少数级别粘贴到来自具有富裕环境的多数类的背景图像。我们的方法很简单，可以轻松地与现有的长尾识别方法结合。我们通过广泛的实验和消融研究证明了提出的过采样方法的有效性。如果没有任何架构更改或复杂的算法，我们的方法在各种长尾分类基准上实现了最先进的性能。我们的代码将在链接上公开提供。

人们对从长尾班级分布中学习的具有挑战性的视觉感知任务越来越兴趣。训练数据集中的极端类失衡使模型偏向于识别多数级数据而不是少数级数据。最近，已经提出了两个分支网络的双分支网络（DBN）框架。传统的分支和重新平衡分支用于提高长尾视觉识别的准确性。重新平衡分支使用反向采样器来生成类平衡的训练样本，以减轻由于类不平衡而减轻偏见。尽管该策略在处理偏见方面非常成功，但使用反向采样器进行培训可以降低表示形式的学习绩效。为了减轻这个问题，常规方法使用了精心设计的累积学习策略，在整个培训阶段，重新平衡分支的影响逐渐增加。在这项研究中，我们旨在开发一种简单而有效的方法，以不需要优化的累积学习而在不累积学习的情况下提高DBN的性能。我们设计了一种称为双边混合增强的简单数据增强方法，该方法将统一采样器中的一个样品与反向采样器中的另一个样品结合在一起，以产生训练样本。此外，我们介绍了阶级条件的温度缩放，从而减轻对拟议的DBN结构的多数级别的偏见。我们对广泛使用的长尾视觉识别数据集进行的实验表明，双边混合增加在改善DBN的表示性能方面非常有效，并且所提出的方法可以实现某些类别的先进绩效。

对抗性示例是由攻击者设计的机器学习模型的输入，以使模型犯错误。在本文中，我们证明了对抗性例子也可以用来改善不平衡学习的表现。我们提供了有关如何处理不平衡数据的新观点：通过使用指导对抗性示例（GAE）训练来调整偏见的决策边界。我们的方法可以有效地提高少数群体的准确性，同时牺牲多数级别的准确性。我们从经验上显示，在几个基准数据集上，我们提出的方法与最新方法相媲美。据我们所知，我们是第一个通过对抗性例子来处理不平衡学习的人。

尽管对视觉识别任务进行了显着进展，但是当培训数据稀缺或高度不平衡时，深神经网络仍然易于普遍，使他们非常容易受到现实世界的例子。在本文中，我们提出了一种令人惊讶的简单且高效的方法来缓解此限制：使用纯噪声图像作为额外的训练数据。与常见使用添加剂噪声或对抗数据的噪声不同，我们通过直接训练纯无随机噪声图像提出了完全不同的视角。我们提出了一种新的分发感知路由批量归一化层（DAR-BN），除了同一网络内的自然图像之外，还可以在纯噪声图像上训练。这鼓励泛化和抑制过度装备。我们所提出的方法显着提高了不平衡的分类性能，从而获得了最先进的导致大量的长尾图像分类数据集（Cifar-10-LT，CiFar-100-LT，想象齿 - LT，和celeba-5）。此外，我们的方法非常简单且易于使用作为一般的新增强工具（在现有增强的顶部），并且可以在任何训练方案中结合。它不需要任何专门的数据生成或培训程序，从而保持培训快速高效

深度神经网络通常使用遇到数量不平衡和分类难度不平衡问题的数据集的性能很差。尽管在该领域取得了进展，但现有的两阶段方法中仍然存在数据集偏差或域转移问题。因此，提出了一个分阶段的渐进学习时间表，从而提出了从表示学习到上层分类器培训的平稳转移。这对严重失衡或较小尺度的数据集具有更大的有效性。设计了耦合 - 调节损失损失函数，耦合校正项，局灶性损失和LDAM损失。损失可以更好地处理数量不平衡和异常值，同时调节具有不同分类困难的样本的注意力重点。这些方法在多个基准数据集上取得了令人满意的结果，包括不平衡的CIFAR10，不平衡的CIFAR100，Imagenet-LT和Inaturalist 2018，并且还可以轻松地将其用于其他不平衡分类模型。

现代机器学习问题中的不平衡数据集是司空见惯的。具有敏感属性的代表性课程或群体的存在导致关于泛化和公平性的担忧。这种担忧进一步加剧了大容量深网络可以完全适合培训数据，似乎在训练期间达到完美的准确性和公平，但在测试期间表现不佳。为了解决这些挑战，我们提出了自动化，一个自动设计培训损失功能的双层优化框架，以优化准确性和寻求公平目标的混合。具体地，较低级别的问题列举了模型权重，并且上级问题通过监视和优化通过验证数据的期望目标来调谐损耗功能。我们的损耗设计通过采用参数跨熵损失和个性化数据增强方案，可以为类/组进行个性化处理。我们评估我们对不平衡和群体敏感分类的应用方案的方法的好处和性能。广泛的经验评估表明了自动矛盾最先进的方法的益处。我们的实验结果与损耗功能设计的理论见解和培训验证分裂的好处相辅相成。所有代码都是可用的开源。

视觉识别任务中的长尾类分布对于如何处理头部和尾部类之间的偏置预测，即，模型倾向于将尾部类作为头部类进行分类。虽然现有的研究专注于数据重采采样和损失函数工程，但在本文中，我们采取了不同的视角：分类利润率。我们研究边距和注册之间的关系（分类得分）并经验遵守偏置边缘，并且偏置的Logits是正相关的。我们提出MARC，一个简单但有效的边缘校准函数，用于动态校准偏置边缘的偏置利润。我们通过对普通的长尾基准测试进行了广泛的实验，包括CIFAR-LT，Imagenet-LT，LT，以及不适物 - LT的广泛实验。实验结果表明，我们的MARC在这些基准上实现了有利的结果。此外，Marc只需三行代码即可实现。我们希望这种简单的方法能够激励人们重新思考偏置的边距和偏见的长尾视觉识别标识。

In this paper, we present a simple yet effective method (ABSGD) for addressing the data imbalance issue in deep learning. Our method is a simple modification to momentum SGD where we leverage an attentional mechanism to assign an individual importance weight to each gradient in the mini-batch. Unlike many existing heuristic-driven methods for tackling data imbalance, our method is grounded in {\it theoretically justified distributionally robust optimization (DRO)}, which is guaranteed to converge to a stationary point of an information-regularized DRO problem. The individual-level weight of a sampled data is systematically proportional to the exponential of a scaled loss value of the data, where the scaling factor is interpreted as the regularization parameter in the framework of information-regularized DRO. Compared with existing class-level weighting schemes, our method can capture the diversity between individual examples within each class. Compared with existing individual-level weighting methods using meta-learning that require three backward propagations for computing mini-batch stochastic gradients, our method is more efficient with only one backward propagation at each iteration as in standard deep learning methods. To balance between the learning of feature extraction layers and the learning of the classifier layer, we employ a two-stage method that uses SGD for pretraining followed by ABSGD for learning a robust classifier and finetuning lower layers. Our empirical studies on several benchmark datasets demonstrate the effectiveness of the proposed method.

已知经过类不平衡数据培训的分类器在“次要”类的测试数据上表现不佳，我们的培训数据不足。在本文中，我们调查在这种情况下学习Convnet分类器。我们发现，Convnet显着夸大了次要类别，这与通常拟合的次要类别的传统机器学习算法完全相反。我们进行了一系列分析，并发现了特征偏差现象 - 学识渊博的Convnet在次要类别的训练和测试数据之间产生了偏差的特征 - 这解释了过度拟合的情况。为了补偿特征偏差的影响，将测试数据推向低决策价值区域，我们建议将依赖类的温度（CDT）纳入训练convnet。 CDT在训练阶段模拟特征偏差，迫使Convnet扩大次级数据的决策值，从而可以在测试阶段克服实际特征偏差。我们在基准数据集上验证我们的方法并实现有希望的性能。我们希望我们的见解能够激发解决阶级失去平衡深度学习的新思维方式。

Real-world datasets exhibit imbalances of varying types and degrees. Several techniques based on re-weighting and margin adjustment of loss are often used to enhance the performance of neural networks, particularly on minority classes. In this work, we analyze the class-imbalanced learning problem by examining the loss landscape of neural networks trained with re-weighting and margin-based techniques. Specifically, we examine the spectral density of Hessian of class-wise loss, through which we observe that the network weights converge to a saddle point in the loss landscapes of minority classes. Following this observation, we also find that optimization methods designed to escape from saddle points can be effectively used to improve generalization on minority classes. We further theoretically and empirically demonstrate that Sharpness-Aware Minimization (SAM), a recent technique that encourages convergence to a flat minima, can be effectively used to escape saddle points for minority classes. Using SAM results in a 6.2\% increase in accuracy on the minority classes over the state-of-the-art Vector Scaling Loss, leading to an overall average increase of 4\% across imbalanced datasets. The code is available at: https://github.com/val-iisc/Saddle-LongTail.

With the rapid increase of large-scale, real-world datasets, it becomes critical to address the problem of longtailed data distribution (i.e., a few classes account for most of the data, while most classes are under-represented). Existing solutions typically adopt class re-balancing strategies such as re-sampling and re-weighting based on the number of observations for each class. In this work, we argue that as the number of samples increases, the additional benefit of a newly added data point will diminish. We introduce a novel theoretical framework to measure data overlap by associating with each sample a small neighboring region rather than a single point. The effective number of samples is defined as the volume of samples and can be calculated by a simple formula (1−β n )/(1−β), where n is the number of samples and β ∈ [0, 1) is a hyperparameter. We design a re-weighting scheme that uses the effective number of samples for each class to re-balance the loss, thereby yielding a class-balanced loss. Comprehensive experiments are conducted on artificially induced long-tailed CIFAR datasets and large-scale datasets including ImageNet and iNaturalist. Our results show that when trained with the proposed class-balanced loss, the network is able to achieve significant performance gains on long-tailed datasets. * The work was performed while Yin Cui and Yang Song worked at Google (a subsidiary of Alphabet Inc.).

深度神经网络在严重的类不平衡数据集上的表现不佳。鉴于对比度学习的有希望的表现，我们提出了重新平衡的暹罗对比度采矿（RESCOM）来应对不平衡的识别。基于数学分析和仿真结果，我们声称监督的对比学习在原始批次和暹罗批次水平上都遭受双重失衡问题，这比长尾分类学习更为严重。在本文中，在原始批处理水平上，我们引入了级别平衡的监督对比损失，以分配不同类别的自适应权重。在暹罗批次级别，我们提出了一个级别平衡的队列，该队列维持所有类的键相同。此外，我们注意到，相对于对比度逻辑的不平衡对比损失梯度可以将其分解为阳性和负面因素，易于阳性和易于负面因素将使对比度梯度消失。我们建议有监督的正面和负面对挖掘，以获取信息对的对比度计算并改善表示形式学习。最后，为了大致最大程度地提高两种观点之间的相互信息，我们提出了暹罗平衡的软性软件，并与一阶段训练的对比损失结合。广泛的实验表明，在多个长尾识别基准上，RESCON优于先前的方法。我们的代码和模型可公开可用：https：//github.com/dvlab-research/rescom。

我们提出了一种称为分配 - 均衡损失的新损失功能，用于展示长尾类分布的多标签识别问题。与传统的单标分类问题相比，由于两个重要问题，多标签识别问题通常更具挑战性，即标签的共同发生以及负标签的主导地位（当被视为多个二进制分类问题时）。分配 - 平衡损失通过对标准二进制交叉熵丢失的两个关键修改来解决这些问题：1）重新平衡考虑标签共发生造成的影响的重量的新方法，以及2）负耐受规则化以减轻负标签的过度抑制。 Pascal VOC和Coco的实验表明，使用这种新损失功能训练的模型可实现现有方法的显着性能。代码和型号可在：https://github.com/wutong16/distributionbalancedloss。

不平衡的数据对基于深度学习的分类模型构成挑战。解决不平衡数据的最广泛使用的方法之一是重新加权，其中训练样本与损失功能的不同权重相关。大多数现有的重新加权方法都将示例权重视为可学习的参数，并优化了元集中的权重，因此需要昂贵的双重优化。在本文中，我们从分布的角度提出了一种基于最佳运输（OT）的新型重新加权方法。具体而言，我们将训练集视为其样品上的不平衡分布，该分布由OT运输到从元集中获得的平衡分布。训练样品的权重是分布不平衡的概率质量，并通过最大程度地减少两个分布之间的ot距离来学习。与现有方法相比，我们提出的一种方法可以脱离每次迭代时的体重学习对相关分类器的依赖性。图像，文本和点云数据集的实验表明，我们提出的重新加权方法具有出色的性能，在许多情况下实现了最新的结果，并提供了一种有希望的工具来解决不平衡的分类问题。

基于深度学习的分类中特征表示的主要挑战之一是设计表现出强大歧视力的适当损失功能。经典的SoftMax损失并不能明确鼓励对特征的歧视性学习。研究的一个流行方向是将边缘纳入良好的损失中，以实施额外的课内紧凑性和阶层间的可分离性，但是，这是通过启发式手段而不是严格的数学原则来开发的。在这项工作中，我们试图通过将原则优化目标提出为最大的利润率来解决这一限制。具体而言，我们首先将类别的边缘定义为级别间的可分离性的度量，而样品边缘是级别的紧凑性的度量。因此，为了鼓励特征的歧视性表示，损失函数应促进类和样品的最大可能边缘。此外，我们得出了广义的保证金软损失，以得出现有基于边缘的损失的一般结论。这个原则性的框架不仅提供了新的观点来理解和解释现有的基于保证金的损失，而且还提供了新的见解，可以指导新工具的设计，包括样本保证金正则化和最大的平衡案例的最大保证金损失，和零中心的正则化案例。实验结果证明了我们的策略对各种任务的有效性，包括视觉分类，分类不平衡，重新识别和面部验证。