当样本通过深层神经网络时，功能，逻辑和标签是三个主要数据。近年来，功能扰动和标签扰动受到越来越多的关注。事实证明，它们在各种深度学习方法中很有用。例如，（对抗性）特征扰动可以提高学习模型的鲁棒性甚至概括能力。但是，有限的研究已明确探索了对逻辑向量的扰动。这项工作讨论了几种与类级别logit扰动有关的现有方法。建立了logit扰动引起的正/负数据扩大和损失变化之间的统一观点。提供理论分析以阐明为什么类级logit扰动有用。因此，提出了新的方法，以明确学习单标签和多标签分类任务的扰动逻辑。基准图像分类数据集及其长尾版本的广泛实验表明我们的学习方法的竞争性能。由于它仅在logit上，因此可以用作与任何现有分类算法融合的插件。所有代码均可在https://github.com/limengyang1992/lpl上找到。

机器学习中的加权战略占上风。例如，强大的机器学习中的常见方法是对可能是噪声或非常难以造成的样本的较低重量。本研究揭示了另一种未被发现的策略，即补偿。已经利用了各种补偿的化身，但尚未明确揭示。学习赔偿称为补偿学习，并在本研究中为其构建系统分类。在我们的分类学中，赔偿学习是根据赔偿目标，方向，推理方式和粒度水平分开的。可以至少部分地视为补偿技术，包括一些现有的学习算法包括一些经典的学习算法。此外，可以通过将补偿学习插入现有的学习算法来获得一系列新的学习算法。具体而言，提出了两种混凝土新的学习算法，用于强大的机器学习。关于图像分类和文本情绪分析的广泛实验验证了两种新算法的有效性。补偿学习也可以用于其他各种学习场景，例如不平衡学习，聚类，回归等。

由于学习难度对于机器学习至关重要（例如，基于难度的加权学习策略），以前的文献提出了许多学习难度措施。但是，迄今为止尚无针对学习难度的全面调查，导致几乎所有现有的措施都在没有严格的理论基础的情况下进行了启发性定义。此外，即使在许多研究中至关重要，也没有正式的简单和硬样品定义。这项研究试图进行一项试验理论研究，以实现样本的学习难度。首先，根据概述误差的偏见变化权衡理论提出了学习难度的理论定义。基于拟议的定义建立了简单和硬样品的理论定义。从正式定义中给出了一种实用的学习难度测量方法。其次，探索了学习难度的加权策略的属性。随后，可以根据探索的属性来很好地解释机器学习中的几种经典加权方法。第三，评估提出的措施以验证其合理性和优越性，以几个主要的难度因素。这些实验中的比较表明，所提出的措施在整个实验过程中的其他措施显着优于其他措施。

用于培训样本的有效加权方案对于学习任务至关重要。已经提出了许多加权方案。有些方案采用易于第一模式，而其他一些则采取艰难的第一模式。自然而然，提出了一个有趣但实际的问题。应该首先学习哪些样本，而且很容易或努力？为了回答这个问题，进行理论分析和实验验证。首先，提出了一般优化的目标函数，揭示了难度分布与基于困难的样本权重之间的关系。其次，在优化的目标函数的基础上，获得理论答案。除了易于第一和良好的第一模式之外，还有另外两种优先模式，即中等第一和两端 - 首先。在培训过程中，先前模式不一定保持不变。第三，建议在没有先前的知识或理论线索时选择有效和通用的解决方案以选择最佳优先模式。四种模式，即易于/中/硬/二端 - 首先，可以在所提出的解决方案中灵活地切换。第四，在各种场景下进行广泛的实验，以进一步比较不同模式的加权方案。在这些作品的基础上，获得合理和全面的答案。包括样本学习困难分布的因素和验证数据确定应该首先在学习任务中学习哪些样本。

我们提出了一种称为分配 - 均衡损失的新损失功能，用于展示长尾类分布的多标签识别问题。与传统的单标分类问题相比，由于两个重要问题，多标签识别问题通常更具挑战性，即标签的共同发生以及负标签的主导地位（当被视为多个二进制分类问题时）。分配 - 平衡损失通过对标准二进制交叉熵丢失的两个关键修改来解决这些问题：1）重新平衡考虑标签共发生造成的影响的重量的新方法，以及2）负耐受规则化以减轻负标签的过度抑制。 Pascal VOC和Coco的实验表明，使用这种新损失功能训练的模型可实现现有方法的显着性能。代码和型号可在：https://github.com/wutong16/distributionbalancedloss。

现实世界数据普遍面对严重的类别 - 不平衡问题，并且展示了长尾分布，即，大多数标签与有限的情况有关。由此类数据集监督的NA \“IVE模型更愿意占主导地位标签，遇到严重的普遍化挑战并变得不佳。我们从先前的角度提出了两种新的方法，以减轻这种困境。首先，我们推导了一个以平衡为导向的数据增强命名均匀的混合物（Unimix）促进长尾情景中的混合，采用先进的混合因子和采样器，支持少数民族。第二，受贝叶斯理论的动机，我们弄清了贝叶斯偏见（北美），是由此引起的固有偏见先前的不一致，并将其补偿为对标准交叉熵损失的修改。我们进一步证明了所提出的方法理论上和经验地确保分类校准。广泛的实验验证我们的策略是否有助于更好校准的模型，以及他们的策略组合在CIFAR-LT，ImageNet-LT和Inattations 2018上实现最先进的性能。

The real-world data tends to be heavily imbalanced and severely skew the data-driven deep neural networks, which makes Long-Tailed Recognition (LTR) a massive challenging task. Existing LTR methods seldom train Vision Transformers (ViTs) with Long-Tailed (LT) data, while the off-the-shelf pretrain weight of ViTs always leads to unfair comparisons. In this paper, we systematically investigate the ViTs' performance in LTR and propose LiVT to train ViTs from scratch only with LT data. With the observation that ViTs suffer more severe LTR problems, we conduct Masked Generative Pretraining (MGP) to learn generalized features. With ample and solid evidence, we show that MGP is more robust than supervised manners. In addition, Binary Cross Entropy (BCE) loss, which shows conspicuous performance with ViTs, encounters predicaments in LTR. We further propose the balanced BCE to ameliorate it with strong theoretical groundings. Specially, we derive the unbiased extension of Sigmoid and compensate extra logit margins to deploy it. Our Bal-BCE contributes to the quick convergence of ViTs in just a few epochs. Extensive experiments demonstrate that with MGP and Bal-BCE, LiVT successfully trains ViTs well without any additional data and outperforms comparable state-of-the-art methods significantly, e.g., our ViT-B achieves 81.0% Top-1 accuracy in iNaturalist 2018 without bells and whistles. Code is available at https://github.com/XuZhengzhuo/LiVT.

现代机器学习问题中的不平衡数据集是司空见惯的。具有敏感属性的代表性课程或群体的存在导致关于泛化和公平性的担忧。这种担忧进一步加剧了大容量深网络可以完全适合培训数据，似乎在训练期间达到完美的准确性和公平，但在测试期间表现不佳。为了解决这些挑战，我们提出了自动化，一个自动设计培训损失功能的双层优化框架，以优化准确性和寻求公平目标的混合。具体地，较低级别的问题列举了模型权重，并且上级问题通过监视和优化通过验证数据的期望目标来调谐损耗功能。我们的损耗设计通过采用参数跨熵损失和个性化数据增强方案，可以为类/组进行个性化处理。我们评估我们对不平衡和群体敏感分类的应用方案的方法的好处和性能。广泛的经验评估表明了自动矛盾最先进的方法的益处。我们的实验结果与损耗功能设计的理论见解和培训验证分裂的好处相辅相成。所有代码都是可用的开源。

深度神经网络通常使用遇到数量不平衡和分类难度不平衡问题的数据集的性能很差。尽管在该领域取得了进展，但现有的两阶段方法中仍然存在数据集偏差或域转移问题。因此，提出了一个分阶段的渐进学习时间表，从而提出了从表示学习到上层分类器培训的平稳转移。这对严重失衡或较小尺度的数据集具有更大的有效性。设计了耦合 - 调节损失损失函数，耦合校正项，局灶性损失和LDAM损失。损失可以更好地处理数量不平衡和异常值，同时调节具有不同分类困难的样本的注意力重点。这些方法在多个基准数据集上取得了令人满意的结果，包括不平衡的CIFAR10，不平衡的CIFAR100，Imagenet-LT和Inaturalist 2018，并且还可以轻松地将其用于其他不平衡分类模型。

少数族裔类的数据增强是长尾识别的有效策略，因此开发了大量方法。尽管这些方法都确保了样本数量的平衡，但是增强样品的质量并不总是令人满意的，识别且容易出现过度拟合，缺乏多样性，语义漂移等问题。对于这些问题，我们建议班级感知的大学启发了重新平衡学习（CAUIRR），以进行长尾识别，这使Universum具有班级感知的能力，可以从样本数量和质量中重新平衡个人少数族裔。特别是，我们从理论上证明，凯尔学到的分类器与从贝叶斯的角度从平衡状态下学到的那些人一致。此外，我们进一步开发了一种高阶混合方法，该方法可以自动生成类感知的Universum（CAU）数据，而无需诉诸任何外部数据。与传统的大学不同，此类产生的全球还考虑了域的相似性，阶级可分离性和样本多样性。基准数据集的广泛实验证明了我们方法的令人惊讶的优势，尤其是与最先进的方法相比，少数族裔类别的TOP1准确性提高了1.9％6％。

In this paper, we present a simple yet effective method (ABSGD) for addressing the data imbalance issue in deep learning. Our method is a simple modification to momentum SGD where we leverage an attentional mechanism to assign an individual importance weight to each gradient in the mini-batch. Unlike many existing heuristic-driven methods for tackling data imbalance, our method is grounded in {\it theoretically justified distributionally robust optimization (DRO)}, which is guaranteed to converge to a stationary point of an information-regularized DRO problem. The individual-level weight of a sampled data is systematically proportional to the exponential of a scaled loss value of the data, where the scaling factor is interpreted as the regularization parameter in the framework of information-regularized DRO. Compared with existing class-level weighting schemes, our method can capture the diversity between individual examples within each class. Compared with existing individual-level weighting methods using meta-learning that require three backward propagations for computing mini-batch stochastic gradients, our method is more efficient with only one backward propagation at each iteration as in standard deep learning methods. To balance between the learning of feature extraction layers and the learning of the classifier layer, we employ a two-stage method that uses SGD for pretraining followed by ABSGD for learning a robust classifier and finetuning lower layers. Our empirical studies on several benchmark datasets demonstrate the effectiveness of the proposed method.

长尾分布是现实世界中的常见现象。提取的大规模图像数据集不可避免地证明了长尾巴的属性和经过不平衡数据训练的模型可以为代表性过多的类别获得高性能，但为代表性不足的类别而苦苦挣扎，导致偏见的预测和绩效降低。为了应对这一挑战，我们提出了一种名为“逆图像频率”（IIF）的新型偏差方法。 IIF是卷积神经网络分类层中逻辑的乘法边缘调整转换。我们的方法比类似的作品实现了更强的性能，并且对于下游任务（例如长尾实例分割）特别有用，因为它会产生较少的假阳性检测。我们的广泛实验表明，IIF在许多长尾基准的基准（例如Imagenet-lt，cifar-lt，ploce-lt和lvis）上超过了最先进的现状，在Imagenet-lt上，Resnet50和26.2％达到了55.8％的TOP-1准确性LVIS上使用MaskRCNN分割AP。代码可在https://github.com/kostas1515/iif中找到

深度神经网络的成功在很大程度上取决于大量高质量注释的数据的可用性，但是这些数据很难或昂贵。由此产生的标签可能是类别不平衡，嘈杂或人类偏见。从不完美注释的数据集中学习无偏分类模型是一项挑战，我们通常会遭受过度拟合或不足的折磨。在这项工作中，我们彻底研究了流行的软马克斯损失和基于保证金的损失，并提供了一种可行的方法来加强通过最大化最小样本余量来限制的概括误差。我们为此目的进一步得出了最佳条件，该条件指示了类原型应锚定的方式。通过理论分析的激励，我们提出了一种简单但有效的方法，即原型锚定学习（PAL），可以轻松地将其纳入各种基于学习的分类方案中以处理不完美的注释。我们通过对合成和现实世界数据集进行广泛的实验来验证PAL对班级不平衡学习和降低噪声学习的有效性。

现实世界数据通常存在长尾分布。对不平衡数据的培训倾向于呈现神经网络在头部上表现良好，而尾部课程则更加差。尾班的培训实例的严重稀疏性是主要挑战，这导致培训期间的偏见分配估计。丰富的努力已经致力于改善挑战，包括数据重新采样和综合尾班的新培训实例。然而，没有先前的研究已经利用了从头课程转移到尾班的可转让知识，以校准尾舱的分布。在本文中，我们假设可以通过类似的头部级别来丰富尾部类，并提出一种名为标签感知分布校准Ladc的新型分布校准方法。 Ladc从相关的头部课程转移统计数据以推断尾部课程的分布。从校准分布的采样进一步促进重新平衡分类器。图像和文本的实验和文本长尾数据集表明，LADC显着优于现有方法。可视化还显示LADC提供更准确的分布估计。

Current deep neural networks (DNNs) can easily overfit to biased training data with corrupted labels or class imbalance. Sample re-weighting strategy is commonly used to alleviate this issue by designing a weighting function mapping from training loss to sample weight, and then iterating between weight recalculating and classifier updating. Current approaches, however, need manually pre-specify the weighting function as well as its additional hyper-parameters. It makes them fairly hard to be generally applied in practice due to the significant variation of proper weighting schemes relying on the investigated problem and training data. To address this issue, we propose a method capable of adaptively learning an explicit weighting function directly from data. The weighting function is an MLP with one hidden layer, constituting a universal approximator to almost any continuous functions, making the method able to fit a wide range of weighting functions including those assumed in conventional research. Guided by a small amount of unbiased meta-data, the parameters of the weighting function can be finely updated simultaneously with the learning process of the classifiers. Synthetic and real experiments substantiate the capability of our method for achieving proper weighting functions in class imbalance and noisy label cases, fully complying with the common settings in traditional methods, and more complicated scenarios beyond conventional cases. This naturally leads to its better accuracy than other state-of-the-art methods. Source code is available at https://github.com/xjtushujun/meta-weight-net. * Corresponding author. 1 We call the training data biased when they are generated from a joint sample-label distribution deviating from the distribution of evaluation/test set [1].

Recent studies have revealed that, beyond conventional accuracy, calibration should also be considered for training modern deep neural networks. To address miscalibration during learning, some methods have explored different penalty functions as part of the learning objective, alongside a standard classification loss, with a hyper-parameter controlling the relative contribution of each term. Nevertheless, these methods share two major drawbacks: 1) the scalar balancing weight is the same for all classes, hindering the ability to address different intrinsic difficulties or imbalance among classes; and 2) the balancing weight is usually fixed without an adaptive strategy, which may prevent from reaching the best compromise between accuracy and calibration, and requires hyper-parameter search for each application. We propose Class Adaptive Label Smoothing (CALS) for calibrating deep networks, which allows to learn class-wise multipliers during training, yielding a powerful alternative to common label smoothing penalties. Our method builds on a general Augmented Lagrangian approach, a well-established technique in constrained optimization, but we introduce several modifications to tailor it for large-scale, class-adaptive training. Comprehensive evaluation and multiple comparisons on a variety of benchmarks, including standard and long-tailed image classification, semantic segmentation, and text classification, demonstrate the superiority of the proposed method. The code is available at https://github.com/by-liu/CALS.

标签 - 不平衡和组敏感分类中的目标是优化相关的指标，例如平衡错误和相同的机会。经典方法，例如加权交叉熵，在训练深网络到训练（TPT）的终端阶段时，这是超越零训练误差的训练。这种观察发生了最近在促进少数群体更大边值的直观机制之后开发启发式替代品的动力。与之前的启发式相比，我们遵循原则性分析，说明不同的损失调整如何影响边距。首先，我们证明，对于在TPT中训练的所有线性分类器，有必要引入乘法，而不是添加性的Logit调整，以便对杂项边缘进行适当的变化。为了表明这一点，我们发现将乘法CE修改的连接到成本敏感的支持向量机。也许是违反，我们还发现，在培训开始时，相同的乘法权重实际上可以损害少数群体。因此，虽然在TPT中，添加剂调整无效，但我们表明它们可以通过对乘法重量的初始负效应进行抗衡来加速会聚。通过这些发现的动机，我们制定了矢量缩放（VS）丢失，即捕获现有技术作为特殊情况。此外，我们引入了对群体敏感分类的VS损失的自然延伸，从而以统一的方式处理两种常见类型的不平衡（标签/组）。重要的是，我们对最先进的数据集的实验与我们的理论见解完全一致，并确认了我们算法的卓越性能。最后，对于不平衡的高斯 - 混合数据，我们执行泛化分析，揭示平衡/标准错误和相同机会之间的权衡。

部分标签学习（PLL）是一项奇特的弱监督学习任务，其中训练样本通常与一组候选标签而不是单个地面真理相关联。尽管在该域中提出了各种标签歧义方法，但他们通常假设在许多现实世界应用中可能不存在类平衡的方案。从经验上讲，我们在面对长尾分布和部分标记的组合挑战时观察到了先前方法的退化性能。在这项工作中，我们首先确定先前工作失败的主要原因。随后，我们提出了一种新型的基于最佳运输的框架太阳能，它允许完善被歧义的标签，以匹配边缘级别的先验分布。太阳能还结合了一种新的系统机制，用于估计PLL设置下的长尾类先验分布。通过广泛的实验，与先前的最先进的PLL方法相比，太阳能在标准化基准方面表现出基本优势。代码和数据可在以下网址获得：https：//github.com/hbzju/solar。

不平衡的数据对基于深度学习的分类模型构成挑战。解决不平衡数据的最广泛使用的方法之一是重新加权，其中训练样本与损失功能的不同权重相关。大多数现有的重新加权方法都将示例权重视为可学习的参数，并优化了元集中的权重，因此需要昂贵的双重优化。在本文中，我们从分布的角度提出了一种基于最佳运输（OT）的新型重新加权方法。具体而言，我们将训练集视为其样品上的不平衡分布，该分布由OT运输到从元集中获得的平衡分布。训练样品的权重是分布不平衡的概率质量，并通过最大程度地减少两个分布之间的ot距离来学习。与现有方法相比，我们提出的一种方法可以脱离每次迭代时的体重学习对相关分类器的依赖性。图像，文本和点云数据集的实验表明，我们提出的重新加权方法具有出色的性能，在许多情况下实现了最新的结果，并提供了一种有希望的工具来解决不平衡的分类问题。

学习深层分类模型的传统智慧是专注于糟糕的示例，并忽略远离决策边界的良好分类的例子。例如，当具有交叉熵损耗的训练时，具有更高可能性的示例（即，良好的良好示例）在后传播中贡献更小的梯度。然而，我们理论上表明，这种常见的做法阻碍了代表学习，能量优化和利润率的增长。为了抵消这种缺陷，我们建议奖励具有良好的奖励奖励良好的例子，以恢复他们对学习的贡献。这种反例理论上地解决了这三个问题。我们通过直接验证理论结果或通过对不同任务的实体分类，包括图像分类，图形分类和机器翻译。此外，本文表明，由于我们的想法可以解决这三个问题，我们可以处理复杂的情景，例如不平衡的分类，检测，以及在对抗性攻击下的应用。代码可用：https://github.com/lancopku/well-classification-examples-are-underestimated。