长尾图像识别对深度学习系统提出了巨大的挑战，因为多数（头）类别与少数族裔（TAIL）类之间的失衡严重偏斜了数据驱动的深度神经网络。以前的方法从数据分布，功能空间和模型设计等的角度来解决数据失衡。从以前省略的平衡标签空间的角度来看。为了减轻从头到尾的偏见，我们通过逐步调整标签空间并将头等阶层和尾部类别分开，动态构建平衡从不平衡到促进分类，提出简洁的范式。借助灵活的数据过滤和标签空间映射，我们可以轻松地将方法嵌入大多数分类模型，尤其是脱钩的训练方法。此外，我们发现头尾类别的可分离性在具有不同电感偏见的不同特征之间各不相同。因此，我们提出的模型还提供了一种功能评估方法，并为长尾特征学习铺平了道路。广泛的实验表明，我们的方法可以在广泛使用的基准上提高不同类型的最先进的性能。代码可在https://github.com/silicx/dlsa上找到。

The real-world data tends to be heavily imbalanced and severely skew the data-driven deep neural networks, which makes Long-Tailed Recognition (LTR) a massive challenging task. Existing LTR methods seldom train Vision Transformers (ViTs) with Long-Tailed (LT) data, while the off-the-shelf pretrain weight of ViTs always leads to unfair comparisons. In this paper, we systematically investigate the ViTs' performance in LTR and propose LiVT to train ViTs from scratch only with LT data. With the observation that ViTs suffer more severe LTR problems, we conduct Masked Generative Pretraining (MGP) to learn generalized features. With ample and solid evidence, we show that MGP is more robust than supervised manners. In addition, Binary Cross Entropy (BCE) loss, which shows conspicuous performance with ViTs, encounters predicaments in LTR. We further propose the balanced BCE to ameliorate it with strong theoretical groundings. Specially, we derive the unbiased extension of Sigmoid and compensate extra logit margins to deploy it. Our Bal-BCE contributes to the quick convergence of ViTs in just a few epochs. Extensive experiments demonstrate that with MGP and Bal-BCE, LiVT successfully trains ViTs well without any additional data and outperforms comparable state-of-the-art methods significantly, e.g., our ViT-B achieves 81.0% Top-1 accuracy in iNaturalist 2018 without bells and whistles. Code is available at https://github.com/XuZhengzhuo/LiVT.

现实世界数据通常存在长尾分布。对不平衡数据的培训倾向于呈现神经网络在头部上表现良好，而尾部课程则更加差。尾班的培训实例的严重稀疏性是主要挑战，这导致培训期间的偏见分配估计。丰富的努力已经致力于改善挑战，包括数据重新采样和综合尾班的新培训实例。然而，没有先前的研究已经利用了从头课程转移到尾班的可转让知识，以校准尾舱的分布。在本文中，我们假设可以通过类似的头部级别来丰富尾部类，并提出一种名为标签感知分布校准Ladc的新型分布校准方法。 Ladc从相关的头部课程转移统计数据以推断尾部课程的分布。从校准分布的采样进一步促进重新平衡分类器。图像和文本的实验和文本长尾数据集表明，LADC显着优于现有方法。可视化还显示LADC提供更准确的分布估计。

The long-tail distribution of the visual world poses great challenges for deep learning based classification models on how to handle the class imbalance problem. Existing solutions usually involve class-balancing strategies, e.g. by loss re-weighting, data re-sampling, or transfer learning from head-to tail-classes, but most of them adhere to the scheme of jointly learning representations and classifiers. In this work, we decouple the learning procedure into representation learning and classification, and systematically explore how different balancing strategies affect them for long-tailed recognition. The findings are surprising: (1) data imbalance might not be an issue in learning high-quality representations; (2) with representations learned with the simplest instance-balanced (natural) sampling, it is also possible to achieve strong long-tailed recognition ability by adjusting only the classifier. We conduct extensive experiments and set new state-of-the-art performance on common long-tailed benchmarks like ImageNet-LT, Places-LT and iNaturalist, showing that it is possible to outperform carefully designed losses, sampling strategies, even complex modules with memory, by using a straightforward approach that decouples representation and classification. Our code is available at https://github.com/facebookresearch/classifier-balancing.

深度神经网络在严重的类不平衡数据集上的表现不佳。鉴于对比度学习的有希望的表现，我们提出了重新平衡的暹罗对比度采矿（RESCOM）来应对不平衡的识别。基于数学分析和仿真结果，我们声称监督的对比学习在原始批次和暹罗批次水平上都遭受双重失衡问题，这比长尾分类学习更为严重。在本文中，在原始批处理水平上，我们引入了级别平衡的监督对比损失，以分配不同类别的自适应权重。在暹罗批次级别，我们提出了一个级别平衡的队列，该队列维持所有类的键相同。此外，我们注意到，相对于对比度逻辑的不平衡对比损失梯度可以将其分解为阳性和负面因素，易于阳性和易于负面因素将使对比度梯度消失。我们建议有监督的正面和负面对挖掘，以获取信息对的对比度计算并改善表示形式学习。最后，为了大致最大程度地提高两种观点之间的相互信息，我们提出了暹罗平衡的软性软件，并与一阶段训练的对比损失结合。广泛的实验表明，在多个长尾识别基准上，RESCON优于先前的方法。我们的代码和模型可公开可用：https：//github.com/dvlab-research/rescom。

自我监督的学习在表示视觉和文本数据的表示方面取得了巨大的成功。但是，当前的方法主要在经过良好策划的数据集中验证，这些数据集未显示现实世界的长尾分布。在损失的角度或模型观点中，重新平衡的重新平衡是为了考虑自我监督的长尾学习的最新尝试，类似于被监督的长尾学习中的范式。然而，没有标签的帮助，由于尾巴样品发现或启发式结构设计的限制，这些探索并未显示出预期的明显希望。与以前的作品不同，我们从替代角度（即数据角度）探索了这个方向，并提出了一种新颖的增强对比度学习（BCL）方法。具体而言，BCL利用深神经网络的记忆效果自动推动对比度学习中样本视图的信息差异，这更有效地增强了标签 - unaware环境中的长尾学习。对一系列基准数据集进行的广泛实验证明了BCL对几种最新方法的有效性。我们的代码可在https://github.com/mediabrain-sjtu/bcl上找到。

Significant progress has been made in learning image classification neural networks under long-tail data distribution using robust training algorithms such as data re-sampling, re-weighting, and margin adjustment. Those methods, however, ignore the impact of data imbalance on feature normalization. The dominance of majority classes (head classes) in estimating statistics and affine parameters causes internal covariate shifts within less-frequent categories to be overlooked. To alleviate this challenge, we propose a compound batch normalization method based on a Gaussian mixture. It can model the feature space more comprehensively and reduce the dominance of head classes. In addition, a moving average-based expectation maximization (EM) algorithm is employed to estimate the statistical parameters of multiple Gaussian distributions. However, the EM algorithm is sensitive to initialization and can easily become stuck in local minima where the multiple Gaussian components continue to focus on majority classes. To tackle this issue, we developed a dual-path learning framework that employs class-aware split feature normalization to diversify the estimated Gaussian distributions, allowing the Gaussian components to fit with training samples of less-frequent classes more comprehensively. Extensive experiments on commonly used datasets demonstrated that the proposed method outperforms existing methods on long-tailed image classification.

现实世界数据普遍面对严重的类别 - 不平衡问题，并且展示了长尾分布，即，大多数标签与有限的情况有关。由此类数据集监督的NA \“IVE模型更愿意占主导地位标签，遇到严重的普遍化挑战并变得不佳。我们从先前的角度提出了两种新的方法，以减轻这种困境。首先，我们推导了一个以平衡为导向的数据增强命名均匀的混合物（Unimix）促进长尾情景中的混合，采用先进的混合因子和采样器，支持少数民族。第二，受贝叶斯理论的动机，我们弄清了贝叶斯偏见（北美），是由此引起的固有偏见先前的不一致，并将其补偿为对标准交叉熵损失的修改。我们进一步证明了所提出的方法理论上和经验地确保分类校准。广泛的实验验证我们的策略是否有助于更好校准的模型，以及他们的策略组合在CIFAR-LT，ImageNet-LT和Inattations 2018上实现最先进的性能。

常规的去命名方法依赖于所有样品都是独立且分布相同的假设，因此最终的分类器虽然受到噪声的干扰，但仍然可以轻松地将噪声识别为训练分布的异常值。但是，在不可避免地长尾巴的大规模数据中，该假设是不现实的。这种不平衡的训练数据使分类器对尾巴类别的歧视性较小，而尾巴类别的差异化现在变成了“硬”的噪声 - 它们几乎与干净的尾巴样品一样离群值。我们将这一新挑战介绍为嘈杂的长尾分类（NLT）。毫不奇怪，我们发现大多数拖延方法无法识别出硬噪声，从而导致三个提出的NLT基准测试的性能大幅下降：Imagenet-NLT，Animal10-NLT和Food101-NLT。为此，我们设计了一个迭代嘈杂的学习框架，称为“难以容易”（H2E）。我们的引导理念是首先学习一个分类器作为噪声标识符不变的类和上下文分布变化，从而将“硬”噪声减少到“ Easy”的噪声，其删除进一步改善了不变性。实验结果表明，我们的H2E胜过最先进的方法及其在长尾设置上的消融，同时在传统平衡设置上保持稳定的性能。数据集和代码可从https://github.com/yxymessi/h2e-framework获得

大多数现有的最新视频分类方法假设训练数据遵守统一的分布。但是，现实世界中的视频数据通常会表现出不平衡的长尾巴分布，从而导致模型偏见对头等阶层，并且在尾巴上的性能相对较低。虽然当前的长尾分类方法通常集中在图像分类上，但将其调整到视频数据并不是微不足道的扩展。我们提出了一种端到端的多专家分布校准方法，以基于两级分布信息来应对这些挑战。该方法共同考虑了每个类别中样品的分布（类内部分布）和各种数据（类间分布）的总体分布，以解决在长尾分布下数据不平衡数据的问题。通过对两级分布信息进行建模，该模型可以共同考虑头等阶层和尾部类别，并将知识从头等阶层显着转移，以提高尾部类别的性能。广泛的实验验证了我们的方法是否在长尾视频分类任务上实现了最先进的性能。

Real world data often have a long-tailed and open-ended distribution. A practical recognition system must classify among majority and minority classes, generalize from a few known instances, and acknowledge novelty upon a never seen instance. We define Open Long-Tailed Recognition (OLTR) as learning from such naturally distributed data and optimizing the classification accuracy over a balanced test set which include head, tail, and open classes. OLTR must handle imbalanced classification, few-shot learning, and open-set recognition in one integrated algorithm, whereas existing classification approaches focus only on one aspect and deliver poorly over the entire class spectrum. The key challenges are how to share visual knowledge between head and tail classes and how to reduce confusion between tail and open classes.We develop an integrated OLTR algorithm that maps an image to a feature space such that visual concepts can easily relate to each other based on a learned metric that respects the closed-world classification while acknowledging the novelty of the open world. Our so-called dynamic metaembedding combines a direct image feature and an associated memory feature, with the feature norm indicating the familiarity to known classes. On three large-scale OLTR datasets we curate from object-centric ImageNet, scenecentric Places, and face-centric MS1M data, our method consistently outperforms the state-of-the-art. Our code, datasets, and models enable future OLTR research and are publicly available at https://liuziwei7.github. io/projects/LongTail.html.

视觉世界自然地展现了一个长尾的开放类分布，这对现代视觉系统带来了巨大挑战。现有方法可以执行类重新平衡策略或直接改进网络模块以解决问题。然而，他们仍然用有限一套预定义标签训练模型，限制了他们的监督信息并限制了他们对新颖实例的可转移性。新途径上的大型对比视觉普瑞宁普雷宁闪光灯的最新进展，可视识别。利用开放词汇监督，预先染色的对比视觉语言模型学习强大的多模式表示，这是对处理数据缺陷和看不见的概念。通过计算视觉和文本输入之间的语义相似性，可视识别被转换为vision语言匹配问题。灵感来自于此，我们提出了民谣，利用了对比尾识别的对比视觉模型。我们首先通过对特定的长尾目标数据集进行对比学习继续预先预留视觉语言骨干。之后，我们冻结了骨干，进一步采用了额外的适配器层，以增强通过重新采样策略构建的平衡训练样本上的尾级课程的表示。已经在三个流行的长尾识别基准测试中进行了广泛的实验。因此，我们简单有效的方法设定了新的最先进的表演，优于具有大边距的竞争基础。代码在https://github.com/gaopengcuhk/ballad发布。

视觉识别任务中的长尾类分布对于如何处理头部和尾部类之间的偏置预测，即，模型倾向于将尾部类作为头部类进行分类。虽然现有的研究专注于数据重采采样和损失函数工程，但在本文中，我们采取了不同的视角：分类利润率。我们研究边距和注册之间的关系（分类得分）并经验遵守偏置边缘，并且偏置的Logits是正相关的。我们提出MARC，一个简单但有效的边缘校准函数，用于动态校准偏置边缘的偏置利润。我们通过对普通的长尾基准测试进行了广泛的实验，包括CIFAR-LT，Imagenet-LT，LT，以及不适物 - LT的广泛实验。实验结果表明，我们的MARC在这些基准上实现了有利的结果。此外，Marc只需三行代码即可实现。我们希望这种简单的方法能够激励人们重新思考偏置的边距和偏见的长尾视觉识别标识。

现有的长尾分类（LT）方法仅着眼于解决阶级的失衡，即头部类别的样本多于尾巴类，但忽略了属性的不平衡。实际上，即使班级平衡，由于各种属性，每个类中的样本仍然可能会长时间尾。请注意，后者在根本上比前者更加普遍和具有挑战性，因为属性不仅是大多数数据集的隐含，而且在组合上也具有复杂性，因此平衡的昂贵。因此，我们引入了一个新的研究问题：广义的长尾分类（GLT），共同考虑两种失衡。通过“广义”，我们的意思是，GLT方法自然应该解决传统的LT，但反之亦然。毫不奇怪，我们发现大多数class LT方法在我们提出的两个基准中退化：Imagenet-GLT和Mscoco-GLT。我们认为这是因为他们过分强调了班级分布的调整，同时忽略了学习属性不变的功能。为此，我们提出了一种不变特征学习（IFL）方法，作为GLT的第一个强基线。 IFL首先从不完美的预测中发现具有不同类内分布的环境，然后在其中学习不变的功能。有希望的是，作为改进的功能主链，IFL提高了所有LT阵容：一个/两阶段的重新平衡，增强和合奏。代码和基准可在GitHub上获得：https：//github.com/kaihuatang/generalized-long-tailed-benchmarks.pytorch

视觉世界自然地在目标或场景实例的数量中表现出不平衡，导致\ EMPH {长​​尾分布}。这种不平衡对基于深度学习的分类模式构成了重大挑战。尾课的过采样实例试图解决这种不平衡。然而，有限的视觉多样性导致具有差的呈现能力差的网络。一个简单的计数器到此是解耦表示和分类器网络，并使用过采样仅用于培训分类器。在本文中，而不是反复重新采样相同的图像（以及由此特征），我们探索通过估计尾类分布来生成有意义特征的方向。灵感来自于近期工作的思想，我们创建校准的分布，以对随后用于训练分类器的其他功能。通过在CiFar-100-LT（长尾）数据集上的几个实验，具有不同的不平衡因子和迷你想象 - LT（长尾），我们展示了我们的方法的功效并建立了新的状态 - 艺术。我们还使用T-SNE可视化对生成功能进行了定性分析，并分析了用于校准尾级分布的最近邻居。我们的代码可在https://github.com/rahulvigneswaran/tailcalibx获得。

旨在从长尾数据培训类平衡模型的现有长尾识别方法，通常假设将在均匀的测试类分布上进行评估模型。然而，实际的测试类分布通常违反了这种假设（例如，长尾甚至是长尾的），这将导致现有的方法在现实世界中失败。在这项工作中，我们研究了一个更实用的任务设置，称为测试不稳定的长尾识别，其中训练类分布在测试类分布未知时长尾，可以任意偏斜。除了类别不平衡的问题外，这项任务造成了另一个挑战：培训和测试样本之间的班级分布转移是未识别的。为了处理这项任务，我们提出了一种新的方法，称为测试时间聚合各种专家，提供了两种解决方案策略：（1）一种新的技能 - 多样化专家学习策略，将各种专家培训从单一的处理不同的类分布时颁发不同的专家。长尾训练分配; （2）一种新的测试时间专家聚合策略，利用自我监督来汇总多个专家来处理各种未知的测试分布。理论上我们表明我们的方法具有模拟测试类分布的可提供能力。广泛的实验验证了我们的方法在香草和测试不可知的长尾识别上实现了新的最先进的性能，其中只有三个专家足以处理任意变化的测试级分布。代码可在https://github.com/vanint/tade-agnosticlt获得。

现实世界数据往往展现出长期分布，重量级别不平衡，其中大多数课程可以主导培训过程并改变少数阶层的决策边界。最近，研究人员调查了监督对长尾识别的对比学习的潜力，并证明它提供了强大的性能增益。在本文中，我们表明，虽然监督对比学习可以有助于提高性能，但过去的基线通过不平衡数据分布引入的均匀性差。这种差的均匀性在来自特征空间中具有差的少数阶级的样品中表现出来。为了解决这个问题，我们提出了有针对性的监督对比学习（TSC），从而提高了极度上的特征分布的均匀性。 TSC首先生成一组均匀分布在极度上的目标。然后，在训练期间使不同类别的特征会聚到这些不同的和均匀分布的目标。这迫使所有类别，包括少数群体类别，以维持特征空间中的统一分布，改善了类边界，即使在存在长尾数据的情况下也能提供更好的泛化。多个数据集的实验表明，TSC在长尾识别任务上实现了最先进的性能。

现实世界中的数据通常显示出长尾巴的开放式（带有看不见的类）分布。实践识别系统必须在多数（头）和少数族裔（尾巴）阶级之间取得平衡，在整个分布中进行概括，并承认新颖的阶级（公开阶级）。我们将开放的长尾识别++（OLTR ++）定义为从这种自然分布的数据中学习，并优化了包括已知和开放类的平衡测试集的分类精度。 OLTR ++在一种集成算法中处理不平衡的分类，很少的学习，开放式识别和积极学习，而现有的分类方法通常仅着眼于一个或两个方面，并且在整个频谱中交付不佳。关键挑战是：1）如何在头和尾巴之间共享视觉知识，2）如何减少尾巴和开放式阶级之间的混淆，以及3）如何用学习知识积极地探索开放的课程。我们的算法OLTR ++将图像映射到特征空间，以便视觉概念可以通过记忆关联机制和学识渊博的指标（动态元元素）相互关联，这两者都尊重所封闭的见解类别的封闭世界分类并承认的新颖性打开课程。此外，我们提出了一个基于视觉记忆的主动学习方案，该方案学会以数据效率的方式识别未来扩展的开放类。在三个大规模开放的长尾数据集中，我们从Imagenet（以对象为中心），位置（以场景为中心）和MS1M（面部为中心）数据策划了三个标准基准（CIFAR-10-LT，CIFAR，CIFAR，CIFAR） -100-LT和Inaturalist-18），我们作为统一框架的方法始终展示竞争性能。值得注意的是，我们的方法还显示出积极探索开放阶级和对少数群体的公平分析的强大潜力。

长尾学习旨在应对在现实情况下严重的阶级失衡下统治训练程序的关键挑战。但是，很少有人注意如何量化表示空间中头等的优势严重性。在此激励的情况下，我们将基于余弦的分类器推广到von mises-fisher（VMF）混合模型，该模型被称为VMF分类器，该模型可以通过计算分布重叠系数来定量地测量超晶体空间上的表示质量。据我们所知，这是从分布重叠系数的角度来衡量分类器和特征的表示质量的第一项工作。最重要的是，我们制定了类间差异和类功能的一致性损失项，以减轻分类器的重量之间的干扰，并与分类器的权重相结合。此外，一种新型的训练后校准算法设计为零成本通过类间重叠系数来提高性能。我们的方法的表现优于先前的工作，并具有很大的利润，并在长尾图像分类，语义细分和实例分段任务上实现了最先进的性能（例如，我们在Imagenet-50中实现了55.0 \％的总体准确性LT）。我们的代码可在https://github.com/vipailab/vmf \_op上找到。

人们对从长尾班级分布中学习的具有挑战性的视觉感知任务越来越兴趣。训练数据集中的极端类失衡使模型偏向于识别多数级数据而不是少数级数据。最近，已经提出了两个分支网络的双分支网络（DBN）框架。传统的分支和重新平衡分支用于提高长尾视觉识别的准确性。重新平衡分支使用反向采样器来生成类平衡的训练样本，以减轻由于类不平衡而减轻偏见。尽管该策略在处理偏见方面非常成功，但使用反向采样器进行培训可以降低表示形式的学习绩效。为了减轻这个问题，常规方法使用了精心设计的累积学习策略，在整个培训阶段，重新平衡分支的影响逐渐增加。在这项研究中，我们旨在开发一种简单而有效的方法，以不需要优化的累积学习而在不累积学习的情况下提高DBN的性能。我们设计了一种称为双边混合增强的简单数据增强方法，该方法将统一采样器中的一个样品与反向采样器中的另一个样品结合在一起，以产生训练样本。此外，我们介绍了阶级条件的温度缩放，从而减轻对拟议的DBN结构的多数级别的偏见。我们对广泛使用的长尾视觉识别数据集进行的实验表明，双边混合增加在改善DBN的表示性能方面非常有效，并且所提出的方法可以实现某些类别的先进绩效。