在这项工作中,我们介绍了一种新的长尾识别战略,通过无训练知识转移来解决尾课的几次射门问题。我们的目标是将从信息丰富的常见课程获得的知识转移到语义上类似,但数据饥饿的罕见课程,以获得更强的尾级陈述。我们利用类原型和学习余弦分类器在特征空间中提供两个不同,互补的类集群中心的不同互补表示,并使用注意机制从常见类别中选择和重新测试学习的分类器特征,以获得更高质量的珍稀类表示。我们的知识转移过程自由培训,减少过度风险,并可能够为新课程提供持续的分类器。实验表明,我们的方法可以在罕见的阶级提高显着的性能,同时保持稳健的普通类性能,优于直接可比的最先进模型。
translated by 谷歌翻译
The long-tail distribution of the visual world poses great challenges for deep learning based classification models on how to handle the class imbalance problem. Existing solutions usually involve class-balancing strategies, e.g. by loss re-weighting, data re-sampling, or transfer learning from head-to tail-classes, but most of them adhere to the scheme of jointly learning representations and classifiers. In this work, we decouple the learning procedure into representation learning and classification, and systematically explore how different balancing strategies affect them for long-tailed recognition. The findings are surprising: (1) data imbalance might not be an issue in learning high-quality representations; (2) with representations learned with the simplest instance-balanced (natural) sampling, it is also possible to achieve strong long-tailed recognition ability by adjusting only the classifier. We conduct extensive experiments and set new state-of-the-art performance on common long-tailed benchmarks like ImageNet-LT, Places-LT and iNaturalist, showing that it is possible to outperform carefully designed losses, sampling strategies, even complex modules with memory, by using a straightforward approach that decouples representation and classification. Our code is available at https://github.com/facebookresearch/classifier-balancing.
translated by 谷歌翻译
视觉世界自然地在目标或场景实例的数量中表现出不平衡,导致\ EMPH {长​​尾分布}。这种不平衡对基于深度学习的分类模式构成了重大挑战。尾课的过采样实例试图解决这种不平衡。然而,有限的视觉多样性导致具有差的呈现能力差的网络。一个简单的计数器到此是解耦表示和分类器网络,并使用过采样仅用于培训分类器。在本文中,而不是反复重新采样相同的图像(以及由此特征),我们探索通过估计尾类分布来生成有意义特征的方向。灵感来自于近期工作的思想,我们创建校准的分布,以对随后用于训练分类器的其他功能。通过在CiFar-100-LT(长尾)数据集上的几个实验,具有不同的不平衡因子和迷你想象 - LT(长尾),我们展示了我们的方法的功效并建立了新的状态 - 艺术。我们还使用T-SNE可视化对生成功能进行了定性分析,并分析了用于校准尾级分布的最近邻居。我们的代码可在https://github.com/rahulvigneswaran/tailcalibx获得。
translated by 谷歌翻译
长尾数据集(Head Class)组成的培训样本比尾巴类别多得多,这会导致识别模型对头等舱有偏见。加权损失是缓解此问题的最受欢迎的方法之一,最近的一项工作表明,班级难度可能比常规使用的类频率更好地决定了权重的分布。在先前的工作中使用了一种启发式公式来量化难度,但是我们从经验上发现,最佳公式取决于数据集的特征。因此,我们提出了困难网络,该难题学习在元学习框架中使用模型的性能来预测类的难度。为了使其在其他班级的背景下学习班级的合理难度,我们新介绍了两个关键概念,即相对难度和驾驶员损失。前者有助于困难网络在计算班级难度时考虑其他课程,而后者对于将学习指向有意义的方向是必不可少的。对流行的长尾数据集进行了广泛的实验证明了该方法的有效性,并且在多个长尾数据集上实现了最先进的性能。
translated by 谷歌翻译
视觉世界自然地展现了一个长尾的开放类分布,这对现代视觉系统带来了巨大挑战。现有方法可以执行类重新平衡策略或直接改进网络模块以解决问题。然而,他们仍然用有限一套预定义标签训练模型,限制了他们的监督信息并限制了他们对新颖实例的可转移性。新途径上的大型对比视觉普瑞宁普雷宁闪光灯的最新进展,可视识别。利用开放词汇监督,预先染色的对比视觉语言模型学习强大的多模式表示,这是对处理数据缺陷和看不见的概念。通过计算视觉和文本输入之间的语义相似性,可视识别被转换为vision语言匹配问题。灵感来自于此,我们提出了民谣,利用了对比尾识别的对比视觉模型。我们首先通过对特定的长尾目标数据集进行对比学习继续预先预留视觉语言骨干。之后,我们冻结了骨干,进一步采用了额外的适配器层,以增强通过重新采样策略构建的平衡训练样本上的尾级课程的表示。已经在三个流行的长尾识别基准测试中进行了广泛的实验。因此,我们简单有效的方法设定了新的最先进的表演,优于具有大边距的竞争基础。代码在https://github.com/gaopengcuhk/ballad发布。
translated by 谷歌翻译
现实世界中的数据通常遵循长尾巴的分布,其中一些多数类别占据了大多数数据,而大多数少数族裔类别都包含有限数量的样本。分类模型最小化跨凝结的努力来代表和分类尾部类别。尽管已经对学习无偏分类器的学习问题进行了充分的研究,但代表不平衡数据的方法却没有探索。在本文中,我们专注于表示不平衡数据的表示。最近,受到监督的对比学习最近在平衡数据上表现出了有希望的表现。但是,通过我们的理论分析,我们发现对于长尾数据,它未能形成常规的单纯形,这是代表学习的理想几何配置。为了纠正SCL的优化行为并进一步改善了长尾视觉识别的性能,我们提出了平衡对比度学习(BCL)的新型损失。与SCL相比,我们在BCL:类平均水平方面有两个改进,可以平衡负类的梯度贡献。课堂组合,允许所有类都出现在每个迷你批次中。提出的平衡对比度学习(BCL)方法满足形成常规单纯形的条件并有助于跨透明拷贝的优化。配备了BCL,提出的两分支框架可以获得更强的特征表示,并在诸如CIFAR-10-LT,CIFAR-100-LT,Imagenet-LT和Inaturalist2018之类的长尾基准数据集上实现竞争性能。我们的代码可在\ href {https://github.com/flamiezhu/bcl} {this url}中获得。
translated by 谷歌翻译
旨在从长尾数据培训类平衡模型的现有长尾识别方法,通常假设将在均匀的测试类分布上进行评估模型。然而,实际的测试类分布通常违反了这种假设(例如,长尾甚至是长尾的),这将导致现有的方法在现实世界中失败。在这项工作中,我们研究了一个更实用的任务设置,称为测试不稳定的长尾识别,其中训练类分布在测试类分布未知时长尾,可以任意偏斜。除了类别不平衡的问题外,这项任务造成了另一个挑战:培训和测试样本之间的班级分布转移是未识别的。为了处理这项任务,我们提出了一种新的方法,称为测试时间聚合各种专家,提供了两种解决方案策略:(1)一种新的技能 - 多样化专家学习策略,将各种专家培训从单一的处理不同的类分布时颁发不同的专家。长尾训练分配; (2)一种新的测试时间专家聚合策略,利用自我监督来汇总多个专家来处理各种未知的测试分布。理论上我们表明我们的方法具有模拟测试类分布的可提供能力。广泛的实验验证了我们的方法在香草和测试不可知的长尾识别上实现了新的最先进的性能,其中只有三个专家足以处理任意变化的测试级分布。代码可在https://github.com/vanint/tade-agnosticlt获得。
translated by 谷歌翻译
现实世界中的数据通常显示出长尾巴的开放式(带有看不见的类)分布。实践识别系统必须在多数(头)和少数族裔(尾巴)阶级之间取得平衡,在整个分布中进行概括,并承认新颖的阶级(公开阶级)。我们将开放的长尾识别++(OLTR ++)定义为从这种自然分布的数据中学习,并优化了包括已知和开放类的平衡测试集的分类精度。 OLTR ++在一种集成算法中处理不平衡的分类,很少的学习,开放式识别和积极学习,而现有的分类方法通常仅着眼于一个或两个方面,并且在整个频谱中交付不佳。关键挑战是:1)如何在头和尾巴之间共享视觉知识,2)如何减少尾巴和开放式阶级之间的混淆,以及3)如何用学习知识积极地探索开放的课程。我们的算法OLTR ++将图像映射到特征空间,以便视觉概念可以通过记忆关联机制和学识渊博的指标(动态元元素)相互关联,这两者都尊重所封闭的见解类别的封闭世界分类并承认的新颖性打开课程。此外,我们提出了一个基于视觉记忆的主动学习方案,该方案学会以数据效率的方式识别未来扩展的开放类。在三个大规模开放的长尾数据集中,我们从Imagenet(以对象为中心),位置(以场景为中心)和MS1M(面部为中心)数据策划了三个标准基准(CIFAR-10-LT,CIFAR,CIFAR,CIFAR) -100-LT和Inaturalist-18),我们作为统一框架的方法始终展示竞争性能。值得注意的是,我们的方法还显示出积极探索开放阶级和对少数群体的公平分析的强大潜力。
translated by 谷歌翻译
深度神经网络在严重的类不平衡数据集上的表现不佳。鉴于对比度学习的有希望的表现,我们提出了重新平衡的暹罗对比度采矿(RESCOM)来应对不平衡的识别。基于数学分析和仿真结果,我们声称监督的对比学习在原始批次和暹罗批次水平上都遭受双重失衡问题,这比长尾分类学习更为严重。在本文中,在原始批处理水平上,我们引入了级别平衡的监督对比损失,以分配不同类别的自适应权重。在暹罗批次级别,我们提出了一个级别平衡的队列,该队列维持所有类的键相同。此外,我们注意到,相对于对比度逻辑的不平衡对比损失梯度可以将其分解为阳性和负面因素,易于阳性和易于负面因素将使对比度梯度消失。我们建议有监督的正面和负面对挖掘,以获取信息对的对比度计算并改善表示形式学习。最后,为了大致最大程度地提高两种观点之间的相互信息,我们提出了暹罗平衡的软性软件,并与一阶段训练的对比损失结合。广泛的实验表明,在多个长尾识别基准上,RESCON优于先前的方法。我们的代码和模型可公开可用:https://github.com/dvlab-research/rescom。
translated by 谷歌翻译
现实世界数据通常存在长尾分布。对不平衡数据的培训倾向于呈现神经网络在头部上表现良好,而尾部课程则更加差。尾班的培训实例的严重稀疏性是主要挑战,这导致培训期间的偏见分配估计。丰富的努力已经致力于改善挑战,包括数据重新采样和综合尾班的新培训实例。然而,没有先前的研究已经利用了从头课程转移到尾班的可转让知识,以校准尾舱的分布。在本文中,我们假设可以通过类似的头部级别来丰富尾部类,并提出一种名为标签感知分布校准Ladc的新型分布校准方法。 Ladc从相关的头部课程转移统计数据以推断尾部课程的分布。从校准分布的采样进一步促进重新平衡分类器。图像和文本的实验和文本长尾数据集表明,LADC显着优于现有方法。可视化还显示LADC提供更准确的分布估计。
translated by 谷歌翻译
真实世界的图像通常是通过对每级图像数量的显着不平衡的特征,导致长尾的分布。长尾视觉识别的有效和简单的方法是分别学习特征表示和分类器,分别使用实例和类平衡采样。在这项工作中,我们介绍一个新的框架,通过键观察,即使用实例采样学习的特征表示远远不受长尾设置的最佳选择。我们的主要贡献是一种新的培训方法,称为类别平衡蒸馏(CBD),其利用知识蒸馏来增强特征表示。 CBD允许特征表示在第二阶段的老师指导的第二次培训阶段演变。第二阶段使用类平衡的采样,以专注于非代表性的类。此框架可以自然地适应多个教师的使用,从模型的集合中解锁信息以增强识别能力。我们的实验表明,所提出的技术始终如一地优于本领域的长尾识别基准,例如想象群 - LT,Inaturatibry17和Inaturation18。
translated by 谷歌翻译
许多现实世界的识别问题都有不平衡或长尾标签的分布。这些分布使表示形式学习更具挑战性,因为对尾巴类别的概括有限。如果测试分布与训练分布有所不同,例如统一与长尾,需要解决分配转移的问题。为此,最近的作品通过贝叶斯定理的启发,使用边缘修改扩展了SoftMax跨凝结。在本文中,我们通过专家的平衡产品(Balpoe)概括了几种方法,该方法结合了一个具有不同测试时间目标分布的模型家庭,以解决数据中的不平衡。拟议的专家在一个阶段进行培训,无论是共同还是独立的,并无缝融合到Balpoe中。我们表明,Balpoe是Fisher的一致性,可以最大程度地减少均衡误差并执行广泛的实验以验证我们的方法的有效性。最后,我们研究了在这种情况下混合的效果,发现正则化是学习校准专家的关键要素。我们的实验表明,正则化的BALPOE在测试准确性和校准指标上的表现非常出色,从而导致CIFAR-100-LT,Imagenet-LT和Inaturalist-2018数据集的最新结果。该代码将在纸质接受后公开提供。
translated by 谷歌翻译
Real world data often have a long-tailed and open-ended distribution. A practical recognition system must classify among majority and minority classes, generalize from a few known instances, and acknowledge novelty upon a never seen instance. We define Open Long-Tailed Recognition (OLTR) as learning from such naturally distributed data and optimizing the classification accuracy over a balanced test set which include head, tail, and open classes. OLTR must handle imbalanced classification, few-shot learning, and open-set recognition in one integrated algorithm, whereas existing classification approaches focus only on one aspect and deliver poorly over the entire class spectrum. The key challenges are how to share visual knowledge between head and tail classes and how to reduce confusion between tail and open classes.We develop an integrated OLTR algorithm that maps an image to a feature space such that visual concepts can easily relate to each other based on a learned metric that respects the closed-world classification while acknowledging the novelty of the open world. Our so-called dynamic metaembedding combines a direct image feature and an associated memory feature, with the feature norm indicating the familiarity to known classes. On three large-scale OLTR datasets we curate from object-centric ImageNet, scenecentric Places, and face-centric MS1M data, our method consistently outperforms the state-of-the-art. Our code, datasets, and models enable future OLTR research and are publicly available at https://liuziwei7.github. io/projects/LongTail.html.
translated by 谷歌翻译
在过去的几年里,几年枪支学习(FSL)引起了极大的关注,以最大限度地减少标有标记的训练示例的依赖。FSL中固有的困难是处理每个课程的培训样本太少的含糊不清的歧义。为了在FSL中解决这一基本挑战,我们的目标是培训可以利用关于新颖类别的先前语义知识来引导分类器合成过程的元学习模型。特别是,我们提出了语义调节的特征注意力和样本注意机制,估计表示尺寸和培训实例的重要性。我们还研究了FSL的样本噪声问题,以便在更现实和不完美的环境中利用Meta-Meverys。我们的实验结果展示了所提出的语义FSL模型的有效性,而没有样品噪声。
translated by 谷歌翻译
大多数现有的最新视频分类方法假设训练数据遵守统一的分布。但是,现实世界中的视频数据通常会表现出不平衡的长尾巴分布,从而导致模型偏见对头等阶层,并且在尾巴上的性能相对较低。虽然当前的长尾分类方法通常集中在图像分类上,但将其调整到视频数据并不是微不足道的扩展。我们提出了一种端到端的多专家分布校准方法,以基于两级分布信息来应对这些挑战。该方法共同考虑了每个类别中样品的分布(类内部分布)和各种数据(类间分布)的总体分布,以解决在长尾分布下数据不平衡数据的问题。通过对两级分布信息进行建模,该模型可以共同考虑头等阶层和尾部类别,并将知识从头等阶层显着转移,以提高尾部类别的性能。广泛的实验验证了我们的方法是否在长尾视频分类任务上实现了最先进的性能。
translated by 谷歌翻译
长尾分布是现实世界中的常见现象。提取的大规模图像数据集不可避免地证明了长尾巴的属性和经过不平衡数据训练的模型可以为代表性过多的类别获得高性能,但为代表性不足的类别而苦苦挣扎,导致偏见的预测和绩效降低。为了应对这一挑战,我们提出了一种名为“逆图像频率”(IIF)的新型偏差方法。 IIF是卷积神经网络分类层中逻辑的乘法边缘调整转换。我们的方法比类似的作品实现了更强的性能,并且对于下游任务(例如长尾实例分割)特别有用,因为它会产生较少的假阳性检测。我们的广泛实验表明,IIF在许多长尾基准的基准(例如Imagenet-lt,cifar-lt,ploce-lt和lvis)上超过了最先进的现状,在Imagenet-lt上,Resnet50和26.2%达到了55.8%的TOP-1准确性LVIS上使用MaskRCNN分割AP。代码可在https://github.com/kostas1515/iif中找到
translated by 谷歌翻译
很少有视觉识别是指从一些标记实例中识别新颖的视觉概念。通过将查询表示形式与类表征进行比较以预测查询实例的类别,许多少数射击的视觉识别方法采用了基于公制的元学习范式。但是,当前基于度量的方法通常平等地对待所有实例,因此通常会获得有偏见的类表示,考虑到并非所有实例在总结了类级表示的实例级表示时都同样重要。例如,某些实例可能包含无代表性的信息,例如过多的背景和无关概念的信息,这使结果偏差。为了解决上述问题,我们提出了一个新型的基于公制的元学习框架,称为实例自适应类别表示网络(ICRL-net),以进行几次视觉识别。具体而言,我们开发了一个自适应实例重新平衡网络,具有在生成班级表示,通过学习和分配自适应权重的不同实例中的自适应权重时,根据其在相应类的支持集中的相对意义来解决偏见的表示问题。此外,我们设计了改进的双线性实例表示,并结合了两个新型的结构损失,即,阶层内实例聚类损失和阶层间表示区分损失,以进一步调节实例重估过程并完善类表示。我们对四个通常采用的几个基准测试:Miniimagenet,Tieredimagenet,Cifar-FS和FC100数据集进行了广泛的实验。与最先进的方法相比,实验结果证明了我们的ICRL-NET的优势。
translated by 谷歌翻译
视觉识别任务中的长尾类分布对于如何处理头部和尾部类之间的偏置预测,即,模型倾向于将尾部类作为头部类进行分类。虽然现有的研究专注于数据重采采样和损失函数工程,但在本文中,我们采取了不同的视角:分类利润率。我们研究边距和注册之间的关系(分类得分)并经验遵守偏置边缘,并且偏置的Logits是正相关的。我们提出MARC,一个简单但有效的边缘校准函数,用于动态校准偏置边缘的偏置利润。我们通过对普通的长尾基准测试进行了广泛的实验,包括CIFAR-LT,Imagenet-LT,LT,以及不适物 - LT的广泛实验。实验结果表明,我们的MARC在这些基准上实现了有利的结果。此外,Marc只需三行代码即可实现。我们希望这种简单的方法能够激励人们重新思考偏置的边距和偏见的长尾视觉识别标识。
translated by 谷歌翻译
自我监督的学习在表示视觉和文本数据的表示方面取得了巨大的成功。但是,当前的方法主要在经过良好策划的数据集中验证,这些数据集未显示现实世界的长尾分布。在损失的角度或模型观点中,重新平衡的重新平衡是为了考虑自我监督的长尾学习的最新尝试,类似于被监督的长尾学习中的范式。然而,没有标签的帮助,由于尾巴样品发现或启发式结构设计的限制,这些探索并未显示出预期的明显希望。与以前的作品不同,我们从替代角度(即数据角度)探索了这个方向,并提出了一种新颖的增强对比度学习(BCL)方法。具体而言,BCL利用深神经网络的记忆效果自动推动对比度学习中样本视图的信息差异,这更有效地增强了标签 - unaware环境中的长尾学习。对一系列基准数据集进行的广泛实验证明了BCL对几种最新方法的有效性。我们的代码可在https://github.com/mediabrain-sjtu/bcl上找到。
translated by 谷歌翻译
现代ML方法在培训数据是IID,大规模和良好标记的时候Excel。在不太理想的条件下学习仍然是一个开放的挑战。在不利条件下,几次射击,持续的,转移和代表学习的子场在学习中取得了很大的进步;通过方法和见解,每个都提供了独特的优势。这些方法解决了不同的挑战,例如依次到达的数据或稀缺的训练示例,然而,在部署之前,ML系统将面临困难的条件。因此,需要可以处理实际设置中许多学习挑战的一般ML系统。为了促进一般ML方法目标的研究,我们介绍了一个新的统一评估框架 - 流体(灵活的顺序数据)。流体集成了几次拍摄,持续的,转移和表示学习的目标,同时能够比较和整合这些子场的技术。在流体中,学习者面临数据流,并且必须在选择如何更新自身时进行顺序预测,快速调整到新颖的类别,并处理更改的数据分布;虽然会计计算总额。我们对广泛的方法进行实验,这些方法阐述了新的洞察当前解决方案的优缺点并表明解决了新的研究问题。作为更一般方法的起点,我们展示了两种新的基线,其在流体上优于其他评估的方法。项目页面:https://raivn.cs.washington.edu/projects/fluid/。
translated by 谷歌翻译