在本文中,我们介绍了我们在VSPW 2021挑战中使用的解决方案。我们的实验基于两个基线模型,Swin Transformer和MaskFormer。为了进一步提高性能,我们采用随机体重平均技术和设计层次集合策略。不使用任何外部语义分段数据集,我们的解决方案在私人排行榜中排名第5位。此外,我们有一些有趣的尝试解决长尾识别和过度装备的问题,从而实现了Val子集的改进。也许由于分发差异,这些尝试不适用于测试子集。我们还将介绍这些尝试并希望激励其他研究人员。
translated by 谷歌翻译
共同出现的视觉模式使上下文聚集成为语义分割的重要范式。现有的研究重点是建模图像中的上下文,同时忽略图像以下相应类别的有价值的语义。为此,我们提出了一个新颖的软采矿上下文信息,超出了名为McIbi ++的图像范式,以进一步提高像素级表示。具体来说,我们首先设置了动态更新的内存模块,以存储各种类别的数据集级别的分布信息,然后利用信息在网络转发过程中产生数据集级别类别表示。之后,我们为每个像素表示形式生成一个类概率分布,并以类概率分布作为权重进行数据集级上下文聚合。最后,使用汇总的数据集级别和传统的图像级上下文信息来增强原始像素表示。此外,在推论阶段,我们还设计了一种粗到最新的迭代推理策略,以进一步提高分割结果。 MCIBI ++可以轻松地纳入现有的分割框架中,并带来一致的性能改进。此外,MCIBI ++可以扩展到视频语义分割框架中,比基线进行了大量改进。配备MCIBI ++,我们在七个具有挑战性的图像或视频语义分段基准测试中实现了最先进的性能。
translated by 谷歌翻译
最近建议的MaskFormer \ Cite {MaskFormer}对语义分割的任务提供了刷新的透视图:它从流行的像素级分类范例转移到蒙版级分类方法。实质上,它生成对应于类别段的配对概率和掩码,并在推理的分割映射期间结合它们。因此,分割质量依赖于查询如何捕获类别的语义信息及其空间位置。在我们的研究中,我们发现单尺度特征顶部的每个掩模分类解码器不足以提取可靠的概率或掩模。对于挖掘功能金字塔的丰富语义信息,我们提出了一个基于变压器的金字塔融合变压器(PFT),用于多尺度特征顶部的每个掩模方法语义分段。为了有效地利用不同分辨率的图像特征而不会产生过多的计算开销,PFT使用多尺度变压器解码器,具有跨尺度间间的关注来交换互补信息。广泛的实验评估和消融展示了我们框架的功效。特别是,与屏蔽Former相比,我们通过Reset-101c实现了3.2 miou改进了Reset-101c。此外,在ADE20K验证集上,我们的Swin-B骨架的结果与单尺度和多尺寸推断的屏蔽骨架中的较大的Swin-L骨架相匹配,分别实现54.1 miou和55.3 miou。使用Swin-L骨干,我们在ADE20K验证集中实现了56.0 Miou单尺度结果和57.2多尺度结果,从而获得数据集的最先进的性能。
translated by 谷歌翻译
在图像变压器网络的编码器部分中的FineTuning佩带的骨干网一直是语义分段任务的传统方法。然而,这种方法揭示了图像在编码阶段提供的语义上下文。本文认为将图像的语义信息纳入预磨料的基于分层变换器的骨干,而FineTuning可显着提高性能。为实现这一目标,我们提出了一个简单且有效的框架,在语义关注操作的帮助下将语义信息包含在编码器中。此外,我们在训练期间使用轻量级语义解码器,为每个阶段提供监督对中间语义的先前地图。我们的实验表明,结合语义前导者增强了所建立的分层编码器的性能,随着絮凝物的数量略有增加。我们通过将Sromask集成到Swin-Cransformer的每个变体中提供了经验证明,因为我们的编码器与不同的解码器配对。我们的框架在CudeScapes数据集上实现了ADE20K数据集的新型58.22%的MIOU,并在Miou指标中提高了超过3%的内容。代码和检查点在https://github.com/picsart-ai-research/semask-egation上公开使用。
translated by 谷歌翻译
We introduce submodel co-training, a regularization method related to co-training, self-distillation and stochastic depth. Given a neural network to be trained, for each sample we implicitly instantiate two altered networks, ``submodels'', with stochastic depth: we activate only a subset of the layers. Each network serves as a soft teacher to the other, by providing a loss that complements the regular loss provided by the one-hot label. Our approach, dubbed cosub, uses a single set of weights, and does not involve a pre-trained external model or temporal averaging. Experimentally, we show that submodel co-training is effective to train backbones for recognition tasks such as image classification and semantic segmentation. Our approach is compatible with multiple architectures, including RegNet, ViT, PiT, XCiT, Swin and ConvNext. Our training strategy improves their results in comparable settings. For instance, a ViT-B pretrained with cosub on ImageNet-21k obtains 87.4% top-1 acc. @448 on ImageNet-val.
translated by 谷歌翻译
传统上,分割任务是作为一个完整标签的像素分类任务提出的,可以从所有图像或视频共享的固定数量的预定义语义类别中预测每个像素的类。然而,遵循这种表述,在更现实的设置下,标准体系结构将不可避免地遇到各种挑战,其中类别的范围扩大了(例如,超出1K的级别)。另一方面,在典型的图像或视频中,只有少数类别,即存在一小部分完整标签。在本文中,我们提议将分割分解为两个子问题:(i)图像级或视频级多标签分类和(ii)像素级适应性选定标签分类。给定输入图像或视频,我们的框架首先在完整标签上进行多标签分类,然后对完整的标签进行分类,并根据其类置信度得分选择一个小子集。然后,我们使用等级自适应像素分类器对仅选择的标签执行像素的分类,该标签使用一组面向等级的可学习温度参数来调整像素分类分数。我们的方法在概念上是一般的,可以通过简单地使用轻质多标签分类头和等级适应像素分类器来改善各种现有的分割框架。我们通过四个任务进行了竞争性实验结果,证明了我们的框架的有效性,包括图像语义分割,图像泛型细分,视频实例分段和视频语义分段。尤其是,借助我们的rankSeg,Mask2Former在ADE20K PANOPTIC分段/YouTubevis 2019视频实例分段/VSPW视频语义分段基准分别获得了+0.8%/+0.7%/+0.7%。
translated by 谷歌翻译
知识蒸馏是一种有效的方法,用于训练自动驾驶所需的紧凑型识别者。关于图像分类的最新研究表明,在广泛的数据点上匹配的学生和老师对于提高蒸馏的性能至关重要。这个概念(称为函数匹配)适合驾驶场景识别,通常可以提供几乎无标记的数据。在这项研究中,我们通过实验研究了使用如此大量的未标记数据进行蒸馏的影响,以在自主驾驶的结构化预测任务中进行学生模型的性能。通过广泛的实验,我们证明了紧凑型学生模型的表现可以大大提高,甚至可以通过知识蒸馏和大量未标记的数据来匹配大规模教师的表现。
translated by 谷歌翻译
视频场景在野外与不同方案进行了解析,是一个具有挑战性和重要的任务,特别是随着自动驾驶技术的快速发展。野外(VSPW)中的数据集视频场景分析包含良好的修整长时间,密度注释和高分辨率剪辑。基于VSPW,我们设计具有视觉变压器的时间双边网络。我们首先使用卷积设计空间路径以产生能够保留空间信息的低级功能。同时,采用具有视觉变压器的上下文路径来获得足够的上下文信息。此外,时间上下文模块被设计为利用帧间内容信息。最后,该方法可以实现VSPW2021挑战测试数据集的49.85 \%的Union(Miou)的平均交叉点。
translated by 谷歌翻译
卷积神经网络(CNN)通过使用大型数据集在图像分类方面取得了重大成功。但是,在小规模数据集上从头开始学习,有效地有效地学习,这仍然是巨大的挑战。借助有限的培训数据集,类别的概念将是模棱两可的,因为过度参数化的CNN倾向于简单地记住数据集,从而导致概括能力差。因此,研究如何在避免过度拟合的同时学习更多的判别性表示至关重要。由于类别的概念往往是模棱两可的,因此获取更多个人信息很重要。因此,我们提出了一个新框架,称为“吸引和修复”,由对比度正规化(CR)组成以丰富特征表示形式,对称交叉熵(SCE),以平衡不同类别的拟合和平均教师以校准标签信息。具体而言,SCE和CR学习歧视性表示,同时通过班级信息(吸引)和实例(拒绝)之间的适应性权衡缓解过度构成。之后,平均教师通过校准更准确的软伪标签来进一步提高性能。足够的实验验证了吸引和修复框架的有效性。加上其他策略,例如积极的数据增强,tencrop推断和模型结合,我们在ICCV 2021 vipriors图像分类挑战中获得了第二名。
translated by 谷歌翻译
由于相似的外观产品及其各种姿势,在人类级别的精度上设计自动结帐系统为零售商店的精度而言具有挑战性。本文通过提出具有两阶段管道的方法来解决问题。第一阶段检测到类不足的项目,第二阶段专门用于对产品类别进行分类。我们还在视频帧中跟踪对象,以避免重复计数。一个主要的挑战是域间隙,因为模型经过合成数据的训练,但对真实图像进行了测试。为了减少误差差距,我们为第一阶段检测器采用域泛化方法。此外,模型集合用于增强第二阶段分类器的鲁棒性。该方法在AI City Challenge 2022 -Track 4上进行了评估,并在测试A集合中获得F1分40美元\%$。代码在链接https://github.com/cybercore-co-ltd/aicity22-track4上发布。
translated by 谷歌翻译
机器学习中的知识蒸馏是将知识从名为教师的大型模型转移到一个名为“学生”的较小模型的过程。知识蒸馏是将大型网络(教师)压缩到较小网络(学生)的技术之一,该网络可以部署在手机等小型设备中。当教师和学生之间的网络规模差距增加时,学生网络的表现就会下降。为了解决这个问题,在教师模型和名为助教模型的学生模型之间采用了中间模型,这反过来弥补了教师与学生之间的差距。在这项研究中,我们已经表明,使用多个助教模型,可以进一步改进学生模型(较小的模型)。我们使用加权集合学习将这些多个助教模型组合在一起,我们使用了差异评估优化算法来生成权重值。
translated by 谷歌翻译
在这项工作中,我们探讨了用于语义分割知识蒸馏的数据增强。为了避免过度适合教师网络中的噪音,大量培训示例对于知识蒸馏至关重要。 Imagelevel论证技术(例如翻转,翻译或旋转)在先前的知识蒸馏框架中广泛使用。受到功能空间上语义方向的最新进展的启发,我们建议在功能空间中包括以进行有效蒸馏的功能。具体而言,给定语义方向,可以在功能空间中为学生获得无限数量的增强。此外,分析表明,可以通过最大程度地减少增强损失的上限来同时优化这些增强。基于观察结果,开发了一种用于语义分割的知识蒸馏的新算法。对四个语义分割基准测试的广泛实验表明,所提出的方法可以提高当前知识蒸馏方法的性能而没有任何明显的开销。代码可在以下网址获得:https://github.com/jianlong-yuan/fakd。
translated by 谷歌翻译
Recently, large-scale pre-trained models have shown their advantages in many tasks. However, due to the huge computational complexity and storage requirements, it is challenging to apply the large-scale model to real scenes. A common solution is knowledge distillation which regards the large-scale model as a teacher model and helps to train a small student model to obtain a competitive performance. Cross-task Knowledge distillation expands the application scenarios of the large-scale pre-trained model. Existing knowledge distillation works focus on directly mimicking the final prediction or the intermediate layers of the teacher model, which represent the global-level characteristics and are task-specific. To alleviate the constraint of different label spaces, capturing invariant intrinsic local object characteristics (such as the shape characteristics of the leg and tail of the cattle and horse) plays a key role. Considering the complexity and variability of real scene tasks, we propose a Prototype-guided Cross-task Knowledge Distillation (ProC-KD) approach to transfer the intrinsic local-level object knowledge of a large-scale teacher network to various task scenarios. First, to better transfer the generalized knowledge in the teacher model in cross-task scenarios, we propose a prototype learning module to learn from the essential feature representation of objects in the teacher model. Secondly, for diverse downstream tasks, we propose a task-adaptive feature augmentation module to enhance the features of the student model with the learned generalization prototype features and guide the training of the student model to improve its generalization ability. The experimental results on various visual tasks demonstrate the effectiveness of our approach for large-scale model cross-task knowledge distillation scenes.
translated by 谷歌翻译
自我训练在半监督学习中表现出巨大的潜力。它的核心思想是使用在标记数据上学习的模型来生成未标记样本的伪标签,然后自我教学。为了获得有效的监督,主动尝试通常会采用动量老师进行伪标签的预测,但要观察确认偏见问题,在这种情况下,错误的预测可能会提供错误的监督信号并在培训过程中积累。这种缺点的主要原因是,现行的自我训练框架充当以前的知识指导当前状态,因为老师仅与过去的学生更新。为了减轻这个问题,我们提出了一种新颖的自我训练策略,该策略使模型可以从未来学习。具体而言,在每个培训步骤中,我们都会首先优化学生(即,在不将其应用于模型权重的情况下缓存梯度),然后用虚拟未来的学生更新老师,最后要求老师为伪标记生产伪标签目前的学生作为指导。这样,我们设法提高了伪标签的质量,从而提高了性能。我们还通过深入(FST-D)和广泛(FST-W)窥视未来,开发了我们未来自我训练(FST)框架的两个变体。将无监督的域自适应语义分割和半监督语义分割的任务作为实例,我们在广泛的环境下实验表明了我们方法的有效性和优越性。代码将公开可用。
translated by 谷歌翻译
在现实世界中,医疗数据集通常表现出长尾数据分布(即,一些类占据大多数数据,而大多数类都很少有一些样本),这导致挑战的不平衡学习场景。例如,估计有超过40种不同的视网膜疾病,无论发生了多种发病率,然而,来自全球患者队列的超过30多种条件非常罕见,这导致基于深度学习的筛选典型的长尾学习问题楷模。此外,视网膜中可能存在多种疾病,这导致多标签情景并为重新采样策略带来标签共生问题。在这项工作中,我们提出了一种新颖的框架,利用了视网膜疾病的先验知识,以便在等级 - 明智的约束下培训模型的更强大的代表。然后,首先引入了一个实例 - 明智的类平衡的采样策略和混合知识蒸馏方式,以从长尾的多标签分布中学习。我们的实验培训超过一百万个样品的视网膜数据集展示了我们所提出的方法的优越性,这些方法优于所有竞争对手,并显着提高大多数疾病的识别准确性,特别是那些罕见的疾病。
translated by 谷歌翻译
基础模型不是模型生产管道的最后一章。以少数数据以少数数据传输到数千个下游任务正在成为基础模型的应用的趋势。在本文中,我们提出了一个通用转移框架:一个传输所有(OTA),将任何视觉基础模型(VFM)转移到具有少数下游数据的下游任务。我们首先通过图像重新表示微调(IRF)将VFM传输到特定于任务特定模型,然后将知识从特定于任务的模型蒸馏到部署的模型,其中包含由下游图像引导的生成(DIGG)产生的数据。OTA在传输时没有对上游数据,VFM和下游任务的依赖性。它还为VFM研究人员提供了一种方法,以释放其上游信息,以便更好地转移,但由于隐私要求而没有泄漏数据。大规模实验在少数数据设置中验证我们方法的有效性和优越性。我们的代码将被释放。
translated by 谷歌翻译
作为模型压缩的一种有前途的方法,知识蒸馏通过从繁琐的知识转移知识来改善紧凑模型的性能。用于指导学生培训的知识很重要。语义分割中的先前蒸馏方法努力从这些特征中提取各种形式的知识,涉及依靠先前信息并具有有限的性能提高的精心手动设计。在本文中,我们提出了一种称为标准化功能蒸馏(NFD)的简单而有效的特征蒸馏方法,旨在实现原始功能的有效蒸馏,而无需手动设计新的知识形式。关键的想法是防止学生专注于模仿通过归一化的教师特征响应的幅度。我们的方法可获得有关CityScapes,VOC 2012和ADE20K数据集的语义细分的最新蒸馏结果。代码将可用。
translated by 谷歌翻译
变压器模型在处理各种视觉任务方面表现出了有希望的有效性。但是,与训练卷积神经网络(CNN)模型相比,训练视觉变压器(VIT)模型更加困难,并且依赖于大规模训练集。为了解释这一观察结果,我们做出了一个假设,即\ textit {vit模型在捕获图像的高频组件方面的有效性较小,而不是CNN模型},并通过频率分析对其进行验证。受这一发现的启发,我们首先研究了现有技术从新的频率角度改进VIT模型的影响,并发现某些技术(例如,randaugment)的成功可以归因于高频组件的更好使用。然后,为了补偿这种不足的VIT模型能力,我们提出了HAT,该HAT可以通过对抗训练直接增强图像的高频组成部分。我们表明,HAT可以始终如一地提高各种VIT模型的性能(例如VIT-B的 +1.2%,Swin-B的 +0.5%),尤其是提高了仅使用Imagenet-的高级模型Volo-D5至87.3% 1K数据,并且优势也可以维持在分发数据的数据上,并转移到下游任务。该代码可在以下网址获得:https://github.com/jiawangbai/hat。
translated by 谷歌翻译
知识蒸馏(KD)在将学习表征从大型模型(教师)转移到小型模型(学生)方面表现出非常有希望的能力。但是,随着学生和教师之间的容量差距变得更大,现有的KD方法无法获得更好的结果。我们的工作表明,“先验知识”对KD至关重要,尤其是在应用大型老师时。特别是,我们提出了动态的先验知识(DPK),该知识将教师特征的一部分作为特征蒸馏之前的先验知识。这意味着我们的方法还将教师的功能视为“输入”,而不仅仅是``目标''。此外,我们根据特征差距动态调整训练阶段的先验知识比率,从而引导学生在适当的困难中。为了评估所提出的方法,我们对两个图像分类基准(即CIFAR100和Imagenet)和一个对象检测基准(即MS Coco)进行了广泛的实验。结果表明,在不同的设置下,我们方法在性能方面具有优势。更重要的是,我们的DPK使学生模型的表现与教师模型的表现呈正相关,这意味着我们可以通过应用更大的教师进一步提高学生的准确性。我们的代码将公开用于可重复性。
translated by 谷歌翻译
真实世界的图像通常是通过对每级图像数量的显着不平衡的特征,导致长尾的分布。长尾视觉识别的有效和简单的方法是分别学习特征表示和分类器,分别使用实例和类平衡采样。在这项工作中,我们介绍一个新的框架,通过键观察,即使用实例采样学习的特征表示远远不受长尾设置的最佳选择。我们的主要贡献是一种新的培训方法,称为类别平衡蒸馏(CBD),其利用知识蒸馏来增强特征表示。 CBD允许特征表示在第二阶段的老师指导的第二次培训阶段演变。第二阶段使用类平衡的采样,以专注于非代表性的类。此框架可以自然地适应多个教师的使用,从模型的集合中解锁信息以增强识别能力。我们的实验表明,所提出的技术始终如一地优于本领域的长尾识别基准,例如想象群 - LT,Inaturatibry17和Inaturation18。
translated by 谷歌翻译