最近,动物姿势估计引起了关注动物行为理解的学术界(例如野生动植物和保护生物学)的兴趣。但是,目前的动物姿势估计遭受了小数据集和较大的数据差异,因此很难获得稳健的性能。为了解决这个问题,我们建议可以利用语言模型学到的与姿势相关语义之间的关系的丰富知识来改善动物姿势估计。因此,在这项研究中,我们介绍了一个新颖的促进框架,以有效地采用语言模型,以更好地根据及时训练来理解动物姿势。在Promptpose中,我们建议将语言知识适应视觉动物的姿势是实现有效动物姿势估计的关键。为此,我们首先介绍文本提示,以在文本语义描述和支持动物关键点功能之间建立连接。此外,我们进一步设计了一个像素级的对比损失,以在文本描述和本地图像特征之间建立密集的联系,以及语义级别的对比损失,以弥合语言图像跨模式预训练的全球对比度之间的差距密集预测中的局部对比。在实践中,Pickerpose在改善动物姿势估计方面显示出巨大的好处。通过进行广泛的实验,我们表明,我们的及时疾病在监督和少量设置下取得了卓越的性能,超过了代表性的方法。源代码和模型将公开可用。
translated by 谷歌翻译
视觉语言(VL)预训练最近受到了广泛的关注。但是,大多数现有的端到端预训练方法只旨在解决诸如图像文本检索,视觉询问答案(VQA)和图像字幕等VL任务,以测试对图像的高级了解,或者仅对目标区域进行测试 - 对诸如短语接地和对象检测等任务的水平理解。我们提出了Fiber(基于回避的变压器),这是一种新的VL模型体系结构,可以无缝处理这两种类型的任务。 Fiber没有将多模式融合到模型深处,而不是将融合后的专用变压器层用于融合,而是通过将交叉注意力插入图像和文本骨干杆中,从而在记忆和性能方面带来了增长。此外,与以前的工作不同,它要么仅在图像文本数据上进行训练,要么在带有框级注释的细粒度数据上进行培训,我们提出了一种两阶段的预训练策略,该策略有效地使用了这两种数据:(( i)基于图像文本数据的粗粒细化预训练;然后是(ii)基于图像文本框数据的细粒度预训练。我们对各种VL任务进行全面的实验,从VQA,图像字幕和检索到短语接地,参考表达理解和对象检测。使用深层多模式融合,结合两阶段的预训练,光纤可对所有任务的强基础进行一致的性能改进,通常使用幅度更优于更多数据的方法。代码可从https://github.com/microsoft/fiber获得。
translated by 谷歌翻译
深度图用于从3D渲染到2D图像效应(例如散景)的广泛应用。但是,单个图像深度估计(侧)模型预测的人通常无法捕获对象中的孤立孔和/或具有不准确的边界区域。同时,使用商业自动掩蔽工具或现成的分割和垫子的方法,甚至是通过手动编辑,使用商业自动掩盖工具或现成的方法更容易获得。因此,在本文中,我们提出了一个新的掩盖引导深度细化的问题,该问题利用通用掩模来完善侧面模型的深度预测。我们的框架执行了分层的细化和介入/架设,将深度图分解为两个由掩码和倒置面罩表示的单独的层。由于具有深度和掩码注释的数据集很少,因此我们提出了一种使用任意掩码和RGB-D数据集的自我监督学习方案。我们从经验上表明,我们的方法对不同类型的掩模和初始深度预测具有鲁棒性,可以准确地完善内部和外掩模边界区域的深度值。我们通过消融研究进一步分析了我们的模型,并证明了实际应用的结果。可以在https://sooyekim.github.io/maskdepth/上找到更多信息。
translated by 谷歌翻译
很少有语义细分旨在识别一个看不见类别的对象区域,只有几个带注释的示例作为监督。几次分割的关键是在支持图像和查询图像之间建立牢固的语义关系,并防止过度拟合。在本文中,我们提出了一个有效的多相似性超关联网络(MSHNET),以解决几个射击语义分割问题。在MSHNET中,我们提出了一种新的生成原型相似性(GPS),与余弦相似性可以在支持图像和查询图像之间建立牢固的语义关系。基于全局特征的本地生成的原型相似性在逻辑上与基于本地特征的全局余弦相似性互补,并且可以通过同时使用两个相似性来更全面地表达查询图像和受支持图像之间的关系。此外,我们提出了MSHNET中的对称合并块(SMB),以有效合并多层,多弹射和多相似性超相关特征。 MSHNET是基于相似性而不是特定类别特征而构建的,这些特征可以实现更一般的统一性并有效地减少过度拟合。在两个基准的语义分割数据集Pascal-5i和Coco-20i上,MSHNET在1次和5次语义分段任务上实现了新的最先进的表演。
translated by 谷歌翻译
虽然基于点的网络被证明是3D点云建模的准确性,但它们仍然落在3D检测中基于体素的竞争对手后面。我们观察到,用于下采样点的主要集合抽象设计可以保持太多的不重要背景信息,可以影响检测对象的特征学习。为了解决这个问题,我们提出了一种名为语义增强集抽象(SASA)的新型集抽象方法。从技术上讲,我们首先将二进制分段模块添加为侧面输出,以帮助识别前景点。基于估计的点亮前景分数,我们提出了一种语义引导的点采样算法,帮助在下采样期间保持更重要的前景点。在实践中,SASA显示有效地识别与前景对象相关的有价值的点,并改善基于点的3D检测特征学习。此外,它是一种易于插入式模块,能够提升各种基于点的探测器,包括单级和两级的探测器。对流行的基蒂和NUSCENES数据集的广泛实验验证了SASA的优越性,提升基于点的检测模型,以达到最先进的基于体素的方法。
translated by 谷歌翻译
空中接入网络已被识别为各种事物互联网(物联网)服务和应用程序的重要驾驶员。特别是,以无人机互联网为中心的空中计算网络基础设施已经掀起了自动图像识别的新革命。这种新兴技术依赖于共享地面真理标记的无人机(UAV)群之间的数据,以培训高质量的自动图像识别模型。但是,这种方法将带来数据隐私和数据可用性挑战。为了解决这些问题,我们首先向一个半监督的联邦学习(SSFL)框架提供隐私保留的UAV图像识别。具体而言,我们提出了模型参数混合策略,以改善两个现实场景下的FL和半监督学习方法的天真组合(标签 - 客户端和标签 - 服务器),其被称为联合混合(FEDMIX)。此外,在不同环境中使用不同的相机模块,在不同环境中使用不同的相机模块,在不同的相机模块,即统计异质性,存在显着差异。为了减轻统计异质性问题,我们提出了基于客户参与训练的频率的聚合规则,即FedFReq聚合规则,可以根据其频率调整相应的本地模型的权重。数值结果表明,我们提出的方法的性能明显优于当前基线的性能,并且对不同的非IID等级的客户数据具有强大。
translated by 谷歌翻译
通过使用图像级分类掩模监督其学习过程,弱监督对象本地化(WSOL)放宽对对象本地化的密度注释的要求。然而,当前的WSOL方法遭受背景位置的过度激活,并且需要后处理以获得定位掩模。本文将这些问题归因于背景提示的不明显,并提出了背景感知分类激活映射(B-CAM),以便仅使用图像级标签同时学习对象和背景的本地化分数。在我们的B-CAM中,两个图像级功能,由潜在背景和对象位置的像素级别功能聚合,用于从对象相关的背景中净化对象功能,并表示纯背景样本的功能,分别。然后基于这两个特征,学习对象分类器和背景分类器,以确定二进制对象本地化掩码。我们的B-CAM可以基于提出的错开分类损失以端到端的方式培训,这不仅可以改善对象本地化,而且还抑制了背景激活。实验表明,我们的B-CAM在Cub-200,OpenImages和VOC2012数据集上优于一级WSOL方法。
translated by 谷歌翻译
尽管视觉变压器模型的令人印象深刻的表示能力,但目前的轻型视觉变压器模型仍然遭受当地地区的不一致和不正确的预测。我们怀疑他们的自我关注机制的力量在较浅和较薄的网络中受到限制。我们提出Lite Vision变压器(LVT),一种新型轻型变压器网络,具有两个增强的自我关注机制,可以改善移动部署的模型性能。对于低级功能,我们介绍了卷积自我关注(CSA)。与以前的合并卷积和自我关注的方法不同,CSA将局部自我关注引入到大小3x3内核内的卷积中,以丰富LVT第一阶段的低级功能。对于高级功能,我们提出了在计算相似性图和递归机制时利用多尺度上下文的递归的自我关注,以增加具有边际额外参数成本的表示能力。 Imagenet识别,ADE20K语义分割和CoCo Panoptic分割对LVT的优越性。代码公开可用。
translated by 谷歌翻译
虽然用变压器(DETR)的检测越来越受欢迎,但其全球注意力建模需要极其长的培训期,以优化和实现有前途的检测性能。现有研究的替代方案主要开发先进的特征或嵌入设计来解决培训问题,指出,基于地区的兴趣区域(ROI)的检测细化可以很容易地帮助减轻DETR方法培训的难度。基于此,我们在本文中介绍了一种新型的经常性闪闪发光的解码器(Rego)。特别是,REGO采用多级复发处理结构,以帮助更准确地逐渐关注前景物体。在每个处理阶段,从ROI的闪烁特征提取视觉特征,其中来自上阶段的检测结果的放大边界框区域。然后,引入了基于一瞥的解码器,以提供基于前一级的瞥见特征和注意力建模输出的精细检测结果。在实践中,Refo可以很容易地嵌入代表性的DETR变体,同时保持其完全端到端的训练和推理管道。特别地,Refo帮助可变形的DETR在MSCOCO数据集上实现44.8AP,只有36个训练时期,与需要500和50时期的第一DETR和可变形的DETR相比,分别可以分别实现相当的性能。实验还表明,Rego始终如一地提升不同DETR探测器的性能高达7%的相对增益,在相同的50次训练时期。代码可通过https://github.com/zhechen/deformable-detr-rego获得。
translated by 谷歌翻译
3D可线模型(3DMMS)是面部形状和外观的生成模型。然而,传统3DMMS的形状参数满足多变量高斯分布,而嵌入式嵌入满足过边距分布,并且这种冲突使得面部重建模型同时保持忠诚度和形状一致性的挑战。为了解决这个问题,我们提出了一种用于单眼脸部重建的新型3DMM的球体面部模型(SFM),这可以保持既有忠诚度和身份一致性。我们的SFM的核心是可以用于重建3D面形状的基矩阵,并且通过采用在第一和第二阶段中使用3D和2D训练数据的两级训练方法来学习基本矩阵。为了解决分发不匹配,我们设计一种新的损失,使形状参数具有超球的潜在空间。广泛的实验表明,SFM具有高表示能力和形状参数空间的聚类性能。此外,它产生富翼面形状,并且形状在单眼性重建中的挑战条件下是一致的。
translated by 谷歌翻译