零拍学习（ZSL）旨在将分类能力转移到看不见的课程。最近的方法证明，泛化和专业化是在ZSL中实现良好性能的两个基本能力。然而，它们只关注一个能力，导致模型，这些模型太过普遍，具有劣化的分类能力或专注于概括到看不见的课程。在本文中，我们提出了一种端到端网络，具有平衡的泛化和专业化能力，称为BGSNet，利用两种能力，并在实例和数据集级别平衡它们。具体而言，BGSNet由两个分支组成：泛化网络（GNET），它应用epiSodic元学习学习广义知识，以及平衡专业化网络（BSNet），它采用多个细心提取器来提取歧视特征并满足实例级别平衡。一种新颖的自调整分集损失旨在优化具有较少冗余和更多样性的BSNet。我们进一步提出了可分辨性的数据集级别平衡并更新线性退火调度中的权重，以模拟网络修剪，从而以低成本获得BSNet的最佳结构，并且实现了数据集级平衡。四个基准数据集的实验展示了我们模型的效果。足够的组分消融证明了整合泛化和专业能力的必要性。
translated by 谷歌翻译
零拍摄学习（ZSL）旨在将知识从看见课程转移到语义相关的看不见的看不见的类，这在训练期间不存在。 ZSL的有希望的策略是在语义侧信息中综合未经调节的视野类的视觉特征，并结合元学习，以消除模型对所看到的课程的固有偏差。虽然现有的元生成方法追求跨任务分布的共同模型，但我们的目标是构建适应任务特征的生成网络。为此，我们提出了一个属性调制的生成元模型，用于零射击学习（Amaz）。我们的模型包括属性感知调制网络，属性增强生成网络和属性加权分类器。给定看不见的类，调制网络通过应用特定任务的变换自适应地调制发电机，使得生成网络可以适应高度多样化的任务。加权分类器利用数据质量来增强培训过程，进一步提高模型性能。我们对四种广泛使用的基准测试的实证评估表明，Amaz优先效仿最先进的方法在ZSL和广义ZSL设置中，展示了我们方法的优越性。我们对零拍摄图像检索任务的实验表明了Amaz的合成描绘真实视觉特征的情况的能力。
translated by 谷歌翻译
零拍摄学习（ZSL）旨在通过语义相关转移观察到的课程的学习知识。有希望的策略是学习一个全球本地代表，将全球信息纳入额外的地方（即输入的小部分/地区）。但是，现有方法根据显式功能发现本地，而无需挖掘区域内部属性和关系。在这项工作中，我们提出了一种新的熵引导的增强部分卷积网络（ERPCNET），其基于没有人为注释区域的语义相关性和视觉相关性地提取和聚集在地区。 ERPCNET使用加强部分卷积和熵指导;它不仅在动态发现全球合作的地方，而且还可以更快地收敛于政策梯度优化。我们通过在ZSL和四个基准数据集中的ZSL和广义零射击学习（GZSL）设置下，通过比较来展示ERPCNET的性能。我们还显示ERPCNet是时间高效，可通过可视化分析来解释。
translated by 谷歌翻译
零拍学习（ZSL）旨在通过利用所见类和看不见的类之间共享的语义描述来识别看不见的类。当前的方法表明，通过将语义嵌入将视觉空间投射到视觉空间中是类原型，从而有效地学习视觉语义对齐是有效的。但是，这样的投影函数仅与可见的类有关。当应用于看不见的类时，原型通常由于域移位而次优。在本文中，我们建议通过称为LPL的占位符学习原型，以消除看到和看不见的阶级之间的域转移。具体来说，我们将看到的课程结合在一起，以使新课程成为视觉和语义空间中看不见的班级的占位符。占位持有人放置在看到的班级之间，鼓励人们高度分散所见类的原型。插入良好的看不见的空间也可以保留更多的空间。从经验上讲，分离良好的原型有助于抵消由域转移引起的视觉声音错位。此外，我们利用一种新颖的面向语义的微调来保证占位符的语义可靠性。在五个基准数据集上进行的广泛实验证明了LPL在最新方法上的显着性能提高。代码可在https://github.com/zaiquanyang/lpl上找到。
translated by 谷歌翻译
零射击学习（ZSL）的目前方法努力学习能够捕获复杂相关性的易于化语义知识。通过\ EMPH {螺旋课程}，这增强通过重新访问知识学习过程的启发，我们提出螺旋学习的一种形式，其重访基于属性组的序列（视觉表示例如，\ EMPH {颜色}和\ EMPH的组合组{形状}）。螺旋学习旨在学习广义本地相关性，使模型能够逐步增强全球学习，从而了解复杂的相关性。我们的实现基于2级\ emph {加强自修订（RSR）}框架：\ emph {preview}和\ emph {review}。 RSR首先预览视觉信息以虚弱的方式构建不同的属性组。然后，它基于属性组螺旋地学习精细的本地，并使用本地来修改全局语义相关性。我们的框架在零射频和广义零点设置的四个基准数据集中占据了最先进的算法，这证明了螺旋学习在学习易于和复杂的相关性方面的有效性。我们还进行了广泛的分析，以显示属性组和加强决策过程可以捕获互补语义信息以改善预测和援助解释性。
translated by 谷歌翻译
很少有视觉识别是指从一些标记实例中识别新颖的视觉概念。通过将查询表示形式与类表征进行比较以预测查询实例的类别，许多少数射击的视觉识别方法采用了基于公制的元学习范式。但是，当前基于度量的方法通常平等地对待所有实例，因此通常会获得有偏见的类表示，考虑到并非所有实例在总结了类级表示的实例级表示时都同样重要。例如，某些实例可能包含无代表性的信息，例如过多的背景和无关概念的信息，这使结果偏差。为了解决上述问题，我们提出了一个新型的基于公制的元学习框架，称为实例自适应类别表示网络（ICRL-net），以进行几次视觉识别。具体而言，我们开发了一个自适应实例重新平衡网络，具有在生成班级表示，通过学习和分配自适应权重的不同实例中的自适应权重时，根据其在相应类的支持集中的相对意义来解决偏见的表示问题。此外，我们设计了改进的双线性实例表示，并结合了两个新型的结构损失，即，阶层内实例聚类损失和阶层间表示区分损失，以进一步调节实例重估过程并完善类表示。我们对四个通常采用的几个基准测试：Miniimagenet，Tieredimagenet，Cifar-FS和FC100数据集进行了广泛的实验。与最先进的方法相比，实验结果证明了我们的ICRL-NET的优势。
translated by 谷歌翻译
广义零射击学习（GZSL）旨在培训一个模型，以在某些输出类别在监督学习过程中未知的情况下对数据样本进行分类。为了解决这一具有挑战性的任务，GZSL利用可见的（源）和看不见的（目标）类的语义信息来弥合所见类和看不见的类之间的差距。自引入以来，已经制定了许多GZSL模型。在这篇评论论文中，我们介绍了有关GZSL的全面评论。首先，我们提供了GZSL的概述，包括问题和挑战。然后，我们为GZSL方法介绍了分层分类，并讨论了每个类别中的代表性方法。此外，我们讨论了GZSL的可用基准数据集和应用程序，以及有关研究差距和未来研究方向的讨论。
translated by 谷歌翻译
专注于歧视性零射击学习，在这项工作中，我们介绍了一种新的机制，在培训一组课程期间动态增强以产生额外的虚构课程。这些虚构的类在培训集中出现的属性相关性期间对模型进行固定的模型的趋势减少，但不会出现在新公开的课程中。所提出的模型在零射击学习框架的两种配方中进行测试;即，广义零射击学习（GZSL）和古典零射击学习（CZSL）。我们的模型可以提高CUB数据集的最先进的性能，并在其他常见数据集，AWA2和Sun上达到可比结果。我们调查我们方法的优点和弱点，包括在训练端到端零拍模型时灾难性忘记的影响。
translated by 谷歌翻译
很少有学习的学习（FSL）旨在学习一个可以轻松适应新颖课程的分类器，只有几个标签的示例，限制数据使这项任务挑战深度学习。基于量子指标的方法已实现了有希望的表现基于图像级的功能。但是，这些全球特征忽略了丰富的本地和结构信息，这些信息在可见的和看不见的类之间都是可以转移和一致的。认知科学的某些研究认为，人类可以识别出具有学识渊博的新颖类。我们希望挖掘出来可以从基础类别转移和判别性表示，并采用它们以识别新的课程。建立情节训练机制，我们提出了一个原始的采矿和推理网络（PMRN），以端到端的方式学习原始感知的表示，以进行度量。基于基于FSL模型。我们首先添加自学辅助任务，迫使功能提取器学习与原始词相对应的电视模式。为了进一步挖掘并产生可转移的原始感知表示形式，我们设计了一个自适应通道组（ACG）模块，以通过增强信息通道图的同时抑制无用的通道图，从而从对象嵌入中合成一组视觉原语。基于学到的原始功能，提出了一个语义相关推理（SCR）模块来捕获它们之间的内部关系。在本文中，我们了解原始词的特定于任务的重要性，并基于特定于任务的注意力功能进行原始级别的度量。广泛的实验表明，我们的方法在六个标准基准下实现了最先进的结果。
translated by 谷歌翻译
零射门学习（ZSL）旨在通过将语义知识从看见课程转移到看不见者来识别新颖的课程。从不同类别之间共享的属性描述中学到的语义知识，该属性描述是用于本地化代表歧视区域特征的对象属性的强子指数，从而实现了显着的视觉语义交互。尽管基于注意的模型已经尝试学习单个图像中的这种区域特征，但是通常忽略视觉特征的可转换性和辨别性属性定位。在本文中，我们提出了一个属性引导的变压器网络，称为Transzero，以改进视觉特征，并在ZSL中鉴定鉴别的视觉嵌入表示。具体而言，Transzero采用特征增强编码器来缓解想象集和ZSL基准之间的交叉数据集偏压，并通过减少区域特征之间的缠结的相对几何关系来提高视觉特征的可转换性。为了学习地区增强的可视功能，Transzero使用视觉语义解码器来在语义属性信息的指导下本地化与给定图像中的每个属性最相关的图像区域。然后，用于在视觉语义嵌入网络中进行有效的视觉语义交互来实现局部增强的视觉特征和语义向量。广泛的实验表明，Transzero在三个ZSL基准上实现了新的最新状态。该代码可用于：\ url {https://github.com/shiming-chen/transzero}。
translated by 谷歌翻译
零射击学习（ZSL）通过将语义知识转移到看不见者的语义知识来解决新的类识别问题。通过单独使用单向关注，现有的基于关注的模型在单个图像中努力学习劣势区域特征，这忽略了视觉特征的可转换性和辨别属性定位。在本文中，我们提出了一个跨属性引导的变换器网络，称为Transzero ++，以改进可视化功能，并学习精确的属性本地化，用于ZSL中的语义增强的可视嵌入表示。 Transzero ++由Attribute $ \ LightArrow $ Visual Transformer子网（AVT）和Visual $ \ LightArrow $属性变压器子网（增值税）组成。具体而言，AVT首先采用功能增强编码器来缓解交叉数据集问题，并通过减少区域特征之间的缠绕的相对几何关系来提高视觉特征的可转换性。然后，使用属性$ \ lightArrow $可视解码器来本地化与基于属性的可视特征表示的给定图像中的每个属性最相关的图像区域。类似地，VAT使用类似的功能增强编码器来改进视觉功能，这些功能进一步应用于Visual $ \ lightarrow $属性解码器，以学习基于Visual-基的属性功能。通过进一步引入语义协作损失，两个属性引导的变压器通过语义协作学习互相教导学习语义增强的视觉嵌入。广泛的实验表明，Transzero ++在三个挑战ZSL基准上实现了新的最先进的结果。该代码可用于：\ url {https://github.com/shiming-chen/transzero_pp}。
translated by 谷歌翻译
很少有图像分类是一个具有挑战性的问题，旨在仅基于少量培训图像来达到人类的识别水平。少数图像分类的一种主要解决方案是深度度量学习。这些方法是，通过将看不见的样本根据距离的距离进行分类，可在强大的深神经网络中学到的嵌入空间中看到的样品，可以避免以少数图像分类的少数训练图像过度拟合，并实现了最新的图像表现。在本文中，我们提供了对深度度量学习方法的最新审查，以进行2018年至2022年的少量图像分类，并根据度量学习的三个阶段将它们分为三组，即学习功能嵌入，学习课堂表示和学习距离措施。通过这种分类法，我们确定了他们面临的不同方法和问题的新颖性。我们通过讨论当前的挑战和未来趋势进行了少量图像分类的讨论。
translated by 谷歌翻译
基于世代的方法已在零拍学习研究中吸引了大部分最近的关注。在本文中，我们试图解构生成器分类器框架以指导其改进和扩展。我们首先通过将发电机学习的实例级分布与高斯分布交替进行分析。然后，我们通过分解分类器梯度来揭示生成器在分类器训练中学习的类级分布和实例级分布的作用。我们最终以从生成器和分类器的解构（即（i）ZSL Generator的键是属性通用化的关键）来改进生成器分类器框架的指南； （ii）分类器学习强调伪伪样本对训练过程中可见类之间的决策界限的影响，并减少可见的未见偏见。我们根据准则提出了一种简单的方法。没有复杂的设计，该提出的方法在四个公共ZSL数据集上优于最新技术，这证明了拟议准则的有效性。在用属性到视觉中心单映射模型代替生成模型时，提出的方法仍然有效，证明其强大的可传递性。接受后，代码将在接受后公开。
translated by 谷歌翻译
通过对齐跨模型自动化器的潜在空间来学习共同的潜在嵌入是广义零拍分类（GZSC）的有效策略。然而，由于缺乏细粒度的实例 - 明智的注释，它仍然很容易遭受域移位问题，用于多样化图像的视觉表示与固定属性的语义表示之间的差异。在本文中，我们通过学习对齐的跨模型表示（称为ACMR）来提出创新的AutoEncoder网络，用于GZSC。具体地，我们提出了一种新的视觉 - 语义对准（VSA）方法，以加强由学习分类器引导的潜在子空间上的交叉模态潜在特征的对准。此外，我们提出了一种新颖的信息增强模块（IEM），以减少潜在变量折叠的可能性同时鼓励潜在变量的判别能力。公开数据集的广泛实验证明了我们方法的最先进的性能。
translated by 谷歌翻译
零击学习（ZSL）旨在识别培训集中没有样本的类。一种代表性的解决方案是直接学习将视觉特征与相应的类语义相关联的嵌入函数，以识别新类。许多方法扩展了这种解决方案，最近的方法特别热衷于从图像中提取丰富的特征，例如属性功能。这些属性特征通常在每个单独的图像中提取；但是，不强调跨图像的特征的共同特征。在本文中，我们提出了一个新的框架来通过明确学习原型超出图像来提高ZSL，并用图像中的属性级特征对其进行对比优化它们。除了新颖的体系结构外，还针对属性表示强调了两个元素：新的原型生成模块旨在从属性语义生成属性原型；引入了基于硬示例的对比优化方案，以增强嵌入空间中的属性级特征。我们探索了两个基于CNN的替代骨干，基于CNN的骨干，以在三个标准基准测试（Cub，Sun，Awa2）上构建我们的框架并进行实验。这些基准测试的结果表明，我们的方法通过相当大的利润来改善艺术的状态。我们的代码将在https://github.com/dyabel/coar-zsl.git上找到
translated by 谷歌翻译
传统的细颗粒图像分类通常依赖于带注释的地面真相的大规模训练样本。但是，某些子类别在实际应用中可能几乎没有可用的样本。在本文中，我们建议使用多频邻域（MFN）和双交叉调制（DCM）提出一个新颖的几弹性细颗粒图像分类网络（FICNET）。采用模块MFN来捕获空间域和频域中的信息。然后，提取自相似性和多频成分以产生多频结构表示。 DCM使用分别考虑全球环境信息和类别之间的微妙关系来调节嵌入过程。针对两个少量任务的三个细粒基准数据集进行的综合实验验证了FICNET与最先进的方法相比具有出色的性能。特别是，在两个数据集“ Caltech-UCSD鸟”和“ Stanford Cars”上进行的实验分别可以获得分类精度93.17 \％和95.36 \％。它们甚至高于一般的细粒图像分类方法可以实现的。
translated by 谷歌翻译
零拍学习方法依赖于固定的视觉和语义嵌入，从独立视觉和语言模型中提取，都是预先培训的其他大型任务。这是当前零拍摄学习框架的弱点，因为这种不相交的嵌入不能充分将可视化和文本信息与其共享语义内容充分相关联。因此，我们建议通过在代理任务上计算带有双流网络的联合图像和文本模型来学习语义接地和丰富的视觉信息。为了改善由属性提供的图像和文本表示之间的这种对齐，我们利用辅助标题提供接地的语义信息。我们的方法，在若干基准数据集中评估了零射击学习的关节嵌入，提高了标准（APY $ + 1.6 $ \％的现有最先进方法的性能（$ + 2.6 \％$在FLO）上）和AWA $ 2 $ + 2.1 \％$ 2 $ 2 $ 2美元，幼崽+ 2.2 \％$ 2。幼崽）零射击识别。
translated by 谷歌翻译
最近深入生成模型的进步概述了零拍学习（ZSL）领域的有希望的角度。大多数生成ZSL方法使用类别语义属性加上高斯噪声来生成可视化功能。在生成看不见的样本后，这家族方法有效地将ZSL问题转变为监督分类方案。但是，现有模型使用单个语义属性，其中包含类别的完整属性信息。生成的数据还携带完整的属性信息，但实际上，视觉样本通常具有有限的属性。因此，来自属性的生成数据可能具有不完整的语义。基于这一事实，我们提出了一种新颖的框架来通过综合各种功能来提升ZSL。此方法使用增强语义属性来培训生成模型，以便模拟视觉功能的真实分布。我们在四个基准数据集中评估提出的模型，观察到最先进的显着性能改善。
translated by 谷歌翻译
从一个非常少数标记的样品中学习新颖的课程引起了机器学习区域的越来越高。最近关于基于元学习或转移学习的基于范例的研究表明，良好特征空间的获取信息可以是在几次拍摄任务上实现有利性能的有效解决方案。在本文中，我们提出了一种简单但有效的范式，该范式解耦了学习特征表示和分类器的任务，并且只能通过典型的传送学习培训策略从基类嵌入体系结构的特征。为了在每个类别内保持跨基地和新类别和辨别能力的泛化能力，我们提出了一种双路径特征学习方案，其有效地结合了与对比特征结构的结构相似性。以这种方式，内部级别对齐和级别的均匀性可以很好地平衡，并且导致性能提高。三个流行基准测试的实验表明，当与简单的基于原型的分类器结合起来时，我们的方法仍然可以在电感或转换推理设置中的标准和广义的几次射击问题达到有希望的结果。
translated by 谷歌翻译
很少有细粒度的学习旨在将查询图像分类为具有细粒度差异的一组支持类别之一。尽管学习不同对象通过深神网络的局部差异取得了成功，但如何在基于变压器的架构中利用查询支持的跨图像对象语义关系在几个摄像机的细粒度场景中仍未得到充分探索。在这项工作中，我们提出了一个基于变压器的双螺旋模型，即HelixFormer，以双向和对称方式实现跨图像对象语义挖掘。 HelixFormer由两个步骤组成：1）跨不同分支的关系挖掘过程（RMP），以及2）在每个分支中表示增强过程（REP）。通过设计的RMP，每个分支都可以使用来自另一个分支的信息提取细粒对象级跨图义语义关系图（CSRMS），从而确保在语义相关的本地对象区域中更好地跨图像相互作用。此外，借助CSRMS，开发的REP可以增强每个分支中发现的与语义相关的局部区域的提取特征，从而增强模型区分细粒物体的细微特征差异的能力。在五个公共细粒基准上进行的广泛实验表明，螺旋形式可以有效地增强识别细颗粒物体的跨图像对象语义关系匹配，从而在1次以下的大多数先进方法中实现更好的性能，并且5击场景。我们的代码可在以下网址找到：https：//github.com/jiakangyuan/helixformer
translated by 谷歌翻译