专注于歧视性零射击学习，在这项工作中，我们介绍了一种新的机制，在培训一组课程期间动态增强以产生额外的虚构课程。这些虚构的类在培训集中出现的属性相关性期间对模型进行固定的模型的趋势减少，但不会出现在新公开的课程中。所提出的模型在零射击学习框架的两种配方中进行测试;即，广义零射击学习（GZSL）和古典零射击学习（CZSL）。我们的模型可以提高CUB数据集的最先进的性能，并在其他常见数据集，AWA2和Sun上达到可比结果。我们调查我们方法的优点和弱点，包括在训练端到端零拍模型时灾难性忘记的影响。
translated by 谷歌翻译
Suffering from the extreme training data imbalance between seen and unseen classes, most of existing state-of-theart approaches fail to achieve satisfactory results for the challenging generalized zero-shot learning task. To circumvent the need for labeled examples of unseen classes, we propose a novel generative adversarial network (GAN) that synthesizes CNN features conditioned on class-level semantic information, offering a shortcut directly from a semantic descriptor of a class to a class-conditional feature distribution. Our proposed approach, pairing a Wasserstein GAN with a classification loss, is able to generate sufficiently discriminative CNN features to train softmax classifiers or any multimodal embedding method. Our experimental resultsdemonstrate a significant boost in accuracy over the state of the art on five challenging datasets -CUB, FLO, SUN, AWA and ImageNet -in both the zero-shot learning and generalized zero-shot learning settings.
translated by 谷歌翻译
零拍学习（ZSL）旨在识别培训时间没有可视化样本的类。要解决此问题，可以依赖每个类的语义描述。典型的ZSL模型学习所看到的类和相应的语义描述的视觉样本之间的映射，以便在测试时间的看不见的类上对此进行操作。最先进的方法依赖于从类的原型合成视觉特征的生成模型，从而可以以监督方式学习分类器。但是，这些方法通常偏向于所看到的类，其视觉实例是唯一可以与给定类原型匹配的类。我们提出了一种正规化方法，可以应用于任何条件生成的ZSL方法，只能利用语义类原型。它学会综合判断特征，以便在训练时间不可用的可能语义描述，即看不见的特征。在文献中常用的四个数据集中评估该方法，其在文献中通常用于感应和转换设置，结果对杠杆或上述现有方法的结果。
translated by 谷歌翻译
零拍摄学习（ZSL）旨在将知识从看见课程转移到语义相关的看不见的看不见的类，这在训练期间不存在。 ZSL的有希望的策略是在语义侧信息中综合未经调节的视野类的视觉特征，并结合元学习，以消除模型对所看到的课程的固有偏差。虽然现有的元生成方法追求跨任务分布的共同模型，但我们的目标是构建适应任务特征的生成网络。为此，我们提出了一个属性调制的生成元模型，用于零射击学习（Amaz）。我们的模型包括属性感知调制网络，属性增强生成网络和属性加权分类器。给定看不见的类，调制网络通过应用特定任务的变换自适应地调制发电机，使得生成网络可以适应高度多样化的任务。加权分类器利用数据质量来增强培训过程，进一步提高模型性能。我们对四种广泛使用的基准测试的实证评估表明，Amaz优先效仿最先进的方法在ZSL和广义ZSL设置中，展示了我们方法的优越性。我们对零拍摄图像检索任务的实验表明了Amaz的合成描绘真实视觉特征的情况的能力。
translated by 谷歌翻译
广义零射击学习（GZSL）旨在培训一个模型，以在某些输出类别在监督学习过程中未知的情况下对数据样本进行分类。为了解决这一具有挑战性的任务，GZSL利用可见的（源）和看不见的（目标）类的语义信息来弥合所见类和看不见的类之间的差距。自引入以来，已经制定了许多GZSL模型。在这篇评论论文中，我们介绍了有关GZSL的全面评论。首先，我们提供了GZSL的概述，包括问题和挑战。然后，我们为GZSL方法介绍了分层分类，并讨论了每个类别中的代表性方法。此外，我们讨论了GZSL的可用基准数据集和应用程序，以及有关研究差距和未来研究方向的讨论。
translated by 谷歌翻译
零射击学习（ZSL）通过将语义知识转移到看不见者的语义知识来解决新的类识别问题。通过单独使用单向关注，现有的基于关注的模型在单个图像中努力学习劣势区域特征，这忽略了视觉特征的可转换性和辨别属性定位。在本文中，我们提出了一个跨属性引导的变换器网络，称为Transzero ++，以改进可视化功能，并学习精确的属性本地化，用于ZSL中的语义增强的可视嵌入表示。 Transzero ++由Attribute $ \ LightArrow $ Visual Transformer子网（AVT）和Visual $ \ LightArrow $属性变压器子网（增值税）组成。具体而言，AVT首先采用功能增强编码器来缓解交叉数据集问题，并通过减少区域特征之间的缠绕的相对几何关系来提高视觉特征的可转换性。然后，使用属性$ \ lightArrow $可视解码器来本地化与基于属性的可视特征表示的给定图像中的每个属性最相关的图像区域。类似地，VAT使用类似的功能增强编码器来改进视觉功能，这些功能进一步应用于Visual $ \ lightarrow $属性解码器，以学习基于Visual-基的属性功能。通过进一步引入语义协作损失，两个属性引导的变压器通过语义协作学习互相教导学习语义增强的视觉嵌入。广泛的实验表明，Transzero ++在三个挑战ZSL基准上实现了新的最先进的结果。该代码可用于：\ url {https://github.com/shiming-chen/transzero_pp}。
translated by 谷歌翻译
虽然对2D图像的零射击学习（ZSL）进行了许多研究，但其在3D数据中的应用仍然是最近且稀缺的，只有几种方法限于分类。我们在3D数据上介绍了ZSL和广义ZSL（GZSL）的第一代生成方法，可以处理分类，并且是第一次语义分割。我们表明它达到或胜过了INTEMNET40对归纳ZSL和归纳GZSL的ModelNet40分类的最新状态。对于语义分割，我们创建了三个基准，用于评估此新ZSL任务，使用S3DIS，Scannet和Semantickitti进行评估。我们的实验表明，我们的方法优于强大的基线，我们另外为此任务提出。
translated by 谷歌翻译
零射门学习（ZSL）旨在通过将语义知识从看见课程转移到看不见者来识别新颖的课程。从不同类别之间共享的属性描述中学到的语义知识，该属性描述是用于本地化代表歧视区域特征的对象属性的强子指数，从而实现了显着的视觉语义交互。尽管基于注意的模型已经尝试学习单个图像中的这种区域特征，但是通常忽略视觉特征的可转换性和辨别性属性定位。在本文中，我们提出了一个属性引导的变压器网络，称为Transzero，以改进视觉特征，并在ZSL中鉴定鉴别的视觉嵌入表示。具体而言，Transzero采用特征增强编码器来缓解想象集和ZSL基准之间的交叉数据集偏压，并通过减少区域特征之间的缠结的相对几何关系来提高视觉特征的可转换性。为了学习地区增强的可视功能，Transzero使用视觉语义解码器来在语义属性信息的指导下本地化与给定图像中的每个属性最相关的图像区域。然后，用于在视觉语义嵌入网络中进行有效的视觉语义交互来实现局部增强的视觉特征和语义向量。广泛的实验表明，Transzero在三个ZSL基准上实现了新的最新状态。该代码可用于：\ url {https://github.com/shiming-chen/transzero}。
translated by 谷歌翻译
基于世代的方法已在零拍学习研究中吸引了大部分最近的关注。在本文中，我们试图解构生成器分类器框架以指导其改进和扩展。我们首先通过将发电机学习的实例级分布与高斯分布交替进行分析。然后，我们通过分解分类器梯度来揭示生成器在分类器训练中学习的类级分布和实例级分布的作用。我们最终以从生成器和分类器的解构（即（i）ZSL Generator的键是属性通用化的关键）来改进生成器分类器框架的指南； （ii）分类器学习强调伪伪样本对训练过程中可见类之间的决策界限的影响，并减少可见的未见偏见。我们根据准则提出了一种简单的方法。没有复杂的设计，该提出的方法在四个公共ZSL数据集上优于最新技术，这证明了拟议准则的有效性。在用属性到视觉中心单映射模型代替生成模型时，提出的方法仍然有效，证明其强大的可传递性。接受后，代码将在接受后公开。
translated by 谷歌翻译
零拍学习方法依赖于固定的视觉和语义嵌入，从独立视觉和语言模型中提取，都是预先培训的其他大型任务。这是当前零拍摄学习框架的弱点，因为这种不相交的嵌入不能充分将可视化和文本信息与其共享语义内容充分相关联。因此，我们建议通过在代理任务上计算带有双流网络的联合图像和文本模型来学习语义接地和丰富的视觉信息。为了改善由属性提供的图像和文本表示之间的这种对齐，我们利用辅助标题提供接地的语义信息。我们的方法，在若干基准数据集中评估了零射击学习的关节嵌入，提高了标准（APY $ + 1.6 $ \％的现有最先进方法的性能（$ + 2.6 \％$在FLO）上）和AWA $ 2 $ + 2.1 \％$ 2 $ 2 $ 2美元，幼崽+ 2.2 \％$ 2。幼崽）零射击识别。
translated by 谷歌翻译
广义的零射击学习（GZSL）旨在通过将语义知识从看见的类别转移到看不见的阶级来识别所见类和看不见的类别的图像。这是一个有希望的解决方案，可以利用生成模型的优势，以根据从所见类中学到的知识来幻觉现实的看不见的样本。但是，由于产生的变化，大多数现有方法的合成样本可能从看不见的数据的实际分布中偏离。为了解决这个问题，我们提出了一个基于流动的生成框架，该框架由多种条件仿射耦合层组成，用于学习看不见的数据生成。具体而言，我们发现并解决了触发产生转移的三个潜在问题，即语义不一致，方差崩溃和结构障碍。首先，为了增强生成样品中语义信息的反射，我们将语义信息明确嵌入到每个条件仿射耦合层中的转换中。其次，为了恢复真正看不见的特征的固有差异，我们引入了一种边界样本挖掘策略，具有熵最大化，以发现语义原型的更困难的视觉变体，并在此调整分类器的决策边界。第三，提出了一种相对定位策略来修改属性嵌入，引导它们充分保留类间的几何结构，并进一步避免语义空间中的结构障碍。四个GZSL基准数据集的广泛实验结果表明，GSMFlow在GZSL上实现了最先进的性能。
translated by 谷歌翻译
零拍学习（ZSL）旨在将分类能力转移到看不见的课程。最近的方法证明，泛化和专业化是在ZSL中实现良好性能的两个基本能力。然而，它们只关注一个能力，导致模型，这些模型太过普遍，具有劣化的分类能力或专注于概括到看不见的课程。在本文中，我们提出了一种端到端网络，具有平衡的泛化和专业化能力，称为BGSNet，利用两种能力，并在实例和数据集级别平衡它们。具体而言，BGSNet由两个分支组成：泛化网络（GNET），它应用epiSodic元学习学习广义知识，以及平衡专业化网络（BSNet），它采用多个细心提取器来提取歧视特征并满足实例级别平衡。一种新颖的自调整分集损失旨在优化具有较少冗余和更多样性的BSNet。我们进一步提出了可分辨性的数据集级别平衡并更新线性退火调度中的权重，以模拟网络修剪，从而以低成本获得BSNet的最佳结构，并且实现了数据集级平衡。四个基准数据集的实验展示了我们模型的效果。足够的组分消融证明了整合泛化和专业能力的必要性。
translated by 谷歌翻译
We present a conceptually simple, flexible, and general framework for few-shot learning, where a classifier must learn to recognise new classes given only few examples from each. Our method, called the Relation Network (RN), is trained end-to-end from scratch. During meta-learning, it learns to learn a deep distance metric to compare a small number of images within episodes, each of which is designed to simulate the few-shot setting. Once trained, a RN is able to classify images of new classes by computing relation scores between query images and the few examples of each new class without further updating the network. Besides providing improved performance on few-shot learning, our framework is easily extended to zero-shot learning. Extensive experiments on five benchmarks demonstrate that our simple approach provides a unified and effective approach for both of these two tasks.
translated by 谷歌翻译
我们介绍了域名感知持续零射击学习（DACZSL），顺序地在视觉域中视觉识别未经证实的类别的图像。我们通过将其划分为一系列任务，在DomainEnt数据集之上创建了DACZSL，其中类在培训期间在所见的域中逐步提供，并且在看见和看不见的课程上进行了看不见的域。我们还提出了一种新颖的域名不变的CZSL网络（DIN），这胜过了我们适用于DACZSL设置的最先进的基线模型。除了全球共享网络之外，我们采用基于结构的方法来缓解来自以前的任务的知识，并使用小的每任务私有网络。为了鼓励私人网络捕获域和任务特定的表示，我们用一个新的对抗性知识解除义目设置训练我们的模型，以使我们的全局网络任务 - 不变和域中的所有任务都是不变的。我们的方法还要学习类明智的学习提示，以获取更好的类级文本表示，用于表示侧面信息，以启用未来的未经看不见的类的零拍摄预测。我们的代码和基准将公开可用。
translated by 谷歌翻译
广义零射击学习（GZSL）仍然是深度学习的技术挑战，因为它必须在没有目标类别的数据中识别源和目标类别。为了仅使用来自源类数据的数据训练，源和目标类之间的语义关系，我们解决了从信息理论观点的广告传输和语义关系的量化。为此，我们遵循原型模型，并将关注的变量格式化为概率向量。利用所提出的概率矢量表示，可以通过简单的封闭形式有效地评估诸如相互信息和熵的信息测量。我们讨论使用原型模型时常见的嵌入空间和距离功能的选择。然后我们提出了三个信息 - 理论丢失函数，用于确定性GZSL模型：桥接数据和目标类别的相互信息丢失;不确定性感知熵约束丢失，以防止使用后的数据学习嵌入目标类别时;在将语义表示映射到公共空间时，语义保留交叉熵损失以保留语义关系。仿真结果表明，作为确定性模型，我们所提出的方法获得了GZSL基准数据集的最新状态。我们通过基线模型 - 深度校准网络（DCN）实现了21％-64％的改进，并且首次证明了确定性模型可以执行和生成的模型。此外，我们提出的模型与生成模型兼容。仿真研究表明，通过与F-CLSWAN结合，与先进的生成模型相比，我们获得了可比的结果。
translated by 谷歌翻译
零拍学习（ZSL）旨在通过利用所见类和看不见的类之间共享的语义描述来识别看不见的类。当前的方法表明，通过将语义嵌入将视觉空间投射到视觉空间中是类原型，从而有效地学习视觉语义对齐是有效的。但是，这样的投影函数仅与可见的类有关。当应用于看不见的类时，原型通常由于域移位而次优。在本文中，我们建议通过称为LPL的占位符学习原型，以消除看到和看不见的阶级之间的域转移。具体来说，我们将看到的课程结合在一起，以使新课程成为视觉和语义空间中看不见的班级的占位符。占位持有人放置在看到的班级之间，鼓励人们高度分散所见类的原型。插入良好的看不见的空间也可以保留更多的空间。从经验上讲，分离良好的原型有助于抵消由域转移引起的视觉声音错位。此外，我们利用一种新颖的面向语义的微调来保证占位符的语义可靠性。在五个基准数据集上进行的广泛实验证明了LPL在最新方法上的显着性能提高。代码可在https://github.com/zaiquanyang/lpl上找到。
translated by 谷歌翻译
零击学习（ZSL）旨在识别培训集中没有样本的类。一种代表性的解决方案是直接学习将视觉特征与相应的类语义相关联的嵌入函数，以识别新类。许多方法扩展了这种解决方案，最近的方法特别热衷于从图像中提取丰富的特征，例如属性功能。这些属性特征通常在每个单独的图像中提取；但是，不强调跨图像的特征的共同特征。在本文中，我们提出了一个新的框架来通过明确学习原型超出图像来提高ZSL，并用图像中的属性级特征对其进行对比优化它们。除了新颖的体系结构外，还针对属性表示强调了两个元素：新的原型生成模块旨在从属性语义生成属性原型；引入了基于硬示例的对比优化方案，以增强嵌入空间中的属性级特征。我们探索了两个基于CNN的替代骨干，基于CNN的骨干，以在三个标准基准测试（Cub，Sun，Awa2）上构建我们的框架并进行实验。这些基准测试的结果表明，我们的方法通过相当大的利润来改善艺术的状态。我们的代码将在https://github.com/dyabel/coar-zsl.git上找到
translated by 谷歌翻译
最近深入生成模型的进步概述了零拍学习（ZSL）领域的有希望的角度。大多数生成ZSL方法使用类别语义属性加上高斯噪声来生成可视化功能。在生成看不见的样本后，这家族方法有效地将ZSL问题转变为监督分类方案。但是，现有模型使用单个语义属性，其中包含类别的完整属性信息。生成的数据还携带完整的属性信息，但实际上，视觉样本通常具有有限的属性。因此，来自属性的生成数据可能具有不完整的语义。基于这一事实，我们提出了一种新颖的框架来通过综合各种功能来提升ZSL。此方法使用增强语义属性来培训生成模型，以便模拟视觉功能的真实分布。我们在四个基准数据集中评估提出的模型，观察到最先进的显着性能改善。
translated by 谷歌翻译
广义的组成零射限学习意味着学习零射时的属性对象对的概念，其中模型在一组看到的概念上培训并在一组组合和看不见的概念上测试。此任务非常具有挑战性，因为不仅是所见和看不见的概念之间的差距，而且是属性和对象之间的上下文依赖性。本文介绍了一种新的方法，称为翻译概念嵌入，解决统一框架中的这两个困难。它模拟将属性应用于对象的效果，如将翻译属性要素添加到对象原型。通过生成有条件地依赖于对象原型的翻译属性功能，我们显式明确地考虑了属性和对象之间的上下文依赖性。此外，我们设计了一个比率方差约束损失，以促进模型对看不见的概念的泛化能力。它通过利用预训练字嵌入的知识来规范概念之间的距离。我们根据无偏见和偏见的概念分类任务评估我们模型的表现，并表明我们的模型能够在预测看不见和看到的概念方面实现良好的平衡。
translated by 谷歌翻译
通过对齐跨模型自动化器的潜在空间来学习共同的潜在嵌入是广义零拍分类（GZSC）的有效策略。然而，由于缺乏细粒度的实例 - 明智的注释，它仍然很容易遭受域移位问题，用于多样化图像的视觉表示与固定属性的语义表示之间的差异。在本文中，我们通过学习对齐的跨模型表示（称为ACMR）来提出创新的AutoEncoder网络，用于GZSC。具体地，我们提出了一种新的视觉 - 语义对准（VSA）方法，以加强由学习分类器引导的潜在子空间上的交叉模态潜在特征的对准。此外，我们提出了一种新颖的信息增强模块（IEM），以减少潜在变量折叠的可能性同时鼓励潜在变量的判别能力。公开数据集的广泛实验证明了我们方法的最先进的性能。
translated by 谷歌翻译