广义零射门学习（GZSL）是有希望在许多实际场景前景具有挑战性的课题。使用门控机构，其判别从看出样品看不见的样品可以分解GZSL问题常规的零铅球学习（ZSL）问题和监督分类问题。然而，培养的栅极通常是由于具有挑战性在看不见的域中的数据缺乏。要解决这个问题，在本文中，我们提出了一种基于外的分布（OOD）分类器只使用看过样本训练分类看不见，看到域的边界。首先，我们学上的单位超球，其中的视觉特征和语义属性潜分布对准类明智地共享潜在空间。随后，我们发现边界和歧管每个类的中心。通过利用类中心和边界，看不见的样品可以从样品可见分开。在那之后，我们使用了两个专家来看到和看不见的样本分别进行分类。我们广泛验证我们的五个流行的基准数据集，包括AWA1，AWA2，CUB，FLO和SUN的做法。实验结果表明，我们对国家的最先进的方法，方法的优点。
translated by 谷歌翻译
通过对齐跨模型自动化器的潜在空间来学习共同的潜在嵌入是广义零拍分类（GZSC）的有效策略。然而，由于缺乏细粒度的实例 - 明智的注释，它仍然很容易遭受域移位问题，用于多样化图像的视觉表示与固定属性的语义表示之间的差异。在本文中，我们通过学习对齐的跨模型表示（称为ACMR）来提出创新的AutoEncoder网络，用于GZSC。具体地，我们提出了一种新的视觉 - 语义对准（VSA）方法，以加强由学习分类器引导的潜在子空间上的交叉模态潜在特征的对准。此外，我们提出了一种新颖的信息增强模块（IEM），以减少潜在变量折叠的可能性同时鼓励潜在变量的判别能力。公开数据集的广泛实验证明了我们方法的最先进的性能。
translated by 谷歌翻译
零拍摄学习（ZSL）旨在将知识从看见课程转移到语义相关的看不见的看不见的类，这在训练期间不存在。 ZSL的有希望的策略是在语义侧信息中综合未经调节的视野类的视觉特征，并结合元学习，以消除模型对所看到的课程的固有偏差。虽然现有的元生成方法追求跨任务分布的共同模型，但我们的目标是构建适应任务特征的生成网络。为此，我们提出了一个属性调制的生成元模型，用于零射击学习（Amaz）。我们的模型包括属性感知调制网络，属性增强生成网络和属性加权分类器。给定看不见的类，调制网络通过应用特定任务的变换自适应地调制发电机，使得生成网络可以适应高度多样化的任务。加权分类器利用数据质量来增强培训过程，进一步提高模型性能。我们对四种广泛使用的基准测试的实证评估表明，Amaz优先效仿最先进的方法在ZSL和广义ZSL设置中，展示了我们方法的优越性。我们对零拍摄图像检索任务的实验表明了Amaz的合成描绘真实视觉特征的情况的能力。
translated by 谷歌翻译
广义的零射击学习（GZSL）旨在通过将语义知识从看见的类别转移到看不见的阶级来识别所见类和看不见的类别的图像。这是一个有希望的解决方案，可以利用生成模型的优势，以根据从所见类中学到的知识来幻觉现实的看不见的样本。但是，由于产生的变化，大多数现有方法的合成样本可能从看不见的数据的实际分布中偏离。为了解决这个问题，我们提出了一个基于流动的生成框架，该框架由多种条件仿射耦合层组成，用于学习看不见的数据生成。具体而言，我们发现并解决了触发产生转移的三个潜在问题，即语义不一致，方差崩溃和结构障碍。首先，为了增强生成样品中语义信息的反射，我们将语义信息明确嵌入到每个条件仿射耦合层中的转换中。其次，为了恢复真正看不见的特征的固有差异，我们引入了一种边界样本挖掘策略，具有熵最大化，以发现语义原型的更困难的视觉变体，并在此调整分类器的决策边界。第三，提出了一种相对定位策略来修改属性嵌入，引导它们充分保留类间的几何结构，并进一步避免语义空间中的结构障碍。四个GZSL基准数据集的广泛实验结果表明，GSMFlow在GZSL上实现了最先进的性能。
translated by 谷歌翻译
广义零射击学习（GZSL）旨在培训一个模型，以在某些输出类别在监督学习过程中未知的情况下对数据样本进行分类。为了解决这一具有挑战性的任务，GZSL利用可见的（源）和看不见的（目标）类的语义信息来弥合所见类和看不见的类之间的差距。自引入以来，已经制定了许多GZSL模型。在这篇评论论文中，我们介绍了有关GZSL的全面评论。首先，我们提供了GZSL的概述，包括问题和挑战。然后，我们为GZSL方法介绍了分层分类，并讨论了每个类别中的代表性方法。此外，我们讨论了GZSL的可用基准数据集和应用程序，以及有关研究差距和未来研究方向的讨论。
translated by 谷歌翻译
基于世代的方法已在零拍学习研究中吸引了大部分最近的关注。在本文中，我们试图解构生成器分类器框架以指导其改进和扩展。我们首先通过将发电机学习的实例级分布与高斯分布交替进行分析。然后，我们通过分解分类器梯度来揭示生成器在分类器训练中学习的类级分布和实例级分布的作用。我们最终以从生成器和分类器的解构（即（i）ZSL Generator的键是属性通用化的关键）来改进生成器分类器框架的指南； （ii）分类器学习强调伪伪样本对训练过程中可见类之间的决策界限的影响，并减少可见的未见偏见。我们根据准则提出了一种简单的方法。没有复杂的设计，该提出的方法在四个公共ZSL数据集上优于最新技术，这证明了拟议准则的有效性。在用属性到视觉中心单映射模型代替生成模型时，提出的方法仍然有效，证明其强大的可传递性。接受后，代码将在接受后公开。
translated by 谷歌翻译
机器学习模型通常会遇到与训练分布不同的样本。无法识别分布（OOD）样本，因此将该样本分配给课堂标签会显着损害模型的可靠性。由于其对在开放世界中的安全部署模型的重要性，该问题引起了重大关注。由于对所有可能的未知分布进行建模的棘手性，检测OOD样品是具有挑战性的。迄今为止，一些研究领域解决了检测陌生样本的问题，包括异常检测，新颖性检测，一级学习，开放式识别识别和分布外检测。尽管有相似和共同的概念，但分别分布，开放式检测和异常检测已被独立研究。因此，这些研究途径尚未交叉授粉，创造了研究障碍。尽管某些调查打算概述这些方法，但它们似乎仅关注特定领域，而无需检查不同领域之间的关系。这项调查旨在在确定其共同点的同时，对各个领域的众多著名作品进行跨域和全面的审查。研究人员可以从不同领域的研究进展概述中受益，并协同发展未来的方法。此外，据我们所知，虽然进行异常检测或单级学习进行了调查，但没有关于分布外检测的全面或最新的调查，我们的调查可广泛涵盖。最后，有了统一的跨域视角，我们讨论并阐明了未来的研究线，打算将这些领域更加紧密地融为一体。
translated by 谷歌翻译
少量分类旨在通过一些培训样本来调整小型课程的分类器。然而，训练数据的不足可能导致某个类中的特征分布偏差估计。为了缓解这个问题，我们通过探索新颖和基类之间的类别相关性，作为先前知识来展示一个简单而有效的功能整流方法。我们通过将特征映射到潜在的向量中明确地捕获这种相关性，其中匹配基类的数量的维度，将其视为在基类上的特征的对数概率。基于该潜伏向量，整流特征由解码器直接构建，我们预计在去除其他随机因素的同时保持与类别相关的信息，因此更接近其类心。此外，通过改变SoftMax中的温度值，我们可以重新平衡特征整流和重建以获得更好的性能。我们的方法是通用的，灵活的，不可知的任何特征提取器和分类器，容易嵌入到现有的FSL方法中。实验验证了我们的方法能够整流偏置功能，尤其是当特征远离班级质心时。拟议的方法一直在三种广泛使用的基准上获得相当大的性能收益，用不同的骨干和分类器评估。该代码将公开。
translated by 谷歌翻译
广义零射击学习（GZSL）仍然是深度学习的技术挑战，因为它必须在没有目标类别的数据中识别源和目标类别。为了仅使用来自源类数据的数据训练，源和目标类之间的语义关系，我们解决了从信息理论观点的广告传输和语义关系的量化。为此，我们遵循原型模型，并将关注的变量格式化为概率向量。利用所提出的概率矢量表示，可以通过简单的封闭形式有效地评估诸如相互信息和熵的信息测量。我们讨论使用原型模型时常见的嵌入空间和距离功能的选择。然后我们提出了三个信息 - 理论丢失函数，用于确定性GZSL模型：桥接数据和目标类别的相互信息丢失;不确定性感知熵约束丢失，以防止使用后的数据学习嵌入目标类别时;在将语义表示映射到公共空间时，语义保留交叉熵损失以保留语义关系。仿真结果表明，作为确定性模型，我们所提出的方法获得了GZSL基准数据集的最新状态。我们通过基线模型 - 深度校准网络（DCN）实现了21％-64％的改进，并且首次证明了确定性模型可以执行和生成的模型。此外，我们提出的模型与生成模型兼容。仿真研究表明，通过与F-CLSWAN结合，与先进的生成模型相比，我们获得了可比的结果。
translated by 谷歌翻译
Suffering from the extreme training data imbalance between seen and unseen classes, most of existing state-of-theart approaches fail to achieve satisfactory results for the challenging generalized zero-shot learning task. To circumvent the need for labeled examples of unseen classes, we propose a novel generative adversarial network (GAN) that synthesizes CNN features conditioned on class-level semantic information, offering a shortcut directly from a semantic descriptor of a class to a class-conditional feature distribution. Our proposed approach, pairing a Wasserstein GAN with a classification loss, is able to generate sufficiently discriminative CNN features to train softmax classifiers or any multimodal embedding method. Our experimental resultsdemonstrate a significant boost in accuracy over the state of the art on five challenging datasets -CUB, FLO, SUN, AWA and ImageNet -in both the zero-shot learning and generalized zero-shot learning settings.
translated by 谷歌翻译
零拍学习（ZSL）旨在识别培训时间没有可视化样本的类。要解决此问题，可以依赖每个类的语义描述。典型的ZSL模型学习所看到的类和相应的语义描述的视觉样本之间的映射，以便在测试时间的看不见的类上对此进行操作。最先进的方法依赖于从类的原型合成视觉特征的生成模型，从而可以以监督方式学习分类器。但是，这些方法通常偏向于所看到的类，其视觉实例是唯一可以与给定类原型匹配的类。我们提出了一种正规化方法，可以应用于任何条件生成的ZSL方法，只能利用语义类原型。它学会综合判断特征，以便在训练时间不可用的可能语义描述，即看不见的特征。在文献中常用的四个数据集中评估该方法，其在文献中通常用于感应和转换设置，结果对杠杆或上述现有方法的结果。
translated by 谷歌翻译
多模式学习是建立模型的框架，这些模型可以根据不同类型的方式进行预测。多模式学习中的重要挑战是通过这些表示从任意模式和跨模式产生的共同表示形式推断；但是，实现这一目标需要考虑多模式数据的异质性质。近年来，深层生成模型，即通过深层神经网络参数化的生成模型引起了很多关注，尤其是变异自动编码器，这些自动编码器适合于实现上述挑战，因为它们可以考虑异质性并推断出数据的良好表示。。因此，近年来已经提出了基于变异自动编码器的各种多模式生成模型，称为多模式深生成模型。在本文中，我们提供了对多模式深生成模型研究的分类调查。
translated by 谷歌翻译
零射击学习（ZSL）通过将语义知识转移到看不见者的语义知识来解决新的类识别问题。通过单独使用单向关注，现有的基于关注的模型在单个图像中努力学习劣势区域特征，这忽略了视觉特征的可转换性和辨别属性定位。在本文中，我们提出了一个跨属性引导的变换器网络，称为Transzero ++，以改进可视化功能，并学习精确的属性本地化，用于ZSL中的语义增强的可视嵌入表示。 Transzero ++由Attribute $ \ LightArrow $ Visual Transformer子网（AVT）和Visual $ \ LightArrow $属性变压器子网（增值税）组成。具体而言，AVT首先采用功能增强编码器来缓解交叉数据集问题，并通过减少区域特征之间的缠绕的相对几何关系来提高视觉特征的可转换性。然后，使用属性$ \ lightArrow $可视解码器来本地化与基于属性的可视特征表示的给定图像中的每个属性最相关的图像区域。类似地，VAT使用类似的功能增强编码器来改进视觉功能，这些功能进一步应用于Visual $ \ lightarrow $属性解码器，以学习基于Visual-基的属性功能。通过进一步引入语义协作损失，两个属性引导的变压器通过语义协作学习互相教导学习语义增强的视觉嵌入。广泛的实验表明，Transzero ++在三个挑战ZSL基准上实现了新的最先进的结果。该代码可用于：\ url {https://github.com/shiming-chen/transzero_pp}。
translated by 谷歌翻译
最近深入生成模型的进步概述了零拍学习（ZSL）领域的有希望的角度。大多数生成ZSL方法使用类别语义属性加上高斯噪声来生成可视化功能。在生成看不见的样本后，这家族方法有效地将ZSL问题转变为监督分类方案。但是，现有模型使用单个语义属性，其中包含类别的完整属性信息。生成的数据还携带完整的属性信息，但实际上，视觉样本通常具有有限的属性。因此，来自属性的生成数据可能具有不完整的语义。基于这一事实，我们提出了一种新颖的框架来通过综合各种功能来提升ZSL。此方法使用增强语义属性来培训生成模型，以便模拟视觉功能的真实分布。我们在四个基准数据集中评估提出的模型，观察到最先进的显着性能改善。
translated by 谷歌翻译
零拍学习方法依赖于固定的视觉和语义嵌入，从独立视觉和语言模型中提取，都是预先培训的其他大型任务。这是当前零拍摄学习框架的弱点，因为这种不相交的嵌入不能充分将可视化和文本信息与其共享语义内容充分相关联。因此，我们建议通过在代理任务上计算带有双流网络的联合图像和文本模型来学习语义接地和丰富的视觉信息。为了改善由属性提供的图像和文本表示之间的这种对齐，我们利用辅助标题提供接地的语义信息。我们的方法，在若干基准数据集中评估了零射击学习的关节嵌入，提高了标准（APY $ + 1.6 $ \％的现有最先进方法的性能（$ + 2.6 \％$在FLO）上）和AWA $ 2 $ + 2.1 \％$ 2 $ 2 $ 2美元，幼崽+ 2.2 \％$ 2。幼崽）零射击识别。
translated by 谷歌翻译
零拍学习（ZSL）旨在通过利用所见类和看不见的类之间共享的语义描述来识别看不见的类。当前的方法表明，通过将语义嵌入将视觉空间投射到视觉空间中是类原型，从而有效地学习视觉语义对齐是有效的。但是，这样的投影函数仅与可见的类有关。当应用于看不见的类时，原型通常由于域移位而次优。在本文中，我们建议通过称为LPL的占位符学习原型，以消除看到和看不见的阶级之间的域转移。具体来说，我们将看到的课程结合在一起，以使新课程成为视觉和语义空间中看不见的班级的占位符。占位持有人放置在看到的班级之间，鼓励人们高度分散所见类的原型。插入良好的看不见的空间也可以保留更多的空间。从经验上讲，分离良好的原型有助于抵消由域转移引起的视觉声音错位。此外，我们利用一种新颖的面向语义的微调来保证占位符的语义可靠性。在五个基准数据集上进行的广泛实验证明了LPL在最新方法上的显着性能提高。代码可在https://github.com/zaiquanyang/lpl上找到。
translated by 谷歌翻译
广义零射击学习（GZSL）是一种培训深度学习模型的技术，可以使用该属性识别未经看的类。在本文中，我们提出了一种新的GZSL技术，可以大大提高GZSL分类性能。所提出的方法的关键思想，从此将来称为基于语义特征提取的GZSL（SE-GZSL），是使用仅包含与属性相关信息的语义特征在学习图像和属性之间的关系时。在这样做时，我们可以删除由图像特征中包含的属性无关信息引起的干扰（如果有的话）。为了训练网络提取语义特征，我们呈现了两个新颖的丢失功能，1）基于信息的丢失，以捕获图像特征中的所有属性相关信息，以及基于相似性的丢失来删除不需要的属性 - 无关信息。通过使用各种数据集的大量实验，我们表明所提出的SE-GZSL技术优于传统的GZSL方法，通过大边距。
translated by 谷歌翻译
很少有开放式识别旨在对可见类别的培训数据进行有限的培训数据进行分类和新颖的图像。这项任务的挑战是，该模型不仅需要学习判别性分类器，以用很少的培训数据对预定的类进行分类，而且还要拒绝从未见过的培训时间出现的未见类别的输入。在本文中，我们建议从两个新方面解决问题。首先，我们没有像在标准的封闭设置分类中那样学习看到类之间的决策边界，而是为看不见的类保留空间，因此位于这些区域中的图像被认为是看不见的类。其次，为了有效地学习此类决策边界，我们建议利用所见类的背景功能。由于这些背景区域没有显着促进近距离分类的决定，因此自然地将它们用作分类器学习的伪阶层。我们的广泛实验表明，我们提出的方法不仅要优于多个基线，而且还为三个流行的基准测试（即Tieredimagenet，Miniimagenet和Caltech-uscd Birds-birds-2011-2011（Cub））设定了新的最先进结果。
translated by 谷歌翻译
从少数样本中学习的多功能性是人类智能的标志。很少有学习能力超越机器的努力。受概率深度学习的承诺和力量的启发，我们提出了一个新颖的变异推理网络，用于几个射击分类（被构成三叉戟），将图像的表示形式分离为语义和标记潜在变量，并以相互交织的方式推断它们。为了诱导任务意识，作为三叉戟推理机制的一部分，我们使用一种新型的基于内置的基于注意的转导功能提取模块（我们致电ATTFEX）在查询和支持图像上借鉴了几次任务的图像。我们广泛的实验结果证实了三叉戟的功效，并证明，使用最简单的骨架，它在最常见的数据集Miniimagenet和Tieredimagenet中设置了新的最新时间（最多可提高4％和5％，，高达4％和5％分别是）以及最近具有挑战性的跨域迷你膜 - > CUB场景，其范围超出了最佳现有跨域基线的显着利润率（最高20％）。可以在我们的GitHub存储库中找到代码和实验：https：//github.com/anujinho/trident
translated by 谷歌翻译
零射门学习（ZSL）旨在通过将语义知识从看见课程转移到看不见者来识别新颖的课程。从不同类别之间共享的属性描述中学到的语义知识，该属性描述是用于本地化代表歧视区域特征的对象属性的强子指数，从而实现了显着的视觉语义交互。尽管基于注意的模型已经尝试学习单个图像中的这种区域特征，但是通常忽略视觉特征的可转换性和辨别性属性定位。在本文中，我们提出了一个属性引导的变压器网络，称为Transzero，以改进视觉特征，并在ZSL中鉴定鉴别的视觉嵌入表示。具体而言，Transzero采用特征增强编码器来缓解想象集和ZSL基准之间的交叉数据集偏压，并通过减少区域特征之间的缠结的相对几何关系来提高视觉特征的可转换性。为了学习地区增强的可视功能，Transzero使用视觉语义解码器来在语义属性信息的指导下本地化与给定图像中的每个属性最相关的图像区域。然后，用于在视觉语义嵌入网络中进行有效的视觉语义交互来实现局部增强的视觉特征和语义向量。广泛的实验表明，Transzero在三个ZSL基准上实现了新的最新状态。该代码可用于：\ url {https://github.com/shiming-chen/transzero}。
translated by 谷歌翻译