监督学习方法可以在存在大量标记数据的情况下解决给定的问题。但是，涵盖所有目标类的数据集的采集通常需要昂贵且耗时的手动标签。零击学习模型能够通过利用其语义信息来对看不见的概念进行分类。本研究通过使用非线性声音 - 语义投影介绍了图像嵌入作为有关零击音频分类的附带信息。我们从开放图像数据集中提取语义图像表示形式，并使用不同域中的语义信息在音频集的音频子集上评估模型的性能；图像，音频和文字。我们证明，图像嵌入可以用作语义信息来执行零击音频分类。实验结果表明，图像和文本嵌入式单独和一起显示相似的性能。我们还从测试样品中计算出语义声嵌入，以提供性能的上限。结果表明，分类性能对测试和训练类之间的语义关系以及文本和图像嵌入之间的语义关系高度敏感，当时可见和看不见的类在语义上相似时，可以直至语义声学嵌入。

用于标记和分类声信号的标准机器学习模型无法处理训练过程中未见的类。通过基于适应性的类描述来预测类，零射击（ZS）学习克服了这一限制。这项研究旨在研究基于自我注意力的音频嵌入体系结构对ZS学习的有效性。为此，我们将最近的贴布频谱变压器与两个经典的卷积体系结构进行了比较。我们在三个任务和三个不同的基准数据集上评估了这三个架构：在Audioset上的通用标记，ESC-50上的环境声音分类以及OpenMIC上的仪器标记。我们的结果表明，基于自我注意的嵌入方法的表现都优于所有这些设置中的卷积架构。通过相应地设计培训和测试数据，我们观察到，当训练和新测试类之间的“语义距离”很大时，预测性能会大大受到影响，这种效果值得进行更详细的研究。

This work introduces a model that can recognize objects in images even if no training data is available for the object class. The only necessary knowledge about unseen visual categories comes from unsupervised text corpora. Unlike previous zero-shot learning models, which can only differentiate between unseen classes, our model can operate on a mixture of seen and unseen classes, simultaneously obtaining state of the art performance on classes with thousands of training images and reasonable performance on unseen classes. This is achieved by seeing the distributions of words in texts as a semantic space for understanding what objects look like. Our deep learning model does not require any manually defined semantic or visual features for either words or images. Images are mapped to be close to semantic word vectors corresponding to their classes, and the resulting image embeddings can be used to distinguish whether an image is of a seen or unseen class. We then use novelty detection methods to differentiate unseen classes from seen classes. We demonstrate two novelty detection strategies; the first gives high accuracy on unseen classes, while the second is conservative in its prediction of novelty and keeps the seen classes' accuracy high.

Modern visual recognition systems are often limited in their ability to scale to large numbers of object categories. This limitation is in part due to the increasing difficulty of acquiring sufficient training data in the form of labeled images as the number of object categories grows. One remedy is to leverage data from other sources -such as text data -both to train visual models and to constrain their predictions. In this paper we present a new deep visual-semantic embedding model trained to identify visual objects using both labeled image data as well as semantic information gleaned from unannotated text. We demonstrate that this model matches state-of-the-art performance on the 1000-class ImageNet object recognition challenge while making more semantically reasonable errors, and also show that the semantic information can be exploited to make predictions about tens of thousands of image labels not observed during training. Semantic knowledge improves such zero-shot predictions achieving hit rates of up to 18% across thousands of novel labels never seen by the visual model.

Zero-Shot Learning has been a highlighted research topic in both vision and language areas. Recently, most existing methods adopt structured knowledge information to model explicit correlations among categories and use deep graph convolutional network to propagate information between different categories. However, it is difficult to add new categories to existing structured knowledge graph, and deep graph convolutional network suffers from over-smoothing problem. In this paper, we provide a new semantic enhanced knowledge graph that contains both expert knowledge and categories semantic correlation. Our semantic enhanced knowledge graph can further enhance the correlations among categories and make it easy to absorb new categories. To propagate information on the knowledge graph, we propose a novel Residual Graph Convolutional Network (ResGCN), which can effectively alleviate the problem of over-smoothing. Experiments conducted on the widely used large-scale ImageNet-21K dataset and AWA2 dataset show the effectiveness of our method, and establish a new state-of-the-art on zero-shot learning. Moreover, our results on the large-scale ImageNet-21K with various feature extraction networks show that our method has better generalization and robustness.

Despite significant progress in object categorization, in recent years, a number of important challenges remain; mainly, the ability to learn from limited labeled data and to recognize object classes within large, potentially open, set of labels. Zero-shot learning is one way of addressing these challenges, but it has only been shown to work with limited sized class vocabularies and typically requires separation between supervised and unsupervised classes, allowing former to inform the latter but not vice versa. We propose the notion of vocabulary-informed learning to alleviate the above mentioned challenges and address problems of supervised, zero-shot, generalized zero-shot and open set recognition using a unified framework. Specifically, we propose a weighted maximum margin framework for semantic manifold-based recognition that incorporates distance constraints from (both supervised and unsupervised) vocabulary atoms. Distance constraints ensure that labeled samples are projected closer to their correct prototypes, in the embedding space, than to others. We illustrate that resulting model shows improvements in supervised, zero-shot, generalized zero-shot, and large open set recognition, with up to 310K class vocabulary on Animal with Attributes and ImageNet datasets.

虽然对2D图像的零射击学习（ZSL）进行了许多研究，但其在3D数据中的应用仍然是最近且稀缺的，只有几种方法限于分类。我们在3D数据上介绍了ZSL和广义ZSL（GZSL）的第一代生成方法，可以处理分类，并且是第一次语义分割。我们表明它达到或胜过了INTEMNET40对归纳ZSL和归纳GZSL的ModelNet40分类的最新状态。对于语义分割，我们创建了三个基准，用于评估此新ZSL任务，使用S3DIS，Scannet和Semantickitti进行评估。我们的实验表明，我们的方法优于强大的基线，我们另外为此任务提出。

与其2D图像对应物相比，3D点云数据上的零射击学习是一个相关的未置换问题。 3D数据由于不可用的预训练特征提取模型而带来了ZSL的新挑战。为了解决这个问题，我们提出了一种及时引导的3D场景生成和监督方法，该方法可以增强3D数据以更好地学习网络，从而探索可见和看不见的对象的复杂相互作用。首先，我们以提示描述的某些方式合并了两个3D模型的点云。提示的行为就像描述每个3D场景的注释一样。后来，我们进行对比学习，以端到端的方式培训我们所提出的建筑。我们认为，与单​​个对象相比，3D场景可以更有效地关联对象，因为当对象出现在上下文中时，流行的语言模型（如Bert）可以实现高性能。我们提出的及时引导场景生成方法封装了数据扩展和基于及时的注释/字幕，以提高3D ZSL性能。我们已经在合成（ModelNet40，ModelNet10）和实扫描（ScanoJbectnn）3D对象数据集上实现了最新的ZSL和广义ZSL性能。

Inspired by strategies like Active Learning, it is intuitive that intelligently selecting the training classes from a dataset for Zero-Shot Learning (ZSL) can improve the performance of existing ZSL methods. In this work, we propose a framework called Diverse and Rare Class Identifier (DiRaC-I) which, given an attribute-based dataset, can intelligently yield the most suitable "seen classes" for training ZSL models. DiRaC-I has two main goals - constructing a diversified set of seed classes, followed by a visual-semantic mining algorithm initialized by these seed classes that acquires the classes capturing both diversity and rarity in the object domain adequately. These classes can then be used as "seen classes" to train ZSL models for image classification. We adopt a real-world scenario where novel object classes are available to neither DiRaC-I nor the ZSL models during training and conducted extensive experiments on two benchmark data sets for zero-shot image classification - CUB and SUN. Our results demonstrate DiRaC-I helps ZSL models to achieve significant classification accuracy improvements.

广义零射击学习（GZSL）旨在培训一个模型，以在某些输出类别在监督学习过程中未知的情况下对数据样本进行分类。为了解决这一具有挑战性的任务，GZSL利用可见的（源）和看不见的（目标）类的语义信息来弥合所见类和看不见的类之间的差距。自引入以来，已经制定了许多GZSL模型。在这篇评论论文中，我们介绍了有关GZSL的全面评论。首先，我们提供了GZSL的概述，包括问题和挑战。然后，我们为GZSL方法介绍了分层分类，并讨论了每个类别中的代表性方法。此外，我们讨论了GZSL的可用基准数据集和应用程序，以及有关研究差距和未来研究方向的讨论。

零射击动作识别是识别无视觉示例的识别性类别的任务，只有在没有看到看到的类别的seman-tic嵌入方式。问题可以看作是学习一个函数，该函数可以很好地讲述不见的阶级实例，而不会在类之间失去歧视。神经网络可以模拟视觉类别之间的复杂边界，从而将其作为监督模型的成功范围。但是，这些高度专业化的类边界可能不会从看不见的班级转移到看不见的类别。在本文中，我们提出了基于质心的表示，该表示将视觉和语义表示，同时考虑所有训练样本，通过这种方式，对看不见的课程的实例很好。我们使用强化学习对群集进行优化，这对我们的工作方法表明了至关重要的。我们称提出的甲壳类动物的命名为Claster，并观察到它在所有标准数据集中始终超过最先进的方法，包括UCF101，HMDB51和奥运会运动；在Thestandard Zero-shot评估和广义零射击学习中。此外，我们表明我们的模型在图像域也可以进行com的性能，在许多设置中表现出色。

零拍学习方法依赖于固定的视觉和语义嵌入，从独立视觉和语言模型中提取，都是预先培训的其他大型任务。这是当前零拍摄学习框架的弱点，因为这种不相交的嵌入不能充分将可视化和文本信息与其共享语义内容充分相关联。因此，我们建议通过在代理任务上计算带有双流网络的联合图像和文本模型来学习语义接地和丰富的视觉信息。为了改善由属性提供的图像和文本表示之间的这种对齐，我们利用辅助标题提供接地的语义信息。我们的方法，在若干基准数据集中评估了零射击学习的关节嵌入，提高了标准（APY $ + 1.6 $ \％的现有最先进方法的性能（$ + 2.6 \％$在FLO）上）和AWA $ 2 $ + 2.1 \％$ 2 $ 2 $ 2美元，幼崽+ 2.2 \％$ 2。幼崽）零射击识别。

零拍摄对象检测（ZSD），将传统检测模型扩展到检测来自Unseen类别的对象的任务，已成为计算机视觉中的新挑战。大多数现有方法通过严格的映射传输策略来解决ZSD任务，这可能导致次优ZSD结果：1）这些模型的学习过程忽略了可用的看不见的类信息，因此可以轻松地偏向所看到的类别; 2）原始视觉特征空间并不合适，缺乏歧视信息。为解决这些问题，我们开发了一种用于ZSD的新型语义引导的对比网络，命名为Contrastzsd，一种检测框架首先将对比学习机制带入零拍摄检测的领域。特别地，对比度包括两个语义导向的对比学学习子网，其分别与区域类别和区域区域对之间形成对比。成对对比度任务利用从地面真理标签和预定义的类相似性分布派生的附加监督信号。在那些明确的语义监督的指导下，模型可以了解更多关于看不见的类别的知识，以避免看到概念的偏见问题，同时优化视觉功能的数据结构，以更好地辨别更好的视觉语义对齐。广泛的实验是在ZSD，即Pascal VOC和MS Coco的两个流行基准上进行的。结果表明，我们的方法优于ZSD和广义ZSD任务的先前最先进的。

零射击行动识别（ZSAR）旨在识别培训期间从未见过的视频动作。大多数现有方法都假设看到和看不见的动作之间存在共享的语义空间，并打算直接学习从视觉空间到语义空间的映射。视觉空间和语义空间之间的语义差距挑战了这种方法。本文提出了一种新颖的方法，该方法使用对象语义作为特权信息来缩小语义差距，从而有效地帮助学习。特别是，提出了一个简单的幻觉网络，以在不明确提取对象的情况下隐式提取对象语义，并开发了一个交叉注意模块，以增强对象语义的视觉功能。奥林匹克运动，HMDB51和UCF101数据集的实验表明，所提出的方法的表现优于最先进的方法。

While video action recognition has been an active area of research for several years, zero-shot action recognition has only recently started gaining traction. In this work, we propose a novel end-to-end trained transformer model which is capable of capturing long range spatiotemporal dependencies efficiently, contrary to existing approaches which use 3D-CNNs. Moreover, to address a common ambiguity in the existing works about classes that can be considered as previously unseen, we propose a new experimentation setup that satisfies the zero-shot learning premise for action recognition by avoiding overlap between the training and testing classes. The proposed approach significantly outperforms the state of the arts in zero-shot action recognition in terms of the the top-1 accuracy on UCF-101, HMDB-51 and ActivityNet datasets. The code and proposed experimentation setup are available in GitHub: https://github.com/Secure-and-Intelligent-Systems-Lab/SemanticVideoTransformer

最近，几种方法探索了视频中对象的检测和分类，以便以显着的结果执行零射击动作识别。在这些方法中，类对象关系用于将视觉模式与语义侧信息相关联，因为这些关系也倾向于出现在文本中。因此，Word Vector方法将在其潜在的陈述中反映它们。灵感来自这些方法，并通过视频字幕来描述不仅具有一组对象但具有上下文信息的事件的能力，我们提出了一种方法，其中录像模型称为观察者，提供不同和互补的描述性句子。我们证明，在ZSAR中，代表具有描述性句子的视频而不是深度特征是可行的，并且自然而然地减轻了域适应问题，因为我们在UCF101数据集中达到了最先进的（SOTA）性能，并且在HMDB51上竞争性能他们的训练集。我们还展示了Word Vectors不适合构建我们描述的语义嵌入空间。因此，我们建议用从互联网上获取的搜索引擎获取的文档提取的句子代表课程，而没有任何人类评估描述的描述。最后，我们构建了在多个文本数据集上预先培训的基于BERT的eMbedder的共享语义空间。我们表明，这种预训练对于弥合语义差距至关重要。对于这两种类型的信息，视觉和语义，对此空间的投影很简单，因为它们是句子，使得在此共享空间中的最近邻居规则能够分类。我们的代码可在https://github.com/valterlej/zsarcap上找到。

机器学习方法尤其是深度神经网络取得了巨大的成功，但其中许多往往依赖于一些标记的样品进行训练。在真实世界的应用中，我们经常需要通过例如具有新兴预测目标和昂贵的样本注释的动态上下文来解决样本短缺。因此，低资源学习，旨在学习具有足够资源（特别是培训样本）的强大预测模型，现在正在被广泛调查。在所有低资源学习研究中，许多人更喜欢以知识图（kg）的形式利用一些辅助信息，这对于知识表示变得越来越受欢迎，以减少对标记样本的依赖。在这项调查中，我们非常全面地审查了90美元的报纸关于两个主要的低资源学习设置 - 零射击学习（ZSL）的预测，从未出现过训练，而且很少拍摄的学习（FSL）预测的新类仅具有可用的少量标记样本。我们首先介绍了ZSL和FSL研究中使用的KGS以及现有的和潜在的KG施工解决方案，然后系统地分类和总结了KG感知ZSL和FSL方法，将它们划分为不同的范例，例如基于映射的映射，数据增强，基于传播和基于优化的。我们接下来呈现了不同的应用程序，包括计算机视觉和自然语言处理中的kg增强预测任务，还包括kg完成的任务，以及每个任务的一些典型评估资源。我们最终讨论了一些关于新学习和推理范式的方面的一些挑战和未来方向，以及高质量的KGs的建设。

图像标题生成是视觉和语言域交集中最具挑战性的问题之一。在这项工作中，我们提出了一个现实的字幕任务，其中输入场景可能包含没有相应的视觉或文本培训示例的视觉对象。对于此问题，我们提出了一种检测驱动的方法，该方法由单阶段的广义零弹声检测模型组成，以识别和本地化可见和看不见的类的实例，以及将检测转换为句子的基于模板的字幕模型。为了改善广泛的零射击检测模型，该模型为字幕提供了必不可少的信息，我们在班级到类的语义相似性方面定义了有效的课堂表示，并利用其特殊结构来构建有效的看不见/可见的类置信度得分校准机制。我们还提出了一个新颖的评估指标，该指标通过分别测量生成句子的视觉和非视觉内容来为字幕输出提供其他见解。我们的实验强调了在提出的零射击设置中研究字幕的重要性，并验证提出的检测驱动的零射击字幕方法的有效性。

跨模态散列（CMH）是跨模型近似最近邻搜索中最有前途的方法之一。大多数CMH解决方案理想地假设培训和测试集的标签是相同的。但是，通常违反假设，导致零拍摄的CMH问题。最近解决此问题的努力侧重于使用标签属性将知识转移到未见的类。但是，该属性与多模态数据的特征隔离。为了减少信息差距，我们介绍了一种名为LAEH的方法（嵌入零拍跨模型散列的标签属性）。 Laeh首先通过Word2Vec模型获取标签的初始语义属性向量，然后使用转换网络将它们转换为常见的子空间。接下来，它利用散列向量和特征相似矩阵来指导不同方式的特征提取网络。与此同时，Laeh使用属性相似性作为标签相似度的补充，以纠正标签嵌入和常见子空间。实验表明，Laeh优于相关代表零射和跨模态散列方法。

Consider a scenario in one-shot query-guided object localization where neither an image of the object nor the object category name is available as a query. In such a scenario, a hand-drawn sketch of the object could be a choice for a query. However, hand-drawn crude sketches alone, when used as queries, might be ambiguous for object localization, e.g., a sketch of a laptop could be confused for a sofa. On the other hand, a linguistic definition of the category, e.g., a small portable computer small enough to use in your lap" along with the sketch query, gives better visual and semantic cues for object localization. In this work, we present a multimodal query-guided object localization approach under the challenging open-set setting. In particular, we use queries from two modalities, namely, hand-drawn sketch and description of the object (also known as gloss), to perform object localization. Multimodal query-guided object localization is a challenging task, especially when a large domain gap exists between the queries and the natural images, as well as due to the challenge of combining the complementary and minimal information present across the queries. For example, hand-drawn crude sketches contain abstract shape information of an object, while the text descriptions often capture partial semantic information about a given object category. To address the aforementioned challenges, we present a novel cross-modal attention scheme that guides the region proposal network to generate object proposals relevant to the input queries and a novel orthogonal projection-based proposal scoring technique that scores each proposal with respect to the queries, thereby yielding the final localization results. ...