关键字发现是检测流音频中的关键字的任务。传统的关键字点斑点目标预定义的关键字分类，但是越来越多的关键字（逐示例）关键字点斑点，例如，N-Way分类给出了M-Shot支持样本。此外，在现实世界中，可能会有意外类别（开放设定）的话语需要被拒绝，而不是归类为N类之一。结合了两个需求，我们将几个开放式关键字点斑点与名为SplitGSC的新基准设置进行了处理。我们提出了基于公制学习的情节 - 已知的虚拟原型，以更好地检测开放式设定，并引入一种简单而强大的方法，虚拟原型网络（D-Protonets）。与最新的SplitGSC中的几个射击开放式识别（FSOSR）方法相比，我们的D-Protonets显示出明显的边缘。我们还可以在标准基准测试中验证我们的方法，微型果胶和D-Protonets显示了FSOSR中最新的开放式检测率。

很少有开放式识别旨在对可见类别的培训数据进行有限的培训数据进行分类和新颖的图像。这项任务的挑战是，该模型不仅需要学习判别性分类器，以用很少的培训数据对预定的类进行分类，而且还要拒绝从未见过的培训时间出现的未见类别的输入。在本文中，我们建议从两个新方面解决问题。首先，我们没有像在标准的封闭设置分类中那样学习看到类之间的决策边界，而是为看不见的类保留空间，因此位于这些区域中的图像被认为是看不见的类。其次，为了有效地学习此类决策边界，我们建议利用所见类的背景功能。由于这些背景区域没有显着促进近距离分类的决定，因此自然地将它们用作分类器学习的伪阶层。我们的广泛实验表明，我们提出的方法不仅要优于多个基线，而且还为三个流行的基准测试（即Tieredimagenet，Miniimagenet和Caltech-uscd Birds-birds-2011-2011（Cub））设定了新的最先进结果。

关键字斑点（KWS）在启用智能设备上的基于语音的用户互动方面起着至关重要的作用，而常规KWS（C-KWS）方法集中在检测用户无关的预定关键字上。但是，实际上，大多数用户互动都来自该设备中注册的目标用户，这些用户激发了构建个性化关键字发现的设备。我们设计了两个个性化的KWS任务； （1）目标用户偏置KWS（TB-KWS）和（2）仅目标用户KWS（TO-KWS）。为了解决任务，我们通过多任务学习（PK-MTL）提出个性化关键字，该关键字可以通过多任务学习和任务适应为组成。首先，我们介绍对关键字发现和扬声器验证的多任务学习，以利用用户信息到关键字发现系统。接下来，我们设计特定于任务的评分功能，以彻底适应个性化的KWS任务。我们在常规和个性化场景上评估了框架，结果表明，PK-MTL可以大大降低错误警报率，尤其是在各种实际情况下。

我们研究了如何在只有几个类别（几次拍摄设置）给出的一些样本时识别来自Unseen类别（开放式分类）的样本的问题。学习良好抽象的挑战是一个非常少数样本的课程使得从看不见的类别中检测样本非常困难;因此，开放式识别在少量拍摄设置中受到最小的关注。大多数开放式少量拍摄分类方法正规化SoftMax得分以表明开放类样本的均匀概率，但我们认为这种方法通常是不准确的，特别是在细粒度。相反，我们提出了一种新颖的示例性重建的元学习策略，用于共同检测开放类样本，以及通过基于度量的分类对来自观众的样本进行分类。充当类的代表的示例可以在训练数据集中提供或在特征域中估计。我们的框架，名为重建示例的基于少量拍摄的少量开放式分类器（Refofs），在各种数据集上测试，实验结果明确突出了我们作为新技术的方法。

Learning with limited data is a key challenge for visual recognition. Many few-shot learning methods address this challenge by learning an instance embedding function from seen classes and apply the function to instances from unseen classes with limited labels. This style of transfer learning is task-agnostic: the embedding function is not learned optimally discriminative with respect to the unseen classes, where discerning among them leads to the target task. In this paper, we propose a novel approach to adapt the instance embeddings to the target classification task with a set-to-set function, yielding embeddings that are task-specific and are discriminative. We empirically investigated various instantiations of such set-to-set functions and observed the Transformer is most effective -as it naturally satisfies key properties of our desired model. We denote this model as FEAT (few-shot embedding adaptation w/ Transformer) and validate it on both the standard few-shot classification benchmark and four extended few-shot learning settings with essential use cases, i.e., cross-domain, transductive, generalized few-shot learning, and low-shot learning. It archived consistent improvements over baseline models as well as previous methods, and established the new stateof-the-art results on two benchmarks.

在新课程训练时，几乎没有射击学习（FSL）方法通常假设具有准确标记的样品的清洁支持集。这个假设通常可能是不现实的：支持集，无论多么小，仍然可能包括标签错误的样本。因此，对标签噪声的鲁棒性对于FSL方法是实用的，但是这个问题令人惊讶地在很大程度上没有探索。为了解决FSL设置中标签错误的样品，我们做出了一些技术贡献。 （1）我们提供了简单而有效的特征聚合方法，改善了流行的FSL技术Protonet使用的原型。 （2）我们描述了一种嘈杂的噪声学习的新型变压器模型（TRANFS）。 TRANFS利用变压器的注意机制称重标记为错误的样品。 （3）最后，我们对迷你胶原和tieredimagenet的嘈杂版本进行了广泛的测试。我们的结果表明，TRANFS与清洁支持集的领先FSL方法相对应，但到目前为止，在存在标签噪声的情况下，它们的表现优于它们。

我们研究了很少的开放式识别（FSOR）的问题，该问题学习了一个能够快速适应新类的识别系统，具有有限的标签示例和对未知负样本的拒绝。由于数据限制，传统的大规模开放式方法对FSOR问题有效无效。当前的FSOR方法通常校准了几个弹出封闭式分类器对负样品敏感的，因此可以通过阈值拒绝它们。但是，阈值调整是一个具有挑战性的过程，因为不同的FSOR任务可能需要不同的拒绝功能。在本文中，我们提出了任务自适应的负面类别设想，以使FSOR集成阈值调整到学习过程中。具体而言，我们增加了几个封闭式分类器，并使用少量示例产生的其他负面原型。通过在负生成过程中纳入很少的类相关性，我们可以学习FSOR任务的动态拒绝边界。此外，我们将我们的方法扩展到概括的少数开放式识别（GFSOR），该识别需要在许多射击和少数类别上进行分类以及拒绝​​负样本。公共基准的广泛实验验证了我们在这两个问题上的方法。

在图像处理中使用二维卷积神经网络（2D-CNN）时，可以使用通道统计数据来操纵域信息，实例归一化是获得域不变特征的一种有希望的方法。但是，与图像处理不同，我们分析了音频功能中与域相关的信息在频率统计中占主导地位，而不是通道统计。通过我们的分析激励，我们引入了宽松的实例频率归一化（RFN）：沿频率轴的插件，显式归一化模块，可以消除音频功能中特定实例的特定域差异，同时放松不良的有用歧视性损失信息。从经验上讲，与先前的声学场景分类中的域概括方法相比，仅将RFN添加到网络中显示出明显的边缘，并且可以提高多个音频设备的鲁棒性。尤其是，拟议的RFN赢得了DCASE2021挑战任务1a，具有多个设备的低复杂声音场景分类，并具有明显的利润，RFN是我们技术报告的扩展工作。

Metric-based meta-learning is one of the de facto standards in few-shot learning. It composes of representation learning and metrics calculation designs. Previous works construct class representations in different ways, varying from mean output embedding to covariance and distributions. However, using embeddings in space lacks expressivity and cannot capture class information robustly, while statistical complex modeling poses difficulty to metric designs. In this work, we use tensor fields (``areas'') to model classes from the geometrical perspective for few-shot learning. We present a simple and effective method, dubbed hypersphere prototypes (HyperProto), where class information is represented by hyperspheres with dynamic sizes with two sets of learnable parameters: the hypersphere's center and the radius. Extending from points to areas, hyperspheres are much more expressive than embeddings. Moreover, it is more convenient to perform metric-based classification with hypersphere prototypes than statistical modeling, as we only need to calculate the distance from a data point to the surface of the hypersphere. Following this idea, we also develop two variants of prototypes under other measurements. Extensive experiments and analysis on few-shot learning tasks across NLP and CV and comparison with 20+ competitive baselines demonstrate the effectiveness of our approach.

在过去的几年里，几年枪支学习（FSL）引起了极大的关注，以最大限度地减少标有标记的训练示例的依赖。FSL中固有的困难是处理每个课程的培训样本太少的含糊不清的歧义。为了在FSL中解决这一基本挑战，我们的目标是培训可以利用关于新颖类别的先前语义知识来引导分类器合成过程的元学习模型。特别是，我们提出了语义调节的特征注意力和样本注意机制，估计表示尺寸和培训实例的重要性。我们还研究了FSL的样本噪声问题，以便在更现实和不完美的环境中利用Meta-Meverys。我们的实验结果展示了所提出的语义FSL模型的有效性，而没有样品噪声。

元学习已成为几乎没有图像分类的实用方法，在该方法中，“学习分类器的策略”是在标记的基础类别上进行元学习的，并且可以应用于具有新颖类的任务。我们删除了基类标签的要求，并通过无监督的元学习（UML）学习可通用的嵌入。具体而言，任务发作是在元训练过程中使用未标记的基本类别的数据增强构建的，并且我们将基于嵌入式的分类器应用于新的任务，并在元测试期间使用标记的少量示例。我们观察到两个元素在UML中扮演着重要角色，即进行样本任务和衡量实例之间的相似性的方法。因此，我们获得了具有两个简单修改的​​强基线 - 一个足够的采样策略，每情节有效地构建多个任务以及半分解的相似性。然后，我们利用来自两个方向的任务特征以获得进一步的改进。首先，合成的混淆实例被合并以帮助提取更多的判别嵌入。其次，我们利用额外的特定任务嵌入转换作为元训练期间的辅助组件，以促进预先适应的嵌入式的概括能力。几乎没有学习基准的实验证明，我们的方法比以前的UML方法优于先前的UML方法，并且比其监督变体获得了可比甚至更好的性能。

We propose prototypical networks for the problem of few-shot classification, where a classifier must generalize to new classes not seen in the training set, given only a small number of examples of each new class. Prototypical networks learn a metric space in which classification can be performed by computing distances to prototype representations of each class. Compared to recent approaches for few-shot learning, they reflect a simpler inductive bias that is beneficial in this limited-data regime, and achieve excellent results. We provide an analysis showing that some simple design decisions can yield substantial improvements over recent approaches involving complicated architectural choices and meta-learning. We further extend prototypical networks to zero-shot learning and achieve state-of-theart results on the CU-Birds dataset.

很少拍摄的学习解决了学习如何解决不仅仅是有限的监督而且有限的数据的挑战。有吸引力的解决方案是合成数据生成。然而，大多数此类方法过于复杂，专注于输入空间中的高质量现实数据。目前尚不清楚是否将它们适应少次拍摄的制度并使用它们在分类的下游任务中是正确的方法。以前关于综合数据生成的工作，用于几次分类专注于利用复杂模型，例如，具有多个常规方或网络的Wasserstein GaN，可从新颖的课程中传输潜在的分集。我们遵循不同的方法，并调查如何有效地使用简单和简单的合成数据生成方法。我们提出了两个贡献，即我们表明：（1）使用简单的损失函数足以训练几次拍摄设置中的一个特征生成器; （2）学习生成张量特征而不是矢量特征是优越的。在MiniimAgenet，Cub和CiFar-FS数据集上的广泛实验表明，我们的方法设置了新的最新状态，优于更复杂的少量数据增强方法。源代码可以在https://github.com/michalislazarou/tfh_fewshot找到。

少量学习，特别是几秒钟的图像分类，近年来受到了越来越多的关注，并目睹了重大进展。最近的一些研究暗示表明，许多通用技术或“诀窍”，如数据增强，预训练，知识蒸馏和自我监督，可能大大提高了几次学习方法的性能。此外，不同的作品可以采用不同的软件平台，不同的训练计划，不同的骨干架构以及甚至不同的输入图像大小，使得公平的比较困难，从业者与再现性斗争。为了解决这些情况，通过在Pytorch中的同一单个代码库中重新实施17个最新的框架，提出了几次射门学习（Libfewshot）的全面图书馆。此外，基于libfewshot，我们提供多个基准数据集的全面评估，其中包含多个骨干架构，以评估不同培训技巧的常见缺陷和效果。此外，鉴于近期对必要性或未培训机制的必要性怀疑，我们的评估结果表明，特别是当与预训练相结合时，仍然需要这种机制。我们希望我们的工作不仅可以降低初学者的障碍，可以在几次学习上工作，而且还消除了非动力技巧的影响，促进了几枪学习的内在研究。源代码可从https://github.com/rl-vig/libfewshot获取。

由顺序训练和元训练阶段组成的两阶段训练范式已广泛用于当前的几次学习（FSL）研究。这些方法中的许多方法都使用自我监督的学习和对比度学习来实现新的最新结果。但是，在FSL培训范式的两个阶段，对比度学习的潜力仍未得到充分利用。在本文中，我们提出了一个新颖的基于学习的框架，该框架将对比度学习无缝地整合到两个阶段中，以提高少量分类的性能。在预训练阶段，我们提出了特征向量与特征映射和特征映射与特征映射的形式的自我监督对比损失，该图形与特征映射使用全局和本地信息来学习良好的初始表示形式。在元训练阶段，我们提出了一种跨视图的情节训练机制，以对同一情节的两个不同视图进行最近的质心分类，并采用基于它们的距离尺度对比度损失。这两种策略迫使模型克服观点之间的偏见并促进表示形式的可转让性。在三个基准数据集上进行的广泛实验表明，我们的方法可以实现竞争成果。

从有限的数据学习是一个具有挑战性的任务，因为数据的稀缺导致训练型模型的较差。经典的全局汇总表示可能会失去有用的本地信息。最近，许多射击学习方法通​​过使用深度描述符和学习像素级度量来解决这一挑战。但是，使用深描述符作为特征表示可能丢失图像的上下文信息。这些方法中的大多数方法独立地处理支持集中的每个类，这不能充分利用鉴别性信息和特定于特定的嵌入。在本文中，我们提出了一种名为稀疏空间变压器（SSFormers）的新型变压器的神经网络架构，可以找到任务相关的功能并抑制任务无关的功能。具体地，我们首先将每个输入图像划分为不同大小的几个图像斑块，以获得密集的局部特征。这些功能在表达本地信息时保留上下文信息。然后，提出了一种稀疏的空间变压器层以在查询图像和整个支持集之间找到空间对应关系，以选择任务相关的图像斑块并抑制任务 - 无关的图像斑块。最后，我们建议使用图像补丁匹配模块来计算密集的本地表示之间的距离，从而确定查询图像属于支持集中的哪个类别。广泛的少量学习基准测试表明，我们的方法实现了最先进的性能。

语义新颖性检测旨在发现测试数据中未知类别。此任务在安全至关重要的应用中特别相关，例如自动驾驶或医疗保健，在部署时间识别未知物体并相应地向用户发出警告至关重要。尽管深度学习研究取得了令人印象深刻的进步，但现有模型仍然需要在已知类别上进行填充阶段才能识别未知类别。当隐私规则限制数据访问或严格的内存和计算约束（例如边缘计算）时，这可能是令人难以置信的。我们声称，量身定制的表示策略可能是有效，有效的语义新颖性检测的正确解决方案。除了对此任务的最新方法进行最新的方法外，我们还提出了一种基于关系推理的新表示学习范式。它着重于学习如何衡量语义相似性而不是识别已知类别。我们的实验表明，这些知识可直接传输到各种场景，并且可以用作插件模块，以将封闭设置的识别模型转换为可靠的开放式开放集。

epiSodic学习是对几枪学习感兴趣的研究人员和从业者的流行练习。它包括在一系列学习问题（或剧集）中组织培训，每个人分为小型训练和验证子集，以模仿评估期间遇到的情况。但这总是必要吗？在本文中，我们调查了在集发作的级别使用非参数方法，例如最近邻居等方法的焦点学习的有用性。对于这些方法，我们不仅展示了广州学习的限制是如何不必要的，而是他们实际上导致利用培训批次的数据低效方式。我们通过匹配和原型网络进行广泛的消融实验，其中两个最流行的方法在集中的级别使用非参数方法。他们的“非焦化”对应物具有很大的更简单，具有较少的近似参数，并在多个镜头分类数据集中提高它们的性能。

验证系统的深度学习模型通常无法推广到新用户和新环境，即使他们学习了高度歧视的功能。为了解决这个问题，我们提出了一些射击域的概括框架，该框架学会了解决新用户和新域的分销转移。我们的框架由特定领域和域聚集网络组成，分别是特定和组合域的专家。通过使用这些网络，我们生成的发作是模仿新颖用户和新型域在训练阶段的存在，以最终产生更好的概括。为了节省内存，我们通过将相似域聚集在一起来减少特定于域特异性网络的数量。经过对人为生成的噪声域的广泛评估，我们可以明确显示我们框架的概括能力。此外，我们将提出的方法应用于标准基准的现有竞争体系结构，这显示了进一步的性能改进。

很少有视觉识别是指从一些标记实例中识别新颖的视觉概念。通过将查询表示形式与类表征进行比较以预测查询实例的类别，许多少数射击的视觉识别方法采用了基于公制的元学习范式。但是，当前基于度量的方法通常平等地对待所有实例，因此通常会获得有偏见的类表示，考虑到并非所有实例在总结了类级表示的实例级表示时都同样重要。例如，某些实例可能包含无代表性的信息，例如过多的背景和无关概念的信息，这使结果偏差。为了解决上述问题，我们提出了一个新型的基于公制的元学习框架，称为实例自适应类别表示网络（ICRL-net），以进行几次视觉识别。具体而言，我们开发了一个自适应实例重新平衡网络，具有在生成班级表示，通过学习和分配自适应权重的不同实例中的自适应权重时，根据其在相应类的支持集中的相对意义来解决偏见的表示问题。此外，我们设计了改进的双线性实例表示，并结合了两个新型的结构损失，即，阶层内实例聚类损失和阶层间表示区分损失，以进一步调节实例重估过程并完善类表示。我们对四个通常采用的几个基准测试：Miniimagenet，Tieredimagenet，Cifar-FS和FC100数据集进行了广泛的实验。与最先进的方法相比，实验结果证明了我们的ICRL-NET的优势。