原型网络（PN）是一个简单而有效的射击学习策略。这是一种基于公制的元学习技术，通过计算欧几里得距离到每个类的原型表示，可以执行分类。常规的PN属性对所有样品的重要性都具有相同的重要性，并通过简单地平均属于每个类的支持样品嵌入来生成原型。在这项工作中，我们提出了一种新颖的PN版本，该版本将权重归因于对应于它们对支持样本分布的影响的样品。根据样品分布的平均嵌入（包括样本和排除样品的平均嵌入）之间的最大平均差异（MMD）计算样品的影响权重。此外，在没有该样品的情况下，使用MMD根据分布的变化来测量样品的影响因子。

原型网络（PN）是一个简单但有效的几次学习策略。它是一种基于度量的元学习技术，通过计算欧几里德距离到每个类的原型表示来执行分类。传统的PN属性对所有样本的重要性相同，并通过简单地平均属于每个类的支持样本嵌入来生成原型。在这项工作中，我们提出了一种新颖的PN版本，该PN属于权重，以支持对应于它们对支持样品分布的影响的样本。基于样品分布的平均嵌入的最大平均差异（MMD）计算样品的影响力，包括并排除样品。通过将其在三个不同的基准皮肤集数据集上与其他基线PN的性能进行比较，通过将其性能与其他基线PNS进行比较来进行我们提出的影响PN（IPNET）的综合评估。 IPNet优于所有三个数据集的引人注目的所有基线模型，以及各种N-Way，K-Shot分类任务。跨域适应实验的调查结果进一步建立了IPNET的稳健性和普遍性。

We propose prototypical networks for the problem of few-shot classification, where a classifier must generalize to new classes not seen in the training set, given only a small number of examples of each new class. Prototypical networks learn a metric space in which classification can be performed by computing distances to prototype representations of each class. Compared to recent approaches for few-shot learning, they reflect a simpler inductive bias that is beneficial in this limited-data regime, and achieve excellent results. We provide an analysis showing that some simple design decisions can yield substantial improvements over recent approaches involving complicated architectural choices and meta-learning. We further extend prototypical networks to zero-shot learning and achieve state-of-theart results on the CU-Birds dataset.

很少有图像分类是一个具有挑战性的问题，旨在仅基于少量培训图像来达到人类的识别水平。少数图像分类的一种主要解决方案是深度度量学习。这些方法是，通过将看不见的样本根据距离的距离进行分类，可在强大的深神经网络中学到的嵌入空间中看到的样品，可以避免以少数图像分类的少数训练图像过度拟合，并实现了最新的图像表现。在本文中，我们提供了对深度度量学习方法的最新审查，以进行2018年至2022年的少量图像分类，并根据度量学习的三个阶段将它们分为三组，即学习功能嵌入，学习课堂表示和学习距离措施。通过这种分类法，我们确定了他们面临的不同方法和问题的新颖性。我们通过讨论当前的挑战和未来趋势进行了少量图像分类的讨论。

It has been experimentally demonstrated that humans are able to learn in a manner that allows them to make predictions on categories for which they have not seen any examples (Malaviya et al., 2022). Sucholutsky and Schonlau (2020) have recently presented a machine learning approach that aims to do the same. They utilise synthetically generated data and demonstrate that it is possible to achieve sub-linear scaling and develop models that can learn to recognise N classes from M training samples where M is less than N - aka less-than-one shot learning. Their method was, however, defined for univariate or simple multivariate data (Sucholutsky et al., 2021). We extend it to work on large, high-dimensional and real-world datasets and empirically validate it in this new and challenging setting. We apply this method to learn previously unseen NLP tasks from very few examples (4, 8 or 16). We first generate compact, sophisticated less-than-one shot representations called soft-label prototypes which are fitted on training data, capturing the distribution of different classes across the input domain space. We then use a modified k-Nearest Neighbours classifier to demonstrate that soft-label prototypes can classify data competitively, even outperforming much more computationally complex few-shot learning methods.

在过去的几年里，几年枪支学习（FSL）引起了极大的关注，以最大限度地减少标有标记的训练示例的依赖。FSL中固有的困难是处理每个课程的培训样本太少的含糊不清的歧义。为了在FSL中解决这一基本挑战，我们的目标是培训可以利用关于新颖类别的先前语义知识来引导分类器合成过程的元学习模型。特别是，我们提出了语义调节的特征注意力和样本注意机制，估计表示尺寸和培训实例的重要性。我们还研究了FSL的样本噪声问题，以便在更现实和不完美的环境中利用Meta-Meverys。我们的实验结果展示了所提出的语义FSL模型的有效性，而没有样品噪声。

从有限的数据学习是一个具有挑战性的任务，因为数据的稀缺导致训练型模型的较差。经典的全局汇总表示可能会失去有用的本地信息。最近，许多射击学习方法通​​过使用深度描述符和学习像素级度量来解决这一挑战。但是，使用深描述符作为特征表示可能丢失图像的上下文信息。这些方法中的大多数方法独立地处理支持集中的每个类，这不能充分利用鉴别性信息和特定于特定的嵌入。在本文中，我们提出了一种名为稀疏空间变压器（SSFormers）的新型变压器的神经网络架构，可以找到任务相关的功能并抑制任务无关的功能。具体地，我们首先将每个输入图像划分为不同大小的几个图像斑块，以获得密集的局部特征。这些功能在表达本地信息时保留上下文信息。然后，提出了一种稀疏的空间变压器层以在查询图像和整个支持集之间找到空间对应关系，以选择任务相关的图像斑块并抑制任务 - 无关的图像斑块。最后，我们建议使用图像补丁匹配模块来计算密集的本地表示之间的距离，从而确定查询图像属于支持集中的哪个类别。广泛的少量学习基准测试表明，我们的方法实现了最先进的性能。

Few-shot learning is a rapidly evolving area of research in machine learning where the goal is to classify unlabeled data with only one or "a few" labeled exemplary samples. Neural networks are typically trained to minimize a distance metric between labeled exemplary samples and a query set. Early few-shot approaches use an episodic training process to sub-sample the training data into few-shot batches. This training process matches the sub-sampling done on evaluation. Recently, conventional supervised training coupled with a cosine distance has achieved superior performance for few-shot. Despite the diversity of few-shot approaches over the past decade, most methods still rely on the cosine or Euclidean distance layer between the latent features of the trained network. In this work, we investigate the distributions of trained few-shot features and demonstrate that they can be roughly approximated as exponential distributions. Under this assumption of an exponential distribution, we propose a new maximum log-likelihood metric for few-shot architectures. We demonstrate that the proposed metric achieves superior performance accuracy w.r.t. conventional similarity metrics (e.g., cosine, Euclidean, etc.), and achieve state-of-the-art inductive few-shot performance. Further, additional gains can be achieved by carefully combining multiple metrics and neither of our methods require post-processing feature transformations, which are common to many algorithms. Finally, we demonstrate a novel iterative algorithm designed around our maximum log-likelihood approach that achieves state-of-the-art transductive few-shot performance when the evaluation data is imbalanced. We have made our code publicly available at https://github.com/samuelhess/MLL_FSL/.

Few-shot learning has become essential for producing models that generalize from few examples. In this work, we identify that metric scaling and metric task conditioning are important to improve the performance of few-shot algorithms. Our analysis reveals that simple metric scaling completely changes the nature of few-shot algorithm parameter updates. Metric scaling provides improvements up to 14% in accuracy for certain metrics on the mini-Imagenet 5-way 5-shot classification task. We further propose a simple and effective way of conditioning a learner on the task sample set, resulting in learning a task-dependent metric space. Moreover, we propose and empirically test a practical end-to-end optimization procedure based on auxiliary task co-training to learn a task-dependent metric space. The resulting few-shot learning model based on the task-dependent scaled metric achieves state of the art on mini-Imagenet. We confirm these results on another few-shot dataset that we introduce in this paper based on CIFAR100. Our code is publicly available at https://github.com/ElementAI/TADAM.

如果没有巨大的数据集，许多现代的深度学习技术就无法正常工作。同时，几个领域要求使用稀缺数据的方法。当样本具有变化的结构时，此问题甚至更为复杂。图表示学习技术最近已证明在各种领域中都成功。然而，当面对数据稀缺时，就业的体系结构表现不佳。另一方面，很少的学习允许在稀缺的数据制度中采用现代深度学习模型，而不会放弃其有效性。在这项工作中，我们解决了几乎没有图形分类的问题，这表明将简单的距离度量学习基线配备了最新的图形嵌入式嵌入者，可以在任务上获得竞争性结果。虽然体系结构的简单性足以超越更复杂的功能，它还可以直接添加。为此，我们表明可以通过鼓励任务条件的嵌入空间来获得其他改进。最后，我们提出了一种基于混合的在线数据增强技术，该技术在潜在空间中起作用，并显示其对任务的有效性。

We present a conceptually simple, flexible, and general framework for few-shot learning, where a classifier must learn to recognise new classes given only few examples from each. Our method, called the Relation Network (RN), is trained end-to-end from scratch. During meta-learning, it learns to learn a deep distance metric to compare a small number of images within episodes, each of which is designed to simulate the few-shot setting. Once trained, a RN is able to classify images of new classes by computing relation scores between query images and the few examples of each new class without further updating the network. Besides providing improved performance on few-shot learning, our framework is easily extended to zero-shot learning. Extensive experiments on five benchmarks demonstrate that our simple approach provides a unified and effective approach for both of these two tasks.

很少有射击分类旨在学习一个模型，该模型只有几个标签样本可用，可以很好地推广到新任务。为了利用在实际应用中更丰富的未标记数据，Ren等人。 \ shortcite {ren2018meta}提出了一种半监督的少数射击分类方法，该方法通过手动定义的度量标记为每个未标记的样本分配了适当的标签。但是，手动定义的度量未能捕获数据中的内在属性。在本文中，我们提出了a \ textbf {s} elf- \ textbf {a} daptive \ textbf {l} abel \ textbf {a} u摄孔方法，称为\ textbf {sala}，用于半精神分裂的几个分类。萨拉（Sala）的主要新颖性是任务自适应指标，可以以端到端的方式适应不同任务的指标。萨拉（Sala）的另一个吸引人的特征是一种进步的邻居选择策略，该策略在整个训练阶段逐渐逐渐信心选择未标记的数据。实验表明，SALA优于在基准数据集上半监督的几种射击分类的几种最新方法。

很少有学习可以执行稀缺样本的分类任务和回归任务。作为最具代表性的少数学习模型之一，原型网络将每个类表示为样本平均值或原型，并通过欧几里得距离测量样品和原型的相似性。在本文中，我们提出了一个光谱滤波（收缩）框架，用于测量在繁殖的内核Hilbert Space（RKHS）中，或者是相对原型之间的差异，即相对原型。在此框架中，我们进一步提出了一种利用Tikhonov正则化作为几次分类的过滤功能的方法。我们进行了几项实验，以基于Miniimagenet数据集，层 - imagenet数据集和CIFAR-FS数据集验证我们的方法。实验结果表明，所提出的模型可以执行最新技术。此外，实验结果表明，所提出的收缩方法可以提高性能。源代码可从https://github.com/zhangtao2022/dsfn获得。

对于准确的模型，需要更少的数据，很少有射击学习表现出许多应用程序域中的鲁棒性和通用性。但是，在不信任的环境中部署少量模型可能会引起隐私问题，例如攻击或对手可能会违反用户提供的数据的隐私。本文通过建立一种新颖的隐私保存嵌入空间来维护数据的隐私空间，从而在不信任的环境中研究了少量学习的隐私增强，从而保留了数据的隐私并保持模型的准确性。我们研究了各种图像隐私方法的影响，例如模糊，像素化，高斯噪声和差异化私有像素化（DP-PIX）对几个图像分类的影响，并提出了一种通过关节损失学习隐私表示表示的方法。经验结果表明，如何为隐私增强的少数学习而谈判如何进行隐私性折衷。

少量学习致力于在少数样品上培训模型。这些方法中的大多数基于像素级或全局级别特征表示学习模型。但是，使用全局功能可能会丢失本地信息，并且使用像素级别功能可能会丢失图像的上下文语义。此外，这些作品只能在单个级别上衡量它们之间的关系，这并不全面而有效。如果查询图像可以通过三个不同的水平相似度量同时分类很好，则类内的查询图像可以在较小的特征空间中更紧密地分布，产生更多辨别特征映射。由此激励，我们提出了一种新的零件级别嵌入适应图形（PEAG）方法来生成特定于任务特征。此外，提出了一种多级度量学习（MML）方法，其不仅可以计算像素级相似度，而且还考虑了部分级别特征和全局级别特征的相似性。对流行的少量图像识别数据集进行了广泛的实验，证明了与最先进的方法相比的方法的有效性。我们的代码可用于\ url {https:/github.com/chenhaoxing/m2l}。

Despite the great progress made by deep CNNs in image semantic segmentation, they typically require a large number of densely-annotated images for training and are difficult to generalize to unseen object categories. Few-shot segmentation has thus been developed to learn to perform segmentation from only a few annotated examples. In this paper, we tackle the challenging few-shot segmentation problem from a metric learning perspective and present PANet, a novel prototype alignment network to better utilize the information of the support set. Our PANet learns classspecific prototype representations from a few support images within an embedding space and then performs segmentation over the query images through matching each pixel to the learned prototypes. With non-parametric metric learning, PANet offers high-quality prototypes that are representative for each semantic class and meanwhile discriminative for different classes. Moreover, PANet introduces a prototype alignment regularization between support and query. With this, PANet fully exploits knowledge from the support and provides better generalization on few-shot segmentation. Significantly, our model achieves the mIoU score of 48.1% and 55.7% on PASCAL-5 i for 1-shot and 5-shot settings respectively, surpassing the state-of-the-art method by 1.8% and 8.6%.

很少有开放式识别旨在对可见类别的培训数据进行有限的培训数据进行分类和新颖的图像。这项任务的挑战是，该模型不仅需要学习判别性分类器，以用很少的培训数据对预定的类进行分类，而且还要拒绝从未见过的培训时间出现的未见类别的输入。在本文中，我们建议从两个新方面解决问题。首先，我们没有像在标准的封闭设置分类中那样学习看到类之间的决策边界，而是为看不见的类保留空间，因此位于这些区域中的图像被认为是看不见的类。其次，为了有效地学习此类决策边界，我们建议利用所见类的背景功能。由于这些背景区域没有显着促进近距离分类的决定，因此自然地将它们用作分类器学习的伪阶层。我们的广泛实验表明，我们提出的方法不仅要优于多个基线，而且还为三个流行的基准测试（即Tieredimagenet，Miniimagenet和Caltech-uscd Birds-birds-2011-2011（Cub））设定了新的最先进结果。

Semantic segmentation assigns a class label to each image pixel. This dense prediction problem requires large amounts of manually annotated data, which is often unavailable. Few-shot learning aims to learn the pattern of a new category with only a few annotated examples. In this paper, we formulate the few-shot semantic segmentation problem from 1-way (class) to N-way (classes). Inspired by few-shot classification, we propose a generalized framework for few-shot semantic segmentation with an alternative training scheme. The framework is based on prototype learning and metric learning. Our approach outperforms the baselines by a large margin and shows comparable performance for 1-way few-shot semantic segmentation on PASCAL VOC 2012 dataset.

元学习方法旨在构建能够快速适应低数据制度的新任务的学习算法。这种算法的主要基准之一是几次学习问题。在本文中，我们调查了在培训期间采用多任务方法的标准元学习管道的修改。该提出的方法同时利用来自常见损​​失函数中的几个元训练任务的信息。每个任务在损耗功能中的影响由相应的重量控制。正确优化这些权重可能对整个模型的训练产生很大影响，并且可能会提高测试时间任务的质量。在这项工作中，我们提出并调查了使用同时扰动随机近似（SPSA）方法的方法的使用方法，用于元列车任务权重优化。我们还将提出的算法与基于梯度的方法进行了比较，发现随机近似表明了测试时间最大的质量增强。提出的多任务修改可以应用于使用元学习管道的几乎所有方法。在本文中，我们研究了这种修改对CiFar-FS，FC100，TieredimAgenet和MiniimAgenet几秒钟学习基准的原型网络和模型 - 不可知的元学习算法。在这些实验期间，多任务修改已经证明了对原始方法的改进。所提出的SPSA跟踪算法显示了对最先进的元学习方法具有竞争力的最大精度提升。我们的代码可在线获取。

很少拍摄的学习解决了学习如何解决不仅仅是有限的监督而且有限的数据的挑战。有吸引力的解决方案是合成数据生成。然而，大多数此类方法过于复杂，专注于输入空间中的高质量现实数据。目前尚不清楚是否将它们适应少次拍摄的制度并使用它们在分类的下游任务中是正确的方法。以前关于综合数据生成的工作，用于几次分类专注于利用复杂模型，例如，具有多个常规方或网络的Wasserstein GaN，可从新颖的课程中传输潜在的分集。我们遵循不同的方法，并调查如何有效地使用简单和简单的合成数据生成方法。我们提出了两个贡献，即我们表明：（1）使用简单的损失函数足以训练几次拍摄设置中的一个特征生成器; （2）学习生成张量特征而不是矢量特征是优越的。在MiniimAgenet，Cub和CiFar-FS数据集上的广泛实验表明，我们的方法设置了新的最新状态，优于更复杂的少量数据增强方法。源代码可以在https://github.com/michalislazarou/tfh_fewshot找到。