近期学习中的最新进展促进了一个更现实的跨域设置，其中源和目标数据集来自不同的域。由于源极和目标数据集之间的域间隙和脱节标签空间，它们的共享知识非常有限。这鼓励我们探索目标域中的更多信息，而不是在许多现有方法中探讨源域上的训练策略。因此，我们从跨熵丢失和传统的基于距离的分类器一起训练的通用表示开始，以及图像检索视图，以采用通过发现互易k校准目标距离矩阵的重新排序处理任务中的最邻居。假设预先训练的表示被偏向源，我们构建非线性子空间，以最小化其任务无关的特征，同时通过双曲线切线转换保持更可传输的判别信息。该目标感知非线性子空间中的校准距离与预训练的表示中的互补距离。为了将这种距离校准信息施加到预训练的表示上，采用Kullback-Leibler发散丢失来逐渐引导模型朝向基于校准的距离的分布。关于八个目标域的广泛评估表明，该目标排名校准过程可以在几次拍摄学习中改善基于距离的基于距离的分类器。

基于元学习的现有方法通过从（源域）基础类别的培训任务中学到的元知识来预测（目标域）测试任务的新颖类标签。但是，由于范围内可能存在较大的域差异，大多数现有作品可能无法推广到新颖的类别。为了解决这个问题，我们提出了一种新颖的对抗特征增强（AFA）方法，以弥合域间隙，以几乎没有学习。该特征增强旨在通过最大化域差异来模拟分布变化。在对抗训练期间，通过将增强特征（看不见的域）与原始域（可见域）区分开来学习域歧视器，而将域差异最小化以获得最佳特征编码器。所提出的方法是一个插件模块，可以轻松地基于元学习的方式将其集成到现有的几种学习方法中。在九个数据集上进行的广泛实验证明了我们方法对跨域几乎没有射击分类的优越性，与最新技术相比。代码可从https://github.com/youthhoo/afa_for_few_shot_learning获得

很少有射击学习（FSL）旨在通过利用基本数据集的先验知识来识别只有几个支持样本的新奇查询。在本文中，我们考虑了FSL中的域移位问题，并旨在解决支持集和查询集之间的域间隙。不同于以前考虑基础和新颖类之间的域移位的跨域FSL工作（CD-FSL），新问题称为跨域跨集FSL（CDSC-FSL），不仅需要很少的学习者适应新的领域，但也要在每个新颖类中的不同领域之间保持一致。为此，我们提出了一种新颖的方法，即Stabpa，学习原型紧凑和跨域对准表示，以便可以同时解决域的转移和很少的学习学习。我们对分别从域和办公室数据集构建的两个新的CDCS-FSL基准进行评估。值得注意的是，我们的方法的表现优于多个详细的基线，例如，在域内，将5-shot精度提高了6.0点。代码可从https://github.com/wentaochen0813/cdcs-fsl获得

很少有图像分类是一个具有挑战性的问题，旨在仅基于少量培训图像来达到人类的识别水平。少数图像分类的一种主要解决方案是深度度量学习。这些方法是，通过将看不见的样本根据距离的距离进行分类，可在强大的深神经网络中学到的嵌入空间中看到的样品，可以避免以少数图像分类的少数训练图像过度拟合，并实现了最新的图像表现。在本文中，我们提供了对深度度量学习方法的最新审查，以进行2018年至2022年的少量图像分类，并根据度量学习的三个阶段将它们分为三组，即学习功能嵌入，学习课堂表示和学习距离措施。通过这种分类法，我们确定了他们面临的不同方法和问题的新颖性。我们通过讨论当前的挑战和未来趋势进行了少量图像分类的讨论。

Learning with limited data is a key challenge for visual recognition. Many few-shot learning methods address this challenge by learning an instance embedding function from seen classes and apply the function to instances from unseen classes with limited labels. This style of transfer learning is task-agnostic: the embedding function is not learned optimally discriminative with respect to the unseen classes, where discerning among them leads to the target task. In this paper, we propose a novel approach to adapt the instance embeddings to the target classification task with a set-to-set function, yielding embeddings that are task-specific and are discriminative. We empirically investigated various instantiations of such set-to-set functions and observed the Transformer is most effective -as it naturally satisfies key properties of our desired model. We denote this model as FEAT (few-shot embedding adaptation w/ Transformer) and validate it on both the standard few-shot classification benchmark and four extended few-shot learning settings with essential use cases, i.e., cross-domain, transductive, generalized few-shot learning, and low-shot learning. It archived consistent improvements over baseline models as well as previous methods, and established the new stateof-the-art results on two benchmarks.

Given sufficient training data on the source domain, cross-domain few-shot learning (CD-FSL) aims at recognizing new classes with a small number of labeled examples on the target domain. The key to addressing CD-FSL is to narrow the domain gap and transferring knowledge of a network trained on the source domain to the target domain. To help knowledge transfer, this paper introduces an intermediate domain generated by mixing images in the source and the target domain. Specifically, to generate the optimal intermediate domain for different target data, we propose a novel target guided dynamic mixup (TGDM) framework that leverages the target data to guide the generation of mixed images via dynamic mixup. The proposed TGDM framework contains a Mixup-3T network for learning classifiers and a dynamic ratio generation network (DRGN) for learning the optimal mix ratio. To better transfer the knowledge, the proposed Mixup-3T network contains three branches with shared parameters for classifying classes in the source domain, target domain, and intermediate domain. To generate the optimal intermediate domain, the DRGN learns to generate an optimal mix ratio according to the performance on auxiliary target data. Then, the whole TGDM framework is trained via bi-level meta-learning so that TGDM can rectify itself to achieve optimal performance on target data. Extensive experimental results on several benchmark datasets verify the effectiveness of our method.

很少有视觉识别是指从一些标记实例中识别新颖的视觉概念。通过将查询表示形式与类表征进行比较以预测查询实例的类别，许多少数射击的视觉识别方法采用了基于公制的元学习范式。但是，当前基于度量的方法通常平等地对待所有实例，因此通常会获得有偏见的类表示，考虑到并非所有实例在总结了类级表示的实例级表示时都同样重要。例如，某些实例可能包含无代表性的信息，例如过多的背景和无关概念的信息，这使结果偏差。为了解决上述问题，我们提出了一个新型的基于公制的元学习框架，称为实例自适应类别表示网络（ICRL-net），以进行几次视觉识别。具体而言，我们开发了一个自适应实例重新平衡网络，具有在生成班级表示，通过学习和分配自适应权重的不同实例中的自适应权重时，根据其在相应类的支持集中的相对意义来解决偏见的表示问题。此外，我们设计了改进的双线性实例表示，并结合了两个新型的结构损失，即，阶层内实例聚类损失和阶层间表示区分损失，以进一步调节实例重估过程并完善类表示。我们对四个通常采用的几个基准测试：Miniimagenet，Tieredimagenet，Cifar-FS和FC100数据集进行了广泛的实验。与最先进的方法相比，实验结果证明了我们的ICRL-NET的优势。

跨域很少的学习（CD-FSL）最近几乎没有目标样本在源和目标域之间存在极端差异，最近引起了极大的关注。对于CD-FSL，最近的研究通常开发了基于转移学习的方法，该方法预先培训了受欢迎的标记源域数据集的神经网络，然后将其传输到目标域数据。尽管标记的数据集可以为目标数据提供合适的初始参数，但源和目标之间的域差异可能会阻碍目标域上的微调。本文提出了一种简单而功能强大的方法，该方法在适应目标数据之前将源域上拟合的参数重新传递。重新运行重置源预训练模型的特定于源特异性参数，从而促进了目标域上的微调，从而改善了几乎没有射击性能。

Few-shot learning aims to fast adapt a deep model from a few examples. While pre-training and meta-training can create deep models powerful for few-shot generalization, we find that pre-training and meta-training focuses respectively on cross-domain transferability and cross-task transferability, which restricts their data efficiency in the entangled settings of domain shift and task shift. We thus propose the Omni-Training framework to seamlessly bridge pre-training and meta-training for data-efficient few-shot learning. Our first contribution is a tri-flow Omni-Net architecture. Besides the joint representation flow, Omni-Net introduces two parallel flows for pre-training and meta-training, responsible for improving domain transferability and task transferability respectively. Omni-Net further coordinates the parallel flows by routing their representations via the joint-flow, enabling knowledge transfer across flows. Our second contribution is the Omni-Loss, which introduces a self-distillation strategy separately on the pre-training and meta-training objectives for boosting knowledge transfer throughout different training stages. Omni-Training is a general framework to accommodate many existing algorithms. Evaluations justify that our single framework consistently and clearly outperforms the individual state-of-the-art methods on both cross-task and cross-domain settings in a variety of classification, regression and reinforcement learning problems.

Contemporary domain adaptation methods are very effective at aligning feature distributions of source and target domains without any target supervision. However, we show that these techniques perform poorly when even a few labeled examples are available in the target domain. To address this semi-supervised domain adaptation (SSDA) setting, we propose a novel Minimax Entropy (MME) approach that adversarially optimizes an adaptive few-shot model. Our base model consists of a feature encoding network, followed by a classification layer that computes the features' similarity to estimated prototypes (representatives of each class). Adaptation is achieved by alternately maximizing the conditional entropy of unlabeled target data with respect to the classifier and minimizing it with respect to the feature encoder. We empirically demonstrate the superiority of our method over many baselines, including conventional feature alignment and few-shot methods, setting a new state of the art for SSDA. Our code is available at http://cs-people. bu.edu/keisaito/research/MME.html.

Cross-domain few-shot relation extraction poses a great challenge for the existing few-shot learning methods and domain adaptation methods when the source domain and target domain have large discrepancies. This paper proposes a method by combining the idea of few-shot learning and domain adaptation to deal with this problem. In the proposed method, an encoder, learned by optimizing a representation loss and an adversarial loss, is used to extract the relation of sentences in the source and target domain. The representation loss, including a cross-entropy loss and a contrastive loss, makes the encoder extract the relation of the source domain and keep the geometric structure of the classes in the source domain. And the adversarial loss is used to merge the source domain and target domain. The experimental results on the benchmark FewRel dataset demonstrate that the proposed method can outperform some state-of-the-art methods.

元学习已成为几乎没有图像分类的实用方法，在该方法中，“学习分类器的策略”是在标记的基础类别上进行元学习的，并且可以应用于具有新颖类的任务。我们删除了基类标签的要求，并通过无监督的元学习（UML）学习可通用的嵌入。具体而言，任务发作是在元训练过程中使用未标记的基本类别的数据增强构建的，并且我们将基于嵌入式的分类器应用于新的任务，并在元测试期间使用标记的少量示例。我们观察到两个元素在UML中扮演着重要角色，即进行样本任务和衡量实例之间的相似性的方法。因此，我们获得了具有两个简单修改的​​强基线 - 一个足够的采样策略，每情节有效地构建多个任务以及半分解的相似性。然后，我们利用来自两个方向的任务特征以获得进一步的改进。首先，合成的混淆实例被合并以帮助提取更多的判别嵌入。其次，我们利用额外的特定任务嵌入转换作为元训练期间的辅助组件，以促进预先适应的嵌入式的概括能力。几乎没有学习基准的实验证明，我们的方法比以前的UML方法优于先前的UML方法，并且比其监督变体获得了可比甚至更好的性能。

少量学习仍然是一个具有挑战性的问题，对于大多数现实世界数据来说，令人不满意的1次射击准确性。在这里，我们在深网络的特征空间中提出了不同的透视数据分布，并展示如何利用它以用于几次拍摄学习。首先，我们观察到特征空间中的最近邻居具有相同类的高概率成员，而来自一个类的通常两个随机点并不多于来自来自不同类别的点。此观察结果表明，特征空间中的类别稀疏，松散连接的图形而不是密集的簇。要利用此属性，我们建议使用少量标签传播到未标记的空间，然后使用内核PCA重建错误作为每个类的特征空间数据分布的决策边界。使用这种方法，我们称之为“k-prop”，我们展示了很大程度上改善了几秒钟学习表演（例如，在Resisc45卫星图像数据集上的1-Shot 5路分类的83％的准确性）用于骨干网的数据集网络可以培训高级最近邻近常数概率。我们使用六个不同的数据集展示这种关系。

Nearest-Neighbor (NN) classification has been proven as a simple and effective approach for few-shot learning. The query data can be classified efficiently by finding the nearest support class based on features extracted by pretrained deep models. However, NN-based methods are sensitive to the data distribution and may produce false prediction if the samples in the support set happen to lie around the distribution boundary of different classes. To solve this issue, we present P3DC-Shot, an improved nearest-neighbor based few-shot classification method empowered by prior-driven data calibration. Inspired by the distribution calibration technique which utilizes the distribution or statistics of the base classes to calibrate the data for few-shot tasks, we propose a novel discrete data calibration operation which is more suitable for NN-based few-shot classification. Specifically, we treat the prototypes representing each base class as priors and calibrate each support data based on its similarity to different base prototypes. Then, we perform NN classification using these discretely calibrated support data. Results from extensive experiments on various datasets show our efficient non-learning based method can outperform or at least comparable to SOTA methods which need additional learning steps.

大多数现有的复合面部表达识别（FER）方法依赖于用于训练的大型化合物表达数据。但是，收集此类数据是劳动密集型且耗时的。在本文中，我们解决了跨域少数学习（FSL）设置中的复合FER任务，该设置仅需要几个在目标域中的复合表达式样本。具体而言，我们提出了一个新型的级联分解网络（CDNET），该网络将基于顺序分解机制的几个学习到分解模块层叠，以获得可转移的特征空间。为了减轻我们任务中基本班级有限的过度拟合问题，部分正则化策略旨在有效利用情节培训和批处理培训的最佳功能。通过在多个基本表达数据集上进行类似任务的培训，CDNET了解了可以轻松适应以识别看不见的化合物表达式的学习能力。对利润和野外复合表达数据集进行的广泛实验证明了我们提出的CDNET与几种最先进的FSL方法的优越性。代码可在以下网址获得：https：//github.com/zouxinyi0625/cdnet。

我们提出了一个统一的查看，即通过通用表示，一个深层神经网络共同学习多个视觉任务和视觉域。同时学习多个问题涉及最大程度地减少具有不同幅度和特征的多个损失函数的加权总和，从而导致一个损失的不平衡状态，与学习每个问题的单独模型相比，一个损失的不平衡状态主导了优化和差的结果。为此，我们提出了通过小容量适配器将多个任务/特定于域网络的知识提炼到单个深神经网络中的知识。我们严格地表明，通用表示在学习NYU-V2和CityScapes中多个密集的预测问题方面实现了最新的表现，来自视觉Decathlon数据集中的不同域中的多个图像分类问题以及MetadataSet中的跨域中的几个域中学习。最后，我们还通过消融和定性研究进行多次分析。

无监督域适应（UDA）旨在将知识从标记的源域传输到未标记的目标域。传统上，基于子空间的方法为此问题形成了一类重要的解决方案。尽管他们的数学优雅和易腐烂性，但这些方法通常被发现在产生具有复杂的现实世界数据集的领域不变的功能时无效。由于近期具有深度网络的代表学习的最新进展，本文重新访问了UDA的子空间对齐，提出了一种新的适应算法，始终如一地导致改进的泛化。与现有的基于对抗培训的DA方法相比，我们的方法隔离了特征学习和分配对准步骤，并利用主要辅助优化策略来有效地平衡域不契约的目标和模型保真度。在提供目标数据和计算要求的显着降低的同时，基于子空间的DA竞争性，有时甚至优于几种标准UDA基准测试的最先进的方法。此外，子空间对准导致本质上定期的模型，即使在具有挑战性的部分DA设置中，也表现出强大的泛化。最后，我们的UDA框架的设计本身支持对测试时间的新目标域的逐步适应，而无需从头开始重新检测模型。总之，由强大的特征学习者和有效的优化策略提供支持，我们将基于子空间的DA建立为可视识别的高效方法。

在这项工作中，我们建议使用分布式样本，即来自目标类别外部的未标记样本，以改善几乎没有记录的学习。具体而言，我们利用易于可用的分布样品来驱动分类器，以避免通过最大化原型到分布样品的距离，同时最大程度地减少分布样品的距离（即支持，查询数据），以避免使用分类器。。我们的方法易于实施，不可知论的是提取器，轻量级，而没有任何额外的预训练费用，并且适用于归纳和跨传输设置。对各种标准基准测试的广泛实验表明，所提出的方法始终提高具有不同架构的预审计网络的性能。

通用域的适应性（UNIDA）旨在将公共类的知识从源域转移到目标域，而无需对标签集的任何先验知识，这需要将未知样本与目标域中的已知样本区分开。就像传统的无监督域适应问题一样，由于偏见和歧视性较低的嵌入，两个域之间的错位也存在。最新方法提出了通过将目标样品与最近的邻居或原型聚类来完成域未对准的方法。但是，这样做是很危险的，因为我们对未知样本的分布没有任何先验知识，这些样本可以放大错位，尤其是当未知集很大的时候。同时，其他现有基于分类器的方法可以轻松地产生对未知样本的过度自信预测，因为在源域中有监督的目标导致整个模型偏向于目标域中的共同类别。因此，我们提出了一种新型的非参数未知样品检测方法，基于将原始特征空间中的样品映射到可靠的线性子空间中，这使数据点更稀疏，以减少未知样品和源样本之间的不对准。此外，与最近应用额外参数以改善未知样品分类的方法不同，本文通过未知的自适应保证金损失可以很好地平衡已知样品和未知样品的置信值，从而可以控制分类器学习的梯度在有监督的来源上的梯度更新样品取决于当前步骤中检测到的未知样品的置信度。最后，在四个公共数据集上的实验表明，我们的方法显着胜过现有的最新方法。

Human vision is able to immediately recognize novel visual categories after seeing just one or a few training examples. We describe how to add a similar capability to ConvNet classifiers by directly setting the final layer weights from novel training examples during low-shot learning. We call this process weight imprinting as it directly sets weights for a new category based on an appropriately scaled copy of the embedding layer activations for that training example. The imprinting process provides a valuable complement to training with stochastic gradient descent, as it provides immediate good classification performance and an initialization for any further fine-tuning in the future. We show how this imprinting process is related to proxy-based embeddings. However, it differs in that only a single imprinted weight vector is learned for each novel category, rather than relying on a nearest-neighbor distance to training instances as typically used with embedding methods. Our experiments show that using averaging of imprinted weights provides better generalization than using nearest-neighbor instance embeddings.