我们考虑了一个新颖的表述，即主动射击分类（AFSC）的问题，其目的是对标签预算非常限制的小规定，最初未标记的数据集进行分类。这个问题可以看作是与经典的跨托管少数射击分类（TFSC）的竞争对手范式，因为这两种方法都适用于相似的条件。我们首先提出了一种结合统计推断的方法，以及一种非常适合该框架的原始两级积极学习策略。然后，我们从TFSC领域调整了几个标准视觉基准。我们的实验表明，AFSC的潜在优势可能是很大的，与最先进的TFSC方法相比，对于同一标签预算，平均加权准确性高达10％。我们认为，这种新的范式可能会导致数据筛选学习设置的新发展和标准。

考虑到数据注释的成本以及几乎没有标记的样本所提供的准确性提高，几乎没有射击的成本，几乎没有射击的转移学习越来越多。尤其是在少量分类（FSC）中，最近的作品探索了旨在最大程度地相对于未知参数的可能性或后二阶段的特征分布。遵循这种静脉，并考虑到FSC和聚类之间的平行，我们寻求更好地考虑到由于缺乏数据而导致的估计不确定性，以及与每个类相关的群集的统计属性更好。因此，在本文中，我们提出了一种基于变异贝叶斯推论的新聚类方法，基于概率线性判别分析，自适应维度降低进一步改善。当应用于先前研究中使用的功能时，我们提出的方法可显着提高在各种少量基准测试的现实不平衡转导设置中的准确性，其准确性高达$ 6 \％$。此外，当应用于平衡设置时，我们将获得非常有竞争力的结果，而无需使用对实际用例的级别平衡伪像。我们还提供了方法的性能，以高性能的主链链链，其报告的结果进一步超过了当前的最新准确性，这表明该方法的通用性。

主动学习（AL）算法旨在识别注释的最佳数据子集，使得深神经网络（DNN）在此标记子集上培训时可以实现更好的性能。 AL特别有影响的工业规模设置，其中数据标签成本高，从业者使用各种工具来处理，以提高模型性能。最近自我监督预测（SSP）的成功突出了利用丰富的未标记数据促进模型性能的重要性。通过将AL与SSP结合起来，我们可以使用未标记的数据，同时标记和培训特别是信息样本。在这项工作中，我们研究了Imagenet上的AL和SSP的组合。我们发现小型玩具数据集上的性能 - 文献中的典型基准设置 - 由于活动学习者选择的类不平衡样本，而不是想象中的性能。在我们测试的现有基线中，各种小型和大规​​模设置的流行AL算法未能以随机抽样优于差异。为了解决类别不平衡问题，我们提出了平衡选择（基础），这是一种简单，可伸缩的AL算法，通过选择比现有方法更加平衡样本来始终如一地始终采样。我们的代码可用于：https://github.com/zeyademam/active_learning。

在这项工作中，我们建议使用分布式样本，即来自目标类别外部的未标记样本，以改善几乎没有记录的学习。具体而言，我们利用易于可用的分布样品来驱动分类器，以避免通过最大化原型到分布样品的距离，同时最大程度地减少分布样品的距离（即支持，查询数据），以避免使用分类器。。我们的方法易于实施，不可知论的是提取器，轻量级，而没有任何额外的预训练费用，并且适用于归纳和跨传输设置。对各种标准基准测试的广泛实验表明，所提出的方法始终提高具有不同架构的预审计网络的性能。

现代深度学习需要大规模广泛标记的数据集进行培训。少量学习旨在通过有效地从少数标记的例子中学习来缓解这个问题。在先前提出的少量视觉分类器中，假设对分类器决定的特征歧管具有不相关的特征尺寸和均匀特征方差。在这项工作中，我们专注于通过提出以低标签制度运行的差异敏感的模型来解决这一假设引起的限制。第一种方法简单的CNAP，采用基于分层正规的Mahalanobis距离基于距离的分类器，与现有神经自适应特征提取器的状态相结合，以在元数据集，迷你成像和分层图像基准基准上实现强大性能。我们进一步将这种方法扩展到转换学习设置，提出转导压盖。这种转换方法将软k-means参数细化过程与两步任务编码器相结合，以实现使用未标记数据的改进的测试时间分类精度。转导CNAP在元数据集上实现了最先进的性能。最后，我们探讨了我们的方法（简单和转换）的使用“开箱即用”持续和积极的学习。大规模基准的广泛实验表明了这一点的鲁棒性和多功能性，相对说话，简单的模型。所有培训的模型检查点和相应的源代码都已公开可用。

我们研究了用于半监控学习（SSL）的无监督数据选择，其中可以提供大规模的未标记数据集，并且为标签采集预算小额数据子集。现有的SSL方法专注于学习一个有效地集成了来自给定小标记数据和大型未标记数据的信息的模型，而我们专注于选择正确的数据以用于SSL的注释，而无需任何标签或任务信息。直观地，要标记的实例应统称为下游任务的最大多样性和覆盖范围，并且单独具有用于SSL的最大信息传播实用程序。我们以三步数据为中心的SSL方法形式化这些概念，使稳定性和精度的纤维液改善8％的CiFar-10（标记为0.08％）和14％的Imagenet -1k（标记为0.2％）。它也是一种具有各种SSL方法的通用框架，提供一致的性能增益。我们的工作表明，在仔细选择注释数据上花费的小计算带来了大注释效率和模型性能增益，而无需改变学习管道。我们完全无监督的数据选择可以轻松扩展到其他弱监督的学习设置。

Few-shot learning (FSL) is a central problem in meta-learning, where learners must efficiently learn from few labeled examples. Within FSL, feature pre-training has recently become an increasingly popular strategy to significantly improve generalization performance. However, the contribution of pre-training is often overlooked and understudied, with limited theoretical understanding of its impact on meta-learning performance. Further, pre-training requires a consistent set of global labels shared across training tasks, which may be unavailable in practice. In this work, we address the above issues by first showing the connection between pre-training and meta-learning. We discuss why pre-training yields more robust meta-representation and connect the theoretical analysis to existing works and empirical results. Secondly, we introduce Meta Label Learning (MeLa), a novel meta-learning algorithm that learns task relations by inferring global labels across tasks. This allows us to exploit pre-training for FSL even when global labels are unavailable or ill-defined. Lastly, we introduce an augmented pre-training procedure that further improves the learned meta-representation. Empirically, MeLa outperforms existing methods across a diverse range of benchmarks, in particular under a more challenging setting where the number of training tasks is limited and labels are task-specific. We also provide extensive ablation study to highlight its key properties.

The estimation of the generalization error of classifiers often relies on a validation set. Such a set is hardly available in few-shot learning scenarios, a highly disregarded shortcoming in the field. In these scenarios, it is common to rely on features extracted from pre-trained neural networks combined with distance-based classifiers such as nearest class mean. In this work, we introduce a Gaussian model of the feature distribution. By estimating the parameters of this model, we are able to predict the generalization error on new classification tasks with few samples. We observe that accurate distance estimates between class-conditional densities are the key to accurate estimates of the generalization performance. Therefore, we propose an unbiased estimator for these distances and integrate it in our numerical analysis. We show that our approach outperforms alternatives such as the leave-one-out cross-validation strategy in few-shot settings.

主动学习通过从未标记的数据集中标记有信息的样本来有效地构建标记的数据集。在现实世界中的活跃学习方案中，考虑到所选样本的多样性至关重要，因为存在许多冗余或高度相似的样本。核心设定方法是基于多样性的有希望的方法，根据样品之间的距离选择不同的样品。然而，与选择最困难的样本的基于不确定性的方法相比，该方法的性能差，神经模型表现出低置信度。在这项工作中，我们通过密度的晶状体分析特征空间，有趣的是，观察到局部稀疏区域往往比密集区域具有更多信息样本。通过我们的分析，我们将核心设定方法赋予密度意识，并提出密度感知的核心集（DACS）。该策略是估计未标记样品的密度，并主要从稀疏区域选择不同的样品。为了减少估计密度的计算瓶颈，我们还基于对区域敏感的散列引入了新的密度近似。实验结果清楚地表明了DAC在分类和回归任务中的功效，并特别表明DAC可以在实际情况下产生最先进的性能。由于DACS微弱地取决于神经体系结构，因此我们提出了一种简单而有效的组合方法，以表明现有方法可以与DAC合并。

业务分析和机器学习已成为各个行业的基本成功因素 - 具有成本密集的收集和数据标签的缺点。很少有学习可以解决这一挑战，并通过学习新颖的课程的标记数据来减少数据收集和标记成本。在本文中，我们设计了一个人类的（HITL）系统，用于几次学习，并分析了广泛的机制，这些机制可用于获得不确定预测结果的实例的人类专家知识。我们表明，获得人类专家知识的获取可以显着加速鉴于可忽略的标签工作，这使得少量模型的表现。我们在计算机视觉和现实世界数据集中的基准数据集上的各种实验中验证了我们的发现。我们进一步证明了HITL系统的成本效益，用于几次学习。总体而言，我们的工作旨在支持研究人员和从业人员有效地将机器学习模型以降低的成本调整为新颖的课程。

元学习已成为几乎没有图像分类的实用方法，在该方法中，“学习分类器的策略”是在标记的基础类别上进行元学习的，并且可以应用于具有新颖类的任务。我们删除了基类标签的要求，并通过无监督的元学习（UML）学习可通用的嵌入。具体而言，任务发作是在元训练过程中使用未标记的基本类别的数据增强构建的，并且我们将基于嵌入式的分类器应用于新的任务，并在元测试期间使用标记的少量示例。我们观察到两个元素在UML中扮演着重要角色，即进行样本任务和衡量实例之间的相似性的方法。因此，我们获得了具有两个简单修改的​​强基线 - 一个足够的采样策略，每情节有效地构建多个任务以及半分解的相似性。然后，我们利用来自两个方向的任务特征以获得进一步的改进。首先，合成的混淆实例被合并以帮助提取更多的判别嵌入。其次，我们利用额外的特定任务嵌入转换作为元训练期间的辅助组件，以促进预先适应的嵌入式的概括能力。几乎没有学习基准的实验证明，我们的方法比以前的UML方法优于先前的UML方法，并且比其监督变体获得了可比甚至更好的性能。

我们解决了几个射击开放式识别（FSOSR）问题，即在我们只有很少的标签样本的一组类中分类的实例，同时检测不属于任何已知类别的实例。偏离现有文献，我们专注于开发模型不足的推理方法，这些方法可以插入任何现有模型，无论其架构或培训程序如何。通过评估嵌入的各种模型的质量，我们量化了模型 - 敏捷FSOSR的内在难度。此外，公平的经验评估表明，在FSOSR的电感环境中，KNN检测器和原型分类器的天真组合在专业或复杂方法之前。这些观察结果促使我们诉诸于转导，这是对标准的几次学习问题的流行而实用的放松。我们介绍了一个开放的设置转导信息最大化方法OSTIM，该方法幻觉了异常原型，同时最大程度地提高了提取的特征和作业之间的相互信息。通过跨越5个数据集的广泛实验，我们表明OSTIM在检测开放式实例的同时，在与最强的托管方法竞争时，在检测开放式实例时都超过了电感和现有的转导方法。我们进一步表明，OSTIM的模型不可知论使其能够成功利用最新体系结构和培训策略的强大表现能力而没有任何超参数修改，这是一个有希望的信号，即将来临的建筑进步将继续积极影响Ostim的表现。

We introduce an information-maximization approach for the Generalized Category Discovery (GCD) problem. Specifically, we explore a parametric family of loss functions evaluating the mutual information between the features and the labels, and find automatically the one that maximizes the predictive performances. Furthermore, we introduce the Elbow Maximum Centroid-Shift (EMaCS) technique, which estimates the number of classes in the unlabeled set. We report comprehensive experiments, which show that our mutual information-based approach (MIB) is both versatile and highly competitive under various GCD scenarios. The gap between the proposed approach and the existing methods is significant, more so when dealing with fine-grained classification problems. Our code: \url{https://github.com/fchiaroni/Mutual-Information-Based-GCD}.

半监督学习（SSL）是解决监督学习的注释瓶颈的主要方法之一。最近的SSL方法可以有效利用大量未标记数据的存储库来提高性能，同时依靠一小部分标记数据。在大多数SSL方法中，一个常见的假设是，标记和未标记的数据来自同一基础数据分布。但是，在许多实际情况下，情况并非如此，这限制了其适用性。相反，在这项工作中，我们试图解决最近提出的挑战性的开放世界SSL问题，这些问题并非如此。在开放世界的SSL问题中，目的是识别已知类别的样本，并同时检测和群集样品属于未标记数据中的新型类别。这项工作引入了OpenLDN，该OpenLDN利用成对的相似性损失来发现新颖的类别。使用双层优化规则，此成对相似性损失利用了标记的设置中可用的信息，以隐式群集新颖的类样本，同时识别来自已知类别的样本。在发现新颖的类别后，OpenLDN将Open-World SSL问题转换为标准SSL问题，以使用现有的SSL方法实现额外的性能提高。我们的广泛实验表明，OpenLDN在多个流行的分类基准上胜过当前的最新方法，同时提供了更好的准确性/培训时间权衡。

本文解决了几秒钟学习问题，旨在从几个例子中学习新的视觉概念。在几次拍摄分类中的常见问题设置假设在获取数据标签中的随机采样策略，其在实际应用中效率低下。在这项工作中，我们介绍了一个新的预算感知几秒钟学习问题，不仅旨在学习新的对象类别，还需要选择信息实例来注释以实现数据效率。我们为我们的预算感知几秒钟学习任务开发了一个元学习策略，该任务共同了解基于图形卷积网络（GCN）和基于示例的少量拍摄分类器的新型数据选择策略。我们的选择策略通过图形消息传递计算每个未标记数据的上下文敏感表示，然后用于预测顺序选择的信息性分数。我们在迷你想象网，分层 - 想象项目和omniglot数据集上进行广泛的实验验证我们的方法。结果表明，我们的几次学习策略优于一个相当大的边缘，这表明了我们的方法的功效。

Active域适应（ADA）查询所选目标样本的标签，以帮助将模型从相关的源域调整为目标域。由于其有希望的表现，标签成本最少，因此最近引起了人们越来越多的关注。然而，现有的ADA方法尚未完全利用查询数据的局部环境，这对ADA很重要，尤其是当域间隙较大时。在本文中，我们提出了一个局部环境感知的活动域适应性（LADA）的新框架，该框架由两个关键模块组成。本地上下文感知的活动选择（LAS）模块选择其类概率预测与邻居不一致的目标样本。局部上下文感知模型适应（LMA）模块完善了具有查询样本及其扩展的邻居的模型，并由上下文保留损失正规化。广泛的实验表明，与现有的主动选择策略相比，LAS选择了更多的信息样本。此外，配备了LMA，整个LADA方法的表现优于各种基准测试的最先进的ADA解决方案。代码可在https://github.com/tsun/lada上找到。

对比学习方法在学习视觉表现方面取得了巨大成功，目标课程少数标签很少。这意味着诱使将它们缩放超出策划的“种子”基准，从互联网级外部源结合更多未标记的图像以提高其性能。然而，在实践中，由于所需的型号和更长的培训，更大的未标记数据将需要更多的计算资源。此外，开放世界未标记的数据通常遵循隐式的长尾类或属性分布，其中许多也不属于目标类。盲目利用所有未标记的数据，因此可以导致数据不平衡以及分散化问题。这使我们能够寻求原则性的方法来战略性地从外部来源选择未标记的数据，以便学习相关课程的可概括，平衡和多样化的陈述。在这项工作中，我们介绍了一个名为Model-Aware K-Center（MAK）的开放式未标记的数据采样框架，其遵循三个简单的原则：（1）尾巴，这鼓励通过对实证对比进行尾舱来抽样。随机数据增强的样本的损失预期（ECLE）; （2）靠近，拒绝分配可能分散训练的分配异常值; （3）多样性，可确保采样例集中的多样性。经验，使用ImageNet-100-LT（没有标签）作为种子数据集和两个“嘈杂”的外部数据源，我们证明MAK可以一致地提高学习功能的总体表示质量和阶级平衡，如通过线性评估的全拍和少量设置的分类器评估。代码可用：\ url {https://github.com/vita-group/mak

标记数据可以是昂贵的任务，因为它通常由域专家手动执行。对于深度学习而言，这是繁琐的，因为它取决于大型标记的数据集。主动学习（AL）是一种范式，旨在通过仅使用二手车型认为最具信息丰富的数据来减少标签努力。在文本分类设置中，在AL上完成了很少的研究，旁边没有涉及最近的最先进的自然语言处理（NLP）模型。在这里，我们介绍了一个实证研究，可以将基于不确定性的基于不确定性的算法与Bert $ _ {base} $相比，作为使用的分类器。我们评估两个NLP分类数据集的算法：斯坦福情绪树木银行和kvk-Front页面。此外，我们探讨了旨在解决不确定性的al的预定问题的启发式;即，它是不可规范的，并且易于选择异常值。此外，我们探讨了查询池大小对al的性能的影响。虽然发现，AL的拟议启发式没有提高AL的表现;我们的结果表明，使用BERT $ _ {Base} $概率使用不确定性的AL。随着查询池大小变大，性能的这种差异可以减少。

很少的识别涉及训练图像分类器，以使用几个示例（Shot）在测试时间区分新颖概念。现有方法通常假定测试时间的射击号是事先知道的。这是不现实的，当火车和测试射击不匹配时，流行和基础方法的性能已被证明会受到影响。我们对该现象进行了系统的经验研究。与先前的工作一致，我们发现射击灵敏度在基于度量的几个学习者中广泛存在，但是与先前的工作相反，较大的神经体系结构为变化的测试拍摄提供了一定程度的内置鲁棒性。更重要的是，通过消除对样品噪声的敏感性，一种基于余弦距离的简单，以前已知但非常忽略了一类方法，可以极大地改善对射击变化的鲁​​棒性。我们为流行和最近的几个弹药分类器提供了余弦替代品，从而扩大了它们对现实环境的适用性。这些余弦模型一致地提高了射击力，超越先前的射击状态，并在一系列基准和架构上提供竞争精度，包括在非常低的射击方案中取得的显着增长。

通过选择最具信息丰富的样本，已证明主动学习可用于最小化标记成本。但是，现有的主动学习方法在诸如不平衡或稀有类别的现实方案中不适用于未标记集中的分发数据和冗余。在这项工作中，我们提出了类似的（基于子模块信息措施的主动学习），使用最近提出的子模块信息措施（SIM）作为采集函数的统一主动学习框架。我们认为类似的不仅在标准的主动学习中工作，而且还可以轻松扩展到上面考虑的现实设置，并充当活动学习的一站式解决方案，可以扩展到大型真实世界数据集。凭经验，我们表明，在罕见的课程的情况下，在罕见的阶级和〜5％ - 10％的情况下，在罕见的几个图像分类任务的情况下，相似显着优异的活动学习算法像CiFar-10，Mnist和Imagenet。类似于Distil Toolkit的一部分：“https://github.com/decile-team/distil”。