通过选择最具信息丰富的样本，已证明主动学习可用于最小化标记成本。但是，现有的主动学习方法在诸如不平衡或稀有类别的现实方案中不适用于未标记集中的分发数据和冗余。在这项工作中，我们提出了类似的（基于子模块信息措施的主动学习），使用最近提出的子模块信息措施（SIM）作为采集函数的统一主动学习框架。我们认为类似的不仅在标准的主动学习中工作，而且还可以轻松扩展到上面考虑的现实设置，并充当活动学习的一站式解决方案，可以扩展到大型真实世界数据集。凭经验，我们表明，在罕见的课程的情况下，在罕见的阶级和〜5％ - 10％的情况下，在罕见的几个图像分类任务的情况下，相似显着优异的活动学习算法像CiFar-10，Mnist和Imagenet。类似于Distil Toolkit的一部分：“https://github.com/decile-team/distil”。

主动学习是一个非常常见但功能强大的框架，用于与人类在循环中的人类迭代和适应性采样子集，目的是实现标签效率。大多数现实世界数据集在类和切片中都有不平衡，并且相应地，数据集的一部分很少见。结果，在设计挖掘这些罕见数据实例的主动学习方法方面已经有很多工作。大多数方法都假设访问包含这些罕见数据实例的一组种子实例。但是，如果发生更极端的稀有性，可以合理地假设这些罕见的数据实例（类或切片）甚至可能在标记的种子集合中存在，并且对主动学习范式的关键需求是有效地发现这些罕见的数据实例。在这项工作中，我们提供了一个主动数据发现框架，该框架可以使用子管的条件增益和下管有条件的相互信息功能有效地挖掘未知的数据切片和类。我们提供了一个一般的算法框架，该框架在许多情况下都起作用，包括图像分类和对象检测，并与未标记集合中存在的稀有类和稀有切片一起使用。与现有的最新活跃学习方法相比，我们的方法表现出显着的准确性和标记效率提高，以积极发现这些稀有类别和切片。

随着数据集大小的不断增加，子集选择技术对于普遍的任务变得越来越重要。通常需要引导子集选择以实现某些探索，其中包括聚焦或针对某些数据点，同时避免他人。这些问题的示例包括：i）目标学习，目标是找到具有罕见类或稀有属性的子集，其中模型表现不佳，II）引导摘要，其中数据（例如，图像集合，文本，文档或视频） ）总结了以更快的人类消费与特定的额外用户意图更快。受此类应用程序的动机，我们呈现棱镜，丰富的参数化子模块信息措施。通过小说函数及其参数化，PRISM提供了各种建模能力，该模型能力使得在子集的所需质量之间具有权衡，例如具有一组数据点的分集或表示和相似性/相似性。我们展示了如何应用于上面提到的两个真实问题的棱镜，这需要引导子集选择。在这样做时，我们表明棱镜有趣地概括了一些过去的工作，在其中加强了其广泛的效用。通过对不同数据集的广泛实验，我们展示了棱镜的优越性，在目标学习和引导的图像收集概述中

基于深度神经网络的物体探测器在各种域中取得了巨大的成功，如自主车辆，生物医学成像等。众所周知，他们的成功取决于来自兴趣领域的大量数据。虽然深层模型在整体准确性方面经常表现良好，但它们通常在稀有但关键的数据切片上的性能斗争。例如，像“夜间摩托车”或“夜间摩托车”的数据切片通常很少见但是自动驾驶应用的非常关键的切片，如这种罕见的切片上的假底片可能导致违法的失败和事故。主动学习（AL）是一个着名的范例，可以逐步逐步地和自适应地构建循环中的人类训练数据集。然而，目前基于AL的采集功能并没有充分配备，以解决具有稀有片的真实数据集，因为它们基于图像的不确定性分数或全局描述符。我们提出了Talisman，一种用于使用子模块互信息的稀有切片的目标主动学习或物体检测的新框架。我们的方法使用利用感兴趣区域（ROI）的特征来实用的子模块互信息功能，以有效地靶向并获得具有稀有片的数据点。我们在标准Pascal Voc07 + 12和BDD100K上评估我们的框架，这是一个真实的自动驾驶数据集。我们观察到Talisman在稀有片的平均精度方面优于其他方法，以及地图。

随着深入学习更加标签的目标，越来越多的论文已经研究了深度模型的主动学习（AL）。然而，普遍存在的实验设置中存在许多问题，主要源于缺乏统一的实施和基准。当前文献中的问题包括有时对不同AL算法的性能的矛盾观察，意外排除重要的概括方法，如数据增强和SGD进行优化，缺乏对al的标签效率等评价方面的研究，并且很少或没有在Al优于随机采样（RS）的情况下的清晰度。在这项工作中，我们通过我们的新开源AL Toolkit Distil在图像分类的背景下统一重新实现了最先进的AL算法，我们仔细研究了这些问题作为有效评估的方面。在积极的方面，我们表明AL技术为2美元至4倍以上$ 4 \倍。与使用数据增强相比，与卢比相比，高效。令人惊讶的是，当包括数据增强时，在使用徽章，最先进的方法，在简单的不确定性采样中不再存在一致的增益。然后，我们仔细分析现有方法如何具有不同数量的冗余和每个类的示例。最后，我们为AL从业者提供了几次见解，以考虑在将来的工作中考虑，例如Al批量大小的效果，初始化的效果，在每一轮中再培训模型的重要性以及其他见解。

虽然深度学习（DL）是渴望数据的，并且通常依靠广泛的标记数据来提供良好的性能，但主动学习（AL）通过从未标记的数据中选择一小部分样本进行标签和培训来降低标签成本。因此，近年来，在有限的标签成本/预算下，深入的积极学习（DAL）是可行的解决方案，可在有限的标签成本/预算下最大化模型性能。尽管已经开发了大量的DAL方法并进行了各种文献综述，但在公平比较设置下对DAL方法的性能评估尚未可用。我们的工作打算填补这一空白。在这项工作中，我们通过重新实现19种引用的DAL方法来构建DAL Toolkit，即Deepal+。我们调查和分类与DAL相关的作品，并构建经常使用的数据集和DAL算法的比较实验。此外，我们探讨了影响DAL功效的一些因素（例如，批处理大小，训练过程中的时期数），这些因素为研究人员设计其DAL实验或执行DAL相关应用程序提供了更好的参考。

基于池的主动学习（AL）通过依次从大型未标记数据池中选择信息的未标记样本并从Oracle/Ontoter中查询标签，从而取得了巨大成功。但是，现有的AL采样策略可能在分布外（OOD）数据方案中无法很好地工作，其中未标记的数据池包含一些不属于目标任务类别的数据示例。在OOD数据情景下实现良好的AL性能是一项具有挑战性的任务，因为Al采样策略与OOD样本检测之间的自然冲突。 Al选择很难由当前基本分类器进行分类的数据（例如，预测类概率具有较高熵的样品），而OOD样品往往具有比分布更均匀的预测类概率（即高熵）（即高熵）（ID ） 数据。在本文中，我们提出了一种采样方案，即用于主动学习的蒙特 - 卡洛帕累托优化（POAL），该方案从未标记的数据库中选择了具有固定批次大小的未标记样品的最佳子集。我们将AL采样任务施加为多目标优化问题，因此我们基于两个冲突的目标利用Pareto优化：（1）正常的AL数据采样方案（例如，最大熵）和（2）作为OOD样本。实验结果表明其对经典机器学习（ML）和深度学习（DL）任务的有效性。

主动学习（AL）算法旨在识别注释的最佳数据子集，使得深神经网络（DNN）在此标记子集上培训时可以实现更好的性能。 AL特别有影响的工业规模设置，其中数据标签成本高，从业者使用各种工具来处理，以提高模型性能。最近自我监督预测（SSP）的成功突出了利用丰富的未标记数据促进模型性能的重要性。通过将AL与SSP结合起来，我们可以使用未标记的数据，同时标记和培训特别是信息样本。在这项工作中，我们研究了Imagenet上的AL和SSP的组合。我们发现小型玩具数据集上的性能 - 文献中的典型基准设置 - 由于活动学习者选择的类不平衡样本，而不是想象中的性能。在我们测试的现有基线中，各种小型和大规​​模设置的流行AL算法未能以随机抽样优于差异。为了解决类别不平衡问题，我们提出了平衡选择（基础），这是一种简单，可伸缩的AL算法，通过选择比现有方法更加平衡样本来始终如一地始终采样。我们的代码可用于：https://github.com/zeyademam/active_learning。

几个射击分类（FSC）需要使用几个（通常为1-5个）数据点的培训模型。事实证明，元学习能够通过培训各种其他分类任务来学习FSC的参数化模型。在这项工作中，我们提出了铂金（使用superodular互信息的半监督模型不可思议的元学习），这是一种新型的半监督模型不合理的元学习框架，使用了子模块化信息（SMI）函数来促进FSC的性能。在元训练期间，使用SMI函数在内部和外循环中利用铂金的数据，并获得元测试的更丰富的元学习参数化。我们在两种情况下研究白金的性能 - 1）未标记的数据点属于与某个插曲的标签集相同的类别集，以及2）在存在不属于的分布类别的地方标记的集合。我们在Miniimagenet，Tieredimagenet和几乎没有Shot-CIFAR100数据集的各种设置上评估了我们的方法。我们的实验表明，铂金优于MAML和半监督的方法，例如用于半监视的FSC的pseduo-Labeling，尤其是对于每个类别的标记示例比例很小。

越来越需要与深神经网络兼容的有效主动学习算法。本文激励和重新审视基于经典的Fisher的主动选择目标，并提出了诱饵，实用，易拔和高性能的算法，使其可以与神经模型一起使用。诱饵从参数模型的最大似然估计器（MLE）的理论分析中汲取灵感。它通过在FISHER信息方面优化MLE误差的绑定来选择批次的样本，我们通过利用线性代数结构可以在规模上有效地实现，特别是在现代硬件上执行。我们的实验表明，诱饵始于先前的本领域技术在分类和回归问题上，并且足够灵活，可以与各种模型架构一起使用。

主动学习（AL）是一个有希望的ML范式，有可能解析大型未标记数据并有助于降低标记数据可能令人难以置信的域中的注释成本。最近提出的基于神经网络的AL方法使用不同的启发式方法来实现这一目标。在这项研究中，我们证明，在相同的实验环境下，不同类型的AL算法（基于不确定性，基于多样性和委员会）产生了与随机采样基线相比的不一致增长。通过各种实验，控制了随机性来源，我们表明，AL算法实现的性能指标方差可能会导致与先前报道的结果不符的结果。我们还发现，在强烈的正则化下，AL方法在各种实验条件下显示出比随机采样基线的边缘或没有优势。最后，我们以一系列建议进行结论，以了解如何使用新的AL算法评估结果，以确保在实验条件下的变化下结果可再现和健壮。我们共享我们的代码以促进AL评估。我们认为，我们的发现和建议将有助于使用神经网络在AL中进行可重复的研究。我们通过https://github.com/prateekmunjal/torchal开源代码

我们介绍了有监督的对比度积极学习（SCAL），并根据功能相似性（功能IM）和基于主成分分析的基于特征重建误差（FRE）提出有效的活动学习策略，以选择具有不同特征表示的信息性数据示例。我们证明了我们提出的方法可实现最新的准确性，模型校准并减少在图像分类任务上平衡和不平衡数据集的主动学习设置中的采样偏差。我们还评估了模型的鲁棒性，从主动学习环境中不同查询策略得出的分配转移。使用广泛的实验，我们表明我们提出的方法的表现优于高性能密集型方法，从而使平均损坏误差降低了9.9％，在数据集偏移下的预期校准误差降低了7.2％，而AUROC降低了8.9％的AUROC。检测。

主动学习在许多领域中展示了数据效率。现有的主动学习算法，特别是在深贝叶斯活动模型的背景下，严重依赖模型的不确定性估计的质量。然而，这种不确定性估计可能会严重偏见，特别是有限和不平衡的培训数据。在本文中，我们建议平衡，贝叶斯深度活跃的学习框架，减轻这种偏差的影响。具体地，平衡采用了一种新的采集功能，该函数利用了等效假设类别捕获的结构，并促进了不同的等价类别之间的分化。直观地，每个等价类包括具有类似预测的深层模型的实例化，并且平衡适应地将等同类的大小调整为学习进展。除了完整顺序设置之外，我们还提出批量平衡 - 顺序算法的泛化算法到批量设置 - 有效地选择批次的培训实施例，这些培训实施例是对模型改进的联合有效的培训实施例。我们展示批量平衡在多个基准数据集上实现了最先进的性能，用于主动学习，并且这两个算法都可以有效地处理通常涉及多级和不平衡数据的逼真挑战。

在Mackay（1992）上展开，我们认为，用于主动学习的基于模式的方法 - 类似的基于模型 - 如秃顶 - 具有基本的缺点：它们未直接解释输入变量的测试时间分布。这可以导致采集策略中的病理，因为模型参数的最大信息是最大信息，可能不是最大地信息，例如，当池集中的数据比最终预测任务的数据更大时，或者池和试验样品的分布不同。为了纠正这一点，我们重新审视了基于最大化关于可能的未来预测的预期信息的收购策略，参考这是预期的预测信息增益（EPIG）。由于EPIG对批量采集不扩展，我们进一步检查了替代策略，秃头和EPIG之间的混合，我们称之为联合预测信息增益（Jepig）。我们考虑在各种数据集中使用贝叶斯神经网络的主动学习，检查池集中分布班下的行为。

As an important data selection schema, active learning emerges as the essential component when iterating an Artificial Intelligence (AI) model. It becomes even more critical given the dominance of deep neural network based models, which are composed of a large number of parameters and data hungry, in application. Despite its indispensable role for developing AI models, research on active learning is not as intensive as other research directions. In this paper, we present a review of active learning through deep active learning approaches from the following perspectives: 1) technical advancements in active learning, 2) applications of active learning in computer vision, 3) industrial systems leveraging or with potential to leverage active learning for data iteration, 4) current limitations and future research directions. We expect this paper to clarify the significance of active learning in a modern AI model manufacturing process and to bring additional research attention to active learning. By addressing data automation challenges and coping with automated machine learning systems, active learning will facilitate democratization of AI technologies by boosting model production at scale.

We develop BatchBALD, a tractable approximation to the mutual information between a batch of points and model parameters, which we use as an acquisition function to select multiple informative points jointly for the task of deep Bayesian active learning. BatchBALD is a greedy linear-time 1 − 1 /e-approximate algorithm amenable to dynamic programming and efficient caching. We compare BatchBALD to the commonly used approach for batch data acquisition and find that the current approach acquires similar and redundant points, sometimes performing worse than randomly acquiring data. We finish by showing that, using BatchBALD to consider dependencies within an acquisition batch, we achieve new state of the art performance on standard benchmarks, providing substantial data efficiency improvements in batch acquisition.

The generalisation performance of a convolutional neural networks (CNN) is majorly predisposed by the quantity, quality, and diversity of the training images. All the training data needs to be annotated in-hand before, in many real-world applications data is easy to acquire but expensive and time-consuming to label. The goal of the Active learning for the task is to draw most informative samples from the unlabeled pool which can used for training after annotation. With total different objective, self-supervised learning which have been gaining meteoric popularity by closing the gap in performance with supervised methods on large computer vision benchmarks. self-supervised learning (SSL) these days have shown to produce low-level representations that are invariant to distortions of the input sample and can encode invariance to artificially created distortions, e.g. rotation, solarization, cropping etc. self-supervised learning (SSL) approaches rely on simpler and more scalable frameworks for learning. In this paper, we unify these two families of approaches from the angle of active learning using self-supervised learning mainfold and propose Deep Active Learning using BarlowTwins(DALBT), an active learning method for all the datasets using combination of classifier trained along with self-supervised loss framework of Barlow Twins to a setting where the model can encode the invariance of artificially created distortions, e.g. rotation, solarization, cropping etc.

While deep learning succeeds in a wide range of tasks, it highly depends on the massive collection of annotated data which is expensive and time-consuming. To lower the cost of data annotation, active learning has been proposed to interactively query an oracle to annotate a small proportion of informative samples in an unlabeled dataset. Inspired by the fact that the samples with higher loss are usually more informative to the model than the samples with lower loss, in this paper we present a novel deep active learning approach that queries the oracle for data annotation when the unlabeled sample is believed to incorporate high loss. The core of our approach is a measurement Temporal Output Discrepancy (TOD) that estimates the sample loss by evaluating the discrepancy of outputs given by models at different optimization steps. Our theoretical investigation shows that TOD lower-bounds the accumulated sample loss thus it can be used to select informative unlabeled samples. On basis of TOD, we further develop an effective unlabeled data sampling strategy as well as an unsupervised learning criterion for active learning. Due to the simplicity of TOD, our methods are efficient, flexible, and task-agnostic. Extensive experimental results demonstrate that our approach achieves superior performances than the state-of-the-art active learning methods on image classification and semantic segmentation tasks. In addition, we show that TOD can be utilized to select the best model of potentially the highest testing accuracy from a pool of candidate models.

Acquiring labeled data is challenging in many machine learning applications with limited budgets. Active learning gives a procedure to select the most informative data points and improve data efficiency by reducing the cost of labeling. The info-max learning principle maximizing mutual information such as BALD has been successful and widely adapted in various active learning applications. However, this pool-based specific objective inherently introduces a redundant selection and further requires a high computational cost for batch selection. In this paper, we design and propose a new uncertainty measure, Balanced Entropy Acquisition (BalEntAcq), which captures the information balance between the uncertainty of underlying softmax probability and the label variable. To do this, we approximate each marginal distribution by Beta distribution. Beta approximation enables us to formulate BalEntAcq as a ratio between an augmented entropy and the marginalized joint entropy. The closed-form expression of BalEntAcq facilitates parallelization by estimating two parameters in each marginal Beta distribution. BalEntAcq is a purely standalone measure without requiring any relational computations with other data points. Nevertheless, BalEntAcq captures a well-diversified selection near the decision boundary with a margin, unlike other existing uncertainty measures such as BALD, Entropy, or Mean Standard Deviation (MeanSD). Finally, we demonstrate that our balanced entropy learning principle with BalEntAcq consistently outperforms well-known linearly scalable active learning methods, including a recently proposed PowerBALD, a simple but diversified version of BALD, by showing experimental results obtained from MNIST, CIFAR-100, SVHN, and TinyImageNet datasets.

旨在选择最有用的培训样本子集的CoreSet选择是一个长期存在的学习问题，可以使许多下游任务受益，例如数据效率学习，持续学习，神经体系结构搜索，主动学习等。但是，许多现有的核心选择方法不是为深度学习而设计的，这些方法可能具有很高的复杂性和不良的概括性能。此外，最近提出的方法在模型，数据集和不同复杂性的设置上进行评估。为了促进深度学习中核心选择的研究，我们贡献了一个全面的代码库，即深核，并就CIFAR10和Imagenet数据集的流行核心选择方法提供了经验研究。关于CIFAR10和Imagenet数据集的广泛实验验证，尽管在某些实验设置中具有优势，但随机选择仍然是一个强大的基线。