大型标记数据集的可用性是深度学习成功的关键组成部分。但是，大型数据集上的标签通常很耗时且昂贵。主动学习是一个研究领域，通过选择最重要的标签样本来解决昂贵的标签问题。基于多样性的采样算法被称为基于表示的主动学习方法的组成部分。在本文中，我们介绍了一种新的基于多样性的初始数据集选择算法，以选择有效学习环境中初始标记的最有用的样本集。自我监督的表示学习用于考虑初始数据集选择算法中样品的多样性。此外，我们提出了一种新型的主动学习查询策略，该策略使用基于多样性的基于一致性的嵌入方式采样。通过考虑基于一致性的嵌入方案中多样性的一致性信息，该方法可以在半监督的学习环境中选择更多信息的样本来标记。比较实验表明，通过利用未标记的数据的多样性，与先前的主动学习方法相比，该提出的方法在CIFAR-10和CALTECH-101数据集上取得了令人信服的结果。

The generalisation performance of a convolutional neural networks (CNN) is majorly predisposed by the quantity, quality, and diversity of the training images. All the training data needs to be annotated in-hand before, in many real-world applications data is easy to acquire but expensive and time-consuming to label. The goal of the Active learning for the task is to draw most informative samples from the unlabeled pool which can used for training after annotation. With total different objective, self-supervised learning which have been gaining meteoric popularity by closing the gap in performance with supervised methods on large computer vision benchmarks. self-supervised learning (SSL) these days have shown to produce low-level representations that are invariant to distortions of the input sample and can encode invariance to artificially created distortions, e.g. rotation, solarization, cropping etc. self-supervised learning (SSL) approaches rely on simpler and more scalable frameworks for learning. In this paper, we unify these two families of approaches from the angle of active learning using self-supervised learning mainfold and propose Deep Active Learning using BarlowTwins(DALBT), an active learning method for all the datasets using combination of classifier trained along with self-supervised loss framework of Barlow Twins to a setting where the model can encode the invariance of artificially created distortions, e.g. rotation, solarization, cropping etc.

半监督学习（SSL）是一个有效的框架，可以使用标记和未标记的数据训练模型，但是当缺乏足够的标记样品时，可能会产生模棱两可和不可区分的表示。有了人类的循环学习，积极的学习可以迭代地选择无标记的样品进行标签和培训，以提高SSL框架的性能。但是，大多数现有的活跃学习方法都取决于预先训练的功能，这不适合端到端学习。为了解决SSL的缺点，在本文中，我们提出了一种新颖的端到端表示方法，即ActiveMatch，它将SSL与对比度学习和积极学习结合在一起，以充分利用有限的标签。从少量的标记数据开始，无监督的对比度学习作为热身学习，然后将ActiveMatch结合在一起，将SSL和监督对比度学习结合在一起，并积极选择在培训期间标记的最具代表性的样本，从而更好地表示分类。与MixMatch和FixMatch具有相同数量的标记数据相比，我们表明ActiveMatch实现了最先进的性能，CIFAR-10的精度为89.24％，具有100个收集的标签，而92.20％的精度为92.20％，有200个收集的标签。

While deep learning succeeds in a wide range of tasks, it highly depends on the massive collection of annotated data which is expensive and time-consuming. To lower the cost of data annotation, active learning has been proposed to interactively query an oracle to annotate a small proportion of informative samples in an unlabeled dataset. Inspired by the fact that the samples with higher loss are usually more informative to the model than the samples with lower loss, in this paper we present a novel deep active learning approach that queries the oracle for data annotation when the unlabeled sample is believed to incorporate high loss. The core of our approach is a measurement Temporal Output Discrepancy (TOD) that estimates the sample loss by evaluating the discrepancy of outputs given by models at different optimization steps. Our theoretical investigation shows that TOD lower-bounds the accumulated sample loss thus it can be used to select informative unlabeled samples. On basis of TOD, we further develop an effective unlabeled data sampling strategy as well as an unsupervised learning criterion for active learning. Due to the simplicity of TOD, our methods are efficient, flexible, and task-agnostic. Extensive experimental results demonstrate that our approach achieves superior performances than the state-of-the-art active learning methods on image classification and semantic segmentation tasks. In addition, we show that TOD can be utilized to select the best model of potentially the highest testing accuracy from a pool of candidate models.

As an important data selection schema, active learning emerges as the essential component when iterating an Artificial Intelligence (AI) model. It becomes even more critical given the dominance of deep neural network based models, which are composed of a large number of parameters and data hungry, in application. Despite its indispensable role for developing AI models, research on active learning is not as intensive as other research directions. In this paper, we present a review of active learning through deep active learning approaches from the following perspectives: 1) technical advancements in active learning, 2) applications of active learning in computer vision, 3) industrial systems leveraging or with potential to leverage active learning for data iteration, 4) current limitations and future research directions. We expect this paper to clarify the significance of active learning in a modern AI model manufacturing process and to bring additional research attention to active learning. By addressing data automation challenges and coping with automated machine learning systems, active learning will facilitate democratization of AI technologies by boosting model production at scale.

虽然注释大量的数据以满足复杂的学习模型，但对于许多现实世界中的应用程序可能会过于良好。主动学习（AL）和半监督学习（SSL）是两个有效但经常被隔离的方法，可以减轻渴望数据的问题。最近的一些研究探索了将AL和SSL相结合以更好地探测未标记数据的潜力。但是，几乎所有这些当代的SSL-AL作品都采用了简单的组合策略，忽略了SSL和AL的固有关系。此外，在处理大规模，高维数据集时，其他方法则遭受高计算成本。通过标记数据的行业实践的激励，我们提出了一种基于创新的基于不一致的虚拟对抗性积极学习（理想）算法，以进一步研究SSL-AL的潜在优势，并实现Al和SSL的相互增强，即SSL，即SSL宣传标签信息，以使标签信息无标记的样本信息并为Al提供平滑的嵌入，而AL排除了具有不一致的预测和相当不确定性的样品。我们通过不同粒度的增强策略（包括细粒度的连续扰动探索和粗粒数据转换）来估计未标记的样品的不一致。在文本和图像域中，广泛的实验验证了所提出的算法的有效性，并将其与最先进的基线进行了比较。两项实际案例研究可视化应用和部署所提出的数据采样算法的实际工业价值。

现代深度学习在各个领域取得了巨大的成功。但是，它需要标记大量数据，这是昂贵且劳动密集型的。积极学习（AL）确定要标记的最有用的样本，对于最大化培训过程的效率变得越来越重要。现有的AL方法主要仅使用单个最终固定模型来获取要标记的样品。这种策略可能还不够好，因为没有考虑为给定培训数据的模型的结构不确定性来获取样品。在这项研究中，我们提出了一种基于常规随机梯度下降（SGD）优化产生的时间自我汇总的新颖获取标准。通过捕获通过SGD迭代获得的中间网络权重来获得这些自我复杂模型。我们的收购功能依赖于学生和教师模型之间的一致性度量。为学生模型提供了固定数量的时间自我安装模型，并且教师模型是通过平均学生模型来构建的。使用拟议的获取标准，我们提出了AL算法，即基于学生教师的AL（ST-Conal）。在CIFAR-10，CIFAR-100，CALTECH-256和TINY IMAGENET数据集上进行的图像分类任务进行的实验表明，所提出的ST-Conal实现的性能要比现有的获取方法要好得多。此外，广泛的实验显示了我们方法的鲁棒性和有效性。

标记大量数据很昂贵。主动学习旨在通过要求注释未标记的集合中最有用的数据来解决这个问题。我们提出了一种新颖的活跃学习方法，该方法利用自我监督的借口任务和独特的数据采样器来选择既困难又具有代表性的数据。我们发现，简单的自我监督借口任务（例如旋转预测）的损失与下游任务损失密切相关。在主动学习迭代之前，对未标记的集合进行了借口任务学习者进行培训，并且未标记的数据被分类并通过其借口任务损失分组成批处理。在每个主动的学习迭代中，主要任务模型用于批评要注释的批次中最不确定的数据。我们评估了有关各种图像分类和分割基准测试的方法，并在CIFAR10，CALTECH-101，IMAGENET和CITYSCAPES上实现引人注目的性能。我们进一步表明，我们的方法在不平衡的数据集上表现良好，并且可以有效地解决冷启动问题的解决方案，在这种问题中，主动学习性能受到随机采样的初始标记集的影响。

The performance of deep neural networks improves with more annotated data. The problem is that the budget for annotation is limited. One solution to this is active learning, where a model asks human to annotate data that it perceived as uncertain. A variety of recent methods have been proposed to apply active learning to deep networks but most of them are either designed specific for their target tasks or computationally inefficient for large networks. In this paper, we propose a novel active learning method that is simple but task-agnostic, and works efficiently with the deep networks. We attach a small parametric module, named "loss prediction module," to a target network, and learn it to predict target losses of unlabeled inputs. Then, this module can suggest data that the target model is likely to produce a wrong prediction. This method is task-agnostic as networks are learned from a single loss regardless of target tasks. We rigorously validate our method through image classification, object detection, and human pose estimation, with the recent network architectures. The results demonstrate that our method consistently outperforms the previous methods over the tasks.

我们介绍了有监督的对比度积极学习（SCAL），并根据功能相似性（功能IM）和基于主成分分析的基于特征重建误差（FRE）提出有效的活动学习策略，以选择具有不同特征表示的信息性数据示例。我们证明了我们提出的方法可实现最新的准确性，模型校准并减少在图像分类任务上平衡和不平衡数据集的主动学习设置中的采样偏差。我们还评估了模型的鲁棒性，从主动学习环境中不同查询策略得出的分配转移。使用广泛的实验，我们表明我们提出的方法的表现优于高性能密集型方法，从而使平均损坏误差降低了9.9％，在数据集偏移下的预期校准误差降低了7.2％，而AUROC降低了8.9％的AUROC。检测。

主动学习（al）试图通过标记最少的样本来最大限度地提高模型的性能增益。深度学习（DL）是贪婪的数据，需要大量的数据电源来优化大量参数，因此模型了解如何提取高质量功能。近年来，由于互联网技术的快速发展，我们处于信息种类的时代，我们有大量的数据。通过这种方式，DL引起了研究人员的强烈兴趣，并已迅速发展。与DL相比，研究人员对Al的兴趣相对较低。这主要是因为在DL的崛起之前，传统的机器学习需要相对较少的标记样品。因此，早期的Al很难反映其应得的价值。虽然DL在各个领域取得了突破，但大多数这一成功都是由于大量现有注释数据集的宣传。然而，收购大量高质量的注释数据集消耗了很多人力，这在某些领域不允许在需要高专业知识，特别是在语音识别，信息提取，医学图像等领域中， al逐渐受到适当的关注。自然理念是AL是否可用于降低样本注释的成本，同时保留DL的强大学习能力。因此，已经出现了深度主动学习（DAL）。虽然相关的研究非常丰富，但它缺乏对DAL的综合调查。本文要填补这一差距，我们为现有工作提供了正式的分类方法，以及全面和系统的概述。此外，我们还通过申请的角度分析并总结了DAL的发展。最后，我们讨论了DAL中的混乱和问题，为DAL提供了一些可能的发展方向。

We study different aspects of active learning with deep neural networks in a consistent and unified way. i) We investigate incremental and cumulative training modes which specify how the newly labeled data are used for training. ii) We study active learning w.r.t. the model configurations such as the number of epochs and neurons as well as the choice of batch size. iii) We consider in detail the behavior of query strategies and their corresponding informativeness measures and accordingly propose more efficient querying procedures. iv) We perform statistical analyses, e.g., on actively learned classes and test error estimation, that reveal several insights about active learning. v) We investigate how active learning with neural networks can benefit from pseudo-labels as proxies for actual labels.

主动学习在许多领域中展示了数据效率。现有的主动学习算法，特别是在深贝叶斯活动模型的背景下，严重依赖模型的不确定性估计的质量。然而，这种不确定性估计可能会严重偏见，特别是有限和不平衡的培训数据。在本文中，我们建议平衡，贝叶斯深度活跃的学习框架，减轻这种偏差的影响。具体地，平衡采用了一种新的采集功能，该函数利用了等效假设类别捕获的结构，并促进了不同的等价类别之间的分化。直观地，每个等价类包括具有类似预测的深层模型的实例化，并且平衡适应地将等同类的大小调整为学习进展。除了完整顺序设置之外，我们还提出批量平衡 - 顺序算法的泛化算法到批量设置 - 有效地选择批次的培训实施例，这些培训实施例是对模型改进的联合有效的培训实施例。我们展示批量平衡在多个基准数据集上实现了最先进的性能，用于主动学习，并且这两个算法都可以有效地处理通常涉及多级和不平衡数据的逼真挑战。

在研究积极的学习时，我们专注于标记的示例数量（预算规模）和合适的查询策略之间的关系。我们的理论分析表明，一种让人联想到相变的行为：预算低时最好查询典型的示例，而预算较大时最好查询无代表性的示例。合并的证据表明，类似的现象发生在共同的分类模型中。因此，我们提出了典型lust，这是一种适合低预算的深度积极学习策略。在对监督学习的比较实证研究中，使用各种架构和图像数据集，TypicLust在低预算制度中的所有其他活跃学习策略都优于所有其他活跃的学习策略。在半监督框架中使用TypicLust，性能得到更加显着的提升。特别是，在CIFAR-10上训练的最新半监督方法，由Typiclust选择的10个标记的示例训练，达到93.2％的精度 - 比随机选择提高了39.4％。代码可在https://github.com/avihu111/typiclust上找到。

主动学习通过从未标记的数据集中标记有信息的样本来有效地构建标记的数据集。在现实世界中的活跃学习方案中，考虑到所选样本的多样性至关重要，因为存在许多冗余或高度相似的样本。核心设定方法是基于多样性的有希望的方法，根据样品之间的距离选择不同的样品。然而，与选择最困难的样本的基于不确定性的方法相比，该方法的性能差，神经模型表现出低置信度。在这项工作中，我们通过密度的晶状体分析特征空间，有趣的是，观察到局部稀疏区域往往比密集区域具有更多信息样本。通过我们的分析，我们将核心设定方法赋予密度意识，并提出密度感知的核心集（DACS）。该策略是估计未标记样品的密度，并主要从稀疏区域选择不同的样品。为了减少估计密度的计算瓶颈，我们还基于对区域敏感的散列引入了新的密度近似。实验结果清楚地表明了DAC在分类和回归任务中的功效，并特别表明DAC可以在实际情况下产生最先进的性能。由于DACS微弱地取决于神经体系结构，因此我们提出了一种简单而有效的组合方法，以表明现有方法可以与DAC合并。

在域概括（DG）中取得了长足的进步，该域旨在从多个通知的源域到未知目标域学习可推广的模型。但是，在许多实际情况下，获得足够的源数据集的注释可能非常昂贵。为了摆脱域的概括和注释成本之间的困境，在本文中，我们介绍了一个名为标签效率的域概括（LEDG）的新任务，以使用标签限制的源域来实现模型概括。为了解决这一具有挑战性的任务，我们提出了一个称为协作探索和概括（CEG）的新颖框架，该框架共同优化了主动探索和半监督的概括。具体而言，在主动探索中，在避免信息差异和冗余的同时探索阶级和域可区分性，我们查询具有类别不确定性，域代表性和信息多样性的总体排名最高的样品标签。在半监督的概括中，我们设计了基于混音的内部和域间知识增强，以扩大域知识并概括域的不变性。我们以协作方式统一主动探索和半监督概括，并促进它们之间的相互增强，从而以有限的注释来增强模型的概括。广泛的实验表明，CEG产生了出色的概括性能。特别是，与以前的DG方法相比，CEG甚至只能使用5％的数据注释预算来实现竞争结果，并在PACS数据集中具有完全标记的数据。

深度神经网络对物体检测达到了高精度，但它们的成功铰链大量标记数据。为了减少标签依赖性，已经提出了各种主动学习策略，通常基于探测器的置信度。但是，这些方法偏向于高性能类，并且可以导致获取的数据集不是测试集数据的代表不好。在这项工作中，我们提出了一个统一的主动学习框架，这考虑了探测器的不确定性和鲁棒性，确保网络在所有类中表现良好。此外，我们的方法利用自动标记来抑制潜在的分布漂移，同时提高模型的性能。 Pascal VOC07 ​​+ 12和MS-Coco的实验表明，我们的方法始终如一地优于各种活跃的学习方法，在地图中产生高达7.7％，或降低标记成本的82％。代码将在接受纸张时发布。

时间动作定位（TAL）旨在预测未修剪视频（即开始和结束时间）中动作实例的动作类别和时间边界。通常在大多数现有作品中都采用了完全监督的解决方案，并被证明是有效的。这些解决方案中的实际瓶颈之一是所需的大量标记培训数据。为了降低昂贵的人类标签成本，本文着重于很少调查但实用的任务，称为半监督TAL，并提出了一种有效的主动学习方法，名为Al-Stal。我们利用四个步骤来积极选择具有很高信息性的视频样本，并培训本地化模型，名为\ emph {火车，查询，注释，附加}。考虑定位模型的不确定性的两个评分函数配备了ALSTAL，从而促进了视频样本等级和选择。一个人将预测标签分布的熵作为不确定性的度量，称为时间提案熵（TPE）。另一个引入了基于相邻行动建议之间的共同信息的新指标，并评估视频样本的信息性，称为时间上下文不一致（TCI）。为了验证拟议方法的有效性，我们在两个基准数据集Thumos'14和ActivityNet 1.3上进行了广泛的实验。实验结果表明，与完全监督的学习相比，AL-Stal的表现优于现有竞争对手，并实现令人满意的表现。

Deep active learning aims to reduce the annotation cost for the training of deep models, which is notoriously data-hungry. Until recently, deep active learning methods were ineffectual in the low-budget regime, where only a small number of examples are annotated. The situation has been alleviated by recent advances in representation and self-supervised learning, which impart the geometry of the data representation with rich information about the points. Taking advantage of this progress, we study the problem of subset selection for annotation through a "covering" lens, proposing ProbCover - a new active learning algorithm for the low budget regime, which seeks to maximize Probability Coverage. We then describe a dual way to view the proposed formulation, from which one can derive strategies suitable for the high budget regime of active learning, related to existing methods like Coreset. We conclude with extensive experiments, evaluating ProbCover in the low-budget regime. We show that our principled active learning strategy improves the state-of-the-art in the low-budget regime in several image recognition benchmarks. This method is especially beneficial in the semi-supervised setting, allowing state-of-the-art semi-supervised methods to match the performance of fully supervised methods, while using much fewer labels nonetheless. Code is available at https://github.com/avihu111/TypiClust.

In semi-supervised representation learning frameworks, when the number of labelled data is very scarce, the quality and representativeness of these samples become increasingly important. Existing literature on semi-supervised learning randomly sample a limited number of data points for labelling. All these labelled samples are then used along with the unlabelled data throughout the training process. In this work, we ask two important questions in this context: (1) does it matter which samples are selected for labelling? (2) does it matter how the labelled samples are used throughout the training process along with the unlabelled data? To answer the first question, we explore a number of unsupervised methods for selecting specific subsets of data to label (without prior knowledge of their labels), with the goal of maximizing representativeness w.r.t. the unlabelled set. Then, for our second line of inquiry, we define a variety of different label injection strategies in the training process. Extensive experiments on four popular datasets, CIFAR-10, CIFAR-100, SVHN, and STL-10, show that unsupervised selection of samples that are more representative of the entire data improves performance by up to ~2% over the existing semi-supervised frameworks such as MixMatch, ReMixMatch, FixMatch and others with random sample labelling. We show that this boost could even increase to 7.5% for very few-labelled scenarios. However, our study shows that gradually injecting the labels throughout the training procedure does not impact the performance considerably versus when all the existing labels are used throughout the entire training.