虽然注释大量的数据以满足复杂的学习模型，但对于许多现实世界中的应用程序可能会过于良好。主动学习（AL）和半监督学习（SSL）是两个有效但经常被隔离的方法，可以减轻渴望数据的问题。最近的一些研究探索了将AL和SSL相结合以更好地探测未标记数据的潜力。但是，几乎所有这些当代的SSL-AL作品都采用了简单的组合策略，忽略了SSL和AL的固有关系。此外，在处理大规模，高维数据集时，其他方法则遭受高计算成本。通过标记数据的行业实践的激励，我们提出了一种基于创新的基于不一致的虚拟对抗性积极学习（理想）算法，以进一步研究SSL-AL的潜在优势，并实现Al和SSL的相互增强，即SSL，即SSL宣传标签信息，以使标签信息无标记的样本信息并为Al提供平滑的嵌入，而AL排除了具有不一致的预测和相当不确定性的样品。我们通过不同粒度的增强策略（包括细粒度的连续扰动探索和粗粒数据转换）来估计未标记的样品的不一致。在文本和图像域中，广泛的实验验证了所提出的算法的有效性，并将其与最先进的基线进行了比较。两项实际案例研究可视化应用和部署所提出的数据采样算法的实际工业价值。

As an important data selection schema, active learning emerges as the essential component when iterating an Artificial Intelligence (AI) model. It becomes even more critical given the dominance of deep neural network based models, which are composed of a large number of parameters and data hungry, in application. Despite its indispensable role for developing AI models, research on active learning is not as intensive as other research directions. In this paper, we present a review of active learning through deep active learning approaches from the following perspectives: 1) technical advancements in active learning, 2) applications of active learning in computer vision, 3) industrial systems leveraging or with potential to leverage active learning for data iteration, 4) current limitations and future research directions. We expect this paper to clarify the significance of active learning in a modern AI model manufacturing process and to bring additional research attention to active learning. By addressing data automation challenges and coping with automated machine learning systems, active learning will facilitate democratization of AI technologies by boosting model production at scale.

积极的学习有效地收集了无标记的数据以进行注释，从而减少了对标记数据的需求。在这项工作中，我们建议以局部灵敏度和硬度感知的获取功能检索未标记的样品。所提出的方法通过局部扰动生成数据副本，并选择其预测可能性与其副本最大的数据点。我们通过注入选择的情况扰动来进一步增强我们的采集功能。我们的方法可以在各种分类任务中对常用的活跃学习策略获得一致的收益。此外，我们在基于迅速的几次学习中迅速选择的研究中观察到对基准的持续改进。这些实验表明，我们以局部敏感性和硬度为指导的获取对许多NLP任务都是有效和有益的。

半监督学习方法已成为对打击获得大量注释数据的挑战的活跃研究领域。为了提高半监督学习方法表现的目标，我们提出了一种新颖的框架，Hiematch，一种半监督方法，利用分层信息来降低标签成本并表现以及vanilla半监督学习方法。分层信息通常是具有细粒标签的粗标签（例如，啄木鸟）的粗标签（例如，啄木鸟）的现有知识（例如，柔软的啄木鸟或金朝啄木鸟）。但是，尚未探讨使用使用粗类标签来改进半监督技术的监督。在没有细粒度的标签的情况下，Himatch利用标签层次结构，并使用粗级标签作为弱监控信号。此外，Himatch是一种改进任何半熟的学习框架的通用方法，我们使用我们的结果在最近的最先进的技术Mixmatch和Fixmatch上展示了这一点。我们评估了在两个基准数据集，即CiFar-100和Nabirds上的Himatch疗效。与MixMatch相比，HOMACHACT可以在CIFAR-100上减少50％的粒度标签50％的用量，仅在前1个精度的边缘下降0.59％。代码：https://github.com/07agarg/hiermatch.

在域概括（DG）中取得了长足的进步，该域旨在从多个通知的源域到未知目标域学习可推广的模型。但是，在许多实际情况下，获得足够的源数据集的注释可能非常昂贵。为了摆脱域的概括和注释成本之间的困境，在本文中，我们介绍了一个名为标签效率的域概括（LEDG）的新任务，以使用标签限制的源域来实现模型概括。为了解决这一具有挑战性的任务，我们提出了一个称为协作探索和概括（CEG）的新颖框架，该框架共同优化了主动探索和半监督的概括。具体而言，在主动探索中，在避免信息差异和冗余的同时探索阶级和域可区分性，我们查询具有类别不确定性，域代表性和信息多样性的总体排名最高的样品标签。在半监督的概括中，我们设计了基于混音的内部和域间知识增强，以扩大域知识并概括域的不变性。我们以协作方式统一主动探索和半监督概括，并促进它们之间的相互增强，从而以有限的注释来增强模型的概括。广泛的实验表明，CEG产生了出色的概括性能。特别是，与以前的DG方法相比，CEG甚至只能使用5％的数据注释预算来实现竞争结果，并在PACS数据集中具有完全标记的数据。

主动学习（al）试图通过标记最少的样本来最大限度地提高模型的性能增益。深度学习（DL）是贪婪的数据，需要大量的数据电源来优化大量参数，因此模型了解如何提取高质量功能。近年来，由于互联网技术的快速发展，我们处于信息种类的时代，我们有大量的数据。通过这种方式，DL引起了研究人员的强烈兴趣，并已迅速发展。与DL相比，研究人员对Al的兴趣相对较低。这主要是因为在DL的崛起之前，传统的机器学习需要相对较少的标记样品。因此，早期的Al很难反映其应得的价值。虽然DL在各个领域取得了突破，但大多数这一成功都是由于大量现有注释数据集的宣传。然而，收购大量高质量的注释数据集消耗了很多人力，这在某些领域不允许在需要高专业知识，特别是在语音识别，信息提取，医学图像等领域中， al逐渐受到适当的关注。自然理念是AL是否可用于降低样本注释的成本，同时保留DL的强大学习能力。因此，已经出现了深度主动学习（DAL）。虽然相关的研究非常丰富，但它缺乏对DAL的综合调查。本文要填补这一差距，我们为现有工作提供了正式的分类方法，以及全面和系统的概述。此外，我们还通过申请的角度分析并总结了DAL的发展。最后，我们讨论了DAL中的混乱和问题，为DAL提供了一些可能的发展方向。

我们研究了用于半监控学习（SSL）的无监督数据选择，其中可以提供大规模的未标记数据集，并且为标签采集预算小额数据子集。现有的SSL方法专注于学习一个有效地集成了来自给定小标记数据和大型未标记数据的信息的模型，而我们专注于选择正确的数据以用于SSL的注释，而无需任何标签或任务信息。直观地，要标记的实例应统称为下游任务的最大多样性和覆盖范围，并且单独具有用于SSL的最大信息传播实用程序。我们以三步数据为中心的SSL方法形式化这些概念，使稳定性和精度的纤维液改善8％的CiFar-10（标记为0.08％）和14％的Imagenet -1k（标记为0.2％）。它也是一种具有各种SSL方法的通用框架，提供一致的性能增益。我们的工作表明，在仔细选择注释数据上花费的小计算带来了大注释效率和模型性能增益，而无需改变学习管道。我们完全无监督的数据选择可以轻松扩展到其他弱监督的学习设置。

深度学习正在推动许多计算机视觉应用中的最新技术。但是，它依赖于大量注释的数据存储库，并且捕获现实世界数据的不受约束性质尚未解决。半监督学习（SSL）用大量未标记的数据来补充带注释的培训数据，以降低注释成本。标准SSL方法假设未标记的数据来自与注释数据相同的分布。最近，Orca [9]引入了一个更现实的SSL问题，称为开放世界SSL，假设未注释的数据可能包含来自未知类别的样本。这项工作提出了一种在开放世界中解决SSL的新方法，我们同时学习对已知和未知类别进行分类。在我们方法的核心方面，我们利用样本不确定性，并将有关类分布的先验知识纳入，以生成可靠的伪标记，以适用于已知和未知类别的未标记数据。我们广泛的实验在几个基准数据集上展示了我们的方法的有效性，在该数据集上，它在其中的七个不同数据集（包括CIFAR-100（17.6％）（17.6％），Imagenet-100（5.7％）（5.7％）和微小成像网（9.9％）。

大型标记数据集的可用性是深度学习成功的关键组成部分。但是，大型数据集上的标签通常很耗时且昂贵。主动学习是一个研究领域，通过选择最重要的标签样本来解决昂贵的标签问题。基于多样性的采样算法被称为基于表示的主动学习方法的组成部分。在本文中，我们介绍了一种新的基于多样性的初始数据集选择算法，以选择有效学习环境中初始标记的最有用的样本集。自我监督的表示学习用于考虑初始数据集选择算法中样品的多样性。此外，我们提出了一种新型的主动学习查询策略，该策略使用基于多样性的基于一致性的嵌入方式采样。通过考虑基于一致性的嵌入方案中多样性的一致性信息，该方法可以在半监督的学习环境中选择更多信息的样本来标记。比较实验表明，通过利用未标记的数据的多样性，与先前的主动学习方法相比，该提出的方法在CIFAR-10和CALTECH-101数据集上取得了令人信服的结果。

半监督学习（SSL）是一个有效的框架，可以使用标记和未标记的数据训练模型，但是当缺乏足够的标记样品时，可能会产生模棱两可和不可区分的表示。有了人类的循环学习，积极的学习可以迭代地选择无标记的样品进行标签和培训，以提高SSL框架的性能。但是，大多数现有的活跃学习方法都取决于预先训练的功能，这不适合端到端学习。为了解决SSL的缺点，在本文中，我们提出了一种新颖的端到端表示方法，即ActiveMatch，它将SSL与对比度学习和积极学习结合在一起，以充分利用有限的标签。从少量的标记数据开始，无监督的对比度学习作为热身学习，然后将ActiveMatch结合在一起，将SSL和监督对比度学习结合在一起，并积极选择在培训期间标记的最具代表性的样本，从而更好地表示分类。与MixMatch和FixMatch具有相同数量的标记数据相比，我们表明ActiveMatch实现了最先进的性能，CIFAR-10的精度为89.24％，具有100个收集的标签，而92.20％的精度为92.20％，有200个收集的标签。

The generalisation performance of a convolutional neural networks (CNN) is majorly predisposed by the quantity, quality, and diversity of the training images. All the training data needs to be annotated in-hand before, in many real-world applications data is easy to acquire but expensive and time-consuming to label. The goal of the Active learning for the task is to draw most informative samples from the unlabeled pool which can used for training after annotation. With total different objective, self-supervised learning which have been gaining meteoric popularity by closing the gap in performance with supervised methods on large computer vision benchmarks. self-supervised learning (SSL) these days have shown to produce low-level representations that are invariant to distortions of the input sample and can encode invariance to artificially created distortions, e.g. rotation, solarization, cropping etc. self-supervised learning (SSL) approaches rely on simpler and more scalable frameworks for learning. In this paper, we unify these two families of approaches from the angle of active learning using self-supervised learning mainfold and propose Deep Active Learning using BarlowTwins(DALBT), an active learning method for all the datasets using combination of classifier trained along with self-supervised loss framework of Barlow Twins to a setting where the model can encode the invariance of artificially created distortions, e.g. rotation, solarization, cropping etc.

长期以来，半监督学习（SSL）已被证明是一种有限的标签模型的有效技术。在现有的文献中，基于一致性的基于正则化的方法，这些方法迫使扰动样本具有类似的预测，而原始的样本则引起了极大的关注。但是，我们观察到，当标签变得极为有限时，例如，每个类别的2或3标签时，此类方法的性能会大大降低。我们的实证研究发现，主要问题在于语义信息在数据增强过程中的漂移。当提供足够的监督时，可以缓解问题。但是，如果几乎没有指导，错误的正则化将误导网络并破坏算法的性能。为了解决该问题，我们（1）提出了一种基于插值的方法来构建更可靠的正样品对； （2）设计一种新颖的对比损失，以指导学习网络的嵌入以在样品之间进行线性更改，从而通过扩大保证金决策边界来提高网络的歧视能力。由于未引入破坏性正则化，因此我们提出的算法的性能在很大程度上得到了改善。具体而言，所提出的算法的表现优于第二好算法（COMATT），而当CIFAR-10数据集中的每个类只有两个标签可用时，可以实现88.73％的分类精度，占5.3％。此外，我们通过通过我们提出的策略大大改善现有最新算法的性能，进一步证明了所提出的方法的普遍性。

我们提出了Parse，这是一种新颖的半监督结构，用于学习强大的脑电图表现以进行情感识别。为了减少大量未标记数据与标记数据有限的潜在分布不匹配，Parse使用成对表示对准。首先，我们的模型执行数据增强，然后标签猜测大量原始和增强的未标记数据。然后将其锐化的标签和标记数据的凸组合锐化。最后，进行表示对准和情感分类。为了严格测试我们的模型，我们将解析与我们实施并适应脑电图学习的几种最先进的半监督方法进行了比较。我们对四个基于公共EEG的情绪识别数据集，种子，种子IV，种子V和Amigos（价和唤醒）进行这些实验。该实验表明，我们提出的框架在种子，种子-IV和Amigos（Valence）中的标记样品有限的情况下，取得了总体最佳效果，同时接近种子V和Amigos中的总体最佳结果（达到第二好） （唤醒）。分析表明，我们的成对表示对齐方式通过减少未标记数据和标记数据之间的分布比对来大大提高性能，尤其是当每类仅1个样本被标记时。

While deep learning succeeds in a wide range of tasks, it highly depends on the massive collection of annotated data which is expensive and time-consuming. To lower the cost of data annotation, active learning has been proposed to interactively query an oracle to annotate a small proportion of informative samples in an unlabeled dataset. Inspired by the fact that the samples with higher loss are usually more informative to the model than the samples with lower loss, in this paper we present a novel deep active learning approach that queries the oracle for data annotation when the unlabeled sample is believed to incorporate high loss. The core of our approach is a measurement Temporal Output Discrepancy (TOD) that estimates the sample loss by evaluating the discrepancy of outputs given by models at different optimization steps. Our theoretical investigation shows that TOD lower-bounds the accumulated sample loss thus it can be used to select informative unlabeled samples. On basis of TOD, we further develop an effective unlabeled data sampling strategy as well as an unsupervised learning criterion for active learning. Due to the simplicity of TOD, our methods are efficient, flexible, and task-agnostic. Extensive experimental results demonstrate that our approach achieves superior performances than the state-of-the-art active learning methods on image classification and semantic segmentation tasks. In addition, we show that TOD can be utilized to select the best model of potentially the highest testing accuracy from a pool of candidate models.

Semi-supervised learning lately has shown much promise in improving deep learning models when labeled data is scarce. Common among recent approaches is the use of consistency training on a large amount of unlabeled data to constrain model predictions to be invariant to input noise. In this work, we present a new perspective on how to effectively noise unlabeled examples and argue that the quality of noising, specifically those produced by advanced data augmentation methods, plays a crucial role in semi-supervised learning. By substituting simple noising operations with advanced data augmentation methods such as RandAugment and back-translation, our method brings substantial improvements across six language and three vision tasks under the same consistency training framework. On the IMDb text classification dataset, with only 20 labeled examples, our method achieves an error rate of 4.20, outperforming the state-of-the-art model trained on 25,000 labeled examples. On a standard semi-supervised learning benchmark, CIFAR-10, our method outperforms all previous approaches and achieves an error rate of 5.43 with only 250 examples. Our method also combines well with transfer learning, e.g., when finetuning from BERT, and yields improvements in high-data regime, such as ImageNet, whether when there is only 10% labeled data or when a full labeled set with 1.3M extra unlabeled examples is used. 1

现代深度学习在各个领域取得了巨大的成功。但是，它需要标记大量数据，这是昂贵且劳动密集型的。积极学习（AL）确定要标记的最有用的样本，对于最大化培训过程的效率变得越来越重要。现有的AL方法主要仅使用单个最终固定模型来获取要标记的样品。这种策略可能还不够好，因为没有考虑为给定培训数据的模型的结构不确定性来获取样品。在这项研究中，我们提出了一种基于常规随机梯度下降（SGD）优化产生的时间自我汇总的新颖获取标准。通过捕获通过SGD迭代获得的中间网络权重来获得这些自我复杂模型。我们的收购功能依赖于学生和教师模型之间的一致性度量。为学生模型提供了固定数量的时间自我安装模型，并且教师模型是通过平均学生模型来构建的。使用拟议的获取标准，我们提出了AL算法，即基于学生教师的AL（ST-Conal）。在CIFAR-10，CIFAR-100，CALTECH-256和TINY IMAGENET数据集上进行的图像分类任务进行的实验表明，所提出的ST-Conal实现的性能要比现有的获取方法要好得多。此外，广泛的实验显示了我们方法的鲁棒性和有效性。

完全监督分类的问题是，它需要大量的注释数据，但是，在许多数据集中，很大一部分数据是未标记的。为了缓解此问题，半监督学习（SSL）利用了标记域上的分类器知识，并将其推送到无标记的域，该域具有与注释数据相似的分布。 SSL方法的最新成功至关重要地取决于阈值伪标记，从而对未标记的域的一致性正则化。但是，现有方法并未在训练过程中纳入伪标签或未标记样品的不确定性，这是由于嘈杂的标签或由于强大的增强而导致的分布样品。受SSL最近发展的启发，我们本文的目标是提出一个新颖的无监督不确定性意识的目标，依赖于核心和认识论不确定性量化。通过提出的不确定性感知损失功能，我们的方法优于标准SSL基准，在计算轻量级的同时，与最新的方法相匹配，或与最先进的方法相提并论。我们的结果优于复杂数据集（例如CIFAR-100和MINI-IMAGENET）的最新结果。

Active learning aims to develop label-efficient algorithms by sampling the most representative queries to be labeled by an oracle. We describe a pool-based semisupervised active learning algorithm that implicitly learns this sampling mechanism in an adversarial manner. Unlike conventional active learning algorithms, our approach is task agnostic, i.e., it does not depend on the performance of the task for which we are trying to acquire labeled data. Our method learns a latent space using a variational autoencoder (VAE) and an adversarial network trained to discriminate between unlabeled and labeled data. The minimax game between the VAE and the adversarial network is played such that while the VAE tries to trick the adversarial network into predicting that all data points are from the labeled pool, the adversarial network learns how to discriminate between dissimilarities in the latent space. We extensively evaluate our method on various image classification and semantic segmentation benchmark datasets and establish a new state of the art on CIFAR10/100, Caltech-256, ImageNet, Cityscapes, and BDD100K. Our results demonstrate that our adversarial approach learns an effective low dimensional latent space in large-scale settings and provides for a computationally efficient sampling method. 1

深度神经网络对物体检测达到了高精度，但它们的成功铰链大量标记数据。为了减少标签依赖性，已经提出了各种主动学习策略，通常基于探测器的置信度。但是，这些方法偏向于高性能类，并且可以导致获取的数据集不是测试集数据的代表不好。在这项工作中，我们提出了一个统一的主动学习框架，这考虑了探测器的不确定性和鲁棒性，确保网络在所有类中表现良好。此外，我们的方法利用自动标记来抑制潜在的分布漂移，同时提高模型的性能。 Pascal VOC07 ​​+ 12和MS-Coco的实验表明，我们的方法始终如一地优于各种活跃的学习方法，在地图中产生高达7.7％，或降低标记成本的82％。代码将在接受纸张时发布。

我们提出了Patron，这是一种新方法，它使用基于及时的不确定性估计，用于在冷启动场景下进行预训练的语言模型进行微调的数据选择，即，没有初始标记的数据可用。在顾客中，我们设计（1）一种基于迅速的不确定性传播方法来估计数据点的重要性和（2）分区 - 然后 - 剥离（PTR）策略，以促进对注释的样品多样性。六个文本分类数据集的实验表明，赞助人的表现优于最强的冷启动数据选择基准，高达6.9％。此外，仅具有128个标签，顾客分别基于香草微调和及时的学习，获得了91.0％和92.1％的全面监督性能。我们的赞助人实施可在\ url {https://github.com/yueyu1030/patron}上获得。