Data-driven soft sensors are extensively used in industrial and chemical processes to predict hard-to-measure process variables whose real value is difficult to track during routine operations. The regression models used by these sensors often require a large number of labeled examples, yet obtaining the label information can be very expensive given the high time and cost required by quality inspections. In this context, active learning methods can be highly beneficial as they can suggest the most informative labels to query. However, most of the active learning strategies proposed for regression focus on the offline setting. In this work, we adapt some of these approaches to the stream-based scenario and show how they can be used to select the most informative data points. We also demonstrate how to use a semi-supervised architecture based on orthogonal autoencoders to learn salient features in a lower dimensional space. The Tennessee Eastman Process is used to compare the predictive performance of the proposed approaches.

自动数据收集方案的扩散和传感器的进步正在增加我们能够实时监控的数据量。但是，鉴于高注册成本和质量检查所需的时间，数据通常以未标记的形式获得。这正在促进使用主动学习来开发软传感器和预测模型。在生产中，通过评估未标记数据的信息内容来收集标签，而不是进行随机检查以获取产品信息。文献中已经提出了一些有关回归的查询策略框架，但大多数重点都专门用于基于静态池的场景。在这项工作中，我们为基于流的方案提出了一种新的策略，在该方案中，将实例顺序提供给学习者，该实例必须立即决定是否执行质量检查以获取标签或丢弃实例。该方法受到最佳实验设计理论的启发，决策过程的迭代方面是通过对未标记数据点的信息设定阈值来解决的。使用数值模拟和田纳西州伊士曼工艺模拟器评估所提出的方法。结果证实，选择提出的算法建议的示例可以更快地减少预测误差。

大型标记数据集的可用性是深度学习成功的关键组成部分。但是，大型数据集上的标签通常很耗时且昂贵。主动学习是一个研究领域，通过选择最重要的标签样本来解决昂贵的标签问题。基于多样性的采样算法被称为基于表示的主动学习方法的组成部分。在本文中，我们介绍了一种新的基于多样性的初始数据集选择算法，以选择有效学习环境中初始标记的最有用的样本集。自我监督的表示学习用于考虑初始数据集选择算法中样品的多样性。此外，我们提出了一种新型的主动学习查询策略，该策略使用基于多样性的基于一致性的嵌入方式采样。通过考虑基于一致性的嵌入方案中多样性的一致性信息，该方法可以在半监督的学习环境中选择更多信息的样本来标记。比较实验表明，通过利用未标记的数据的多样性，与先前的主动学习方法相比，该提出的方法在CIFAR-10和CALTECH-101数据集上取得了令人信服的结果。

As an important data selection schema, active learning emerges as the essential component when iterating an Artificial Intelligence (AI) model. It becomes even more critical given the dominance of deep neural network based models, which are composed of a large number of parameters and data hungry, in application. Despite its indispensable role for developing AI models, research on active learning is not as intensive as other research directions. In this paper, we present a review of active learning through deep active learning approaches from the following perspectives: 1) technical advancements in active learning, 2) applications of active learning in computer vision, 3) industrial systems leveraging or with potential to leverage active learning for data iteration, 4) current limitations and future research directions. We expect this paper to clarify the significance of active learning in a modern AI model manufacturing process and to bring additional research attention to active learning. By addressing data automation challenges and coping with automated machine learning systems, active learning will facilitate democratization of AI technologies by boosting model production at scale.

本文解决了在水模型部署民主化中采用了机器学习的一些挑战。第一个挑战是减少了在主动学习的帮助下减少了标签努力（因此关注数据质量），模型推断与Oracle之间的反馈循环：如在保险中，未标记的数据通常丰富，主动学习可能会成为一个重要的资产减少标签成本。为此目的，本文在研究其对合成和真实数据集的实证影响之前，阐述了各种古典主动学习方法。保险中的另一个关键挑战是模型推论中的公平问题。我们将在此主动学习框架中介绍和整合一个用于多级任务的后处理公平，以解决这两个问题。最后对不公平数据集的数值实验突出显示所提出的设置在模型精度和公平性之间存在良好的折衷。

The generalisation performance of a convolutional neural networks (CNN) is majorly predisposed by the quantity, quality, and diversity of the training images. All the training data needs to be annotated in-hand before, in many real-world applications data is easy to acquire but expensive and time-consuming to label. The goal of the Active learning for the task is to draw most informative samples from the unlabeled pool which can used for training after annotation. With total different objective, self-supervised learning which have been gaining meteoric popularity by closing the gap in performance with supervised methods on large computer vision benchmarks. self-supervised learning (SSL) these days have shown to produce low-level representations that are invariant to distortions of the input sample and can encode invariance to artificially created distortions, e.g. rotation, solarization, cropping etc. self-supervised learning (SSL) approaches rely on simpler and more scalable frameworks for learning. In this paper, we unify these two families of approaches from the angle of active learning using self-supervised learning mainfold and propose Deep Active Learning using BarlowTwins(DALBT), an active learning method for all the datasets using combination of classifier trained along with self-supervised loss framework of Barlow Twins to a setting where the model can encode the invariance of artificially created distortions, e.g. rotation, solarization, cropping etc.

机器学习（ML）为生物处理工程的发展做出了重大贡献，但其应用仍然有限，阻碍了生物过程自动化的巨大潜力。用于模型构建自动化的ML可以看作是引入另一种抽象水平的一种方式，将专家的人类集中在生物过程开发的最认知任务中。首先，概率编程用于预测模型的自动构建。其次，机器学习会通过计划实验来测试假设并进行调查以收集信息性数据来自动评估替代决策，以收集基于模型预测不确定性的模型选择的信息数据。这篇评论提供了有关生物处理开发中基于ML的自动化的全面概述。一方面，生物技术和生物工程社区应意识到现有ML解决方案在生物技术和生物制药中的应用的限制。另一方面，必须确定缺失的链接，以使ML和人工智能（AI）解决方案轻松实施在有价值的生物社区解决方案中。我们总结了几个重要的生物处理系统的ML实施，并提出了两个至关重要的挑战，这些挑战仍然是生物技术自动化的瓶颈，并减少了生物技术开发的不确定性。没有一个合适的程序；但是，这项综述应有助于确定结合生物技术和ML领域的潜在自动化。

在汽车行业中，标记数据的匮乏是典型的挑战。注释的时间序列测量需要固体域知识和深入的探索性数据分析，这意味着高标签工作。传统的主动学习（AL）通过根据估计的分类概率积极查询最有用的实例来解决此问题，并在迭代中重新审视该模型。但是，学习效率强烈依赖于初始模型，从而导致初始数据集和查询编号的大小之间的权衡。本文提出了一个新颖的几杆学习（FSL）基于AL框架，该框架通过将原型网络（Protonet）纳入AL迭代来解决权衡问题。一方面，结果表明了对初始模型的鲁棒性，另一方面，通过在每种迭代中的支持设置的主动选择方面的学习效率。该框架已在UCI HAR/HAPT数据集​​和现实世界制动操纵数据集上进行了验证。学习绩效在两个数据集上都显着超过了传统的AL算法，分别以10％和5％的标签工作实现了90％的分类精度。

Recent developments in in-situ monitoring and process control in Additive Manufacturing (AM), also known as 3D-printing, allows the collection of large amounts of emission data during the build process of the parts being manufactured. This data can be used as input into 3D and 2D representations of the 3D-printed parts. However the analysis and use, as well as the characterization of this data still remains a manual process. The aim of this paper is to propose an adaptive human-in-the-loop approach using Machine Learning techniques that automatically inspect and annotate the emissions data generated during the AM process. More specifically, this paper will look at two scenarios: firstly, using convolutional neural networks (CNNs) to automatically inspect and classify emission data collected by in-situ monitoring and secondly, applying Active Learning techniques to the developed classification model to construct a human-in-the-loop mechanism in order to accelerate the labeling process of the emission data. The CNN-based approach relies on transfer learning and fine-tuning, which makes the approach applicable to other industrial image patterns. The adaptive nature of the approach is enabled by uncertainty sampling strategy to automatic selection of samples to be presented to human experts for annotation.

大量的数据和创新算法使数据驱动的建模成为现代行业的流行技术。在各种数据驱动方法中，潜在变量模型（LVM）及其对应物占主要份额，并在许多工业建模领域中起着至关重要的作用。 LVM通常可以分为基于统计学习的经典LVM和基于神经网络的深层LVM（DLVM）。我们首先讨论经典LVM的定义，理论和应用，该定义和应用既是综合教程，又是对经典LVM的简短申请调查。然后，我们对当前主流DLVM进行了彻底的介绍，重点是其理论和模型体系结构，此后不久就提供了有关DLVM的工业应用的详细调查。上述两种类型的LVM具有明显的优势和缺点。具体而言，经典的LVM具有简洁的原理和良好的解释性，但是它们的模型能力无法解决复杂的任务。基于神经网络的DLVM具有足够的模型能力，可以在复杂的场景中实现令人满意的性能，但它以模型的解释性和效率为例。旨在结合美德并减轻这两种类型的LVM的缺点，并探索非神经网络的举止以建立深层模型，我们提出了一个新颖的概念，称为“轻量级Deep LVM（LDLVM）”。在提出了这个新想法之后，该文章首先阐述了LDLVM的动机和内涵，然后提供了两个新颖的LDLVM，并详尽地描述了其原理，建筑和优点。最后，讨论了前景和机会，包括重要的开放问题和可能的研究方向。

分类模型是物理资产管理技术的基本组成部分，如结构健康监测（SHM）系统和数字双胞胎。以前的工作介绍了\ Texit {基于风险的主动学习}，一种在线方法，用于开发考虑它们所应用的决策支持上下文的统计分类器。通过优先查询数据标签来考虑决策，根据\ Textit {完美信息的预期值}（EVPI）。虽然通过采用基于风险的主动学习方法获得了几种好处，但包括改进的决策性能，但算法遭受与引导查询过程的采样偏差有关的问题。这种采样偏差最终表现为在主动学习后的后期阶段的决策表现的下降，这又对应于丢失的资源/实用程序。目前的论文提出了两种新方法来抵消采样偏置的影响：\纺织{半监督学习}，以及\ extentit {鉴别的分类模型}。首先使用合成数据集进行这些方法，然后随后应用于实验案例研究，具体地，Z24桥数据集。半监督学习方法显示有变量性能;具有稳健性，对采样偏置依赖于对每个数据集选择模型所选择的生成分布的适用性。相反，判别分类器被证明对采样偏压的影响具有优异的鲁棒性。此外，发现在监控运动期间进行的检查数，因此可以通过仔细选择决策支持监测系统中使用的统计分类器的仔细选择来减少。

主动学习（al）试图通过标记最少的样本来最大限度地提高模型的性能增益。深度学习（DL）是贪婪的数据，需要大量的数据电源来优化大量参数，因此模型了解如何提取高质量功能。近年来，由于互联网技术的快速发展，我们处于信息种类的时代，我们有大量的数据。通过这种方式，DL引起了研究人员的强烈兴趣，并已迅速发展。与DL相比，研究人员对Al的兴趣相对较低。这主要是因为在DL的崛起之前，传统的机器学习需要相对较少的标记样品。因此，早期的Al很难反映其应得的价值。虽然DL在各个领域取得了突破，但大多数这一成功都是由于大量现有注释数据集的宣传。然而，收购大量高质量的注释数据集消耗了很多人力，这在某些领域不允许在需要高专业知识，特别是在语音识别，信息提取，医学图像等领域中， al逐渐受到适当的关注。自然理念是AL是否可用于降低样本注释的成本，同时保留DL的强大学习能力。因此，已经出现了深度主动学习（DAL）。虽然相关的研究非常丰富，但它缺乏对DAL的综合调查。本文要填补这一差距，我们为现有工作提供了正式的分类方法，以及全面和系统的概述。此外，我们还通过申请的角度分析并总结了DAL的发展。最后，我们讨论了DAL中的混乱和问题，为DAL提供了一些可能的发展方向。

This paper proposes an active learning (AL) algorithm to solve regression problems based on inverse-distance weighting functions for selecting the feature vectors to query. The algorithm has the following features: (i) supports both pool-based and population-based sampling; (ii) is not tailored to a particular class of predictors; (iii) can handle known and unknown constraints on the queryable feature vectors; and (iv) can run either sequentially, or in batch mode, depending on how often the predictor is retrained. The potentials of the method are shown in numerical tests on illustrative synthetic problems and real-world datasets. An implementation of the algorithm, which we call IDEAL (Inverse-Distance based Exploration for Active Learning), is available at http://cse.lab.imtlucca.it/~bemporad/ideal.

异常值是一个事件或观察，其被定义为不同于距群体的不规则距离的异常活动，入侵或可疑数据点。然而，异常事件的定义是主观的，取决于应用程序和域（能量，健康，无线网络等）。重要的是要尽可能仔细地检测异常事件，以避免基础设施故障，因为异常事件可能导致对基础设施的严重损坏。例如，诸如微电网的网络物理系统的攻击可以发起电压或频率不稳定性，从而损坏涉及非常昂贵的修复的智能逆变器。微电网中的不寻常活动可以是机械故障，行为在系统中发生变化，人体或仪器错误或恶意攻击。因此，由于其可变性，异常值检测（OD）是一个不断增长的研究领域。在本章中，我们讨论了使用AI技术的OD方法的进展。为此，通过多个类别引入每个OD模型的基本概念。广泛的OD方法分为六大类：基于统计，基于距离，基于密度的，基于群集的，基于学习的和合奏方法。对于每个类别，我们讨论最近最先进的方法，他们的应用领域和表演。之后，关于对未来研究方向的建议提供了关于各种技术的优缺点和挑战的简要讨论。该调查旨在指导读者更好地了解OD方法的最新进展，以便保证AI。

Active learning aims to develop label-efficient algorithms by sampling the most representative queries to be labeled by an oracle. We describe a pool-based semisupervised active learning algorithm that implicitly learns this sampling mechanism in an adversarial manner. Unlike conventional active learning algorithms, our approach is task agnostic, i.e., it does not depend on the performance of the task for which we are trying to acquire labeled data. Our method learns a latent space using a variational autoencoder (VAE) and an adversarial network trained to discriminate between unlabeled and labeled data. The minimax game between the VAE and the adversarial network is played such that while the VAE tries to trick the adversarial network into predicting that all data points are from the labeled pool, the adversarial network learns how to discriminate between dissimilarities in the latent space. We extensively evaluate our method on various image classification and semantic segmentation benchmark datasets and establish a new state of the art on CIFAR10/100, Caltech-256, ImageNet, Cityscapes, and BDD100K. Our results demonstrate that our adversarial approach learns an effective low dimensional latent space in large-scale settings and provides for a computationally efficient sampling method. 1

挖掘数据流姿势存在许多挑战，包括数据的连续和非静止性质，待处理的大量信息和限制计算资源。虽然在文献中提出了一些针对这个问题的监督解决方案，但大多数人都假定访问地面真理（以类标签的形式）是无限的，并且在更新学习系统时可以立即使用此类信息。这远非现实，因为必须考虑获取标签的基本成本。因此，需要解决流方案中实际真相要求的解决方案。在本文中，通过组合来自主动学习和自我标签的信息，提出了一种用于预算的挖水数据流的新框架。我们介绍了几种策略，可以利用智能实例选择和半监督程序，同时考虑到概念漂移的潜在存在。这种混合方法允许有效的探索和利用在现实标记预算中的流数据结构。由于我们的框架工作为包装器，因此它可以应用于不同的学习算法。实验研究，在具有各种类型的概念漂移的多样化现实数据流中进行的实验研究，证明了在处理对类标签的高度限制时拟议的策略的有用性。当一个人不能增加标签或更换低效分类器的预算时，呈现的混合方法尤其可行。我们为我们的战略提供了一套关于适用性领域的建议。

主动学习是减少训练深神经网络模型中数据量的流行方法。它的成功取决于选择有效的采集函数，该功能尚未根据其预期的信息进行排名。在不确定性抽样中，当前模型具有关于点类标签的不确定性是这种类型排名的主要标准。本文提出了一种在培训卷积神经网络（CNN）中进行不确定性采样的新方法。主要思想是使用CNN提取提取的特征表示作为培训总产品网络（SPN）的数据。由于SPN通常用于估计数据集的分布，因此它们非常适合估算类概率的任务，这些概率可以直接由标准采集函数（例如最大熵和变异比率）使用。此外，我们通过在SPN模型的帮助下通过权重增强了这些采集函数。这些权重使采集功能对数据点的可疑类标签的多样性更加敏感。我们的方法的有效性在对MNIST，时尚持续和CIFAR-10数据集的实验研究中得到了证明，我们将其与最先进的方法MC辍学和贝叶斯批次进行了比较。

在数十年中收集的数字数据，并且使用信息技术目前生产的数据是无标记的数据或数据，没有描述。未标记的数据相对容易获取，但即使使用域专家也可以标记昂贵。最近的大多数作品都集中在使用不确定性指标来解决此问题的主动学习上。尽管大多数不确定性选择策略都非常有效，但他们未能考虑到未标记的实例的信息，并且很容易查询异常值。为了解决这些挑战，我们提出了一种混合方法来计算实例的不确定性和信息性，然后使用预算注释者自动标记计算的实例。为了降低注释成本，我们采用了最先进的预培训模型，以避免查询这些模型中已包含的信息。我们对不同数据集的广泛实验证明了该方法的功效。

We study different aspects of active learning with deep neural networks in a consistent and unified way. i) We investigate incremental and cumulative training modes which specify how the newly labeled data are used for training. ii) We study active learning w.r.t. the model configurations such as the number of epochs and neurons as well as the choice of batch size. iii) We consider in detail the behavior of query strategies and their corresponding informativeness measures and accordingly propose more efficient querying procedures. iv) We perform statistical analyses, e.g., on actively learned classes and test error estimation, that reveal several insights about active learning. v) We investigate how active learning with neural networks can benefit from pseudo-labels as proxies for actual labels.

评估能源转型和能源市场自由化对资源充足性的影响是一种越来越重要和苛刻的任务。能量系统的上升复杂性需要足够的能量系统建模方法，从而提高计算要求。此外，随着复杂性，同样调用概率评估和场景分析同样增加不确定性。为了充分和高效地解决这些各种要求，需要来自数据科学领域的新方法来加速当前方法。通过我们的系统文献综述，我们希望缩小三个学科之间的差距（1）电力供应安全性评估，（2）人工智能和（3）实验设计。为此，我们对所选应用领域进行大规模的定量审查，并制作彼此不同学科的合成。在其他发现之外，我们使用基于AI的方法和应用程序的AI方法和应用来确定电力供应模型的复杂安全性的元素，并作为未充分涵盖的应用领域的储存调度和（非）可用性。我们结束了推出了一种新的方法管道，以便在评估电力供应安全评估时充分有效地解决当前和即将到来的挑战。