部署的机器学习模型面临着随着时间的流逝而改变数据的问题，这一现象也称为概念漂移。尽管现有的概念漂移检测方法已经显示出令人信服的结果，但它们需要真正的标签作为成功漂移检测的先决条件。尤其是在许多实际应用程序场景中，这种工作真实标签中涵盖的情况很少，而且它们的收购价格昂贵。因此，我们引入了一种用于漂移检测，不确定性漂移检测（UDD）的新算法，该算法能够检测到漂移而无需访问真正的标签。我们的方法基于深层神经网络与蒙特卡洛辍学的不确定性估计。通过将ADWIN技术应用于不确定性估计值，并检测到漂移触发预测模型的重新验证，可以检测到随时间变化的结构变化。与基于输入数据的漂移检测相反，我们的方法考虑了当前输入数据对预测模型属性的影响，而不是仅检测输入数据的变化（这可能导致不必要的重新培训）。我们表明，UDD在两个合成和十个现实世界数据集的回归和分类任务方面优于其他最先进的策略。

Concept drift primarily refers to an online supervised learning scenario when the relation between the input data and the target variable changes over time. Assuming a general knowledge of supervised learning in this paper we characterize adaptive learning process, categorize existing strategies for handling concept drift, overview the most representative, distinct and popular techniques and algorithms, discuss evaluation methodology of adaptive algorithms, and present a set of illustrative applications. The survey covers the different facets of concept drift in an integrated way to reflect on the existing scattered state-of-the-art. Thus, it aims at providing a comprehensive introduction to the concept drift adaptation for researchers, industry analysts and practitioners.

Concept drift describes unforeseeable changes in the underlying distribution of streaming data over time. Concept drift research involves the development of methodologies and techniques for drift detection, understanding and adaptation. Data analysis has revealed that machine learning in a concept drift environment will result in poor learning results if the drift is not addressed. To help researchers identify which research topics are significant and how to apply related techniques in data analysis tasks, it is necessary that a high quality, instructive review of current research developments and trends in the concept drift field is conducted. In addition, due to the rapid development of concept drift in recent years, the methodologies of learning under concept drift have become noticeably systematic, unveiling a framework which has not been mentioned in literature. This paper reviews over 130 high quality publications in concept drift related research areas, analyzes up-to-date developments in methodologies and techniques, and establishes a framework of learning under concept drift including three main components: concept drift detection, concept drift understanding, and concept drift adaptation. This paper lists and discusses 10 popular synthetic datasets and 14 publicly available benchmark datasets used for evaluating the performance of learning algorithms aiming at handling concept drift. Also, concept drift related research directions are covered and discussed. By providing state-of-the-art knowledge, this survey will directly support researchers in their understanding of research developments in the field of learning under concept drift.

流数据分类的重要问题之一是概念漂移的发生，包括分类任务的概率特征的变化。这种现象不稳定了分类模型的性能，并严重降低了其质量。需要抵消这种现象的适当策略来使分类器适应变化的概率特征。实现此类解决方案的一个重要问题是访问数据标签。它通常是昂贵的，从而最大限度地减少与该过程相关的费用，提出了基于半监督学习的学习策略，例如，采用主动学习方法，该方法指示哪些传入对象是有价值的，以便标记为提高分类器的性能。本文提出了一种基于基于分类器集合学习的非静止数据流的基于块的方法，以及考虑可以成功应用于任何数据流分类算法的有限预算的主动学习策略。已经通过使用真实和生成的数据流进行了计算机实验来评估所提出的方法。结果证实了最先进的方法的高质量。

挖掘数据流姿势存在许多挑战，包括数据的连续和非静止性质，待处理的大量信息和限制计算资源。虽然在文献中提出了一些针对这个问题的监督解决方案，但大多数人都假定访问地面真理（以类标签的形式）是无限的，并且在更新学习系统时可以立即使用此类信息。这远非现实，因为必须考虑获取标签的基本成本。因此，需要解决流方案中实际真相要求的解决方案。在本文中，通过组合来自主动学习和自我标签的信息，提出了一种用于预算的挖水数据流的新框架。我们介绍了几种策略，可以利用智能实例选择和半监督程序，同时考虑到概念漂移的潜在存在。这种混合方法允许有效的探索和利用在现实标记预算中的流数据结构。由于我们的框架工作为包装器，因此它可以应用于不同的学习算法。实验研究，在具有各种类型的概念漂移的多样化现实数据流中进行的实验研究，证明了在处理对类标签的高度限制时拟议的策略的有用性。当一个人不能增加标签或更换低效分类器的预算时，呈现的混合方法尤其可行。我们为我们的战略提供了一套关于适用性领域的建议。

近年来，随着传感器和智能设备的广泛传播，物联网（IoT）系统的数据生成速度已大大增加。在物联网系统中，必须经常处理，转换和分析大量数据，以实现各种物联网服务和功能。机器学习（ML）方法已显示出其物联网数据分析的能力。但是，将ML模型应用于物联网数据分析任务仍然面临许多困难和挑战，特别是有效的模型选择，设计/调整和更新，这给经验丰富的数据科学家带来了巨大的需求。此外，物联网数据的动态性质可能引入概念漂移问题，从而导致模型性能降解。为了减少人类的努力，自动化机器学习（AUTOML）已成为一个流行的领域，旨在自动选择，构建，调整和更新机器学习模型，以在指定任务上实现最佳性能。在本文中，我们对Automl区域中模型选择，调整和更新过程中的现有方法进行了审查，以识别和总结将ML算法应用于IoT数据分析的每个步骤的最佳解决方案。为了证明我们的发现并帮助工业用户和研究人员更好地实施汽车方法，在这项工作中提出了将汽车应用于IoT异常检测问题的案例研究。最后，我们讨论并分类了该领域的挑战和研究方向。

随着复杂的机器学习模型越来越多地用于银行，交易或信用评分等敏感应用中，对可靠的解释机制的需求越来越不断增长。局部特征归因方法已成为事后和模型不足的解释的流行技术。但是，归因方法通常假设一个固定环境，其中预测模型已经受过训练并保持稳定。结果，通常不清楚本地归因在现实，不断发展的设置（例如流和在线应用程序）中的行为。在本文中，我们讨论了时间变化对本地特征归因的影响。特别是，我们表明，每次更新预测模型或概念漂移都会改变数据生成分布时，本地归因都会变得过时。因此，数据流中的局部特征归因只有在结合一种机制结合使用的机制时才能提供高解释性功能，该机制使我们能够随着时间的推移检测和响应局部变化。为此，我们介绍了Cdleeds，这是一个灵活而模型的不合理框架，用于检测局部变化和概念漂移。 CDEREDS是基于归因的解释技术的直观扩展，以识别过时的局部归因并实现更多针对性的重新计算。在实验中，我们还表明，所提出的框架可以可靠地检测到本地和全球概念漂移。因此，我们的工作在在线机器学习中有助于更有意义，更强大的解释性。

Automated Machine Learning (AutoML) has been used successfully in settings where the learning task is assumed to be static. In many real-world scenarios, however, the data distribution will evolve over time, and it is yet to be shown whether AutoML techniques can effectively design online pipelines in dynamic environments. This study aims to automate pipeline design for online learning while continuously adapting to data drift. For this purpose, we design an adaptive Online Automated Machine Learning (OAML) system, searching the complete pipeline configuration space of online learners, including preprocessing algorithms and ensembling techniques. This system combines the inherent adaptation capabilities of online learners with the fast automated pipeline (re)optimization capabilities of AutoML. Focusing on optimization techniques that can adapt to evolving objectives, we evaluate asynchronous genetic programming and asynchronous successive halving to optimize these pipelines continually. We experiment on real and artificial data streams with varying types of concept drift to test the performance and adaptation capabilities of the proposed system. The results confirm the utility of OAML over popular online learning algorithms and underscore the benefits of continuous pipeline redesign in the presence of data drift.

基于培训数据的各种统计特性，对基于统计数据（ML）技术概括或学习的基于统计数据。基础统计数据的假设导致理论或经验性能担保是培训数据的分布代表了生产数据分布。这个假设经常破裂;例如，数据的统计分布可能会改变。我们术语改变会影响ML性能“数据漂移”或“漂移”。许多分类技术对其结果计算了信心的衡量标准。该措施可能不会反映实际的ML表现。一个着名的例子是熊猫图片，正确地归类为距离约60 \％，但是当添加噪音时，它被错误地被归类为长臂猿，置信度高于99 \％。但是，我们在此报告的工作表明，分类器的置信度量可用于检测数据漂移的目的。我们提出了一种完全基于分类器建议标签的方法及其对其的信心，用于警告可能导致数据漂移的数据分布或功能空间变化。我们的方法标识在模型性能下劣化，并且不需要在生产中标记通常缺乏或延迟的生产中的数据。我们的三种不同数据集和分类器的实验证明了这种方法在检测数据漂移方面的有效性。这特别令人鼓舞，因为分类本身可能是或可能不正确，并且不需要模型输入数据。我们进一步探索了顺序变化点测试的统计方法，以便自动确定要识别漂移的数据量，同时控制误率（类型-1错误）。

缺少值被广泛称为文献中的\ textit {sparsity}，是许多现实世界数据集的共同特征。已经提出了许多插补方法来解决这个数据不完整或稀疏性问题。但是，对于给定功能或数据集中的一组功能，数据插补方法的准确性高度取决于特征值的分布及其与其他功能的相关性。困扰机器学习（ML）解决方案行业部署（ML）解决方案的另一个问题是概念漂移检测，在缺少价值观的情况下，这变得更具挑战性。尽管已经对数据插补和概念漂移检测进行了广泛的研究，但很少有工作尝试合并研究两种现象，即在存在稀疏性的情况下，概念漂移检测。在这项工作中，我们进行了以下系统研究：（i）缺失值的不同模式，（ii）各种稀疏性的各种基于统计和ML的数据插补方法，（iii）几种概念漂移检测方法，（（ iv）对各种漂移检测指标的实际分析，（v）根据基于不同指标的数据集选择最佳概念漂移检测器。我们首先将其分析在合成数据和公开可用数据集上，并最终将发现扩展到我们已部署的自动变更风险评估系统的解决方案。我们实证研究的主要发现之一是所有相关指标中任何一个概念漂移检测方法的至高无上。因此，我们采用基于多数投票的概念漂移探测器的集合来突然和逐渐概念漂移。我们的实验表明，对于所有指标，可以实现这种合奏方法的最佳或接近最佳性能。

近年来，在线增量学习中兴趣增长。然而，这方面存在三个主要挑战。第一个主要困难是概念漂移，即流数据中的概率分布会随着数据到达而改变。第二个重大困难是灾难性的遗忘，即忘记在学习新知识之前学到的东西。我们经常忽略的最后一个是学习潜在的代表。只有良好的潜在表示可以提高模型的预测准确性。我们的研究在此观察中建立并试图克服这些困难。为此，我们提出了一种适应性在线增量学习，用于不断发展数据流（AOL）。我们使用带内存模块的自动编码器，一方面，我们获得了输入的潜在功能，另一方面，根据自动编码器的重建丢失与内存模块，我们可以成功检测存在的存在概念漂移并触发更新机制，调整模型参数及时。此外，我们划分从隐藏层的激活导出的特征，分为两个部分，用于分别提取公共和私有特征。通过这种方法，该模型可以了解新的即将到来的实例的私有功能，但不要忘记我们在过去（共享功能）中学到的内容，这减少了灾难性遗忘的发生。同时，要获取融合特征向量，我们使用自我关注机制来有效地融合提取的特征，这进一步改善了潜在的代表学习。

The literature on machine learning in the context of data streams is vast and growing. However, many of the defining assumptions regarding data-stream learning tasks are too strong to hold in practice, or are even contradictory such that they cannot be met in the contexts of supervised learning. Algorithms are chosen and designed based on criteria which are often not clearly stated, for problem settings not clearly defined, tested in unrealistic settings, and/or in isolation from related approaches in the wider literature. This puts into question the potential for real-world impact of many approaches conceived in such contexts, and risks propagating a misguided research focus. We propose to tackle these issues by reformulating the fundamental definitions and settings of supervised data-stream learning with regard to contemporary considerations of concept drift and temporal dependence; and we take a fresh look at what constitutes a supervised data-stream learning task, and a reconsideration of algorithms that may be applied to tackle such tasks. Through and in reflection of this formulation and overview, helped by an informal survey of industrial players dealing with real-world data streams, we provide recommendations. Our main emphasis is that learning from data streams does not impose a single-pass or online-learning approach, or any particular learning regime; and any constraints on memory and time are not specific to streaming. Meanwhile, there exist established techniques for dealing with temporal dependence and concept drift, in other areas of the literature. For the data streams community, we thus encourage a shift in research focus, from dealing with often-artificial constraints and assumptions on the learning mode, to issues such as robustness, privacy, and interpretability which are increasingly relevant to learning in data streams in academic and industrial settings.

在工业环境中越来越越来越多地部署，如事物互联网（IOT）设备和网络物理系统（CPS）正在使制造域中的机器学习（ML）算法的生产使用。随着ML应用从研究超越真实工业环境中的高效，所以发生了可靠性问题。由于大多数ML型号在静态数据集上培训和评估，因此需要连续在线监测其性能来构建可靠的系统。此外，概念和传感器漂移可以随着时间的推移导致算法的准确性降低，从而损害了安全性，接受和经济学，如果未被发现，无法正确解决。在这项工作中，我们示例性地突出了在36个月的课程中记录的公开工业数据集的问题的严重性，并解释了可能的漂移来源。我们评估了制造和展示中常用的ML算法的稳健性，并且随着所有测试算法的越来越高，精度强烈地下降。我们进一步调查了如何利用不确定性估计来用于在线性能估计以及漂移检测作为朝着不断学习应用程序的第一步。结果表明，与随机森林等集合算法表现出漂移下的置信度校准的最小衰减。

机器学习（ML）为生物处理工程的发展做出了重大贡献，但其应用仍然有限，阻碍了生物过程自动化的巨大潜力。用于模型构建自动化的ML可以看作是引入另一种抽象水平的一种方式，将专家的人类集中在生物过程开发的最认知任务中。首先，概率编程用于预测模型的自动构建。其次，机器学习会通过计划实验来测试假设并进行调查以收集信息性数据来自动评估替代决策，以收集基于模型预测不确定性的模型选择的信息数据。这篇评论提供了有关生物处理开发中基于ML的自动化的全面概述。一方面，生物技术和生物工程社区应意识到现有ML解决方案在生物技术和生物制药中的应用的限制。另一方面，必须确定缺失的链接，以使ML和人工智能（AI）解决方案轻松实施在有价值的生物社区解决方案中。我们总结了几个重要的生物处理系统的ML实施，并提出了两个至关重要的挑战，这些挑战仍然是生物技术自动化的瓶颈，并减少了生物技术开发的不确定性。没有一个合适的程序；但是，这项综述应有助于确定结合生物技术和ML领域的潜在自动化。

我们研究了回归中神经网络（NNS）的模型不确定性的方法。为了隔离模型不确定性的效果，我们专注于稀缺训练数据的无噪声环境。我们介绍了关于任何方法都应满足的模型不确定性的五个重要的逃亡者。但是，我们发现，建立的基准通常无法可靠地捕获其中一些逃避者，即使是贝叶斯理论要求的基准。为了解决这个问题，我们介绍了一种新方法来捕获NNS的模型不确定性，我们称之为基于神经优化的模型不确定性（NOMU）。 NOMU的主要思想是设计一个由两个连接的子NN组成的网络体系结构，一个用于模型预测，一个用于模型不确定性，并使用精心设计的损耗函数进行训练。重要的是，我们的设计执行NOMU满足我们的五个Desiderata。由于其模块化体系结构，NOMU可以为任何给定（先前训练）NN提供模型不确定性，如果访问其培训数据。我们在各种回归任务和无嘈杂的贝叶斯优化（BO）中评估NOMU，并具有昂贵的评估。在回归中，NOMU至少和最先进的方法。在BO中，Nomu甚至胜过所有考虑的基准。

The notion of concept drift refers to the phenomenon that the distribution generating the observed data changes over time. If drift is present, machine learning models may become inaccurate and need adjustment. Many technologies for learning with drift rely on the interleaved test-train error (ITTE) as a quantity which approximates the model generalization error and triggers drift detection and model updates. In this work, we investigate in how far this procedure is mathematically justified. More precisely, we relate a change of the ITTE to the presence of real drift, i.e., a changed posterior, and to a change of the training result under the assumption of optimality. We support our theoretical findings by empirical evidence for several learning algorithms, models, and datasets.

背景信息：在过去几年中，机器学习（ML）一直是许多创新的核心。然而，包括在所谓的“安全关键”系统中，例如汽车或航空的系统已经被证明是非常具有挑战性的，因为ML的范式转变为ML带来完全改变传统认证方法。目的：本文旨在阐明与ML为基础的安全关键系统认证有关的挑战，以及文献中提出的解决方案，以解决它们，回答问题的问题如何证明基于机器学习的安全关键系统？'方法：我们开展2015年至2020年至2020年之间发布的研究论文的系统文献综述（SLR），涵盖了与ML系统认证有关的主题。总共确定了217篇论文涵盖了主题，被认为是ML认证的主要支柱：鲁棒性，不确定性，解释性，验证，安全强化学习和直接认证。我们分析了每个子场的主要趋势和问题，并提取了提取的论文的总结。结果：单反结果突出了社区对该主题的热情，以及在数据集和模型类型方面缺乏多样性。它还强调需要进一步发展学术界和行业之间的联系，以加深域名研究。最后，它还说明了必须在上面提到的主要支柱之间建立连接的必要性，这些主要柱主要主要研究。结论：我们强调了目前部署的努力，以实现ML基于ML的软件系统，并讨论了一些未来的研究方向。

超参数优化构成了典型的现代机器学习工作流程的很大一部分。这是由于这样一个事实，即机器学习方法和相应的预处理步骤通常只有在正确调整超参数时就会产生最佳性能。但是在许多应用中，我们不仅有兴趣仅仅为了预测精度而优化ML管道；确定最佳配置时，必须考虑其他指标或约束，从而导致多目标优化问题。由于缺乏知识和用于多目标超参数优化的知识和容易获得的软件实现，因此通常在实践中被忽略。在这项工作中，我们向读者介绍了多个客观超参数优化的基础知识，并激励其在应用ML中的实用性。此外，我们从进化算法和贝叶斯优化的领域提供了现有优化策略的广泛调查。我们说明了MOO在几个特定ML应用中的实用性，考虑了诸如操作条件，预测时间，稀疏，公平，可解释性和鲁棒性之类的目标。

数十年来，计算机系统持有大量个人数据。一方面，这种数据丰度允许在人工智能（AI），尤其是机器学习（ML）模型中突破。另一方面，它可能威胁用户的隐私并削弱人类与人工智能之间的信任。最近的法规要求，可以从一般情况下从计算机系统中删除有关用户的私人信息，特别是根据要求从ML模型中删除（例如，“被遗忘的权利”）。虽然从后端数据库中删除数据应该很简单，但在AI上下文中，它不够，因为ML模型经常“记住”旧数据。现有的对抗攻击证明，我们可以从训练有素的模型中学习私人会员或培训数据的属性。这种现象要求采用新的范式，即机器学习，以使ML模型忘记了特定的数据。事实证明，由于缺乏共同的框架和资源，最近在机器上学习的工作无法完全解决问题。在本调查文件中，我们试图在其定义，场景，机制和应用中对机器进行彻底的研究。具体而言，作为最先进的研究的类别集合，我们希望为那些寻求机器未学习的入门及其各种表述，设计要求，删除请求，算法和用途的人提供广泛的参考。 ML申请。此外，我们希望概述范式中的关键发现和趋势，并突出显示尚未看到机器无法使用的新研究领域，但仍可以受益匪浅。我们希望这项调查为ML研究人员以及寻求创新隐私技术的研究人员提供宝贵的参考。我们的资源是在https://github.com/tamlhp/awesome-machine-unlearning上。

Uncertainty quantification (UQ) has increasing importance in building robust high-performance and generalizable materials property prediction models. It can also be used in active learning to train better models by focusing on getting new training data from uncertain regions. There are several categories of UQ methods each considering different types of uncertainty sources. Here we conduct a comprehensive evaluation on the UQ methods for graph neural network based materials property prediction and evaluate how they truly reflect the uncertainty that we want in error bound estimation or active learning. Our experimental results over four crystal materials datasets (including formation energy, adsorption energy, total energy, and band gap properties) show that the popular ensemble methods for uncertainty estimation is NOT the best choice for UQ in materials property prediction. For the convenience of the community, all the source code and data sets can be accessed freely at \url{https://github.com/usccolumbia/materialsUQ}.