Database research can help machine learning performance in many ways. One way is to design better data structures. This paper combines the use of incremental computation and sequential and probabilistic filtering to enable "forgetful" tree-based learning algorithms to cope with concept drift data (i.e., data whose function from input to classification changes over time). The forgetful algorithms described in this paper achieve high time performance while maintaining high quality predictions on streaming data. Specifically, the algorithms are up to 24 times faster than state-of-the-art incremental algorithms with at most a 2% loss of accuracy, or at least twice faster without any loss of accuracy. This makes such structures suitable for high volume streaming applications.

监督的学习算法通常假设有足够的内存能够在培训和测试阶段存储其数据模型。但是，在物联网中，当数据以无限数据流的形式出现或将学习算法部署在具有减少内存量的设备上时，此假设是不现实的。在本文中，我们将在线蒙德里安森林分类算法调整以在数据流上的内存约束。特别是，我们设计了五种失调策略，以在达到内存限制时使用新数据点更新蒙德里安树。此外，我们设计了修剪机制，使蒙德里亚树在记忆约束下概念更加坚固。我们在各种真实和模拟数据集上评估了算法，并以有关它们在不同情况下使用的建议得出的结论：扩展节点策略在所有配置中都是最佳的设备外策略，而应采用不同的修剪机制取决于是否期望概念漂移。我们所有的方法均在ORPAILLECC开源库中实现，并准备在嵌入式系统和连接的对象上使用。

Concept drift primarily refers to an online supervised learning scenario when the relation between the input data and the target variable changes over time. Assuming a general knowledge of supervised learning in this paper we characterize adaptive learning process, categorize existing strategies for handling concept drift, overview the most representative, distinct and popular techniques and algorithms, discuss evaluation methodology of adaptive algorithms, and present a set of illustrative applications. The survey covers the different facets of concept drift in an integrated way to reflect on the existing scattered state-of-the-art. Thus, it aims at providing a comprehensive introduction to the concept drift adaptation for researchers, industry analysts and practitioners.

Concept drift describes unforeseeable changes in the underlying distribution of streaming data over time. Concept drift research involves the development of methodologies and techniques for drift detection, understanding and adaptation. Data analysis has revealed that machine learning in a concept drift environment will result in poor learning results if the drift is not addressed. To help researchers identify which research topics are significant and how to apply related techniques in data analysis tasks, it is necessary that a high quality, instructive review of current research developments and trends in the concept drift field is conducted. In addition, due to the rapid development of concept drift in recent years, the methodologies of learning under concept drift have become noticeably systematic, unveiling a framework which has not been mentioned in literature. This paper reviews over 130 high quality publications in concept drift related research areas, analyzes up-to-date developments in methodologies and techniques, and establishes a framework of learning under concept drift including three main components: concept drift detection, concept drift understanding, and concept drift adaptation. This paper lists and discusses 10 popular synthetic datasets and 14 publicly available benchmark datasets used for evaluating the performance of learning algorithms aiming at handling concept drift. Also, concept drift related research directions are covered and discussed. By providing state-of-the-art knowledge, this survey will directly support researchers in their understanding of research developments in the field of learning under concept drift.

在线学习算法已成为机器学习工具箱中的无处不在的工具，并且经常用于小资源约束环境。在最成功的在线学习方法中，是决策树（DT）合奏。 DT集合提供出色的性能，同时适应数据的变化，但它们不是资源高效。增量树学习者将新节点添加到树中，但从不删除旧的节点随着时间的推移增加内存消耗。另一方面，基于梯度的树学习需要计算整个树上的渐变，这对于甚至是适度尺寸的树木而成本。在本文中，我们提出了一种新的记忆有效的在线分类集合，称为资源约束系统。我们的算法在小窗户上培训到中型决策树，并使用随机近端梯度下降来学习这些`灌木的合奏重量。我们对我们的算法提供了一个理论分析，并包括对在线环境中的方法的行为进行了广泛的讨论。在12个不同的数据集中的一系列2〜959实验中，我们将我们的方法与8种最先进的方法进行比较。我们的灌木合奏即使只有很少的内存都有良好的性能也可以保留出色的性能。我们展示SE在12例中提供了更好的准确性记忆权衡，同时具有比大多数其他方法的统计学显着更好的性能。我们的实现是在https://github.com/sbuschjaeger/se-online下获得的。

近年来，随着传感器和智能设备的广泛传播，物联网（IoT）系统的数据生成速度已大大增加。在物联网系统中，必须经常处理，转换和分析大量数据，以实现各种物联网服务和功能。机器学习（ML）方法已显示出其物联网数据分析的能力。但是，将ML模型应用于物联网数据分析任务仍然面临许多困难和挑战，特别是有效的模型选择，设计/调整和更新，这给经验丰富的数据科学家带来了巨大的需求。此外，物联网数据的动态性质可能引入概念漂移问题，从而导致模型性能降解。为了减少人类的努力，自动化机器学习（AUTOML）已成为一个流行的领域，旨在自动选择，构建，调整和更新机器学习模型，以在指定任务上实现最佳性能。在本文中，我们对Automl区域中模型选择，调整和更新过程中的现有方法进行了审查，以识别和总结将ML算法应用于IoT数据分析的每个步骤的最佳解决方案。为了证明我们的发现并帮助工业用户和研究人员更好地实施汽车方法，在这项工作中提出了将汽车应用于IoT异常检测问题的案例研究。最后，我们讨论并分类了该领域的挑战和研究方向。

决策树学习是机器学习中广泛使用的方法，在需要简洁明了的模型的应用中受到青睐。传统上，启发式方法用于快速生产具有相当高准确性的模型。然而，一个普遍的批评是，从精度和大小方面，所产生的树可能不一定是数据的最佳表示。近年来，这激发了最佳分类树算法的发展，这些算法与执行一系列本地最佳决策的启发式方法相比，在全球范围内优化决策树。我们遵循这一工作线，并提供了一种基于动态编程和搜索的最佳分类树的新颖算法。我们的算法支持对树的深度和节点数量的约束。我们方法的成功归因于一系列专门技术，这些技术利用了分类树独有的属性。传统上，最佳分类树的算法受到了高运行时的困扰和有限的可伸缩性，但我们在一项详细的实验研究中表明，我们的方法仅使用最先进的时间所需的时间，并且可以处理数十个数据集的数据集在数千个实例中，提供了几个数量级的改进，并特别有助于实现最佳决策树的实现。

本文调查了股票回购，特别是分享回购公告。它解决了如何识别此类公告，股票回购的超额回报以及股票回购公告后的回报的预测。我们说明了两种NLP方法，用于自动检测股票回购公告。即使有少量的培训数据，我们也可以达到高达90％的准确性。该论文利用这些NLP方法生成一个由57,155个股票回购公告组成的大数据集。通过分析该数据集，本论文的目的是表明大多数宣布回购的公司的大多数公司都表现不佳。但是，少数公司的表现极大地超过了MSCI世界。当查看所有公司的平均值时，这种重要的表现过高会导致净收益。如果根据公司的规模调整了基准指数，则平均表现过高，并且大多数表现不佳。但是，发现宣布股票回购的公司至少占其市值的1％，即使使用调整后的基准，也平均交付了显着的表现。还发现，在危机时期宣布股票回购的公司比整个市场更好。此外，生成的数据集用于训练72个机器学习模型。通过此，它能够找到许多可以达到高达77％并产生大量超额回报的策略。可以在六个不同的时间范围内改善各种性能指标，并确定明显的表现。这是通过训练多个模型的不同任务和时间范围以及结合这些不同模型的方法来实现的，从而通过融合弱学习者来产生重大改进，以创造一个强大的学习者。

Decision forests, including random forests and gradient boosting trees, remain the leading machine learning methods for many real-world data problems, specifically on tabular data. However, current standard implementations only operate in batch mode, and therefore cannot incrementally update when more data arrive. Several previous works developed streaming trees and ensembles to overcome this limitation. Nonetheless, we found that those state-of-the-art algorithms suffer from a number of drawbacks, including poor performance on some problems and high memory usage on others. We therefore developed the simplest possible extension of decision trees we could think of: given new data, simply update existing trees by continuing to grow them, and replace some old trees with new ones to control the total number of trees. On three standard datasets, we illustrate that our approach, Stream Decision Forest (SDF), does not suffer from either of the aforementioned limitations. In a benchmark suite containing 72 classification problems (the OpenML-CC18 data suite), we illustrate that our approach often performs as well, and sometimes better even, than the batch mode decision forest algorithm. Thus, SDFs establish a simple standard for streaming trees and forests that could readily be applied to many real-world problems, including those with distribution drift and continual learning.

通常，机器学习应用程序必须应对动态环境，其中数据以潜在无限长度和瞬态行为的连续数据流的形式收集。与传统（批量）数据挖掘相比，流处理算法对计算资源和对数据演进的适应性具有额外要求。它们必须逐步处理实例，因为数据的连续流量禁止存储多次通过的数据。合奏学习在这种情况下取​​得了显着的预测性能。实现为一组（几个）个别分类器，合奏是自然可用于任务并行性的。但是，用于捕获概念漂移的增量学习和动态数据结构增加了缓存未命中并阻碍了并行性的好处。本文提出了一种迷你批处理策略，可以改善多核环境中用于流挖掘的多个集合算法的内存访问局部性和性能。借助正式框架，我们证明迷你批量可以显着降低重用距离（以及缓存未命中的数量）。在六种不同的最先进的集合算法上应用四个基准数据集的六种不同特性的实验显示了8个核心处理器上高达5倍的加速。这些效益牺牲了预测性能的少量减少。

我们将聚类的距离转移到决策树的构建过程中，并因此扩展了经典的ID3算法，以根据树与地面真理的全球距离进行修改，而不是考虑单一叶子。接下来，我们将这个想法与原始版本相比，并讨论发生的问题，还要讨论全球方法的优势。在此基础上，我们通过确定全球评估值得的其他方案来结束。

Automated Machine Learning (AutoML) has been used successfully in settings where the learning task is assumed to be static. In many real-world scenarios, however, the data distribution will evolve over time, and it is yet to be shown whether AutoML techniques can effectively design online pipelines in dynamic environments. This study aims to automate pipeline design for online learning while continuously adapting to data drift. For this purpose, we design an adaptive Online Automated Machine Learning (OAML) system, searching the complete pipeline configuration space of online learners, including preprocessing algorithms and ensembling techniques. This system combines the inherent adaptation capabilities of online learners with the fast automated pipeline (re)optimization capabilities of AutoML. Focusing on optimization techniques that can adapt to evolving objectives, we evaluate asynchronous genetic programming and asynchronous successive halving to optimize these pipelines continually. We experiment on real and artificial data streams with varying types of concept drift to test the performance and adaptation capabilities of the proposed system. The results confirm the utility of OAML over popular online learning algorithms and underscore the benefits of continuous pipeline redesign in the presence of data drift.

We develop the first fully dynamic algorithm that maintains a decision tree over an arbitrary sequence of insertions and deletions of labeled examples. Given $\epsilon > 0$ our algorithm guarantees that, at every point in time, every node of the decision tree uses a split with Gini gain within an additive $\epsilon$ of the optimum. For real-valued features the algorithm has an amortized running time per insertion/deletion of $O\big(\frac{d \log^3 n}{\epsilon^2}\big)$, which improves to $O\big(\frac{d \log^2 n}{\epsilon}\big)$ for binary or categorical features, while it uses space $O(n d)$, where $n$ is the maximum number of examples at any point in time and $d$ is the number of features. Our algorithm is nearly optimal, as we show that any algorithm with similar guarantees uses amortized running time $\Omega(d)$ and space $\tilde{\Omega} (n d)$. We complement our theoretical results with an extensive experimental evaluation on real-world data, showing the effectiveness of our algorithm.

在整个宇宙学模拟中，初始条件中的物质密度场的性质对今天形成的结构的特征具有决定性的影响。在本文中，我们使用随机森林分类算法来推断暗物质颗粒是否追溯到初始条件，最终将在肿块上高于一些阈值的暗物质卤素。该问题可能被构成为二进制分类任务，其中物质密度字段的初始条件映射到由光环发现者程序提供的分类标签。我们的研究结果表明，随机森林是有效的工具，无法在不运行完整过程的情况下预测宇宙学模拟的输出。在将来可能使用这些技术来降低计算时间并更有效地探索不同暗物质/暗能候选对宇宙结构的形成的影响。

分类链是一种用于在多标签分类中建模标签依赖性的有效技术。但是，该方法需要标签的固定静态顺序。虽然理论上，任何顺序都足够了，实际上，该订单对最终预测的质量具有大量影响。动态分类链表示每个实例对分类的想法，可以动态选择预测标签的顺序。这种方法的天真实现的复杂性是禁止的，因为它需要训练一系列分类器，以满足标签的每种可能置换。为了有效地解决这个问题，我们提出了一种基于随机决策树的新方法，该方法可以动态地选择每个预测的标签排序。我们凭经验展示了下一个标签的动态选择，通过在否则不变的随机决策树模型下使用静态排序。 ％和实验环境。此外，我们还展示了基于极端梯度提升树的替代方法，其允许更具目标的动态分级链训练。我们的结果表明，该变体优于随机决策树和其他基于树的多标签分类方法。更重要的是，动态选择策略允许大大加速培训和预测。

在此上下文中研究了用于安全性的机器。存在几种垃圾邮件检测方法，每个垃圾邮件检测方法采用不同的算法来检测不期望的垃圾邮件。但这些模型容易受到攻击。许多攻击者通过以各种方式污染到模型的数据来利用模型。因此，在这种情况下，在这种情况下表现得可能需要在不需要再培训的情况下容易地解除污染数据。在大多数情况下，在大多数情况下，Retringing在过去已经训练到模型的大量数据，这需要再次训练，只需删除少量污染数据，这通常明显小于1％。通过开发所有垃圾邮件检测模型的未读框架可以解决这个问题。在本研究中，无线学习模块集成到基于天真贝叶斯，决策树和随机林算法的垃圾邮件检测模型中。为了评估未经读回的未经读取的好处，通过攻击者的职位和证明模型的漏洞，污染和利用了三种垃圾邮件检测模型。每种情况都显示了准确性和真正阳性率的降低，显示出污染对模型的影响。然后，未经读取的模块集成到模型中，并且污染数据是未解决的;在无线学习后测试模型，可以看到恢复性能。此外，对所有模型的不同污染数据尺寸进行了比较无线学习和再培训时间。在分析调查结果时，可以得出结论，无线学习与再培训相当优于。结果表明，无光，易于实施，易于实施，易于使用，有效。

流数据分类的重要问题之一是概念漂移的发生，包括分类任务的概率特征的变化。这种现象不稳定了分类模型的性能，并严重降低了其质量。需要抵消这种现象的适当策略来使分类器适应变化的概率特征。实现此类解决方案的一个重要问题是访问数据标签。它通常是昂贵的，从而最大限度地减少与该过程相关的费用，提出了基于半监督学习的学习策略，例如，采用主动学习方法，该方法指示哪些传入对象是有价值的，以便标记为提高分类器的性能。本文提出了一种基于基于分类器集合学习的非静止数据流的基于块的方法，以及考虑可以成功应用于任何数据流分类算法的有限预算的主动学习策略。已经通过使用真实和生成的数据流进行了计算机实验来评估所提出的方法。结果证实了最先进的方法的高质量。

决策树的集合被称为随机森林。如Breiman所提出的，不稳定学习者的实力和它们之间的多样性是集合模型的核心力量。在本文中，我们提出了两种用于生成双随机森林的合奏方法。在第一种方法中，我们提出了一种基于双随机森林的旋转组合。在基于旋转的双随机林，在每个节点处产生特征空间的转换或旋转。在每个节点上选择不同随机特征子空间进行评估，因此每个节点处的变换是不同的。不同的转变导致基本学习者之间更好的多样性，因此，更好的泛化性能。随着双随机森林作为基础学习者，每个节点的数据通过两个不同的变换转换，即主成分分析和线性判别分析。在第二种方法中，我们提出了双随机森林的倾斜组合。在随机林和双随机森林中的决策树是单变量的，这导致轴并行分裂的产生，这不能捕获数据的几何结构。此外，标准随机森林可能不会产生足够大的决策树，从而导致次优的性能。为了捕获几何属性并生长足够深度的决策树，我们提出了双随机森林的倾斜集合。双随机森林模型的倾斜集合是多元决策树。在每个非叶节点上，多面近端支持向量机产生最佳平面以获得更好的泛化性能。此外，不同的正则化技术（Tikhonov正则化和轴并行分裂正则化）用于解决双随机林的倾斜组合决策树中的小样本大小问题。

合奏学习在机器学习方面取得了成功，比其他学习方法具有重大优势。袋装是一种突出的合奏学习方法，它创建了被称为袋子的数据子组，该数据被单独的机器学习方法（例如决策树）培训。随机森林是学习过程中具有其他功能的袋装的重要例子。 \ textColor {black} {当单个学习者具有较高的偏见时，包装的限制是汇总预测中的高偏置（模型不足）。}进化算法已突出用于优化问题，并且也用于机器学习。进化算法是无梯度的方法，具有多种候选解决方案，可维持创建新解决方案的多样性。在传统的包装合奏学习中，制作了一次袋子，而在培训示例方面，内容是在学习过程中固定的。在我们的论文中，我们提出了进化装袋的合奏学习，我们利用进化算法来发展袋子的内容，以通过迭代袋中提供多样性来增强合奏。结果表明，在某些约束下，我们的进化合奏装袋方法优于几个基准数据集的常规合奏方法（包装和随机森林）。进化装袋可以固有地维持一套不同的行李，而无需牺牲任何数据。

稀疏决策树优化是AI自成立以来的最基本问题之一，并且是可解释机器学习核心的挑战。稀疏的决策树优化是计算地的艰难，尽管自1960年代以来稳定的努力，但在过去几年中才突破问题，主要是在找到最佳稀疏决策树的问题上。然而，目前最先进的算法通常需要不切实际的计算时间和内存，以找到一些真实世界数据集的最佳或近最优树，特别是那些具有多个连续值的那些。鉴于这些决策树优化问题的搜索空间是大规模的，我们可以实际上希望找到一个稀疏的决策树，用黑盒机学习模型的准确性竞争吗？我们通过智能猜测策略来解决这个问题，可以应用于基于任何最优分支和绑定的决策树算法。我们表明，通过使用这些猜测，我们可以通过多个数量级来减少运行时间，同时提供所得树木可以偏离黑匣子的准确性和表现力的界限。我们的方法可以猜测如何在最佳决策树错误的持续功能，树的大小和下限上进行换算。我们的实验表明，在许多情况下，我们可以迅速构建符合黑匣子型号精度的稀疏决策树。总结：当您在优化时遇到困难时，就猜测。