In this paper, we strengthen the previous weak consistency proof method of random forest variants into a strong consistency proof method, and strengthen the data-driven degree of RF variants, so as to obtain better theoretical properties and experimental performance. In addition, we also propose a data-driven multinomial random forest (DMRF) based on the multinomial random forest (MRF), which meets the strong consistency and has lower complexity than MRF, and the effect is equal to or better than MRF. As far as we know, DMRF algorithm is a variant of RF with low algorithm complexity and excellent performance.

决策树（DT）由于其在众多应用中令人印象深刻的经验表现和解释性而引起了持续的研究注意。但是，传统但广泛使用的单变量决策树（UDTS）的增长非常耗时，因为它们需要穿越所有功能，以找到分裂值，并在每个内部节点处最大程度地减少杂质。在本文中，我们新设计一个分裂标准，以加快增长。该标准是从几何平均度量学习（GMML）诱导的，然后在其对角度公制矩阵约束下进行了优化，因此，可以立即获得特征判别能力的封闭形式等级，并且在每个节点上都可以在每个节点上获得最高的1个特征意图DT（称为DGMML-DT，其中D是对角度化的缩写）。我们评估了提出的方法的性能及其在基准数据集上的相应集合。该实验表明，与10倍平均加速的UDT相比，DGMML-DT获得可比或更好的分类结果。此外，DGMML-DT可以直接扩展到其多变量对应物（DGMML-MDT），而无需费力的操作。

This paper proposes a new tree-based ensemble method for supervised classification and regression problems. It essentially consists of randomizing strongly both attribute and cut-point choice while splitting a tree node. In the extreme case, it builds totally randomized trees whose structures are independent of the output values of the learning sample. The strength of the randomization can be tuned to problem specifics by the appropriate choice of a parameter. We evaluate the robustness of the default choice of this parameter, and we also provide insight on how to adjust it in particular situations. Besides accuracy, the main strength of the resulting algorithm is computational efficiency. A bias/variance analysis of the Extra-Trees algorithm is also provided as well as a geometrical and a kernel characterization of the models induced.

决策森林（森林），尤其是随机森林和梯度促进树木，与许多监督学习场景中的其他方法相比，已经证明了最先进的准确性。尤其是，森林在表格数据中占主导地位，即当特征空间非结构化时，因此信号是特征指数置换的不变性。然而，在存在于多种多样（例如图像，文本和语音）深网（网络）（特别是卷积深网（Convnets））上的结构化数据中，倾向于优于森林。我们猜想至少部分原因是网络的输入不仅仅是特征幅度，也是其索引。相反，天真的森林实施未能明确考虑特征指数。最近提出的森林方法表明，对于每个节点，森林从某些特定分布中隐式采样一个随机矩阵。这些森林像某些类别的网络一样，通过将特征空间划分为对应于线性函数的凸多物体来学习。我们以这种方法为基础，并表明人们可以以多种感知方式选择分布来纳入特征区域。我们在数据上活在三个不同的流形上的数据上证明了经验性能：圆环，图像和时间序列。此外，我们证明了其在多元模拟环境中的强度，并且在预测癫痫患者的手术结果方面也表现出了优越性，并从非运动脑区域的原始立体定向EEG数据中预测运动方向。在所有模拟和真实数据中，歧管随机森林（MORF）算法的表现优于忽略特征空间结构并挑战Convnets的性能。此外，MORF运行迅速，并保持解释性和理论上的理由。

树合奏方法如随机森林[Breiman，2001]非常受欢迎，以处理高维表格数据集，特别是因为它们的预测精度良好。然而，当机器学习用于决策问题时，由于开明的决策需要对算法预测过程的深入理解来实现最佳预测程序的解决可能是不合理的。不幸的是，由于他们的预测结果从平均数百个决策树的预测结果，随机森林并不是本质上可解释的。在这种所谓的黑盒算法上获得知识的经典方法是计算可变重要性，这些重点是评估每个输入变量的预测影响。然后使用可变重要性对等变量进行排名或选择变量，从而在数据分析中发挥着重要作用。然而，没有理由使用随机森林变量以这种方式：我们甚至不知道这些数量估计。在本文中，我们分析了两个众所周知的随机森林可变重大之一，平均减少杂质（MDI）。我们证明，如果输入变量是独立的并且在没有相互作用的情况下，MDI提供了输出的方差分解，其中清楚地识别了每个变量的贡献。我们还研究表现出输入变量或交互之间的依赖性的模型，其中变量重要性本质上是不明的。我们的分析表明，与一棵树相比，可能存在使用森林的一些好处。

决策树的集合被称为随机森林。如Breiman所提出的，不稳定学习者的实力和它们之间的多样性是集合模型的核心力量。在本文中，我们提出了两种用于生成双随机森林的合奏方法。在第一种方法中，我们提出了一种基于双随机森林的旋转组合。在基于旋转的双随机林，在每个节点处产生特征空间的转换或旋转。在每个节点上选择不同随机特征子空间进行评估，因此每个节点处的变换是不同的。不同的转变导致基本学习者之间更好的多样性，因此，更好的泛化性能。随着双随机森林作为基础学习者，每个节点的数据通过两个不同的变换转换，即主成分分析和线性判别分析。在第二种方法中，我们提出了双随机森林的倾斜组合。在随机林和双随机森林中的决策树是单变量的，这导致轴并行分裂的产生，这不能捕获数据的几何结构。此外，标准随机森林可能不会产生足够大的决策树，从而导致次优的性能。为了捕获几何属性并生长足够深度的决策树，我们提出了双随机森林的倾斜集合。双随机森林模型的倾斜集合是多元决策树。在每个非叶节点上，多面近端支持向量机产生最佳平面以获得更好的泛化性能。此外，不同的正则化技术（Tikhonov正则化和轴并行分裂正则化）用于解决双随机林的倾斜组合决策树中的小样本大小问题。

黑盒机器学习模型被批评为缺乏可解释性，尽管它们往往具有良好的预测准确性。知识蒸馏（KD）是一种新兴工具，可以通过将知识提炼成透明模型来解释黑框模型。具有众所周知的解释优势，决策树是透明模型的竞争候选者。但是，对KD过程产生的决策树的理论或经验理解是有限的。在本文中，我们将这种决策树命名为蒸馏决策树（DDT），并为树结构稳定性的理论基础奠定了决定DDT解释的有效性的理论基础。我们证明，在某些温和的假设下，DDT的结构可以实现稳定（收敛性）。同时，我们开发了用于稳定DDT诱导的算法，提出了提高算法的计算效率的并行策略，并引入了一种边缘主体组件分析方法来克服采样中维度的诅咒。模拟和真实的数据研究证明了我们的理论结果，验证算法的疗效，并证明DDT可以在模型的预测准确性和可解释性之间取得良好的平衡。

为了解释任何模型的决定，我们延长了概率充分解释（P-SE）的概念。对于每个实例，该方法选择足以产生具有高概率的相同预测的最小特征子集，同时删除其他特征。 P-SE的关键是计算保持相同预测的条件概率。因此，我们通过随机林为任何数据$（\ boldsymbol {x}，y）$，并通过理论分析来介绍这种概率的准确和快速估计器，并通过理论分析来展示其一致性的理论分析。结果，我们将P-SE扩展到回归问题。此外，我们处理非二进制特征，而无需学习$ x $的分发，也不会使模型进行预测。最后，我们基于P-SE介绍基于数分的回归/分类的解释，并比较我们的方法W.R.T其他可解释的AI方法。这些方法是公开可用作\ url {www.github.com/salimamoukou/acv00}的python包。

随机森林（RFS）是机器学习中最先进的，并且具有近零参数调整的优异性能。值得注意的是，即使他们的基本构建块被众所周知，RFS似乎不受限制地过度装修。最近，广泛接受的研究认为，RF呈现所谓的双下降曲线：首先，模型将数据过于U形曲线中的数据，然后，一旦达到某种模型复杂性，它就突然改善了其性能。在本文中，我们挑战模型能力是解释RF成功的正确工具的概念，并争辩说该模型的算法比以前认为更重要的作用。我们表明RF没有表现出双重曲线，而是单个下降。因此，在经典意义上没有过度装备。我们进一步提出了RF变化，尽管其决策边界近似于过度啮合的DT。类似，我们表明，近似于RF的决策边界的DT仍将过度装备。最后，我们研究了整体的多样性作为估计其性能的工具。为此，我们引入负相关森林（NClest），允许精确控制集合中的多样性。我们表明，多样性和偏差确实对RF的性能产生了至关重要的影响。具有太小的多样性将RF的性能坍塌到一棵树中，而具有太多的多样性意味着大多数树木不会再产生正确的输出。然而，在这两个极端之间，我们发现了大量不同的权衡，具有大致相等的性能。因此，只要算法达到这种良好的权衡制度，偏差和多样性之间的特定权衡并不重要。

Bootstrap aggregating (Bagging) and boosting are two popular ensemble learning approaches, which combine multiple base learners to generate a composite model for more accurate and more reliable performance. They have been widely used in biology, engineering, healthcare, etc. This paper proposes BoostForest, which is an ensemble learning approach using BoostTree as base learners and can be used for both classification and regression. BoostTree constructs a tree model by gradient boosting. It increases the randomness (diversity) by drawing the cut-points randomly at node splitting. BoostForest further increases the randomness by bootstrapping the training data in constructing different BoostTrees. BoostForest generally outperformed four classical ensemble learning approaches (Random Forest, Extra-Trees, XGBoost and LightGBM) on 35 classification and regression datasets. Remarkably, BoostForest tunes its parameters by simply sampling them randomly from a parameter pool, which can be easily specified, and its ensemble learning framework can also be used to combine many other base learners.

开发了一种使用多个辅助变量的非静止空间建模算法。它将Geodatistics与Simitile随机林结合起来，以提供一种新的插值和随机仿真算法。本文介绍了该方法，并表明它具有与施加地统计学建模和定量随机森林的那些相似的一致性结果。该方法允许嵌入更简单的插值技术，例如Kriging，以进一步调节模型。该算法通过估计每个目标位置处的目标变量的条件分布来工作。这种分布的家庭称为目标变量的包络。由此，可以获得空间估计，定量和不确定性。还开发了一种从包络产生条件模拟的算法。随着它们从信封中的样本，因此通过相对变化的次要变量，趋势和可变性的相对变化局部地影响。

在大多数运动中，尤其是足球运动，大多数教练和分析师都使用符号分析搜索关键绩效指标。该方法利用了基于视频录像和目标得分的数值记录的事件的统计摘要。不幸的是，由于技术的持续进化增加，这种方法现在已经过时了，从而简化了通过机器学习（ML）对更复杂的过程变量的分析。机器学习是一种人工智能（AI）的一种形式，它使用算法来检测有意义的模式并根据位置数据定义结构。这项研究调查了一种新方法，以建立机器学习模型来评估当前足球运动员的价值，以调查玩家的各种特征，球员的工资和球员的市场价值之间的关系。该项目使用的足球运动员的数据来自多个足球网站。足球运动员薪水的数据将是评估球员价值的代理，其他功能将用于建立和训练ML模型，以预测球员的合适薪水。动机是探索足球运动员的不同特征与薪水之间有什么关系 - 每个功能如何影响其薪水，或者哪些最重要的特征影响了工资？尽管许多标准可以反映足球运动员的价值，但球员的薪水是最直观，最关键的指数之一，因此本研究将使用球员的工资作为评估其价值的代理。此外，球员的许多功能都会影响足球运动员的估值，但是球员的价值主要由三种类型的因素决定：基本特征，球场表现以及俱乐部的成就。

分类链是一种用于在多标签分类中建模标签依赖性的有效技术。但是，该方法需要标签的固定静态顺序。虽然理论上，任何顺序都足够了，实际上，该订单对最终预测的质量具有大量影响。动态分类链表示每个实例对分类的想法，可以动态选择预测标签的顺序。这种方法的天真实现的复杂性是禁止的，因为它需要训练一系列分类器，以满足标签的每种可能置换。为了有效地解决这个问题，我们提出了一种基于随机决策树的新方法，该方法可以动态地选择每个预测的标签排序。我们凭经验展示了下一个标签的动态选择，通过在否则不变的随机决策树模型下使用静态排序。 ％和实验环境。此外，我们还展示了基于极端梯度提升树的替代方法，其允许更具目标的动态分级链训练。我们的结果表明，该变体优于随机决策树和其他基于树的多标签分类方法。更重要的是，动态选择策略允许大大加速培训和预测。

尽管对连续数据的归一流流进行了广泛的研究，但直到最近才探索了离散数据的流量。然而，这些先前的模型遭受了与连续流的局限性。最值得注意的是，由于离散函数的梯度不确定或零，因此不能直接优化基于流动的模型。先前的作品近似离散功能的伪级，但不能在基本层面上解决该问题。除此之外，与替代离散算法（例如决策树算法）相比，反向传播可能是计算繁重的。我们的方法旨在减轻计算负担，并通过基于决策树开发离散流程来消除对伪级的需求，这是基于有效的基于树的基于有效的树的方法进行分类和回归的离散数据。我们首先定义了树结构化置换（TSP），该置换量（TSP）紧凑地编码离散数据的排列，其中逆向易于计算；因此，我们可以有效地计算密度值并采样新数据。然后，我们提出了一种决策树算法来构建TSP，该TSP通过新标准在每个节点上学习树结构和排列。我们从经验上证明了我们在多个数据集上方法的可行性。

Many scientific and engineering challenges-ranging from personalized medicine to customized marketing recommendations-require an understanding of treatment effect heterogeneity. In this paper, we develop a non-parametric causal forest for estimating heterogeneous treatment effects that extends Breiman's widely used random forest algorithm. In the potential outcomes framework with unconfoundedness, we show that causal forests are pointwise consistent for the true treatment effect, and have an asymptotically Gaussian and centered sampling distribution. We also discuss a practical method for constructing asymptotic confidence intervals for the true treatment effect that are centered at the causal forest estimates. Our theoretical results rely on a generic Gaussian theory for a large family of random forest algorithms. To our knowledge, this is the first set of results that allows any type of random forest, including classification and regression forests, to be used for provably valid statistical inference. In experiments, we find causal forests to be substantially more powerful than classical methods based on nearest-neighbor matching, especially in the presence of irrelevant covariates.

Random forests are a combination of tree predictors such that each tree depends on the values of a random vector sampled independently and with the same distribution for all trees in the forest. The generalization error for forests converges a.s. to a limit as the number of trees in the forest becomes large. The generalization error of a forest of tree classifiers depends on the strength of the individual trees in the forest and the correlation between them. Using a random selection of features to split each node yields error rates that compare favorably to Adaboost (Y. Freund & R. Schapire, Machine Learning: Proceedings of the Thirteenth International conference, * * * , 148-156), but are more robust with respect to noise. Internal estimates monitor error, strength, and correlation and these are used to show the response to increasing the number of features used in the splitting. Internal estimates are also used to measure variable importance. These ideas are also applicable to regression.

决策树是机器学习工具箱中最有用和最受欢迎的方法之一。在本文中，我们考虑了学习最佳决策树的问题，这是一个组合优化问题，该问题具有挑战性。文献中的一种常见方法是使用贪婪的启发式方法，这可能不是最佳的。最近，人们对使用各种方法（例如，基于整数编程，动态编程）学习最佳决策树已经引起了重大兴趣 - 为了实现计算可伸缩性，这些方法中的大多数都集中在具有二进制功能的分类任务上。在本文中，我们提出了一种基于分支机构（BNB）的新离散优化方法，以获得最佳决策树。与现有的定制方法不同，我们考虑具有连续功能的回归和分类任务。我们方法基础的基本思想是基于特征分布的分位数来拆分搜索空间 - 导致沿BNB迭代的基础优化问题的上限和下限。与现有的各种真实数据集中的浅最佳树相比，我们提出的算法Quant-BNB显示出显着的加速。

估计变量的重要性是现代机器学习的重要任务。这有助于评估给定模型中功能的优点。在过去的十年中，已经开发了几种估计变量重要性的技术。在本文中，我们提出了对可变重要性估计的新兴方法的计算和理论探索，即：绝对收缩和选择操作员（LASSO），支持向量机（SVM），预测误差函数（Perf），随机森林（随机森林）（ RF）和极端梯度提升（XGBOOST）在不同类型的现实生活和模拟数据上进行了测试。所有这些方法都可以无缝处理回归和分类任务，但是在处理包含丢失值的数据时都失败了。该实现表明，在高度相关数据的情况下，PURD具有最佳性能，紧随其后的是RF。 perf和xgboost是“渴望数据”的方法，它们在小数据尺寸上的性能最差，但在执行时间方面它们是最快的。当数据集中许多冗余功能时，SVM是最合适的。 perf的盈余是其自然截止量的零截止，有助于将正面和负分数分开，所有正分数表明基本和重要的特征，而负面分数表示无用的特征。 RF和Lasso的通用性非常多，尽管它们没有给予最佳效果，但它们几乎可以在所有情况下使用。

Random forests are some of the most widely used machine learning models today, especially in domains that necessitate interpretability. We present an algorithm that accelerates the training of random forests and other popular tree-based learning methods. At the core of our algorithm is a novel node-splitting subroutine, dubbed MABSplit, used to efficiently find split points when constructing decision trees. Our algorithm borrows techniques from the multi-armed bandit literature to judiciously determine how to allocate samples and computational power across candidate split points. We provide theoretical guarantees that MABSplit improves the sample complexity of each node split from linear to logarithmic in the number of data points. In some settings, MABSplit leads to 100x faster training (an 99% reduction in training time) without any decrease in generalization performance. We demonstrate similar speedups when MABSplit is used across a variety of forest-based variants, such as Extremely Random Forests and Random Patches. We also show our algorithm can be used in both classification and regression tasks. Finally, we show that MABSplit outperforms existing methods in generalization performance and feature importance calculations under a fixed computational budget. All of our experimental results are reproducible via a one-line script at https://github.com/ThrunGroup/FastForest.

In recent years there has been growing attention to interpretable machine learning models which can give explanatory insights on their behavior. Thanks to their interpretability, decision trees have been intensively studied for classification tasks, and due to the remarkable advances in mixed-integer programming (MIP), various approaches have been proposed to formulate the problem of training an Optimal Classification Tree (OCT) as a MIP model. We present a novel mixed-integer quadratic formulation for the OCT problem, which exploits the generalization capabilities of Support Vector Machines for binary classification. Our model, denoted as Margin Optimal Classification Tree (MARGOT), encompasses the use of maximum margin multivariate hyperplanes nested in a binary tree structure. To enhance the interpretability of our approach, we analyse two alternative versions of MARGOT, which include feature selection constraints inducing local sparsity of the hyperplanes. First, MARGOT has been tested on non-linearly separable synthetic datasets in 2-dimensional feature space to provide a graphical representation of the maximum margin approach. Finally, the proposed models have been tested on benchmark datasets from the UCI repository. The MARGOT formulation turns out to be easier to solve than other OCT approaches, and the generated tree better generalizes on new observations. The two interpretable versions are effective in selecting the most relevant features and maintaining good prediction quality.