Random forests are a combination of tree predictors such that each tree depends on the values of a random vector sampled independently and with the same distribution for all trees in the forest. The generalization error for forests converges a.s. to a limit as the number of trees in the forest becomes large. The generalization error of a forest of tree classifiers depends on the strength of the individual trees in the forest and the correlation between them. Using a random selection of features to split each node yields error rates that compare favorably to Adaboost (Y. Freund & R. Schapire, Machine Learning: Proceedings of the Thirteenth International conference, * * * , 148-156), but are more robust with respect to noise. Internal estimates monitor error, strength, and correlation and these are used to show the response to increasing the number of features used in the splitting. Internal estimates are also used to measure variable importance. These ideas are also applicable to regression.

Bagging predictors is a method for generating multiple versions of a predictor and using these to get an aggregated predictor. The aggregation averages over the versions when predicting a numerical outcome and does a plurality vote when predicting a class. The multiple versions are formed by making bootstrap replicates of the learning set and using these as new learning sets. Tests on real and simulated data sets using classification and regression trees and subset selection in linear regression show that bagging can give substantial gains in accuracy. The vital element is the instability of the prediction method. If perturbing the learning set can cause significant changes in the predictor constructed, then bagging can improve accuracy.

This paper proposes a new tree-based ensemble method for supervised classification and regression problems. It essentially consists of randomizing strongly both attribute and cut-point choice while splitting a tree node. In the extreme case, it builds totally randomized trees whose structures are independent of the output values of the learning sample. The strength of the randomization can be tuned to problem specifics by the appropriate choice of a parameter. We evaluate the robustness of the default choice of this parameter, and we also provide insight on how to adjust it in particular situations. Besides accuracy, the main strength of the resulting algorithm is computational efficiency. A bias/variance analysis of the Extra-Trees algorithm is also provided as well as a geometrical and a kernel characterization of the models induced.

孔隙度已被识别为混凝土耐久性特性的关键指标暴露于侵略性环境。本文采用集体学习来预测含有补充水泥材料的高性能混凝土的孔隙率。本研究中使用的混凝土样品的特征在于八种组合物特征，包括W / B比，粘合剂含量，粉煤灰，GGB，过度塑化剂，粗/细骨料比，固化条件和固化天。组装数据库由240个数据记录组成，具有74个独特的混凝土混合设计。所提出的机器学习算法在从数据集中随机选择的180个观察（75％）培训，然后在剩余的60个观察中进行测试（25％）。数值实验表明，回归树集合可以精确地预测其混合组合物的混凝土的孔隙率。梯度提升树木通常在预测准确性方面优于随机森林。对于随机森林，发现基于袋出错的误差的超参数调整策略比K倍交叉验证更有效。

Function estimation/approximation is viewed from the perspective of numerical optimization in function space, rather than parameter space. A connection is made between stagewise additive expansions and steepestdescent minimization. A general gradient descent "boosting" paradigm is developed for additive expansions based on any fitting criterion. Specific algorithms are presented for least-squares, least absolute deviation, and Huber-M loss functions for regression, and multiclass logistic likelihood for classification. Special enhancements are derived for the particular case where the individual additive components are regression trees, and tools for interpreting such "TreeBoost" models are presented. Gradient boosting of regression trees produces competitive, highly robust, interpretable procedures for both regression and classification, especially appropriate for mining less than clean data. Connections between this approach and the boosting methods of Freund and Shapire and Friedman, Hastie and Tibshirani are discussed.

我们举例说明数据生成模型的示例，其中Breiman的随机森林可能极慢地收敛到最佳预测器，甚至无法保持一致。为这些属性提供的证据是基于主要是直观的论点，类似于前面使用的那些具有更简单的示例以及数值实验。虽然可以始终选择随机森林表现得非常严重的模型，但我们表明基于“变量使用”和“变量重要性”统计的简单方法通常可用于构建基于“许多武装”的更好的预测因子通过强制初始拆分获得的随机森林，该变量是算法的默认版本倾向于忽略的变量。

开发了一种使用多个辅助变量的非静止空间建模算法。它将Geodatistics与Simitile随机林结合起来，以提供一种新的插值和随机仿真算法。本文介绍了该方法，并表明它具有与施加地统计学建模和定量随机森林的那些相似的一致性结果。该方法允许嵌入更简单的插值技术，例如Kriging，以进一步调节模型。该算法通过估计每个目标位置处的目标变量的条件分布来工作。这种分布的家庭称为目标变量的包络。由此，可以获得空间估计，定量和不确定性。还开发了一种从包络产生条件模拟的算法。随着它们从信封中的样本，因此通过相对变化的次要变量，趋势和可变性的相对变化局部地影响。

树合奏方法如随机森林[Breiman，2001]非常受欢迎，以处理高维表格数据集，特别是因为它们的预测精度良好。然而，当机器学习用于决策问题时，由于开明的决策需要对算法预测过程的深入理解来实现最佳预测程序的解决可能是不合理的。不幸的是，由于他们的预测结果从平均数百个决策树的预测结果，随机森林并不是本质上可解释的。在这种所谓的黑盒算法上获得知识的经典方法是计算可变重要性，这些重点是评估每个输入变量的预测影响。然后使用可变重要性对等变量进行排名或选择变量，从而在数据分析中发挥着重要作用。然而，没有理由使用随机森林变量以这种方式：我们甚至不知道这些数量估计。在本文中，我们分析了两个众所周知的随机森林可变重大之一，平均减少杂质（MDI）。我们证明，如果输入变量是独立的并且在没有相互作用的情况下，MDI提供了输出的方差分解，其中清楚地识别了每个变量的贡献。我们还研究表现出输入变量或交互之间的依赖性的模型，其中变量重要性本质上是不明的。我们的分析表明，与一棵树相比，可能存在使用森林的一些好处。

在过去几十年中，已经提出了各种方法，用于估计回归设置中的预测间隔，包括贝叶斯方法，集合方法，直接间隔估计方法和保形预测方法。重要问题是这些方法的校准：生成的预测间隔应该具有预定义的覆盖水平，而不会过于保守。在这项工作中，我们从概念和实验的角度审查上述四类方法。结果来自各个域的基准数据集突出显示从一个数据集中的性能的大波动。这些观察可能归因于违反某些类别的某些方法所固有的某些假设。我们说明了如何将共形预测用作提供不具有校准步骤的方法的方法的一般校准程序。

Many scientific and engineering challenges-ranging from personalized medicine to customized marketing recommendations-require an understanding of treatment effect heterogeneity. In this paper, we develop a non-parametric causal forest for estimating heterogeneous treatment effects that extends Breiman's widely used random forest algorithm. In the potential outcomes framework with unconfoundedness, we show that causal forests are pointwise consistent for the true treatment effect, and have an asymptotically Gaussian and centered sampling distribution. We also discuss a practical method for constructing asymptotic confidence intervals for the true treatment effect that are centered at the causal forest estimates. Our theoretical results rely on a generic Gaussian theory for a large family of random forest algorithms. To our knowledge, this is the first set of results that allows any type of random forest, including classification and regression forests, to be used for provably valid statistical inference. In experiments, we find causal forests to be substantially more powerful than classical methods based on nearest-neighbor matching, especially in the presence of irrelevant covariates.

可变重要性措施是分析随机林的黑盒机制的主要工具。虽然平均值降低精度（MDA）被广泛接受作为随机森林最有效的可变重要性措施，但对其统计特性知之甚少。实际上，确切的MDA定义在主随机林软件上变化。在本文中，我们的目标是严格分析主要MDA实施的行为。因此，我们在数学上正式地形化各种实施的MDA算法，然后在样本量增加时建立限制。特别是，我们在三个组件中分解了这些限制：第一个与Sobol指数有关，这是对响应方差的协变度贡献的明确定义措施，广泛应用于敏感性分析领域，而不是TheThird术语，谁的价值随着协变量的依赖而增加。因此，我们理论上证明了MDA在协变者依赖时，MDA不会瞄准正确的数量，这是实验发现的事实。为了解决这个问题，我们为随机林，Sobol-MDA定义了一个新的重要性测量，它修复了原始MDA的缺陷。我们证明了Sobol-MDA的一致性，并表明Sobol-MDA在模拟和实际数据上经验胜过其竞争对手。 R和C ++中的开源实现可在线获取。

分类器的合奏结合了几个单个分类器，以提供最终的预测或分类决策。一个越来越令人发指的问题是，此类系统是否可以胜过单个最佳分类器。如果是这样，哪种形式的分类器合奏（也称为多个分类器学习系统或多个分类器）在合奏本身的规模或多样性中产生最重要的好处？鉴于用于检测自闭症特征的测试是耗时且昂贵的，因此开发了一种将提供最佳结果和测量自闭症谱系障碍（ASD）的系统。在本文中，评估了几个单一和后来的多个分类器学习系统，以预测和确定影响或有助于ASD的因素出于早期筛查目的的能力。行为数据和机器人增强疗法的3,000次课程和300小时的数据集，该疗法被记录为61名儿童。仿真结果表明，与单个分类器相比，多个分类器学习系统（尤其是每个集合具有三个分类器的人）的优越预测性能，可以通过装袋和增强获得出色的结果。看来，社会交流手势仍然是儿童ASD问题的关键因素。

Variable and feature selection have become the focus of much research in areas of application for which datasets with tens or hundreds of thousands of variables are available. These areas include text processing of internet documents, gene expression array analysis, and combinatorial chemistry. The objective of variable selection is three-fold: improving the prediction performance of the predictors, providing faster and more cost-effective predictors, and providing a better understanding of the underlying process that generated the data. The contributions of this special issue cover a wide range of aspects of such problems: providing a better definition of the objective function, feature construction, feature ranking, multivariate feature selection, efficient search methods, and feature validity assessment methods.

这篇综述的目的是将读者介绍到图表内，以将其应用于化学信息学中的分类问题。图内核是使我们能够推断分子的化学特性的功能，可以帮助您完成诸如寻找适合药物设计的化合物等任务。内核方法的使用只是一种特殊的两种方式量化了图之间的相似性。我们将讨论限制在这种方法上，尽管近年来已经出现了流行的替代方法，但最著名的是图形神经网络。

捕获基于协变量的多变量响应载体之间的条件协方差或相关性对于包括神经科学，流行病学和生物医学在内的各个领域很重要。我们提出了一种新方法，称为随机森林（covregrf），以使用随机森林框架估算一个多变量响应的协方差矩阵。随机林木的建造具有专门设计的分裂规则，以最大化儿童节点的样本协方差矩阵估计值之间的差异。我们还提出了对协变量子集的部分效应的显着性检验。我们通过一项模拟研究评估了提出的方法和显着性测试的性能，该研究表明该方法提供了准确的协方差矩阵估计值，并且Type-1误差得到了很好的控制。我们还证明了该方法与甲状腺疾病数据集的应用。

决策森林（森林），尤其是随机森林和梯度促进树木，与许多监督学习场景中的其他方法相比，已经证明了最先进的准确性。尤其是，森林在表格数据中占主导地位，即当特征空间非结构化时，因此信号是特征指数置换的不变性。然而，在存在于多种多样（例如图像，文本和语音）深网（网络）（特别是卷积深网（Convnets））上的结构化数据中，倾向于优于森林。我们猜想至少部分原因是网络的输入不仅仅是特征幅度，也是其索引。相反，天真的森林实施未能明确考虑特征指数。最近提出的森林方法表明，对于每个节点，森林从某些特定分布中隐式采样一个随机矩阵。这些森林像某些类别的网络一样，通过将特征空间划分为对应于线性函数的凸多物体来学习。我们以这种方法为基础，并表明人们可以以多种感知方式选择分布来纳入特征区域。我们在数据上活在三个不同的流形上的数据上证明了经验性能：圆环，图像和时间序列。此外，我们证明了其在多元模拟环境中的强度，并且在预测癫痫患者的手术结果方面也表现出了优越性，并从非运动脑区域的原始立体定向EEG数据中预测运动方向。在所有模拟和真实数据中，歧管随机森林（MORF）算法的表现优于忽略特征空间结构并挑战Convnets的性能。此外，MORF运行迅速，并保持解释性和理论上的理由。

天然气管道中的泄漏检测是石油和天然气行业的一个重要且持续的问题。这尤其重要，因为管道是运输天然气的最常见方法。这项研究旨在研究数据驱动的智能模型使用基本操作参数检测天然气管道的小泄漏的能力，然后使用现有的性能指标比较智能模型。该项目应用观察者设计技术，使用回归分类层次模型来检测天然气管道中的泄漏，其中智能模型充当回归器，并且修改后的逻辑回归模型充当分类器。该项目使用四个星期的管道数据流研究了五个智能模型（梯度提升，决策树，随机森林，支持向量机和人工神经网络）。结果表明，虽然支持向量机和人工神经网络比其他网络更好，但由于其内部复杂性和所使用的数据量，它们并未提供最佳的泄漏检测结果。随机森林和决策树模型是最敏感的，因为它们可以在大约2小时内检测到标称流量的0.1％的泄漏。所有智能模型在测试阶段中具有高可靠性，错误警报率为零。将所有智能模型泄漏检测的平均时间与文献中的实时短暂模型进行了比较。结果表明，智能模型在泄漏检测问题中的表现相对较好。该结果表明，可以与实时瞬态模型一起使用智能模型，以显着改善泄漏检测结果。

Many different machine learning algorithms exist; taking into account each algorithm's hyperparameters, there is a staggeringly large number of possible alternatives overall. We consider the problem of simultaneously selecting a learning algorithm and setting its hyperparameters, going beyond previous work that addresses these issues in isolation. We show that this problem can be addressed by a fully automated approach, leveraging recent innovations in Bayesian optimization. Specifically, we consider a wide range of feature selection techniques (combining 3 search and 8 evaluator methods) and all classification approaches implemented in WEKA, spanning 2 ensemble methods, 10 meta-methods, 27 base classifiers, and hyperparameter settings for each classifier. On each of 21 popular datasets from the UCI repository, the KDD Cup 09, variants of the MNIST dataset and CIFAR-10, we show classification performance often much better than using standard selection/hyperparameter optimization methods. We hope that our approach will help non-expert users to more effectively identify machine learning algorithms and hyperparameter settings appropriate to their applications, and hence to achieve improved performance.

交叉验证是一种广泛使用的技术来估计预测误差，但其行为很复杂且不完全理解。理想情况下，人们想认为，交叉验证估计手头模型的预测错误，适合训练数据。我们证明，普通最小二乘拟合的线性模型并非如此。相反，它估计模型的平均预测误差适合于同一人群提取的其他看不见的训练集。我们进一步表明，这种现象发生在大多数流行的预测误差估计中，包括数据拆分，自举和锦葵的CP。接下来，从交叉验证得出的预测误差的标准置信区间可能的覆盖范围远低于所需水平。由于每个数据点都用于训练和测试，因此每个折叠的测量精度之间存在相关性，因此方差的通常估计值太小。我们引入了嵌套的交叉验证方案，以更准确地估计该方差，并从经验上表明，在传统的交叉验证间隔失败的许多示例中，这种修改导致间隔大致正确覆盖。

本文开发了新型的保形方法，以测试是否从与参考集相同的分布中采样了新的观察结果。以创新的方式将感应性和偏置的共形推断融合，所描述的方法可以以原则性的方式基于已知的分布式数据的依赖侧信息重新权重标准p值，并且可以自动利用最强大的优势来自任何一级和二进制分类器的模型。该解决方案可以通过样品分裂或通过新颖的转置交叉验证+方案来实现，该方案与现有的交叉验证方法相比，由于更严格的保证，这也可能在共形推理的其他应用中有用。在研究错误的发现率控制和在具有几个可能的离群值的多个测试框架内的虚假发现率控制和功率之后，提出的解决方案被证明通过模拟以及用于图像识别和表格数据的应用超过了标准的共形P值。