通过替换嵌入式弱学习者以强有力（ER）的一个来修改标准梯度提升，我们提出锡尔博：符号回归的提升。超过98个回归数据集的实验表明，通过将少量的增强阶段（在2--5之间）添加到符号回归器中，通常可以实现统计学上显着的改进。我们注意到，在任何符号回归器之上的编码锡尔布都很简单，而增加的成本只是更多的进化回合。锡尔博本质上是一个简单的附加组件，可以很容易地添加到现存的符号回归器中，通常会带有有益的结果。

我们提供了三种基于二进制和多项式数据集的基于进化符号回归的分类算法：GpleArnClf，CartesianClf和Clasyco。测试了超过162个数据集，并与三种最先进的机器学习算法进行了比较 - XGBOOST，LIGHTGBM和一个深神经网络 - 我们发现我们的算法具有竞争力。此外，我们通过使用最先进的超参数优化器来演示如何自动找到数据集的最佳方法。

大多数机器学习算法由一个或多个超参数配置，必须仔细选择并且通常会影响性能。为避免耗时和不可递销的手动试验和错误过程来查找性能良好的超参数配置，可以采用各种自动超参数优化（HPO）方法，例如，基于监督机器学习的重新采样误差估计。本文介绍了HPO后，本文审查了重要的HPO方法，如网格或随机搜索，进化算法，贝叶斯优化，超带和赛车。它给出了关于进行HPO的重要选择的实用建议，包括HPO算法本身，性能评估，如何将HPO与ML管道，运行时改进和并行化结合起来。这项工作伴随着附录，其中包含关于R和Python的特定软件包的信息，以及用于特定学习算法的信息和推荐的超参数搜索空间。我们还提供笔记本电脑，这些笔记本展示了这项工作的概念作为补充文件。

An approach to evolutionary ensemble learning for classification is proposed in which boosting is used to construct a stack of programs. Each application of boosting identifies a single champion and a residual dataset, i.e. the training records that thus far were not correctly classified. The next program is only trained against the residual, with the process iterating until some maximum ensemble size or no further residual remains. Training against a residual dataset actively reduces the cost of training. Deploying the ensemble as a stack also means that only one classifier might be necessary to make a prediction, so improving interpretability. Benchmarking studies are conducted to illustrate competitiveness with the prediction accuracy of current state-of-the-art evolutionary ensemble learning algorithms, while providing solutions that are orders of magnitude simpler. Further benchmarking with a high cardinality dataset indicates that the proposed method is also more accurate and efficient than XGBoost.

Bootstrap aggregating (Bagging) and boosting are two popular ensemble learning approaches, which combine multiple base learners to generate a composite model for more accurate and more reliable performance. They have been widely used in biology, engineering, healthcare, etc. This paper proposes BoostForest, which is an ensemble learning approach using BoostTree as base learners and can be used for both classification and regression. BoostTree constructs a tree model by gradient boosting. It increases the randomness (diversity) by drawing the cut-points randomly at node splitting. BoostForest further increases the randomness by bootstrapping the training data in constructing different BoostTrees. BoostForest generally outperformed four classical ensemble learning approaches (Random Forest, Extra-Trees, XGBoost and LightGBM) on 35 classification and regression datasets. Remarkably, BoostForest tunes its parameters by simply sampling them randomly from a parameter pool, which can be easily specified, and its ensemble learning framework can also be used to combine many other base learners.

解决现实数据科学问题的一个关键元素正在选择要使用的模型类型。通常建议使用表格数据的分类和回归问题的树集合模型（如XGBoost）。然而，最近已经提出了几种用于表格数据的深层学习模型，声称对某些用例倾斜XGBoost。本文探讨了这些深度模型是否应该是通过严格将新的深层模型与各种数据集上的XGBoost进行比较来推荐的表格数据。除了系统地比较他们的性能外，我们还考虑他们所需要的调谐和计算。我们的研究表明，XGBoost在数据集中优于这些深度模型，包括提出深层模型的论文中使用的数据集。我们还证明XGBoost需要更少的调整。在积极的一面，我们表明，深层模型和XGBoost的集合在这些数据集上仅仅比XGBoost更好。

合奏学习在机器学习方面取得了成功，比其他学习方法具有重大优势。袋装是一种突出的合奏学习方法，它创建了被称为袋子的数据子组，该数据被单独的机器学习方法（例如决策树）培训。随机森林是学习过程中具有其他功能的袋装的重要例子。 \ textColor {black} {当单个学习者具有较高的偏见时，包装的限制是汇总预测中的高偏置（模型不足）。}进化算法已突出用于优化问题，并且也用于机器学习。进化算法是无梯度的方法，具有多种候选解决方案，可维持创建新解决方案的多样性。在传统的包装合奏学习中，制作了一次袋子，而在培训示例方面，内容是在学习过程中固定的。在我们的论文中，我们提出了进化装袋的合奏学习，我们利用进化算法来发展袋子的内容，以通过迭代袋中提供多样性来增强合奏。结果表明，在某些约束下，我们的进化合奏装袋方法优于几个基准数据集的常规合奏方法（包装和随机森林）。进化装袋可以固有地维持一套不同的行李，而无需牺牲任何数据。

班级失衡对机器学习构成了重大挑战，因为大多数监督学习模型可能对多数级别和少数族裔表现不佳表现出偏见。成本敏感的学习通过以不同的方式处理类别，通常通过用户定义的固定错误分类成本矩阵来解决此问题，以提供给学习者的输入。这种参数调整是一项具有挑战性的任务，需要域知识，此外，错误的调整可能会导致整体预测性能恶化。在这项工作中，我们为不平衡数据提出了一种新颖的成本敏感方法，该方法可以动态地调整错误分类的成本，以响应Model的性能，而不是使用固定的错误分类成本矩阵。我们的方法称为ADACC，是无参数的，因为它依赖于增强模型的累积行为，以便调整下一次增强回合的错误分类成本，并具有有关培训错误的理论保证。来自不同领域的27个现实世界数据集的实验表明，我们方法的优势超过了12种最先进的成本敏感方法，这些方法在不同度量方面表现出一致的改进，例如[0.3] AUC的％-28.56％]，平衡精度[3.4％-21.4％]，Gmean [4.8％-45％]和[7.4％-85.5％]用于召回。

Gradient Boosting (GB) is a popular methodology used to solve prediction problems by minimizing a differentiable loss function, $L$. GB performs very well on tabular machine learning (ML) problems; however, as a pure ML solver it lacks the ability to fit models with probabilistic but correlated multi-dimensional outputs, for example, multiple correlated Bernoulli outputs. GB also does not form intermediate abstract data embeddings, one property of Deep Learning that gives greater flexibility and performance on other types of problems. This paper presents a simple adjustment to GB motivated in part by artificial neural networks. Specifically, our adjustment inserts a matrix multiplication between the output of a GB model and the loss, $L$. This allows the output of a GB model to have increased dimension prior to being fed into the loss and is thus ``wider'' than standard GB implementations. We call our method Wide Boosting (WB) and show that WB outperforms GB on mult-dimesional output tasks and that the embeddings generated by WB contain are more useful in downstream prediction tasks than GB output predictions alone.

符号回归是识别拟合从黑盒过程中观察到的输出的数学表达式的过程。它通常认为是一个离散的优化问题是NP - 硬。解决问题的前提方法包括神经引导的搜索（例如，使用强化学习）和遗传编程。在这项工作中，我们介绍了一种混合神经引导/基因编程方法来象征性回归和其他组合优化问题。我们提出了一种神经引导组件，用于种子随机重启遗传编程组件的起始群体，逐渐学习更好的起始群体。在许多常见的基准任务中从数据集中恢复底层表达式，我们的方法使用相同的实验设置恢复比最近发布的顶部执行模型更多的表达式65％。我们证明在没有对神经引导的组件上的不相互依存的情况下运行许多遗传编程一代，而不是比两个更强烈地耦合的替代配方更好地对象征性回归更好地执行符号回归。最后，我们介绍了一组新的22个符号回归基准问题，而现有的基准难度增加。源代码在www.github.com/brendenpetersen/deep-symbolic -optimization提供。

机器学习中的超参数（ML）受到了相当多的关注，并且高参数调整已被视为ML管道中的重要一步。但是，调整有多么有用？虽然先前已经进行了较小的实验，但本文中，我们进行了大规模研究，特别是涉及26毫升算法，250个数据集（回归以及二进制和多项式分类），6个得分指标和28,857,600算法运行。分析结果我们得出的结论是，对于许多ML算法，我们不应该期望平均而言，高参数调整会获得可观的收益，但是，可能有一些数据集的默认超参数性能差，而后者对于某些算法而言是比其他算法更真实的。通过定义一个组合算法的累积统计数据的单个HP_SCORE值，我们能够对预期从高参数调整到预期获得最低收益的26毫升算法进行排名的26毫升算法。我们认为，这样的研究可能会为ML从业者提供整体服务。

提出了一种称为Trust-Region Boosting（TRBOOST）的通用梯度提升机，用于执行监督的机器学习任务。现有的梯度提升机（GBM）已经在许多问题上取得了最先进的结果。但是，在性能和一般性之间保持平衡存在一些困难。一阶算法适用于比二阶算法更多的一般损失函数。虽然表演通常不如后者那么好。TRBOOST基于信任区域算法将GBMS概括为适合任意损失功能，同时保持良好的性能作为二阶算法。进行了几项数值实验，以确认TRBOOST可以获得竞争成果，同时为收敛提供额外的好处。

只要可以预见的是测试代码的固有特征，可以大大降低测试的高成本。本文提供了一种机器学习模型，以预测测试可以在多大程度上覆盖一个名为Coverabeality的新指标。预测模型由四个回归模型的集合组成。学习样本由特征向量组成，其中特征是为类计算的源代码指标。样品由针对其相应类计算的覆盖率值标记。我们提供了一个数学模型，以评估每个班级自动生成的测试套件的尺寸和覆盖范围的测试效果。我们通过引入一种新方法来根据现有源代码指标来定义子计量数来扩展功能空间的大小。使用功能重要性分析在学习的预测模型上，我们按照对测试效果的影响顺序对源代码指标进行排序。结果，我们发现类别严格的循环复杂性是最有影响力的源代码度量。我们对包含大约23,000个类的大型Java项目的预测模型进行的实验表明，平均绝对误差（MAE）为0.032，平均平方误差（MSE）为0.004，R2得分为0.855。与最先进的覆盖范围预测模型相比，我们的模型分别提高了MAE，MSE和R2得分5.78％，2.84％和20.71％。

天然气管道中的泄漏检测是石油和天然气行业的一个重要且持续的问题。这尤其重要，因为管道是运输天然气的最常见方法。这项研究旨在研究数据驱动的智能模型使用基本操作参数检测天然气管道的小泄漏的能力，然后使用现有的性能指标比较智能模型。该项目应用观察者设计技术，使用回归分类层次模型来检测天然气管道中的泄漏，其中智能模型充当回归器，并且修改后的逻辑回归模型充当分类器。该项目使用四个星期的管道数据流研究了五个智能模型（梯度提升，决策树，随机森林，支持向量机和人工神经网络）。结果表明，虽然支持向量机和人工神经网络比其他网络更好，但由于其内部复杂性和所使用的数据量，它们并未提供最佳的泄漏检测结果。随机森林和决策树模型是最敏感的，因为它们可以在大约2小时内检测到标称流量的0.1％的泄漏。所有智能模型在测试阶段中具有高可靠性，错误警报率为零。将所有智能模型泄漏检测的平均时间与文献中的实时短暂模型进行了比较。结果表明，智能模型在泄漏检测问题中的表现相对较好。该结果表明，可以与实时瞬态模型一起使用智能模型，以显着改善泄漏检测结果。

在材料科学中，衍生模型以预测突出材料特性（例如弹性，强度，电导率）及其与加工条件的关系。主要缺点是校准依赖于处理条件的模型参数。目前，必须优化这些参数以拟合测量数据，因为它们与处理条件（例如变形温度，应变率）的关系不完全理解。我们提出了一种新的方法，该方法识别了基于遗传编程的处理条件的校准参数的功能依赖性。我们提出了两个（显式和隐式）方法来识别这些依赖项并生成短暂的可解释表达式。该方法用于扩展基于物理的组成型模型以进行变形过程。该本结构型模型与内部材料变量（例如位错密度）进行操作，并且包含许多参数，其中包括三个校准参数。衍生的表达式扩展了本组件模型并替换校准参数。因此，启用各种处理参数之间的插值。我们的研究结果表明，隐式方法比明确的方法更昂贵，但也产生明显更好的结果。

词汇酶选择是一种语义感知的父次选择方法，它在随机抛弃的数据流中评估单个测试用例。它在多个研究领域表现出了成功，包括遗传编程，遗传算法以及最近的符号回归和深度学习。词汇酶选择及其变体的一个潜在缺点是，选择程序需要在单个数据流中评估培训案例，这使得很难处理评估在计算上很重的任务，或者数据集是大规模的，例如深度学习。在这项工作中，我们研究了如何采用加权洗牌方法来提高词汇酶选择的效率。我们提出了一种新颖的方法，即快速词汇酶选择，该方法结合了词汇酶选择和与部分评估的加权洗牌。对经典遗传编程和深度学习任务的实验表明，所提出的方法可以显着减少词汇酶选择所需的评估步骤的数量，从而提高其效率，同时保持效率。

快速功能提取（FFX）是用于解决符号回归问题的确定性算法。我们通过将参数添加到非线性函数的参数中提高了FFX的准确性。我们不仅可以优化线性参数，还使用可分离的非线性最小二乘优化优化了这些附加的非线性参数，使用变量投影算法优化。FFX和我们的新算法都应用于PenNML基准套件。我们表明，提议的FFX扩展可以提高准确性，同时提供相似长度的模型，并且在给定数据上的运行时仅增加了运行时。将我们的结果与已经为给定基准套件发布的大量回归方法进行了比较。

This paper presents a novel technique based on gradient boosting to train the final layers of a neural network (NN). Gradient boosting is an additive expansion algorithm in which a series of models are trained sequentially to approximate a given function. A neural network can also be seen as an additive expansion where the scalar product of the responses of the last hidden layer and its weights provide the final output of the network. Instead of training the network as a whole, the proposed algorithm trains the network sequentially in $T$ steps. First, the bias term of the network is initialized with a constant approximation that minimizes the average loss of the data. Then, at each step, a portion of the network, composed of $J$ neurons, is trained to approximate the pseudo-residuals on the training data computed from the previous iterations. Finally, the $T$ partial models and bias are integrated as a single NN with $T \times J$ neurons in the hidden layer. Extensive experiments in classification and regression tasks, as well as in combination with deep neural networks, are carried out showing a competitive generalization performance with respect to neural networks trained with different standard solvers, such as Adam, L-BFGS, SGD and deep models. Furthermore, we show that the proposed method design permits to switch off a number of hidden units during test (the units that were last trained) without a significant reduction of its generalization ability. This permits the adaptation of the model to different classification speed requirements on the fly.

本文调查了股票回购，特别是分享回购公告。它解决了如何识别此类公告，股票回购的超额回报以及股票回购公告后的回报的预测。我们说明了两种NLP方法，用于自动检测股票回购公告。即使有少量的培训数据，我们也可以达到高达90％的准确性。该论文利用这些NLP方法生成一个由57,155个股票回购公告组成的大数据集。通过分析该数据集，本论文的目的是表明大多数宣布回购的公司的大多数公司都表现不佳。但是，少数公司的表现极大地超过了MSCI世界。当查看所有公司的平均值时，这种重要的表现过高会导致净收益。如果根据公司的规模调整了基准指数，则平均表现过高，并且大多数表现不佳。但是，发现宣布股票回购的公司至少占其市值的1％，即使使用调整后的基准，也平均交付了显着的表现。还发现，在危机时期宣布股票回购的公司比整个市场更好。此外，生成的数据集用于训练72个机器学习模型。通过此，它能够找到许多可以达到高达77％并产生大量超额回报的策略。可以在六个不同的时间范围内改善各种性能指标，并确定明显的表现。这是通过训练多个模型的不同任务和时间范围以及结合这些不同模型的方法来实现的，从而通过融合弱学习者来产生重大改进，以创造一个强大的学习者。

在符号回归任务中探索了相关性作为健身函数的使用，并将性能与典型的RMSE健身函数进行比较。使用与对齐步骤的相关性来结论演变导致RMSE作为适应性函数的显着性能提高。与RMSE相比，使用相关性作为健身函数导致了较少世代的解决方案，并且发现在训练集中需要更少的数据点才能发现正确的方程。Feynman符号回归基准以及其他一些旧的和最近的GP基准问题用于评估性能。