合奏学习在机器学习方面取得了成功，比其他学习方法具有重大优势。袋装是一种突出的合奏学习方法，它创建了被称为袋子的数据子组，该数据被单独的机器学习方法（例如决策树）培训。随机森林是学习过程中具有其他功能的袋装的重要例子。 \ textColor {black} {当单个学习者具有较高的偏见时，包装的限制是汇总预测中的高偏置（模型不足）。}进化算法已突出用于优化问题，并且也用于机器学习。进化算法是无梯度的方法，具有多种候选解决方案，可维持创建新解决方案的多样性。在传统的包装合奏学习中，制作了一次袋子，而在培训示例方面，内容是在学习过程中固定的。在我们的论文中，我们提出了进化装袋的合奏学习，我们利用进化算法来发展袋子的内容，以通过迭代袋中提供多样性来增强合奏。结果表明，在某些约束下，我们的进化合奏装袋方法优于几个基准数据集的常规合奏方法（包装和随机森林）。进化装袋可以固有地维持一套不同的行李，而无需牺牲任何数据。

分类是数据挖掘和机器学习领域中研究最多的任务之一，并且已经提出了文献中的许多作品来解决分类问题，以解决多个知识领域，例如医学，生物学，安全性和遥感。由于没有单个分类器可以为各种应用程序取得最佳结果，因此，一个很好的选择是采用分类器融合策略。分类器融合方法成功的关键点是属于合奏的分类器之间多样性和准确性的结合。借助文献中可用的大量分类模型，一个挑战是选择最终分类系统的最合适的分类器，从而产生了分类器选择策略的需求。我们通过基于一个称为CIF-E（分类器，初始化，健身函数和进化算法）的四步协议的分类器选择和融合的框架来解决这一点。我们按照提出的CIF-E协议实施和评估24种各种集合方法，并能够找到最准确的方法。在文献中最佳方法和许多其他基线中，还进行了比较分析。该实验表明，基于单变量分布算法（UMDA）的拟议进化方法可以超越许多著名的UCI数据集中最新的文献方法。

从不平衡数据中学习是一项具有挑战性的任务。在进行不平衡数据训练时，标准分类算法的性能往往差。需要通过修改数据分布或重新设计基础分类算法以实现理想的性能来采用一些特殊的策略。现实世界数据集中不平衡的流行率导致为班级不平衡问题创造了多种策略。但是，并非所有策略在不同的失衡情况下都有用或提供良好的性能。处理不平衡的数据有许多方法，但是尚未进行此类技术的功效或这些技术之间的实验比较。在这项研究中，我们对26种流行抽样技术进行了全面分析，以了解它们在处理不平衡数据方面的有效性。在50个数据集上进行了严格的实验，具有不同程度的不平衡，以彻底研究这些技术的性能。已经提出了对技术的优势和局限性的详细讨论，以及如何克服此类局限性。我们确定了影响采样策略的一些关键因素，并提供有关如何为特定应用选择合适的采样技术的建议。

大多数机器学习算法由一个或多个超参数配置，必须仔细选择并且通常会影响性能。为避免耗时和不可递销的手动试验和错误过程来查找性能良好的超参数配置，可以采用各种自动超参数优化（HPO）方法，例如，基于监督机器学习的重新采样误差估计。本文介绍了HPO后，本文审查了重要的HPO方法，如网格或随机搜索，进化算法，贝叶斯优化，超带和赛车。它给出了关于进行HPO的重要选择的实用建议，包括HPO算法本身，性能评估，如何将HPO与ML管道，运行时改进和并行化结合起来。这项工作伴随着附录，其中包含关于R和Python的特定软件包的信息，以及用于特定学习算法的信息和推荐的超参数搜索空间。我们还提供笔记本电脑，这些笔记本展示了这项工作的概念作为补充文件。

近年来，随着传感器和智能设备的广泛传播，物联网（IoT）系统的数据生成速度已大大增加。在物联网系统中，必须经常处理，转换和分析大量数据，以实现各种物联网服务和功能。机器学习（ML）方法已显示出其物联网数据分析的能力。但是，将ML模型应用于物联网数据分析任务仍然面临许多困难和挑战，特别是有效的模型选择，设计/调整和更新，这给经验丰富的数据科学家带来了巨大的需求。此外，物联网数据的动态性质可能引入概念漂移问题，从而导致模型性能降解。为了减少人类的努力，自动化机器学习（AUTOML）已成为一个流行的领域，旨在自动选择，构建，调整和更新机器学习模型，以在指定任务上实现最佳性能。在本文中，我们对Automl区域中模型选择，调整和更新过程中的现有方法进行了审查，以识别和总结将ML算法应用于IoT数据分析的每个步骤的最佳解决方案。为了证明我们的发现并帮助工业用户和研究人员更好地实施汽车方法，在这项工作中提出了将汽车应用于IoT异常检测问题的案例研究。最后，我们讨论并分类了该领域的挑战和研究方向。

超参数优化构成了典型的现代机器学习工作流程的很大一部分。这是由于这样一个事实，即机器学习方法和相应的预处理步骤通常只有在正确调整超参数时就会产生最佳性能。但是在许多应用中，我们不仅有兴趣仅仅为了预测精度而优化ML管道；确定最佳配置时，必须考虑其他指标或约束，从而导致多目标优化问题。由于缺乏知识和用于多目标超参数优化的知识和容易获得的软件实现，因此通常在实践中被忽略。在这项工作中，我们向读者介绍了多个客观超参数优化的基础知识，并激励其在应用ML中的实用性。此外，我们从进化算法和贝叶斯优化的领域提供了现有优化策略的广泛调查。我们说明了MOO在几个特定ML应用中的实用性，考虑了诸如操作条件，预测时间，稀疏，公平，可解释性和鲁棒性之类的目标。

语义已成为遗传编程（GP）研究的关键话题。语义是指在数据集上运行时GP个体的输出（行为）。专注于单目标GP中语义多样性的大多数作品表明它在进化搜索方面是非常有益的。令人惊讶的是，在多目标GP（MOGP）中，在语义中进行了小型研究。在这项工作中，我们跨越我们对Mogp中语义的理解，提出SDO：基于语义的距离作为额外标准。这自然鼓励Mogp中的语义多样性。为此，我们在第一个帕累托前面的较密集的区域（最有前途的前沿）找到一个枢轴。然后，这用于计算枢轴与人群中的每个人之间的距离。然后将所得到的距离用作优化以优化以偏及语义分集的额外标准。我们还使用其他基于语义的方法作为基准，称为基于语义相似性的交叉和语义的拥挤距离。此外，我们也使用NSGA-II和SPEA2进行比较。我们使用高度不平衡二进制分类问题，一致地展示我们所提出的SDO方法如何产生更多非主导的解决方案和更好的多样性，导致更好的统计学显着的结果，与其他四种方法相比，使用超卓越症结果作为评估措施。

合奏学习结合了几个单独的模型，以获得更好的概括性能。目前，与浅层或传统模型相比，深度学习体系结构表现更好。深度合奏学习模型结合了深度学习模型以及整体学习的优势，使最终模型具有更好的概括性能。本文回顾了最先进的深度合奏模型，因此是研究人员的广泛摘要。合奏模型广泛地分类为包装，增强，堆叠，基于负相关的深度合奏模型，显式/隐式合奏，同质/异质合奏，基于决策融合策略的深层集合模型。还简要讨论了在不同领域中深层集成模型的应用。最后，我们以一些潜在的未来研究方向结束了本文。

特征选择是一个棘手的问题，因此实用算法通常折衷对计算时间解的精度。在本文中，我们提出了利用近似，或代理人的多层次的一种新型的多阶段特征选择框架。这种框架允许使用的包装在计算上更多有效的方式方法，显著增加的特征选择的解决方案的质量可以实现的，尤其是在大型数据集。我们设计和评估是一个替代辅助遗传算法（SAGA），它利用这个概念在勘探早期阶段，引导进化搜索。 SAGA只有切换到在最后开发阶段评估原有的功能。我们证明了上限SAGA替代辅助阶段的运行时间是雪上加霜等于包装GA，而且更好地扩展为实例数高位复杂性的归纳算法。我们证明，使用来自UCI ML储存部14个集，在实践中SAGA显著降低与基线相比包装遗传算法（GA）的计算时间，而汇聚成显著精度更高的解决方案。我们的实验表明，SAGA能以接近最优的解决方案不是一个包装GA快三倍到达，平均。我们还展示了旨在防止代理人误导向错误的最优进化搜索进化控制方法的重要性。

本文提出了一种新的方法，称为模块化语法进化（MGE），以验证以下假设，即限制了神经进化的解决方案空间到模块化和简单的神经网络，可以有效地生成较小，更结构化的神经网络，同时提供可接受的（在某些方面）案例优于大型数据集的精度。 MGE还在两个方向上增强了最新的语法演化（GE）方法。首先，MGE的表示是模块化的，因为每个个体都有一组基因，并且每个基因都通过语法规则映射到神经元。其次，所提出的表示形式减轻了GE的两个重要缺点，即表示较低的表示性和弱位置，以生成具有大量神经元的模块化和多层网络。我们使用MGE定义和评估具有和不具有模块化的五种不同形式的结构，并找到没有耦合更有效的单层模块。我们的实验表明，模块化有助于更快地找到更好的神经网络。我们使用了十个具有不同尺寸，功能计数和输出类计数的众所周知的分类基准验证了提出的方法。我们的实验结果表明，MGE相对于现有的神经进化方法提供了卓越的准确性，并且返回分类器比其他机器学习生成的分类器要简单得多。最后，我们从经验上证明，MGE在局部性和可伸缩性属性方面优于其他GE方法。

决策树的集合被称为随机森林。如Breiman所提出的，不稳定学习者的实力和它们之间的多样性是集合模型的核心力量。在本文中，我们提出了两种用于生成双随机森林的合奏方法。在第一种方法中，我们提出了一种基于双随机森林的旋转组合。在基于旋转的双随机林，在每个节点处产生特征空间的转换或旋转。在每个节点上选择不同随机特征子空间进行评估，因此每个节点处的变换是不同的。不同的转变导致基本学习者之间更好的多样性，因此，更好的泛化性能。随着双随机森林作为基础学习者，每个节点的数据通过两个不同的变换转换，即主成分分析和线性判别分析。在第二种方法中，我们提出了双随机森林的倾斜组合。在随机林和双随机森林中的决策树是单变量的，这导致轴并行分裂的产生，这不能捕获数据的几何结构。此外，标准随机森林可能不会产生足够大的决策树，从而导致次优的性能。为了捕获几何属性并生长足够深度的决策树，我们提出了双随机森林的倾斜集合。双随机森林模型的倾斜集合是多元决策树。在每个非叶节点上，多面近端支持向量机产生最佳平面以获得更好的泛化性能。此外，不同的正则化技术（Tikhonov正则化和轴并行分裂正则化）用于解决双随机林的倾斜组合决策树中的小样本大小问题。

孔隙度已被识别为混凝土耐久性特性的关键指标暴露于侵略性环境。本文采用集体学习来预测含有补充水泥材料的高性能混凝土的孔隙率。本研究中使用的混凝土样品的特征在于八种组合物特征，包括W / B比，粘合剂含量，粉煤灰，GGB，过度塑化剂，粗/细骨料比，固化条件和固化天。组装数据库由240个数据记录组成，具有74个独特的混凝土混合设计。所提出的机器学习算法在从数据集中随机选择的180个观察（75％）培训，然后在剩余的60个观察中进行测试（25％）。数值实验表明，回归树集合可以精确地预测其混合组合物的混凝土的孔隙率。梯度提升树木通常在预测准确性方面优于随机森林。对于随机森林，发现基于袋出错的误差的超参数调整策略比K倍交叉验证更有效。

类不平衡是分类任务中经常发生的情况。从不平衡数据中学习提出了一个重大挑战，这在该领域引起了很多研究。使用采样技术进行数据预处理是处理数据中存在的不平衡的标准方法。由于标准分类算法在不平衡数据上的性能不佳，因此在培训之前，数据集需要足够平衡。这可以通过过度采样少数族裔级别或对多数级别的采样来实现。在这项研究中，已经提出了一种新型的混合采样算法。为了克服采样技术的局限性，同时确保保留采样数据集的质量，已经开发了一个复杂的框架来正确结合三种不同的采样技术。首先应用邻里清洁规则以减少失衡。然后从策略上与SMOTE算法策略性地采样，以在数据集中获得最佳平衡。该提出的混合方法学称为“ smote-rus-nc”，已与其他最先进的采样技术进行了比较。该策略进一步合并到集合学习框架中，以获得更健壮的分类算法，称为“ SRN-BRF”。对26个不平衡数据集进行了严格的实验，并具有不同程度的失衡。在几乎所有数据集中，提出的两种算法在许多情况下都超过了现有的采样策略，其差额很大。尤其是在流行抽样技术完全失败的高度不平衡数据集中，他们实现了无与伦比的性能。获得的优越结果证明了所提出的模型的功效及其在不平衡域中具有强大采样算法的潜力。

数据有效的图像分类是一项具有挑战性的任务，旨在使用小型培训数据来解决图像分类。基于神经网络的深度学习方法对于图像分类很有效，但是它们通常需要大规模的培训数据，并且具有重大局限性，例如需要专业知识来设计网络架构和具有差的可解释性。进化深度学习是一个最近的热门话题，将进化计算与深度学习结合在一起。但是，大多数进化的深度学习方法都集中在神经网络的架构上，这些方法仍然遭受诸如不良解释性之类的局限性。为了解决这个问题，本文提出了一种新的基于基因编程的进化深度学习方法，以进行数据有效的图像分类。新方法可以使用来自图像和分类域的许多重要运算符自动发展可变长度模型。它可以从颜色或灰度图像中学习不同类型的图像特征，并构建有效而多样的合奏以进行图像分类。灵活的多层表示可以使新方法自动构建浅层或深模型/树以进行不同的任务，并通过多个内部节点对输入数据进行有效的转换。新方法用于解决具有不同训练集大小的五个图像分类任务。结果表明，在大多数情况下，它比深度学习方法的图像分类更好。深入的分析表明，新方法具有良好的收敛性，并演变具有高解释性，不同长度/尺寸/形状以及良好可传递性的模型。

算法配置（AC）与对参数化算法最合适的参数配置的自动搜索有关。目前，文献中提出了各种各样的交流问题变体和方法。现有评论没有考虑到AC问题的所有衍生物，也没有提供完整的分类计划。为此，我们引入分类法以分别描述配置方法的交流问题和特征。我们回顾了分类法的镜头中现有的AC文献，概述相关的配置方法的设计选择，对比方法和问题变体相互对立，并描述行业中的AC状态。最后，我们的评论为研究人员和从业人员提供了AC领域的未来研究方向。

探索搜索空间是几十年来吸引研究人员兴趣的最不可预测的挑战之一。处理不可预测性的一种方法是表征搜索空间并采取相应的行动。特征良好的搜索空间可以帮助将问题状态映射到一组运算符，以生成新的问题状态。在本文中，已经使用最知名的机器学习方法分析了基于景观分析的功能集，以确定最佳功能集。但是，为了处理问题的复杂性并引起共同点以跨领域转移经验，最具代表性特征的选择仍然至关重要。提出的方法分析了一组特征的预测性，以确定最佳分类。

聚类算法的全面基准是困难的两个关键因素：（i）〜这种无监督的学习方法的独特数学定义和（ii）〜某些聚类算法采用的生成模型或群集标准之间的依赖性的依赖性内部集群验证。因此，对严格基准测试的最佳做法没有达成共识，以及是否有可能在给定申请的背景之外。在这里，我们认为合成数据集必须继续在群集算法的评估中发挥重要作用，但这需要构建适当地涵盖影响聚类算法性能的各种属性集的基准。通过我们的框架，我们展示了重要的角色进化算法，以支持灵活的这种基准，允许简单的修改和扩展。我们说明了我们框架的两种可能用途：（i）〜基准数据的演变与一组手派生属性和（ii）〜生成梳理给定对算法之间的性能差异的数据集。我们的作品对设计集群基准的设计具有足够挑战广泛算法的集群基准，并进一步了解特定方法的优势和弱点。

分类链是一种用于在多标签分类中建模标签依赖性的有效技术。但是，该方法需要标签的固定静态顺序。虽然理论上，任何顺序都足够了，实际上，该订单对最终预测的质量具有大量影响。动态分类链表示每个实例对分类的想法，可以动态选择预测标签的顺序。这种方法的天真实现的复杂性是禁止的，因为它需要训练一系列分类器，以满足标签的每种可能置换。为了有效地解决这个问题，我们提出了一种基于随机决策树的新方法，该方法可以动态地选择每个预测的标签排序。我们凭经验展示了下一个标签的动态选择，通过在否则不变的随机决策树模型下使用静态排序。 ％和实验环境。此外，我们还展示了基于极端梯度提升树的替代方法，其允许更具目标的动态分级链训练。我们的结果表明，该变体优于随机决策树和其他基于树的多标签分类方法。更重要的是，动态选择策略允许大大加速培训和预测。

Multi-objective feature selection is one of the most significant issues in the field of pattern recognition. It is challenging because it maximizes the classification performance and, at the same time, minimizes the number of selected features, and the mentioned two objectives are usually conflicting. To achieve a better Pareto optimal solution, metaheuristic optimization methods are widely used in many studies. However, the main drawback is the exploration of a large search space. Another problem with multi-objective feature selection approaches is the interaction between features. Selecting correlated features has negative effect on classification performance. To tackle these problems, we present a novel multi-objective feature selection method that has several advantages. Firstly, it considers the interaction between features using an advanced probability scheme. Secondly, it is based on the Pareto Archived Evolution Strategy (PAES) method that has several advantages such as simplicity and its speed in exploring the solution space. However, we improve the structure of PAES in such a way that generates the offsprings, intelligently. Thus, the proposed method utilizes the introduced probability scheme to produce more promising offsprings. Finally, it is equipped with a novel strategy that guides it to find the optimum number of features through the process of evolution. The experimental results show a significant improvement in finding the optimal Pareto front compared to state-of-the-art methods on different real-world datasets.

Bootstrap aggregating (Bagging) and boosting are two popular ensemble learning approaches, which combine multiple base learners to generate a composite model for more accurate and more reliable performance. They have been widely used in biology, engineering, healthcare, etc. This paper proposes BoostForest, which is an ensemble learning approach using BoostTree as base learners and can be used for both classification and regression. BoostTree constructs a tree model by gradient boosting. It increases the randomness (diversity) by drawing the cut-points randomly at node splitting. BoostForest further increases the randomness by bootstrapping the training data in constructing different BoostTrees. BoostForest generally outperformed four classical ensemble learning approaches (Random Forest, Extra-Trees, XGBoost and LightGBM) on 35 classification and regression datasets. Remarkably, BoostForest tunes its parameters by simply sampling them randomly from a parameter pool, which can be easily specified, and its ensemble learning framework can also be used to combine many other base learners.