我们提出了一个全面的，基于堆叠的框架，可将深度学习与良好的老式机器学习（称为深金）结合在一起。我们的框架涉及从51个经过预定的深网作为第一级模型和10种机器学习算法作为二级模型的合奏选择。通过当今最先进的软件工具和硬件平台启用，Deep Gold在四个图像分类数据集进行测试时会提供一致的改进：时尚MNIST，CIFAR10，CIFAR100和Tiny Imagenet。在120个实验中，除10种深金外，所有其他实验都改善了原始网络的性能。

机器学习中的超参数（ML）受到了相当多的关注，并且高参数调整已被视为ML管道中的重要一步。但是，调整有多么有用？虽然先前已经进行了较小的实验，但本文中，我们进行了大规模研究，特别是涉及26毫升算法，250个数据集（回归以及二进制和多项式分类），6个得分指标和28,857,600算法运行。分析结果我们得出的结论是，对于许多ML算法，我们不应该期望平均而言，高参数调整会获得可观的收益，但是，可能有一些数据集的默认超参数性能差，而后者对于某些算法而言是比其他算法更真实的。通过定义一个组合算法的累积统计数据的单个HP_SCORE值，我们能够对预期从高参数调整到预期获得最低收益的26毫升算法进行排名的26毫升算法。我们认为，这样的研究可能会为ML从业者提供整体服务。

我们提供了三种基于二进制和多项式数据集的基于进化符号回归的分类算法：GpleArnClf，CartesianClf和Clasyco。测试了超过162个数据集，并与三种最先进的机器学习算法进行了比较 - XGBOOST，LIGHTGBM和一个深神经网络 - 我们发现我们的算法具有竞争力。此外，我们通过使用最先进的超参数优化器来演示如何自动找到数据集的最佳方法。

合奏学习结合了几个单独的模型，以获得更好的概括性能。目前，与浅层或传统模型相比，深度学习体系结构表现更好。深度合奏学习模型结合了深度学习模型以及整体学习的优势，使最终模型具有更好的概括性能。本文回顾了最先进的深度合奏模型，因此是研究人员的广泛摘要。合奏模型广泛地分类为包装，增强，堆叠，基于负相关的深度合奏模型，显式/隐式合奏，同质/异质合奏，基于决策融合策略的深层集合模型。还简要讨论了在不同领域中深层集成模型的应用。最后，我们以一些潜在的未来研究方向结束了本文。

解决现实数据科学问题的一个关键元素正在选择要使用的模型类型。通常建议使用表格数据的分类和回归问题的树集合模型（如XGBoost）。然而，最近已经提出了几种用于表格数据的深层学习模型，声称对某些用例倾斜XGBoost。本文探讨了这些深度模型是否应该是通过严格将新的深层模型与各种数据集上的XGBoost进行比较来推荐的表格数据。除了系统地比较他们的性能外，我们还考虑他们所需要的调谐和计算。我们的研究表明，XGBoost在数据集中优于这些深度模型，包括提出深层模型的论文中使用的数据集。我们还证明XGBoost需要更少的调整。在积极的一面，我们表明，深层模型和XGBoost的集合在这些数据集上仅仅比XGBoost更好。

近年来，机器学习（ML），深度学习（DL）和人工智能（AI）的普及已急剧上升。尽管受欢迎程度激增，但ML和DL算法的内部运作被认为是不透明的，并且它们与经典数据分析工具的关系仍然存在争议。通常认为ML和DL主要在做出预测方面出色。但是，最近，它们越来越多地用于传统上统计模型涵盖的经典分析任务。此外，最近对ML的评论专门针对DL，缺少综合具有不同优势和一般原则的ML算法财富。在这里，我们提供了ML和DL领域的全面概述，从其历史发展，现有算法家庭，与传统统计工具的差异以及通用ML原则的差异。然后，我们讨论为什么以及何时ML和DL模型在预测任务上表现出色，以及它们可以为推理提供传统统计方法的替代方法，从而突出了当前和新兴的生态问题应用程序。最后，我们总结了新兴趋势，例如科学和因果ML，可解释的AI以及负责的AI，这些AI可能会在未来显着影响生态数据分析。

激活功能（AFS）对于神经网络的成功（或失败）至关重要，近年来受到了越来越多的关注，研究人员寻求设计新颖的AFS来改善网络性能的某些方面。在本文中，我们采取了另一个方向，其中我们将一系列已知的AFS结合到成功的体系结构中，提出了三种方法来进行有益地这样做的方法：1）随机生成AF架构，2）使用Optuna，一个自动超级参数优化软件框架，一个自动的超级参数优化框架，带有树结构化的parzen估计量（TPE）采样器，3）将Optuna与协方差矩阵适应演化策略（CMA-ES）采样器一起使用。我们表明，与由Relu隐藏单元和SoftMax输出单元组成的标准网络相比，所有方法对于25个分类问题通常会产生明显的更好的结果。带有TPE采样器的Optuna成为最佳的AF架构生产方法。

在全球范围内，有实质性的未满足需要有效地诊断各种疾病。不同疾病机制的复杂性和患者人群的潜在症状具有巨大挑战，以发展早期诊断工具和有效治疗。机器学习（ML），人工智能（AI）区域，使研究人员，医师和患者能够解决这些问题的一些问题。基于相关研究，本综述解释了如何使用机器学习（ML）和深度学习（DL）来帮助早期识别许多疾病。首先，使用来自Scopus和Science（WOS）数据库的数据来给予所述出版物的生物计量研究。对1216个出版物的生物计量研究进行了确定，以确定最多产的作者，国家，组织和最引用的文章。此次审查总结了基于机器学习的疾病诊断（MLBDD）的最新趋势和方法，考虑到以下因素：算法，疾病类型，数据类型，应用和评估指标。最后，该文件突出了关键结果，并向未来的未来趋势和机遇提供了解。

Machine Learning (ML) software has been widely adopted in modern society, with reported fairness implications for minority groups based on race, sex, age, etc. Many recent works have proposed methods to measure and mitigate algorithmic bias in ML models. The existing approaches focus on single classifier-based ML models. However, real-world ML models are often composed of multiple independent or dependent learners in an ensemble (e.g., Random Forest), where the fairness composes in a non-trivial way. How does fairness compose in ensembles? What are the fairness impacts of the learners on the ultimate fairness of the ensemble? Can fair learners result in an unfair ensemble? Furthermore, studies have shown that hyperparameters influence the fairness of ML models. Ensemble hyperparameters are more complex since they affect how learners are combined in different categories of ensembles. Understanding the impact of ensemble hyperparameters on fairness will help programmers design fair ensembles. Today, we do not understand these fully for different ensemble algorithms. In this paper, we comprehensively study popular real-world ensembles: bagging, boosting, stacking and voting. We have developed a benchmark of 168 ensemble models collected from Kaggle on four popular fairness datasets. We use existing fairness metrics to understand the composition of fairness. Our results show that ensembles can be designed to be fairer without using mitigation techniques. We also identify the interplay between fairness composition and data characteristics to guide fair ensemble design. Finally, our benchmark can be leveraged for further research on fair ensembles. To the best of our knowledge, this is one of the first and largest studies on fairness composition in ensembles yet presented in the literature.

由于深度学习（主要是深度神经网络）在各种人工智能应用中的主导地位，最近基于深度神经网络（集成深度学习）的合奏学习表明，在改善学习系统的概括方面表现出了重要的表现。但是，由于现代深层神经网络通常具有数百万到数十亿的参数，因此训练多个基础深度学习者和与合奏深层学习者进行测试的时间和空间远大于传统的合奏学习。尽管已经提出了一些快速整体深度学习的算法，以促进某些应用程序中的集合深度学习的部署，但仍需要在特定领域的许多应用程序中取得进一步的进步，在这些领域中，开发时间和计算资源通常受到限制或数据。要处理的是很大的维度。需要解决的紧急问题是如何利用整体深度学习的重要优势，同时减少所需的费用，从而使特定领域的更多应用程序可以从中受益。为了减轻这个问题，必须了解在深度学习时代的合奏学习如何发展。因此，在本文中，我们提出了基本讨论，重点关注已发表的作品，方法，最新进展和传统合奏学习和整体深度学习的不可涉及的数据分析。我们希望本文将有助于实现在深度学习时代，合奏学习未来发展所面临的内在问题和技术挑战。

合奏的基本分支混合合奏在许多机器学习问题，尤其是回归中蓬勃发展。几项研究证实了多样性的重要性。但是，以前的合奏仅考虑在子模型训练阶段的多样性，与单个模型相比，改进有限。相反，本研究从异质模型池中选择和权重子模型。它使用内点过滤线性搜索算法解决了优化问题。这种优化问题创新地将负相关学习作为惩罚项，可以选择多种模型子集。实验结果显示了一些有意义的观点。模型池构造需要不同类别的模型，每个类别都作为子模型为所有可能的参数集。选择每个类的最佳子模型以构建基于NCL的合奏，该集合比子模型的平均值要好得多。此外，与经典常数和非恒定加权方法相比，基于NCL的合奏在几种预测指标中具有重要优势。实际上，由于模型不确定性，很难在事先结论数据集的最佳子模型。但是，我们的方法将获得可比较的精度作为RMSE度量的潜在最佳子模型。总之，这项研究的价值在于它的易用性和有效性，使混合团合奏可以接受多样性和准确性。

2019年12月，一个名为Covid-19的新型病毒导致了迄今为止的巨大因果关系。与新的冠状病毒的战斗在西班牙语流感后令人振奋和恐怖。虽然前线医生和医学研究人员在控制高度典型病毒的传播方面取得了重大进展，但技术也证明了在战斗中的重要性。此外，许多医疗应用中已采用人工智能，以诊断许多疾病，甚至陷入困境的经验丰富的医生。因此，本调查纸探讨了提议的方法，可以提前援助医生和研究人员，廉价的疾病诊断方法。大多数发展中国家难以使用传统方式进行测试，但机器和深度学习可以采用显着的方式。另一方面，对不同类型的医学图像的访问已经激励了研究人员。结果，提出了一种庞大的技术数量。本文首先详细调了人工智能域中传统方法的背景知识。在此之后，我们会收集常用的数据集及其用例日期。此外，我们还显示了采用深入学习的机器学习的研究人员的百分比。因此，我们对这种情况进行了彻底的分析。最后，在研究挑战中，我们详细阐述了Covid-19研究中面临的问题，我们解决了我们的理解，以建立一个明亮健康的环境。

乳腺癌是全球女性死亡的主要原因之一。如果在高级阶段检测到很难治疗，但是，早期发现可以显着增加生存机会，并改善数百万妇女的生活。鉴于乳腺癌的普遍流行，研究界提出早期检测，分类和诊断的框架至关重要。与医生协调的人工智能研究社区正在开发此类框架以自动化检测任务。随着研究活动的激增，加上大型数据集的可用性和增强的计算能力，预计AI框架结果将有助于更多的临床医生做出正确的预测。在本文中，提出了使用乳房X线照片对乳腺癌进行分类的新框架。所提出的框架结合了从新颖的卷积神经网络（CNN）功能中提取的强大特征，以及手工制作的功能，包括猪（定向梯度的直方图）和LBP（本地二进制图案）。在CBIS-DDSM数据集上获得的结果超过了技术状态。

通过卫星摄像机获取关于地球表面的大面积的信息使我们能够看到远远超过我们在地面上看到的更多。这有助于我们在检测和监测土地使用模式，大气条件，森林覆盖和许多非上市方面的地区的物理特征。所获得的图像不仅跟踪连续的自然现象，而且对解决严重森林砍伐的全球挑战也至关重要。其中亚马逊盆地每年占最大份额。适当的数据分析将有助于利用可持续健康的氛围来限制对生态系统和生物多样性的不利影响。本报告旨在通过不同的机器学习和优越的深度学习模型用大气和各种陆地覆盖或土地使用亚马逊雨林的卫星图像芯片。评估是基于F2度量完成的，而用于损耗函数，我们都有S形跨熵以及Softmax交叉熵。在使用预先训练的ImageNet架构中仅提取功能之后，图像被间接馈送到机器学习分类器。鉴于深度学习模型，通过传输学习使用微调Imagenet预训练模型的集合。到目前为止，我们的最佳分数与F2度量为0.927。

这项工作探讨了机器学习技术在用于内互联网固件数据集上，以检测恶意尝试感染边缘设备或随后损坏整个网络。固件更新在IoT设备中罕见;因此，他们与漏洞取比。对此设备的攻击可以忽视，用户可以成为安全的弱点。恶意软件可能导致DDOS攻击，甚至在人民住宅等敏感区域上间谍。为了帮助缓解此威胁，本文采用许多机器学习算法来分类IOT固件，并报告了最佳执行模型。在一般的比较中，前三种算法是梯度升压，逻辑回归和随机林分类器。还探讨了包括卷积和完全连接的神经网络的深度学习方法，以及实验和经过验证的成功架构。

一个躺在胸腔里的心脏的四个基本腔腔对一个人的生存至关重要，但讽刺地证明是最脆弱的。心血管疾病（CVD）也通常被称为心脏病，在过去几十年中，人类在人类死亡原因中稳步发展。考虑到这一点统计，很明显，患有CVDS的患者需要快速且正确的诊断，以便于早期治疗来减少死亡的机会。本文试图利用提供的数据，以培训分类模型，如逻辑回归，k最近邻居，支持向量机，决策树，高斯天真贝叶斯，随机森林和多层感知（人工神经网络），最终使用柔软投票合奏技术，以便尽可能多地诊断。

手写数字识别（HDR）是光学特征识别（OCR）领域中最具挑战性的任务之一。不管语言如何，HDR都存在一些固有的挑战，这主要是由于个人跨个人的写作风格的变化，编写媒介和环境的变化，无法在反复编写任何数字等时保持相同的笔触。除此之外，特定语言数字的结构复杂性可能会导致HDR的模棱两可。多年来，研究人员开发了许多离线和在线HDR管道，其中不同的图像处理技术与传统的机器学习（ML）基于基于的和/或基于深度学习（DL）的体系结构相结合。尽管文献中存在有关HDR的广泛审查研究的证据，例如：英语，阿拉伯语，印度，法尔西，中文等，但几乎没有对孟加拉人HDR（BHDR）的调查，这缺乏对孟加拉语HDR（BHDR）的研究，而这些调查缺乏对孟加拉语HDR（BHDR）的研究。挑战，基础识别过程以及可能的未来方向。在本文中，已经分析了孟加拉语手写数字的特征和固有的歧义，以及二十年来最先进的数据集的全面见解和离线BHDR的方法。此外，还详细讨论了一些涉及BHDR的现实应用特定研究。本文还将作为对离线BHDR背后科学感兴趣的研究人员的汇编，煽动了对相关研究的新途径的探索，这可能会进一步导致在不同应用领域对孟加拉语手写数字进行更好的离线认识。

近年来，随着传感器和智能设备的广泛传播，物联网（IoT）系统的数据生成速度已大大增加。在物联网系统中，必须经常处理，转换和分析大量数据，以实现各种物联网服务和功能。机器学习（ML）方法已显示出其物联网数据分析的能力。但是，将ML模型应用于物联网数据分析任务仍然面临许多困难和挑战，特别是有效的模型选择，设计/调整和更新，这给经验丰富的数据科学家带来了巨大的需求。此外，物联网数据的动态性质可能引入概念漂移问题，从而导致模型性能降解。为了减少人类的努力，自动化机器学习（AUTOML）已成为一个流行的领域，旨在自动选择，构建，调整和更新机器学习模型，以在指定任务上实现最佳性能。在本文中，我们对Automl区域中模型选择，调整和更新过程中的现有方法进行了审查，以识别和总结将ML算法应用于IoT数据分析的每个步骤的最佳解决方案。为了证明我们的发现并帮助工业用户和研究人员更好地实施汽车方法，在这项工作中提出了将汽车应用于IoT异常检测问题的案例研究。最后，我们讨论并分类了该领域的挑战和研究方向。

This paper presents a novel technique based on gradient boosting to train the final layers of a neural network (NN). Gradient boosting is an additive expansion algorithm in which a series of models are trained sequentially to approximate a given function. A neural network can also be seen as an additive expansion where the scalar product of the responses of the last hidden layer and its weights provide the final output of the network. Instead of training the network as a whole, the proposed algorithm trains the network sequentially in $T$ steps. First, the bias term of the network is initialized with a constant approximation that minimizes the average loss of the data. Then, at each step, a portion of the network, composed of $J$ neurons, is trained to approximate the pseudo-residuals on the training data computed from the previous iterations. Finally, the $T$ partial models and bias are integrated as a single NN with $T \times J$ neurons in the hidden layer. Extensive experiments in classification and regression tasks, as well as in combination with deep neural networks, are carried out showing a competitive generalization performance with respect to neural networks trained with different standard solvers, such as Adam, L-BFGS, SGD and deep models. Furthermore, we show that the proposed method design permits to switch off a number of hidden units during test (the units that were last trained) without a significant reduction of its generalization ability. This permits the adaptation of the model to different classification speed requirements on the fly.

大多数机器学习算法由一个或多个超参数配置，必须仔细选择并且通常会影响性能。为避免耗时和不可递销的手动试验和错误过程来查找性能良好的超参数配置，可以采用各种自动超参数优化（HPO）方法，例如，基于监督机器学习的重新采样误差估计。本文介绍了HPO后，本文审查了重要的HPO方法，如网格或随机搜索，进化算法，贝叶斯优化，超带和赛车。它给出了关于进行HPO的重要选择的实用建议，包括HPO算法本身，性能评估，如何将HPO与ML管道，运行时改进和并行化结合起来。这项工作伴随着附录，其中包含关于R和Python的特定软件包的信息，以及用于特定学习算法的信息和推荐的超参数搜索空间。我们还提供笔记本电脑，这些笔记本展示了这项工作的概念作为补充文件。