多种统计和机器学习方法用于使用机器学习方法在特定道路上建模崩溃频率，通常具有更高的预测准确性。最近，包括堆叠在内的异质集合方法（HEM）已成为更准确和强大的智能技术，并且通常通过提供更可靠和准确的预测来解决模式识别问题。在这项研究中，我们将堆叠的关键下摆方法之一应用于城市和郊区动脉的五个车道段（5T）上的崩溃频率。将堆叠的预测性能与参数统计模型（泊松和负二项式）和三种最先进的机器学习技术（决策树，随机森林和梯度增强）进行了比较，每种技术都被称为基础学习者。通过采用最佳的体重方案通过堆叠结合单个基础学习者，由于规格和预测准确性的差异，各个基础学习者中有偏见的预测问题可以避免。从2013年到2017年收集并集成了包括崩溃，流量和道路清单在内的数据。数据分为培训，验证和测试数据集。统计模型的估计结果表明，除其他因素外，崩溃随着不同类型的车道的密度（每英里数）的增加而增加。各种模型的样本外预测的比较证实了堆叠优于所考虑的替代方法的优越性。从实际的角度来看，堆叠可以提高预测准确性（与仅使用具有特定规范的基本学习者相比）。当系统地应用时，堆叠可以帮助确定更合适的对策。

合奏的基本分支混合合奏在许多机器学习问题，尤其是回归中蓬勃发展。几项研究证实了多样性的重要性。但是，以前的合奏仅考虑在子模型训练阶段的多样性，与单个模型相比，改进有限。相反，本研究从异质模型池中选择和权重子模型。它使用内点过滤线性搜索算法解决了优化问题。这种优化问题创新地将负相关学习作为惩罚项，可以选择多种模型子集。实验结果显示了一些有意义的观点。模型池构造需要不同类别的模型，每个类别都作为子模型为所有可能的参数集。选择每个类的最佳子模型以构建基于NCL的合奏，该集合比子模型的平均值要好得多。此外，与经典常数和非恒定加权方法相比，基于NCL的合奏在几种预测指标中具有重要优势。实际上，由于模型不确定性，很难在事先结论数据集的最佳子模型。但是，我们的方法将获得可比较的精度作为RMSE度量的潜在最佳子模型。总之，这项研究的价值在于它的易用性和有效性，使混合团合奏可以接受多样性和准确性。

孔隙度已被识别为混凝土耐久性特性的关键指标暴露于侵略性环境。本文采用集体学习来预测含有补充水泥材料的高性能混凝土的孔隙率。本研究中使用的混凝土样品的特征在于八种组合物特征，包括W / B比，粘合剂含量，粉煤灰，GGB，过度塑化剂，粗/细骨料比，固化条件和固化天。组装数据库由240个数据记录组成，具有74个独特的混凝土混合设计。所提出的机器学习算法在从数据集中随机选择的180个观察（75％）培训，然后在剩余的60个观察中进行测试（25％）。数值实验表明，回归树集合可以精确地预测其混合组合物的混凝土的孔隙率。梯度提升树木通常在预测准确性方面优于随机森林。对于随机森林，发现基于袋出错的误差的超参数调整策略比K倍交叉验证更有效。

Machine Learning (ML) software has been widely adopted in modern society, with reported fairness implications for minority groups based on race, sex, age, etc. Many recent works have proposed methods to measure and mitigate algorithmic bias in ML models. The existing approaches focus on single classifier-based ML models. However, real-world ML models are often composed of multiple independent or dependent learners in an ensemble (e.g., Random Forest), where the fairness composes in a non-trivial way. How does fairness compose in ensembles? What are the fairness impacts of the learners on the ultimate fairness of the ensemble? Can fair learners result in an unfair ensemble? Furthermore, studies have shown that hyperparameters influence the fairness of ML models. Ensemble hyperparameters are more complex since they affect how learners are combined in different categories of ensembles. Understanding the impact of ensemble hyperparameters on fairness will help programmers design fair ensembles. Today, we do not understand these fully for different ensemble algorithms. In this paper, we comprehensively study popular real-world ensembles: bagging, boosting, stacking and voting. We have developed a benchmark of 168 ensemble models collected from Kaggle on four popular fairness datasets. We use existing fairness metrics to understand the composition of fairness. Our results show that ensembles can be designed to be fairer without using mitigation techniques. We also identify the interplay between fairness composition and data characteristics to guide fair ensemble design. Finally, our benchmark can be leveraged for further research on fair ensembles. To the best of our knowledge, this is one of the first and largest studies on fairness composition in ensembles yet presented in the literature.

Building an accurate model of travel behaviour based on individuals' characteristics and built environment attributes is of importance for policy-making and transportation planning. Recent experiments with big data and Machine Learning (ML) algorithms toward a better travel behaviour analysis have mainly overlooked socially disadvantaged groups. Accordingly, in this study, we explore the travel behaviour responses of low-income individuals to transit investments in the Greater Toronto and Hamilton Area, Canada, using statistical and ML models. We first investigate how the model choice affects the prediction of transit use by the low-income group. This step includes comparing the predictive performance of traditional and ML algorithms and then evaluating a transit investment policy by contrasting the predicted activities and the spatial distribution of transit trips generated by vulnerable households after improving accessibility. We also empirically investigate the proposed transit investment by each algorithm and compare it with the city of Brampton's future transportation plan. While, unsurprisingly, the ML algorithms outperform classical models, there are still doubts about using them due to interpretability concerns. Hence, we adopt recent local and global model-agnostic interpretation tools to interpret how the model arrives at its predictions. Our findings reveal the great potential of ML algorithms for enhanced travel behaviour predictions for low-income strata without considerably sacrificing interpretability.

血浆定义为物质的第四个状态，在高电场下可以在大气压下产生非热血浆。现在众所周知，血浆激活液体（PAL）的强和广谱抗菌作用。机器学习（ML）在医疗领域的可靠适用性也鼓励其在等离子体医学领域的应用。因此，在PALS上的ML应用可以提出一种新的观点，以更好地了解各种参数对其抗菌作用的影响。在本文中，通过使用先前获得的数据来定性预测PAL的体外抗菌活性，从而介绍了比较监督的ML模型。进行了文献搜索，并从33个相关文章中收集了数据。在所需的预处理步骤之后，将两种监督的ML方法（即分类和回归）应用于数据以获得微生物灭活（MI）预测。对于分类，MI分为四类，对于回归，MI被用作连续变量。为分类和回归模型进行了两种不同的可靠交叉验证策略，以评估所提出的方法。重复分层的K折交叉验证和K折交叉验证。我们还研究了不同特征对模型的影响。结果表明，高参数优化的随机森林分类器（ORFC）和随机森林回归者（ORFR）分别比其他模型进行了分类和回归的模型更好。最后，获得ORFC的最佳测试精度为82.68％，ORFR的R2为0.75。 ML技术可能有助于更好地理解在所需的抗菌作用中具有主要作用的血浆参数。此外，此类发现可能有助于将来的血浆剂量定义。

电池性能数据集通常是非正常和多色性的。推断出用于模型预测的这些数据集需要注意这些特性。本研究探讨了数据正常性对建筑机械学习模型的影响。在这项工作中，基于树的回归模型和多元线性回归模型每个都是由具有多卷曲性的高度偏斜的非正常数据集构建。有几种技术是必要的，例如数据转换，以实现具有此数据集的良好多个线性回归模型;讨论了最有用的技术。利用这些技术，最佳的多元线性回归模型达到了R ^ 2 = 81.23％，并且没有对本研究中使用的数据集没有多种性效应。基于树的模型在此数据集上执行更好，因为它们是非参数，能够在变量之间处理复杂关系而不受彩细量的影响。我们在使用随机森林时，我们展示了袋装，减少了过度装备。我们最佳的基于树的模型实现了R ^ 2 = 97.73％的准确性。本研究解释了为什么基于树的回归应该作为非正常分布式多元图数据的机器学习模型。

杂交和集合学习技术是改善预测方法的预测能力的流行模型融合技术。通过有限的研究，将这两种有前途的方法结合在一起，本文着重于不同合奏的基础模型池中指数平滑的旋转神经网络（ES-RNN）的实用性。我们将某些最先进的结合技术和算术模型平均作为基准进行比较。我们对M4预测数据集进行了100,000个时间序列，结果表明，基于特征的预测模型平均（FFORFORA）平均是与ES-RNN的晚期数据融合的最佳技术。但是，考虑到M4的每日数据子集，堆叠是处理所有基本模型性能相似的情况下唯一成功的合奏。我们的实验结果表明，与N-Beats作为基准相比，我们达到了艺术的预测结果。我们得出的结论是，模型平均比模型选择和堆叠策略更强大。此外，结果表明，提高梯度对于实施合奏学习策略是优越的。

预测经济的短期动态 - 对经济代理商决策过程的重要意见 - 经常在线性模型中使用滞后指标。这通常在正常时期就足够了，但在危机期间可能不足。本文旨在证明，在非线性机器学习方法的帮助下，非传统和及时的数据（例如零售和批发付款）可以为决策者提供复杂的模型，以准确地估算几乎实时的关键宏观经济指标。此外，我们提供了一组计量经济学工具，以减轻机器学习模型中的过度拟合和解释性挑战，以提高其政策使用的有效性。我们的模型具有付款数据，非线性方法和量身定制的交叉验证方法，有助于提高宏观经济的启示准确性高达40 \％ - 在COVID-19期间的增长较高。我们观察到，付款数据对经济预测的贡献很小，在低和正常增长期间是线性的。但是，在强年或正增长期间，付款数据的贡献很大，不对称和非线性。

天然气管道中的泄漏检测是石油和天然气行业的一个重要且持续的问题。这尤其重要，因为管道是运输天然气的最常见方法。这项研究旨在研究数据驱动的智能模型使用基本操作参数检测天然气管道的小泄漏的能力，然后使用现有的性能指标比较智能模型。该项目应用观察者设计技术，使用回归分类层次模型来检测天然气管道中的泄漏，其中智能模型充当回归器，并且修改后的逻辑回归模型充当分类器。该项目使用四个星期的管道数据流研究了五个智能模型（梯度提升，决策树，随机森林，支持向量机和人工神经网络）。结果表明，虽然支持向量机和人工神经网络比其他网络更好，但由于其内部复杂性和所使用的数据量，它们并未提供最佳的泄漏检测结果。随机森林和决策树模型是最敏感的，因为它们可以在大约2小时内检测到标称流量的0.1％的泄漏。所有智能模型在测试阶段中具有高可靠性，错误警报率为零。将所有智能模型泄漏检测的平均时间与文献中的实时短暂模型进行了比较。结果表明，智能模型在泄漏检测问题中的表现相对较好。该结果表明，可以与实时瞬态模型一起使用智能模型，以显着改善泄漏检测结果。

旅行时间是交通的重要措施。准确的旅行时间预测也是操作和先进信息系统的基础。短期旅行时间预测等各种解决方案，例如利用实时GPS数据和优化方法来跟踪车辆的路径的解决方案。然而，可靠的长期预测仍然具有挑战性。我们在本文中展示了旅行时间的适用性和有用性即邮政服务的交货时间预测。我们调查了几种方法，如线性回归模型和基于树的集合，如随机森林，堆垛和升压，允许通过进行广泛的实验并考虑许多可用性方案来预测交货时间。结果表明，旅行时间预测可以帮助减轻邮政服务的高延误。我们表明，一些升压算法，例如轻梯度提升和CATBoost，在准确性和运行时效率方面具有比其他基线，如线性回归模型，装袋回归和随机林等其他基线具有更高的性能。

大型观察数据越来越多地提供健康，经济和社会科学等学科，研究人员对因果问题而不是预测感兴趣。在本文中，从旨在调查参与学校膳食计划对健康指标的实证研究，研究了使用非参数回归的方法估算异质治疗效果的问题。首先，我们介绍了与观察或非完全随机数据进行因果推断相关的设置和相关的问题，以及如何在统计学习工具的帮助下解决这些问题。然后，我们审查并制定现有最先进的框架的统一分类，允许通过非参数回归模型来估算单个治疗效果。在介绍模型选择问题的简要概述后，我们说明了一些关于三种不同模拟研究的方法的性能。我们通过展示一些关于学校膳食计划数据的实证分析的一些方法的使用来结束。

机器学习渗透到许多行业，这为公司带来了新的利益来源。然而，在人寿保险行业中，机器学习在实践中并未被广泛使用，因为在过去几年中，统计模型表明了它们的风险评估效率。因此，保险公司可能面临评估人工智能价值的困难。随着时间的流逝，专注于人寿保险行业的修改突出了将机器学习用于保险公司的利益以及通过释放数据价值带来的利益。本文回顾了传统的生存建模方法论，并通过机器学习技术扩展了它们。它指出了与常规机器学习模型的差异，并强调了特定实现在与机器学习模型家族中面对审查数据的重要性。在本文的补充中，已经开发了Python库。已经调整了不同的开源机器学习算法，以适应人寿保险数据的特殊性，即检查和截断。此类模型可以轻松地从该SCOR库中应用，以准确地模拟人寿保险风险。

合奏学习结合了几个单独的模型，以获得更好的概括性能。目前，与浅层或传统模型相比，深度学习体系结构表现更好。深度合奏学习模型结合了深度学习模型以及整体学习的优势，使最终模型具有更好的概括性能。本文回顾了最先进的深度合奏模型，因此是研究人员的广泛摘要。合奏模型广泛地分类为包装，增强，堆叠，基于负相关的深度合奏模型，显式/隐式合奏，同质/异质合奏，基于决策融合策略的深层集合模型。还简要讨论了在不同领域中深层集成模型的应用。最后，我们以一些潜在的未来研究方向结束了本文。

在线旅行社（OTA）的网站在元搜索竞标引擎上宣传。预测酒店将收到的单击数量的给定出价金额的问题是管理元搜索引擎上OTA广告活动的重要一步，因为出价时间的点击次数定义了要生成的成本。在这项工作中，各种回归器都结束了，以提高点击预测性能。按照预处理程序，将功能集分为火车和测试组，具体取决于样品的记录日期。然后，将数据收集进行基于XGBoost的缩小降低，从而大大降低了特征的维度。然后通过将贝叶斯高参数优化应用于XGBoost，LightGBM和SGD模型来找到最佳的高参数。单独测试了十种不同的机器学习模型，并将它们组合在一起以创建合奏模型。提出了三种替代合奏解决方案。相同的测试集用于测试单个和集合模型，46个模型组合的结果表明，堆栈集合模型得出所有的R2分数。总之，整体模型将预测性能提高了约10％。

本文调查了股票回购，特别是分享回购公告。它解决了如何识别此类公告，股票回购的超额回报以及股票回购公告后的回报的预测。我们说明了两种NLP方法，用于自动检测股票回购公告。即使有少量的培训数据，我们也可以达到高达90％的准确性。该论文利用这些NLP方法生成一个由57,155个股票回购公告组成的大数据集。通过分析该数据集，本论文的目的是表明大多数宣布回购的公司的大多数公司都表现不佳。但是，少数公司的表现极大地超过了MSCI世界。当查看所有公司的平均值时，这种重要的表现过高会导致净收益。如果根据公司的规模调整了基准指数，则平均表现过高，并且大多数表现不佳。但是，发现宣布股票回购的公司至少占其市值的1％，即使使用调整后的基准，也平均交付了显着的表现。还发现，在危机时期宣布股票回购的公司比整个市场更好。此外，生成的数据集用于训练72个机器学习模型。通过此，它能够找到许多可以达到高达77％并产生大量超额回报的策略。可以在六个不同的时间范围内改善各种性能指标，并确定明显的表现。这是通过训练多个模型的不同任务和时间范围以及结合这些不同模型的方法来实现的，从而通过融合弱学习者来产生重大改进，以创造一个强大的学习者。

拖延是任务的非理性延迟，是在线学习中的普遍情况。潜在的负面后果包括更高的辍学风险，增加压力和情绪减少。由于学习管理系统和学习分析的增加，可以检测到这种行为的指标，从而预测未来的拖延和其他扩张行为。但是，关注此类预测的研究很少。此外，几乎不存在涉及不同类型的预测指标和预测性能之间的比较的研究。在这项研究中，我们旨在通过分析多个机器学习算法的性能来填补这些研究空白，以预测具有两类预测指标的高等教育环境中在线作业的延迟或及时提交：基于主观的，基于问卷的变量和目标，客观，客观，客观，目标，客观，客观，客观，客观，从学习管理系统中提取的基于日志数据的指标。结果表明，具有客观预测变量的模型始终优于主观预测指标的模型，并且两种变量类型的组合表现稍好一些。对于这三个选项中的每一个，一种不同的方法盛行（主观，贝叶斯多层次模型的梯度增强机器，共同预测指标的随机森林）。我们得出的结论是，在学习管理系统中实施此类模型之前，应仔细注意预测变量和算法。

Precision Medicine根据患者的特征为患者提供定制的治疗方法，是提高治疗效率的一种有希望的方法。大规模的OMICS数据对于患者表征很有用，但是它们的测量经常会随着时间而变化，从而导致纵向数据。随机森林是用于构建预测模型的最先进的机器学习方法之一，并且可以在精密医学中发挥关键作用。在本文中，我们回顾了标准随机森林方法的扩展，以进行纵向数据分析。扩展方法根据其设计的数据结构进行分类。我们考虑单变量和多变量响应，并根据时间效应是否相关，进一步对重复测量进行分类。还提供了审查扩展程序的可用软件实现信息。最后，我们讨论了我们审查的局限性和一些未来的研究指示。

分类器的合奏结合了几个单个分类器，以提供最终的预测或分类决策。一个越来越令人发指的问题是，此类系统是否可以胜过单个最佳分类器。如果是这样，哪种形式的分类器合奏（也称为多个分类器学习系统或多个分类器）在合奏本身的规模或多样性中产生最重要的好处？鉴于用于检测自闭症特征的测试是耗时且昂贵的，因此开发了一种将提供最佳结果和测量自闭症谱系障碍（ASD）的系统。在本文中，评估了几个单一和后来的多个分类器学习系统，以预测和确定影响或有助于ASD的因素出于早期筛查目的的能力。行为数据和机器人增强疗法的3,000次课程和300小时的数据集，该疗法被记录为61名儿童。仿真结果表明，与单个分类器相比，多个分类器学习系统（尤其是每个集合具有三个分类器的人）的优越预测性能，可以通过装袋和增强获得出色的结果。看来，社会交流手势仍然是儿童ASD问题的关键因素。

基于参数统计模型的经验贝叶斯（EB）方法如负二项式（NB）已广泛用于道路网络安全筛选过程中的排名位点。本文是提出基于条件生成对冲网络（CGAN）的新型非参数EB方法的新型研究，其中提出了一种基于条件生成的对冲网络（CGAN）的模拟频率数据数据。与参数方法不同，在提议的CGAN-EB中，无所决的和独立变量之间不需要预先指定的底层关系，他们能够建模任何类型的分布。该拟议的方法现在应用于从2012年至2017年在华盛顿州的道路段收集的真实数据集。与模型拟合，预测性能和网络筛查结果的Cgan-EB的性能与作为基准的传统方法（NB-EB）进行比较。结果表明，在预测权力和热点识别测试方面，所提出的Cgan-EB方法优于NB-EB。