在人工智能中，我们经常寻求确定许多变量的未知目标函数$ y = f（\ mathbf {x}）$给出有限的例子$ s = \ {（\ mathbf {x ^ {（i）}} ，y ^ {（i）}）\} $ with $ \ mathbf {x ^ {（i）}} \以$ d $是一个感兴趣的域名。我们将$ S $称为培训集和最终任务是识别近似于新$ \ MATHBF {x} $近似于此目标函数的数学模型;使用$ t \ neq s $（即，测试模型泛化），设置$ t = \ {\ mathbf {x ^ {x ^ {x ^ {x ^ {x ^ {x ^ {x ^ {x ^ {x ^ {x但是，对于某些应用，主要兴趣是近似于较大的域名$ d'$的未知函数，该域为$ d $。例如，在涉及设计新结构的情况下，我们可能有兴趣最大化$ F $;因此，源自$ S $的模型也应该在$ d'$以$ y $大于$ s $ m $的值概括为$ d'$。从这种意义上讲，AI系统将提供重要信息，可以指导设计过程，例如，使用学习模型作为设计新实验室实验的代理功能。通过结合添加剂样条模型，我们基于持续分数的迭代配合来介绍一种多变量回归的方法。我们将其与Adaboost，内核，线性回归，Lasso Lars，线性支持向量回归，多层感知，随机林，随机梯度下降和XGBoost等方法进行比较。我们基于物理化学特性预测超导体临界温度的重要问题的性能。

无论是在功能选择的领域还是可解释的AI领域，都有基于其重要性的“排名”功能的愿望。然后可以将这种功能重要的排名用于：（1）减少数据集大小或（2）解释机器学习模型。但是，在文献中，这种特征排名没有以系统的，一致的方式评估。许多论文都有不同的方式来争论哪些具有重要性排名最佳的特征。本文通过提出一种新的评估方法来填补这一空白。通过使用合成数据集，可以事先知道特征重要性得分，从而可以进行更系统的评估。为了促进使用新方法的大规模实验，在Python建造了一个名为FSEVAL的基准测定框架。该框架允许并行运行实验，并在HPC系统上的计算机上分布。通过与名为“权重和偏见”的在线平台集成，可以在实时仪表板上进行交互探索图表。该软件作为开源软件发布，并在PYPI平台上以包裹发行。该研究结束时，探索了一个这样的大规模实验，以在许多方面找到参与算法的优势和劣势。

血浆定义为物质的第四个状态，在高电场下可以在大气压下产生非热血浆。现在众所周知，血浆激活液体（PAL）的强和广谱抗菌作用。机器学习（ML）在医疗领域的可靠适用性也鼓励其在等离子体医学领域的应用。因此，在PALS上的ML应用可以提出一种新的观点，以更好地了解各种参数对其抗菌作用的影响。在本文中，通过使用先前获得的数据来定性预测PAL的体外抗菌活性，从而介绍了比较监督的ML模型。进行了文献搜索，并从33个相关文章中收集了数据。在所需的预处理步骤之后，将两种监督的ML方法（即分类和回归）应用于数据以获得微生物灭活（MI）预测。对于分类，MI分为四类，对于回归，MI被用作连续变量。为分类和回归模型进行了两种不同的可靠交叉验证策略，以评估所提出的方法。重复分层的K折交叉验证和K折交叉验证。我们还研究了不同特征对模型的影响。结果表明，高参数优化的随机森林分类器（ORFC）和随机森林回归者（ORFR）分别比其他模型进行了分类和回归的模型更好。最后，获得ORFC的最佳测试精度为82.68％，ORFR的R2为0.75。 ML技术可能有助于更好地理解在所需的抗菌作用中具有主要作用的血浆参数。此外，此类发现可能有助于将来的血浆剂量定义。

太阳耀斑，尤其是M级和X级耀斑，通常与冠状质量弹出（CMES）有关。它们是太空天气影响的最重要来源，可能会严重影响近地环境。因此，必须预测耀斑（尤其是X级），以减轻其破坏性和危险后果。在这里，我们介绍了几种统计和机器学习方法，以预测AR的耀斑指数（FI），这些方法通过考虑到一定时间间隔内的不同类耀斑的数量来量化AR的耀斑生产力。具体而言，我们的样本包括2010年5月至2017年12月在太阳能磁盘上出现的563个AR。25个磁性参数，由空中震动和磁性成像器（HMI）的太空天气HMI活性区域（Sharp）提供的太阳能动力学观测值（HMI）。 （SDO），表征了代理中存储在ARS中的冠状磁能，并用作预测因子。我们研究了这些尖锐的参数与ARS的FI与机器学习算法（样条回归）和重采样方法（合成少数群体过度采样技术，用于使用高斯噪声回归的合成少数群体过度采样技术，smogn简短）。基于既定关系，我们能够在接下来的1天内预测给定AR的FIS值。与其他4种流行的机器学习算法相比，我们的方法提高了FI预测的准确性，尤其是对于大型FI。此外，我们根据Borda Count方法从由9种不同的机器学习方法渲染的等级计算出尖锐参数的重要性。

特征选择是数据科学流水线的重要步骤，以减少与大型数据集相关的复杂性。虽然对本主题的研究侧重于优化预测性能，但很少研究在特征选择过程的上下文中调查稳定性。在这项研究中，我们介绍了重复的弹性网技术（租金）进行特色选择。租金使用具有弹性净正常化的广义线性模型的集合，每个训练都培训了训练数据的不同子集。该特征选择基于三个标准评估所有基本模型的重量分布。这一事实导致选择具有高稳定性的特征，从而提高最终模型的稳健性。此外，与已建立的特征选择器不同，租金提供了有关在训练期间难以预测的数据中难以预测的对象的模型解释的有价值信息。在我们的实验中，我们在八个多变量数据集中对六个已建立的特征选择器进行基准测试，用于二进制分类和回归。在实验比较中，租金在预测性能和稳定之间展示了均衡的权衡。最后，我们强调了租金的额外解释价值与医疗保健数据集的探索性后HOC分析。

天然气管道中的泄漏检测是石油和天然气行业的一个重要且持续的问题。这尤其重要，因为管道是运输天然气的最常见方法。这项研究旨在研究数据驱动的智能模型使用基本操作参数检测天然气管道的小泄漏的能力，然后使用现有的性能指标比较智能模型。该项目应用观察者设计技术，使用回归分类层次模型来检测天然气管道中的泄漏，其中智能模型充当回归器，并且修改后的逻辑回归模型充当分类器。该项目使用四个星期的管道数据流研究了五个智能模型（梯度提升，决策树，随机森林，支持向量机和人工神经网络）。结果表明，虽然支持向量机和人工神经网络比其他网络更好，但由于其内部复杂性和所使用的数据量，它们并未提供最佳的泄漏检测结果。随机森林和决策树模型是最敏感的，因为它们可以在大约2小时内检测到标称流量的0.1％的泄漏。所有智能模型在测试阶段中具有高可靠性，错误警报率为零。将所有智能模型泄漏检测的平均时间与文献中的实时短暂模型进行了比较。结果表明，智能模型在泄漏检测问题中的表现相对较好。该结果表明，可以与实时瞬态模型一起使用智能模型，以显着改善泄漏检测结果。

Model-X条件随机测试是有条件独立性测试的通用框架，解锁了新的可能性，以发现与感兴趣的响应有条件相关的特征，同时控制I型错误率。该测试的一个吸引力的优势是，它可以与任何机器学习模型一起使用来设计强大的测试统计数据。反过来，Model-X文献中的常见实践是使用机器学习模型形成测试统计量，经过培训，以最大程度地提高预测精度，希望能够获得良好的功率测试。但是，这里的理想目标是推动模型（在训练期间）以最大程度地提高测试功能，而不仅仅是预测精度。在本文中，我们通过首次引入新型模型拟合方案来弥合这一差距，这些方案旨在明确提高Model-X测试的功能。这是通过引入新的成本函数来完成的，该功能旨在最大化用于衡量有条件独立性违反的测试统计量。使用合成和真实的数据集，我们证明了我们提出的损失函数与各种基本预测模型（Lasso，弹性网和深神经网络）的组合始终增加所获得的正确发现的数量，同时维持I型错误率下的I型错误率控制。

旅行时间是交通的重要措施。准确的旅行时间预测也是操作和先进信息系统的基础。短期旅行时间预测等各种解决方案，例如利用实时GPS数据和优化方法来跟踪车辆的路径的解决方案。然而，可靠的长期预测仍然具有挑战性。我们在本文中展示了旅行时间的适用性和有用性即邮政服务的交货时间预测。我们调查了几种方法，如线性回归模型和基于树的集合，如随机森林，堆垛和升压，允许通过进行广泛的实验并考虑许多可用性方案来预测交货时间。结果表明，旅行时间预测可以帮助减轻邮政服务的高延误。我们表明，一些升压算法，例如轻梯度提升和CATBoost，在准确性和运行时效率方面具有比其他基线，如线性回归模型，装袋回归和随机林等其他基线具有更高的性能。

合奏的基本分支混合合奏在许多机器学习问题，尤其是回归中蓬勃发展。几项研究证实了多样性的重要性。但是，以前的合奏仅考虑在子模型训练阶段的多样性，与单个模型相比，改进有限。相反，本研究从异质模型池中选择和权重子模型。它使用内点过滤线性搜索算法解决了优化问题。这种优化问题创新地将负相关学习作为惩罚项，可以选择多种模型子集。实验结果显示了一些有意义的观点。模型池构造需要不同类别的模型，每个类别都作为子模型为所有可能的参数集。选择每个类的最佳子模型以构建基于NCL的合奏，该集合比子模型的平均值要好得多。此外，与经典常数和非恒定加权方法相比，基于NCL的合奏在几种预测指标中具有重要优势。实际上，由于模型不确定性，很难在事先结论数据集的最佳子模型。但是，我们的方法将获得可比较的精度作为RMSE度量的潜在最佳子模型。总之，这项研究的价值在于它的易用性和有效性，使混合团合奏可以接受多样性和准确性。

在大多数运动中，尤其是足球运动，大多数教练和分析师都使用符号分析搜索关键绩效指标。该方法利用了基于视频录像和目标得分的数值记录的事件的统计摘要。不幸的是，由于技术的持续进化增加，这种方法现在已经过时了，从而简化了通过机器学习（ML）对更复杂的过程变量的分析。机器学习是一种人工智能（AI）的一种形式，它使用算法来检测有意义的模式并根据位置数据定义结构。这项研究调查了一种新方法，以建立机器学习模型来评估当前足球运动员的价值，以调查玩家的各种特征，球员的工资和球员的市场价值之间的关系。该项目使用的足球运动员的数据来自多个足球网站。足球运动员薪水的数据将是评估球员价值的代理，其他功能将用于建立和训练ML模型，以预测球员的合适薪水。动机是探索足球运动员的不同特征与薪水之间有什么关系 - 每个功能如何影响其薪水，或者哪些最重要的特征影响了工资？尽管许多标准可以反映足球运动员的价值，但球员的薪水是最直观，最关键的指数之一，因此本研究将使用球员的工资作为评估其价值的代理。此外，球员的许多功能都会影响足球运动员的估值，但是球员的价值主要由三种类型的因素决定：基本特征，球场表现以及俱乐部的成就。

估计变量的重要性是现代机器学习的重要任务。这有助于评估给定模型中功能的优点。在过去的十年中，已经开发了几种估计变量重要性的技术。在本文中，我们提出了对可变重要性估计的新兴方法的计算和理论探索，即：绝对收缩和选择操作员（LASSO），支持向量机（SVM），预测误差函数（Perf），随机森林（随机森林）（ RF）和极端梯度提升（XGBOOST）在不同类型的现实生活和模拟数据上进行了测试。所有这些方法都可以无缝处理回归和分类任务，但是在处理包含丢失值的数据时都失败了。该实现表明，在高度相关数据的情况下，PURD具有最佳性能，紧随其后的是RF。 perf和xgboost是“渴望数据”的方法，它们在小数据尺寸上的性能最差，但在执行时间方面它们是最快的。当数据集中许多冗余功能时，SVM是最合适的。 perf的盈余是其自然截止量的零截止，有助于将正面和负分数分开，所有正分数表明基本和重要的特征，而负面分数表示无用的特征。 RF和Lasso的通用性非常多，尽管它们没有给予最佳效果，但它们几乎可以在所有情况下使用。

只要可以预见的是测试代码的固有特征，可以大大降低测试的高成本。本文提供了一种机器学习模型，以预测测试可以在多大程度上覆盖一个名为Coverabeality的新指标。预测模型由四个回归模型的集合组成。学习样本由特征向量组成，其中特征是为类计算的源代码指标。样品由针对其相应类计算的覆盖率值标记。我们提供了一个数学模型，以评估每个班级自动生成的测试套件的尺寸和覆盖范围的测试效果。我们通过引入一种新方法来根据现有源代码指标来定义子计量数来扩展功能空间的大小。使用功能重要性分析在学习的预测模型上，我们按照对测试效果的影响顺序对源代码指标进行排序。结果，我们发现类别严格的循环复杂性是最有影响力的源代码度量。我们对包含大约23,000个类的大型Java项目的预测模型进行的实验表明，平均绝对误差（MAE）为0.032，平均平方误差（MSE）为0.004，R2得分为0.855。与最先进的覆盖范围预测模型相比，我们的模型分别提高了MAE，MSE和R2得分5.78％，2.84％和20.71％。

Building an accurate model of travel behaviour based on individuals' characteristics and built environment attributes is of importance for policy-making and transportation planning. Recent experiments with big data and Machine Learning (ML) algorithms toward a better travel behaviour analysis have mainly overlooked socially disadvantaged groups. Accordingly, in this study, we explore the travel behaviour responses of low-income individuals to transit investments in the Greater Toronto and Hamilton Area, Canada, using statistical and ML models. We first investigate how the model choice affects the prediction of transit use by the low-income group. This step includes comparing the predictive performance of traditional and ML algorithms and then evaluating a transit investment policy by contrasting the predicted activities and the spatial distribution of transit trips generated by vulnerable households after improving accessibility. We also empirically investigate the proposed transit investment by each algorithm and compare it with the city of Brampton's future transportation plan. While, unsurprisingly, the ML algorithms outperform classical models, there are still doubts about using them due to interpretability concerns. Hence, we adopt recent local and global model-agnostic interpretation tools to interpret how the model arrives at its predictions. Our findings reveal the great potential of ML algorithms for enhanced travel behaviour predictions for low-income strata without considerably sacrificing interpretability.

大多数机器学习算法由一个或多个超参数配置，必须仔细选择并且通常会影响性能。为避免耗时和不可递销的手动试验和错误过程来查找性能良好的超参数配置，可以采用各种自动超参数优化（HPO）方法，例如，基于监督机器学习的重新采样误差估计。本文介绍了HPO后，本文审查了重要的HPO方法，如网格或随机搜索，进化算法，贝叶斯优化，超带和赛车。它给出了关于进行HPO的重要选择的实用建议，包括HPO算法本身，性能评估，如何将HPO与ML管道，运行时改进和并行化结合起来。这项工作伴随着附录，其中包含关于R和Python的特定软件包的信息，以及用于特定学习算法的信息和推荐的超参数搜索空间。我们还提供笔记本电脑，这些笔记本展示了这项工作的概念作为补充文件。

比较不同的汽车框架是具有挑战性的，并且经常做错了。我们引入了一个开放且可扩展的基准测试，该基准遵循最佳实践，并在比较自动框架时避免常见错误。我们对71个分类和33项回归任务进行了9个著名的自动框架进行了详尽的比较。通过多面分析，评估模型的准确性，与推理时间的权衡以及框架失败，探索了自动框架之间的差异。我们还使用Bradley-terry树来发现相对自动框架排名不同的任务子集。基准配备了一个开源工具，该工具与许多自动框架集成并自动化经验评估过程端到端：从框架安装和资源分配到深入评估。基准测试使用公共数据集，可以轻松地使用其他Automl框架和任务扩展，并且具有最新结果的网站。

机器学习渗透到许多行业，这为公司带来了新的利益来源。然而，在人寿保险行业中，机器学习在实践中并未被广泛使用，因为在过去几年中，统计模型表明了它们的风险评估效率。因此，保险公司可能面临评估人工智能价值的困难。随着时间的流逝，专注于人寿保险行业的修改突出了将机器学习用于保险公司的利益以及通过释放数据价值带来的利益。本文回顾了传统的生存建模方法论，并通过机器学习技术扩展了它们。它指出了与常规机器学习模型的差异，并强调了特定实现在与机器学习模型家族中面对审查数据的重要性。在本文的补充中，已经开发了Python库。已经调整了不同的开源机器学习算法，以适应人寿保险数据的特殊性，即检查和截断。此类模型可以轻松地从该SCOR库中应用，以准确地模拟人寿保险风险。

本文调查了股票回购，特别是分享回购公告。它解决了如何识别此类公告，股票回购的超额回报以及股票回购公告后的回报的预测。我们说明了两种NLP方法，用于自动检测股票回购公告。即使有少量的培训数据，我们也可以达到高达90％的准确性。该论文利用这些NLP方法生成一个由57,155个股票回购公告组成的大数据集。通过分析该数据集，本论文的目的是表明大多数宣布回购的公司的大多数公司都表现不佳。但是，少数公司的表现极大地超过了MSCI世界。当查看所有公司的平均值时，这种重要的表现过高会导致净收益。如果根据公司的规模调整了基准指数，则平均表现过高，并且大多数表现不佳。但是，发现宣布股票回购的公司至少占其市值的1％，即使使用调整后的基准，也平均交付了显着的表现。还发现，在危机时期宣布股票回购的公司比整个市场更好。此外，生成的数据集用于训练72个机器学习模型。通过此，它能够找到许多可以达到高达77％并产生大量超额回报的策略。可以在六个不同的时间范围内改善各种性能指标，并确定明显的表现。这是通过训练多个模型的不同任务和时间范围以及结合这些不同模型的方法来实现的，从而通过融合弱学习者来产生重大改进，以创造一个强大的学习者。

We develop a general framework for distribution-free predictive inference in regression, using conformal inference. The proposed methodology allows for the construction of a prediction band for the response variable using any estimator of the regression function. The resulting prediction band preserves the consistency properties of the original estimator under standard assumptions, while guaranteeing finite-sample marginal coverage even when these assumptions do not hold. We analyze and compare, both empirically and theoretically, the two major variants of our conformal framework: full conformal inference and split conformal inference, along with a related jackknife method. These methods offer different tradeoffs between statistical accuracy (length of resulting prediction intervals) and computational efficiency. As extensions, we develop a method for constructing valid in-sample prediction intervals called rank-one-out conformal inference, which has essentially the same computational efficiency as split conformal inference. We also describe an extension of our procedures for producing prediction bands with locally varying length, in order to adapt to heteroskedascity in the data. Finally, we propose a model-free notion of variable importance, called leave-one-covariate-out or LOCO inference. Accompanying this paper is an R package conformalInference that implements all of the proposals we have introduced. In the spirit of reproducibility, all of our empirical results can also be easily (re)generated using this package.

我们引入了一种新的经验贝叶斯方法，用于大规模多线性回归。我们的方法结合了两个关键思想：（i）使用灵活的“自适应收缩”先验，该先验近似于正常分布的有限混合物，近似于正常分布的非参数家族； （ii）使用变分近似来有效估计先前的超参数并计算近似后期。将这两个想法结合起来，将快速，灵活的方法与计算速度相当，可与快速惩罚的回归方法（例如Lasso）相当，并在各种场景中具有出色的预测准确性。此外，我们表明，我们方法中的后验平均值可以解释为解决惩罚性回归问题，并通过直接解决优化问题（而不是通过交叉验证来调整）从数据中学到的惩罚函数的精确形式。 。我们的方法是在r https://github.com/stephenslab/mr.ash.ash.alpha的r软件包中实现的

软件测试可能是一个漫长且昂贵的过程，尤其是如果无法测试的软件进行测试。重构技术可以通过改善影响可检验性的软件指标来增强可检验性。在构建回归模型学习如何将计算的源代码计算指标与其可检验性相关联的指标时，确定了指标。我们确定了15个软件指标，在解释我们的可检测性预测模型的同时，高度影响可检验性。我们使用42个Java类的实验表明，除了改善其他一些质量属性外，改善这15个指标的重构平均可以提高可测试性15.57％。我们的可测试性预测模型经过训练，可以映射源代码指标，以测试有效性和效率，作为可测试软件的两种重要成分。随着测试套件获得的覆盖范围的增加，测试有效性会提高。另一方面，随着测试套件的大小增加，测试效率会降低。本文提供了一个数学模型，以根据测试套件的大小和覆盖范围来计算类可检验性。我们使用此数学模型来计算可测试性作为我们可检测性预测模型的目标。数学模型要求执行正在测试的类以计算测试覆盖范围，而我们的回归模型在静态上测量了测试性。在测试性方面的测试结果预测应在测试之前，以避免不必要的成本。我们的可测试性预测模型已在23,886个Java类和262个软件指标上进行了培训和测试。学习的模型以R2为0.68，平均平方误差为0.03，可预测可验证性。