大多数机器学习（ML）算法具有多个随机元素，并且它们的性能受这些随机性来源的影响。本文使用一项经验研究来系统地检查两个来源的效果：模型训练中的随机性和在数据集分配到训练和测试子集中的随机性中。我们量化和比较以下ML算法的预测性能变化的幅度：随机森林（RFS），梯度增强机（GBMS）和前馈神经网络（FFNNS）。在不同的算法中，与基于树的方法相比，模型训练中的随机性会导致FFNN的变化更大。这是可以预期的，因为FFNN具有更多的随机元素，这些元素是其模型初始化和训练的一部分。我们还发现，与模型训练的固有随机性相比，数据集的随机分裂会导致更高的变化。如果原始数据集具有相当大的异质性，则数据拆分的变化可能是一个主要问题。关键字：模型培训，可重复性，变化

The application of deep learning algorithms to financial data is difficult due to heavy non-stationarities which can lead to over-fitted models that underperform under regime changes. Using the Numerai tournament data set as a motivating example, we propose a machine learning pipeline for trading market-neutral stock portfolios based on tabular data which is robust under changes in market conditions. We evaluate various machine-learning models, including Gradient Boosting Decision Trees (GBDTs) and Neural Networks with and without simple feature engineering, as the building blocks for the pipeline. We find that GBDT models with dropout display high performance, robustness and generalisability with relatively low complexity and reduced computational cost. We then show that online learning techniques can be used in post-prediction processing to enhance the results. In particular, dynamic feature neutralisation, an efficient procedure that requires no retraining of models and can be applied post-prediction to any machine learning model, improves robustness by reducing drawdown in volatile market conditions. Furthermore, we demonstrate that the creation of model ensembles through dynamic model selection based on recent model performance leads to improved performance over baseline by improving the Sharpe and Calmar ratios. We also evaluate the robustness of our pipeline across different data splits and random seeds with good reproducibility of results.

在这项工作中，我们审查并评估了一个具有公开可用和广泛使用的数据集的深度学习知识追踪（DLKT）模型，以及学习编程的新型学生数据集。评估的DLKT模型已重新实现，用于评估先前报告的结果的可重复性和可复制性。我们测试在与模型的主要架构上独立于模型的比较模型中找到的不同输入和输出层变化，以及在某些研究中隐含地和明确地使用的不同最大尝试计数选项。几个指标用于反映评估知识追踪模型的质量。评估的知识追踪模型包括Vanilla-DKT，两个长短期内存深度知识跟踪（LSTM-DKT）变体，两个动态键值存储器网络（DKVMN）变体，以及自我细致的知识跟踪（SAKT）。我们评估Logistic回归，贝叶斯知识跟踪（BKT）和简单的非学习模型作为基准。我们的结果表明，DLKT模型一般优于非DLKT模型，DLKT模型之间的相对差异是微妙的，并且在数据集之间经常变化。我们的研究结果还表明，通常的纯模型，例如平均预测，比更复杂的知识追踪模型更好地表现出更好的性能，尤其是在准确性方面。此外，我们的公制和封路数据分析显示，用于选择最佳模型的度量标准对模型的性能有明显的影响，并且该度量选择可以影响模型排名。我们还研究了输入和输出层变化的影响，过滤出长期尝试序列，以及随机性和硬件等非模型属性。最后，我们讨论模型性能可重量和相关问题。我们的模型实现，评估代码和数据作为本工作的一部分发布。

主动学习（AL）是一个有希望的ML范式，有可能解析大型未标记数据并有助于降低标记数据可能令人难以置信的域中的注释成本。最近提出的基于神经网络的AL方法使用不同的启发式方法来实现这一目标。在这项研究中，我们证明，在相同的实验环境下，不同类型的AL算法（基于不确定性，基于多样性和委员会）产生了与随机采样基线相比的不一致增长。通过各种实验，控制了随机性来源，我们表明，AL算法实现的性能指标方差可能会导致与先前报道的结果不符的结果。我们还发现，在强烈的正则化下，AL方法在各种实验条件下显示出比随机采样基线的边缘或没有优势。最后，我们以一系列建议进行结论，以了解如何使用新的AL算法评估结果，以确保在实验条件下的变化下结果可再现和健壮。我们共享我们的代码以促进AL评估。我们认为，我们的发现和建议将有助于使用神经网络在AL中进行可重复的研究。我们通过https://github.com/prateekmunjal/torchal开源代码

能源部门的深度脱碳将需要大量的随机可再生能源渗透和大量的网格资产协调。对于面对这种变化而负责维持电网稳定性和安全性的电力系统运营商来说，这是一个具有挑战性的范式。凭借从复杂数据集中学习并提供有关快速时间尺度的预测解决方案的能力，机器学习（ML）得到了很好的选择，可以帮助克服这些挑战，因为在未来几十年中，电力系统转变。在这项工作中，我们概述了与构建可信赖的ML模型相关的五个关键挑战（数据集生成，数据预处理，模型培训，模型评估和模型嵌入），这些模型从基于物理的仿真数据中学习。然后，我们演示如何将单个模块连接在一起，每个模块都克服了各自的挑战，在机器学习管道中的顺序阶段，如何有助于提高训练过程的整体性能。特别是，我们实施了通过反馈连接学习管道的不同元素的方法，从而在模型培训，绩效评估和重新训练之间“关闭循环”。我们通过学习与拟议的北海风能中心系统的详细模型相关的N-1小信号稳定性边缘来证明该框架，其组成模块的有效性及其反馈连接。

HyperParamter Tuning是机器学习中最耗时的部分之一：必须评估大量不同的超参数设置的性能以找到最佳的零件。尽管存在最小化所需评估数量的现代优化算法，但单个设置的评估仍然是昂贵的：使用重采样技术，机器学习方法必须安装在不同训练数据集上的固定数量的$ k $次。作为用于设置设置的估算器，使用$ k $ fits的相应平均值。在不到$ k $重新采样的迭代后，可以丢弃许多超代域设置，因为它们已经明显不如高的执行设置。然而，在实践中，通常进行重采样直到最终，浪费大量的计算工作。我们建议使用顺序测试程序来最小化重采样迭代的数量来检测下参数设置。为此，我们首先分析重采样错误的分布，我们会发现，日志正态分布是有前途的。之后，我们构建了假设此分发的顺序测试程序。该顺序测试过程在随机搜索算法内使用。在一些现实数据情况下，我们将标准随机搜索与增强的顺序随机搜索进行比较。可以证明，顺序随机搜索能够找到相对的良好的超参数设置，但是，找到这些设置所需的计算时间大致减半。

大多数机器学习算法由一个或多个超参数配置，必须仔细选择并且通常会影响性能。为避免耗时和不可递销的手动试验和错误过程来查找性能良好的超参数配置，可以采用各种自动超参数优化（HPO）方法，例如，基于监督机器学习的重新采样误差估计。本文介绍了HPO后，本文审查了重要的HPO方法，如网格或随机搜索，进化算法，贝叶斯优化，超带和赛车。它给出了关于进行HPO的重要选择的实用建议，包括HPO算法本身，性能评估，如何将HPO与ML管道，运行时改进和并行化结合起来。这项工作伴随着附录，其中包含关于R和Python的特定软件包的信息，以及用于特定学习算法的信息和推荐的超参数搜索空间。我们还提供笔记本电脑，这些笔记本展示了这项工作的概念作为补充文件。

在机器学习（ML）社区中，低阶功能方差分析（FAROVA）模型以固有的可解释的机器学习为幌子。可解释的提升机或EBM（Lou等人，2013年）和Gami-Net（Yang等，2021）是最近提出的两种用于拟合功能性主要效应和二阶相互作用的ML算法。我们提出了一种称为Gami-Tree的新算法，类似于EBM，但具有许多可带来更好性能的功能。它使用基于模型的树作为基础学习者，并结合了一种新的交互过滤方法，可以更好地捕获基础交互。此外，我们的迭代训练方法会收敛到具有更好的预测性能的模型，并且嵌入式纯化确保相互作用在层次上是正交的，与主要效应是正交的。该算法不需要广泛的调整，我们的实施是快速有效的。我们使用模拟和真实数据集比较Gami-Tree与EBM和GAMI-NET的性能和解释性。

在过去的几年中，神经网络（NN）从实验室环境中发展为许多现实世界中的最新问题。结果表明，NN模型（即它们的重量和偏见）在训练过程中的重量空间中的独特轨迹上演变。随后，这种神经网络模型（称为模型动物园）的人群将在体重空间中形成结构。我们认为，这些结构的几何形状，曲率和平滑度包含有关训练状态的信息，并且可以揭示单个模型的潜在特性。使用这种模型动物园，可以研究（i）模型分析的新方法，（ii）发现未知的学习动力学，（iii）学习此类人群的丰富表示形式，或（iv）利用模型动物园来用于NN权重和NN权重的生成模型偏见。不幸的是，缺乏标准化模型动物园和可用的基准可以显着增加摩擦，以进一步研究NNS人群。通过这项工作，我们发布了一个新颖的模型动物园数据集，其中包含系统生成和多样化的NN模型种群，以进行进一步研究。总共提出的模型动物园数据集基于八个图像数据集，由27个模型动物园组成，该模型动物园训练有不同的超参数组合，包括50'360唯一的NN型号以及其稀疏双胞胎，导致超过3'844'360收集的型号。 。此外，对于模型动物园数据，我们提供了对动物园的深入分析，并为多个下游任务提供了基准。该数据集可在www.modelzoos.cc上找到。

模型选择过程通常是单一准则决策，在该决策中，我们选择了在特定集合中最大化特定度量的模型，例如验证集的性能。我们声称这非常天真，由于过度搜索现象，可以对过度拟合的模型进行糟糕的选择，从而高估了该特定集合的性能。futhermore，现实世界数据包含模型选择过程不应忽略的噪声，并且在执行模型选择时必须考虑到。此外，我们定义了四个理论最优条件，我们可以追求这些条件，以更好地选择模型并通过使用多标准决策算法（TOPSIS）来分析它们，该算法（TOPSIS）认为代理最佳条件以选择合理的模型。

机器学习中的超参数（ML）受到了相当多的关注，并且高参数调整已被视为ML管道中的重要一步。但是，调整有多么有用？虽然先前已经进行了较小的实验，但本文中，我们进行了大规模研究，特别是涉及26毫升算法，250个数据集（回归以及二进制和多项式分类），6个得分指标和28,857,600算法运行。分析结果我们得出的结论是，对于许多ML算法，我们不应该期望平均而言，高参数调整会获得可观的收益，但是，可能有一些数据集的默认超参数性能差，而后者对于某些算法而言是比其他算法更真实的。通过定义一个组合算法的累积统计数据的单个HP_SCORE值，我们能够对预期从高参数调整到预期获得最低收益的26毫升算法进行排名的26毫升算法。我们认为，这样的研究可能会为ML从业者提供整体服务。

我们查看模型可解释性的特定方面：模型通常需要限制在大小上才能被认为是可解释的，例如，深度5的决策树比深度50中的一个更容易解释。但是，较小的模型也倾向于高偏见。这表明可解释性和准确性之间的权衡。我们提出了一种模型不可知论技术，以最大程度地减少这种权衡。我们的策略是首先学习甲骨文，这是培训数据上高度准确的概率模型。 Oracle预测的不确定性用于学习培训数据的抽样分布。然后，对使用此分布获得的数据样本进行了可解释的模型，通常会导致精确度明显更高。我们将抽样策略作为优化问题。我们的解决方案1具有以下关键的有利属性：（1）它使用固定数量的七个优化变量，而与数据的维度（2）无关，它是模型不可知的 - 因为可解释的模型和甲骨文都可能属于任意性模型家族（3）它具有模型大小的灵活概念，并且可以容纳向量大小（4）它是一个框架，使其能够从优化领域的进度中受益。我们还提出了以下有趣的观察结果：（a）通常，小型模型大小的最佳训练分布与测试分布不同； （b）即使可解释的模型和甲骨文来自高度截然不同的模型家族，也存在这种效果：我们通过使用封闭的复发单位网络作为甲骨文来提高决策树的序列分类精度，从而在文本分类任务上显示此效果。使用字符n-grams； （c）对于模型，我们的技术可用于确定给定样本量的最佳训练样本。

解决现实数据科学问题的一个关键元素正在选择要使用的模型类型。通常建议使用表格数据的分类和回归问题的树集合模型（如XGBoost）。然而，最近已经提出了几种用于表格数据的深层学习模型，声称对某些用例倾斜XGBoost。本文探讨了这些深度模型是否应该是通过严格将新的深层模型与各种数据集上的XGBoost进行比较来推荐的表格数据。除了系统地比较他们的性能外，我们还考虑他们所需要的调谐和计算。我们的研究表明，XGBoost在数据集中优于这些深度模型，包括提出深层模型的论文中使用的数据集。我们还证明XGBoost需要更少的调整。在积极的一面，我们表明，深层模型和XGBoost的集合在这些数据集上仅仅比XGBoost更好。

我们研究了回归中神经网络（NNS）的模型不确定性的方法。为了隔离模型不确定性的效果，我们专注于稀缺训练数据的无噪声环境。我们介绍了关于任何方法都应满足的模型不确定性的五个重要的逃亡者。但是，我们发现，建立的基准通常无法可靠地捕获其中一些逃避者，即使是贝叶斯理论要求的基准。为了解决这个问题，我们介绍了一种新方法来捕获NNS的模型不确定性，我们称之为基于神经优化的模型不确定性（NOMU）。 NOMU的主要思想是设计一个由两个连接的子NN组成的网络体系结构，一个用于模型预测，一个用于模型不确定性，并使用精心设计的损耗函数进行训练。重要的是，我们的设计执行NOMU满足我们的五个Desiderata。由于其模块化体系结构，NOMU可以为任何给定（先前训练）NN提供模型不确定性，如果访问其培训数据。我们在各种回归任务和无嘈杂的贝叶斯优化（BO）中评估NOMU，并具有昂贵的评估。在回归中，NOMU至少和最先进的方法。在BO中，Nomu甚至胜过所有考虑的基准。

Many different machine learning algorithms exist; taking into account each algorithm's hyperparameters, there is a staggeringly large number of possible alternatives overall. We consider the problem of simultaneously selecting a learning algorithm and setting its hyperparameters, going beyond previous work that addresses these issues in isolation. We show that this problem can be addressed by a fully automated approach, leveraging recent innovations in Bayesian optimization. Specifically, we consider a wide range of feature selection techniques (combining 3 search and 8 evaluator methods) and all classification approaches implemented in WEKA, spanning 2 ensemble methods, 10 meta-methods, 27 base classifiers, and hyperparameter settings for each classifier. On each of 21 popular datasets from the UCI repository, the KDD Cup 09, variants of the MNIST dataset and CIFAR-10, we show classification performance often much better than using standard selection/hyperparameter optimization methods. We hope that our approach will help non-expert users to more effectively identify machine learning algorithms and hyperparameter settings appropriate to their applications, and hence to achieve improved performance.

This paper presents a novel technique based on gradient boosting to train the final layers of a neural network (NN). Gradient boosting is an additive expansion algorithm in which a series of models are trained sequentially to approximate a given function. A neural network can also be seen as an additive expansion where the scalar product of the responses of the last hidden layer and its weights provide the final output of the network. Instead of training the network as a whole, the proposed algorithm trains the network sequentially in $T$ steps. First, the bias term of the network is initialized with a constant approximation that minimizes the average loss of the data. Then, at each step, a portion of the network, composed of $J$ neurons, is trained to approximate the pseudo-residuals on the training data computed from the previous iterations. Finally, the $T$ partial models and bias are integrated as a single NN with $T \times J$ neurons in the hidden layer. Extensive experiments in classification and regression tasks, as well as in combination with deep neural networks, are carried out showing a competitive generalization performance with respect to neural networks trained with different standard solvers, such as Adam, L-BFGS, SGD and deep models. Furthermore, we show that the proposed method design permits to switch off a number of hidden units during test (the units that were last trained) without a significant reduction of its generalization ability. This permits the adaptation of the model to different classification speed requirements on the fly.

Grid search and manual search are the most widely used strategies for hyper-parameter optimization. This paper shows empirically and theoretically that randomly chosen trials are more efficient for hyper-parameter optimization than trials on a grid. Empirical evidence comes from a comparison with a large previous study that used grid search and manual search to configure neural networks and deep belief networks. Compared with neural networks configured by a pure grid search, we find that random search over the same domain is able to find models that are as good or better within a small fraction of the computation time. Granting random search the same computational budget, random search finds better models by effectively searching a larger, less promising configuration space. Compared with deep belief networks configured by a thoughtful combination of manual search and grid search, purely random search over the same 32-dimensional configuration space found statistically equal performance on four of seven data sets, and superior performance on one of seven. A Gaussian process analysis of the function from hyper-parameters to validation set performance reveals that for most data sets only a few of the hyper-parameters really matter, but that different hyper-parameters are important on different data sets. This phenomenon makes grid search a poor choice for configuring algorithms for new data sets. Our analysis casts some light on why recent "High Throughput" methods achieve surprising success-they appear to search through a large number of hyper-parameters because most hyper-parameters do not matter much. We anticipate that growing interest in large hierarchical models will place an increasing burden on techniques for hyper-parameter optimization; this work shows that random search is a natural baseline against which to judge progress in the development of adaptive (sequential) hyper-parameter optimization algorithms.

表格数据集是深度学习的最后一个“不适应的城堡”，具有传统的ML方法，如梯度提升决策树，甚至对最近的专业神经结构进行强烈表现。在本文中，我们假设提高神经网络性能的关键在于重新思考一大集现代正规化技术的关节和同时应用。结果，我们通过在使用联合优化上搜索每个数据集的最佳组合/混合物，使用联合优化来申请普通的决定以及它们的子公司的超参数来搜索每个数据集的最佳组合/混合物的最佳组合/混合物来规范普通的多层的Perceptron（MLP）网络。我们在包括40个表格数据集的大规模实证研究中，经验统一地评估了这些正则化鸡尾酒对MLP的影响，并证明（i）良好的正则化普通的MLP明显优于最新的最先进的专业神经网络架构，以及（ ii）它们甚至优于强大的传统ML方法，如XGBoost。

血浆定义为物质的第四个状态，在高电场下可以在大气压下产生非热血浆。现在众所周知，血浆激活液体（PAL）的强和广谱抗菌作用。机器学习（ML）在医疗领域的可靠适用性也鼓励其在等离子体医学领域的应用。因此，在PALS上的ML应用可以提出一种新的观点，以更好地了解各种参数对其抗菌作用的影响。在本文中，通过使用先前获得的数据来定性预测PAL的体外抗菌活性，从而介绍了比较监督的ML模型。进行了文献搜索，并从33个相关文章中收集了数据。在所需的预处理步骤之后，将两种监督的ML方法（即分类和回归）应用于数据以获得微生物灭活（MI）预测。对于分类，MI分为四类，对于回归，MI被用作连续变量。为分类和回归模型进行了两种不同的可靠交叉验证策略，以评估所提出的方法。重复分层的K折交叉验证和K折交叉验证。我们还研究了不同特征对模型的影响。结果表明，高参数优化的随机森林分类器（ORFC）和随机森林回归者（ORFR）分别比其他模型进行了分类和回归的模型更好。最后，获得ORFC的最佳测试精度为82.68％，ORFR的R2为0.75。 ML技术可能有助于更好地理解在所需的抗菌作用中具有主要作用的血浆参数。此外，此类发现可能有助于将来的血浆剂量定义。

保护私人信息是数据驱动的研究和业务环境中的关键问题。通常，引入匿名或（选择性）删除之类的技术，以允许数据共享，e。 G。在协作研究的情况下。为了与匿名技术一起使用，$ k $ - 匿名标准是最受欢迎的标准之一，具有许多有关不同算法和指标的科学出版物。匿名技术通常需要更改数据，因此必然会影响在基础数据上训练的机器学习模型的结果。在这项工作中，我们对不同的$ k $ - 匿名算法对机器学习模型结果的影响进行了系统的比较和详细研究。我们研究了与不同分类器的一组流行的$ K $匿名算法，并在不同的现实数据集上对其进行评估。我们的系统评估表明，凭借越来越强的$ K $匿名性约束，分类性能通常会降低，但在不同程度上，并且强烈取决于数据集和匿名方法。此外，蒙德里安可以被视为具有最具吸引力的后续分类属性的方法。