保险公司经常使用的广义线性模型（GLM）的质量取决于相互作用变量的选择。搜索互动是耗时的，尤其是对于具有大量变量的数据集，这取决于精算师的专家判断，并且通常依赖于视觉性能指标。因此，我们提出了一种方法，可以自动化寻找相互作用的过程，这些过程应添加到GLM中以提高其预测能力。我们的方法依赖于神经网络和一种特定于模型的交互检测方法，该方法在计算上比传统使用的方法更快。在数值研究中，我们在不同的数据集上提供了方法的结果：开源数据，人工数据和专有数据。

机器学习渗透到许多行业，这为公司带来了新的利益来源。然而，在人寿保险行业中，机器学习在实践中并未被广泛使用，因为在过去几年中，统计模型表明了它们的风险评估效率。因此，保险公司可能面临评估人工智能价值的困难。随着时间的流逝，专注于人寿保险行业的修改突出了将机器学习用于保险公司的利益以及通过释放数据价值带来的利益。本文回顾了传统的生存建模方法论，并通过机器学习技术扩展了它们。它指出了与常规机器学习模型的差异，并强调了特定实现在与机器学习模型家族中面对审查数据的重要性。在本文的补充中，已经开发了Python库。已经调整了不同的开源机器学习算法，以适应人寿保险数据的特殊性，即检查和截断。此类模型可以轻松地从该SCOR库中应用，以准确地模拟人寿保险风险。

大多数机器学习算法由一个或多个超参数配置，必须仔细选择并且通常会影响性能。为避免耗时和不可递销的手动试验和错误过程来查找性能良好的超参数配置，可以采用各种自动超参数优化（HPO）方法，例如，基于监督机器学习的重新采样误差估计。本文介绍了HPO后，本文审查了重要的HPO方法，如网格或随机搜索，进化算法，贝叶斯优化，超带和赛车。它给出了关于进行HPO的重要选择的实用建议，包括HPO算法本身，性能评估，如何将HPO与ML管道，运行时改进和并行化结合起来。这项工作伴随着附录，其中包含关于R和Python的特定软件包的信息，以及用于特定学习算法的信息和推荐的超参数搜索空间。我们还提供笔记本电脑，这些笔记本展示了这项工作的概念作为补充文件。

在2015年和2019年之间，地平线的成员2020年资助的创新培训网络名为“Amva4newphysics”，研究了高能量物理问题的先进多变量分析方法和统计学习工具的定制和应用，并开发了完全新的。其中许多方法已成功地用于提高Cern大型Hadron撞机的地图集和CMS实验所执行的数据分析的敏感性;其他几个人，仍然在测试阶段，承诺进一步提高基本物理参数测量的精确度以及新现象的搜索范围。在本文中，在研究和开发的那些中，最相关的新工具以及对其性能的评估。

即使有效，模型的使用也必须伴随着转换数据的各个级别的理解（上游和下游）。因此，需求增加以定义单个数据与算法可以根据其分析可以做出的选择（例如，一种产品或一种促销报价的建议，或代表风险的保险费率）。模型用户必须确保模型不会区分，并且也可以解释其结果。本文介绍了模型解释的重要性，并解决了模型透明度的概念。在保险环境中，它专门说明了如何使用某些工具来强制执行当今可以利用机器学习的精算模型的控制。在一个简单的汽车保险中损失频率估计的示例中，我们展示了一些解释性方法的兴趣，以适应目标受众的解释。

这是一门专门针对STEM学生开发的介绍性机器学习课程。我们的目标是为有兴趣的读者提供基础知识，以在自己的项目中使用机器学习，并将自己熟悉术语作为进一步阅读相关文献的基础。在这些讲义中，我们讨论受监督，无监督和强化学习。注释从没有神经网络的机器学习方法的说明开始，例如原理分析，T-SNE，聚类以及线性回归和线性分类器。我们继续介绍基本和先进的神经网络结构，例如密集的进料和常规神经网络，经常性的神经网络，受限的玻尔兹曼机器，（变性）自动编码器，生成的对抗性网络。讨论了潜在空间表示的解释性问题，并使用梦和对抗性攻击的例子。最后一部分致力于加强学习，我们在其中介绍了价值功能和政策学习的基本概念。

本文介绍了一个集成预测方法，通过减少特征和模型选择假设来显示M4Competitiation数据集的强劲结果，称为甜甜圈（不利用人为假设）。我们的假设减少，主要由自动生成的功能和更多样化的集合模型组成，显着优于Montero-Manso等人的统计特征的集合方法FForma。 （2020）。此外，我们用长短期内存网络（LSTM）AutoEncoder调查特征提取，并发现此类特征包含传统统计特征方法未捕获的重要信息。合奏加权模型使用LSTM功能和统计功能准确地结合模型。特征重要性和交互的分析表明，单独的统计数据的LSTM特征略有优势。聚类分析表明，不同的基本LSTM功能与大多数统计特征不同。我们还发现，通过使用新模型增强合奏来增加加权模型的解决方案空间是加权模型学习使用的东西，解释了准确性的一部分。最后，我们为集合的最佳组合和选择提供了正式的前后事实分析，通过M4数据集的线性优化量化差异。我们还包括一个简短的证据，模型组合优于模型选择，后者。

收购用于监督学习的标签可能很昂贵。为了提高神经网络回归的样本效率，我们研究了活跃的学习方法，这些方法可以适应地选择未标记的数据进行标记。我们提出了一个框架，用于从（与网络相关的）基础内核，内核转换和选择方法中构造此类方法。我们的框架涵盖了许多基于神经网络的高斯过程近似以及非乘式方法的现有贝叶斯方法。此外，我们建议用草图的有限宽度神经切线核代替常用的最后层特征，并将它们与一种新型的聚类方法结合在一起。为了评估不同的方法，我们引入了一个由15个大型表格回归数据集组成的开源基准。我们所提出的方法的表现优于我们的基准测试上的最新方法，缩放到大数据集，并在不调整网络体系结构或培训代码的情况下开箱即用。我们提供开源代码，包括所有内核，内核转换和选择方法的有效实现，并可用于复制我们的结果。

功能响应对一组标量预测变量的回归可能是一项具有挑战性的任务，尤其是如果有大量预测因子，这些预测因子具有交互作用，或者这些预测因子与响应之间的关系是非线性的。在这项工作中，我们为此问题提出了一个解决方案：馈送前向神经网络（NN），旨在预测使用标量输入的功能响应。首先，我们将功能响应转换为有限维表示，然后构建了输出此表示形式的NN。我们提出了不同的目标功能来训练NN。所提出的模型适用于定期和不规则间隔的数据，还提供了多种方法来应用粗糙度惩罚以控制预测曲线的平滑度。实现这两个功能的困难在于可以反向传播的目标函数的定义。在我们的实验中，我们证明了我们的模型在多种情况下优于常规尺度回归模型，同时计算缩放的尺寸更好。

离散选择模型（DCM）需要先验了解实用程序功能，尤其是在个人之间的味道如何变化。公用事业错误指定可能会导致估计偏差，解释不准确和可预测性有限。在本文中，我们利用神经网络来学习味觉表示。我们的公式由两个模块组成：一个神经网络（味觉），该模块将口味参数（例如时间系数）作为个体特征的灵活函数；以及具有用专家知识定义的实用程序函数的多项式logit（MNL）模型。神经网络学到的口味参数被馈送到选择模型中，并将两个模块链接起来。我们的方法通过允许神经网络学习个体特征和替代属性之间的相互作用来扩展L-MNL模型（Sifringer等，2020）。此外，我们正式化并加强了可解释性条件 - 需要对分类级别的行为指标（例如，时间值，弹性）进行现实估计，这对于模型对于场景分析和政策决策至关重要。通过唯一的网络体系结构和参数转换，我们合并了先验知识，并指导神经网络在分类级别输出现实的行为指标。我们表明，TasteNet-MNL达到了基础真相模型的可预测性，并在合成数据上恢复了非线性味觉功能。它在个人层面上的估计值和选择弹性接近地面真相。在公开可用的瑞士梅特罗数据集中，TasteNet-MNL优于基准MNL和混合Logit模型的可预测性。它学习了人群中各种各样的味道变化，并提出了更高的平均值。

我们应对嵌入功能的挑战，以改善点击率预测过程。我们选择了三个模型：逻辑回归，分解机和深层分解机，因为我们的基准并提出了五个不同的功能嵌入模块：嵌入缩放，FM嵌入，嵌入编码，NN嵌入，嵌入和嵌入重新加权模块。嵌入模块是改善基线模型特征嵌入的一种方式，并以端到端方式与其余模型参数一起训练。每个模块分别添加到基线模型中，以获得新的增强模型。我们在用于基准点击率预测模型的公共数据集上测试了增强模型的预测性能。我们的结果表明，几个建议的嵌入模块为预测性能提供了重要的提高，而不会大幅度增加训练时间。

回归模型用于各种应用，为来自不同领域的研究人员提供强大的科学工具。线性或简单的参数，模型通常不足以描述输入变量与响应之间的复杂关系。通过诸如神经网络的灵活方法可以更好地描述这种关系，但这导致不太可解释的模型和潜在的过度装备。或者，可以使用特定的参数非线性函数，但是这种功能的规范通常是复杂的。在本文中，我们介绍了一种灵活的施工方法，高度灵活的非线性参数回归模型。非线性特征是分层的，类似于深度学习，但对要考虑的可能类型的功能具有额外的灵活性。这种灵活性，与变量选择相结合，使我们能够找到一小部分重要特征，从而可以更具可解释的模型。在可能的功能的空间内，考虑了贝叶斯方法，基于它们的复杂性引入功能的前沿。采用遗传修改模式跳跃马尔可夫链蒙特卡罗算法来执行贝叶斯推理和估计模型平均的后验概率。在各种应用中，我们说明了我们的方法如何用于获得有意义的非线性模型。此外，我们将其预测性能与多个机器学习算法进行比较。

我们介绍了数据科学预测生命周期中各个阶段开发和采用自动化的技术和文化挑战的说明概述，从而将重点限制为使用结构化数据集的监督学习。此外，我们回顾了流行的开源Python工具，这些工具实施了针对自动化挑战的通用解决方案模式，并突出了我们认为进步仍然需要的差距。

我们使用深层部分最小二乘（DPL）来估算单个股票收益的资产定价模型，该模型以灵活而动态的方式利用调理信息，同时将超额回报归因于一小部分统计风险因素。新颖的贡献是解决非线性因子结构，从而推进经验资产定价中深度学习的当前范式，该定价在假设高斯资产回报和因素的假设下使用线性随机折现因子。通过使用预测的最小二乘正方形来共同投影公司特征和资产回报到潜在因素的子空间，并使用深度学习从因子负载到资产回报中学习非线性图。捕获这种非线性风险因素结构的结果是通过线性风险因素暴露和相互作用效应来表征资产回报中的异常情况。因此，深度学习捕获异常值的众所周知的能力，在潜在因素结构中的角色和高阶项在因素风险溢价上的作用。从经验方面来说，我们实施了DPLS因子模型，并表现出比Lasso和Plain Vanilla深度学习模型表现出卓越的性能。此外，由于DPL的更简约的架构，我们的网络培训时间大大减少了。具体而言，在1989年12月至2018年1月的一段时间内使用Russell 1000指数中的3290资产，我们评估了我们的DPLS因子模型，并生成比深度学习大约1.2倍的信息比率。 DPLS解释了变化和定价错误，并确定了最突出的潜在因素和公司特征。

福利值广泛用作模型不可知的解释框架，以解释复杂的预测机器学习模型。福利值具有理想的理论特性和声音数学基础。精确的福芙值估计依赖数据依赖于所有特征组合之间的依赖性的准确建模。在本文中，我们使用具有任意调节（VAEAC）的变形AutoEncoder来同时建模所有特征依赖性。我们通过全面的仿真研究证明了VAEAC对于连续和混合依赖特征的各种环境来说，VAEAC优于最先进的方法。最后，我们将VAEAC应用于从UCI机器学习存储库中的鲍鱼数据集。

无论是在功能选择的领域还是可解释的AI领域，都有基于其重要性的“排名”功能的愿望。然后可以将这种功能重要的排名用于：（1）减少数据集大小或（2）解释机器学习模型。但是，在文献中，这种特征排名没有以系统的，一致的方式评估。许多论文都有不同的方式来争论哪些具有重要性排名最佳的特征。本文通过提出一种新的评估方法来填补这一空白。通过使用合成数据集，可以事先知道特征重要性得分，从而可以进行更系统的评估。为了促进使用新方法的大规模实验，在Python建造了一个名为FSEVAL的基准测定框架。该框架允许并行运行实验，并在HPC系统上的计算机上分布。通过与名为“权重和偏见”的在线平台集成，可以在实时仪表板上进行交互探索图表。该软件作为开源软件发布，并在PYPI平台上以包裹发行。该研究结束时，探索了一个这样的大规模实验，以在许多方面找到参与算法的优势和劣势。

在许多环境环境中的风险管理需要了解驱动极端事件的机制。量化这种风险的有用指标是响应变量的极端分位数，该变量是基于描述气候，生物圈和环境状态的预测变量的。通常，这些分位数位于可观察数据的范围之内，因此，为了估算，需要在回归框架内规范参数极值模型。在这种情况下，经典方法利用预测变量和响应变量之间的线性或加性关系，并在其预测能力或计算效率中受苦；此外，它们的简单性不太可能捕获导致极端野火创造的真正复杂结构。在本文中，我们提出了一个新的方法学框架，用于使用人工中性网络执行极端分位回归，该网络能够捕获复杂的非线性关系并很好地扩展到高维数据。神经网络的“黑匣子”性质意味着它们缺乏从业者通常会喜欢的可解释性的理想特征。因此，我们将线性和加法模型的各个方面与深度学习相结合，以创建可解释的神经网络，这些神经网络可用于统计推断，但保留了高预测准确性。为了补充这种方法，我们进一步提出了一个新颖的点过程模型，以克服与广义极值分布类别相关的有限的下端问题。我们的统一框架的功效在具有高维预测器集的美国野火数据上说明了，我们说明了基于线性和基于样条的回归技术的预测性能的大幅改进。

We consider the problem of dynamic pricing of a product in the presence of feature-dependent price sensitivity. Developing practical algorithms that can estimate price elasticities robustly, especially when information about no purchases (losses) is not available, to drive such automated pricing systems is a challenge faced by many industries. Based on the Poisson semi-parametric approach, we construct a flexible yet interpretable demand model where the price related part is parametric while the remaining (nuisance) part of the model is non-parametric and can be modeled via sophisticated machine learning (ML) techniques. The estimation of price-sensitivity parameters of this model via direct one-stage regression techniques may lead to biased estimates due to regularization. To address this concern, we propose a two-stage estimation methodology which makes the estimation of the price-sensitivity parameters robust to biases in the estimators of the nuisance parameters of the model. In the first-stage we construct estimators of observed purchases and prices given the feature vector using sophisticated ML estimators such as deep neural networks. Utilizing the estimators from the first-stage, in the second-stage we leverage a Bayesian dynamic generalized linear model to estimate the price-sensitivity parameters. We test the performance of the proposed estimation schemes on simulated and real sales transaction data from the Airline industry. Our numerical studies demonstrate that our proposed two-stage approach reduces the estimation error in price-sensitivity parameters from 25\% to 4\% in realistic simulation settings. The two-stage estimation techniques proposed in this work allows practitioners to leverage modern ML techniques to robustly estimate price-sensitivities while still maintaining interpretability and allowing ease of validation of its various constituent parts.

结合添加剂模型和神经网络可以通过同时通过可解释的结构化添加剂预测变量扩大统计回归的范围并扩展基于深度学习的方法。但是，将两种建模方法统一的现有尝试仅限于非常具体的组合，更重要的是涉及可识别性问题。结果，通常会丢失可解释性和稳定的估计。我们提出了一个通用框架，将结构化回归模型和深层神经网络组合到统一的网络体系结构中。为了克服不同模型零件之间固有的可识别性问题，我们构建了一个正交的单元，该细胞将深层神经网络投射到统计模型预测因子的正交补体中。这可以正确估计结构化模型零件，从而可以解释性。我们在数值实验中演示了该框架的功效，并在基准和现实世界应用中说明了其特殊优点。

我们提出了一种利用分布人工神经网络的概率电价预测（EPF）的新方法。EPF的新型网络结构基于包含概率层的正则分布多层感知器（DMLP）。使用TensorFlow概率框架，神经网络的输出被定义为一个分布，是正常或可能偏斜且重尾的Johnson的SU（JSU）。在预测研究中，将该方法与最新基准进行了比较。该研究包括预测，涉及德国市场的日常电价。结果显示了对电价建模时较高时刻的重要性的证据。