越来越多的多元过程数据驱动了熟练工人从这些数据分析，解释和构建模型的需求。多元数据分析在很大程度上依赖于线性代数，优化和统计数据，并且鉴于大多数课程在后三个主题中没有强大的覆盖范围，学生可能会具有挑战性。本文介绍了用于教学，学习和理解潜在变量方法的交互式软件 - 潜在变量演示器（LAVADE）。在此软件中，用户可以与其他回归方法（例如绝对收缩和选择运算符（LASSO），Ridge Remission（RR）和其他回归方法（RR）和其他回归方法（RR）和其他回归方法进行交互式比较潜在变量方法，例如部分最小二乘（PLS）和主组件回归（PCR）。弹性网（en）。 Lavade有助于建立有关选择适当方法，超参数调整和模型系数解释的直觉，从而促进对算法差异的概念理解。该软件包含数据生成方法和三个化学过程数据集，可以比较具有不同复杂性级别的数据集的结果。 Lavade作为开源软件发布，以便其他人可以应用并推进用于教学或研究的工具。

Fingerprints are key tools in climate change detection and attribution (D&A) that are used to determine whether changes in observations are different from internal climate variability (detection), and whether observed changes can be assigned to specific external drivers (attribution). We propose a direct D&A approach based on supervised learning to extract fingerprints that lead to robust predictions under relevant interventions on exogenous variables, i.e., climate drivers other than the target. We employ anchor regression, a distributionally-robust statistical learning method inspired by causal inference that extrapolates well to perturbed data under the interventions considered. The residuals from the prediction achieve either uncorrelatedness or mean independence with the exogenous variables, thus guaranteeing robustness. We define D&A as a unified hypothesis testing framework that relies on the same statistical model but uses different targets and test statistics. In the experiments, we first show that the CO2 forcing can be robustly predicted from temperature spatial patterns under strong interventions on the solar forcing. Second, we illustrate attribution to the greenhouse gases and aerosols while protecting against interventions on the aerosols and CO2 forcing, respectively. Our study shows that incorporating robustness constraints against relevant interventions may significantly benefit detection and attribution of climate change.

通过有效的监控和调整电池操作条件，促进了锂离子电池的寿命和安全性。因此，为电池管理系统上的健康状况（SOH）监测提供快速准确的算法至关重要。由于对电池劣化的复杂性和多种因素的复杂性和多种因素的复杂性，特别是因为不同的劣化过程发生在各种时间尺度，并且它们的相互作用发挥着重要作用。数据驱动方法通过用统计或机器学习模型近似复杂进程来绕过这个问题。本文提出了一种数据驱动方法，在电池劣化的背景下，尽管其简单性和易于计算：多变量分数多项式（MFP）回归。模型从一个耗尽的细胞的历史数据训练，并用于预测其他细胞的SOH。数据的特征在于模拟动态操作条件的载荷变化。考虑了两个假设情景：假设最近的容量测量是已知的，则另一个仅基于标称容量。结果表明，在考虑到电池寿命的电池结束时，通过其历史数据的历史数据受到它们的历史数据的影响，电池的降解行为受到其历史数据的影响。此外，我们提供了一种多因素视角，分析了每个不同因素的影响程度。最后，我们与长期内记忆神经网络和其他来自相同数据集的文献的其他作品进行比较。我们得出结论，MFP回归与当代作品有效和竞争，提供了几种额外的优点。在可解释性，恒定性和可实现性方面。

我们考虑在有限数据设置下一般损失函数下线性分类问题。过度装备是这里的常见问题。防止过度装备的标准方法是减少和正则化的维度。但是减少了维度的丢失信息，而正规化要求用户选择规范，或之前或距离度量。我们提出了一种称为Rolin的算法，不需要用户选择并适用于大类丢失功能。 Rolin将顶部主成分的可靠信息与强大的优化组合，以从不可靠的子空间中提取任何有用的信息。它还包括一种新的强大交叉验证，比有限数据设置中的现有交叉验证方法更好。在$ 25 $现实世界数据集和三个标准损失功能的实验表明，Rolin广泛优于维度，减少和正规。与Rolin相比，维数减少有14 \％ - 40 \％$较差的测试损失。防止$ L_1 $和$ L_2 $正则化，Rolin可以更好地为3倍，对于平方铰链损耗更好的逻辑损耗和12倍。对于小型样本尺寸，差异最大，其中Rolin实现了比任何竞争方法更多的数据集的2倍至3x的最佳损失。对于某些数据集，Rolin以$ 15 $培训样本比为1500美元的最佳规范正常化更好。

监督主体组件分析（SPCA）的方法旨在将标签信息纳入主成分分析（PCA），以便提取的功能对于预测感兴趣的任务更有用。SPCA的先前工作主要集中在优化预测误差上，并忽略了提取功能解释的最大化方差的价值。我们为SPCA提出了一种新的方法，该方法共同解决了这两个目标，并从经验上证明我们的方法主导了现有方法，即在预测误差和变异方面都超越了它们的表现。我们的方法可容纳任意监督的学习损失，并通过统计重新制定提供了广义线性模型的新型低级扩展。

这是一门专门针对STEM学生开发的介绍性机器学习课程。我们的目标是为有兴趣的读者提供基础知识，以在自己的项目中使用机器学习，并将自己熟悉术语作为进一步阅读相关文献的基础。在这些讲义中，我们讨论受监督，无监督和强化学习。注释从没有神经网络的机器学习方法的说明开始，例如原理分析，T-SNE，聚类以及线性回归和线性分类器。我们继续介绍基本和先进的神经网络结构，例如密集的进料和常规神经网络，经常性的神经网络，受限的玻尔兹曼机器，（变性）自动编码器，生成的对抗性网络。讨论了潜在空间表示的解释性问题，并使用梦和对抗性攻击的例子。最后一部分致力于加强学习，我们在其中介绍了价值功能和政策学习的基本概念。

本文提出了一种基于图形的正则化回归估计器 - 分层特征回归（HFR） - 从机器学习和图论域名的洞察力调动洞察力，以估算线性回归的鲁棒参数。估计器构造一个监督的特征图，该监督特征图沿其边缘分解参数，首先调整常见变化并连续地将特殊性模式结合到拟合过程中。图形结构具有对组靶标的参数收缩的影响，其中收缩程度由肝异常的控制，并且基团组合物以及收缩靶数是内源性的。该方法提供了丰富的资源，以便在数据中的潜在效果结构的视觉探索，并与一系列经验和模拟回归任务的常用正则化技术面板相比，展示了良好的预测精度和多功能性。

NYSTR \“ OM方法是提高内核方法可伸缩性的最流行技术之一。但是，它尚未与经典PCA一致的核PCA得出。在本文中，我们使用NyStr \”来得出核PCA。OM方法，从而提供了使内核PCA可扩展的少数可用选项之一。我们通过与完整方法相比，通过有限样本的置信度结合了经验重建误差，进一步研究其统计精度。该方法和绑定的行为通过在多个现实世界数据集上的计算机实验进行说明。作为该方法的应用，我们使用NyStr \“ Om方法表示内核主成分回归，作为NyStr \“ Om内核脊回归的替代方案，可用于使用核有效正规化回归。

大量的数据和创新算法使数据驱动的建模成为现代行业的流行技术。在各种数据驱动方法中，潜在变量模型（LVM）及其对应物占主要份额，并在许多工业建模领域中起着至关重要的作用。 LVM通常可以分为基于统计学习的经典LVM和基于神经网络的深层LVM（DLVM）。我们首先讨论经典LVM的定义，理论和应用，该定义和应用既是综合教程，又是对经典LVM的简短申请调查。然后，我们对当前主流DLVM进行了彻底的介绍，重点是其理论和模型体系结构，此后不久就提供了有关DLVM的工业应用的详细调查。上述两种类型的LVM具有明显的优势和缺点。具体而言，经典的LVM具有简洁的原理和良好的解释性，但是它们的模型能力无法解决复杂的任务。基于神经网络的DLVM具有足够的模型能力，可以在复杂的场景中实现令人满意的性能，但它以模型的解释性和效率为例。旨在结合美德并减轻这两种类型的LVM的缺点，并探索非神经网络的举止以建立深层模型，我们提出了一个新颖的概念，称为“轻量级Deep LVM（LDLVM）”。在提出了这个新想法之后，该文章首先阐述了LDLVM的动机和内涵，然后提供了两个新颖的LDLVM，并详尽地描述了其原理，建筑和优点。最后，讨论了前景和机会，包括重要的开放问题和可能的研究方向。

我们介绍了数据科学预测生命周期中各个阶段开发和采用自动化的技术和文化挑战的说明概述，从而将重点限制为使用结构化数据集的监督学习。此外，我们回顾了流行的开源Python工具，这些工具实施了针对自动化挑战的通用解决方案模式，并突出了我们认为进步仍然需要的差距。

现代高维方法经常采用“休稀稀物”的原则，而在监督多元学习统计学中可能面临着大量非零系数的“密集”问题。本文提出了一种新的聚类减少秩（CRL）框架，其施加了两个联合矩阵规范化，以自动分组构建预测因素的特征。 CRL比低级别建模更具可解释，并放松变量选择中的严格稀疏假设。在本文中，提出了新的信息 - 理论限制，揭示了寻求集群的内在成本，以及多元学习中的维度的祝福。此外，开发了一种有效的优化算法，其执行子空间学习和具有保证融合的聚类。所获得的定点估计器虽然不一定是全局最佳的，但在某些规则条件下享有超出标准似然设置的所需的统计准确性。此外，提出了一种新的信息标准，以及其无垢形式，用于集群和秩选择，并且具有严格的理论支持，而不假设无限的样本大小。广泛的模拟和实数据实验证明了所提出的方法的统计准确性和可解释性。

多变量分析（MVA）包括用于特征提取的众所周知的方法，该方法提取，其利用表示数据的输入变量之间的相关性。大多数此类方法享有的一个重要属性是提取特征之间的不相关性。最近，MVA方法的正则化版本在文献中出现，主要是为了获得解决方案的解释性。在这些情况下，不再以封闭的方式获得解决方案，并且经常使用更复杂的优化方法，依赖于两个步骤的迭代。本文回到了替代方法来解决这个迭代问题。这种方法的主要新颖性在于保持原始方法的几个属性，最值得注意的是提取特征的不相关性。在此框架下，我们提出了一种新的方法，该方法利用L-21规范在特征提取过程中执行变量选择。不同问题的实验结果证实了与现有化配方的拟议配方的优点。

我们引入了一种新的经验贝叶斯方法，用于大规模多线性回归。我们的方法结合了两个关键思想：（i）使用灵活的“自适应收缩”先验，该先验近似于正常分布的有限混合物，近似于正常分布的非参数家族； （ii）使用变分近似来有效估计先前的超参数并计算近似后期。将这两个想法结合起来，将快速，灵活的方法与计算速度相当，可与快速惩罚的回归方法（例如Lasso）相当，并在各种场景中具有出色的预测准确性。此外，我们表明，我们方法中的后验平均值可以解释为解决惩罚性回归问题，并通过直接解决优化问题（而不是通过交叉验证来调整）从数据中学到的惩罚函数的精确形式。 。我们的方法是在r https://github.com/stephenslab/mr.ash.ash.alpha的r软件包中实现的

Selecting subsets of features that differentiate between two conditions is a key task in a broad range of scientific domains. In many applications, the features of interest form clusters with similar effects on the data at hand. To recover such clusters we develop DiSC, a data-driven approach for detecting groups of features that differentiate between conditions. For each condition, we construct a graph whose nodes correspond to the features and whose weights are functions of the similarity between them for that condition. We then apply a spectral approach to compute subsets of nodes whose connectivity differs significantly between the condition-specific feature graphs. On the theoretical front, we analyze our approach with a toy example based on the stochastic block model. We evaluate DiSC on a variety of datasets, including MNIST, hyperspectral imaging, simulated scRNA-seq and task fMRI, and demonstrate that DiSC uncovers features that better differentiate between conditions compared to competing methods.

特征选择是数据科学流水线的重要步骤，以减少与大型数据集相关的复杂性。虽然对本主题的研究侧重于优化预测性能，但很少研究在特征选择过程的上下文中调查稳定性。在这项研究中，我们介绍了重复的弹性网技术（租金）进行特色选择。租金使用具有弹性净正常化的广义线性模型的集合，每个训练都培训了训练数据的不同子集。该特征选择基于三个标准评估所有基本模型的重量分布。这一事实导致选择具有高稳定性的特征，从而提高最终模型的稳健性。此外，与已建立的特征选择器不同，租金提供了有关在训练期间难以预测的数据中难以预测的对象的模型解释的有价值信息。在我们的实验中，我们在八个多变量数据集中对六个已建立的特征选择器进行基准测试，用于二进制分类和回归。在实验比较中，租金在预测性能和稳定之间展示了均衡的权衡。最后，我们强调了租金的额外解释价值与医疗保健数据集的探索性后HOC分析。

我们使用深层部分最小二乘（DPL）来估算单个股票收益的资产定价模型，该模型以灵活而动态的方式利用调理信息，同时将超额回报归因于一小部分统计风险因素。新颖的贡献是解决非线性因子结构，从而推进经验资产定价中深度学习的当前范式，该定价在假设高斯资产回报和因素的假设下使用线性随机折现因子。通过使用预测的最小二乘正方形来共同投影公司特征和资产回报到潜在因素的子空间，并使用深度学习从因子负载到资产回报中学习非线性图。捕获这种非线性风险因素结构的结果是通过线性风险因素暴露和相互作用效应来表征资产回报中的异常情况。因此，深度学习捕获异常值的众所周知的能力，在潜在因素结构中的角色和高阶项在因素风险溢价上的作用。从经验方面来说，我们实施了DPLS因子模型，并表现出比Lasso和Plain Vanilla深度学习模型表现出卓越的性能。此外，由于DPL的更简约的架构，我们的网络培训时间大大减少了。具体而言，在1989年12月至2018年1月的一段时间内使用Russell 1000指数中的3290资产，我们评估了我们的DPLS因子模型，并生成比深度学习大约1.2倍的信息比率。 DPLS解释了变化和定价错误，并确定了最突出的潜在因素和公司特征。

最近有一项激烈的活动在嵌入非常高维和非线性数据结构的嵌入中，其中大部分在数据科学和机器学习文献中。我们分四部分调查这项活动。在第一部分中，我们涵盖了非线性方法，例如主曲线，多维缩放，局部线性方法，ISOMAP，基于图形的方法和扩散映射，基于内核的方法和随机投影。第二部分与拓扑嵌入方法有关，特别是将拓扑特性映射到持久图和映射器算法中。具有巨大增长的另一种类型的数据集是非常高维网络数据。第三部分中考虑的任务是如何将此类数据嵌入中等维度的向量空间中，以使数据适合传统技术，例如群集和分类技术。可以说，这是算法机器学习方法与统计建模（所谓的随机块建模）之间的对比度。在论文中，我们讨论了两种方法的利弊。调查的最后一部分涉及嵌入$ \ mathbb {r}^ 2 $，即可视化中。提出了三种方法：基于第一部分，第二和第三部分中的方法，$ t $ -sne，UMAP和大节。在两个模拟数据集上进行了说明和比较。一个由嘈杂的ranunculoid曲线组成的三胞胎，另一个由随机块模型和两种类型的节点产生的复杂性的网络组成。

大多数机器学习算法由一个或多个超参数配置，必须仔细选择并且通常会影响性能。为避免耗时和不可递销的手动试验和错误过程来查找性能良好的超参数配置，可以采用各种自动超参数优化（HPO）方法，例如，基于监督机器学习的重新采样误差估计。本文介绍了HPO后，本文审查了重要的HPO方法，如网格或随机搜索，进化算法，贝叶斯优化，超带和赛车。它给出了关于进行HPO的重要选择的实用建议，包括HPO算法本身，性能评估，如何将HPO与ML管道，运行时改进和并行化结合起来。这项工作伴随着附录，其中包含关于R和Python的特定软件包的信息，以及用于特定学习算法的信息和推荐的超参数搜索空间。我们还提供笔记本电脑，这些笔记本展示了这项工作的概念作为补充文件。

We extend best-subset selection to linear Multi-Task Learning (MTL), where a set of linear models are jointly trained on a collection of datasets (``tasks''). Allowing the regression coefficients of tasks to have different sparsity patterns (i.e., different supports), we propose a modeling framework for MTL that encourages models to share information across tasks, for a given covariate, through separately 1) shrinking the coefficient supports together, and/or 2) shrinking the coefficient values together. This allows models to borrow strength during variable selection even when the coefficient values differ markedly between tasks. We express our modeling framework as a Mixed-Integer Program, and propose efficient and scalable algorithms based on block coordinate descent and combinatorial local search. We show our estimator achieves statistically optimal prediction rates. Importantly, our theory characterizes how our estimator leverages the shared support information across tasks to achieve better variable selection performance. We evaluate the performance of our method in simulations and two biology applications. Our proposed approaches outperform other sparse MTL methods in variable selection and prediction accuracy. Interestingly, penalties that shrink the supports together often outperform penalties that shrink the coefficient values together. We will release an R package implementing our methods.

贝叶斯拉索是在线性回归框架中构建的，并应用了吉布斯采样以估计回归参数。本文开发了一种新的稀疏学习模型，称为贝叶斯套索稀疏（BLS）模型，该模型采用了贝叶斯拉索的层次模型公式。与原始贝叶斯套索的主要区别在于估计程序；BLS方法使用基于II类型最大似然过程的学习算法。与贝叶斯拉索相反，BLS提供了回归参数的稀疏估计值。BLS方法还通过引入内核功能来得出非线性监督学习问题。我们将BLS模型与众所周知的相关矢量机，快速拉普拉斯法，再见套索和套索在模拟和真实数据上进行了比较。数值结果表明，BLS稀疏而精确，尤其是在处理嘈杂和不规则数据集时。