我们提出了一种具有多组特征的监督学习的新方法（“视图”）。合作学习将通常的平方错误丢失与“协议”惩罚相结合，以鼓励从不同数据视图中的预测同意。通过改变协议罚款的重量，我们得到了包括众所周知的早期和晚期融合方法的解决方案。合作学习以自适应方式选择协议（或融合）的程度，使用验证集或交叉验证来估计测试设置预测误差。我们的拟合程序的一个版本是模块化的，其中可以选择适合不同数据视图的不同拟合机制（例如套索，随机森林，升压，神经网络）。在协同正规化线性回归的设置中，该方法将套索罚款与协议处罚相结合。当不同的数据视图共享某些潜在的关系时，该方法可以尤其强大，因为我们的目的是加强的一些基础关系，而每个视图都有其特殊的噪音，我们的目标是减少。我们说明了我们提出的模拟和实际数据示例的提出方法的有效性。

我们引入了一种新的经验贝叶斯方法，用于大规模多线性回归。我们的方法结合了两个关键思想：（i）使用灵活的“自适应收缩”先验，该先验近似于正常分布的有限混合物，近似于正常分布的非参数家族； （ii）使用变分近似来有效估计先前的超参数并计算近似后期。将这两个想法结合起来，将快速，灵活的方法与计算速度相当，可与快速惩罚的回归方法（例如Lasso）相当，并在各种场景中具有出色的预测准确性。此外，我们表明，我们方法中的后验平均值可以解释为解决惩罚性回归问题，并通过直接解决优化问题（而不是通过交叉验证来调整）从数据中学到的惩罚函数的精确形式。 。我们的方法是在r https://github.com/stephenslab/mr.ash.ash.alpha的r软件包中实现的

多模态数据集的可用性提供了一个独特的机会，可以更全面地使用多个视点来表征相同的兴趣对象。在这项工作中，我们研究了使用规范相关性分析（CCA）和CCA（PCCA）的罚款变种用于两种方式的融合。我们研究了一个简单的图形模型，用于生成双模数据。我们分析表明，通过已知的模型参数，后均估计器共同使用的两种模式优于单个模态后估计在潜在可变预测中的任意线性混合。包含域知识的CCA（PCCA）的惩罚扩展可以发现与高维，低样本数据的相关性，而传统的CCA是不可应用的。为了便于使用PCCA产生多维嵌入，我们提出了两个基质放气计划，该方案强制实施CCA所表现出的理想性质。我们通过组合上述所有具有潜在可变预测的通货卡来提出一种两阶段预测管道。在模拟数据上，我们提出的模型大大降低了潜在可变预测中的平均平均误差。当从癌症基因组地图集（​​TCGA）乳腺癌患者的公开可用的组织病理学数据和RNA测序数据中时，我们的模型可以在生存预测中呈现相同维度的主要成分分析（PCA）嵌入。

本文提出了一种基于图形的正则化回归估计器 - 分层特征回归（HFR） - 从机器学习和图论域名的洞察力调动洞察力，以估算线性回归的鲁棒参数。估计器构造一个监督的特征图，该监督特征图沿其边缘分解参数，首先调整常见变化并连续地将特殊性模式结合到拟合过程中。图形结构具有对组靶标的参数收缩的影响，其中收缩程度由肝异常的控制，并且基团组合物以及收缩靶数是内源性的。该方法提供了丰富的资源，以便在数据中的潜在效果结构的视觉探索，并与一系列经验和模拟回归任务的常用正则化技术面板相比，展示了良好的预测精度和多功能性。

Model-X条件随机测试是有条件独立性测试的通用框架，解锁了新的可能性，以发现与感兴趣的响应有条件相关的特征，同时控制I型错误率。该测试的一个吸引力的优势是，它可以与任何机器学习模型一起使用来设计强大的测试统计数据。反过来，Model-X文献中的常见实践是使用机器学习模型形成测试统计量，经过培训，以最大程度地提高预测精度，希望能够获得良好的功率测试。但是，这里的理想目标是推动模型（在训练期间）以最大程度地提高测试功能，而不仅仅是预测精度。在本文中，我们通过首次引入新型模型拟合方案来弥合这一差距，这些方案旨在明确提高Model-X测试的功能。这是通过引入新的成本函数来完成的，该功能旨在最大化用于衡量有条件独立性违反的测试统计量。使用合成和真实的数据集，我们证明了我们提出的损失函数与各种基本预测模型（Lasso，弹性网和深神经网络）的组合始终增加所获得的正确发现的数量，同时维持I型错误率下的I型错误率控制。

我们提出了一种估计具有标称分类数据的高维线性模型的方法。我们的估算器，称为范围，通过使其相应的系数完全相等来融合水平。这是通过对分类变量的系数的阶数统计之间的差异之间的差异来实现这一点，从而聚类系数。我们提供了一种算法，用于精确和有效地计算在具有潜在许多级别的单个变量的情况下的总体上的最小值的全局最小值，并且在多变量情况下在块坐标血管下降过程中使用它。我们表明，利用未知级别融合的Oracle最小二乘解决方案是具有高概率的坐标血缘的极限点，只要真正的级别具有一定的最小分离;已知这些条件在单变量案例中最小。我们展示了在一系列实际和模拟数据集中的范围的有利性能。 R包的R包Catreg实现线性模型的范围，也可以在CRAN上提供逻辑回归的版本。

We extend best-subset selection to linear Multi-Task Learning (MTL), where a set of linear models are jointly trained on a collection of datasets (``tasks''). Allowing the regression coefficients of tasks to have different sparsity patterns (i.e., different supports), we propose a modeling framework for MTL that encourages models to share information across tasks, for a given covariate, through separately 1) shrinking the coefficient supports together, and/or 2) shrinking the coefficient values together. This allows models to borrow strength during variable selection even when the coefficient values differ markedly between tasks. We express our modeling framework as a Mixed-Integer Program, and propose efficient and scalable algorithms based on block coordinate descent and combinatorial local search. We show our estimator achieves statistically optimal prediction rates. Importantly, our theory characterizes how our estimator leverages the shared support information across tasks to achieve better variable selection performance. We evaluate the performance of our method in simulations and two biology applications. Our proposed approaches outperform other sparse MTL methods in variable selection and prediction accuracy. Interestingly, penalties that shrink the supports together often outperform penalties that shrink the coefficient values together. We will release an R package implementing our methods.

交叉验证是一种广泛使用的技术来估计预测误差，但其行为很复杂且不完全理解。理想情况下，人们想认为，交叉验证估计手头模型的预测错误，适合训练数据。我们证明，普通最小二乘拟合的线性模型并非如此。相反，它估计模型的平均预测误差适合于同一人群提取的其他看不见的训练集。我们进一步表明，这种现象发生在大多数流行的预测误差估计中，包括数据拆分，自举和锦葵的CP。接下来，从交叉验证得出的预测误差的标准置信区间可能的覆盖范围远低于所需水平。由于每个数据点都用于训练和测试，因此每个折叠的测量精度之间存在相关性，因此方差的通常估计值太小。我们引入了嵌套的交叉验证方案，以更准确地估计该方差，并从经验上表明，在传统的交叉验证间隔失败的许多示例中，这种修改导致间隔大致正确覆盖。

分析电子健康记录（EHR）数据通常会遇到具有大量稀有二进制特征的统计学习，尤其是在使用先前的医学诊断和程序的疾病开始建模时。众所周知，处理最终的高度稀疏和大规模的二进制功能矩阵是具有挑战性的，因为传统方法可能缺乏测试和模型拟合中的不一致性，而机器学习方法可能会遭受产生可解释的结果或临床上无能为力的障碍风险因素。为了改善基于EHR的建模并利用疾病分类的自然层次结构，我们提出了树木制定的特征选择和逻辑聚合方法，用于具有稀有二进制特征的大规模回归，在这种情况下，不仅可以通过稀疏追求实现尺寸降低。还有``或''的逻辑运算符的聚合启动子。我们将组合问题转换为线性约束的正规化估计，该估计可以通过理论保证实现可扩展的计算。在使用EHR数据的自杀风险研究中，我们的方法能够在国际疾病的诊断层次结构指导下选择和汇总先前的心理健康诊断。通过平衡EHR诊断记录的稀有性和特异性，我们的策略改善了预测和模型解释。我们确定了重要的高级类别和心理健康状况的子类别，并同时确定每个人在预测自杀风险时所需的特异性水平。

稳定性选择（Meinshausen和Buhlmann，2010）通过返回许多副页面一致选择的功能来使任何特征选择方法更稳定。我们证明（在我们的知识中，它的知识，它的第一个结果），对于包含重要潜在变量的高度相关代理的数据，套索通常选择一个代理，但与套索的稳定性选择不能选择任何代理，导致比单独的套索更糟糕的预测性能。我们介绍集群稳定性选择，这利用了从业者的知识，即数据中存在高度相关的集群，从而产生比此设置中的稳定性选择更好的特征排名。我们考虑了几种特征组合方法，包括在每个重要集群中占据各个重要集群中的特征的加权平均值，其中重量由选择集群成员的频率决定，我们显示的是比以前的提案更好地导致更好的预测模型。我们呈现来自Meinshausen和Buhlmann（2010）和Shah和Samworth（2012）的理论担保的概括，以表明集群稳定选择保留相同的保证。总之，集群稳定性选择享有两个世界的最佳选择，产生既稳定的稀疏选择集，具有良好的预测性能。

Many scientific problems require identifying a small set of covariates that are associated with a target response and estimating their effects. Often, these effects are nonlinear and include interactions, so linear and additive methods can lead to poor estimation and variable selection. Unfortunately, methods that simultaneously express sparsity, nonlinearity, and interactions are computationally intractable -- with runtime at least quadratic in the number of covariates, and often worse. In the present work, we solve this computational bottleneck. We show that suitable interaction models have a kernel representation, namely there exists a "kernel trick" to perform variable selection and estimation in $O$(# covariates) time. Our resulting fit corresponds to a sparse orthogonal decomposition of the regression function in a Hilbert space (i.e., a functional ANOVA decomposition), where interaction effects represent all variation that cannot be explained by lower-order effects. On a variety of synthetic and real data sets, our approach outperforms existing methods used for large, high-dimensional data sets while remaining competitive (or being orders of magnitude faster) in runtime.

多任务学习经常用于对一组相同功能集的一组相关响应变量进行建模，从而相对于分别处理每个响应变量的方法提高了预测性能和建模精度。尽管多任务学习的潜力比单任务替代方案具有更强大的推理，但该领域的先前工作在很大程度上忽略了不确定性量化。我们在本文中的重点是神经影像学中常见的多任务问题，其目标是了解多个认知任务分数（或其他主题级评估）与从成像收集的脑连接数据之间的关系。我们提出了一个选择性推断以解决此问题的框架，并具有以下灵活性：（i）通过稀疏性惩罚共同确定每个任务的相关协变量，（ii）基于估计的稀疏性在模型中进行有效推理结构体。我们的框架为推理提供了新的有条件过程，基于选择事件的改进，该事件产生了可拖延的选择调整后的可能性。这给出了最大似然推理的估计方程式的近似系统，可通过单个凸优化问题解决，并使我们能够在大约正确的覆盖范围内有效地形成置信区间。我们的选择性推理方法应用于青少年认知大脑发展（ABCD）研究的模拟数据和数据，比常用的替代方案（例如数据拆分）产生了更紧密的置信区间。我们还通过模拟证明，与单任务方法相比，具有选择性推理的多任务学习可以更准确地恢复真实信号。

在稀疏线性建模 - 最佳子集选择中，研究了一个看似意外的，相对不太理解的基本工具的过度选择，这最小化了对非零系数的约束的限制的剩余平方和。虽然当信噪比（SNR）高时，最佳子集选择过程通常被视为稀疏学习中的“黄金标准”，但是当SNR低时，其预测性能会恶化。特别是，它通过连续收缩方法而言，例如脊回归和套索。我们研究了高噪声制度中最佳子集选择的行为，并提出了一种基于最小二乘标准的正则化版本的替代方法。我们提出的估算员（a）在很大程度上减轻了高噪声制度的最佳次集选择的可预测性能差。 （b）相对于通过脊回归和套索的最佳预测模型，通常递送大幅稀疏模型的同时表现出有利的。我们对所提出的方法的预测性质进行广泛的理论分析，并在噪声水平高时提供相对于最佳子集选择的优越预测性能的理由。我们的估算器可以表达为混合整数二阶圆锥优化问题的解决方案，因此，来自数学优化的现代计算工具可供使用。

贝叶斯变量选择方法是适合和推断稀疏高维线性回归模型的强大技术。但是，许多在计算密集型上或需要对模型参数进行限制性的先验分布。基于可能性的惩罚方法在计算方面更友好，但是推理需要资源密集型的改装技术。在本文中，我们提出了一种有效而强大的贝叶斯方法，用于稀疏高维线性回归。通过使用插件的经验贝叶斯估算超参数的估计值，需要对参数的最小化假设。有效的最大后验概率（MAP）估计是通过使用分区和扩展期望最大化（ECM）算法完成的。结果是应用于稀疏高维线性回归的经验贝叶斯ECM（探针）算法。我们提出了估计未来价值预测的可靠和预测间隔的方法。我们将预测的经验特性和我们的预测推断与可比方法进行了比较，并通过大量的模拟研究和对癌细胞系药物反应研究的分析进行了比较。提出的方法在R软件包探针中实现。

跨研究的可复制性是强大的模型评估标准，强调预测的普遍性。当训练跨研究的可复制预测模型时，至关重要的是分别合并和处理研究。我们研究了在研究中存在潜在异质性的情况下在研究中的潜在异质性之间的增强算法的增强算法，并比较了两种多研究的学习策略：1）合并所有研究并培训单个模型，以及2）多学生结合在每个研究中单独的模型，并结合产生的预测。在回归环境中，我们根据分析过渡点提供理论准则，以确定合并或合奏与线性学习者增强的合奏更有益。此外，我们表征了通过组件线性学习者提高估计误差的偏差差异分解。我们验证理论过渡点导致模拟，并说明如何指导合并与在乳腺癌基因表达数据应用中结合的决定。

R包Doubleml实现了Chernozhukov等人的双重/辩护机器学习框架。 （2018）。它提供了基于机器学习方法的因果模型中估计参数的功能。双机器学习框架由三个关键成分组成：Neyman正交性，高质量的机器学习估计和样品拆分。可以通过MLR3生态系统中可用的各种最新机器学习方法来执行滋扰组件的估计。 Doubleml使得可以在各种因果模型中进行推断，包括部分线性和交互式回归模型及其扩展到仪器变量估计。 Doubleml的面向对象的实现为模型规范具有很高的灵活性，并使其易于扩展。本文是对双机器学习框架和R软件包DOUBLEML的介绍。在具有模拟和真实数据集的可再现代码示例中，我们演示了Doubleml用户如何基于机器学习方法执行有效的推断。

In many high-dimensional prediction or classification tasks, complementary data on the features are available, e.g. prior biological knowledge on (epi)genetic markers. Here we consider tasks with numerical prior information that provide an insight into the importance (weight) and the direction (sign) of the feature effects, e.g. regression coefficients from previous studies. We propose an approach for integrating multiple sources of such prior information into penalised regression. If suitable co-data are available, this improves the predictive performance, as shown by simulation and application. The proposed method is implemented in the R package `transreg' (https://github.com/lcsb-bds/transreg).

在选择组套索（或普遍的变体，例如重叠，稀疏或标准化的组套索）之后，在没有选择偏见的调整的情况下，对所选参数的推断是不可靠的。在受惩罚的高斯回归设置中，现有方法为选择事件提供了调整，这些事件可以表示为数据变量中的线性不平等。然而，这种表示未能与组套索一起选择，并实质上阻碍了随后的选择后推断的范围。推论兴趣的关键问题 - 例如，推断选定变量对结果的影响 - 仍未得到解答。在本文中，我们开发了一种一致的，选择性的贝叶斯方法，通过得出似然调整因子和近似值来解决现有差距，从而消除了组中的偏见。对模拟数据和人类Connectome项目数据的实验表明，我们的方法恢复了所选组中参数的影响，同时仅支付较小的偏差调整价格。

现代生物医学研究通常收集多视图数据，即在同一组对象上测量的多种类型的数据。高维多视图数据分析中的流行模型是将每个视图的数据矩阵分解为跨所有数据视图常见的潜在因子生成的低级常见源矩阵，对应于每个视图的低级别源矩阵和添加剂噪声矩阵。我们提出了一种用于该模型的新型分解方法，称为基于分解的广义规范相关分析（D-GCCA）。与大多数现有方法使用的欧几里德点产品空间相比，D-GCCA严格地定义了随机变量的L2空间的分解，从而能够为低秩矩阵恢复提供估计一致性。此外，为了良好校准共同的潜在因子，我们对独特的潜在因子施加了理想的正交性限制。然而，现有方法不充分考虑这种正交性，因此可能遭受未检测到的共同源变异的大量损失。我们的D-GCCA通过分离规范变量中的共同和独特的组分，同时从主成分分析的角度享受吸引人的解释，进一步逐步进行一步。此外，我们建议使用常见的或独特潜在因子解释的信号方差的可变级别比例，以选择最受影响的变量。我们的D-GCCA方法的一致估计是通过良好的有限样本数性能建立的，并且具有封闭式表达式，导致有效计算，特别是对于大规模数据。 D-GCCA在最先进的方法上的优越性也在模拟和现实世界数据示例中得到证实。

在协作学习中，学习者协调以增强他们的每个学习表现。从任何学习者的角度来看，一个关键的挑战是滤除不合格的合作者。我们建议一个名为Meta聚类的框架来应对挑战。与聚类数据点的经典问题不同，元聚类将学习者分类。假设每个学习者都在独立的本地数据集上执行监督回归，我们建议选择一种选择 - 交换群集（SEC）方法，以通过其基础监督功能对学习者进行分类。从理论上讲，我们可以表明SEC可以将学习者聚集到准确的协作集中。实证研究证实了理论分析，并证明SEC可以在计算上是有效的，对学习者异质性的稳健性，并且有效地增强了单人学习者的性能。另外，我们展示了如何使用提出的方法来增强数据公平性。本文的补充材料可在线获得。