如何在缺少值的数据上学习一个很好的预测仪？大多数努力都专注于首先抵御耐受和第二学习完成数据以预测结果。然而，这种普遍的实践没有理论基础。在这里，我们显示，对于几乎所有估算的功能，具有强大的学习者的赋予归零过程是贝叶斯最佳。此结果适用于所有缺失值机制，与需要缺失随机设置的经典统计结果相比，以在概率模型中使用归属。此外，它意味着良好的预测不需要完美的条件估算。事实上，我们表明，在完美避阻的数据上，最好的回归函数通常是不连续的，这使得很难学习。制作代替估算以便离开回归功能不变只是将问题转移到学习不连续的避难所。相反，我们建议联合学会归纳和回归更容易。我们提出了这种过程，适应Neumiss，一种神经网络，无论缺失值模式如何，捕获观察到的和未观察的变量的条件链接。实验证实，通过Neumiss的联合归因和回归优于我们的实验中的各个步骤程序，其中有限数量的样品。

在机器学习的许多应用中，不可避免的值是不可避免的，并且在培训和测试时都提出了挑战。当反复出现的模式中缺少变量时，已经提出了单独的图案子模型作为解决方案。但是，独立模型并不能有效利用所有可用数据。相反，将共享模型拟合到完整数据集通常取决于插补，而当丢失度取决于未观察到的因素时，这可能是次优的。我们提出了一种替代方法，称为共享模式子模型，该方法做出了a）在测试时对缺失值的强大预测，b）维持或提高模式子模型的预测能力，c）有一个简短的描述，可改善可解释性。我们确定共享是最佳的情况，即使缺失本身具有预测性以及预测目标取决于未观察到的变量。关于合成数据和两个医疗保健数据集的分类和回归实验表明，我们的模型在模式专业化和信息共享之间实现了良好的权衡。

我们在对数损失下引入条件密度估计的过程，我们调用SMP（样本Minmax预测器）。该估算器最大限度地减少了统计学习的新一般过度风险。在标准示例中，此绑定量表为$ d / n $，$ d $ d $模型维度和$ n $ sample大小，并在模型拼写条目下批判性仍然有效。作为一个不当（超出型号）的程序，SMP在模型内估算器（如最大似然估计）的内部估算器上，其风险过高的风险降低。相比，与顺序问题的方法相比，我们的界限删除了SubOltimal $ \ log n $因子，可以处理无限的类。对于高斯线性模型，SMP的预测和风险受到协变量的杠杆分数，几乎匹配了在没有条件的线性模型的噪声方差或近似误差的条件下匹配的最佳风险。对于Logistic回归，SMP提供了一种非贝叶斯方法来校准依赖于虚拟样本的概率预测，并且可以通过解决两个逻辑回归来计算。它达到了$ O的非渐近风险（（d + b ^ 2r ^ 2）/ n）$，其中$ r $绑定了特征的规范和比较参数的$ B $。相比之下，在模型内估计器内没有比$ \ min达到更好的速率（{b r} / {\ sqrt {n}}，{d e ^ {br} / {n}）$。这为贝叶斯方法提供了更实用的替代方法，这需要近似的后部采样，从而部分地解决了Foster等人提出的问题。 （2018）。

专家（MOE）的混合是一种流行的统计和机器学习模型，由于其灵活性和效率，多年来一直引起关注。在这项工作中，我们将高斯门控的局部MOE（GLOME）和块对基因协方差局部MOE（Blome）回归模型在异质数据中呈现非线性关系，并在高维预测变量之间具有潜在的隐藏图形结构相互作用。这些模型从计算和理论角度提出了困难的统计估计和模型选择问题。本文致力于研究以混合成分数量，高斯平均专家的复杂性以及协方差矩阵的隐藏块 - 基因结构为特征的Glome或Blome模型集合中的模型选择问题。惩罚最大似然估计框架。特别是，我们建立了以弱甲骨文不平等的形式的非反应风险界限，但前提是罚款的下限。然后，在合成和真实数据集上证明了我们的模型的良好经验行为。

预测一组结果 - 而不是独特的结果 - 是统计学习中不确定性定量的有前途的解决方案。尽管有关于构建具有统计保证的预测集的丰富文献，但适应未知的协变量转变（实践中普遍存在的问题）还是一个严重的未解决的挑战。在本文中，我们表明具有有限样本覆盖范围保证的预测集是非信息性的，并提出了一种新型的无灵活分配方法PredSet-1Step，以有效地构建了在未知协方差转移下具有渐近覆盖范围保证的预测集。我们正式表明我们的方法是\ textIt {渐近上可能是近似正确}，对大型样本的置信度有很好的覆盖误差。我们说明，在南非队列研究中，它在许多实验和有关HIV风险预测的数据集中实现了名义覆盖范围。我们的理论取决于基于一般渐近线性估计器的WALD置信区间覆盖范围的融合率的新结合。

我们研究了称为“乐观速率”（Panchenko 2002; Srebro等，2010）的统一收敛概念，用于与高斯数据的线性回归。我们的精致分析避免了现有结果中的隐藏常量和对数因子，这已知在高维设置中至关重要，特别是用于了解插值学习。作为一个特殊情况，我们的分析恢复了Koehler等人的保证。（2021年），在良性过度的过度条件下，严格地表征了低规范内插器的人口风险。但是，我们的乐观速度绑定还分析了具有任意训练错误的预测因子。这使我们能够在随机设计下恢复脊和套索回归的一些经典统计保障，并有助于我们在过度参数化制度中获得精确了解近端器的过度风险。

我们证明了由例如He等人提出的广泛使用的方法。（2015年）并使用梯度下降对最小二乘损失进行训练并不普遍。具体而言，我们描述了一大批一维数据生成分布，较高的概率下降只会发现优化景观的局部最小值不好，因为它无法将其偏离偏差远离其初始化，以零移动。。事实证明，在这些情况下，即使目标函数是非线性的，发现的网络也基本执行线性回归。我们进一步提供了数值证据，表明在实际情况下，对于某些多维分布而发生这种情况，并且随机梯度下降表现出相似的行为。我们还提供了有关初始化和优化器的选择如何影响这种行为的经验结果。

近几十年来，技术进步使得可以收集大数据集。在这种情况下，基于模型的群集是一种非常流行的，灵活和可解释的方法，用于在明确定义的统计框架中进行数据探索。大型数据集的增加之一是缺失值更频繁。但是，传统方式（由于丢弃具有缺失的值或估算方法的观察）不是为聚类目的而设计的。此外，它们很少适用于常规情况，虽然在实践中频繁地缺失，但是当缺失取决于未观察到的数据值时，缺失就缺失（mnar）值，而且可能在观察到的数据值上。本文的目标是通过直接在基于模型的聚类算法内嵌入MNAR数据来提出一种新的方法。我们为数据和缺失数据指示器的联合分布进行了选择模型。它对应于数据分布的混合模型和缺失数据机制的一般Mnar模型，其可以取决于底层类（未知）和/或缺失变量本身的值。导出大量有意义的MNAR子模型，对每个子模型研究了参数的可识别性，这通常是任何MNAR提案的关键问题。考虑EM和随机EM算法估计。最后，我们对合成数据的提议子模型进行了实证评估，我们说明了我们的方法对医疗寄存器的方法，创伤者（R）数据集。

鉴于$ n $ i.i.d.从未知的分发$ P $绘制的样本，何时可以生成更大的$ n + m $ samples，这些标题不能与$ n + m $ i.i.d区别区别。从$ p $绘制的样品？（AXELROD等人2019）将该问题正式化为样本放大问题，并为离散分布和高斯位置模型提供了最佳放大程序。然而，这些程序和相关的下限定制到特定分布类，对样本扩增的一般统计理解仍然很大程度上。在这项工作中，我们通过推出通常适用的放大程序，下限技术和与现有统计概念的联系来放置对公司统计基础的样本放大问题。我们的技术适用于一大类分布，包括指数家庭，并在样本放大和分配学习之间建立严格的联系。

我们在高斯噪声的假设下使用最小的角度回归（LARS）算法来研究多次测试和变量选择。已知LARS制造分段仿射溶液路径，改变点称为Lars路径的结。我们的结果的关键是在Lars选定的变量上有一定数量的结合形式的结缔组织的确切联合法的表达，即Lars结的所谓的选择后联合法。数值实验表明了我们的研究结果的完美契合。本文提出了三个主要贡献。首先，我们在噪声水平可能未知的情况下，建立在常规设计案例中输入模型的变量测试程序。这些测试程序被称为广义$ T $ -Spacing测试（GTST），我们证明它们具有精确的非渐近水平（即，I.，I型错误被完全控制）。这延长了（Taylor等，2014）的工作，其中间距测试适用于连续结和已知方差。其次，我们在一般设计案例中介绍了一个新的精确多个假阴性测试，当噪声水平可能未知时。我们证明，该测试程序具有一般设计和未知噪声水平的完全非渐近水平。第三，我们在正交设计假设下确切地控制了虚假的发现率。提供了Monte Carlo模拟和实际数据实验，以说明我们在这种情况下的结果。基于递归函数，我们介绍了基于递归函数的Lars算法等效制定。

树合奏方法如随机森林[Breiman，2001]非常受欢迎，以处理高维表格数据集，特别是因为它们的预测精度良好。然而，当机器学习用于决策问题时，由于开明的决策需要对算法预测过程的深入理解来实现最佳预测程序的解决可能是不合理的。不幸的是，由于他们的预测结果从平均数百个决策树的预测结果，随机森林并不是本质上可解释的。在这种所谓的黑盒算法上获得知识的经典方法是计算可变重要性，这些重点是评估每个输入变量的预测影响。然后使用可变重要性对等变量进行排名或选择变量，从而在数据分析中发挥着重要作用。然而，没有理由使用随机森林变量以这种方式：我们甚至不知道这些数量估计。在本文中，我们分析了两个众所周知的随机森林可变重大之一，平均减少杂质（MDI）。我们证明，如果输入变量是独立的并且在没有相互作用的情况下，MDI提供了输出的方差分解，其中清楚地识别了每个变量的贡献。我们还研究表现出输入变量或交互之间的依赖性的模型，其中变量重要性本质上是不明的。我们的分析表明，与一棵树相比，可能存在使用森林的一些好处。

我们考虑在估计涉及依赖参数的高维滋扰的估计方程中估计一个低维参数。一个中心示例是因果推理中（局部）分位数处理效应（（L）QTE）的有效估计方程，涉及在分位数以估计的分位数评估的协方差累积分布函数。借记机学习（DML）是一种使用灵活的机器学习方法估算高维滋扰的数据分解方法，但是将其应用于参数依赖性滋扰的问题是不切实际的。对于（L）QTE，DML要求我们学习整个协变量累积分布函数。相反，我们提出了局部偏见的机器学习（LDML），该学习避免了这一繁重的步骤，并且只需要对参数进行一次初始粗糙猜测而估算烦恼。对于（L）QTE，LDML仅涉及学习两个回归功能，这是机器学习方法的标准任务。我们证明，在松弛速率条件下，我们的估计量与使用未知的真实滋扰的不可行的估计器具有相同的有利渐近行为。因此，LDML值得注意的是，当我们必须控制许多协变量和/或灵活的关系时，如（l）QTES在（（l）QTES）中，实际上可以有效地估算重要数量，例如（l）QTES。

自我监督的表示学习解决辅助预测任务（称为借口任务），而不需要标记数据以学习有用的语义表示。这些借口任务仅使用输入特征，例如预测缺失的图像修补程序，从上下文中恢复图像的颜色通道，或者预测文本中的缺失单词;然而，预测该\ Texit {已知}信息有助于学习对下游预测任务的学习陈述。我们提供利用某些{\ EM重建}借口任务之间的统计连接的机制，以保证学习良好代表性。正式地，我们量化了借口任务的组件之间的近似独立性（标签和潜在变量的条件）允许我们学习可以通过训练在学习表示的顶部的线性层来解决下游任务的表示。我们证明了线性层即使对于复杂的地面真理函数类，也会产生小的近似误差，并且将急剧减少标记的样本复杂性。接下来，我们展示了我们方法的简单修改，导致非线性CCA，类似于流行的Simsiam算法，并显示了非线性CCA的类似保证。

It is widely believed that given the same labeling budget, active learning algorithms like uncertainty sampling achieve better predictive performance than passive learning (i.e. uniform sampling), albeit at a higher computational cost. Recent empirical evidence suggests that this added cost might be in vain, as uncertainty sampling can sometimes perform even worse than passive learning. While existing works offer different explanations in the low-dimensional regime, this paper shows that the underlying mechanism is entirely different in high dimensions: we prove for logistic regression that passive learning outperforms uncertainty sampling even for noiseless data and when using the uncertainty of the Bayes optimal classifier. Insights from our proof indicate that this high-dimensional phenomenon is exacerbated when the separation between the classes is small. We corroborate this intuition with experiments on 20 high-dimensional datasets spanning a diverse range of applications, from finance and histology to chemistry and computer vision.

我们提出了一个强大的框架，以执行线性回归，而功能中缺少条目。通过考虑椭圆形数据分布，特别是多元正常模型，我们能够为缺失条目制定分布并提出一个强大的框架，这最大程度地减少了由于缺失数据的不确定性而造成的最严重的情况。我们表明，所提出的公式自然考虑了不同变量之间的依赖性，最终减少了凸面程序，可以为其提供自定义和可扩展的求解器。除了提供此类求解器的详细分析外，我们还渐近地分析了所提出的框架的行为，并进行了技术讨论以估算所需的输入参数。我们通过对合成，半合成和真实数据进行的实验进行补充，并展示提出的配方如何提高预测准确性和鲁棒性，并优于竞争技术。

不同的代理需要进行预测。他们观察到相同的数据，但有不同的模型：他们预测使用不同的解释变量。我们研究哪个代理商认为它们具有最佳的预测能力 - 通过最小的主观后均匀平均平方预测误差来衡量 - 并且显示它如何取决于样本大小。使用小样品，我们呈现结果表明它是使用低维模型的代理。对于大型样品，通常是具有高维模型的代理，可能包括无关的变量，但从未排除相关的变量。我们将结果应用于拍卖生产资产拍卖中的获胜模型，以争辩于企业家和具有简单模型的投资者将在新部门过度代表，并了解解释横断面变异的“因素”的扩散资产定价文学中的预期股票回报。

教师 - 学生模型提供了一个框架，其中可以以封闭形式描述高维监督学习的典型情况。高斯I.I.D的假设然而，可以认为典型教师 - 学生模型的输入数据可以被认为过于限制，以捕获现实数据集的行为。在本文中，我们介绍了教师和学生可以在不同的空格上行动的模型的高斯协变态概括，以固定的，而是通用的特征映射。虽然仍处于封闭形式的仍然可解决，但这种概括能够捕获广泛的现实数据集的学习曲线，从而兑现师生框架的潜力。我们的贡献是两倍：首先，我们证明了渐近培训损失和泛化误差的严格公式。其次，我们呈现了许多情况，其中模型的学习曲线捕获了使用内​​核回归和分类学习的现实数据集之一，其中盒出开箱特征映射，例如随机投影或散射变换，或者与散射变换预先学习的 - 例如通过培训多层神经网络学到的特征。我们讨论了框架的权力和局限性。

在本文中，我们调查了问题：给定少数DataPoints，例如n = 30，可以严格的CAG-Bayes和测试集界限进行紧张吗？对于这种小型数据集，测试集界限通过从培训程序中扣留数据而产生不利影响泛化性能。在这种环境中，Pac-Bayes界限尤其吸引力，因为它们使用所有数据的能力同时学习后部并结合其泛化风险。我们专注于i.i.d.具有有界损失的数据，并考虑Germain等人的通用Pac-Bayes定理。虽然已知定理恢复许多现有的PAC-Bayes界，但目前尚不清楚他们的框架中最有束缚的终结。对于一个固定的学习算法和数据集，我们表明最紧密的绑定与Catoni考虑的绑定相一致;并且，在更自然的数据集发行情况下，我们在期望中获得最佳界限的下限。有趣的是，如果后部等于先前，则这个下限会恢复绑定的Chernoff测试集。此外，为了说明这些界限有多紧，我们研究了合成的一维分类任务，其中它是可行的 - 学习绑定的先前和形状，以便最有效地优化最佳界限。我们发现，在这种简单，受控的场景中，Pac-Bayes界竞争与可比常用的Chernoff测试集合界限具有竞争​​力。然而，最清晰的测试集界仍然导致泛化误差比我们考虑的Pac-Bayes所界限更好地保证。

The framework of variational autoencoders allows us to efficiently learn deep latent-variable models, such that the model's marginal distribution over observed variables fits the data. Often, we're interested in going a step further, and want to approximate the true joint distribution over observed and latent variables, including the true prior and posterior distributions over latent variables. This is known to be generally impossible due to unidentifiability of the model. We address this issue by showing that for a broad family of deep latentvariable models, identification of the true joint distribution over observed and latent variables is actually possible up to very simple transformations, thus achieving a principled and powerful form of disentanglement. Our result requires a factorized prior distribution over the latent variables that is conditioned on an additionally observed variable, such as a class label or almost any other observation. We build on recent developments in nonlinear ICA, which we extend to the case with noisy or undercomplete observations, integrated in a maximum likelihood framework. The result also trivially contains identifiable flow-based generative models as a special case.

我们提出了一种估计具有标称分类数据的高维线性模型的方法。我们的估算器，称为范围，通过使其相应的系数完全相等来融合水平。这是通过对分类变量的系数的阶数统计之间的差异之间的差异来实现这一点，从而聚类系数。我们提供了一种算法，用于精确和有效地计算在具有潜在许多级别的单个变量的情况下的总体上的最小值的全局最小值，并且在多变量情况下在块坐标血管下降过程中使用它。我们表明，利用未知级别融合的Oracle最小二乘解决方案是具有高概率的坐标血缘的极限点，只要真正的级别具有一定的最小分离;已知这些条件在单变量案例中最小。我们展示了在一系列实际和模拟数据集中的范围的有利性能。 R包的R包Catreg实现线性模型的范围，也可以在CRAN上提供逻辑回归的版本。