当我们配对输入$ x $和输出$ y $的培训数据时，普通监督学习很有用。但是，这种配对数据在实践中可能很难收集。在本文中，我们考虑了当我们没有配对数据时预测$ y $的任务，但是我们有两个单独的独立数据集，分别为$ x $，每个$ $ $ y $ y $ y $ y $ y $ y $ u $ u $ u $ $，也就是说，我们有两个数据集$ s_x = \ {（x_i，u_i）\} $和$ s_y = \ {（u'_j，y'_jj）\} $。一种天真的方法是使用$ s_x $从$ x $中预测$ u $，然后使用$ s_y $从$ u $ $ y $预测$ y $，但我们表明这在统计上不一致。此外，预测$ u $比预测$ y $在实践中更困难，例如$ u $具有更高的维度。为了避免难度，我们提出了一种避免预测$ u $的新方法，但直接通过培训$ f（x）$ $ s_ {x} $来预测$ y = f（x）$，以预测$ h（u）$经过$ s_ {y} $的培训，以近似$ y $。我们证明了我们方法的统计一致性和误差范围，并通过实验确认其实际实用性。

在因果推理和强盗文献中，基于观察数据的线性功能估算线性功能的问题是规范的。我们分析了首先估计治疗效果函数的广泛的两阶段程序，然后使用该数量来估计线性功能。我们证明了此类过程的均方误差上的非反应性上限：这些边界表明，为了获得非反应性最佳程序，应在特定加权$ l^2 $中最大程度地估算治疗效果的误差。 -规范。我们根据该加权规范的约束回归分析了两阶段的程序，并通过匹配非轴突局部局部最小值下限，在有限样品中建立了实例依赖性最优性。这些结果表明，除了取决于渐近效率方差之外，最佳的非质子风险除了取决于样本量支持的最富有函数类别的真实结果函数与其近似类别之间的加权规范距离。

当并非观察到所有混杂因子并获得负面对照时，我们研究因果参数的估计。最近的工作表明，这些方法如何通过两个所谓的桥梁函数来实现识别和有效估计。在本文中，我们使用阴性对照来应对因果推断的主要挑战：这些桥梁功能的识别和估计。先前的工作依赖于这些功能的完整性条件，以识别因果参数并在估计中需要进行独特性假设，并且还集中于桥梁函数的参数估计。相反，我们提供了一种新的识别策略，以避免完整性条件。而且，我们根据最小学习公式为这些功能提供新的估计量。这些估计值适合通用功能类别，例如重现Hilbert空间和神经网络。我们研究了有限样本收敛的结果，既可以估计桥梁功能本身，又要在各种假设组合下对因果参数进行最终估计。我们尽可能避免桥梁上的独特条件。

我们考虑在有条件的力矩限制下学习因果关系。与无条件力矩限制下的因果推断不同，有条件的力矩限制对因果推断构成了严重的挑战，尤其是在高维环境中。为了解决这个问题，我们提出了一种方法，该方法使用条件密度比估计器将有条件的力矩限制通过重要性加权转换为无条件的力矩限制。使用这种转换，我们成功估计了条件矩限制下定义的非参数功能。我们提出的框架是一般的，可以应用于包括神经网络在内的广泛方法。我们分析估计误差，为我们提出的方法提供理论支持。在实验中，我们确认了我们提出的方法的健全性。

Testing the significance of a variable or group of variables $X$ for predicting a response $Y$, given additional covariates $Z$, is a ubiquitous task in statistics. A simple but common approach is to specify a linear model, and then test whether the regression coefficient for $X$ is non-zero. However, when the model is misspecified, the test may have poor power, for example when $X$ is involved in complex interactions, or lead to many false rejections. In this work we study the problem of testing the model-free null of conditional mean independence, i.e. that the conditional mean of $Y$ given $X$ and $Z$ does not depend on $X$. We propose a simple and general framework that can leverage flexible nonparametric or machine learning methods, such as additive models or random forests, to yield both robust error control and high power. The procedure involves using these methods to perform regressions, first to estimate a form of projection of $Y$ on $X$ and $Z$ using one half of the data, and then to estimate the expected conditional covariance between this projection and $Y$ on the remaining half of the data. While the approach is general, we show that a version of our procedure using spline regression achieves what we show is the minimax optimal rate in this nonparametric testing problem. Numerical experiments demonstrate the effectiveness of our approach both in terms of maintaining Type I error control, and power, compared to several existing approaches.

近年来目睹了采用灵活的机械学习模型进行乐器变量（IV）回归的兴趣，但仍然缺乏不确定性量化方法的发展。在这项工作中，我们为IV次数回归提出了一种新的Quasi-Bayesian程序，建立了最近开发的核化IV模型和IV回归的双/极小配方。我们通过在$ l_2 $和sobolev规范中建立最低限度的最佳收缩率，并讨论可信球的常见有效性来分析所提出的方法的频繁行为。我们进一步推出了一种可扩展的推理算法，可以扩展到与宽神经网络模型一起工作。实证评价表明，我们的方法对复杂的高维问题产生了丰富的不确定性估计。

监督学习的关键假设是培训和测试数据遵循相同的概率分布。然而，这种基本假设在实践中并不总是满足，例如，由于不断变化的环境，样本选择偏差，隐私问题或高标签成本。转移学习（TL）放松这种假设，并允许我们在分销班次下学习。通常依赖于重要性加权的经典TL方法 - 基于根据重要性（即测试过度训练密度比率）的训练损失培训预测器。然而，由于现实世界机器学习任务变得越来越复杂，高维和动态，探讨了新的新方法，以应对这些挑战最近。在本文中，在介绍基于重要性加权的TL基础之后，我们根据关节和动态重要预测估计审查最近的进步。此外，我们介绍一种因果机制转移方法，该方法包含T1中的因果结构。最后，我们讨论了TL研究的未来观点。

仪器变量模型使我们能够确定协变量$ x $和响应$ y $之间的因果功能，即使在存在未观察到的混淆的情况下。大多数现有估计器都假定响应$ y $和隐藏混杂因素中的错误项与仪器$ z $不相关。这通常是由图形分离的动机，这一论点也证明了独立性。但是，提出独立限制会导致严格的可识别性结果。我们连接到计量经济学的现有文献，并提供了一种称为HSIC-X的实用方法，用于利用独立性，可以与任何基于梯度的学习程序结合使用。我们看到，即使在可识别的设置中，考虑到更高的矩可能会产生更好的有限样本结果。此外，我们利用独立性进行分布泛化。我们证明，只要这些移位足够强，拟议的估计器对于仪器的分布变化和最佳案例最佳变化是不变的。这些结果即使在未识别的情况下也能够得出这些结果，即仪器不足以识别因果功能。

因果推理，经济学以及更普遍的一般机器学习中的重要问题可以表示为条件力矩限制，但是估计变得具有挑战性，因为它需要解决无条件的力矩限制的连续性。以前的工作通过将广义的矩（GMM）方法扩展到连续矩限制来解决此问题。相比之下，广义经验可能性（GEL）提供了一个更通用的框架，并且与基于GMM的估计器相比，已显示出具有优惠的小样本特性。为了从机器学习的最新发展中受益，我们提供了可以利用任意模型的凝胶的功能重新重新制定。通过对所得无限尺寸优化问题的双重配方的激励，我们设计了一种实用方法并探索其渐近性能。最后，我们提供基于内核和基于神经网络的估计器实现，这些实现在两个条件矩限制问题上实现了最先进的经验绩效。

尽管现代的大规模数据集通常由异质亚群（例如，多个人口统计组或多个文本语料库）组成 - 最小化平均损失的标准实践并不能保证所有亚人群中均匀的低损失。我们提出了一个凸面程序，该过程控制给定尺寸的所有亚群中最差的表现。我们的程序包括有限样本（非参数）收敛的保证，可以保证最坏的亚群。从经验上讲，我们观察到词汇相似性，葡萄酒质量和累犯预测任务，我们最糟糕的程序学习了对不看到看不见的亚人群的模型。

三角形流量，也称为kn \“{o}的Rosenblatt测量耦合，包括用于生成建模和密度估计的归一化流模型的重要构建块，包括诸如实值的非体积保存变换模型的流行自回归流模型（真实的NVP）。我们提出了三角形流量统计模型的统计保证和样本复杂性界限。特别是，我们建立了KN的统计一致性和kullback-leibler估算器的rospblatt的kullback-leibler估计的有限样本会聚率使用实证过程理论的工具测量耦合。我们的结果突出了三角形流动下播放功能类的各向异性几何形状，优化坐标排序，并导致雅各比比流动的统计保证。我们对合成数据进行数值实验，以说明我们理论发现的实际意义。

许多实际优化问题涉及不确定的参数，这些参数具有概率分布，可以使用上下文特征信息来估算。与首先估计不确定参数的分布然后基于估计优化目标的标准方法相反，我们提出了一个\ textIt {集成条件估计 - 优化}（ICEO）框架，该框架估计了随机参数的潜在条件分布同时考虑优化问题的结构。我们将随机参数的条件分布与上下文特征之间的关系直接建模，然后以与下游优化问题对齐的目标估算概率模型。我们表明，我们的ICEO方法在适度的规律性条件下渐近一致，并以概括范围的形式提供有限的性能保证。在计算上，使用ICEO方法执行估计是一种非凸面且通常是非差异的优化问题。我们提出了一种通用方法，用于近似从估计的条件分布到通过可区分函数的最佳决策的潜在非差异映射，这极大地改善了应用于非凸问题的基于梯度的算法的性能。我们还提供了半代理案例中的多项式优化解决方案方法。还进行了数值实验，以显示我们在不同情况下的方法的经验成功，包括数据样本和模型不匹配。

考虑基于相同的输入变量的同时学习大量响应函数的问题。训练数据包括从共同分布绘制的输入变量的单个独立随机样本以及相关的响应。将输入变量映射到称为特征空间的高维线性空间，并且响应函数被建模为映射特征的线性功能，通过普通最小二乘校准系数。我们通过在响应函数均匀地控制过度风险的收敛速度来提供最坏情况过度预测风险的收敛保证。允许特征图的尺寸倾向于与样本大小无穷大。响应功能的集合虽然可能是无限的，但应该具有有限的VAPNIK-Chervonenkis维度。在合理的计算时间内构建多个代理模型时，可以应用所派生的界限。

我们研究了对识别的非唯一麻烦的线性功能的通用推断，该功能定义为未识别条件矩限制的解决方案。这个问题出现在各种应用中，包括非参数仪器变量模型，未衡量的混杂性下的近端因果推断以及带有阴影变量的丢失 - 与随机数据。尽管感兴趣的线性功能（例如平均治疗效应）在适当的条件下是可以识别出的，但令人讨厌的非独家性对统计推断构成了严重的挑战，因为在这种情况下，常见的滋扰估计器可能是不稳定的，并且缺乏固定限制。在本文中，我们提出了对滋扰功能的受惩罚的最小估计器，并表明它们在这种挑战性的环境中有效推断。提出的滋扰估计器可以适应灵活的功能类别，重要的是，无论滋扰是否是唯一的，它们都可以融合到由惩罚确定的固定限制。我们使用受惩罚的滋扰估计器来形成有关感兴趣的线性功能的依据估计量，并在通用高级条件下证明其渐近正态性，这提供了渐近有效的置信区间。

广义贝叶斯推理使用损失函数而不是可能性的先前信仰更新，因此可以用于赋予鲁棒性，以防止可能的错误规范的可能性。在这里，我们认为广泛化的贝叶斯推论斯坦坦差异作为损失函数的损失，由应用程序的可能性含有难治性归一化常数。在这种情况下，斯坦因差异来避免归一化恒定的评估，并产生封闭形式或使用标准马尔可夫链蒙特卡罗的通用后出版物。在理论层面上，我们显示了一致性，渐近的正常性和偏见 - 稳健性，突出了这些物业如何受到斯坦因差异的选择。然后，我们提供关于一系列棘手分布的数值实验，包括基于内核的指数家庭模型和非高斯图形模型的应用。

我们在无限地平线马尔可夫决策过程中考虑批量（离线）策略学习问题。通过移动健康应用程序的推动，我们专注于学习最大化长期平均奖励的政策。我们为平均奖励提出了一款双重强大估算器，并表明它实现了半导体效率。此外，我们开发了一种优化算法来计算参数化随机策略类中的最佳策略。估计政策的履行是通过政策阶级的最佳平均奖励与估计政策的平均奖励之间的差异来衡量，我们建立了有限样本的遗憾保证。通过模拟研究和促进体育活动的移动健康研究的分析来说明该方法的性能。

我们解决了在没有观察到的混杂的存在下的因果效应估计的问题，但是观察到潜在混杂因素的代理。在这种情况下，我们提出了两种基于内核的方法，用于非线性因果效应估计：（a）两阶段回归方法，以及（b）最大矩限制方法。我们专注于近端因果学习设置，但是我们的方法可以用来解决以弗雷霍尔姆积分方程为特征的更广泛的逆问题。特别是，我们提供了在非线性环境中解决此问题的两阶段和矩限制方法的统一视图。我们为每种算法提供一致性保证，并证明这些方法在合成数据和模拟现实世界任务的数据上获得竞争结果。特别是，我们的方法优于不适合利用代理变量的早期方法。

我们研究了称为“乐观速率”（Panchenko 2002; Srebro等，2010）的统一收敛概念，用于与高斯数据的线性回归。我们的精致分析避免了现有结果中的隐藏常量和对数因子，这已知在高维设置中至关重要，特别是用于了解插值学习。作为一个特殊情况，我们的分析恢复了Koehler等人的保证。（2021年），在良性过度的过度条件下，严格地表征了低规范内插器的人口风险。但是，我们的乐观速度绑定还分析了具有任意训练错误的预测因子。这使我们能够在随机设计下恢复脊和套索回归的一些经典统计保障，并有助于我们在过度参数化制度中获得精确了解近端器的过度风险。

监督表示学习的目标是为预测构建有效的数据表示。在高维复杂数据的理想非参数表示的所有特征中，充分性，低维度和脱离是最重要的。我们提出了一种深层缩小方法，以使用这些特征来学习表示表示。提出的方法是对足够降低方法的非参数概括。我们制定理想的表示学习任务是找到非参数表示，该任务最小化了表征条件独立性并促进人口层面的分离的目标函数。然后，我们使用深层神经网络在非参数上估计样品级别的目标表示。我们表明，估计的深度非参数表示是一致的，因为它的过剩风险会收敛到零。我们使用模拟和真实基准数据的广泛数值实验表明，在分类和回归的背景下，所提出的方法比现有的几种降低方法和标准深度学习模型具有更好的性能。

数据驱动决策的经验风险最小化方法假设我们可以从与我们想要在下面部署的条件相同的条件下绘制的数据中学习决策规则。但是，在许多设置中，我们可能会担心我们的培训样本是有偏见的，并且某些组（以可观察或无法观察到的属性为特征）可能相对于一般人群而言是不足或代表过多的；在这种情况下，对培训集的经验风险最小化可能无法产生在部署时表现良好的规则。我们基于分配强大的优化和灵敏度分析的概念，我们提出了一种学习决策规则的方法，该方法将在测试分布家族的家庭中最小化最糟糕的案例风险，其有条件的结果分布$ y $ y $ y $ y $ x $有所不同有条件的训练分布最多是一个恒定因素，并且相对于训练数据的协变量分布，其协变量分布绝对是连续的。我们应用Rockafellar和Uryasev的结果表明，此问题等同于增强的凸风险最小化问题。我们提供了使用筛子的方法来学习健壮模型的统计保证，并提出了一种深度学习算法，其损失函数捕获了我们的稳健性目标。我们从经验上验证了我们在模拟中提出的方法和使用MIMIC-III数据集的案例研究。