负面对照是在存在未衡量混杂的情况下学习治疗与结果之间因果关系的策略。但是，如果有两个辅助变量可用：阴性对照治疗（对实际结果没有影响），并且可以确定治疗效果，并且可以识别出负面对照的结果（不受实际治疗的影响）。这些辅助变量也可以看作是一组传统控制变量的代理，并且与仪器变量相似。我提出了一种基于内核脊回归的算法系列，用于学习非参数治疗效果，并具有阴性对照。例子包括剂量反应曲线，具有分布转移的剂量反应曲线以及异质治疗效果。数据可能是离散的或连续的，并且低，高或无限的尺寸。我证明一致性均匀，并提供有限的收敛速率。我使用宾夕法尼亚州1989年至1991年之间在宾夕法尼亚州的单身人士出生的数据集对婴儿的出生体重进行了吸烟的剂量反应曲线，以调整未观察到的混杂因素。

我们提出了基于内核Ridge回归的估计估算师，用于非参数结构功能（也称为剂量响应曲线）和半甲酰胺处理效果。治疗和协变量可以是离散的或连续的，低，高或无限的尺寸。与其他机器学习范例不同，降低了具有闭合形式解决方案的内核脊回归组合的因果估计和推理，这些ridge回归的组合，并通过矩阵操作轻松计算。这种计算简单允许我们在两个方向上扩展框架：从意味着增加和分布反事实结果;从完整人口参数到群体和替代人口的参数。对于结构函数，我们证明了具有有限样本速率的均匀一致性。对于治疗效果，我们通过新的双光谱鲁棒性属性证明$ \ sqrt {n} $一致性，高斯近似和半甲效率。我们对美国职能培训计划进行仿真和估计平均，异构和增量结构职能。

我们提出了用于中介分析和动态治疗效果的内核脊回归估计。我们允许治疗，协变量和介质是离散或连续的，低，高或无限的尺寸。我们在内核矩阵操作方面提出了具有封闭式解决方案的依据，增量和分布的估算者。对于连续治疗案例，我们证明了具有有限样本速率的均匀一致性。对于离散处理案例，我们证明了根 - N一致性，高斯近似和半占用效率。我们进行仿真，然后估计美国职务团计划的介导和动态治疗效果，弱势青少年。

我提出了用于非参数剂量响应曲线和半造型处理效果的内核脊回归估计，在分析师可以访问所选样品而不是随机样品的情况下;仅供选择观察，观察结果。我假设选择与治疗的随机条件一样好，并且具有足够丰富的观察协变量，其中允许协变量引起治疗或由治疗引起的 - 失踪 - 随机（MAR）的延伸。我提出了在核矩阵操作方面具有封闭形式解决方案的手段，增量和分布的估算，允许治疗和协调因子是离散的或连续的，低，高或无限尺寸。对于连续处理箱，我证明了具有有限样本速率的均匀一致性。对于离散处理案例，我证明了根 - N一致性，高斯近似和半占效率。

我提出了长期因果推断的内核脊回归估计，其中包含随机治疗和短期替代品的短期实验数据集与包含短期替代和长期结果的长期观测数据集融合。在核矩阵操作方面，我提出了治疗效果，剂量反应和反事实分布的估算方法。我允许协变量，治疗和替代品是离散的或连续的，低，高或无限的尺寸。对于长期治疗效果，我证明$ \ sqrt {n} $一致性，高斯近似和半占用效率。对于长期剂量反应，我证明了具有有限样品速率的均匀稠度。对于长期反事实分布，我证明了分布的收敛性。

我们解决了在没有观察到的混杂的存在下的因果效应估计的问题，但是观察到潜在混杂因素的代理。在这种情况下，我们提出了两种基于内核的方法，用于非线性因果效应估计：（a）两阶段回归方法，以及（b）最大矩限制方法。我们专注于近端因果学习设置，但是我们的方法可以用来解决以弗雷霍尔姆积分方程为特征的更广泛的逆问题。特别是，我们提供了在非线性环境中解决此问题的两阶段和矩限制方法的统一视图。我们为每种算法提供一致性保证，并证明这些方法在合成数据和模拟现实世界任务的数据上获得竞争结果。特别是，我们的方法优于不适合利用代理变量的早期方法。

我用机器学习估计的纵向因果参数构建并证明置信区间。纵向参数包括长期，动态和介导的效果。我为任何用于满足少数简单，可解释的条件的机器学习算法估计的任何纵向因果参数提供令人反感的定理。主要结果包括针对特定人口统计学定义的本地参数以及在存在不观察到的混杂中定义的近端参数。正式，我证明了一致性，高斯近似和半占用效率。全局参数的收敛速度为n ^ { - 1/2} $ n $ n为n ^ { - 1/2} $，它为本地参数优雅地降低。我阐述了一套简单的条件来将均方的平方率转化为统计推理。主要结果的一个关键特征是对纵向设置中的近端因果推断不良的新的多种稳健性。

我们研究了对识别的非唯一麻烦的线性功能的通用推断，该功能定义为未识别条件矩限制的解决方案。这个问题出现在各种应用中，包括非参数仪器变量模型，未衡量的混杂性下的近端因果推断以及带有阴影变量的丢失 - 与随机数据。尽管感兴趣的线性功能（例如平均治疗效应）在适当的条件下是可以识别出的，但令人讨厌的非独家性对统计推断构成了严重的挑战，因为在这种情况下，常见的滋扰估计器可能是不稳定的，并且缺乏固定限制。在本文中，我们提出了对滋扰功能的受惩罚的最小估计器，并表明它们在这种挑战性的环境中有效推断。提出的滋扰估计器可以适应灵活的功能类别，重要的是，无论滋扰是否是唯一的，它们都可以融合到由惩罚确定的固定限制。我们使用受惩罚的滋扰估计器来形成有关感兴趣的线性功能的依据估计量，并在通用高级条件下证明其渐近正态性，这提供了渐近有效的置信区间。

即使是最精确的经济数据集也具有嘈杂，丢失，离散化或私有化的变量。实证研究的标准工作流程涉及数据清理，然后是数据分析，通常忽略数据清洁的偏差和方差后果。我们制定了具有损坏数据的因果推理的半造型模型，以包括数据清洁和数据分析。我们提出了一种新的数据清洁，估计和推理的新的端到端程序，以及数据清洁调整的置信区间。通过有限的示例参数，我们证明了因果关系参数的估算器的一致性，高斯近似和半游戏效率。 Gaussian近似的速率为N ^ { - 1/2} $，如平均治疗效果，如平均治疗效果，并且优雅地为当地参数劣化，例如特定人口统计的异构治疗效果。我们的关键假设是真正的协变量是较低的等级。在我们的分析中，我们为矩阵完成，统计学习和半统计统计提供了非对症的理论贡献。我们验证了数据清洁调整的置信区间隔的覆盖范围校准，以类似于2020年美国人口普查中实施的差异隐私。

当并非观察到所有混杂因子并获得负面对照时，我们研究因果参数的估计。最近的工作表明，这些方法如何通过两个所谓的桥梁函数来实现识别和有效估计。在本文中，我们使用阴性对照来应对因果推断的主要挑战：这些桥梁功能的识别和估计。先前的工作依赖于这些功能的完整性条件，以识别因果参数并在估计中需要进行独特性假设，并且还集中于桥梁函数的参数估计。相反，我们提供了一种新的识别策略，以避免完整性条件。而且，我们根据最小学习公式为这些功能提供新的估计量。这些估计值适合通用功能类别，例如重现Hilbert空间和神经网络。我们研究了有限样本收敛的结果，既可以估计桥梁功能本身，又要在各种假设组合下对因果参数进行最终估计。我们尽可能避免桥梁上的独特条件。

近年来目睹了采用灵活的机械学习模型进行乐器变量（IV）回归的兴趣，但仍然缺乏不确定性量化方法的发展。在这项工作中，我们为IV次数回归提出了一种新的Quasi-Bayesian程序，建立了最近开发的核化IV模型和IV回归的双/极小配方。我们通过在$ l_2 $和sobolev规范中建立最低限度的最佳收缩率，并讨论可信球的常见有效性来分析所提出的方法的频繁行为。我们进一步推出了一种可扩展的推理算法，可以扩展到与宽神经网络模型一起工作。实证评价表明，我们的方法对复杂的高维问题产生了丰富的不确定性估计。

代理因果学习（PCL）是一种使用代理（结构侧信息）对杂交剂的不观察到的混杂性在存在的情况下估算治疗的原因效果的方法。这是通过两阶段回归实现的：在第一阶段，我们模拟治疗和代理之间的关系;在第二阶段，考虑到代理提供的上下文，我们使用该模型来学习治疗对结果的影响。 PCL保证恢复真正的因果效果，但受到可识别条件。我们提出了一种新颖的PCL方法，深度特征代理可变方法（DFPV），用于解决代理，处理和结果是高维度的，并且具有非线性复杂关系，如深神经网络特征所示。我们展示了DFPV在挑战合成基准上的最近最先进的PCL方法，包括涉及高维图像数据的设置。此外，我们表明PCL可以应用于混淆强盗问题的违规策略评估，其中DFPV也表现出具有竞争性的表现。

我们推出了一般，但简单，尖锐的界限，用于广泛的因果参数的省略可变偏置，可以被识别为结果的条件期望函数的线性功能。这些功能包括许多传统的因果推断研究中的调查目标，例如（加权）平均潜在结果，平均治疗效果（包括亚组效应，例如对处理的效果），（加权）平均值来自协变态分布的转变的衍生品和政策影响 - 所有是一般的非参数因果模型。我们的建设依赖于目标功能的riesz-frechet表示。具体而言，我们展示了偏差的绑定如何仅取决于潜在变量在结果中创建的附加变型以及用于感兴趣的参数的RIESZ代表。此外，在许多重要病例中（例如，部分线性模型中的平均治疗效果，或在具有二元处理的不可分配模型中），所示的界定依赖于两个易于解释的数量：非参数部分$ r ^ 2 $（Pearson的相关性与治疗和结果的未观察变量的比例“。因此，对省略变量的最大解释力（在解释处理和结果变化时）的简单合理性判断足以将整体界限放置在偏置的尺寸上。最后，利用脱叠机器学习，我们提供灵活有效的统计推理方法，以估计从观察到的分布识别的界限的组件。

在TAN（2006）边缘敏感模型下，在不观察到的混淆存在下构建平均处理效应的界限问题。结合涉及对冲倾向分数的现有表征具有对问题的新的分布稳健特征，我们提出了我们称之为“双重有效/双重尖锐”（DVD）估计的这些界限的新颖估算器。双重清晰度对应于DVD估计始终估计灵敏度模型所暗示的最有可能（即，夏普）的界限，即使当所有滋扰参数都适当一致时，即使在两个滋扰参数中的一个被击败并实现半污染参数之一。双倍有效性是部分识别的全新财产：DVD估计仍然提供有效，但即使在大多数滋扰参数都被遗漏时，仍然没有锐利。实际上，即使在DVDS点估计无法渐近正常的情况下，标准沃尔德置信区间也可能保持有效。在二进制结果的情况下，DVD估计是特别方便的并且在结果回归和倾向评分方面具有闭合形式的表达。我们展示了模拟研究中的DVD估计，以及对右心导管插入的案例研究。

Many problems in causal inference and economics can be formulated in the framework of conditional moment models, which characterize the target function through a collection of conditional moment restrictions. For nonparametric conditional moment models, efficient estimation often relies on preimposed conditions on various measures of ill-posedness of the hypothesis space, which are hard to validate when flexible models are used. In this work, we address this issue by proposing a procedure that automatically learns representations with controlled measures of ill-posedness. Our method approximates a linear representation defined by the spectral decomposition of a conditional expectation operator, which can be used for kernelized estimators and is known to facilitate minimax optimal estimation in certain settings. We show this representation can be efficiently estimated from data, and establish L2 consistency for the resulting estimator. We evaluate the proposed method on proximal causal inference tasks, exhibiting promising performance on high-dimensional, semi-synthetic data.

当原因因错误破坏时，我们提出了基于内核的非参数估计量。我们通过在仪器变量设置中概括估计来做到这一点。尽管在测量误差和测量误差方面进行了重大研究，但在连续环境中处理未观察的混杂件是不平凡的：我们几乎看不到先前的工作。作为我们调查的副产品，我们阐明了平均嵌入和特征功能之间的联系，以及如何同时学习一个人学习另一个人。这为内核方法研究开辟了道路，以利用特征功能估计的现有结果。最后，我们从经验上表明，我们提出的方法MEKIV在测量误差的强度和误差分布的类型上的变化下改善了基线，并且在变化下是可靠的。

我们提出了脱结的机器学习估计，用于共同参数，如局部平均处理效果，具有高维协调因子。为此，我们将整个类别的共同参数的双重强大时刻函数表征为Wald和$ \ Kappa $重量配方的组合。我们直接估计$ \ kappa $权重，而不是它们的组件，以消除反相倾向于高维协调因子的数值不稳定的步骤。我们证明我们的估算器是平衡的，一致，渐近的正常和半偏见的高效，并使用它来估计401（k）参与净金融资产分配的影响。

Causal inference is the process of using assumptions, study designs, and estimation strategies to draw conclusions about the causal relationships between variables based on data. This allows researchers to better understand the underlying mechanisms at work in complex systems and make more informed decisions. In many settings, we may not fully observe all the confounders that affect both the treatment and outcome variables, complicating the estimation of causal effects. To address this problem, a growing literature in both causal inference and machine learning proposes to use Instrumental Variables (IV). This paper serves as the first effort to systematically and comprehensively introduce and discuss the IV methods and their applications in both causal inference and machine learning. First, we provide the formal definition of IVs and discuss the identification problem of IV regression methods under different assumptions. Second, we categorize the existing work on IV methods into three streams according to the focus on the proposed methods, including two-stage least squares with IVs, control function with IVs, and evaluation of IVs. For each stream, we present both the classical causal inference methods, and recent developments in the machine learning literature. Then, we introduce a variety of applications of IV methods in real-world scenarios and provide a summary of the available datasets and algorithms. Finally, we summarize the literature, discuss the open problems and suggest promising future research directions for IV methods and their applications. We also develop a toolkit of IVs methods reviewed in this survey at https://github.com/causal-machine-learning-lab/mliv.

估计平均因果效应的理想回归（如果有）是什么？我们在离散协变量的设置中研究了这个问题，从而得出了各种分层估计器的有限样本方差的表达式。这种方法阐明了许多广泛引用的结果的基本统计现象。我们的博览会结合了研究因果效应估计的三种不同的方法论传统的见解：潜在结果，因果图和具有加性误差的结构模型。

在制定政策指南时，随机对照试验（RCT）代表了黄金标准。但是，RCT通常是狭窄的，并且缺乏更广泛的感兴趣人群的数据。这些人群中的因果效应通常是使用观察数据集估算的，这可能会遭受未观察到的混杂和选择偏见。考虑到一组观察估计（例如，来自多项研究），我们提出了一个试图拒绝偏见的观察性估计值的元偏值。我们使用验证效应，可以从RCT和观察数据中推断出的因果效应。在拒绝未通过此测试的估计器之后，我们对RCT中未观察到的亚组的外推性效应产生了保守的置信区间。假设至少一个观察估计量在验证和外推效果方面是渐近正常且一致的，我们为我们算法输出的间隔的覆盖率概率提供了保证。为了促进在跨数据集的因果效应运输的设置中，我们给出的条件下，即使使用灵活的机器学习方法用于估计滋扰参数，群体平均治疗效应的双重稳定估计值也是渐近的正常。我们说明了方法在半合成和现实世界数据集上的特性，并表明它与标准的荟萃分析技术相比。