经济学和医疗保健方面的许多实际决策问题寻求从观察数据中估算平均治疗效果（ATE）。双重/辩护的机器学习（DML）是观察性研究中估计吃量的普遍方法之一。但是，DML估计器可能会遇到错误的问题，甚至在倾向分数被弄错或非常接近0或1时进行极端估计。现有文献从理论的角度解决了这个问题。在本文中，我们提出了一种健壮的因果学习（RCL）方法，以抵消DML估计量的缺陷。从理论上讲，RCL估计量i）与DML估计器一样一致且双重稳健，ii）可以摆脱错误混合问题。从经验上讲，全面的实验表明，i）RCL估计器比DML估计器给出了因果参数的稳定估计，ii）RCL估计器在模拟和基准标准数据集上应用不同的机器学习模型时，RCL估计器优于传统估计器及其变体。 。

Causal learning is the key to obtaining stable predictions and answering \textit{what if} problems in decision-makings. In causal learning, it is central to seek methods to estimate the average treatment effect (ATE) from observational data. The Double/Debiased Machine Learning (DML) is one of the prevalent methods to estimate ATE. However, the DML estimators can suffer from an \textit{error-compounding issue} and even give extreme estimates when the propensity scores are close to 0 or 1. Previous studies have overcome this issue through some empirical tricks such as propensity score trimming, yet none of the existing works solves it from a theoretical standpoint. In this paper, we propose a \textit{Robust Causal Learning (RCL)} method to offset the deficiencies of DML estimators. Theoretically, the RCL estimators i) satisfy the (higher-order) orthogonal condition and are as \textit{consistent and doubly robust} as the DML estimators, and ii) get rid of the error-compounding issue. Empirically, the comprehensive experiments show that: i) the RCL estimators give more stable estimations of the causal parameters than DML; ii) the RCL estimators outperform traditional estimators and their variants when applying different machine learning models on both simulation and benchmark datasets, and a mimic consumer credit dataset generated by WGAN.

由于选择偏差，观察数据估算平均治疗效果（ATE）是有挑战性的。现有作品主要以两种方式应对这一挑战。一些研究人员建议构建满足正交条件的分数函数，该函数确保已建立的估计量“正交”更加健壮。其他人探索表示模型，以实现治疗组和受控群体之间的平衡表示。但是，现有研究未能进行1）在表示空间中歧视受控单元以避免过度平衡的问题； 2）充分利用“正交信息”。在本文中，我们提出了一个基于最新协变量平衡表示方法和正交机器学习理论的中等平衡的表示学习（MBRL）框架。该框架可保护表示形式免于通过多任务学习过度平衡。同时，MBRL将噪声正交性信息纳入培训和验证阶段，以实现更好的ATE估计。与现有的最新方法相比，基准和模拟数据集的全面实验表明，我们方法对治疗效应估计的优越性和鲁棒性。

In many investigations, the primary outcome of interest is difficult or expensive to collect. Examples include long-term health effects of medical interventions, measurements requiring expensive testing or follow-up, and outcomes only measurable on small panels as in marketing. This reduces effective sample sizes for estimating the average treatment effect (ATE). However, there is often an abundance of observations on surrogate outcomes not of primary interest, such as short-term health effects or online-ad click-through. We study the role of such surrogate observations in the efficient estimation of treatment effects. To quantify their value, we derive the semiparametric efficiency bounds on ATE estimation with and without the presence of surrogates and several intermediary settings. The difference between these characterizes the efficiency gains from optimally leveraging surrogates. We study two regimes: when the number of surrogate observations is comparable to primary-outcome observations and when the former dominates the latter. We take an agnostic missing-data approach circumventing strong surrogate conditions previously assumed. To leverage surrogates' efficiency gains, we develop efficient ATE estimation and inference based on flexible machine-learning estimates of nuisance functions appearing in the influence functions we derive. We empirically demonstrate the gains by studying the long-term earnings effect of job training.

本文研究了在潜在的结果框架中使用深神经网络（DNN）的平均治疗效果（ATE）的估计和推理。在一些规则性条件下，观察到的响应可以作为与混杂变量和治疗指标作为自变量的平均回归问题的响应。使用这种配方，我们研究了通过使用特定网络架构的DNN回归基于估计平均回归函数的两种尝试估计和推断方法。我们表明ATE的两个DNN估计在底层真正的均值回归模型上的一些假设下与无维一致性率一致。我们的模型假设可容纳观察到的协变量的潜在复杂的依赖结构，包括治疗指标和混淆变量之间的潜在因子和非线性相互作用。我们还基于采样分裂的思想，确保精确推理和不确定量化，建立了我们估计的渐近常态。仿真研究和实际数据应用证明了我们的理论调查结果，支持我们的DNN估计和推理方法。

In various fields of data science, researchers are often interested in estimating the ratio of conditional expectation functions (CEFR). Specifically in causal inference problems, it is sometimes natural to consider ratio-based treatment effects, such as odds ratios and hazard ratios, and even difference-based treatment effects are identified as CEFR in some empirically relevant settings. This chapter develops the general framework for estimation and inference on CEFR, which allows the use of flexible machine learning for infinite-dimensional nuisance parameters. In the first stage of the framework, the orthogonal signals are constructed using debiased machine learning techniques to mitigate the negative impacts of the regularization bias in the nuisance estimates on the target estimates. The signals are then combined with a novel series estimator tailored for CEFR. We derive the pointwise and uniform asymptotic results for estimation and inference on CEFR, including the validity of the Gaussian bootstrap, and provide low-level sufficient conditions to apply the proposed framework to some specific examples. We demonstrate the finite-sample performance of the series estimator constructed under the proposed framework by numerical simulations. Finally, we apply the proposed method to estimate the causal effect of the 401(k) program on household assets.

本文提出了在多阶段实验的背景下的异质治疗效应的置信区间结构，以$ N $样品和高维，$ D $，混淆。我们的重点是$ d \ gg n $的情况，但获得的结果也适用于低维病例。我们展示了正则化估计的偏差，在高维变焦空间中不可避免，具有简单的双重稳固分数。通过这种方式，不需要额外的偏差，并且我们获得root $ N $推理结果，同时允许治疗和协变量的多级相互依赖性。记忆财产也没有假设;治疗可能取决于所有先前的治疗作业以及以前的所有多阶段混淆。我们的结果依赖于潜在依赖的某些稀疏假设。我们发现具有动态处理的强大推理所需的新产品率条件。

我们考虑在估计涉及依赖参数的高维滋扰的估计方程中估计一个低维参数。一个中心示例是因果推理中（局部）分位数处理效应（（L）QTE）的有效估计方程，涉及在分位数以估计的分位数评估的协方差累积分布函数。借记机学习（DML）是一种使用灵活的机器学习方法估算高维滋扰的数据分解方法，但是将其应用于参数依赖性滋扰的问题是不切实际的。对于（L）QTE，DML要求我们学习整个协变量累积分布函数。相反，我们提出了局部偏见的机器学习（LDML），该学习避免了这一繁重的步骤，并且只需要对参数进行一次初始粗糙猜测而估算烦恼。对于（L）QTE，LDML仅涉及学习两个回归功能，这是机器学习方法的标准任务。我们证明，在松弛速率条件下，我们的估计量与使用未知的真实滋扰的不可行的估计器具有相同的有利渐近行为。因此，LDML值得注意的是，当我们必须控制许多协变量和/或灵活的关系时，如（l）QTES在（（l）QTES）中，实际上可以有效地估算重要数量，例如（l）QTES。

Off-Policy evaluation (OPE) is concerned with evaluating a new target policy using offline data generated by a potentially different behavior policy. It is critical in a number of sequential decision making problems ranging from healthcare to technology industries. Most of the work in existing literature is focused on evaluating the mean outcome of a given policy, and ignores the variability of the outcome. However, in a variety of applications, criteria other than the mean may be more sensible. For example, when the reward distribution is skewed and asymmetric, quantile-based metrics are often preferred for their robustness. In this paper, we propose a doubly-robust inference procedure for quantile OPE in sequential decision making and study its asymptotic properties. In particular, we propose utilizing state-of-the-art deep conditional generative learning methods to handle parameter-dependent nuisance function estimation. We demonstrate the advantages of this proposed estimator through both simulations and a real-world dataset from a short-video platform. In particular, we find that our proposed estimator outperforms classical OPE estimators for the mean in settings with heavy-tailed reward distributions.

当并非观察到所有混杂因子并获得负面对照时，我们研究因果参数的估计。最近的工作表明，这些方法如何通过两个所谓的桥梁函数来实现识别和有效估计。在本文中，我们使用阴性对照来应对因果推断的主要挑战：这些桥梁功能的识别和估计。先前的工作依赖于这些功能的完整性条件，以识别因果参数并在估计中需要进行独特性假设，并且还集中于桥梁函数的参数估计。相反，我们提供了一种新的识别策略，以避免完整性条件。而且，我们根据最小学习公式为这些功能提供新的估计量。这些估计值适合通用功能类别，例如重现Hilbert空间和神经网络。我们研究了有限样本收敛的结果，既可以估计桥梁功能本身，又要在各种假设组合下对因果参数进行最终估计。我们尽可能避免桥梁上的独特条件。

估计平均因果效应的理想回归（如果有）是什么？我们在离散协变量的设置中研究了这个问题，从而得出了各种分层估计器的有限样本方差的表达式。这种方法阐明了许多广泛引用的结果的基本统计现象。我们的博览会结合了研究因果效应估计的三种不同的方法论传统的见解：潜在结果，因果图和具有加性误差的结构模型。

在本文中，我们的目标是提供对半监督（SS）因果推理的一般性和完全理解治疗效果。具体而言，我们考虑两个这样的估计值：（a）平均治疗效果和（b）定量处理效果，作为原型案例，在SS设置中，其特征在于两个可用的数据集：（i）标记的数据集大小$ N $，为响应和一组高维协变量以及二元治疗指标提供观察。 （ii）一个未标记的数据集，大小超过$ n $，但未观察到的响应。使用这两个数据集，我们开发了一个SS估计系列，该系列是：（1）更强大，并且（2）比其监督对应力更高的基于标记的数据集。除了通过监督方法可以实现的“标准”双重稳健结果（在一致性方面），我们还在正确指定模型中的倾向得分，我们进一步建立了我们SS估计的根本-N一致性和渐近常态。没有需要涉及的特定形式的滋扰职能。这种改善的鲁棒性来自使用大规模未标记的数据，因此通常不能在纯粹监督的环境中获得。此外，只要正确指定所有滋扰函数，我们的估计值都显示为半参数效率。此外，作为滋扰估计器的说明，我们考虑逆概率加权型核平滑估计，涉及未知的协变量转换机制，并在高维情景新颖的情况下建立其统一的收敛速率，这应该是独立的兴趣。两种模拟和实际数据的数值结果验证了我们对其监督对应物的优势，了解鲁棒性和效率。

观察数据中估算单个治疗效果（ITE）在许多领域，例如个性化医学等领域。但是，实际上，治疗分配通常被未观察到的变量混淆，因此引入了偏见。消除偏见的一种补救措施是使用仪器变量（IVS）。此类环境在医学中广泛存在（例如，将合规性用作二进制IV的试验）。在本文中，我们提出了一个新颖的，可靠的机器学习框架，称为MRIV，用于使用二进制IV估算ITES，从而产生无偏见的ITE估计器。与以前的二进制IV的工作不同，我们的框架通过伪结果回归直接估算了ITE。 （1）我们提供了一个理论分析，我们表明我们的框架产生了多重稳定的收敛速率：即使几个滋扰估计器的收敛缓慢，我们的ITE估计器也会达到快速收敛。 （2）我们进一步表明，我们的框架渐近地优于最先进的插件IV方法，以进行ITE估计。 （3）我们以理论结果为基础，并提出了一种使用二进制IVS的ITE估算的定制的，称为MRIV-NET的深度神经网络结构。在各种计算实验中，我们从经验上证明了我们的MRIV-NET实现最先进的性能。据我们所知，我们的MRIV是第一个机器学习框架，用于估算显示出倍增功能的二进制IV设置。

因果推断能够估计治疗效果（即，治疗结果的因果效果），使各个领域的决策受益。本研究中的一个基本挑战是观察数据的治疗偏见。为了提高对因果推断的观察研究的有效性，基于代表的方法作为最先进的方法表明了治疗效果估计的卓越性能。基于大多数基于表示的方法假设所有观察到的协变量都是预处理的（即，不受治疗影响的影响），并学习这些观察到的协变量的平衡表示，以估算治疗效果。不幸的是，这种假设往往在实践中往往是太严格的要求，因为一些协调因子是通过对治疗的干预进行改变（即，后治疗）来改变。相比之下，从不变的协变量中学到的平衡表示因此偏置治疗效果估计。

作为因果参数的平均处理效果（ATE）的估计分为两个步骤，其中在第一步中，建模治疗和结果以包含潜在的混乱，并且在第二步中，将预测插入到其中ATE估计器，例如增强逆概率加权（AIPW）估计器。由于对混乱与治疗和结果之间的非线性或未知关系的担忧，有兴趣应用非参数学方法，例如机器学习（ML）算法。一些文献建议使用两个单独的神经网络（NNS），其中网络的参数没有正则化，除了NN优化中的随机梯度下降（SGD）。我们的模拟表明，如果没有使用正则化，则AIPW估计器会受到广泛的影响。我们提出了AIPW（称为Naipw）的正常化，这在某些情况下可以有所帮助。 Naipw，可否提供与AIPW相同的属性，即双重稳健性和正交性属性。此外，如果第一步算法收敛到足够快，则在监管条件下，Naipw将是渐近正常的。我们还在NNS上施加小于中等L1正则化的偏差和方差方面比较AIPW和NAIPW的性能。

治疗效应估计的因果推理方法通常假设独立的实验单位。但是，由于实验单元可能会相互作用，因此这种假设通常值得怀疑。我们开发了增强的反可能性加权（AIPW），以估计和推断因果治疗对依赖观察数据的影响。我们的框架涵盖了网络中相互作用的单位引起的溢出效应的非常普遍的案例。我们使用插件机学习来估计无限维的滋扰成分，导致一致的治疗效应估计器以参数速率收敛，渐近地遵循高斯分布。

在制定政策指南时，随机对照试验（RCT）代表了黄金标准。但是，RCT通常是狭窄的，并且缺乏更广泛的感兴趣人群的数据。这些人群中的因果效应通常是使用观察数据集估算的，这可能会遭受未观察到的混杂和选择偏见。考虑到一组观察估计（例如，来自多项研究），我们提出了一个试图拒绝偏见的观察性估计值的元偏值。我们使用验证效应，可以从RCT和观察数据中推断出的因果效应。在拒绝未通过此测试的估计器之后，我们对RCT中未观察到的亚组的外推性效应产生了保守的置信区间。假设至少一个观察估计量在验证和外推效果方面是渐近正常且一致的，我们为我们算法输出的间隔的覆盖率概率提供了保证。为了促进在跨数据集的因果效应运输的设置中，我们给出的条件下，即使使用灵活的机器学习方法用于估计滋扰参数，群体平均治疗效应的双重稳定估计值也是渐近的正常。我们说明了方法在半合成和现实世界数据集上的特性，并表明它与标准的荟萃分析技术相比。

Causal mediation analysis can unpack the black box of causality and is therefore a powerful tool for disentangling causal pathways in biomedical and social sciences, and also for evaluating machine learning fairness. To reduce bias for estimating Natural Direct and Indirect Effects in mediation analysis, we propose a new method called DeepMed that uses deep neural networks (DNNs) to cross-fit the infinite-dimensional nuisance functions in the efficient influence functions. We obtain novel theoretical results that our DeepMed method (1) can achieve semiparametric efficiency bound without imposing sparsity constraints on the DNN architecture and (2) can adapt to certain low dimensional structures of the nuisance functions, significantly advancing the existing literature on DNN-based semiparametric causal inference. Extensive synthetic experiments are conducted to support our findings and also expose the gap between theory and practice. As a proof of concept, we apply DeepMed to analyze two real datasets on machine learning fairness and reach conclusions consistent with previous findings.

预测一组结果 - 而不是独特的结果 - 是统计学习中不确定性定量的有前途的解决方案。尽管有关于构建具有统计保证的预测集的丰富文献，但适应未知的协变量转变（实践中普遍存在的问题）还是一个严重的未解决的挑战。在本文中，我们表明具有有限样本覆盖范围保证的预测集是非信息性的，并提出了一种新型的无灵活分配方法PredSet-1Step，以有效地构建了在未知协方差转移下具有渐近覆盖范围保证的预测集。我们正式表明我们的方法是\ textIt {渐近上可能是近似正确}，对大型样本的置信度有很好的覆盖误差。我们说明，在南非队列研究中，它在许多实验和有关HIV风险预测的数据集中实现了名义覆盖范围。我们的理论取决于基于一般渐近线性估计器的WALD置信区间覆盖范围的融合率的新结合。

Off-policy evaluation (OPE) is a method for estimating the return of a target policy using some pre-collected observational data generated by a potentially different behavior policy. In some cases, there may be unmeasured variables that can confound the action-reward or action-next-state relationships, rendering many existing OPE approaches ineffective. This paper develops an instrumental variable (IV)-based method for consistent OPE in confounded Markov decision processes (MDPs). Similar to single-stage decision making, we show that IV enables us to correctly identify the target policy's value in infinite horizon settings as well. Furthermore, we propose an efficient and robust value estimator and illustrate its effectiveness through extensive simulations and analysis of real data from a world-leading short-video platform.