决策者通常想确定为某些干预或治疗最有效的个人,以决定要治疗谁。在这种情况下,理想情况下,决策者希望根据其个人因果影响对潜在的治疗者进行排名。但是,可用于估计因果效应的历史数据可能会混淆,因此,准确地估计效果是不可能的。我们提出了一个关于历史数据的新的且较少的限制性假设,称为排名保存假设(RPA),即使无法准确估算效果本身,也可以一致地估计单个效应的排名。重要的是,我们发现,当混杂偏见更大的因果效应的个体更大时,混淆有助于估计因果效应的排名,即使不是这种情况,也可以纠正混淆的任何有害影响,也可以纠正满足RPA时更大的培训数据。然后,我们在分析上表明,可以在各种情况下满足RPA,包括在线广告和客户保留等常见的业务应用程序。我们在在线广告的背景下以一个经验示例来支持这一发现。该示例还显示了如何在实践中评估混杂模型的决策。主要要点是,传统上可能被认为是因果估计的“好”数据(即,不满意的数据)可能不是必需的,而对于做出良好的因果决定,因此治疗作业方法可能比我们在面前允许他们荣誉更好混淆。
translated by 谷歌翻译
估计平均因果效应的理想回归(如果有)是什么?我们在离散协变量的设置中研究了这个问题,从而得出了各种分层估计器的有限样本方差的表达式。这种方法阐明了许多广泛引用的结果的基本统计现象。我们的博览会结合了研究因果效应估计的三种不同的方法论传统的见解:潜在结果,因果图和具有加性误差的结构模型。
translated by 谷歌翻译
Estimating treatment effects is one of the most challenging and important tasks of data analysts. In many applications, like online marketing and personalized medicine, treatment needs to be allocated to the individuals where it yields a high positive treatment effect. Uplift models help select the right individuals for treatment and maximize the overall treatment effect (uplift). A major challenge in uplift modeling concerns model evaluation. Previous literature suggests methods like the Qini curve and the transformed outcome mean squared error. However, these metrics suffer from variance: their evaluations are strongly affected by random noise in the data, which renders their signals, to a certain degree, arbitrary. We theoretically analyze the variance of uplift evaluation metrics and derive possible methods of variance reduction, which are based on statistical adjustment of the outcome. We derive simple conditions under which the variance reduction methods improve the uplift evaluation metrics and empirically demonstrate their benefits on simulated and real-world data. Our paper provides strong evidence in favor of applying the suggested variance reduction procedures by default when evaluating uplift models on RCT data.
translated by 谷歌翻译
我们应用因果机学习算法来评估营销干预措施的因果影响,即优惠券活动,对零售商的销售。除了评估不同类型的优惠券的平均影响外,我们还调查了不同客户群的因果关系效应的异质性,例如,在相对较高的客户与先前购买相对较高的客户之间。最后,我们使用最佳政策学习来确定(以数据驱动方式)哪些客户群应针对优惠券活动,以最大程度地提高营销干预措施在销售方面的有效性。我们发现,在检查的五个优惠券类别中,只有两个,即适用于药店产品和其他食品产品类别的优惠券,对零售商销售具有统计学上的显着积极影响。对小组平均治疗效果的评估表明,在商店的先前购买中定义的客户群中,优惠券提供的影响有很大的差异,药品店优惠券在先前购买较高的客户和其他食品优惠券中特别有效先前购买较低的客户。我们的研究提供了一种用例,用于在业务分析中应用因果机学习,以评估特定公司政策(例如营销活动)对决策支持的因果影响。
translated by 谷歌翻译
有许多可用于选择优先考虑治疗的可用方法,包括基于治疗效果估计,风险评分和手工制作规则的遵循申请。我们将秩加权平均治疗效应(RATY)指标作为一种简单常见的指标系列,用于比较水平竞争范围的治疗优先级规则。对于如何获得优先级规则,率是不可知的,并且仅根据他们在识别受益于治疗中受益的单位的方式进行评估。我们定义了一系列速率估算器,并证明了一个中央限位定理,可以在各种随机和观测研究环境中实现渐近精确的推断。我们为使用自主置信区间的使用提供了理由,以及用于测试关于治疗效果中的异质性的假设的框架,与优先级规则相关。我们对速率的定义嵌套了许多现有度量,包括QINI系数,以及我们的分析直接产生了这些指标的推论方法。我们展示了我们从个性化医学和营销的示例中的方法。在医疗环境中,使用来自Sprint和Accor-BP随机对照试验的数据,我们发现没有明显的证据证明异质治疗效果。另一方面,在大量的营销审判中,我们在一些数字广告活动的治疗效果中发现了具有的强大证据,并证明了如何使用率如何比较优先考虑估计风险的目标规则与估计治疗效益优先考虑的目标规则。
translated by 谷歌翻译
The intersection of causal inference and machine learning for decision-making is rapidly expanding, but the default decision criterion remains an \textit{average} of individual causal outcomes across a population. In practice, various operational restrictions ensure that a decision-maker's utility is not realized as an \textit{average} but rather as an \textit{output} of a downstream decision-making problem (such as matching, assignment, network flow, minimizing predictive risk). In this work, we develop a new framework for off-policy evaluation with \textit{policy-dependent} linear optimization responses: causal outcomes introduce stochasticity in objective function coefficients. Under this framework, a decision-maker's utility depends on the policy-dependent optimization, which introduces a fundamental challenge of \textit{optimization} bias even for the case of policy evaluation. We construct unbiased estimators for the policy-dependent estimand by a perturbation method, and discuss asymptotic variance properties for a set of adjusted plug-in estimators. Lastly, attaining unbiased policy evaluation allows for policy optimization: we provide a general algorithm for optimizing causal interventions. We corroborate our theoretical results with numerical simulations.
translated by 谷歌翻译
因果推断能够估计治疗效果(即,治疗结果的因果效果),使各个领域的决策受益。本研究中的一个基本挑战是观察数据的治疗偏见。为了提高对因果推断的观察研究的有效性,基于代表的方法作为最先进的方法表明了治疗效果估计的卓越性能。基于大多数基于表示的方法假设所有观察到的协变量都是预处理的(即,不受治疗影响的影响),并学习这些观察到的协变量的平衡表示,以估算治疗效果。不幸的是,这种假设往往在实践中往往是太严格的要求,因为一些协调因子是通过对治疗的干预进行改变(即,后治疗)来改变。相比之下,从不变的协变量中学到的平衡表示因此偏置治疗效果估计。
translated by 谷歌翻译
本文提出了一种估计溢出效应存在福利最大化政策的实验设计。我考虑一个设置在其中组织成一个有限数量的大型群集,并在每个群集中以不观察到的方式交互。作为第一种贡献,我介绍了一个单波实验,以估计治疗概率的变化的边际效应,以考虑到溢出率,并测试政策最优性。该设计在群集中独立地随机化处理,并诱导局部扰动到对簇成对的治疗概率。使用估计的边际效应,我构建了对定期治疗分配规则最大化福利的实际测试,并且我表征了其渐近性质。该想法是,研究人员应报告对福利最大化政策的边际效应和测试的估计:边际效应表明福利改善的方向,并提供了关于是否值得进行额外实验以估计估计福利改善的证据治疗分配。作为第二种贡献,我设计了多波实验来估计治疗分配规则并最大化福利。我获得了小型样本保证,最大可获得的福利和估计政策(遗憾)评估的福利之间的差异。这种保证的必要性是,遗憾在迭代和集群的数量中线性会聚到零。校准在信息扩散和现金转移方案上校准的模拟表明,该方法导致了显着的福利改进。
translated by 谷歌翻译
Statistical risk assessments inform consequential decisions such as pretrial release in criminal justice, and loan approvals in consumer finance. Such risk assessments make counterfactual predictions, predicting the likelihood of an outcome under a proposed decision (e.g., what would happen if we approved this loan?). A central challenge, however, is that there may have been unmeasured confounders that jointly affected past decisions and outcomes in the historical data. This paper proposes a tractable mean outcome sensitivity model that bounds the extent to which unmeasured confounders could affect outcomes on average. The mean outcome sensitivity model partially identifies the conditional likelihood of the outcome under the proposed decision, popular predictive performance metrics (e.g., accuracy, calibration, TPR, FPR), and commonly-used predictive disparities. We derive their sharp identified sets, and we then solve three tasks that are essential to deploying statistical risk assessments in high-stakes settings. First, we propose a doubly-robust learning procedure for the bounds on the conditional likelihood of the outcome under the proposed decision. Second, we translate our estimated bounds on the conditional likelihood of the outcome under the proposed decision into a robust, plug-in decision-making policy. Third, we develop doubly-robust estimators of the bounds on the predictive performance of an existing risk assessment.
translated by 谷歌翻译
关于人们的预测,例如他们预期的教育成就或信用风险,可以表现出色,并塑造他们旨在预测的结果。了解这些预测对最终结果的因果影响对于预测未来预测模型的含义并选择要部署哪些模型至关重要。但是,该因果估计任务带来了独特的挑战:模型预测通常是输入特征的确定性功能,并且与结果高度相关,这可能使预测的因果效应不可能从协变量的直接效应中解散。我们通过因果可识别性的角度研究了这个问题,尽管该问题完全普遍,但我们突出了三种自然情况,在这些情况下,可以从观察数据中确定预测对结果的因果影响:基于预测或基于预测的决策中的随机化。 ,在数据收集过程中部署的预测模型和离散预测输出的过度参数化。我们从经验上表明,在适当的可识别性条件下,从预测中预测的监督学习的标准变体可以找到特征,预测和结果之间的可转移功能关系,从而得出有关新部署的预测模型的结论。我们的积极结果从根本上依赖于在数据收集期间记录的模型预测,从而提出了重新思考标准数据收集实践的重要性,以使进步能够更好地理解社会成果和表现性反馈循环。
translated by 谷歌翻译
科学研究的基本目标是了解因果关系。然而,尽管因果关系在生活和社会科学中的重要作用,但在自然语言处理(NLP)中并不具有相同的重要性,而自然语言处理(NLP)传统上更加重视预测任务。这种区别开始逐渐消失,随着因果推理和语言处理的融合,跨学科研究的新兴领域。尽管如此,关于NLP因果关系的研究仍然散布在没有统一的定义,基准数据集的情况下,并清楚地表达了将因果推论应用于文本领域的挑战和机遇,并具有其独特的属性。在这项调查中,我们巩固了整个学术领域的研究,并将其置于更广泛的NLP景观中。我们介绍了用文本估算因果效应的统计挑战,其中包含文本用作结果,治疗或解决混杂问题的设置。此外,我们探讨了因果推理的潜在用途,以提高NLP模型的鲁棒性,公平性和解释性。因此,我们提供了NLP社区因果推断的统一概述。
translated by 谷歌翻译
绘制因果推断的基本挑战是,任何单位都没有完全观察到反事实。此外,在观察性研究中,治疗分配可能会混淆。在不满足的条件下,已经出现了许多统计方法,这些方法在给定预处理的协变量下,包括基于倾向得分的方法,基于预后分数的方法和双重稳健方法。不幸的是,对于应用研究人员而言,没有“一定大小的”因果方法可以在普遍上表现出色。实际上,因果方法主要根据手工制作的模拟数据进行定量评估。这样的数据产生程序可能具有有限的价值,因为它们通常是现实的风格化模型。它们被简化为障碍性,缺乏现实世界数据的复杂性。对于应用研究人员,了解方法对手头数据的表现效果很好至关重要。我们的工作介绍了基于生成模型的深层框架,以验证因果推理方法。该框架的新颖性源于其产生锚定在观察到的样品的经验分布上的合成数据的能力,因此与后者几乎没有区别。该方法使用户可以为因果效应的形式和幅度指定地面真理,并将偏见作为协变量的功能。因此,模拟数据集用于评估与观察到的样本相似的数据时,各种因果估计方法的潜在性能。我们证明了Credence在广泛的仿真研究中准确评估因果估计技术的相对性能以及来自Lalonde和Project Star研究的两个现实世界数据应用的能力。
translated by 谷歌翻译
我们根据机器学习,即人工智能的子场,折扣对瑞士联邦铁路发行的火车票的需求影响。考虑到基于调查的超级票的买家样本,我们调查了哪些客户或旅行相关的特征(包括折现率)预测购买行为,即:预订旅行,否则未通过火车实现,而不是第二次购买 - 售票或重新安排旅行时(例如,远离高峰时间),当时被提供超级票时。预测机器学习表明,客户的年龄,与特定连接的需求相关信息(例如出发时间和利用率)以及折现水平允许在一定程度上预测购买行为。此外,我们使用因果机学习来评估折现率对重新安排旅行的影响,这似乎是根据高峰时间的容量限制而相关的。假设(i)折现率是基于我们丰富的特征的准随机,(ii)购买决策以折现率单调较弱,我们确定了“始终购买者”的折现率的效果,谁会旅行。即使没有折扣,也要根据我们的调查,该调查在没有折扣的情况下询问客户行为。我们发现,平均而言,将折现率提高一个百分点会使重新安排的旅行的份额增加0.16个百分点,但总是买家。研究效果的异质性在观察物中的异质性表明,在控制其他几个特征时,休闲旅行者以及高峰时段的效果较高。
translated by 谷歌翻译
即使在医学和公共政策等高风险设置中,数据驱动的决策也起着重要作用。从观察到的数据中学习最佳策略需要仔细制定效用函数,该功能的期望值在人群中最大化。尽管研究人员通常使用仅依赖于观察到的结果的实用程序,但在许多情况下,决策者的效用函数的特征是所有动作下的潜在结果集合。例如,``不伤害''的希波克拉底原则意味着,在未经治疗的情况下生存的患者导致死亡的成本大于预防救生治疗的成本。我们考虑使用此形式的不对称效用功能的最佳政策学习。我们表明,不对称公用事业会导致无法识别的社会福利功能,因此我们首先部分识别它。利用统计决策理论,我们通过最大程度地减少相对于替代政策的最大遗憾来得出最小的决策规则。我们表明,可以通过解决中间分类问题从观察到的数据中学习最小值决策规则。我们还确定,此过程的有限样本遗憾是由这些中间分类器的错误分类率界定的。我们将此概念框架和方法应用于有关是否使用肺高血压患者是否使用正确的心脏导管插入术的决定。
translated by 谷歌翻译
观察数据中估算单个治疗效果(ITE)在许多领域,例如个性化医学等领域。但是,实际上,治疗分配通常被未观察到的变量混淆,因此引入了偏见。消除偏见的一种补救措施是使用仪器变量(IVS)。此类环境在医学中广泛存在(例如,将合规性用作二进制IV的试验)。在本文中,我们提出了一个新颖的,可靠的机器学习框架,称为MRIV,用于使用二进制IV估算ITES,从而产生无偏见的ITE估计器。与以前的二进制IV的工作不同,我们的框架通过伪结果回归直接估算了ITE。 (1)我们提供了一个理论分析,我们表明我们的框架产生了多重稳定的收敛速率:即使几个滋扰估计器的收敛缓慢,我们的ITE估计器也会达到快速收敛。 (2)我们进一步表明,我们的框架渐近地优于最先进的插件IV方法,以进行ITE估计。 (3)我们以理论结果为基础,并提出了一种使用二进制IVS的ITE估算的定制的,称为MRIV-NET的深度神经网络结构。在各种计算实验中,我们从经验上证明了我们的MRIV-NET实现最先进的性能。据我们所知,我们的MRIV是第一个机器学习框架,用于估算显示出倍增功能的二进制IV设置。
translated by 谷歌翻译
基于AI和机器学习的决策系统已在各种现实世界中都使用,包括医疗保健,执法,教育和金融。不再是牵强的,即设想一个未来,自治系统将推动整个业务决策,并且更广泛地支持大规模决策基础设施以解决社会最具挑战性的问题。当人类做出决定时,不公平和歧视的问题普遍存在,并且当使用几乎没有透明度,问责制和公平性的机器做出决定时(或可能会放大)。在本文中,我们介绍了\ textit {Causal公平分析}的框架,目的是填补此差距,即理解,建模,并可能解决决策设置中的公平性问题。我们方法的主要见解是将观察到数据中存在的差异的量化与基本且通常是未观察到的因果机制收集的因果机制的收集,这些机制首先会产生差异,挑战我们称之为因果公平的基本问题分析(FPCFA)。为了解决FPCFA,我们研究了分解差异和公平性的经验度量的问题,将这种变化归因于结构机制和人群的不同单位。我们的努力最终达到了公平地图,这是组织和解释文献中不同标准之间关系的首次系统尝试。最后,我们研究了进行因果公平分析并提出一本公平食谱的最低因果假设,该假设使数据科学家能够评估不同影响和不同治疗的存在。
translated by 谷歌翻译
This review presents empirical researchers with recent advances in causal inference, and stresses the paradigmatic shifts that must be undertaken in moving from traditional statistical analysis to causal analysis of multivariate data. Special emphasis is placed on the assumptions that underly all causal inferences, the languages used in formulating those assumptions, the conditional nature of all causal and counterfactual claims, and the methods that have been developed for the assessment of such claims. These advances are illustrated using a general theory of causation based on the Structural Causal Model (SCM) described in Pearl (2000a), which subsumes and unifies other approaches to causation, and provides a coherent mathematical foundation for the analysis of causes and counterfactuals. In particular, the paper surveys the development of mathematical tools for inferring (from a combination of data and assumptions) answers to three types of causal queries: (1) queries about the effects of potential interventions, (also called "causal effects" or "policy evaluation") (2) queries about probabilities of counterfactuals, (including assessment of "regret," "attribution" or "causes of effects") and (3) queries about direct and indirect effects (also known as "mediation"). Finally, the paper defines the formal and conceptual relationships between the structural and potential-outcome frameworks and presents tools for a symbiotic analysis that uses the strong features of both.
translated by 谷歌翻译
业务分析(BA)的广泛采用带来了财务收益和提高效率。但是,当BA以公正的影响为决定时,这些进步同时引起了人们对法律和道德挑战的不断增加。作为对这些关注的回应,对算法公平性的新兴研究涉及算法输出,这些算法可能会导致不同的结果或其他形式的对人群亚组的不公正现象,尤其是那些在历史上被边缘化的人。公平性是根据法律合规,社会责任和效用是相关的;如果不充分和系统地解决,不公平的BA系统可能会导致社会危害,也可能威胁到组织自己的生存,其竞争力和整体绩效。本文提供了有关算法公平的前瞻性,注重BA的评论。我们首先回顾有关偏见来源和措施的最新研究以及偏见缓解算法。然后,我们对公用事业关系的详细讨论进行了详细的讨论,强调经常假设这两种构造之间经常是错误的或短视的。最后,我们通过确定企业学者解决有效和负责任的BA的关键的有影响力的公开挑战的机会来绘制前进的道路。
translated by 谷歌翻译
我们介绍了一个多臂强盗模型,其中奖励是多个随机变量的总和,每个动作只会改变其中的分布。每次动作之后,代理都会观察所有变量的实现。该模型是由营销活动和推荐系统激励的,在该系统中,变量代表单个客户的结果,例如点击。我们提出了UCB风格的算法,以估计基线上的动作的提升。我们研究了问题的多种变体,包括何时未知基线和受影响的变量,并证明所有这些变量均具有sublrinear后悔界限。我们还提供了较低的界限,以证明我们的建模假设的必要性是合理的。关于合成和现实世界数据集的实验显示了估计不使用这种结构的策略的振奋方法的好处。
translated by 谷歌翻译
This work shows how to leverage causal inference to understand the behavior of complex learning systems interacting with their environment and predict the consequences of changes to the system. Such predictions allow both humans and algorithms to select the changes that would have improved the system performance. This work is illustrated by experiments on the ad placement system associated with the Bing search engine.
translated by 谷歌翻译