我们旨在借助一些观察数据,将随机对照试验(RCT)的结果推广到目标人群。这是多个数据源的因果效应识别的问题。当RCT在与目标人群不同的情况下进行时,就会出现挑战。较早的研究集中在可以通过观察数据调整RCT的估计值以消除选择偏差和其他域特定差异的情况。我们考虑了无法通过调整来概括实验发现的示例,并表明可以通过应用DO-Calculus得出的其他识别策略仍然可以进行概括。这些示例的获得的识别功能包含新类型的陷阱变量。陷阱变量的值需要在估计中固定,并且值的选择可能会对估计值的偏见和准确性产生重大影响,这在模拟中也可以看到。提出的结果扩大了实验发现的概括是可行的设置范围
translated by 谷歌翻译
This review presents empirical researchers with recent advances in causal inference, and stresses the paradigmatic shifts that must be undertaken in moving from traditional statistical analysis to causal analysis of multivariate data. Special emphasis is placed on the assumptions that underly all causal inferences, the languages used in formulating those assumptions, the conditional nature of all causal and counterfactual claims, and the methods that have been developed for the assessment of such claims. These advances are illustrated using a general theory of causation based on the Structural Causal Model (SCM) described in Pearl (2000a), which subsumes and unifies other approaches to causation, and provides a coherent mathematical foundation for the analysis of causes and counterfactuals. In particular, the paper surveys the development of mathematical tools for inferring (from a combination of data and assumptions) answers to three types of causal queries: (1) queries about the effects of potential interventions, (also called "causal effects" or "policy evaluation") (2) queries about probabilities of counterfactuals, (including assessment of "regret," "attribution" or "causes of effects") and (3) queries about direct and indirect effects (also known as "mediation"). Finally, the paper defines the formal and conceptual relationships between the structural and potential-outcome frameworks and presents tools for a symbiotic analysis that uses the strong features of both.
translated by 谷歌翻译
机器学习算法通常会对少数族裔和代表性不足的子人群产生偏见的结果/预测。因此,公平是基于机器学习技术的大规模应用的重要要求。最常用的公平概念(例如统计平等,均衡的几率,预测奇偶等)是观察性的,并且依赖于变量之间的仅相关性。在统计异常(例如辛普森或伯克森的悖论)的情况下,这些概念无法识别偏差。基于因果关系的公平概念(例如反事实公平,无歧视歧视等)对此类异常免疫,因此更可靠地评估公平性。但是,基于因果关系的公平概念的问题是,它们是根据数量(例如因果,反事实和特定于路径特定效应)定义的,这些概念并非总是可衡量的。这被称为可识别性问题,是因果推理文献中大量工作的主题。本文是对机器学习公平性特别相关的主要可识别性结果的汇编。使用大量示例和因果图说明了结果。公平研究人员,从业人员和政策制定者正在考虑使用基于因果关系的公平概念,并说明主要可识别性结果,这本文特别感兴趣。
translated by 谷歌翻译
常用图是表示和可视化因果关系的。对于少量变量,这种方法提供了简洁和清晰的方案的视图。随着下属的变量数量增加,图形方法可能变得不切实际,并且表示的清晰度丢失。变量的聚类是减少因果图大小的自然方式,但如果任意实施,可能会错误地改变因果关系的基本属性。我们定义了一种特定类型的群集,称为Transit Cluster,保证在某些条件下保留因果效应的可识别性属性。我们提供了一种用于在给定图中查找所有传输群集的声音和完整的算法,并演示集群如何简化因果效应的识别。我们还研究了逆问题,其中一个人以群集的图形开始,寻找扩展图,其中因果效应的可识别性属性保持不变。我们表明这种结构稳健性与过境集群密切相关。
translated by 谷歌翻译
尽管在治疗和结果之间存在未衡量的混杂因素,但前门标准可用于识别和计算因果关系。但是,关键假设 - (i)存在充分介导治疗对结果影响的变量(或一组变量)的存在,(ii)同时并不遭受类似的混淆问题的困扰 - outcome对 - 通常被认为是难以置信的。本文探讨了这些假设的可检验性。我们表明,在涉及辅助变量的轻度条件下,可以通过广义平等约束也可以测试前门模型中编码的假设(以及简单的扩展)。我们基于此观察结果提出了两个合适性测试,并评估我们对真实和合成数据的提议的疗效。我们还将理论和经验比较与仪器可变方法处理未衡量的混杂。
translated by 谷歌翻译
研究了与隐藏变量有关的非循环图(DAG)相关的因果模型中因果效应的识别理论。然而,由于估计它们输出的识别功能的复杂性,因此未耗尽相应的算法。在这项工作中,我们弥合了识别和估算涉及单一治疗和单一结果的人口水平因果效应之间的差距。我们派生了基于功能的估计,在大类隐藏变量DAG中表现出对所识别的效果的双重稳健性,其中治疗满足简单的图形标准;该类包括模型,产生调整和前门功能作为特殊情况。我们还提供必要的和充分条件,其中隐藏变量DAG的统计模型是非分子饱和的,并且意味着对观察到的数据分布没有平等约束。此外,我们推导了一类重要的隐藏变量DAG,这意味着观察到观察到的数据分布等同于完全观察到的DAG等同于(最高的相等约束)。在这些DAG类中,我们推出了实现兴趣目标的半导体效率界限的估计估计值,该估计是治疗满足我们的图形标准的感兴趣的目标。最后,我们提供了一种完整的识别算法,可直接产生基于权重的估计策略,以了解隐藏可变因果模型中的任何可识别效果。
translated by 谷歌翻译
Front-door adjustment is a classic technique to estimate causal effects from a specified directed acyclic graph (DAG) and observed data. The advantage of this approach is that it uses observed mediators to identify causal effects, which is possible even in the presence of unobserved confounding. While the statistical properties of the front-door estimation are quite well understood, its algorithmic aspects remained unexplored for a long time. Recently, Jeong, Tian, and Barenboim [NeurIPS 2022] have presented the first polynomial-time algorithm for finding sets satisfying the front-door criterion in a given DAG, with an $O(n^3(n+m))$ run time, where $n$ denotes the number of variables and $m$ the number of edges of the graph. In our work, we give the first linear-time, i.e. $O(n+m)$, algorithm for this task, which thus reaches the asymptotically optimal time complexity, as the size of the input is $\Omega(n+m)$. We also provide an algorithm to enumerate all front-door adjustment sets in a given DAG with delay $O(n(n + m))$. These results improve the algorithms by Jeong et al. [2022] for the two tasks by a factor of $n^3$, respectively.
translated by 谷歌翻译
因果关系是理解世界的科学努力的基本组成部分。不幸的是,在心理学和社会科学中,因果关系仍然是禁忌。由于越来越多的建议采用因果方法进行研究的重要性,我们重新制定了心理学研究方法的典型方法,以使不可避免的因果理论与其余的研究渠道协调。我们提出了一个新的过程,该过程始于从因果发现和机器学习的融合中纳入技术的发展,验证和透明的理论形式规范。然后,我们提出将完全指定的理论模型的复杂性降低到与给定目标假设相关的基本子模型中的方法。从这里,我们确定利息量是否可以从数据中估算出来,如果是的,则建议使用半参数机器学习方法来估计因果关系。总体目标是介绍新的研究管道,该管道可以(a)促进与测试因果理论的愿望兼容的科学询问(b)鼓励我们的理论透明代表作为明确的数学对象,(c)将我们的统计模型绑定到我们的统计模型中该理论的特定属性,因此减少了理论到模型间隙通常引起的规范不足问题,以及(d)产生因果关系和可重复性的结果和估计。通过具有现实世界数据的教学示例来证明该过程,我们以摘要和讨论来结论。
translated by 谷歌翻译
因果关系的概念具有争议的历史。是否有可能代表和解决具有概率理论的因果问题的问题,或者如果需要大大新的数学,则需要进行热争论,例如,需要进行DO微积分。珍珠(2001年)国家“我们科学和日常知识的建筑块是”泥浆并没有引起雨“,”症状不会引起疾病“以及这些事实,奇怪的是,不能在概率的词汇表中表达结石”。这导致因果图形建模和DO微积分的主张与应用贝叶斯方法的研究人员之间的二分法。在本文中,我们证明,如果我们这样做,虽然明确地模拟了干预系统中的影响的假设,但是可以完全在标准贝叶斯范式内完成估算因果效应。底层原因图形模型的不变假设可以在普通概率图形模型中编码,允许与贝叶斯统计数据的因果估计,相当于DO微积分。阐明这些方法之间的连接是使每个接近能够组合以解决实际问题的关键步骤。
translated by 谷歌翻译
在科学研究和现实世界应用的许多领域中,非实验数据的因果效应的无偏估计对于理解数据的基础机制以及对有效响应或干预措施的决策至关重要。从不同角度对这个具有挑战性的问题进行了大量研究。对于数据中的因果效应估计,始终做出诸如马尔可夫财产,忠诚和因果关系之类的假设。在假设下,仍然需要一组协变量或基本因果图之类的全部知识。一个实用的挑战是,在许多应用程序中,没有这样的全部知识或只有某些部分知识。近年来,研究已经出现了基于图形因果模型的搜索策略,以从数据中发现有用的知识,以进行因果效应估计,并具有一些温和的假设,并在应对实际挑战方面表现出了诺言。在这项调查中,我们回顾了方法,并关注数据驱动方法所面临的挑战。我们讨论数据驱动方法的假设,优势和局限性。我们希望这篇综述将激励更多的研究人员根据图形因果建模设计更好的数据驱动方法,以解决因果效应估计的具有挑战性的问题。
translated by 谷歌翻译
估计平均因果效应的理想回归(如果有)是什么?我们在离散协变量的设置中研究了这个问题,从而得出了各种分层估计器的有限样本方差的表达式。这种方法阐明了许多广泛引用的结果的基本统计现象。我们的博览会结合了研究因果效应估计的三种不同的方法论传统的见解:潜在结果,因果图和具有加性误差的结构模型。
translated by 谷歌翻译
数据科学任务可以被视为了解数据的感觉或测试关于它的假设。从数据推断的结论可以极大地指导我们做出信息做出决定。大数据使我们能够与机器学习结合执行无数的预测任务,例如鉴定患有某种疾病的高风险患者并采取可预防措施。然而,医疗保健从业者不仅仅是仅仅预测的内容 - 它们也对输入特征和临床结果之间的原因关系感兴趣。了解这些关系将有助于医生治疗患者并有效降低风险。通常通过随机对照试验鉴定因果关系。当科学家和研究人员转向观察研究并试图吸引推论时,这种试验通常是不可行的。然而,观察性研究也可能受到选择和/或混淆偏差的影响,这可能导致错误的因果结论。在本章中,我们将尝试突出传统机器学习和统计方法中可能出现的一些缺点,以分析观察数据,特别是在医疗保健数据分析域中。我们将讨论因果化推理和方法,以发现医疗领域的观测研究原因。此外,我们将展示因果推断在解决某些普通机器学习问题等中的应用,例如缺少数据和模型可运输性。最后,我们将讨论将加强学习与因果关系相结合的可能性,作为反击偏见的一种方式。
translated by 谷歌翻译
解决公平问题对于安全使用机器学习算法来支持对人们的生活产生关键影响的决策,例如雇用工作,儿童虐待,疾病诊断,贷款授予等。过去十年,例如统计奇偶校验和均衡的赔率。然而,最新的公平概念是基于因果关系的,反映了现在广泛接受的想法,即使用因果关系对于适当解决公平问题是必要的。本文研究了基于因果关系的公平概念的详尽清单,并研究了其在现实情况下的适用性。由于大多数基于因果关系的公平概念都是根据不可观察的数量(例如干预措施和反事实)来定义的,因此它们在实践中的部署需要使用观察数据来计算或估计这些数量。本文提供了有关从观察数据(包括可识别性(Pearl的SCM框架))和估计(潜在结果框架)中推断出因果量的不同方法的全面报告。该调查论文的主要贡献是(1)指南,旨在在特定的现实情况下帮助选择合适的公平概念,以及(2)根据Pearl的因果关系阶梯的公平概念的排名,表明它很难部署。实践中的每个概念。
translated by 谷歌翻译
因果鉴定是因果推理文献的核心,在该文献中提出了完整的算法来识别感兴趣的因果问题。这些算法的有效性取决于访问正确指定的因果结构的限制性假设。在这项工作中,我们研究了可获得因果结构概率模型的环境。具体而言,因果图中的边缘是分配的概率,例如,可能代表来自领域专家的信念程度。另外,关于边缘的不确定的可能反映了特定统计检验的置信度。在这种情况下自然出现的问题是:给定这样的概率图和感兴趣的特定因果效应,哪些具有最高合理性的子图是什么?我们表明回答这个问题减少了解决NP-HARD组合优化问题,我们称之为边缘ID问题。我们提出有效的算法来近似此问题,并评估我们针对现实世界网络和随机生成图的算法。
translated by 谷歌翻译
In this review, we discuss approaches for learning causal structure from data, also called causal discovery. In particular, we focus on approaches for learning directed acyclic graphs (DAGs) and various generalizations which allow for some variables to be unobserved in the available data. We devote special attention to two fundamental combinatorial aspects of causal structure learning. First, we discuss the structure of the search space over causal graphs. Second, we discuss the structure of equivalence classes over causal graphs, i.e., sets of graphs which represent what can be learned from observational data alone, and how these equivalence classes can be refined by adding interventional data.
translated by 谷歌翻译
我们研究了在个性化治疗规则下估算介入均值的调整集的选择。我们假设具有,可能是隐藏变量和由可观察变量组成的至少一个调整集的非参数因果图形模型。此外,我们假设可观察变量具有与它们相关的正成本。我们将可观察调整集的成本定义为包含它的变量成本的总和。我们认为,在此设置中,存在最小成本最佳的调整集,从而使其产生的非参数估计值与控制可观察到的可观察调整集中的最小渐近方差。我们的结果基于与原始因果图相关的特殊流量网络的构建。我们表明,可以通过计算网络上的最大流程,然后通过增强路径找到从源可到达的一组顶点来找到最低成本最佳调整集。 OptimalAdj Python包实现本文介绍的算法。
translated by 谷歌翻译
基于AI和机器学习的决策系统已在各种现实世界中都使用,包括医疗保健,执法,教育和金融。不再是牵强的,即设想一个未来,自治系统将推动整个业务决策,并且更广泛地支持大规模决策基础设施以解决社会最具挑战性的问题。当人类做出决定时,不公平和歧视的问题普遍存在,并且当使用几乎没有透明度,问责制和公平性的机器做出决定时(或可能会放大)。在本文中,我们介绍了\ textit {Causal公平分析}的框架,目的是填补此差距,即理解,建模,并可能解决决策设置中的公平性问题。我们方法的主要见解是将观察到数据中存在的差异的量化与基本且通常是未观察到的因果机制收集的因果机制的收集,这些机制首先会产生差异,挑战我们称之为因果公平的基本问题分析(FPCFA)。为了解决FPCFA,我们研究了分解差异和公平性的经验度量的问题,将这种变化归因于结构机制和人群的不同单位。我们的努力最终达到了公平地图,这是组织和解释文献中不同标准之间关系的首次系统尝试。最后,我们研究了进行因果公平分析并提出一本公平食谱的最低因果假设,该假设使数据科学家能够评估不同影响和不同治疗的存在。
translated by 谷歌翻译
从观察数据中推断出因果关系很少直接,但是在高维度中,问题尤其困难。对于这些应用,因果发现算法通常需要参数限制或极端稀疏限制。我们放松这些假设,并专注于一个重要但更专业的问题,即在已知的变量子中恢复因果秩序,这些变量已知会从某些(可能很大的)混杂的协变量(即$ \ textit {Confounder Blanset} $)中降下。这在许多环境中很有用,例如,在研究具有背景信息的遗传数据的动态生物分子子系统时。在一个称为$ \ textit {混杂的毯子原理} $的结构假设下,我们认为这对于在高维度中的可拖动因果发现至关重要,我们的方法可容纳低或高稀疏性的图形,同时保持多项式时间复杂性。我们提出了一种结构学习算法,相对于所谓的$ \ textit {Lazy Oracle} $,该算法是合理且完整的。我们设计了线性和非线性系统有限样本误差控制的推理过程,并在一系列模拟和现实世界数据集上演示了我们的方法。随附的$ \ texttt {r} $ package,$ \ texttt {cbl} $可从$ \ texttt {cran} $获得。
translated by 谷歌翻译
最近对DataSet Shift的兴趣,已经产生了许多方法,用于查找新的未经,无奈环境中预测的不变分布。然而,这些方法考虑不同类型的班次,并且已经在不同的框架下开发,从理论上难以分析解决方案如何与稳定性和准确性不同。采取因果图形视图,我们使用灵活的图形表示来表达各种类型的数据集班次。我们表明所有不变的分布对应于图形运算符的因果层次结构,该图形运算符禁用负责班次的图表中的边缘。层次结构提供了一个常见的理论基础,以便理解可以实现转移的何时以及如何实现稳定性,并且在稳定的分布可能不同的情况下。我们使用它来建立跨环境最佳性能的条件,并导出找到最佳稳定分布的新算法。使用这种新的视角,我们经验证明了最低限度和平均性能之间的权衡。
translated by 谷歌翻译
We address the problem of unsupervised domain adaptation when the source domain differs from the target domain because of a shift in the distribution of a latent subgroup. When this subgroup confounds all observed data, neither covariate shift nor label shift assumptions apply. We show that the optimal target predictor can be non-parametrically identified with the help of concept and proxy variables available only in the source domain, and unlabeled data from the target. The identification results are constructive, immediately suggesting an algorithm for estimating the optimal predictor in the target. For continuous observations, when this algorithm becomes impractical, we propose a latent variable model specific to the data generation process at hand. We show how the approach degrades as the size of the shift changes, and verify that it outperforms both covariate and label shift adjustment.
translated by 谷歌翻译