估计治疗如何单独影响单位（称为异质治疗效果（HTE）估计）是决策和政策实施的重要组成部分。许多领域中大量数据的积累，例如医疗保健和电子商务，导致人们对开发数据驱动算法的兴趣增加，以估算观察性和实验数据中的异质效应。但是，这些方法通常对观察到的特征做出了强有力的假设，而忽略了基本的因果模型结构，从而导致HTE估计。同时，考虑到现实世界数据的因果结构很少是微不足道的，因为产生数据的因果机制通常是未知的。为了解决此问题，我们开发了一种功能选择方法，该方法考虑了每个功能的估计值，并从数据中学习了因果结构的相关部分。我们提供了有力的经验证据，表明我们的方法改善了在任意基本因果结构下的现有数据驱动的HTE估计方法。我们关于合成，半合成和现实世界数据集的结果表明，我们的特征选择算法导致HTE估计误差较低。

在科学研究和现实世界应用的许多领域中，非实验数据的因果效应的无偏估计对于理解数据的基础机制以及对有效响应或干预措施的决策至关重要。从不同角度对这个具有挑战性的问题进行了大量研究。对于数据中的因果效应估计，始终做出诸如马尔可夫财产，忠诚和因果关系之类的假设。在假设下，仍然需要一组协变量或基本因果图之类的全部知识。一个实用的挑战是，在许多应用程序中，没有这样的全部知识或只有某些部分知识。近年来，研究已经出现了基于图形因果模型的搜索策略，以从数据中发现有用的知识，以进行因果效应估计，并具有一些温和的假设，并在应对实际挑战方面表现出了诺言。在这项调查中，我们回顾了方法，并关注数据驱动方法所面临的挑战。我们讨论数据驱动方法的假设，优势和局限性。我们希望这篇综述将激励更多的研究人员根据图形因果建模设计更好的数据驱动方法，以解决因果效应估计的具有挑战性的问题。

在个性化决策中，需要证据来确定诉讼（治疗）是否适合个人。可以通过对亚组中的治疗效应异质性进行建模来获得此类证据。现有的可解释的建模方法采用自上而下的方法来寻找具有异质治疗效果的亚组，它们可能会错过个人最具体和最相关的环境。在本文中，我们设计了\ emph {治疗效果模式（TEP）}来表示数据中的治疗效果异质性。为了实现TEP的可解释呈现，我们使用围绕结果的局部因果结构，以明确说明如何在建模中使用这些重要变量。我们还得出了一个公正估计\ emph {条件平均因果效应（CATE）}的公式，它使用我们的问题设置中的局部结构进行了估计。在发现过程中，我们旨在最大程度地减少以模式表示的每个子组中的异质性。我们提出了一种自下而上的搜索算法，以发现适合个性化决策的最具体情况的最特定模式。实验表明，所提出的方法模型治疗效果的异质性比合成和现实世界数据集中的其他三种基于树的方法更好。

因果推断对于跨业务参与，医疗和政策制定等领域的数据驱动决策至关重要。然而，关于因果发现的研究已经与推理方法分开发展，从而阻止了两个领域方法的直接组合。在这项工作中，我们开发了深层端到端因果推理（DECI），这是一种基于流动的非线性添加噪声模型，该模型具有观察数据，并且可以执行因果发现和推理，包括有条件的平均治疗效果（CATE） ）估计。我们提供了理论上的保证，即DECI可以根据标准因果发现假设恢复地面真实因果图。受应用影响的激励，我们将该模型扩展到具有缺失值的异质，混合型数据，从而允许连续和离散的治疗决策。我们的结果表明，与因果发现的相关基线相比，DECI的竞争性能和（c）在合成数据集和因果机器学习基准测试基准的一千多个实验中，跨数据类型和缺失水平进行了估计。

大型观察数据越来越多地提供健康，经济和社会科学等学科，研究人员对因果问题而不是预测感兴趣。在本文中，从旨在调查参与学校膳食计划对健康指标的实证研究，研究了使用非参数回归的方法估算异质治疗效果的问题。首先，我们介绍了与观察或非完全随机数据进行因果推断相关的设置和相关的问题，以及如何在统计学习工具的帮助下解决这些问题。然后，我们审查并制定现有最先进的框架的统一分类，允许通过非参数回归模型来估算单个治疗效果。在介绍模型选择问题的简要概述后，我们说明了一些关于三种不同模拟研究的方法的性能。我们通过展示一些关于学校膳食计划数据的实证分析的一些方法的使用来结束。

因果关系是理解世界的科学努力的基本组成部分。不幸的是，在心理学和社会科学中，因果关系仍然是禁忌。由于越来越多的建议采用因果方法进行研究的重要性，我们重新制定了心理学研究方法的典型方法，以使不可避免的因果理论与其余的研究渠道协调。我们提出了一个新的过程，该过程始于从因果发现和机器学习的融合中纳入技术的发展，验证和透明的理论形式规范。然后，我们提出将完全指定的理论模型的复杂性降低到与给定目标假设相关的基本子模型中的方法。从这里，我们确定利息量是否可以从数据中估算出来，如果是的，则建议使用半参数机器学习方法来估计因果关系。总体目标是介绍新的研究管道，该管道可以（a）促进与测试因果理论的愿望兼容的科学询问（b）鼓励我们的理论透明代表作为明确的数学对象，（c）将我们的统计模型绑定到我们的统计模型中该理论的特定属性，因此减少了理论到模型间隙通常引起的规范不足问题，以及（d）产生因果关系和可重复性的结果和估计。通过具有现实世界数据的教学示例来证明该过程，我们以摘要和讨论来结论。

Causal learning has attracted much attention in recent years because causality reveals the essential relationship between things and indicates how the world progresses. However, there are many problems and bottlenecks in traditional causal learning methods, such as high-dimensional unstructured variables, combinatorial optimization problems, unknown intervention, unobserved confounders, selection bias and estimation bias. Deep causal learning, that is, causal learning based on deep neural networks, brings new insights for addressing these problems. While many deep learning-based causal discovery and causal inference methods have been proposed, there is a lack of reviews exploring the internal mechanism of deep learning to improve causal learning. In this article, we comprehensively review how deep learning can contribute to causal learning by addressing conventional challenges from three aspects: representation, discovery, and inference. We point out that deep causal learning is important for the theoretical extension and application expansion of causal science and is also an indispensable part of general artificial intelligence. We conclude the article with a summary of open issues and potential directions for future work.

估计平均因果效应的理想回归（如果有）是什么？我们在离散协变量的设置中研究了这个问题，从而得出了各种分层估计器的有限样本方差的表达式。这种方法阐明了许多广泛引用的结果的基本统计现象。我们的博览会结合了研究因果效应估计的三种不同的方法论传统的见解：潜在结果，因果图和具有加性误差的结构模型。

Estimating treatment effects from observational data is a central problem in causal inference. Methods to solve this problem exploit inductive biases and heuristics from causal inference to design multi-head neural network architectures and regularizers. In this work, we propose to use neurosymbolic program synthesis, a data-efficient, and interpretable technique, to solve the treatment effect estimation problem. We theoretically show that neurosymbolic programming can solve the treatment effect estimation problem. By designing a Domain Specific Language (DSL) for treatment effect estimation problem based on the inductive biases used in literature, we argue that neurosymbolic programming is a better alternative to treatment effect estimation than traditional methods. Our empirical study reveals that our method, which implicitly encodes inductive biases in a DSL, achieves better performance on benchmark datasets than the state-of-the-art methods.

Causal inference is the process of using assumptions, study designs, and estimation strategies to draw conclusions about the causal relationships between variables based on data. This allows researchers to better understand the underlying mechanisms at work in complex systems and make more informed decisions. In many settings, we may not fully observe all the confounders that affect both the treatment and outcome variables, complicating the estimation of causal effects. To address this problem, a growing literature in both causal inference and machine learning proposes to use Instrumental Variables (IV). This paper serves as the first effort to systematically and comprehensively introduce and discuss the IV methods and their applications in both causal inference and machine learning. First, we provide the formal definition of IVs and discuss the identification problem of IV regression methods under different assumptions. Second, we categorize the existing work on IV methods into three streams according to the focus on the proposed methods, including two-stage least squares with IVs, control function with IVs, and evaluation of IVs. For each stream, we present both the classical causal inference methods, and recent developments in the machine learning literature. Then, we introduce a variety of applications of IV methods in real-world scenarios and provide a summary of the available datasets and algorithms. Finally, we summarize the literature, discuss the open problems and suggest promising future research directions for IV methods and their applications. We also develop a toolkit of IVs methods reviewed in this survey at https://github.com/causal-machine-learning-lab/mliv.

为目标疾病开发新药物是一项耗时且昂贵的任务，药物重新利用已成为药物开发领域的流行话题。随着许多健康索赔数据可用，已经对数据进行了许多研究。现实世界的数据嘈杂，稀疏，并且具有许多混杂因素。此外，许多研究表明，药物的作用在人群中是异质的。近年来已经出现了许多有关估计异构治疗效果（HTE）（HTE）的高级机器学习模型，并已应用于计量经济学和机器学习社区。这些研究将医学和药物开发视为主要应用领域，但是从HTE方法论到药物开发的转化研究有限。我们旨在将HTE方法介绍到医疗保健领域，并在通过基准实验进行医疗保健行政索赔数据进行基准实验时提供可行性考虑。另外，我们希望使用基准实验来展示如何将模型应用于医疗保健研究时如何解释和评估模型。通过将最近的HTE技术引入生物医学信息学社区的广泛读者，我们希望通过机器学习促进广泛采用因果推断。我们还希望提供HTE具有个性化药物有效性的可行性。

绘制因果推断的基本挑战是，任何单位都没有完全观察到反事实。此外，在观察性研究中，治疗分配可能会混淆。在不满足的条件下，已经出现了许多统计方法，这些方法在给定预处理的协变量下，包括基于倾向得分的方法，基于预后分数的方法和双重稳健方法。不幸的是，对于应用研究人员而言，没有“一定大小的”因果方法可以在普遍上表现出色。实际上，因果方法主要根据手工制作的模拟数据进行定量评估。这样的数据产生程序可能具有有限的价值，因为它们通常是现实的风格化模型。它们被简化为障碍性，缺乏现实世界数据的复杂性。对于应用研究人员，了解方法对手头数据的表现效果很好至关重要。我们的工作介绍了基于生成模型的深层框架，以验证因果推理方法。该框架的新颖性源于其产生锚定在观察到的样品的经验分布上的合成数据的能力，因此与后者几乎没有区别。该方法使用户可以为因果效应的形式和幅度指定地面真理，并将偏见作为协变量的功能。因此，模拟数据集用于评估与观察到的样本相似的数据时，各种因果估计方法的潜在性能。我们证明了Credence在广泛的仿真研究中准确评估因果估计技术的相对性能以及来自Lalonde和Project Star研究的两个现实世界数据应用的能力。

解决了选择最佳后门调整集的问题，以解决隐藏和条件变量的图形模型中的因果效应。以前的工作已经定义了实现最小的渐近估计方差，并且在没有隐藏变量的情况下派生的最佳集。对于隐藏变量的情况，可以有设置在没有最佳集合的情况下，并且目前仅导出有限适用性的足够的图形最优标准。在本工作中，最优性的特征在于最大化某个调整信息，该信息允许导出用于存在最佳调整集的必要和足够的图形标准和构造它的定义和算法。此外，如果仅存在有效调整集并且具有比Perkovi {\'C}等所提出的调整集更高（或等于）调整信息，则最佳集是有效的。 [机器学习研究学报，18：1--62,2018]任何图表。结果转化为一类估计的渐近估计差异，其渐近方差遵循某种信息理论关系。数值实验表明，渐近结果也适用于相对较小的样本尺寸，并且最佳调整集或其最小化变体通常也会产生更好的方差，也超出该估计类。令人惊讶的是，在随机创建的设置中，超过90 \％满足最优性条件，指示在许多现实世界场景中也可以保持。代码可用作Python Package \ URL {https://github.com/jakobrunge/tigramite}的一部分。

转移学习中最关键的问题之一是域适应的任务，其中目标是将在一个或多个源域中培训的算法应用于不同（但相关）的目标域。本文在域内存在协变量转变时，涉及域适应。解决此问题的现有因果推断方法的主要限制之一是可扩展性。为了克服这种困难，我们提出了一种避免穷举搜索的算法，并识别基于Markov毯子发现的源和目标域的不变因果特征。 SCTL不需要先前了解因果结构，干预措施的类型或干预目标。有一个与SCTL相关的内在位置，使其实现实际上可扩展且稳健，因为本地因果发现增加了计算独立性测试的力量，并使域适配的任务进行了计算地进行了易行的。我们通过低维和高维设置中的合成和实际数据集显示SCTL的可扩展性和稳健性。

在许多学科中，在大量解释变量中推断反应变量的直接因果父母的问题具有很高的实际意义。但是，建立的方法通常至少会随着解释变量的数量而呈指数级扩展，难以扩展到非线性关系，并且很难扩展到周期性数据。受{\ em Debiased}机器学习方法的启发，我们研究了一种单Vs.-the-Rest特征选择方法，以发现响应的直接因果父母。我们提出了一种用于纯观测数据的算法，同时还提供理论保证，包括可能在周期存在下的部分非线性关系的情况。由于它仅需要对每个变量进行一个估计，因此我们的方法甚至适用于大图。与既定方法相比，我们证明了显着改善。

不观察到的混淆是观测数据的因果效应估计的主要障碍。仪器变量（IVS）广泛用于存在潜在混淆时的因果效应估计。利用标准IV方法，当给定的IV有效时，可以获得无偏估计，但标准IV的有效性要求是严格和不可能的。已经提出了通过调节一组观察变量（称为条件IV的调节装置）来放松标准IV的要求。然而，用于查找条件IV的调节集的标准需要完整的因果结构知识或指向的非循环图（DAG），其代表观察到和未观察的变量的因果关系。这使得无法发现直接从数据设置的调节。在本文中，通过利用潜在变量的因果推断中的最大祖先图（MAGS），我们提出了一种新型的MAG中的IV，祖先IV，并开发了支持给定祖传的调节装置的数据驱动的发现iv在mag。基于该理论，我们在MAG和观测数据中开发了一种与祖先IV的非偏见因果效应估计的算法。与现有IV方法相比，对合成和实际数据集的广泛实验表明了算法的性能。

解决公平问题对于安全使用机器学习算法来支持对人们的生活产生关键影响的决策，例如雇用工作，儿童虐待，疾病诊断，贷款授予等。过去十年，例如统计奇偶校验和均衡的赔率。然而，最新的公平概念是基于因果关系的，反映了现在广泛接受的想法，即使用因果关系对于适当解决公平问题是必要的。本文研究了基于因果关系的公平概念的详尽清单，并研究了其在现实情况下的适用性。由于大多数基于因果关系的公平概念都是根据不可观察的数量（例如干预措施和反事实）来定义的，因此它们在实践中的部署需要使用观察数据来计算或估计这些数量。本文提供了有关从观察数据（包括可识别性（Pearl的SCM框架））和估计（潜在结果框架）中推断出因果量的不同方法的全面报告。该调查论文的主要贡献是（1）指南，旨在在特定的现实情况下帮助选择合适的公平概念，以及（2）根据Pearl的因果关系阶梯的公平概念的排名，表明它很难部署。实践中的每个概念。

考虑基于AI和ML的决策对这些新兴技术的安全和可接受的使用的决策的社会和道德后果至关重要。公平，特别是保证ML决定不会导致对个人或少数群体的歧视。使用因果关系，可以更好地实现和衡量可靠的公平/歧视，从而更好地实现了敏感属性（例如性别，种族，宗教等）之间的因果关系，仅仅是仅仅是关联，例如性别，种族，宗教等（例如，雇用工作，贷款授予等） ）。然而，对因果关系解决公平性的最大障碍是因果模型的不可用（通常表示为因果图）。文献中现有的因果关系方法并不能解决此问题，并假设可获得因果模型。在本文中，我们没有做出这样的假设，并且我们回顾了从可观察数据中发现因果关系的主要算法。这项研究的重点是因果发现及其对公平性的影响。特别是，我们展示了不同的因果发现方法如何导致不同的因果模型，最重要的是，即使因果模型之间的轻微差异如何对公平/歧视结论产生重大影响。通过使用合成和标准公平基准数据集的经验分析来巩固这些结果。这项研究的主要目标是强调因果关系使用因果关系适当解决公平性的因果发现步骤的重要性。

因果关系的概念在人类认知中起着重要作用。在过去的几十年中，在许多领域（例如计算机科学，医学，经济学和教育）中，因果推论已经得到很好的发展。随着深度学习技术的发展，它越来越多地用于针对反事实数据的因果推断。通常，深层因果模型将协变量的特征映射到表示空间，然后设计各种客观优化函数，以根据不同的优化方法公正地估算反事实数据。本文重点介绍了深层因果模型的调查，其核心贡献如下：1）我们在多种疗法和连续剂量治疗下提供相关指标； 2）我们从时间开发和方法分类的角度综合了深层因果模型的全面概述； 3）我们协助有关相关数据集和源代码的详细且全面的分类和分析。

本文开发了贝叶斯因果林的稀疏诱导版本，最近提出的非参数因果回归模型采用贝叶斯添加剂回归树，专门设计用于使用观察数据来估计异质治疗效果。我们介绍的稀疏诱导组件是通过实证研究的动机，其中不是所有可用的协变量相关的，导致在估计个体治疗效果的兴趣表面底层的不同程度。在这项工作中提供的扩展版本，我们命名贝叶斯因果森林，配备了一对允许模型通过树集合中的相应数量的分裂调节每个协变量的重量。这些前瞻改善了模型对稀疏数据产生过程的适应性，并且允许在治疗效果估计的框架中进行完全贝叶斯特征缩收，从而揭示推动异质性的调节因子。此外，该方法允许先前了解相关的混杂协变量和对模型中掺入结果的影响的相对幅度。我们说明了我们在模拟研究中的方法的表现，与贝叶斯因果林和其他最先进的模型相比，展示如何与越来越多的协变量以及其如何处理强烈混淆的情景。最后，我们还提供了使用真实数据的应用程序的示例。