HyperGraphs为在节点之间建模多路相互作用提供了有效的抽象，每个HyperEdge都可以连接任何数量的节点。与大多数利用统计依赖性的研究不同，我们从因果关系的角度研究了超图。具体而言，在本文中，我们重点介绍了对超图的个人治疗效果（ITE）估计的问题，旨在估算干预措施（例如，佩戴脸部覆盖）将对结果（例如，Covid-19感染）的因果影响（例如，Covid-19感染）影响。每个节点。关于ITE估计的现有作品假设一个人的结果不应受到其他个体的治疗作业的影响（即无干扰），或者假设仅在普通图中的成对相关个体之间存在干扰。我们认为，这些假设对现实世界中的超图可能是不现实的，在现实世界中，高阶干扰可能会影响由于存在组相互作用而导致的最终ITE估计。在这项工作中，我们研究了高阶干扰建模，并提出了一个由HyperGraph神经网络提供支持的新因果学习框架。对现实世界超图的广泛实验验证了我们框架优于现有基线的优势。

数据驱动的社会事件预测方法利用相关的历史信息来预测未来的事件。这些方法依赖于历史标记数据，并且当数据有限或质量差时无法准确地预测事件。研究事件之间的因果效应超出相关性分析，并且可以有助于更强大的事件预测。然而，由于若干因素，在数据驱动事件预测中纳入因果区分析是具有挑战性的：（i）事件发生在复杂和充满活力的社交环境中。许多未观察到的变量，即隐藏的混乱，影响潜在的原因和结果。 （ii）给予时尚非独立和相同分布的（非IID）数据，为准确的因果效应估计建模隐藏的混淆并不差。在这项工作中，我们介绍了一个深入的学习框架，将因果效应估计整合到事件预测中。我们首先研究了从时空属性的观察事件数据的单个治疗效果（ITE）估计的问题，并提出了一种新的因果推断模型来估计ites。然后，我们将学习的事件相关的因果信息纳入事件预测作为先验知识。引入了两个强大的学习模块，包括特征重载模块和近似约束损耗，以实现先验知识注入。我们通过将学习的因果信息送入不同的深度学习方法，评估了真实世界事件数据集的提出的因果推断模型，并验证了在事件预测中提出的强大学习模块的有效性。实验结果展示了社会事件中拟议的因果推断模型的强度，并展示了社会事件预测中强大的学习模块的有益特性。

因果推断能够估计治疗效果（即，治疗结果的因果效果），使各个领域的决策受益。本研究中的一个基本挑战是观察数据的治疗偏见。为了提高对因果推断的观察研究的有效性，基于代表的方法作为最先进的方法表明了治疗效果估计的卓越性能。基于大多数基于表示的方法假设所有观察到的协变量都是预处理的（即，不受治疗影响的影响），并学习这些观察到的协变量的平衡表示，以估算治疗效果。不幸的是，这种假设往往在实践中往往是太严格的要求，因为一些协调因子是通过对治疗的干预进行改变（即，后治疗）来改变。相比之下，从不变的协变量中学到的平衡表示因此偏置治疗效果估计。

公平机器学习旨在减轻模型预测的偏见，这对于关于诸如种族和性别等敏感属性的某些群体的偏见。在许多现有的公平概念中，反事实公平通过比较来自原始数据和反事实的预测来衡量因因果角度来源的模型公平。在反事实上，该个人的敏感属性值已被修改。最近，少数作品将反事实公平扩展到图数据，但大多数忽略了可能导致偏差的以下事实：1）每个节点邻居的敏感属性可能会影响预测w.r.t.这个节点; 2）敏感属性可能会导致其他特征和图形结构。为了解决这些问题，在本文中，我们提出了一种新颖的公平概念 - 图形反应性公平，这考虑了上述事实领导的偏差。要学习对图形反事实公平的节点表示，我们提出了一种基于反事实数据增强的新颖框架。在此框架中，我们生成对应于每个节点和邻居敏感属性的扰动的反应性。然后，我们通过最大限度地减少从原始图表中学到的表示与每个节点的反事实之间的差异来执行公平性。合成和真实图的实验表明，我们的框架优于图形反事实公平性的最先进的基线，并且还实现了可比的预测性能。

Causal inference is the process of using assumptions, study designs, and estimation strategies to draw conclusions about the causal relationships between variables based on data. This allows researchers to better understand the underlying mechanisms at work in complex systems and make more informed decisions. In many settings, we may not fully observe all the confounders that affect both the treatment and outcome variables, complicating the estimation of causal effects. To address this problem, a growing literature in both causal inference and machine learning proposes to use Instrumental Variables (IV). This paper serves as the first effort to systematically and comprehensively introduce and discuss the IV methods and their applications in both causal inference and machine learning. First, we provide the formal definition of IVs and discuss the identification problem of IV regression methods under different assumptions. Second, we categorize the existing work on IV methods into three streams according to the focus on the proposed methods, including two-stage least squares with IVs, control function with IVs, and evaluation of IVs. For each stream, we present both the classical causal inference methods, and recent developments in the machine learning literature. Then, we introduce a variety of applications of IV methods in real-world scenarios and provide a summary of the available datasets and algorithms. Finally, we summarize the literature, discuss the open problems and suggest promising future research directions for IV methods and their applications. We also develop a toolkit of IVs methods reviewed in this survey at https://github.com/causal-machine-learning-lab/mliv.

Causal learning has attracted much attention in recent years because causality reveals the essential relationship between things and indicates how the world progresses. However, there are many problems and bottlenecks in traditional causal learning methods, such as high-dimensional unstructured variables, combinatorial optimization problems, unknown intervention, unobserved confounders, selection bias and estimation bias. Deep causal learning, that is, causal learning based on deep neural networks, brings new insights for addressing these problems. While many deep learning-based causal discovery and causal inference methods have been proposed, there is a lack of reviews exploring the internal mechanism of deep learning to improve causal learning. In this article, we comprehensively review how deep learning can contribute to causal learning by addressing conventional challenges from three aspects: representation, discovery, and inference. We point out that deep causal learning is important for the theoretical extension and application expansion of causal science and is also an indispensable part of general artificial intelligence. We conclude the article with a summary of open issues and potential directions for future work.

Counterfactual explanations promote explainability in machine learning models by answering the question "how should an input instance be perturbed to obtain a desired predicted label?". The comparison of this instance before and after perturbation can enhance human interpretation. Most existing studies on counterfactual explanations are limited in tabular data or image data. In this work, we study the problem of counterfactual explanation generation on graphs. A few studies have explored counterfactual explanations on graphs, but many challenges of this problem are still not well-addressed: 1) optimizing in the discrete and disorganized space of graphs; 2) generalizing on unseen graphs; and 3) maintaining the causality in the generated counterfactuals without prior knowledge of the causal model. To tackle these challenges, we propose a novel framework CLEAR which aims to generate counterfactual explanations on graphs for graph-level prediction models. Specifically, CLEAR leverages a graph variational autoencoder based mechanism to facilitate its optimization and generalization, and promotes causality by leveraging an auxiliary variable to better identify the underlying causal model. Extensive experiments on both synthetic and real-world graphs validate the superiority of CLEAR over the state-of-the-art methods in different aspects.

最近关于图表卷积网络（GCN）的研究表明，初始节点表示（即，第一次图卷积前的节点表示）很大程度上影响最终的模型性能。但是，在学习节点的初始表示时，大多数现有工作线性地组合了节点特征的嵌入，而不考虑特征之间的交互（或特征嵌入）。我们认为，当节点特征是分类时，例如，在许多实际应用程序中，如用户分析和推荐系统，功能交互通常会对预测分析进行重要信号。忽略它们将导致次优初始节点表示，从而削弱后续图表卷积的有效性。在本文中，我们提出了一个名为CatGCN的新GCN模型，当节点功能是分类时，为图表学习量身定制。具体地，我们将显式交互建模的两种方式集成到初始节点表示的学习中，即在每对节点特征上的本地交互建模和人工特征图上的全局交互建模。然后，我们通过基于邻域聚合的图形卷积来优化增强的初始节点表示。我们以端到端的方式训练CatGCN，并在半监督节点分类上展示它。来自腾讯和阿里巴巴数据集的三个用户分析的三个任务（预测用户年龄，城市和购买级别）的大量实验验证了CatGCN的有效性，尤其是在图表卷积之前执行特征交互建模的积极效果。

在线评论使消费者能够与公司聘用并提供重要的反馈。由于高维文本的复杂性，这些评论通常被简化为单一数值分数，例如评级或情绪评分。这项工作经验检查了用户生成的在线评论的因果效果对粒度水平：我们考虑多个方面，例如餐厅的食品和服务。了解消费者对不同方面的意见可以帮助详细评估业务绩效并有效地战略业务运营。具体来说，我们的目标是回答介入问题，例如餐厅人气将是什么，如果质量为本。它的方面服务增加了10％？对观测数据的因果推断的定义挑战是存在“混淆”，这可能不会被观察或测量，例如消费者对食品类型的偏好，使得估计效应偏差和高方差。为了解决这一挑战，我们求助于多模态代理，例如消费者简介信息和消费者和企业之间的互动。我们展示了如何有效利用丰富的信息来识别和估算在线评论中嵌入多个方面的因果效果。对综合和现实世界数据的实证评估证实了对拟议方法的可操作洞察力的功效和脱落。

建议图表神经网络（GNNS）在不考虑训练和测试图之间的不可知分布的情况下，诱导GNN的泛化能力退化在分布外（OOD）设置。这种退化的根本原因是大多数GNN是基于I.I.D假设开发的。在这种设置中，GNN倾向于利用在培训中存在的微妙统计相关性用于预测，即使它是杂散的相关性。然而，这种杂散的相关性可能在测试环境中改变，导致GNN的失败。因此，消除了杂散相关的影响对于稳定的GNN来说是至关重要的。为此，我们提出了一个普遍的因果代表框架，称为稳定凝球。主要思想是首先从图数据中提取高级表示，并诉诸因因果推理的显着能力，以帮助模型摆脱虚假相关性。特别是，我们利用图形池化层以提取基于子图的表示作为高级表示。此外，我们提出了一种因果变量区别，以纠正偏置训练分布。因此，GNN将更多地集中在稳定的相关性上。对合成和现实世界ood图数据集的广泛实验良好地验证了所提出的框架的有效性，灵活性和可解释性。

因子化机器（FM）是在处理高维稀疏数据时建模成对（二阶）特征交互的普遍存在方法。然而，一方面，FM无法捕获患有组合扩展的高阶特征相互作用，另一方面，考虑每对特征之间的相互作用可能引入噪声和降低预测精度。为了解决问题，我们通过在图形结构中自然表示特征来提出一种新颖的方法图形因子分子机器（GraphFM）。特别地，设计了一种新颖的机制来选择有益特征相互作用，并将它们装配为特征之间的边缘。然后我们所提出的模型将FM的交互功能集成到图形神经网络（GNN）的特征聚合策略中，可以通过堆叠图层模拟图形结构特征上的任意顺序特征交互。关于若干现实世界数据集的实验结果表明了我们提出的方法的合理性和有效性。

因果推论在电子商务和精确医学等各个领域都有广泛的应用，其性能在很大程度上取决于对个体治疗效果（ITE）的准确估计。通常，通过在其各个样品空间中分别对处理和控制响应函数进行建模来预测ITE。但是，这种方法通常会在实践中遇到两个问题，即治疗偏见引起的治疗组和对照组之间的分布分布以及其人口规模的显着样本失衡。本文提出了深层的整个空间跨网络（DESCN），以从端到端的角度进行建模治疗效果。 DESCN通过多任务学习方式捕获了治疗倾向，反应和隐藏治疗效果的综合信息。我们的方法共同学习了整个样品空间中的治疗和反应功能，以避免治疗偏见，并采用中间伪治疗效应预测网络来减轻样品失衡。从电子商务凭证分销业务的合成数据集和大规模生产数据集进行了广泛的实验。结果表明，DESCN可以成功提高ITE估计的准确性并提高提升排名的性能。发布生产数据集和源代码的样本是为了促进社区的未来研究，据我们所知，这是首个大型公共偏见的因果推理数据集。

估计空间变化的干预对空间变化结果的因果影响可能会受到非本地混杂（NLC）的影响，这种现象可能会估计给定单位的处理和结果部分由协方差估计。附近的其他单元。特别是，NLC是评估环境政策和气候事件对健康相关结果（例如空气污染暴露）的影响的挑战。本文首先使用潜在结果框架对NLC进行正式化，从而与因果干扰的相关现象进行了比较。然后，它提出了一个称为“ weather2vec”的广泛适用框架，该框架使用平衡分数理论来学习非本地信息的表示形式，以定义为每个观察单元定义的标量或向量使用因果推理方法。该框架在一项仿真研究和两项关于空气污染的案例研究中进行了评估，天气是（本质上是区域）已知的混杂因素。

传统的因果推理方法利用观察性研究数据来估计潜在治疗的观察到的差异和未观察到的结果，称为条件平均治疗效果（CATE）。然而，凯特就对应于仅第一刻的比较，因此可能不足以反映治疗效果的全部情况。作为替代方案，估计全部潜在结果分布可以提供更多的见解。但是，估计治疗效果的现有方法潜在的结果分布通常对这些分布施加限制性或简单的假设。在这里，我们提出了合作因果网络（CCN），这是一种新颖的方法，它通过学习全部潜在结果分布而超出了CATE的估计。通过CCN框架估算结果分布不需要对基础数据生成过程的限制性假设。此外，CCN促进了每种可能处理的效用的估计，并允许通过效用函数进行特定的特定变异。 CCN不仅将结果估计扩展到传统的风险差异之外，而且还可以通过定义灵活的比较来实现更全面的决策过程。根据因果文献中通常做出的假设，我们表明CCN学习了渐近捕获真正潜在结果分布的分布。此外，我们提出了一种调整方法，该方法在经验上可以有效地减轻观察数据中治疗组之间的样本失衡。最后，我们评估了CCN在多个合成和半合成实验中的性能。我们证明，与现有的贝叶斯和深层生成方法相比，CCN学会了改进的分布估计值，以及对各种效用功能的改进决策。

因果关系的概念在人类认知中起着重要作用。在过去的几十年中，在许多领域（例如计算机科学，医学，经济学和教育）中，因果推论已经得到很好的发展。随着深度学习技术的发展，它越来越多地用于针对反事实数据的因果推断。通常，深层因果模型将协变量的特征映射到表示空间，然后设计各种客观优化函数，以根据不同的优化方法公正地估算反事实数据。本文重点介绍了深层因果模型的调查，其核心贡献如下：1）我们在多种疗法和连续剂量治疗下提供相关指标； 2）我们从时间开发和方法分类的角度综合了深层因果模型的全面概述； 3）我们协助有关相关数据集和源代码的详细且全面的分类和分析。

Estimating treatment effects from observational data is a central problem in causal inference. Methods to solve this problem exploit inductive biases and heuristics from causal inference to design multi-head neural network architectures and regularizers. In this work, we propose to use neurosymbolic program synthesis, a data-efficient, and interpretable technique, to solve the treatment effect estimation problem. We theoretically show that neurosymbolic programming can solve the treatment effect estimation problem. By designing a Domain Specific Language (DSL) for treatment effect estimation problem based on the inductive biases used in literature, we argue that neurosymbolic programming is a better alternative to treatment effect estimation than traditional methods. Our empirical study reveals that our method, which implicitly encodes inductive biases in a DSL, achieves better performance on benchmark datasets than the state-of-the-art methods.

由于选择偏差，观察数据估算平均治疗效果（ATE）是有挑战性的。现有作品主要以两种方式应对这一挑战。一些研究人员建议构建满足正交条件的分数函数，该函数确保已建立的估计量“正交”更加健壮。其他人探索表示模型，以实现治疗组和受控群体之间的平衡表示。但是，现有研究未能进行1）在表示空间中歧视受控单元以避免过度平衡的问题； 2）充分利用“正交信息”。在本文中，我们提出了一个基于最新协变量平衡表示方法和正交机器学习理论的中等平衡的表示学习（MBRL）框架。该框架可保护表示形式免于通过多任务学习过度平衡。同时，MBRL将噪声正交性信息纳入培训和验证阶段，以实现更好的ATE估计。与现有的最新方法相比，基准和模拟数据集的全面实验表明，我们方法对治疗效应估计的优越性和鲁棒性。

Although understanding and characterizing causal effects have become essential in observational studies, it is challenging when the confounders are high-dimensional. In this article, we develop a general framework $\textit{CausalEGM}$ for estimating causal effects by encoding generative modeling, which can be applied in both binary and continuous treatment settings. Under the potential outcome framework with unconfoundedness, we establish a bidirectional transformation between the high-dimensional confounders space and a low-dimensional latent space where the density is known (e.g., multivariate normal distribution). Through this, CausalEGM simultaneously decouples the dependencies of confounders on both treatment and outcome and maps the confounders to the low-dimensional latent space. By conditioning on the low-dimensional latent features, CausalEGM can estimate the causal effect for each individual or the average causal effect within a population. Our theoretical analysis shows that the excess risk for CausalEGM can be bounded through empirical process theory. Under an assumption on encoder-decoder networks, the consistency of the estimate can be guaranteed. In a series of experiments, CausalEGM demonstrates superior performance over existing methods for both binary and continuous treatments. Specifically, we find CausalEGM to be substantially more powerful than competing methods in the presence of large sample sizes and high dimensional confounders. The software of CausalEGM is freely available at https://github.com/SUwonglab/CausalEGM.

在许多现实世界应用中，例如市场和医学，基于短期替代物的长期因果影响是一个重大但具有挑战性的问题。尽管在某些领域取得了成功，但大多数现有方法以理想主义和简单的方式估算了因果影响 - 忽略了短期结果之间的因果结构，而将所有这些因果关系视为代孕。但是，这种方法不能很好地应用于现实世界中，其中部分观察到的替代物与短期结局中的代理混合在一起。为此，我们开发了灵活的方法激光器，以估计在更现实的情况下观察或观察到代理的更现实的情况。 （ivae）在所有候选者上恢复所有有效的替代物，而无需区分观察到的替代物或潜在代理人的代理。在回收的替代物的帮助下，我们进一步设计了对长期因果影响的公正估计。关于现实世界和半合成数据集的广泛实验结果证明了我们提出的方法的有效性。

因果推理中的一个重要问题是分解治疗结果对不同因果途径的总效果，并量化每种途径中的因果效果。例如，在因果公平中，作为男性雇员的总效果（即治疗）构成了对年收入（即，结果）的直接影响，并通过员工的职业（即调解人）和间接效应。因果调解分析（CMA）是一个正式的统计框架，用于揭示这种潜在的因果机制。 CMA在观察研究中的一个主要挑战正在处理混淆，导致治疗，调解员和结果之间导致虚假因果关系的变量。常规方法假设暗示可以测量所有混血器的顺序忽略性，这在实践中通常是不可核法的。这项工作旨在规避严格的顺序忽略性假设，并考虑隐藏的混杂。借鉴代理策略和深度学习的最新进展，我们建议同时揭示特征隐藏混杂物的潜在变量，并估计因果效应。使用合成和半合成数据集的经验评估验证了所提出的方法的有效性。我们进一步展示了我们对因果公平分析的方法的潜力。