本文提出了一种新的因果发现方法，即结构不可知的建模（SAM）。SAM利用条件独立性和分布不对称性，旨在从观察数据中找到潜在的因果结构。该方法基于不同玩家之间的游戏，该游戏将每个变量分布有条件地作为神经网估算，而对手则旨在区分生成的数据与原始数据。结合分布估计，稀疏性和无环限制的学习标准用于通过随机梯度下降来实施图形结构和参数的优化。SAM在合成和真实数据上进行了实验验证。

在非参数环境中，因果结构通常仅在马尔可夫等效性上可识别，并且出于因果推断的目的，学习马尔可夫等效类（MEC）的图形表示很有用。在本文中，我们重新审视了贪婪的等效搜索（GES）算法，该算法被广泛引用为一种基于分数的算法，用于学习基本因果结构的MEC。我们观察到，为了使GES算法在非参数设置中保持一致，不必设计评估图的评分度量。取而代之的是，足以插入有条件依赖度量的一致估计器来指导搜索。因此，我们提出了GES算法的重塑，该算法比基于标准分数的版本更灵活，并且很容易将自己带到非参数设置，并具有条件依赖性的一般度量。此外，我们提出了一种神经条件依赖性（NCD）度量，该措施利用深神经网络的表达能力以非参数方式表征条件独立性。我们根据标准假设建立了重新构架GES算法的最佳性，并使用我们的NCD估计器来决定条件独立性的一致性。这些结果共同证明了拟议的方法。实验结果证明了我们方法在因果发现中的有效性，以及使用我们的NCD度量而不是基于内核的措施的优势。

本文研究了从观察数据学习因果关系的问题。我们用二进制图邻接矩阵参数化的形式重整结构方程模型（SEM），并显示，如果原始SEM是可识别的，则可以识别二进制邻接矩阵到真实因果图的超图在温和的条件下。然后，我们利用所述重新设计的SEM来开发一种因果结构学习方法，可以通过利用对非循环性和Gumbel-Softmax方法的平滑表征来实现基于梯度的优化来有效地接受训练，以近似于二进制邻接矩阵。发现获得的条目通常在零或一个附近，并且可以容易地阈值以识别边缘。我们对合成和实时数据集进行实验，以验证所提出的方法的有效性，并表明它容易包括不同的平滑模型功能，并在考虑大多数数据集中实现了大大提高的性能。

We present a new algorithm for Bayesian network structure learning, called Max-Min Hill-Climbing (MMHC). The algorithm combines ideas from local learning, constraint-based, and search-and-score techniques in a principled and effective way. It first reconstructs the skeleton of a Bayesian network and then performs a Bayesian-scoring greedy hill-climbing search to orient the edges. In our extensive empirical evaluation MMHC outperforms on average and in terms of various metrics several prototypical and state-of-the-art algorithms, namely the PC, Sparse Candidate, Three Phase Dependency Analysis, Optimal Reinsertion, Greedy Equivalence Search, and Greedy Search. These are the first empirical results simultaneously comparing most of the major Bayesian network algorithms against each other. MMHC offers certain theoretical advantages, specifically over the Sparse Candidate algorithm, corroborated by our experiments. MMHC and detailed results of our study are publicly available at http://www.dsl-lab.org/supplements/mmhc paper/mmhc index.html.

Inferring causal structure poses a combinatorial search problem that typically involves evaluating structures with a score or independence test. The resulting search is costly, and designing suitable scores or tests that capture prior knowledge is difficult. In this work, we propose to amortize causal structure learning. Rather than searching over structures, we train a variational inference model to directly predict the causal structure from observational or interventional data. This allows our inference model to acquire domain-specific inductive biases for causal discovery solely from data generated by a simulator, bypassing both the hand-engineering of suitable score functions and the search over graphs. The architecture of our inference model emulates permutation invariances that are crucial for statistical efficiency in structure learning, which facilitates generalization to significantly larger problem instances than seen during training. On synthetic data and semisynthetic gene expression data, our models exhibit robust generalization capabilities when subject to substantial distribution shifts and significantly outperform existing algorithms, especially in the challenging genomics domain. Our code and models are publicly available at: https://github.com/larslorch/avici.

因果推断对于跨业务参与，医疗和政策制定等领域的数据驱动决策至关重要。然而，关于因果发现的研究已经与推理方法分开发展，从而阻止了两个领域方法的直接组合。在这项工作中，我们开发了深层端到端因果推理（DECI），这是一种基于流动的非线性添加噪声模型，该模型具有观察数据，并且可以执行因果发现和推理，包括有条件的平均治疗效果（CATE） ）估计。我们提供了理论上的保证，即DECI可以根据标准因果发现假设恢复地面真实因果图。受应用影响的激励，我们将该模型扩展到具有缺失值的异质，混合型数据，从而允许连续和离散的治疗决策。我们的结果表明，与因果发现的相关基线相比，DECI的竞争性能和（c）在合成数据集和因果机器学习基准测试基准的一千多个实验中，跨数据类型和缺失水平进行了估计。

模拟DAG模型可能表现出属性，也许无意中，使其结构识别和意外地影响结构学习算法。在这里，我们表明边缘方差往往沿着仿制性添加添加剂噪声模型的因果顺序增加。我们将Varsortable介绍为衡量衡量边际差异和因果顺序的秩序之间的协议。对于通常采样的图形和模型参数，我们表明，一些连续结构学习算法的显着性能可以通过高的Varsortable解释，并通过简单的基线方法匹配。然而，这种性能可能不会转移到真实世界的数据，其中VARS使性可能是中等或取决于测量尺度的选择。在标准化数据上，相同的算法无法识别地面真理DAG或其Markov等价类。虽然标准化在边缘方差中删除了模式，但我们表明，数据产生过程，其产生高VILS使性也留下了即使在标准化之后也可以利用不同的协方差模式。我们的调查结果挑战了独立绘制参数的通用基准的重要性。代码可在https://github.com/scriddie/varsortable获得。

在学习从观察数据中学习贝叶斯网络的图形结构是描述和帮助了解复杂应用程序中的数据生成过程的关键，而任务由于其计算复杂性而构成了相当大的挑战。代表贝叶斯网络模型的定向非循环图（DAG）通常不会从观察数据识别，并且存在各种方法来估计其等价类。在某些假设下，流行的PC算法可以通过测试条件独立（CI）一致地始终恢复正确的等价类，从边际独立关系开始，逐步扩展调节集。这里，我们提出了一种通过利用协方差与精密矩阵之间的反向关系来执行PC算法内的CI测试的新颖方案。值得注意的是，精密矩阵的元素与高斯数据的部分相关性。然后，我们的算法利用对协方差和精密矩阵的块矩阵逆转，同时对互补（或双）调节集的部分相关性进行测试。因此，双PC算法的多个CI测试首先考虑边缘和全阶CI关系并逐步地移动到中心顺序。仿真研究表明，双PC算法在运行时和恢复底层网络结构方面都优于经典PC算法。

考虑基于AI和ML的决策对这些新兴技术的安全和可接受的使用的决策的社会和道德后果至关重要。公平，特别是保证ML决定不会导致对个人或少数群体的歧视。使用因果关系，可以更好地实现和衡量可靠的公平/歧视，从而更好地实现了敏感属性（例如性别，种族，宗教等）之间的因果关系，仅仅是仅仅是关联，例如性别，种族，宗教等（例如，雇用工作，贷款授予等） ）。然而，对因果关系解决公平性的最大障碍是因果模型的不可用（通常表示为因果图）。文献中现有的因果关系方法并不能解决此问题，并假设可获得因果模型。在本文中，我们没有做出这样的假设，并且我们回顾了从可观察数据中发现因果关系的主要算法。这项研究的重点是因果发现及其对公平性的影响。特别是，我们展示了不同的因果发现方法如何导致不同的因果模型，最重要的是，即使因果模型之间的轻微差异如何对公平/歧视结论产生重大影响。通过使用合成和标准公平基准数据集的经验分析来巩固这些结果。这项研究的主要目标是强调因果关系使用因果关系适当解决公平性的因果发现步骤的重要性。

贝叶斯网络是概率的图形模型，广泛用于了解高维数据的依赖关系，甚至促进因果发现。学习作为定向的非循环图（DAG）编码的底层网络结构是高度具有挑战性的，主要是由于大量可能的网络与非狭窄性约束结合。努力专注于两个前面：基于约束的方法，该方法执行条件独立测试，以排除具有贪婪或MCMC方案的DAG空间的边缘和分数和搜索方法。在这里，我们以一种新的混合方法综合这两个领域，这降低了基于约束方法的MCMC方法的复杂性。 MCMC方案中的各个步骤仅需要简单的表查找，以便可以有效地获得非常长的链。此外，该方案包括迭代过程，以校正来自条件独立测试的错误。该算法对替代方案提供了显着卓越的性能，特别是因为也可以从后部分布采样DAG，从而实现全面的贝叶斯模型为大量较大的贝叶斯网络进行平均。

因果推断的一个共同主题是学习观察到的变量（也称为因果发现）之间的因果关系。考虑到大量候选因果图和搜索空间的组合性质，这通常是一项艰巨的任务。也许出于这个原因，到目前为止，大多数研究都集中在相对较小的因果图上，并具有多达数百个节点。但是，诸如生物学之类的领域的最新进展使生成实验数据集，并进行了数千种干预措施，然后进行了数千个变量的丰富分析，从而增加了机会和迫切需要大量因果图模型。在这里，我们介绍了因子定向无环图（F-DAG）的概念，是将搜索空间限制为非线性低级别因果相互作用模型的一种方法。将这种新颖的结构假设与最近的进步相结合，弥合因果发现与连续优化之间的差距，我们在数千个变量上实现了因果发现。此外，作为统计噪声对此估计程序的影响的模型，我们根据随机图研究了F-DAG骨架的边缘扰动模型，并量化了此类扰动对F-DAG等级的影响。该理论分析表明，一组候选F-DAG比整个DAG空间小得多，因此在很难评估基础骨架的高维度中更统计学上的稳定性。我们提出了因子图（DCD-FG）的可区分因果发现，这是对高维介入数据的F-DAG约束因果发现的可扩展实现。 DCD-FG使用高斯非线性低级结构方程模型，并且在模拟中的最新方法以及最新的大型单细胞RNA测序数据集中，与最新方法相比显示出显着改善遗传干预措施。

因果发现旨在从观察数据中学习因果图。迄今为止，大多数因果发现方法需要将数据存储在中央服务器中。但是，数据所有者逐渐拒绝分享他们的个性化数据以避免隐私泄漏，使这项任务通过切断第一步来更加麻烦。出现拼图：$ \ texit {如何从分散数据的原因关系推断出来自分散数据的因果关系？} $本文，具有数据的添加性噪声模型假设，我们参加了开发基于渐变的学习框架命名为DAG共享的渐变学习框架联邦因果发现（DS-FCD），可以在不直接触摸本地数据的情况下学习因果图，并自然地处理数据异质性。 DS-FCD受益于每个本地模型的两级结构。第一级别学习因果图并与服务器通信以获取来自其他客户端的模型信息，而第二级别近似于因果机制，并且从其自身的数据逐步更新以适应数据异质性。此外，DS-FCD通过利用平等的非循环性约束，将整体学习任务制定为连续优化问题，这可以通过梯度下降方法自然地解决。对合成和现实世界数据集的广泛实验验证了所提出的方法的功效。

在许多学科中，在大量解释变量中推断反应变量的直接因果父母的问题具有很高的实际意义。但是，建立的方法通常至少会随着解释变量的数量而呈指数级扩展，难以扩展到非线性关系，并且很难扩展到周期性数据。受{\ em Debiased}机器学习方法的启发，我们研究了一种单Vs.-the-Rest特征选择方法，以发现响应的直接因果父母。我们提出了一种用于纯观测数据的算法，同时还提供理论保证，包括可能在周期存在下的部分非线性关系的情况。由于它仅需要对每个变量进行一个估计，因此我们的方法甚至适用于大图。与既定方法相比，我们证明了显着改善。

In this review, we discuss approaches for learning causal structure from data, also called causal discovery. In particular, we focus on approaches for learning directed acyclic graphs (DAGs) and various generalizations which allow for some variables to be unobserved in the available data. We devote special attention to two fundamental combinatorial aspects of causal structure learning. First, we discuss the structure of the search space over causal graphs. Second, we discuss the structure of equivalence classes over causal graphs, i.e., sets of graphs which represent what can be learned from observational data alone, and how these equivalence classes can be refined by adding interventional data.

We consider the problem of recovering the causal structure underlying observations from different experimental conditions when the targets of the interventions in each experiment are unknown. We assume a linear structural causal model with additive Gaussian noise and consider interventions that perturb their targets while maintaining the causal relationships in the system. Different models may entail the same distributions, offering competing causal explanations for the given observations. We fully characterize this equivalence class and offer identifiability results, which we use to derive a greedy algorithm called GnIES to recover the equivalence class of the data-generating model without knowledge of the intervention targets. In addition, we develop a novel procedure to generate semi-synthetic data sets with known causal ground truth but distributions closely resembling those of a real data set of choice. We leverage this procedure and evaluate the performance of GnIES on synthetic, real, and semi-synthetic data sets. Despite the strong Gaussian distributional assumption, GnIES is robust to an array of model violations and competitive in recovering the causal structure in small- to large-sample settings. We provide, in the Python packages "gnies" and "sempler", implementations of GnIES and our semi-synthetic data generation procedure.

结构方程模型（SEM）是一种有效的框架，其原因是通过定向非循环图（DAG）表示的因果关系。最近的进步使得能够从观察数据中实现了DAG的最大似然点估计。然而，在实际场景中，可以不能准确地捕获在推断下面的底层图中的不确定性，其中真正的DAG是不可识别的并且/或观察到的数据集是有限的。我们提出了贝叶斯因果发现网（BCD网），一个变分推理框架，用于估算表征线性高斯SEM的DAG的分布。由于图形的离散和组合性质，开发一个完整的贝叶斯后面是挑战。我们通过表达变分别家庭分析可扩展VI的可扩展VI的关键设计选择，例如1）表达性变分别家庭，2）连续弛豫，使低方差随机优化和3）在潜在变量上具有合适的前置。我们提供了一系列关于实际和合成数据的实验，显示BCD网在低数据制度中的标准因果发现度量上的最大似然方法，例如结构汉明距离。

在许多科学领域，观察数据中的因果发现是一项重要但具有挑战性的任务。最近，一种称为宣传的非组合定向无环约束的方法将因果结构学习问题作为使用最小二乘损失的连续优化问题。尽管在标准高斯噪声假设下，最小二乘损耗函数是合理的，但如果假设不存在，则受到限制。在这项工作中，我们从理论上表明，违反高斯噪声假设将阻碍因果方向的识别，从而使因果强度以及线性案例中的噪声和噪声方差完全确定。在非线性情况下的噪音。因此，我们提出了一个更一般的基于熵的损失，理论上与任何噪声分布下的可能性得分一致。我们对合成数据和现实世界数据进行了广泛的经验评估，以验证所提出的方法的有效性，并表明我们的方法在结构锤距离，错误发现率和真实的正速率矩阵方面达到了最佳状态。

由于数据有限和非识别性，观察性和介入数据的因果发现是具有挑战性的：在估计基本结构因果模型（SCM）时引入不确定性的因素。基于这两个因素引起的不确定性选择实验（干预措施）可以加快SCM的识别。来自有限数据的因果发现实验设计中的现有方法要么依赖于SCM的线性假设，要么仅选择干预目标。这项工作将贝叶斯因果发现的最新进展纳入了贝叶斯最佳实验设计框架中，从而使大型非线性SCM的积极因果发现同时选择了介入目标和值。我们证明了对线性和非线性SCM的合成图（ERDOS-R \'enyi，breetr cable）以及在\ emph {intiLico}单细胞基因调节网络数据集的\ emph {inyeare scms的性能。

State-of-the-art causal discovery methods usually assume that the observational data is complete. However, the missing data problem is pervasive in many practical scenarios such as clinical trials, economics, and biology. One straightforward way to address the missing data problem is first to impute the data using off-the-shelf imputation methods and then apply existing causal discovery methods. However, such a two-step method may suffer from suboptimality, as the imputation algorithm may introduce bias for modeling the underlying data distribution. In this paper, we develop a general method, which we call MissDAG, to perform causal discovery from data with incomplete observations. Focusing mainly on the assumptions of ignorable missingness and the identifiable additive noise models (ANMs), MissDAG maximizes the expected likelihood of the visible part of observations under the expectation-maximization (EM) framework. In the E-step, in cases where computing the posterior distributions of parameters in closed-form is not feasible, Monte Carlo EM is leveraged to approximate the likelihood. In the M-step, MissDAG leverages the density transformation to model the noise distributions with simpler and specific formulations by virtue of the ANMs and uses a likelihood-based causal discovery algorithm with directed acyclic graph constraint. We demonstrate the flexibility of MissDAG for incorporating various causal discovery algorithms and its efficacy through extensive simulations and real data experiments.

贝叶斯结构学习允许从数据推断贝叶斯网络结构，同时推理认识性不确定性 - 朝着实现现实世界系统的主动因果发现和设计干预的关键因素。在这项工作中，我们为贝叶斯结构学习（DIBS）提出了一般，完全可微分的框架，其在潜在概率图表表示的连续空间中运行。与现有的工作相反，DIBS对局部条件分布的形式不可知，并且允许图形结构和条件分布参数的关节后部推理。这使得我们的配方直接适用于复杂贝叶斯网络模型的后部推理，例如，具有由神经网络编码的非线性依赖性。使用DIBS，我们设计了一种高效，通用的变分推理方法，用于近似结构模型的分布。在模拟和现实世界数据的评估中，我们的方法显着优于关节后部推理的相关方法。