In this paper we prove the so-called "Meek Conjecture". In particular, we show that if a DAG H is an independence map of another DAG G, then there exists a finite sequence of edge additions and covered edge reversals in G such that (1) after each edge modification H remains an independence map of G and ( 2) after all modifications G = H. As shown by Meek (1997), this result has an important consequence for Bayesian approaches to learning Bayesian networks from data: in the limit of large sample size, there exists a twophase greedy search algorithm that-when applied to a particular sparsely-connected search space-provably identifies a perfect map of the generative distribution if that perfect map is a DAG. We provide a new implementation of the search space, using equivalence classes as states, for which all operators used in the greedy search can be scored efficiently using local functions of the nodes in the domain. Finally, using both synthetic and real-world datasets, we demonstrate that the two-phase greedy approach leads to good solutions when learning with finite sample sizes.

We present a new algorithm for Bayesian network structure learning, called Max-Min Hill-Climbing (MMHC). The algorithm combines ideas from local learning, constraint-based, and search-and-score techniques in a principled and effective way. It first reconstructs the skeleton of a Bayesian network and then performs a Bayesian-scoring greedy hill-climbing search to orient the edges. In our extensive empirical evaluation MMHC outperforms on average and in terms of various metrics several prototypical and state-of-the-art algorithms, namely the PC, Sparse Candidate, Three Phase Dependency Analysis, Optimal Reinsertion, Greedy Equivalence Search, and Greedy Search. These are the first empirical results simultaneously comparing most of the major Bayesian network algorithms against each other. MMHC offers certain theoretical advantages, specifically over the Sparse Candidate algorithm, corroborated by our experiments. MMHC and detailed results of our study are publicly available at http://www.dsl-lab.org/supplements/mmhc paper/mmhc index.html.

在观察性研究中，经常遇到有关存在或缺乏因果边缘和路径的因果背景知识。由于背景知识而导致的马尔可夫等效dag的子类共享的指向边缘和链接可以由因果关系最大部分定向的无循环图（MPDAG）表示。在本文中，我们首先提供了因果MPDAG的声音和完整的图形表征，并提供了因果MPDAG的最小表示。然后，我们介绍了一种名为Direct Causal子句（DCC）的新颖表示，以统一形式表示所有类型的因果背景知识。使用DCC，我们研究因果背景知识的一致性和等效性，并表明任何因果背景知识集都可以等效地分解为因果MPDAG，以及最小的残留DCC。还提供了多项式时间算法，以检查一致性，等效性并找到分解的MPDAG和残留DCC。最后，有了因果背景知识，我们证明了一个足够且必要的条件来识别因果关系，并且出人意料地发现因果效应的可识别性仅取决于分解的MPDAG。我们还开发了局部IDA型算法，以估计无法识别效应的可能值。模拟表明因果背景知识可以显着提高因果影响的识别性。

我们考虑代表代理模型的问题，该模型使用我们称之为CSTREES的阶段树模型的适当子类对离散数据编码离散数据的原因模型。我们表明，可以通过集合表达CSTREE编码的上下文专用信息。由于并非所有阶段树模型都承认此属性，CSTREES是一个子类，可提供特定于上下文的因果信息的透明，直观和紧凑的表示。我们证明了CSTREEES承认全球性马尔可夫属性，它产生了模型等价的图形标准，概括了Verma和珍珠的DAG模型。这些结果延伸到一般介入模型设置，使CSTREES第一族的上下文专用模型允许介入模型等价的特征。我们还为CSTREE的最大似然估计器提供了一种封闭式公式，并使用它来表示贝叶斯信息标准是该模型类的本地一致的分数函数。在模拟和实际数据上分析了CSTHEELE的性能，在那里我们看到与CSTREELE而不是一般上演树的建模不会导致预测精度的显着损失，同时提供了特定于上下文的因果信息的DAG表示。

常用图是表示和可视化因果关系的。对于少量变量，这种方法提供了简洁和清晰的方案的视图。随着下属的变量数量增加，图形方法可能变得不切实际，并且表示的清晰度丢失。变量的聚类是减少因果图大小的自然方式，但如果任意实施，可能会错误地改变因果关系的基本属性。我们定义了一种特定类型的群集，称为Transit Cluster，保证在某些条件下保留因果效应的可识别性属性。我们提供了一种用于在给定图中查找所有传输群集的声音和完整的算法，并演示集群如何简化因果效应的识别。我们还研究了逆问题，其中一个人以群集的图形开始，寻找扩展图，其中因果效应的可识别性属性保持不变。我们表明这种结构稳健性与过境集群密切相关。

In this review, we discuss approaches for learning causal structure from data, also called causal discovery. In particular, we focus on approaches for learning directed acyclic graphs (DAGs) and various generalizations which allow for some variables to be unobserved in the available data. We devote special attention to two fundamental combinatorial aspects of causal structure learning. First, we discuss the structure of the search space over causal graphs. Second, we discuss the structure of equivalence classes over causal graphs, i.e., sets of graphs which represent what can be learned from observational data alone, and how these equivalence classes can be refined by adding interventional data.

We consider the problem of recovering the causal structure underlying observations from different experimental conditions when the targets of the interventions in each experiment are unknown. We assume a linear structural causal model with additive Gaussian noise and consider interventions that perturb their targets while maintaining the causal relationships in the system. Different models may entail the same distributions, offering competing causal explanations for the given observations. We fully characterize this equivalence class and offer identifiability results, which we use to derive a greedy algorithm called GnIES to recover the equivalence class of the data-generating model without knowledge of the intervention targets. In addition, we develop a novel procedure to generate semi-synthetic data sets with known causal ground truth but distributions closely resembling those of a real data set of choice. We leverage this procedure and evaluate the performance of GnIES on synthetic, real, and semi-synthetic data sets. Despite the strong Gaussian distributional assumption, GnIES is robust to an array of model violations and competitive in recovering the causal structure in small- to large-sample settings. We provide, in the Python packages "gnies" and "sempler", implementations of GnIES and our semi-synthetic data generation procedure.

我们考虑将贝叶斯网络表征到无条件等效的问题，即，当定向无环形图（DAGS）具有相同的无条件$ d $分离式语句。每个无条件的等效类（UEC）均以一个无方向的图形为唯一表示，其集团结构编码了类的成员。通过这种结构，我们提供了无条件对等的变革性表征。也就是说，我们证明当一个DAG在同一UEC中，并且仅当一个可以通过有限的指定移动序列转换为另一个DAG。我们还将此特征扩展到代表UEC中Markov等效类（MEC）的基本图。UEC分配了MEC的空间，并且可以从边际独立性测试中估算。因此，无条件等价的表征在涉及搜索贝叶斯网络空间的方法中应用。

我们分析了在没有特定分布假设的常规设置中从观察数据的学习中学循环图形模型的复杂性。我们的方法是信息定理，并使用本地马尔可夫边界搜索程序，以便在基础图形模型中递归地构建祖先集。也许令人惊讶的是，我们表明，对于某些图形集合，一个简单的前向贪婪搜索算法（即没有向后修剪阶段）足以学习每个节点的马尔可夫边界。这显着提高了我们在节点的数量中显示的样本复杂性。然后应用这一点以在从文献中概括存在现有条件的新型标识性条件下学习整个图。作为独立利益的问题，我们建立了有限样本的保障，以解决从数据中恢复马尔可夫边界的问题。此外，我们将我们的结果应用于特殊情况的Polytrees，其中假设简化，并提供了多项识别的明确条件，并且在多项式时间中可以识别和可知。我们进一步说明了算法在仿真研究中易于实现的算法的性能。我们的方法是普遍的，用于无需分布假设的离散或连续分布，并且由于这种棚灯对有效地学习来自数据的定向图形模型结构所需的最小假设。

贝叶斯网络是概率的图形模型，广泛用于了解高维数据的依赖关系，甚至促进因果发现。学习作为定向的非循环图（DAG）编码的底层网络结构是高度具有挑战性的，主要是由于大量可能的网络与非狭窄性约束结合。努力专注于两个前面：基于约束的方法，该方法执行条件独立测试，以排除具有贪婪或MCMC方案的DAG空间的边缘和分数和搜索方法。在这里，我们以一种新的混合方法综合这两个领域，这降低了基于约束方法的MCMC方法的复杂性。 MCMC方案中的各个步骤仅需要简单的表查找，以便可以有效地获得非常长的链。此外，该方案包括迭代过程，以校正来自条件独立测试的错误。该算法对替代方案提供了显着卓越的性能，特别是因为也可以从后部分布采样DAG，从而实现全面的贝叶斯模型为大量较大的贝叶斯网络进行平均。

人们对利用置换推理来搜索定向的无环因果模型的方法越来越兴趣，包括Teysier和Kohler和Solus，Wang和Uhler的GSP的“订购搜索”。我们通过基于置换的操作Tuck扩展了后者的方法，并开发了一类算法，即掌握，这些算法在越来越弱的假设下比忠诚度更有效且方向保持一致。最放松的掌握形式优于模拟中许多最新的因果搜索算法，即使对于具有超过100个变量的密集图和图形，也可以有效，准确地搜索。

贝叶斯网络是一种图形模型，用于编码感兴趣的变量之间的概率关系。当与统计技术结合使用时，图形模型对数据分析具有几个优点。一个，因为模型对所有变量中的依赖性进行编码，因此它易于处理缺少某些数据条目的情况。二，贝叶斯网络可以用于学习因果关系，因此可以用来获得关于问题域的理解并预测干预的后果。三，因为该模型具有因果和概率语义，因此是结合先前知识（通常出现因果形式）和数据的理想表示。四，贝叶斯网络与贝叶斯网络的统计方法提供了一种有效和原则的方法，可以避免数据过剩。在本文中，我们讨论了从先前知识构建贝叶斯网络的方法，总结了使用数据来改善这些模型的贝叶斯统计方法。关于后一项任务，我们描述了学习贝叶斯网络的参数和结构的方法，包括使用不完整数据学习的技术。此外，我们还联系了贝叶斯网络方法，以学习监督和无监督学习的技术。我们说明了使用真实案例研究的图形建模方法。

因果图发现和因果效应估计是因果推断的两个基本任务。尽管已经为每个任务开发了许多方法，但共同应用这些方法时会出现统计挑战：在同一数据上运行因果发现算法后，估算因果关系效应，导致“双重浸入”，使经典置信区间的覆盖范围无效。为此，我们开发了有效的可获得后发现推断的工具。一个关键的贡献是贪婪等效搜索（GES）算法的随机版本，该算法允许对经典置信区间进行有效的有限样本校正。在经验研究中，我们表明，因果发现和随后的推断算法的幼稚组合通常会导致高度膨胀的误导率。同时，我们的嘈杂的GES方法提供了可靠的覆盖范围控制，同时获得比数据拆分更准确的因果图恢复。

Variational autoencoders and Helmholtz machines use a recognition network (encoder) to approximate the posterior distribution of a generative model (decoder). In this paper we study the necessary and sufficient properties of a recognition network so that it can model the true posterior distribution exactly. These results are derived in the general context of probabilistic graphical modelling / Bayesian networks, for which the network represents a set of conditional independence statements. We derive both global conditions, in terms of d-separation, and local conditions for the recognition network to have the desired qualities. It turns out that for the local conditions the property perfectness (for every node, all parents are joined) plays an important role.

我们研究了在观察环境中贝叶斯网络的主动结构学习，其中可以从同一样本中观察到可变值数量的外部限制。随机样品是从网络变量的关节分布中得出的，算法迭代选择了在下一个样本中观察的变量。我们为此设置提出了一种新的主​​动学习算法，该算法的概率很高，其得分为$ \ epsilon $ -Close的结构达到了最佳分数。我们表明，对于我们称为稳定的一类分布，可以获得示例复杂性降低到$ \ widetilde {\ omega}（d^3）$，其中$ d $是网络变量的数量，其中$ d $是。我们进一步表明，在最坏的情况下，积极算法的样品复杂性保证与天真基线算法的样本复杂性几乎相同。为了补充理论结果，我们报告了将新活性算法与天真基线的性能进行比较的实验，并证明了样品复杂性的改善。在https://github.com/noabdavid/activebnsl上提供了算法和实验的代码。

在非参数环境中，因果结构通常仅在马尔可夫等效性上可识别，并且出于因果推断的目的，学习马尔可夫等效类（MEC）的图形表示很有用。在本文中，我们重新审视了贪婪的等效搜索（GES）算法，该算法被广泛引用为一种基于分数的算法，用于学习基本因果结构的MEC。我们观察到，为了使GES算法在非参数设置中保持一致，不必设计评估图的评分度量。取而代之的是，足以插入有条件依赖度量的一致估计器来指导搜索。因此，我们提出了GES算法的重塑，该算法比基于标准分数的版本更灵活，并且很容易将自己带到非参数设置，并具有条件依赖性的一般度量。此外，我们提出了一种神经条件依赖性（NCD）度量，该措施利用深神经网络的表达能力以非参数方式表征条件独立性。我们根据标准假设建立了重新构架GES算法的最佳性，并使用我们的NCD估计器来决定条件独立性的一致性。这些结果共同证明了拟议的方法。实验结果证明了我们方法在因果发现中的有效性，以及使用我们的NCD度量而不是基于内核的措施的优势。

我们研究了在存在潜在变量存在下从数据重建因果图形模型的问题。感兴趣的主要问题是在潜在变量上恢复因果结构，同时允许一般，可能在变量之间的非线性依赖性。在许多实际问题中，原始观测之间的依赖性（例如，图像中的像素）的依赖性比某些高级潜在特征（例如概念或对象）之间的依赖性要小得多，这是感兴趣的设置。我们提供潜在表示和潜在潜在因果模型的条件可通过减少到混合甲骨文来识别。这些结果突出了学习混合模型的顺序的良好研究问题与观察到和解开的基础结构的问题之间的富裕问题之间的有趣连接。证明是建设性的，并导致几种算法用于明确重建全图形模型。我们讨论高效算法并提供说明实践中算法的实验。

我们研究在有关系统的结构侧信息时学习一组变量的贝叶斯网络（BN）的问题。众所周知，学习一般BN的结构在计算上和统计上具有挑战性。然而，通常在许多应用中，关于底层结构的侧面信息可能会降低学习复杂性。在本文中，我们开发了一种基于递归约束的算法，其有效地将这些知识（即侧信息）纳入学习过程。特别地，我们研究了关于底层BN的两种类型的结构侧信息：（i）其集团数的上限是已知的，或者（ii）它是无菱形的。我们为学习算法提供理论保证，包括每个场景所需的最坏情况的测试数量。由于我们的工作，我们表明可以通过多项式复杂性学习有界树木宽度BNS。此外，我们评估了综合性和现实世界结构的算法的性能和可扩展性，并表明它们优于最先进的结构学习算法。

也称为（非参数）结构方程模型（SEMS）的结构因果模型（SCM）被广泛用于因果建模目的。特别是，也称为递归SEM的无循环SCMS，形成了一个研究的SCM的良好的子类，概括了因果贝叶斯网络来允许潜在混淆。在本文中，我们调查了更多普通环境中的SCM，允许存在潜在混杂器和周期。我们展示在存在周期中，无循环SCM的许多方便的性质通常不会持有：它们并不总是有解决方案;它们并不总是诱导独特的观察，介入和反事实分布;边缘化并不总是存在，如果存在边缘模型并不总是尊重潜在的投影;他们并不总是满足马尔可夫财产;他们的图表并不总是与他们的因果语义一致。我们证明，对于SCM一般，这些属性中的每一个都在某些可加工条件下保持。我们的工作概括了SCM的结果，迄今为止仅针对某些特殊情况所知的周期。我们介绍了将循环循环设置扩展到循环设置的简单SCM的类，同时保留了许多方便的无环SCM的性能。用本文，我们的目标是为SCM提供统计因果建模的一般理论的基础。

我们研究了因果结构学习的问题，没有关于功能关系和噪声的假设。我们开发DAG-Foci，这是一种基于\ Cite {Azadkia2019Simple}的焦点变量选择算法的计算快速算法。DAG-Foci不需要调整参数并输出父母和Markov边界的响应变量的响应变量。当底层图形是多料时，我们提供了我们程序的高维保证。此外，我们展示了DAG-Foci在计算生物学\ Cite {Sachs2005Causal}的真实数据上的适用性，并说明了我们对侵犯假设的方法的稳健性。