在贝叶斯网络（BNS）中，边缘方向对于因果推理和推理至关重要。然而，马尔可夫等价类考虑因素意味着它并不总是可以建立边缘方向，这就是许多BN结构学习算法不能从纯粹观察数据定向所有边缘的原因。此外，潜在的混乱会导致假阳性边缘。已经提出了相对较少的方法来解决这些问题。在这项工作中，我们介绍了从涉及观察数据集的离散数据和一个或多个介入数据集的离散数据的结构学习的混合MFGS-BS（Meance规则和快速贪婪等价搜索）算法。该算法假设存在潜在变量的因果不足，并产生部分祖先图形（PAG）。结构学习依赖于混合方法和新的贝叶斯评分范式，用于计算添加到学习图表的每个定向边缘的后验概率。基于众所周知的网络的实验结果高达109个变量和10K样本大小表明，MFGS-BS相对于最先进的结构提高了结构学习准确性，并且它是计算效率的。

学习具有基于刻痕的解决方案的贝叶斯网络（BN）的结构涉及探索可能的图表的搜索空间并朝向最大化给定目标函数的图形移动。一些算法提供了确切的解决方案，可以保证以最高目标分数返回图形，而其他算法则提供近似解决方案以换取降低的计算复杂性。本文介绍了一种近似的BN结构学习算法，我们呼叫平均爬山（MAHC）的模型，相结合了两种与爬山搜索的新策略。该算法通过修剪图的搜索空间来开始，其中修剪策略可以被视为通常应用于组合优化结构学习问题的修剪策略的激进版本。然后，它在爬山搜索过程中执行模型平均值，并移动到相邻图，该曲线图平均为该相邻图和在所有有效的相邻图中最大化目标函数。与跨越不同学习类别的其他算法的比较表明，模型平均的攻击性修剪的组合既有效又有效，特别是在存在数据噪声。

发现和参数化的潜在混杂因素分别代表了因果结构学习和密度估计中的重要和具有挑战性的问题。在本文中，我们专注于发现和学习潜在混杂因素的分布。此任务需要来自不同领域和机器学习领域的解决方案。我们结合了各种贝叶斯方法的要素，期望最大化，爬山搜索以及在因果关系不足的假设下学习的元素。我们提出了两种学习策略。一种可以最大化模型选择准确性，另一种可以提高计算效率，以换取精确度的较小降低。前一种策略适用于小型网络，后者适用于中等大小的网络。两种学习策略相对于现有解决方案都表现良好。

因果贝叶斯网络提供了重要的工具，用于在不确定性下进行推理，并可能应用于许多复杂的因果系统。结构学习算法可以告诉我们一些有关这些系统的因果结构的信息，越来越重要。在文献中，这些算法的有效性通常经过对不同样本量，超参数以及偶尔客观函数的敏感性进行测试。在本文中，我们表明，从数据中读取变量的顺序可能比这些因素对算法的准确性产生更大的影响。由于变量排序是任意的，因此它对学习图的准确性的任何重大影响都与之有关，这引发了有关算法对敏感但未对不同可变订单敏感但尚未评估的算法产生的结果的有效性的问题。

In this review, we discuss approaches for learning causal structure from data, also called causal discovery. In particular, we focus on approaches for learning directed acyclic graphs (DAGs) and various generalizations which allow for some variables to be unobserved in the available data. We devote special attention to two fundamental combinatorial aspects of causal structure learning. First, we discuss the structure of the search space over causal graphs. Second, we discuss the structure of equivalence classes over causal graphs, i.e., sets of graphs which represent what can be learned from observational data alone, and how these equivalence classes can be refined by adding interventional data.

贝叶斯网络是概率的图形模型，广泛用于了解高维数据的依赖关系，甚至促进因果发现。学习作为定向的非循环图（DAG）编码的底层网络结构是高度具有挑战性的，主要是由于大量可能的网络与非狭窄性约束结合。努力专注于两个前面：基于约束的方法，该方法执行条件独立测试，以排除具有贪婪或MCMC方案的DAG空间的边缘和分数和搜索方法。在这里，我们以一种新的混合方法综合这两个领域，这降低了基于约束方法的MCMC方法的复杂性。 MCMC方案中的各个步骤仅需要简单的表查找，以便可以有效地获得非常长的链。此外，该方案包括迭代过程，以校正来自条件独立测试的错误。该算法对替代方案提供了显着卓越的性能，特别是因为也可以从后部分布采样DAG，从而实现全面的贝叶斯模型为大量较大的贝叶斯网络进行平均。

We present a new algorithm for Bayesian network structure learning, called Max-Min Hill-Climbing (MMHC). The algorithm combines ideas from local learning, constraint-based, and search-and-score techniques in a principled and effective way. It first reconstructs the skeleton of a Bayesian network and then performs a Bayesian-scoring greedy hill-climbing search to orient the edges. In our extensive empirical evaluation MMHC outperforms on average and in terms of various metrics several prototypical and state-of-the-art algorithms, namely the PC, Sparse Candidate, Three Phase Dependency Analysis, Optimal Reinsertion, Greedy Equivalence Search, and Greedy Search. These are the first empirical results simultaneously comparing most of the major Bayesian network algorithms against each other. MMHC offers certain theoretical advantages, specifically over the Sparse Candidate algorithm, corroborated by our experiments. MMHC and detailed results of our study are publicly available at http://www.dsl-lab.org/supplements/mmhc paper/mmhc index.html.

在学习从观察数据中学习贝叶斯网络的图形结构是描述和帮助了解复杂应用程序中的数据生成过程的关键，而任务由于其计算复杂性而构成了相当大的挑战。代表贝叶斯网络模型的定向非循环图（DAG）通常不会从观察数据识别，并且存在各种方法来估计其等价类。在某些假设下，流行的PC算法可以通过测试条件独立（CI）一致地始终恢复正确的等价类，从边际独立关系开始，逐步扩展调节集。这里，我们提出了一种通过利用协方差与精密矩阵之间的反向关系来执行PC算法内的CI测试的新颖方案。值得注意的是，精密矩阵的元素与高斯数据的部分相关性。然后，我们的算法利用对协方差和精密矩阵的块矩阵逆转，同时对互补（或双）调节集的部分相关性进行测试。因此，双PC算法的多个CI测试首先考虑边缘和全阶CI关系并逐步地移动到中心顺序。仿真研究表明，双PC算法在运行时和恢复底层网络结构方面都优于经典PC算法。

考虑基于AI和ML的决策对这些新兴技术的安全和可接受的使用的决策的社会和道德后果至关重要。公平，特别是保证ML决定不会导致对个人或少数群体的歧视。使用因果关系，可以更好地实现和衡量可靠的公平/歧视，从而更好地实现了敏感属性（例如性别，种族，宗教等）之间的因果关系，仅仅是仅仅是关联，例如性别，种族，宗教等（例如，雇用工作，贷款授予等） ）。然而，对因果关系解决公平性的最大障碍是因果模型的不可用（通常表示为因果图）。文献中现有的因果关系方法并不能解决此问题，并假设可获得因果模型。在本文中，我们没有做出这样的假设，并且我们回顾了从可观察数据中发现因果关系的主要算法。这项研究的重点是因果发现及其对公平性的影响。特别是，我们展示了不同的因果发现方法如何导致不同的因果模型，最重要的是，即使因果模型之间的轻微差异如何对公平/歧视结论产生重大影响。通过使用合成和标准公平基准数据集的经验分析来巩固这些结果。这项研究的主要目标是强调因果关系使用因果关系适当解决公平性的因果发现步骤的重要性。

Using a Bayesian network to analyze the causal relationship between nodes is a hot spot. The existing network learning algorithms are mainly constraint-based and score-based network generation methods. The constraint-based method is mainly the application of conditional independence (CI) tests, but the inaccuracy of CI tests in the case of high dimensionality and small samples has always been a problem for the constraint-based method. The score-based method uses the scoring function and search strategy to find the optimal candidate network structure, but the search space increases too much with the increase of the number of nodes, and the learning efficiency is very low. This paper presents a new hybrid algorithm, MCME (multiple compound memory erasing). This method retains the advantages of the first two methods, solves the shortcomings of the above CI tests, and makes innovations in the scoring function in the direction discrimination stage. A large number of experiments show that MCME has better or similar performance than some existing algorithms.

In this paper we prove the so-called "Meek Conjecture". In particular, we show that if a DAG H is an independence map of another DAG G, then there exists a finite sequence of edge additions and covered edge reversals in G such that (1) after each edge modification H remains an independence map of G and ( 2) after all modifications G = H. As shown by Meek (1997), this result has an important consequence for Bayesian approaches to learning Bayesian networks from data: in the limit of large sample size, there exists a twophase greedy search algorithm that-when applied to a particular sparsely-connected search space-provably identifies a perfect map of the generative distribution if that perfect map is a DAG. We provide a new implementation of the search space, using equivalence classes as states, for which all operators used in the greedy search can be scored efficiently using local functions of the nodes in the domain. Finally, using both synthetic and real-world datasets, we demonstrate that the two-phase greedy approach leads to good solutions when learning with finite sample sizes.

贝叶斯网络是一种图形模型，用于编码感兴趣的变量之间的概率关系。当与统计技术结合使用时，图形模型对数据分析具有几个优点。一个，因为模型对所有变量中的依赖性进行编码，因此它易于处理缺少某些数据条目的情况。二，贝叶斯网络可以用于学习因果关系，因此可以用来获得关于问题域的理解并预测干预的后果。三，因为该模型具有因果和概率语义，因此是结合先前知识（通常出现因果形式）和数据的理想表示。四，贝叶斯网络与贝叶斯网络的统计方法提供了一种有效和原则的方法，可以避免数据过剩。在本文中，我们讨论了从先前知识构建贝叶斯网络的方法，总结了使用数据来改善这些模型的贝叶斯统计方法。关于后一项任务，我们描述了学习贝叶斯网络的参数和结构的方法，包括使用不完整数据学习的技术。此外，我们还联系了贝叶斯网络方法，以学习监督和无监督学习的技术。我们说明了使用真实案例研究的图形建模方法。

We explore how observational and interventional causal discovery methods can be combined. A state-of-the-art observational causal discovery algorithm for time series capable of handling latent confounders and contemporaneous effects, called LPCMCI, is extended to profit from casual constraints found through randomized control trials. Numerical results show that, given perfect interventional constraints, the reconstructed structural causal models (SCMs) of the extended LPCMCI allow 84.6% of the time for the optimal prediction of the target variable. The implementation of interventional and observational causal discovery is modular, allowing causal constraints from other sources. The second part of this thesis investigates the question of regret minimizing control by simultaneously learning a causal model and planning actions through the causal model. The idea is that an agent to optimize a measured variable first learns the system's mechanics through observational causal discovery. The agent then intervenes on the most promising variable with randomized values allowing for the exploitation and generation of new interventional data. The agent then uses the interventional data to enhance the causal model further, allowing improved actions the next time. The extended LPCMCI can be favorable compared to the original LPCMCI algorithm. The numerical results show that detecting and using interventional constraints leads to reconstructed SCMs that allow 60.9% of the time for the optimal prediction of the target variable in contrast to the baseline of 53.6% when using the original LPCMCI algorithm. Furthermore, the induced average regret decreases from 1.2 when using the original LPCMCI algorithm to 1.0 when using the extended LPCMCI algorithm with interventional discovery.

本文提出了一种新的混合贝叶斯网络学习算法，称为前部滴下山坡爬山（FEDHC），设计为与连续或分类变量一起使用。具体地，对于连续数据的情况，提出了一种对FEDHC的强大的异常值，可以由其他BN学习算法采用。此外，纸张表明，统计软件\ Texit {R}中唯一的MMHC的实现是非常昂贵的，并且提供了新的实现。通过Monte Carlo模拟测试FEDHC，表明它是计算效率的明显，并产生与MMHC和PCHC相似的贝叶斯网络或更高的准确性。最后，使用统计软件\ Textit {R}，对来自经济学领域的FEDHC，PCHC和MMHC算法的应用到实际数据中的应用。

重建我们观察到的现象背后的因果关系是科学所有领域的基本挑战。在复杂的系统中，通过实验发现因果关系通常是不可行的，不道德的或昂贵的。但是，计算能力的增加使我们能够处理现代科学生成的不断增长的数据，从而从观察数据中引起对因果发现问题的新兴兴趣。这项工作评估了LPCMCI算法，该算法旨在找到与多维，高度相关的时间序列兼容的生成器，而某些变量则未观察到。我们发现LPCMCI的性能要比模仿什么都不了解的随机算法要好得多，但距离最佳检测仍然很远。此外，LPCMCI在自动依赖性，然后是同时的依赖性方面表现最佳，并且在滞后依赖性方面最挣扎。该项目的源代码可在线获得。

本地到全球学习方法在贝叶斯网络（BN）结构学习中起着重要作用。现有的本地到全局学习算法首先通过在数据集中学习每个变量的MB（马尔可夫毯子）或PC（家长和儿童）来构建DAG（Markov毯子）或PC（父母和儿童），然后在骨架中定向边缘。然而，现有的MB或PC学习方法通​​常是昂贵的昂贵昂贵，特别是具有大型BN，导致局部到全局学习算法效率低下。为了解决问题，在本文中，我们使用特征选择开发了一个有效的本地到全局学习方法。具体地，我们首先分析众所周知的最小冗余和最大相关性（MRMR）特征选择方法的基本原理，用于学习变量的PC集。基于分析，我们提出了一种高效的F2SL（基于特征选择的结构学习）方法，以局部 - 全局BN结构学习。 F2SL方法首先采用MRMR方法来学习DAG骨架，然后在骨架中的边缘。采用独立测试或进行定向边缘的分数函数，我们将F2SL方法实例化为两个新算法，F2SL-C（使用独立测试）和F2SL-S（使用得分函数）。与最先进的本地到全局BN学习算法相比，实验验证了本文中所提出的算法比比较算法更有效，提供竞争性结构学习质量。

在科学研究和现实世界应用的许多领域中，非实验数据的因果效应的无偏估计对于理解数据的基础机制以及对有效响应或干预措施的决策至关重要。从不同角度对这个具有挑战性的问题进行了大量研究。对于数据中的因果效应估计，始终做出诸如马尔可夫财产，忠诚和因果关系之类的假设。在假设下，仍然需要一组协变量或基本因果图之类的全部知识。一个实用的挑战是，在许多应用程序中，没有这样的全部知识或只有某些部分知识。近年来，研究已经出现了基于图形因果模型的搜索策略，以从数据中发现有用的知识，以进行因果效应估计，并具有一些温和的假设，并在应对实际挑战方面表现出了诺言。在这项调查中，我们回顾了方法，并关注数据驱动方法所面临的挑战。我们讨论数据驱动方法的假设，优势和局限性。我们希望这篇综述将激励更多的研究人员根据图形因果建模设计更好的数据驱动方法，以解决因果效应估计的具有挑战性的问题。

We consider the problem of recovering the causal structure underlying observations from different experimental conditions when the targets of the interventions in each experiment are unknown. We assume a linear structural causal model with additive Gaussian noise and consider interventions that perturb their targets while maintaining the causal relationships in the system. Different models may entail the same distributions, offering competing causal explanations for the given observations. We fully characterize this equivalence class and offer identifiability results, which we use to derive a greedy algorithm called GnIES to recover the equivalence class of the data-generating model without knowledge of the intervention targets. In addition, we develop a novel procedure to generate semi-synthetic data sets with known causal ground truth but distributions closely resembling those of a real data set of choice. We leverage this procedure and evaluate the performance of GnIES on synthetic, real, and semi-synthetic data sets. Despite the strong Gaussian distributional assumption, GnIES is robust to an array of model violations and competitive in recovering the causal structure in small- to large-sample settings. We provide, in the Python packages "gnies" and "sempler", implementations of GnIES and our semi-synthetic data generation procedure.

本文考虑了从观察和介入数据估算因果导向的非循环图中未知干预目标的问题。重点是线性结构方程模型（SEM）中的软干预。目前对因果结构的方法学习使用已知的干预目标或使用假设测试来发现即使是线性SEM也可以发现未知的干预目标。这严重限制了它们的可扩展性和样本复杂性。本文提出了一种可扩展和高效的算法，始终识别所有干预目标。关键思想是从与观察和介入数据集相关联的精度矩阵之间的差异来估计干预站点。它涉及反复估计不同亚空间子集中的这些站点。该算法的算法还可用于将给定的观察马尔可夫等效类更新为介入马尔可夫等价类。在分析地建立一致性，马尔可夫等效和采样复杂性。最后，实际和合成数据的仿真结果展示了所提出的可扩展因果结构恢复方法的增益。算法的实现和重现仿真结果的代码可用于\ url {https://github.com/bvarici/intervention- istimation}。

贝叶斯结构学习允许从数据推断贝叶斯网络结构，同时推理认识性不确定性 - 朝着实现现实世界系统的主动因果发现和设计干预的关键因素。在这项工作中，我们为贝叶斯结构学习（DIBS）提出了一般，完全可微分的框架，其在潜在概率图表表示的连续空间中运行。与现有的工作相反，DIBS对局部条件分布的形式不可知，并且允许图形结构和条件分布参数的关节后部推理。这使得我们的配方直接适用于复杂贝叶斯网络模型的后部推理，例如，具有由神经网络编码的非线性依赖性。使用DIBS，我们设计了一种高效，通用的变分推理方法，用于近似结构模型的分布。在模拟和现实世界数据的评估中，我们的方法显着优于关节后部推理的相关方法。