本地到全球学习方法在贝叶斯网络（BN）结构学习中起着重要作用。现有的本地到全局学习算法首先通过在数据集中学习每个变量的MB（马尔可夫毯子）或PC（家长和儿童）来构建DAG（Markov毯子）或PC（父母和儿童），然后在骨架中定向边缘。然而，现有的MB或PC学习方法通​​常是昂贵的昂贵昂贵，特别是具有大型BN，导致局部到全局学习算法效率低下。为了解决问题，在本文中，我们使用特征选择开发了一个有效的本地到全局学习方法。具体地，我们首先分析众所周知的最小冗余和最大相关性（MRMR）特征选择方法的基本原理，用于学习变量的PC集。基于分析，我们提出了一种高效的F2SL（基于特征选择的结构学习）方法，以局部 - 全局BN结构学习。 F2SL方法首先采用MRMR方法来学习DAG骨架，然后在骨架中的边缘。采用独立测试或进行定向边缘的分数函数，我们将F2SL方法实例化为两个新算法，F2SL-C（使用独立测试）和F2SL-S（使用得分函数）。与最先进的本地到全局BN学习算法相比，实验验证了本文中所提出的算法比比较算法更有效，提供竞争性结构学习质量。

We present a new algorithm for Bayesian network structure learning, called Max-Min Hill-Climbing (MMHC). The algorithm combines ideas from local learning, constraint-based, and search-and-score techniques in a principled and effective way. It first reconstructs the skeleton of a Bayesian network and then performs a Bayesian-scoring greedy hill-climbing search to orient the edges. In our extensive empirical evaluation MMHC outperforms on average and in terms of various metrics several prototypical and state-of-the-art algorithms, namely the PC, Sparse Candidate, Three Phase Dependency Analysis, Optimal Reinsertion, Greedy Equivalence Search, and Greedy Search. These are the first empirical results simultaneously comparing most of the major Bayesian network algorithms against each other. MMHC offers certain theoretical advantages, specifically over the Sparse Candidate algorithm, corroborated by our experiments. MMHC and detailed results of our study are publicly available at http://www.dsl-lab.org/supplements/mmhc paper/mmhc index.html.

Using a Bayesian network to analyze the causal relationship between nodes is a hot spot. The existing network learning algorithms are mainly constraint-based and score-based network generation methods. The constraint-based method is mainly the application of conditional independence (CI) tests, but the inaccuracy of CI tests in the case of high dimensionality and small samples has always been a problem for the constraint-based method. The score-based method uses the scoring function and search strategy to find the optimal candidate network structure, but the search space increases too much with the increase of the number of nodes, and the learning efficiency is very low. This paper presents a new hybrid algorithm, MCME (multiple compound memory erasing). This method retains the advantages of the first two methods, solves the shortcomings of the above CI tests, and makes innovations in the scoring function in the direction discrimination stage. A large number of experiments show that MCME has better or similar performance than some existing algorithms.

在学习从观察数据中学习贝叶斯网络的图形结构是描述和帮助了解复杂应用程序中的数据生成过程的关键，而任务由于其计算复杂性而构成了相当大的挑战。代表贝叶斯网络模型的定向非循环图（DAG）通常不会从观察数据识别，并且存在各种方法来估计其等价类。在某些假设下，流行的PC算法可以通过测试条件独立（CI）一致地始终恢复正确的等价类，从边际独立关系开始，逐步扩展调节集。这里，我们提出了一种通过利用协方差与精密矩阵之间的反向关系来执行PC算法内的CI测试的新颖方案。值得注意的是，精密矩阵的元素与高斯数据的部分相关性。然后，我们的算法利用对协方差和精密矩阵的块矩阵逆转，同时对互补（或双）调节集的部分相关性进行测试。因此，双PC算法的多个CI测试首先考虑边缘和全阶CI关系并逐步地移动到中心顺序。仿真研究表明，双PC算法在运行时和恢复底层网络结构方面都优于经典PC算法。

我们研究在有关系统的结构侧信息时学习一组变量的贝叶斯网络（BN）的问题。众所周知，学习一般BN的结构在计算上和统计上具有挑战性。然而，通常在许多应用中，关于底层结构的侧面信息可能会降低学习复杂性。在本文中，我们开发了一种基于递归约束的算法，其有效地将这些知识（即侧信息）纳入学习过程。特别地，我们研究了关于底层BN的两种类型的结构侧信息：（i）其集团数的上限是已知的，或者（ii）它是无菱形的。我们为学习算法提供理论保证，包括每个场景所需的最坏情况的测试数量。由于我们的工作，我们表明可以通过多项式复杂性学习有界树木宽度BNS。此外，我们评估了综合性和现实世界结构的算法的性能和可扩展性，并表明它们优于最先进的结构学习算法。

本文提出了一种新的混合贝叶斯网络学习算法，称为前部滴下山坡爬山（FEDHC），设计为与连续或分类变量一起使用。具体地，对于连续数据的情况，提出了一种对FEDHC的强大的异常值，可以由其他BN学习算法采用。此外，纸张表明，统计软件\ Texit {R}中唯一的MMHC的实现是非常昂贵的，并且提供了新的实现。通过Monte Carlo模拟测试FEDHC，表明它是计算效率的明显，并产生与MMHC和PCHC相似的贝叶斯网络或更高的准确性。最后，使用统计软件\ Textit {R}，对来自经济学领域的FEDHC，PCHC和MMHC算法的应用到实际数据中的应用。

贝叶斯网络（BN）的图形结构可以使用众所周知的得分和搜索方法从数据中学习。先前的工作表明，将条件概率分布（CPD）的结构化表示形式纳入得分和搜索方法可以提高学习图的准确性。在本文中，我们提出了一种能够学习BN图的新方法，并同时建模变量之间的线性和非线性局部概率关系。我们通过功能选择的组合来实现这一目标，以减少本地关系的搜索空间，并扩展得分和搜索方法，以将CPD模型纳入变量，作为多元自适应回归条纹（MARS）。火星是代表分段样条函数的多项式回归模型。我们在一组离散和连续的基准实例上显示，我们提出的方法可以提高学习图的准确性，同时扩展大量变量的实例。

贝叶斯网络是概率的图形模型，广泛用于了解高维数据的依赖关系，甚至促进因果发现。学习作为定向的非循环图（DAG）编码的底层网络结构是高度具有挑战性的，主要是由于大量可能的网络与非狭窄性约束结合。努力专注于两个前面：基于约束的方法，该方法执行条件独立测试，以排除具有贪婪或MCMC方案的DAG空间的边缘和分数和搜索方法。在这里，我们以一种新的混合方法综合这两个领域，这降低了基于约束方法的MCMC方法的复杂性。 MCMC方案中的各个步骤仅需要简单的表查找，以便可以有效地获得非常长的链。此外，该方案包括迭代过程，以校正来自条件独立测试的错误。该算法对替代方案提供了显着卓越的性能，特别是因为也可以从后部分布采样DAG，从而实现全面的贝叶斯模型为大量较大的贝叶斯网络进行平均。

因果贝叶斯网络提供了重要的工具，用于在不确定性下进行推理，并可能应用于许多复杂的因果系统。结构学习算法可以告诉我们一些有关这些系统的因果结构的信息，越来越重要。在文献中，这些算法的有效性通常经过对不同样本量，超参数以及偶尔客观函数的敏感性进行测试。在本文中，我们表明，从数据中读取变量的顺序可能比这些因素对算法的准确性产生更大的影响。由于变量排序是任意的，因此它对学习图的准确性的任何重大影响都与之有关，这引发了有关算法对敏感但未对不同可变订单敏感但尚未评估的算法产生的结果的有效性的问题。

本文提出了一种新的因果发现方法，即结构不可知的建模（SAM）。SAM利用条件独立性和分布不对称性，旨在从观察数据中找到潜在的因果结构。该方法基于不同玩家之间的游戏，该游戏将每个变量分布有条件地作为神经网估算，而对手则旨在区分生成的数据与原始数据。结合分布估计，稀疏性和无环限制的学习标准用于通过随机梯度下降来实施图形结构和参数的优化。SAM在合成和真实数据上进行了实验验证。

转移学习中最关键的问题之一是域适应的任务，其中目标是将在一个或多个源域中培训的算法应用于不同（但相关）的目标域。本文在域内存在协变量转变时，涉及域适应。解决此问题的现有因果推断方法的主要限制之一是可扩展性。为了克服这种困难，我们提出了一种避免穷举搜索的算法，并识别基于Markov毯子发现的源和目标域的不变因果特征。 SCTL不需要先前了解因果结构，干预措施的类型或干预目标。有一个与SCTL相关的内在位置，使其实现实际上可扩展且稳健，因为本地因果发现增加了计算独立性测试的力量，并使域适配的任务进行了计算地进行了易行的。我们通过低维和高维设置中的合成和实际数据集显示SCTL的可扩展性和稳健性。

Bayesian networks (BNs) are a widely used graphical model in machine learning for representing knowledge with uncertainty. The mainstream BN structure learning methods require performing a large number of conditional independence (CI) tests. The learning process is very time-consuming, especially for high-dimensional problems, which hinders the adoption of BNs to more applications. Existing works attempt to accelerate the learning process with parallelism, but face issues including load unbalancing, costly atomic operations and dominant parallel overhead. In this paper, we propose a fast solution named Fast-BNS on multi-core CPUs to enhance the efficiency of the BN structure learning. Fast-BNS is powered by a series of efficiency optimizations including (i) designing a dynamic work pool to monitor the processing of edges and to better schedule the workloads among threads, (ii) grouping the CI tests of the edges with the same endpoints to reduce the number of unnecessary CI tests, (iii) using a cache-friendly data storage to improve the memory efficiency, and (iv) generating the conditioning sets on-the-fly to avoid extra memory consumption. A comprehensive experimental study shows that the sequential version of Fast-BNS is up to 50 times faster than its counterpart, and the parallel version of Fast-BNS achieves 4.8 to 24.5 times speedup over the state-of-the-art multi-threaded solution. Moreover, Fast-BNS has a good scalability to the network size as well as sample size. Fast-BNS source code is freely available at https://github.com/jjiantong/FastBN.

在贝叶斯网络（BNS）中，边缘方向对于因果推理和推理至关重要。然而，马尔可夫等价类考虑因素意味着它并不总是可以建立边缘方向，这就是许多BN结构学习算法不能从纯粹观察数据定向所有边缘的原因。此外，潜在的混乱会导致假阳性边缘。已经提出了相对较少的方法来解决这些问题。在这项工作中，我们介绍了从涉及观察数据集的离散数据和一个或多个介入数据集的离散数据的结构学习的混合MFGS-BS（Meance规则和快速贪婪等价搜索）算法。该算法假设存在潜在变量的因果不足，并产生部分祖先图形（PAG）。结构学习依赖于混合方法和新的贝叶斯评分范式，用于计算添加到学习图表的每个定向边缘的后验概率。基于众所周知的网络的实验结果高达109个变量和10K样本大小表明，MFGS-BS相对于最先进的结构提高了结构学习准确性，并且它是计算效率的。

我们分析了在没有特定分布假设的常规设置中从观察数据的学习中学循环图形模型的复杂性。我们的方法是信息定理，并使用本地马尔可夫边界搜索程序，以便在基础图形模型中递归地构建祖先集。也许令人惊讶的是，我们表明，对于某些图形集合，一个简单的前向贪婪搜索算法（即没有向后修剪阶段）足以学习每个节点的马尔可夫边界。这显着提高了我们在节点的数量中显示的样本复杂性。然后应用这一点以在从文献中概括存在现有条件的新型标识性条件下学习整个图。作为独立利益的问题，我们建立了有限样本的保障，以解决从数据中恢复马尔可夫边界的问题。此外，我们将我们的结果应用于特殊情况的Polytrees，其中假设简化，并提供了多项识别的明确条件，并且在多项式时间中可以识别和可知。我们进一步说明了算法在仿真研究中易于实现的算法的性能。我们的方法是普遍的，用于无需分布假设的离散或连续分布，并且由于这种棚灯对有效地学习来自数据的定向图形模型结构所需的最小假设。

考虑基于AI和ML的决策对这些新兴技术的安全和可接受的使用的决策的社会和道德后果至关重要。公平，特别是保证ML决定不会导致对个人或少数群体的歧视。使用因果关系，可以更好地实现和衡量可靠的公平/歧视，从而更好地实现了敏感属性（例如性别，种族，宗教等）之间的因果关系，仅仅是仅仅是关联，例如性别，种族，宗教等（例如，雇用工作，贷款授予等） ）。然而，对因果关系解决公平性的最大障碍是因果模型的不可用（通常表示为因果图）。文献中现有的因果关系方法并不能解决此问题，并假设可获得因果模型。在本文中，我们没有做出这样的假设，并且我们回顾了从可观察数据中发现因果关系的主要算法。这项研究的重点是因果发现及其对公平性的影响。特别是，我们展示了不同的因果发现方法如何导致不同的因果模型，最重要的是，即使因果模型之间的轻微差异如何对公平/歧视结论产生重大影响。通过使用合成和标准公平基准数据集的经验分析来巩固这些结果。这项研究的主要目标是强调因果关系使用因果关系适当解决公平性的因果发现步骤的重要性。

学习具有基于刻痕的解决方案的贝叶斯网络（BN）的结构涉及探索可能的图表的搜索空间并朝向最大化给定目标函数的图形移动。一些算法提供了确切的解决方案，可以保证以最高目标分数返回图形，而其他算法则提供近似解决方案以换取降低的计算复杂性。本文介绍了一种近似的BN结构学习算法，我们呼叫平均爬山（MAHC）的模型，相结合了两种与爬山搜索的新策略。该算法通过修剪图的搜索空间来开始，其中修剪策略可以被视为通常应用于组合优化结构学习问题的修剪策略的激进版本。然后，它在爬山搜索过程中执行模型平均值，并移动到相邻图，该曲线图平均为该相邻图和在所有有效的相邻图中最大化目标函数。与跨越不同学习类别的其他算法的比较表明，模型平均的攻击性修剪的组合既有效又有效，特别是在存在数据噪声。

我们研究了因果结构学习的问题，没有关于功能关系和噪声的假设。我们开发DAG-Foci，这是一种基于\ Cite {Azadkia2019Simple}的焦点变量选择算法的计算快速算法。DAG-Foci不需要调整参数并输出父母和Markov边界的响应变量的响应变量。当底层图形是多料时，我们提供了我们程序的高维保证。此外，我们展示了DAG-Foci在计算生物学\ Cite {Sachs2005Causal}的真实数据上的适用性，并说明了我们对侵犯假设的方法的稳健性。

我们建议在没有观察到的变量的情况下，提出基于订购的方法，用于学习结构方程模型（SEM）的最大祖先图（MAG），直到其Markov等效类（MEC）。文献中的现有基于订购的方法通过学习因果顺序（C-order）恢复图。我们提倡一个名为“可移动顺序”（R-rorder）的新颖订单，因为它们比结构学习的C端口有利。这是因为R-orders是适当定义的优化问题的最小化器，该问题可以准确解决（使用强化学习方法）或大约（使用爬山搜索）。此外，R-orders（与C-orders不同）在MEC中的所有图表中都是不变的，并将C-orders包括为子集。鉴于一组R-orders通常明显大于C-orders集，因此优化问题更容易找到R级而不是C级。我们评估了在现实世界和随机生成的网络上提出的方法的性能和可伸缩性。

发现和参数化的潜在混杂因素分别代表了因果结构学习和密度估计中的重要和具有挑战性的问题。在本文中，我们专注于发现和学习潜在混杂因素的分布。此任务需要来自不同领域和机器学习领域的解决方案。我们结合了各种贝叶斯方法的要素，期望最大化，爬山搜索以及在因果关系不足的假设下学习的元素。我们提出了两种学习策略。一种可以最大化模型选择准确性，另一种可以提高计算效率，以换取精确度的较小降低。前一种策略适用于小型网络，后者适用于中等大小的网络。两种学习策略相对于现有解决方案都表现良好。

In this review, we discuss approaches for learning causal structure from data, also called causal discovery. In particular, we focus on approaches for learning directed acyclic graphs (DAGs) and various generalizations which allow for some variables to be unobserved in the available data. We devote special attention to two fundamental combinatorial aspects of causal structure learning. First, we discuss the structure of the search space over causal graphs. Second, we discuss the structure of equivalence classes over causal graphs, i.e., sets of graphs which represent what can be learned from observational data alone, and how these equivalence classes can be refined by adding interventional data.