使用详尽的搜索找到全球最佳的贝叶斯网络是超指定复杂性的问题，它严重限制了它可以使用的变量数量。我们实现了基于动态编程的算法，并具有内置维度降低和父集识别。这大大降低了搜索空间，可以应用于大维数据。我们使用所谓的基于世代订购的搜索对最佳网络的搜索，这是一种新颖的方式，可以有效地搜索可能的网络空间，并在可能的父母集合下进行搜索。该算法支持连续数据和分类数据，以及分类和生存结果。我们证明了算法对合成数据和真实数据的功效。在模拟中，我们的算法的性能优于目前广泛使用的三种最新算法。然后，我们将其应用于具有513个基因和生存结果的卵巢癌基因表达数据集。我们的算法能够找到一个最佳网络，描述了由6个基因组成的疾病途径，该基因在基本计算机上几分钟内导致结果节点。我们基于世代订购的最佳网络搜索是找到最佳贝叶斯网络的高效和高度可扩展的方法，可以应用于1000 s变量。使用特定的参数 - 相关性，FDR截止和内度 - 可以增加或减少网络的节点和密度的数量。提供两个评分期权BIC和BGE的可用性以及生存结果和混合数据类型的实施使我们的算法非常适合许多类型的高维生物医学数据，以找到疾病途径。

贝叶斯网络是概率的图形模型，广泛用于了解高维数据的依赖关系，甚至促进因果发现。学习作为定向的非循环图（DAG）编码的底层网络结构是高度具有挑战性的，主要是由于大量可能的网络与非狭窄性约束结合。努力专注于两个前面：基于约束的方法，该方法执行条件独立测试，以排除具有贪婪或MCMC方案的DAG空间的边缘和分数和搜索方法。在这里，我们以一种新的混合方法综合这两个领域，这降低了基于约束方法的MCMC方法的复杂性。 MCMC方案中的各个步骤仅需要简单的表查找，以便可以有效地获得非常长的链。此外，该方案包括迭代过程，以校正来自条件独立测试的错误。该算法对替代方案提供了显着卓越的性能，特别是因为也可以从后部分布采样DAG，从而实现全面的贝叶斯模型为大量较大的贝叶斯网络进行平均。

贝叶斯网络（BN）的图形结构可以使用众所周知的得分和搜索方法从数据中学习。先前的工作表明，将条件概率分布（CPD）的结构化表示形式纳入得分和搜索方法可以提高学习图的准确性。在本文中，我们提出了一种能够学习BN图的新方法，并同时建模变量之间的线性和非线性局部概率关系。我们通过功能选择的组合来实现这一目标，以减少本地关系的搜索空间，并扩展得分和搜索方法，以将CPD模型纳入变量，作为多元自适应回归条纹（MARS）。火星是代表分段样条函数的多项式回归模型。我们在一组离散和连续的基准实例上显示，我们提出的方法可以提高学习图的准确性，同时扩展大量变量的实例。

We present a new algorithm for Bayesian network structure learning, called Max-Min Hill-Climbing (MMHC). The algorithm combines ideas from local learning, constraint-based, and search-and-score techniques in a principled and effective way. It first reconstructs the skeleton of a Bayesian network and then performs a Bayesian-scoring greedy hill-climbing search to orient the edges. In our extensive empirical evaluation MMHC outperforms on average and in terms of various metrics several prototypical and state-of-the-art algorithms, namely the PC, Sparse Candidate, Three Phase Dependency Analysis, Optimal Reinsertion, Greedy Equivalence Search, and Greedy Search. These are the first empirical results simultaneously comparing most of the major Bayesian network algorithms against each other. MMHC offers certain theoretical advantages, specifically over the Sparse Candidate algorithm, corroborated by our experiments. MMHC and detailed results of our study are publicly available at http://www.dsl-lab.org/supplements/mmhc paper/mmhc index.html.

Using a Bayesian network to analyze the causal relationship between nodes is a hot spot. The existing network learning algorithms are mainly constraint-based and score-based network generation methods. The constraint-based method is mainly the application of conditional independence (CI) tests, but the inaccuracy of CI tests in the case of high dimensionality and small samples has always been a problem for the constraint-based method. The score-based method uses the scoring function and search strategy to find the optimal candidate network structure, but the search space increases too much with the increase of the number of nodes, and the learning efficiency is very low. This paper presents a new hybrid algorithm, MCME (multiple compound memory erasing). This method retains the advantages of the first two methods, solves the shortcomings of the above CI tests, and makes innovations in the scoring function in the direction discrimination stage. A large number of experiments show that MCME has better or similar performance than some existing algorithms.

本文提出了一种新的混合贝叶斯网络学习算法，称为前部滴下山坡爬山（FEDHC），设计为与连续或分类变量一起使用。具体地，对于连续数据的情况，提出了一种对FEDHC的强大的异常值，可以由其他BN学习算法采用。此外，纸张表明，统计软件\ Texit {R}中唯一的MMHC的实现是非常昂贵的，并且提供了新的实现。通过Monte Carlo模拟测试FEDHC，表明它是计算效率的明显，并产生与MMHC和PCHC相似的贝叶斯网络或更高的准确性。最后，使用统计软件\ Textit {R}，对来自经济学领域的FEDHC，PCHC和MMHC算法的应用到实际数据中的应用。

在学习从观察数据中学习贝叶斯网络的图形结构是描述和帮助了解复杂应用程序中的数据生成过程的关键，而任务由于其计算复杂性而构成了相当大的挑战。代表贝叶斯网络模型的定向非循环图（DAG）通常不会从观察数据识别，并且存在各种方法来估计其等价类。在某些假设下，流行的PC算法可以通过测试条件独立（CI）一致地始终恢复正确的等价类，从边际独立关系开始，逐步扩展调节集。这里，我们提出了一种通过利用协方差与精密矩阵之间的反向关系来执行PC算法内的CI测试的新颖方案。值得注意的是，精密矩阵的元素与高斯数据的部分相关性。然后，我们的算法利用对协方差和精密矩阵的块矩阵逆转，同时对互补（或双）调节集的部分相关性进行测试。因此，双PC算法的多个CI测试首先考虑边缘和全阶CI关系并逐步地移动到中心顺序。仿真研究表明，双PC算法在运行时和恢复底层网络结构方面都优于经典PC算法。

In this paper we prove the so-called "Meek Conjecture". In particular, we show that if a DAG H is an independence map of another DAG G, then there exists a finite sequence of edge additions and covered edge reversals in G such that (1) after each edge modification H remains an independence map of G and ( 2) after all modifications G = H. As shown by Meek (1997), this result has an important consequence for Bayesian approaches to learning Bayesian networks from data: in the limit of large sample size, there exists a twophase greedy search algorithm that-when applied to a particular sparsely-connected search space-provably identifies a perfect map of the generative distribution if that perfect map is a DAG. We provide a new implementation of the search space, using equivalence classes as states, for which all operators used in the greedy search can be scored efficiently using local functions of the nodes in the domain. Finally, using both synthetic and real-world datasets, we demonstrate that the two-phase greedy approach leads to good solutions when learning with finite sample sizes.

在贝叶斯网络（BNS）中，边缘方向对于因果推理和推理至关重要。然而，马尔可夫等价类考虑因素意味着它并不总是可以建立边缘方向，这就是许多BN结构学习算法不能从纯粹观察数据定向所有边缘的原因。此外，潜在的混乱会导致假阳性边缘。已经提出了相对较少的方法来解决这些问题。在这项工作中，我们介绍了从涉及观察数据集的离散数据和一个或多个介入数据集的离散数据的结构学习的混合MFGS-BS（Meance规则和快速贪婪等价搜索）算法。该算法假设存在潜在变量的因果不足，并产生部分祖先图形（PAG）。结构学习依赖于混合方法和新的贝叶斯评分范式，用于计算添加到学习图表的每个定向边缘的后验概率。基于众所周知的网络的实验结果高达109个变量和10K样本大小表明，MFGS-BS相对于最先进的结构提高了结构学习准确性，并且它是计算效率的。

学习具有基于刻痕的解决方案的贝叶斯网络（BN）的结构涉及探索可能的图表的搜索空间并朝向最大化给定目标函数的图形移动。一些算法提供了确切的解决方案，可以保证以最高目标分数返回图形，而其他算法则提供近似解决方案以换取降低的计算复杂性。本文介绍了一种近似的BN结构学习算法，我们呼叫平均爬山（MAHC）的模型，相结合了两种与爬山搜索的新策略。该算法通过修剪图的搜索空间来开始，其中修剪策略可以被视为通常应用于组合优化结构学习问题的修剪策略的激进版本。然后，它在爬山搜索过程中执行模型平均值，并移动到相邻图，该曲线图平均为该相邻图和在所有有效的相邻图中最大化目标函数。与跨越不同学习类别的其他算法的比较表明，模型平均的攻击性修剪的组合既有效又有效，特别是在存在数据噪声。

In this review, we discuss approaches for learning causal structure from data, also called causal discovery. In particular, we focus on approaches for learning directed acyclic graphs (DAGs) and various generalizations which allow for some variables to be unobserved in the available data. We devote special attention to two fundamental combinatorial aspects of causal structure learning. First, we discuss the structure of the search space over causal graphs. Second, we discuss the structure of equivalence classes over causal graphs, i.e., sets of graphs which represent what can be learned from observational data alone, and how these equivalence classes can be refined by adding interventional data.

因果发现已成为希望从观察数据中发现因果关系的科学家和从业者的重要工具。尽管大多数先前的因果发现方法都隐含地假设没有专家领域知识可用，但从业者通常可以从先前的经验中提供此类域知识。最近的工作已将域知识纳入基于约束的因果发现中。但是，大多数基于约束的方法都假定因果忠诚，这在实践中经常被违反。因此，人们对基于精确搜索得分的因果发现方法的重新关注，这些方法不假定因果关系，例如基于*基于*的方法。但是，在领域知识的背景下，没有考虑这些方法。在这项工作中，我们专注于有效地将几种类型的领域知识整合到基于*的因果发现中。在此过程中，我们讨论并解释了域知识如何减少图形搜索空间，然后对潜在的计算收益进行分析。我们通过有关合成和真实数据的实验来支持这些发现，表明即使少量领域知识也可以显着加快基于*基于*的因果关系并提高其绩效和实用性。

本地到全球学习方法在贝叶斯网络（BN）结构学习中起着重要作用。现有的本地到全局学习算法首先通过在数据集中学习每个变量的MB（马尔可夫毯子）或PC（家长和儿童）来构建DAG（Markov毯子）或PC（父母和儿童），然后在骨架中定向边缘。然而，现有的MB或PC学习方法通​​常是昂贵的昂贵昂贵，特别是具有大型BN，导致局部到全局学习算法效率低下。为了解决问题，在本文中，我们使用特征选择开发了一个有效的本地到全局学习方法。具体地，我们首先分析众所周知的最小冗余和最大相关性（MRMR）特征选择方法的基本原理，用于学习变量的PC集。基于分析，我们提出了一种高效的F2SL（基于特征选择的结构学习）方法，以局部 - 全局BN结构学习。 F2SL方法首先采用MRMR方法来学习DAG骨架，然后在骨架中的边缘。采用独立测试或进行定向边缘的分数函数，我们将F2SL方法实例化为两个新算法，F2SL-C（使用独立测试）和F2SL-S（使用得分函数）。与最先进的本地到全局BN学习算法相比，实验验证了本文中所提出的算法比比较算法更有效，提供竞争性结构学习质量。

因果推断的一个共同主题是学习观察到的变量（也称为因果发现）之间的因果关系。考虑到大量候选因果图和搜索空间的组合性质，这通常是一项艰巨的任务。也许出于这个原因，到目前为止，大多数研究都集中在相对较小的因果图上，并具有多达数百个节点。但是，诸如生物学之类的领域的最新进展使生成实验数据集，并进行了数千种干预措施，然后进行了数千个变量的丰富分析，从而增加了机会和迫切需要大量因果图模型。在这里，我们介绍了因子定向无环图（F-DAG）的概念，是将搜索空间限制为非线性低级别因果相互作用模型的一种方法。将这种新颖的结构假设与最近的进步相结合，弥合因果发现与连续优化之间的差距，我们在数千个变量上实现了因果发现。此外，作为统计噪声对此估计程序的影响的模型，我们根据随机图研究了F-DAG骨架的边缘扰动模型，并量化了此类扰动对F-DAG等级的影响。该理论分析表明，一组候选F-DAG比整个DAG空间小得多，因此在很难评估基础骨架的高维度中更统计学上的稳定性。我们提出了因子图（DCD-FG）的可区分因果发现，这是对高维介入数据的F-DAG约束因果发现的可扩展实现。 DCD-FG使用高斯非线性低级结构方程模型，并且在模拟中的最新方法以及最新的大型单细胞RNA测序数据集中，与最新方法相比显示出显着改善遗传干预措施。

我们研究了在观察环境中贝叶斯网络的主动结构学习，其中可以从同一样本中观察到可变值数量的外部限制。随机样品是从网络变量的关节分布中得出的，算法迭代选择了在下一个样本中观察的变量。我们为此设置提出了一种新的主​​动学习算法，该算法的概率很高，其得分为$ \ epsilon $ -Close的结构达到了最佳分数。我们表明，对于我们称为稳定的一类分布，可以获得示例复杂性降低到$ \ widetilde {\ omega}（d^3）$，其中$ d $是网络变量的数量，其中$ d $是。我们进一步表明，在最坏的情况下，积极算法的样品复杂性保证与天真基线算法的样本复杂性几乎相同。为了补充理论结果，我们报告了将新活性算法与天真基线的性能进行比较的实验，并证明了样品复杂性的改善。在https://github.com/noabdavid/activebnsl上提供了算法和实验的代码。

重度抑郁症（MDD）需要研究患者的大脑功能连通性改变，可以通过静止状态功能磁共振成像（RS-FMRI）数据发现。我们考虑确定单个MDD患者大脑功能连通性改变的问题。这是特别困难的，因为在fMRI扫描期间收集的数据量过于限制，无法为个人分析提供足够的信息。此外，RS-FMRI数据通常具有不完整，稀疏性，可变性，高维度和高噪声的特征。为了解决这些问题，我们提出了一个多任务高斯贝叶斯网络（MTGBN）框架，该框架能够识别MDD患者的个体疾病诱导的改变。我们假设这种疾病引起的改变显示了与该工具相似的程度，以学习从观察到了解系统如何共同从相关任务结构构造的网络结构。首先，我们将每类观察中的每个患者视为一项任务，然后通过从共享编码先验知识的默认协方差矩阵的所有任务中学习该数据类的高斯贝叶斯网络（GBN）。此设置可以帮助我们从有限的数据中学习更多信息。接下来，我们得出了完整的似然函数的封闭式公式，并使用蒙特卡洛期望 - 最大化（MCEM）算法有效地搜索大约最佳的贝叶斯网络结构。最后，我们通过模拟和现实世界的RS-FMRI数据评估方法的性能。

Bayesian networks are widely used to learn and reason about the dependence structure of discrete variables. However, they are only capable of formally encoding symmetric conditional independence, which in practice is often too strict to hold. Asymmetry-labeled DAGs have been recently proposed to both extend the class of Bayesian networks by relaxing the symmetric assumption of independence and denote the type of dependence existing between the variables of interest. Here, we introduce novel structural learning algorithms for this class of models which, whilst being efficient, allow for a straightforward interpretation of the underlying dependence structure. A comprehensive computational study highlights the efficiency of the algorithms. A real-world data application using data from the Fear of COVID-19 Scale collected in Italy showcases their use in practice.

考虑基于AI和ML的决策对这些新兴技术的安全和可接受的使用的决策的社会和道德后果至关重要。公平，特别是保证ML决定不会导致对个人或少数群体的歧视。使用因果关系，可以更好地实现和衡量可靠的公平/歧视，从而更好地实现了敏感属性（例如性别，种族，宗教等）之间的因果关系，仅仅是仅仅是关联，例如性别，种族，宗教等（例如，雇用工作，贷款授予等） ）。然而，对因果关系解决公平性的最大障碍是因果模型的不可用（通常表示为因果图）。文献中现有的因果关系方法并不能解决此问题，并假设可获得因果模型。在本文中，我们没有做出这样的假设，并且我们回顾了从可观察数据中发现因果关系的主要算法。这项研究的重点是因果发现及其对公平性的影响。特别是，我们展示了不同的因果发现方法如何导致不同的因果模型，最重要的是，即使因果模型之间的轻微差异如何对公平/歧视结论产生重大影响。通过使用合成和标准公平基准数据集的经验分析来巩固这些结果。这项研究的主要目标是强调因果关系使用因果关系适当解决公平性的因果发现步骤的重要性。

Variational autoencoders and Helmholtz machines use a recognition network (encoder) to approximate the posterior distribution of a generative model (decoder). In this paper we study the necessary and sufficient properties of a recognition network so that it can model the true posterior distribution exactly. These results are derived in the general context of probabilistic graphical modelling / Bayesian networks, for which the network represents a set of conditional independence statements. We derive both global conditions, in terms of d-separation, and local conditions for the recognition network to have the desired qualities. It turns out that for the local conditions the property perfectness (for every node, all parents are joined) plays an important role.

因果结构学习是许多领域的关键问题。通过对感兴趣系统进行实验来学习因果结构。我们解决了设计一批实验的主要原因，每个实验中同时干预多个变量。虽然可能比常用的单变干预措施更具信息丰富，但选择这种干预措施是更具挑战性的，这是由于复合干预措施的双指数组合搜索空间。在本文中，我们开发有效的算法，以优化量化预算限制批次实验的信息性的不同目标函数。通过建立这些目标的新型子模具性质，我们为我们的算法提供近似保证。我们的算法经验上优于随机干预和算法，只能选择单变化干预。