结构方程模型（SEM）是一种有效的框架，其原因是通过定向非循环图（DAG）表示的因果关系。最近的进步使得能够从观察数据中实现了DAG的最大似然点估计。然而，在实际场景中，可以不能准确地捕获在推断下面的底层图中的不确定性，其中真正的DAG是不可识别的并且/或观察到的数据集是有限的。我们提出了贝叶斯因果发现网（BCD网），一个变分推理框架，用于估算表征线性高斯SEM的DAG的分布。由于图形的离散和组合性质，开发一个完整的贝叶斯后面是挑战。我们通过表达变分别家庭分析可扩展VI的可扩展VI的关键设计选择，例如1）表达性变分别家庭，2）连续弛豫，使低方差随机优化和3）在潜在变量上具有合适的前置。我们提供了一系列关于实际和合成数据的实验，显示BCD网在低数据制度中的标准因果发现度量上的最大似然方法，例如结构汉明距离。

因果推断对于跨业务参与，医疗和政策制定等领域的数据驱动决策至关重要。然而，关于因果发现的研究已经与推理方法分开发展，从而阻止了两个领域方法的直接组合。在这项工作中，我们开发了深层端到端因果推理（DECI），这是一种基于流动的非线性添加噪声模型，该模型具有观察数据，并且可以执行因果发现和推理，包括有条件的平均治疗效果（CATE） ）估计。我们提供了理论上的保证，即DECI可以根据标准因果发现假设恢复地面真实因果图。受应用影响的激励，我们将该模型扩展到具有缺失值的异质，混合型数据，从而允许连续和离散的治疗决策。我们的结果表明，与因果发现的相关基线相比，DECI的竞争性能和（c）在合成数据集和因果机器学习基准测试基准的一千多个实验中，跨数据类型和缺失水平进行了估计。

Bayesian causal structure learning aims to learn a posterior distribution over directed acyclic graphs (DAGs), and the mechanisms that define the relationship between parent and child variables. By taking a Bayesian approach, it is possible to reason about the uncertainty of the causal model. The notion of modelling the uncertainty over models is particularly crucial for causal structure learning since the model could be unidentifiable when given only a finite amount of observational data. In this paper, we introduce a novel method to jointly learn the structure and mechanisms of the causal model using Variational Bayes, which we call Variational Bayes-DAG-GFlowNet (VBG). We extend the method of Bayesian causal structure learning using GFlowNets to learn not only the posterior distribution over the structure, but also the parameters of a linear-Gaussian model. Our results on simulated data suggest that VBG is competitive against several baselines in modelling the posterior over DAGs and mechanisms, while offering several advantages over existing methods, including the guarantee to sample acyclic graphs, and the flexibility to generalize to non-linear causal mechanisms.

贝叶斯结构学习允许从数据推断贝叶斯网络结构，同时推理认识性不确定性 - 朝着实现现实世界系统的主动因果发现和设计干预的关键因素。在这项工作中，我们为贝叶斯结构学习（DIBS）提出了一般，完全可微分的框架，其在潜在概率图表表示的连续空间中运行。与现有的工作相反，DIBS对局部条件分布的形式不可知，并且允许图形结构和条件分布参数的关节后部推理。这使得我们的配方直接适用于复杂贝叶斯网络模型的后部推理，例如，具有由神经网络编码的非线性依赖性。使用DIBS，我们设计了一种高效，通用的变分推理方法，用于近似结构模型的分布。在模拟和现实世界数据的评估中，我们的方法显着优于关节后部推理的相关方法。

由于数据有限和非识别性，观察性和介入数据的因果发现是具有挑战性的：在估计基本结构因果模型（SCM）时引入不确定性的因素。基于这两个因素引起的不确定性选择实验（干预措施）可以加快SCM的识别。来自有限数据的因果发现实验设计中的现有方法要么依赖于SCM的线性假设，要么仅选择干预目标。这项工作将贝叶斯因果发现的最新进展纳入了贝叶斯最佳实验设计框架中，从而使大型非线性SCM的积极因果发现同时选择了介入目标和值。我们证明了对线性和非线性SCM的合成图（ERDOS-R \'enyi，breetr cable）以及在\ emph {intiLico}单细胞基因调节网络数据集的\ emph {inyeare scms的性能。

模拟DAG模型可能表现出属性，也许无意中，使其结构识别和意外地影响结构学习算法。在这里，我们表明边缘方差往往沿着仿制性添加添加剂噪声模型的因果顺序增加。我们将Varsortable介绍为衡量衡量边际差异和因果顺序的秩序之间的协议。对于通常采样的图形和模型参数，我们表明，一些连续结构学习算法的显着性能可以通过高的Varsortable解释，并通过简单的基线方法匹配。然而，这种性能可能不会转移到真实世界的数据，其中VARS使性可能是中等或取决于测量尺度的选择。在标准化数据上，相同的算法无法识别地面真理DAG或其Markov等价类。虽然标准化在边缘方差中删除了模式，但我们表明，数据产生过程，其产生高VILS使性也留下了即使在标准化之后也可以利用不同的协方差模式。我们的调查结果挑战了独立绘制参数的通用基准的重要性。代码可在https://github.com/scriddie/varsortable获得。

State-of-the-art causal discovery methods usually assume that the observational data is complete. However, the missing data problem is pervasive in many practical scenarios such as clinical trials, economics, and biology. One straightforward way to address the missing data problem is first to impute the data using off-the-shelf imputation methods and then apply existing causal discovery methods. However, such a two-step method may suffer from suboptimality, as the imputation algorithm may introduce bias for modeling the underlying data distribution. In this paper, we develop a general method, which we call MissDAG, to perform causal discovery from data with incomplete observations. Focusing mainly on the assumptions of ignorable missingness and the identifiable additive noise models (ANMs), MissDAG maximizes the expected likelihood of the visible part of observations under the expectation-maximization (EM) framework. In the E-step, in cases where computing the posterior distributions of parameters in closed-form is not feasible, Monte Carlo EM is leveraged to approximate the likelihood. In the M-step, MissDAG leverages the density transformation to model the noise distributions with simpler and specific formulations by virtue of the ANMs and uses a likelihood-based causal discovery algorithm with directed acyclic graph constraint. We demonstrate the flexibility of MissDAG for incorporating various causal discovery algorithms and its efficacy through extensive simulations and real data experiments.

We develop an optimization algorithm suitable for Bayesian learning in complex models. Our approach relies on natural gradient updates within a general black-box framework for efficient training with limited model-specific derivations. It applies within the class of exponential-family variational posterior distributions, for which we extensively discuss the Gaussian case for which the updates have a rather simple form. Our Quasi Black-box Variational Inference (QBVI) framework is readily applicable to a wide class of Bayesian inference problems and is of simple implementation as the updates of the variational posterior do not involve gradients with respect to the model parameters, nor the prescription of the Fisher information matrix. We develop QBVI under different hypotheses for the posterior covariance matrix, discuss details about its robust and feasible implementation, and provide a number of real-world applications to demonstrate its effectiveness.

不依赖虚假相关性的学习预测因素涉及建立因果关系。但是，学习这样的表示非常具有挑战性。因此，我们制定了从高维数据中学习因果表示的问题，并通过合成数据研究因果恢复。这项工作引入了贝叶斯因果发现的潜在变量解码器模型BCD，并在轻度监督和无监督的环境中进行实验。我们提出了一系列合成实验，以表征因果发现的重要因素，并表明将已知的干预靶标用作标签有助于无监督的贝叶斯推断，对线性高斯添加噪声潜在结构性因果模型的结构和参数。

Inferring causal structure poses a combinatorial search problem that typically involves evaluating structures with a score or independence test. The resulting search is costly, and designing suitable scores or tests that capture prior knowledge is difficult. In this work, we propose to amortize causal structure learning. Rather than searching over structures, we train a variational inference model to directly predict the causal structure from observational or interventional data. This allows our inference model to acquire domain-specific inductive biases for causal discovery solely from data generated by a simulator, bypassing both the hand-engineering of suitable score functions and the search over graphs. The architecture of our inference model emulates permutation invariances that are crucial for statistical efficiency in structure learning, which facilitates generalization to significantly larger problem instances than seen during training. On synthetic data and semisynthetic gene expression data, our models exhibit robust generalization capabilities when subject to substantial distribution shifts and significantly outperform existing algorithms, especially in the challenging genomics domain. Our code and models are publicly available at: https://github.com/larslorch/avici.

本文介绍了一种新型的因果结构，即多尺度非平稳的定向无环图（MN-DAG），该图将DAG概括为时频域。我们的贡献是双重的。首先，通过利用光谱和因果关系的结果，我们揭露了一种新型的概率生成模型，该模型允许根据用户指定的先验对因果图的时间依赖性和多尺度属性进行采样。其次，我们通过随机变异推理（SVI）（称为多阶层非稳态的因果结构学习者（MN-Castle））设计了一种用于估计Mn-DAGS的贝叶斯方法。除了直接观察外，MN-Castle还通过不同时间分辨率的时间序列的总功率谱分解来利用信息。在我们的实验中，我们首先使用所提出的模型根据潜在的MN-DAG生成合成数据，这表明数据生成的数据再现了不同域中时间序列的众所周知的特征。然后，我们将学习方法的MN媒体与基线模型进行比较，该模型在使用不同的多尺度和非平稳设置生成的合成数据上进行了比较，从而证实了MN-Castle的良好性能。最后，我们展示了一些从MN-Castle的应用中得出的一些见解，以研究COVID-19期间7个全球股票市场的因果结构。

因果推断的一个共同主题是学习观察到的变量（也称为因果发现）之间的因果关系。考虑到大量候选因果图和搜索空间的组合性质，这通常是一项艰巨的任务。也许出于这个原因，到目前为止，大多数研究都集中在相对较小的因果图上，并具有多达数百个节点。但是，诸如生物学之类的领域的最新进展使生成实验数据集，并进行了数千种干预措施，然后进行了数千个变量的丰富分析，从而增加了机会和迫切需要大量因果图模型。在这里，我们介绍了因子定向无环图（F-DAG）的概念，是将搜索空间限制为非线性低级别因果相互作用模型的一种方法。将这种新颖的结构假设与最近的进步相结合，弥合因果发现与连续优化之间的差距，我们在数千个变量上实现了因果发现。此外，作为统计噪声对此估计程序的影响的模型，我们根据随机图研究了F-DAG骨架的边缘扰动模型，并量化了此类扰动对F-DAG等级的影响。该理论分析表明，一组候选F-DAG比整个DAG空间小得多，因此在很难评估基础骨架的高维度中更统计学上的稳定性。我们提出了因子图（DCD-FG）的可区分因果发现，这是对高维介入数据的F-DAG约束因果发现的可扩展实现。 DCD-FG使用高斯非线性低级结构方程模型，并且在模拟中的最新方法以及最新的大型单细胞RNA测序数据集中，与最新方法相比显示出显着改善遗传干预措施。

项目反应理论（IRT）是一个无处不在的模型，可以根据他们对问题的回答理解人类行为和态度。大型现代数据集为捕捉人类行为的更多细微差别提供了机会，从而有可能改善心理测量模型，从而改善科学理解和公共政策。但是，尽管较大的数据集允许采用更灵活的方法，但许多用于拟合IRT模型的当代算法也可能具有禁止现实世界应用的巨大计算需求。为了解决这种瓶颈，我们引入了IRT的变异贝叶斯推理算法，并表明它在不牺牲准确性的情况下快速可扩展。将此方法应用于认知科学和教育的五个大规模项目响应数据集中，比替代推理算法更高的对数可能性和更高的准确性。然后，使用这种新的推论方法，我们将IRT概括为具有表现力的贝叶斯响应模型，利用深度学习的最新进展来捕获具有神经网络的非线性项目特征曲线（ICC）。使用TIMSS的特定级数学测试，我们显示我们的非线性IRT模型可以捕获有趣的不对称ICC。该算法实现是开源的，易于使用。

因果表示学习是识别基本因果变量及其从高维观察（例如图像）中的关系的任务。最近的工作表明，可以从观测的时间序列中重建因果变量，假设它们之间没有瞬时因果关系。但是，在实际应用中，我们的测量或帧速率可能比许多因果效应要慢。这有效地产生了“瞬时”效果，并使以前的可识别性结果无效。为了解决这个问题，我们提出了ICITRI，这是一种因果表示学习方法，当具有已知干预目标的完美干预措施时，可以在时间序列中处理瞬时效应。 Icitris从时间观察中识别因果因素，同时使用可区分的因果发现方法来学习其因果图。在三个视频数据集的实验中，Icitris准确地识别了因果因素及其因果图。

因果效应估计对于自然和社会科学中的许多任务很重要。但是，如果没有做出强大的，通常无法测试的假设，就无法从观察数据中识别效果。我们考虑了部分识别问题的算法，当未衡量的混淆使鉴定不可能鉴定时，多变量，连续处理的界限治疗效果。我们考虑一个框架，即可观察的证据与基于规范标准在因果模型中编码的约束的含义相匹配。这纯粹是基于生成模型来概括经典方法。将因果关系施放为在受约束优化问题中的目标函数，我们将灵活的学习算法与蒙特卡洛方法相结合，以随机因果节目的名义实施解决方案家族。特别是，我们提出了可以通过因果或观察到的数据模型而没有可能性功能的参数功能的这种约束优化问题的方式，从而降低了任务的计算和统计复杂性。

贝叶斯神经网络具有潜在变量（BNN + LVS）通过明确建模模型不确定性（通过网络权重）和环境暂停（通过潜在输入噪声变量）来捕获预测的不确定性。在这项工作中，我们首先表明BNN + LV具有严重形式的非可识别性：可以在模型参数和潜在变量之间传输解释性，同时拟合数据。我们证明，在无限数据的极限中，网络权重和潜变量的后部模式从地面真理渐近地偏离。由于这种渐近偏差，传统的推理方法可以在实践中，产量参数概括不确定和不确定的不确定性。接下来，我们开发一种新推断过程，明确地减轻了训练期间不可识别性的影响，并产生高质量的预测以及不确定性估计。我们展示我们的推理方法在一系列合成和实际数据集中改善了基准方法。

Normalizing flows provide a general mechanism for defining expressive probability distributions, only requiring the specification of a (usually simple) base distribution and a series of bijective transformations. There has been much recent work on normalizing flows, ranging from improving their expressive power to expanding their application. We believe the field has now matured and is in need of a unified perspective. In this review, we attempt to provide such a perspective by describing flows through the lens of probabilistic modeling and inference. We place special emphasis on the fundamental principles of flow design, and discuss foundational topics such as expressive power and computational trade-offs. We also broaden the conceptual framing of flows by relating them to more general probability transformations. Lastly, we summarize the use of flows for tasks such as generative modeling, approximate inference, and supervised learning.

本文研究了从观察数据学习因果关系的问题。我们用二进制图邻接矩阵参数化的形式重整结构方程模型（SEM），并显示，如果原始SEM是可识别的，则可以识别二进制邻接矩阵到真实因果图的超图在温和的条件下。然后，我们利用所述重新设计的SEM来开发一种因果结构学习方法，可以通过利用对非循环性和Gumbel-Softmax方法的平滑表征来实现基于梯度的优化来有效地接受训练，以近似于二进制邻接矩阵。发现获得的条目通常在零或一个附近，并且可以容易地阈值以识别边缘。我们对合成和实时数据集进行实验，以验证所提出的方法的有效性，并表明它容易包括不同的平滑模型功能，并在考虑大多数数据集中实现了大大提高的性能。

贝叶斯结构学习允许人们对负责生成给定数据的因果定向无环图（DAG）捕获不确定性。在这项工作中，我们提出了结构学习（信任）的可疗法不确定性，这是近似后推理的框架，依赖于概率回路作为我们后验信仰的表示。与基于样本的后近似值相反，我们的表示可以捕获一个更丰富的DAG空间，同时也能够通过一系列有用的推理查询来仔细地理解不确定性。我们从经验上展示了如何将概率回路用作结构学习方法的增强表示，从而改善了推断结构和后部不确定性的质量。有条件查询的实验结果进一步证明了信任的表示能力的实际实用性。

在贝叶斯结构学习中，我们有兴趣从数据中推断出贝叶斯网络的定向无环图（DAG）结构。由于组合较大的样本空间，定义这种分布非常具有挑战性，并且通常需要基于MCMC的近似值。最近，已引入了一种新型的概率模型，称为生成流网络（GFLOWNETS），作为离散和复合对象（例如图形）生成建模的一般框架。在这项工作中，我们建议使用GFLOWNET作为MCMC的替代方案，以近似贝叶斯网络结构的后验分布，给定观测数据集。从该近似分布中生成样本DAG被视为一个顺序决策问题，在该问题中，该图是根据学习的过渡概率一次构造一个边缘的。通过对模拟和真实数据的评估，我们表明我们的方法称为dag-gflownet，可以准确地近似DAG，并且它可以与基于MCMC或变异推断的其他方法进行比较。