学习由有针对性的无环图（DAG）代表的基本休闲结构，这些事件来自完全观察到的事件是因果推理的关键部分，但由于组合和较大的搜索空间，这是一项挑战。最近的一系列发展通过利用代数平等表征，将该组合问题重新生要重现为一个连续的优化问题。但是，这些方法在优化之后遭受了固定阈值的措施，这不是一种灵活而系统的方法，可以排除诱导周期的边缘或错误的发现边缘，其边缘具有由数值精度引起的较小值。在本文中，我们开发了一种数据驱动的DAG结构学习方法，而没有预定义阈值，称为自适应宣传[30]，该方法通过在正则化项中对每个参数应用自适应惩罚水平来实现。我们表明，在某些特定条件下，自适应宣传符合Oracle属性。此外，模拟实验结果验证了我们方法的有效性，而没有设置边缘重量的任何间隙。

Estimating the structure of directed acyclic graphs (DAGs, also known as Bayesian networks) is a challenging problem since the search space of DAGs is combinatorial and scales superexponentially with the number of nodes. Existing approaches rely on various local heuristics for enforcing the acyclicity constraint. In this paper, we introduce a fundamentally different strategy: We formulate the structure learning problem as a purely continuous optimization problem over real matrices that avoids this combinatorial constraint entirely. This is achieved by a novel characterization of acyclicity that is not only smooth but also exact. The resulting problem can be efficiently solved by standard numerical algorithms, which also makes implementation effortless. The proposed method outperforms existing ones, without imposing any structural assumptions on the graph such as bounded treewidth or in-degree. Code implementing the proposed algorithm is open-source and publicly available at https://github.com/xunzheng/notears.

State-of-the-art causal discovery methods usually assume that the observational data is complete. However, the missing data problem is pervasive in many practical scenarios such as clinical trials, economics, and biology. One straightforward way to address the missing data problem is first to impute the data using off-the-shelf imputation methods and then apply existing causal discovery methods. However, such a two-step method may suffer from suboptimality, as the imputation algorithm may introduce bias for modeling the underlying data distribution. In this paper, we develop a general method, which we call MissDAG, to perform causal discovery from data with incomplete observations. Focusing mainly on the assumptions of ignorable missingness and the identifiable additive noise models (ANMs), MissDAG maximizes the expected likelihood of the visible part of observations under the expectation-maximization (EM) framework. In the E-step, in cases where computing the posterior distributions of parameters in closed-form is not feasible, Monte Carlo EM is leveraged to approximate the likelihood. In the M-step, MissDAG leverages the density transformation to model the noise distributions with simpler and specific formulations by virtue of the ANMs and uses a likelihood-based causal discovery algorithm with directed acyclic graph constraint. We demonstrate the flexibility of MissDAG for incorporating various causal discovery algorithms and its efficacy through extensive simulations and real data experiments.

本文研究了从观察数据学习因果关系的问题。我们用二进制图邻接矩阵参数化的形式重整结构方程模型（SEM），并显示，如果原始SEM是可识别的，则可以识别二进制邻接矩阵到真实因果图的超图在温和的条件下。然后，我们利用所述重新设计的SEM来开发一种因果结构学习方法，可以通过利用对非循环性和Gumbel-Softmax方法的平滑表征来实现基于梯度的优化来有效地接受训练，以近似于二进制邻接矩阵。发现获得的条目通常在零或一个附近，并且可以容易地阈值以识别边缘。我们对合成和实时数据集进行实验，以验证所提出的方法的有效性，并表明它容易包括不同的平滑模型功能，并在考虑大多数数据集中实现了大大提高的性能。

我们考虑学习底层多变量数据的稀疏无向图的问题。我们专注于稀疏精度矩阵上的图表拉普拉斯相关的约束，它在与图形节点相关联的随机变量之间编码条件依赖性。在这些约束下，精度矩阵的偏差元素是非正（总阳性），并且精度矩阵可能不是全级。我们调查了对广泛使用惩罚的日志似然方法来强制执行总积极性但不是拉普拉斯结构的修改。然后可以从非对角线精密矩阵中提取图拉普拉斯。乘法器（ADMM）算法的交替方向方法被提出和分析了Laplacian相关约束和套索的约束优化以及自适应套索处罚。基于合成数据的数值结果表明，所提出的约束的自适应套索方法显着优于现有的基于拉普拉斯的方法。我们还评估了我们对实际财务数据的方法。

因果发现旨在从观察数据中学习因果图。迄今为止，大多数因果发现方法需要将数据存储在中央服务器中。但是，数据所有者逐渐拒绝分享他们的个性化数据以避免隐私泄漏，使这项任务通过切断第一步来更加麻烦。出现拼图：$ \ texit {如何从分散数据的原因关系推断出来自分散数据的因果关系？} $本文，具有数据的添加性噪声模型假设，我们参加了开发基于渐变的学习框架命名为DAG共享的渐变学习框架联邦因果发现（DS-FCD），可以在不直接触摸本地数据的情况下学习因果图，并自然地处理数据异质性。 DS-FCD受益于每个本地模型的两级结构。第一级别学习因果图并与服务器通信以获取来自其他客户端的模型信息，而第二级别近似于因果机制，并且从其自身的数据逐步更新以适应数据异质性。此外，DS-FCD通过利用平等的非循环性约束，将整体学习任务制定为连续优化问题，这可以通过梯度下降方法自然地解决。对合成和现实世界数据集的广泛实验验证了所提出的方法的功效。

从观察数据中恢复基本的定向无环形结构（DAG），由于DAG受限的优化问题的组合性质，因此极具挑战性。最近，通过将DAG约束将DAG的限制定义为平滑的平等性，通常基于邻接矩阵上的多项式，将DAG学习作为连续优化问题。现有方法将非常小的系数放在高阶多项式术语上以进行稳定，因为它们认为由于数字爆炸而导致高阶项上的大系数有害。相反，我们发现，高阶术语上的大系数对DAG学习有益，当邻接矩阵的光谱辐射小时，高阶术语的较大系数可以比小尺寸近似于小的限制。同行。基于此，我们提出了一种具有有效截短的矩阵功率迭代的新型DAG学习方法，以近似于基于几何序列的DAG约束。从经验上讲，我们的DAG学习方法在各种环境中的表现优于先前的最新方法，在结构锤距离上通常以3倍或以上的倍数。

模拟DAG模型可能表现出属性，也许无意中，使其结构识别和意外地影响结构学习算法。在这里，我们表明边缘方差往往沿着仿制性添加添加剂噪声模型的因果顺序增加。我们将Varsortable介绍为衡量衡量边际差异和因果顺序的秩序之间的协议。对于通常采样的图形和模型参数，我们表明，一些连续结构学习算法的显着性能可以通过高的Varsortable解释，并通过简单的基线方法匹配。然而，这种性能可能不会转移到真实世界的数据，其中VARS使性可能是中等或取决于测量尺度的选择。在标准化数据上，相同的算法无法识别地面真理DAG或其Markov等价类。虽然标准化在边缘方差中删除了模式，但我们表明，数据产生过程，其产生高VILS使性也留下了即使在标准化之后也可以利用不同的协方差模式。我们的调查结果挑战了独立绘制参数的通用基准的重要性。代码可在https://github.com/scriddie/varsortable获得。

从观察数据中学习因果结构是机器学习的基本挑战。但是，大多数常用的可区分因果发现方法是不可识别的，这将此问题变成了容易发生数据偏差的连续优化任务。在许多现实生活中，数据是从不同环境中收集的，在不同的环境中，功能关系在整个环境中保持一致，而添加噪声的分布可能会有所不同。本文提出了可区分的因果发现（DICD），利用基于可区分框架的多环境信息，以避免学习虚假边缘和错误的因果方向。具体而言，DICD旨在在消除环境依赖性相关性的同时发现环境不变的因果关系。我们进一步制定了强制执行目标结构方程模型的约束，以在整个环境中保持最佳状态。在温和条件下提供了足够的环境，提供了针对拟议DICD的可识别性的理论保证。关于合成和现实世界数据集的广泛实验验证了DICD优于最先进的因果发现方法，而SHD中最高36％。我们的代码将是开源的。

从数据中学习的定向无环图（DAG）的组合问题最近被构成了纯连续优化问题，它通过基于矩阵指数函数的痕迹利用DAG的可区分无环表征。现有的无环特征基于以下想法：邻接矩阵的功率包含有关步行和周期的信息。在这项工作中，我们提出了一个基于log-determinant（log-det）函数的$ \ textit {根本不同的} $ acyclicity表征，该功能利用了dags的nilpotency属性。为了处理DAG的固有不对称性，我们将日志数据表征的域与$ \ textit {m-matrices} $的集合联系起来，这是与锥体定义的经典日志函数的关键区别积极的矩阵。与先前提出的无环函数相似，我们的表征也是精确且可区分的。但是，与现有特征相比，我们的对数数据函数：（1）更好地检测大周期； （2）行为更好的梯度； （3）它的运行时间在实践中的数量级更快。从优化侧，我们删除了典型的增强拉格朗日方案，并提出了Dagma（$ \ textit {ocyclicity} $的M-矩阵{textIt {定向无环形图），这种方法类似于屏障方法的中心路径。 DAGMA的中心路径中的每个点都是通过我们的log-det函数正常的无约束问题的解决方案，然后我们证明在中心路径的极限下，保证解决方案是DAG。最后，我们为$ \ textit {linear} $和$ \ textit {nonlinear} $ sem提供了广泛的实验，并证明我们的方法可以达到针对最先进方法的大加速和较小的结构锤距。

在非参数环境中，因果结构通常仅在马尔可夫等效性上可识别，并且出于因果推断的目的，学习马尔可夫等效类（MEC）的图形表示很有用。在本文中，我们重新审视了贪婪的等效搜索（GES）算法，该算法被广泛引用为一种基于分数的算法，用于学习基本因果结构的MEC。我们观察到，为了使GES算法在非参数设置中保持一致，不必设计评估图的评分度量。取而代之的是，足以插入有条件依赖度量的一致估计器来指导搜索。因此，我们提出了GES算法的重塑，该算法比基于标准分数的版本更灵活，并且很容易将自己带到非参数设置，并具有条件依赖性的一般度量。此外，我们提出了一种神经条件依赖性（NCD）度量，该措施利用深神经网络的表达能力以非参数方式表征条件独立性。我们根据标准假设建立了重新构架GES算法的最佳性，并使用我们的NCD估计器来决定条件独立性的一致性。这些结果共同证明了拟议的方法。实验结果证明了我们方法在因果发现中的有效性，以及使用我们的NCD度量而不是基于内核的措施的优势。

Estimating the structure of directed acyclic graphs (DAGs) of features (variables) plays a vital role in revealing the latent data generation process and providing causal insights in various applications. Although there have been many studies on structure learning with various types of data, the structure learning on the dynamic graph has not been explored yet, and thus we study the learning problem of node feature generation mechanism on such ubiquitous dynamic graph data. In a dynamic graph, we propose to simultaneously estimate contemporaneous relationships and time-lagged interaction relationships between the node features. These two kinds of relationships form a DAG, which could effectively characterize the feature generation process in a concise way. To learn such a DAG, we cast the learning problem as a continuous score-based optimization problem, which consists of a differentiable score function to measure the validity of the learned DAGs and a smooth acyclicity constraint to ensure the acyclicity of the learned DAGs. These two components are translated into an unconstraint augmented Lagrangian objective which could be minimized by mature continuous optimization techniques. The resulting algorithm, named GraphNOTEARS, outperforms baselines on simulated data across a wide range of settings that may encounter in real-world applications. We also apply the proposed approach on two dynamic graphs constructed from the real-world Yelp dataset, demonstrating our method could learn the connections between node features, which conforms with the domain knowledge.

在许多学科中，在大量解释变量中推断反应变量的直接因果父母的问题具有很高的实际意义。但是，建立的方法通常至少会随着解释变量的数量而呈指数级扩展，难以扩展到非线性关系，并且很难扩展到周期性数据。受{\ em Debiased}机器学习方法的启发，我们研究了一种单Vs.-the-Rest特征选择方法，以发现响应的直接因果父母。我们提出了一种用于纯观测数据的算法，同时还提供理论保证，包括可能在周期存在下的部分非线性关系的情况。由于它仅需要对每个变量进行一个估计，因此我们的方法甚至适用于大图。与既定方法相比，我们证明了显着改善。

我们考虑发现$ k $相关的高斯定向的非循环图（DAG）的问题，其中涉及的图形结构共享一致的因果秩序和支持的支持。在多任务学习设置下，我们提出了$ L_1 / L_2 $ -Regularized最大似然估计器（MLE），用于学习$ K $线性结构方程模型。理论上我们表明，通过利用相关任务利用数据来实现联合估算器可以实现比单独的估计更好的采样复杂性来恢复因果秩序（或拓扑阶）。此外，联合估计器能够通过与一些可识别的DAG一起估计它们来恢复不可识别的DAG。最后，我们的分析还显示了联盟支持恢复的协会的一致性。为了允许实际实现，我们设计了一种连续的优化问题，其优化器与联合估计器相同，并且可以通过迭代算法有效地近似。我们验证了实验中联合估计器的理论分析和有效性。

We consider the problem of recovering the causal structure underlying observations from different experimental conditions when the targets of the interventions in each experiment are unknown. We assume a linear structural causal model with additive Gaussian noise and consider interventions that perturb their targets while maintaining the causal relationships in the system. Different models may entail the same distributions, offering competing causal explanations for the given observations. We fully characterize this equivalence class and offer identifiability results, which we use to derive a greedy algorithm called GnIES to recover the equivalence class of the data-generating model without knowledge of the intervention targets. In addition, we develop a novel procedure to generate semi-synthetic data sets with known causal ground truth but distributions closely resembling those of a real data set of choice. We leverage this procedure and evaluate the performance of GnIES on synthetic, real, and semi-synthetic data sets. Despite the strong Gaussian distributional assumption, GnIES is robust to an array of model violations and competitive in recovering the causal structure in small- to large-sample settings. We provide, in the Python packages "gnies" and "sempler", implementations of GnIES and our semi-synthetic data generation procedure.

我们考虑推断稀疏，高维固定多变量高斯时间序列的条件独立图（CIG）的问题。呈现了一种基于频域的基于洛索的跨组频域制定，基于频域足够的观察时间序列的统计。我们研究了乘法器（ADMM）方法的交替方向方法，以优化稀疏组套索惩罚的对数似然。我们为反向PSD估计的Frobenius规范的收敛条件提供了足够的条件，以在所有频率跨越所有频率的真实值，其中允许使用样本大小增加频率的数量。该结果还产生了收敛速度。我们还基于贝叶斯信息标准对调谐参数的选择进行了经验研究，并说明了利用合成和实际数据的数值示例的方法。

因果推断的一个共同主题是学习观察到的变量（也称为因果发现）之间的因果关系。考虑到大量候选因果图和搜索空间的组合性质，这通常是一项艰巨的任务。也许出于这个原因，到目前为止，大多数研究都集中在相对较小的因果图上，并具有多达数百个节点。但是，诸如生物学之类的领域的最新进展使生成实验数据集，并进行了数千种干预措施，然后进行了数千个变量的丰富分析，从而增加了机会和迫切需要大量因果图模型。在这里，我们介绍了因子定向无环图（F-DAG）的概念，是将搜索空间限制为非线性低级别因果相互作用模型的一种方法。将这种新颖的结构假设与最近的进步相结合，弥合因果发现与连续优化之间的差距，我们在数千个变量上实现了因果发现。此外，作为统计噪声对此估计程序的影响的模型，我们根据随机图研究了F-DAG骨架的边缘扰动模型，并量化了此类扰动对F-DAG等级的影响。该理论分析表明，一组候选F-DAG比整个DAG空间小得多，因此在很难评估基础骨架的高维度中更统计学上的稳定性。我们提出了因子图（DCD-FG）的可区分因果发现，这是对高维介入数据的F-DAG约束因果发现的可扩展实现。 DCD-FG使用高斯非线性低级结构方程模型，并且在模拟中的最新方法以及最新的大型单细胞RNA测序数据集中，与最新方法相比显示出显着改善遗传干预措施。

Gaussian graphical models provide a powerful framework for uncovering conditional dependence relationships between sets of nodes; they have found applications in a wide variety of fields including sensor and communication networks, physics, finance, and computational biology. Often, one observes data on the nodes and the task is to learn the graph structure, or perform graphical model selection. While this is a well-studied problem with many popular techniques, there are typically three major practical challenges: i) many existing algorithms become computationally intractable in huge-data settings with tens of thousands of nodes; ii) the need for separate data-driven hyperparameter tuning considerably adds to the computational burden; iii) the statistical accuracy of selected edges often deteriorates as the dimension and/or the complexity of the underlying graph structures increase. We tackle these problems by developing the novel Minipatch Graph (MPGraph) estimator. Our approach breaks up the huge graph learning problem into many smaller problems by creating an ensemble of tiny random subsets of both the observations and the nodes, termed minipatches. We then leverage recent advances that use hard thresholding to solve the latent variable graphical model problem to consistently learn the graph on each minipatch. Our approach is computationally fast, embarrassingly parallelizable, memory efficient, and has integrated stability-based hyperparamter tuning. Additionally, we prove that under weaker assumptions than that of the Graphical Lasso, our MPGraph estimator achieves graph selection consistency. We compare our approach to state-of-the-art computational approaches for Gaussian graphical model selection including the BigQUIC algorithm, and empirically demonstrate that our approach is not only more statistically accurate but also extensively faster for huge graph learning problems.

在这项工作中，我们将该算法考虑到（非线性）回归问题与$ \ ell_0 $罚款。用于$ \ ell_0 $基于$的优化问题的现有算法通常用固定的步长进行，并且选择适当的步长度取决于限制的强凸性和损耗功能的平滑度，因此难以计算计算。在Sprite的支持检测和根查找\ Cite {HJK2020}的思想中，我们提出了一种新颖且有效的数据驱动线搜索规则，以自适应地确定适当的步长。我们证明了绑定到所提出的算法的$ \ ell_2 $ error，而没有限制成本函数。在线性和逻辑回归问题中具有最先进的算法的大量数值比较显示了所提出的算法的稳定性，有效性和优越性。

我们介绍了缩写为Argen的任意矩形范围广义弹性净罚分法，用于在高维稀疏线性模型中执行约束变量选择和正则化。作为非负弹性净惩罚方法的自然延伸，证明了在某些条件下具有可变选择一致性和估计一致性。研究了Argen估计器分布的渐近行为。我们还提出了一种称为MU-QP-RR-W-$ L_1 $的算法，以有效解决ARGEN。通过进行仿真研究，我们表明Argen在许多设置中优于弹性网。最后，执行S＆P 500 500指数跟踪对库存分配的限制的应用，以提供适应argen解决现实问题的一般指导。