我们研究了因果结构学习的问题,没有关于功能关系和噪声的假设。我们开发DAG-Foci,这是一种基于\ Cite {Azadkia2019Simple}的焦点变量选择算法的计算快速算法。DAG-Foci不需要调整参数并输出父母和Markov边界的响应变量的响应变量。当底层图形是多料时,我们提供了我们程序的高维保证。此外,我们展示了DAG-Foci在计算生物学\ Cite {Sachs2005Causal}的真实数据上的适用性,并说明了我们对侵犯假设的方法的稳健性。
translated by 谷歌翻译
我们分析了在没有特定分布假设的常规设置中从观察数据的学习中学循环图形模型的复杂性。我们的方法是信息定理,并使用本地马尔可夫边界搜索程序,以便在基础图形模型中递归地构建祖先集。也许令人惊讶的是,我们表明,对于某些图形集合,一个简单的前向贪婪搜索算法(即没有向后修剪阶段)足以学习每个节点的马尔可夫边界。这显着提高了我们在节点的数量中显示的样本复杂性。然后应用这一点以在从文献中概括存在现有条件的新型标识性条件下学习整个图。作为独立利益的问题,我们建立了有限样本的保障,以解决从数据中恢复马尔可夫边界的问题。此外,我们将我们的结果应用于特殊情况的Polytrees,其中假设简化,并提供了多项识别的明确条件,并且在多项式时间中可以识别和可知。我们进一步说明了算法在仿真研究中易于实现的算法的性能。我们的方法是普遍的,用于无需分布假设的离散或连续分布,并且由于这种棚灯对有效地学习来自数据的定向图形模型结构所需的最小假设。
translated by 谷歌翻译
我们研究在有关系统的结构侧信息时学习一组变量的贝叶斯网络(BN)的问题。众所周知,学习一般BN的结构在计算上和统计上具有挑战性。然而,通常在许多应用中,关于底层结构的侧面信息可能会降低学习复杂性。在本文中,我们开发了一种基于递归约束的算法,其有效地将这些知识(即侧信息)纳入学习过程。特别地,我们研究了关于底层BN的两种类型的结构侧信息:(i)其集团数的上限是已知的,或者(ii)它是无菱形的。我们为学习算法提供理论保证,包括每个场景所需的最坏情况的测试数量。由于我们的工作,我们表明可以通过多项式复杂性学习有界树木宽度BNS。此外,我们评估了综合性和现实世界结构的算法的性能和可扩展性,并表明它们优于最先进的结构学习算法。
translated by 谷歌翻译
在图形因果发现的背景下,我们适应了线性非高斯无环模型(Lingams)的多功能框架,以提出新算法以有效地学习polytrees的图形。我们的方法结合了Chow- Liu算法,该算法首先学习了无向树结构,并与新的方案定向边缘。方向方案评估数据生成分布的矩之间的代数关系,并且计算便宜。我们为我们的方法建立了高维的一致性结果,并比较了数值实验中的不同算法版本。
translated by 谷歌翻译
我们考虑了从相对较小的I.I.D.估算大因果多树的骨骼的问题。样本。这是由于确定因果结构的问题,当变量数量与样本量非常大,例如基因调节网络中的问题。我们给出了一种算法,该算法在此类设置中以高精度恢复了树。该算法在基本上没有分布或建模假设下起作用,而不是一些轻度的非分类条件。
translated by 谷歌翻译
本文考虑了从观察和介入数据估算因果导向的非循环图中未知干预目标的问题。重点是线性结构方程模型(SEM)中的软干预。目前对因果结构的方法学习使用已知的干预目标或使用假设测试来发现即使是线性SEM也可以发现未知的干预目标。这严重限制了它们的可扩展性和样本复杂性。本文提出了一种可扩展和高效的算法,始终识别所有干预目标。关键思想是从与观察和介入数据集相关联的精度矩阵之间的差异来估计干预站点。它涉及反复估计不同亚空间子集中的这些站点。该算法的算法还可用于将给定的观察马尔可夫等效类更新为介入马尔可夫等价类。在分析地建立一致性,马尔可夫等效和采样复杂性。最后,实际和合成数据的仿真结果展示了所提出的可扩展因果结构恢复方法的增益。算法的实现和重现仿真结果的代码可用于\ url {https://github.com/bvarici/intervention- istimation}。
translated by 谷歌翻译
最近,已经提出了利用预测模型在不断变化的环境方面的不变性来推断响应变量的因果父母的子集的不变性。如果环境仅影响少数基本机制,则例如不变因果预测(ICP)确定的子集可能很小,甚至是空的。我们介绍了最小不变性的概念,并提出了不变的血统搜索(IAS)。在其人群版本中,IAS输出了一个仅包含响应祖先的集合,并且是ICP输出的超集。当应用于数据时,如果不变性的基础测试具有渐近水平和功率,则相应的保证会渐近。我们开发可扩展算法并在模拟和真实数据上执行实验。
translated by 谷歌翻译
In this paper we prove the so-called "Meek Conjecture". In particular, we show that if a DAG H is an independence map of another DAG G, then there exists a finite sequence of edge additions and covered edge reversals in G such that (1) after each edge modification H remains an independence map of G and ( 2) after all modifications G = H. As shown by Meek (1997), this result has an important consequence for Bayesian approaches to learning Bayesian networks from data: in the limit of large sample size, there exists a twophase greedy search algorithm that-when applied to a particular sparsely-connected search space-provably identifies a perfect map of the generative distribution if that perfect map is a DAG. We provide a new implementation of the search space, using equivalence classes as states, for which all operators used in the greedy search can be scored efficiently using local functions of the nodes in the domain. Finally, using both synthetic and real-world datasets, we demonstrate that the two-phase greedy approach leads to good solutions when learning with finite sample sizes.
translated by 谷歌翻译
In this review, we discuss approaches for learning causal structure from data, also called causal discovery. In particular, we focus on approaches for learning directed acyclic graphs (DAGs) and various generalizations which allow for some variables to be unobserved in the available data. We devote special attention to two fundamental combinatorial aspects of causal structure learning. First, we discuss the structure of the search space over causal graphs. Second, we discuss the structure of equivalence classes over causal graphs, i.e., sets of graphs which represent what can be learned from observational data alone, and how these equivalence classes can be refined by adding interventional data.
translated by 谷歌翻译
我们考虑代表代理模型的问题,该模型使用我们称之为CSTREES的阶段树模型的适当子类对离散数据编码离散数据的原因模型。我们表明,可以通过集合表达CSTREE编码的上下文专用信息。由于并非所有阶段树模型都承认此属性,CSTREES是一个子类,可提供特定于上下文的因果信息的透明,直观和紧凑的表示。我们证明了CSTREEES承认全球性马尔可夫属性,它产生了模型等价的图形标准,概括了Verma和珍珠的DAG模型。这些结果延伸到一般介入模型设置,使CSTREES第一族的上下文专用模型允许介入模型等价的特征。我们还为CSTREE的最大似然估计器提供了一种封闭式公式,并使用它来表示贝叶斯信息标准是该模型类的本地一致的分数函数。在模拟和实际数据上分析了CSTHEELE的性能,在那里我们看到与CSTREELE而不是一般上演树的建模不会导致预测精度的显着损失,同时提供了特定于上下文的因果信息的DAG表示。
translated by 谷歌翻译
We consider the problem of recovering the causal structure underlying observations from different experimental conditions when the targets of the interventions in each experiment are unknown. We assume a linear structural causal model with additive Gaussian noise and consider interventions that perturb their targets while maintaining the causal relationships in the system. Different models may entail the same distributions, offering competing causal explanations for the given observations. We fully characterize this equivalence class and offer identifiability results, which we use to derive a greedy algorithm called GnIES to recover the equivalence class of the data-generating model without knowledge of the intervention targets. In addition, we develop a novel procedure to generate semi-synthetic data sets with known causal ground truth but distributions closely resembling those of a real data set of choice. We leverage this procedure and evaluate the performance of GnIES on synthetic, real, and semi-synthetic data sets. Despite the strong Gaussian distributional assumption, GnIES is robust to an array of model violations and competitive in recovering the causal structure in small- to large-sample settings. We provide, in the Python packages "gnies" and "sempler", implementations of GnIES and our semi-synthetic data generation procedure.
translated by 谷歌翻译
在原因指导的非循环图(DAG)的结构学习问题中出现的良好研究挑战是,使用观测数据,一个人只能将图形到“马尔可夫等价类”(MEC)。剩余的无向边缘必须使用干预率定向,这可以在应用中执行昂贵。因此,最小化了全面定向MEC所需的干预次数的问题已经得到了很多最近的关注,并且也是这项工作的重点。我们证明了两个主要结果。第一个是一种新的通用下限,在任何算法(无论是主动或被动)需要执行的原子干预次数,以便定向给定的MEC。我们的第二个结果表明,这一界限实际上是可以定位MEC的最小原子干预措施的两个大小的因素。我们的下限比以前已知的下限更好。我们的下限证明是基于CBSP订购的新概念,这是没有V-Surructure的DAG的拓扑排序,并满足某些特殊属性。此外,在综合图上使用模拟,并通过赋予特殊图家庭的示例,我们表明我们的界限往往明显更好。
translated by 谷歌翻译
在观察性研究中,经常遇到有关存在或缺乏因果边缘和路径的因果背景知识。由于背景知识而导致的马尔可夫等效dag的子类共享的指向边缘和链接可以由因果关系最大部分定向的无循环图(MPDAG)表示。在本文中,我们首先提供了因果MPDAG的声音和完整的图形表征,并提供了因果MPDAG的最小表示。然后,我们介绍了一种名为Direct Causal子句(DCC)的新颖表示,以统一形式表示所有类型的因果背景知识。使用DCC,我们研究因果背景知识的一致性和等效性,并表明任何因果背景知识集都可以等效地分解为因果MPDAG,以及最小的残留DCC。还提供了多项式时间算法,以检查一致性,等效性并找到分解的MPDAG和残留DCC。最后,有了因果背景知识,我们证明了一个足够且必要的条件来识别因果关系,并且出人意料地发现因果效应的可识别性仅取决于分解的MPDAG。我们还开发了局部IDA型算法,以估计无法识别效应的可能值。模拟表明因果背景知识可以显着提高因果影响的识别性。
translated by 谷歌翻译
We study experiment design for unique identification of the causal graph of a system where the graph may contain cycles. The presence of cycles in the structure introduces major challenges for experiment design as, unlike acyclic graphs, learning the skeleton of causal graphs with cycles may not be possible from merely the observational distribution. Furthermore, intervening on a variable in such graphs does not necessarily lead to orienting all the edges incident to it. In this paper, we propose an experiment design approach that can learn both cyclic and acyclic graphs and hence, unifies the task of experiment design for both types of graphs. We provide a lower bound on the number of experiments required to guarantee the unique identification of the causal graph in the worst case, showing that the proposed approach is order-optimal in terms of the number of experiments up to an additive logarithmic term. Moreover, we extend our result to the setting where the size of each experiment is bounded by a constant. For this case, we show that our approach is optimal in terms of the size of the largest experiment required for uniquely identifying the causal graph in the worst case.
translated by 谷歌翻译
因果结构学习是许多领域的关键问题。通过对感兴趣系统进行实验来学习因果结构。我们解决了设计一批实验的主要原因,每个实验中同时干预多个变量。虽然可能比常用的单变干预措施更具信息丰富,但选择这种干预措施是更具挑战性的,这是由于复合干预措施的双指数组合搜索空间。在本文中,我们开发有效的算法,以优化量化预算限制批次实验的信息性的不同目标函数。通过建立这些目标的新型子模具性质,我们为我们的算法提供近似保证。我们的算法经验上优于随机干预和算法,只能选择单变化干预。
translated by 谷歌翻译
Linear structural causal models (SCMs)-- in which each observed variable is generated by a subset of the other observed variables as well as a subset of the exogenous sources-- are pervasive in causal inference and casual discovery. However, for the task of causal discovery, existing work almost exclusively focus on the submodel where each observed variable is associated with a distinct source with non-zero variance. This results in the restriction that no observed variable can deterministically depend on other observed variables or latent confounders. In this paper, we extend the results on structure learning by focusing on a subclass of linear SCMs which do not have this property, i.e., models in which observed variables can be causally affected by any subset of the sources, and are allowed to be a deterministic function of other observed variables or latent confounders. This allows for a more realistic modeling of influence or information propagation in systems. We focus on the task of causal discovery form observational data generated from a member of this subclass. We derive a set of necessary and sufficient conditions for unique identifiability of the causal structure. To the best of our knowledge, this is the first work that gives identifiability results for causal discovery under both latent confounding and deterministic relationships. Further, we propose an algorithm for recovering the underlying causal structure when the aforementioned conditions are satisfied. We validate our theoretical results both on synthetic and real datasets.
translated by 谷歌翻译
在因果强盗问题中,动作集包括关于因果图的变量的干预。最近几位研究人员研究了这种强盗问题并指出了他们的实际应用。然而,所有现有的作品都依赖于限制性和不切实际的假设,即学习者将全面了解因果图结构前期。在本文中,我们在不知道因果图的情况下开发新的因果强盗算法。我们的算法适用于因果树,因果林和一般的因果图。我们的算法的遗憾保证大大提高了温和条件下标准多臂强盗(MAB)算法的遗传。最后,我们证明了我们的温和条件是必要的:如果没有它们,不能比标准MAB算法更好。
translated by 谷歌翻译
经常被描绘为定向的非循环图(DAG)的非环状模型已被广泛用于代表收集节点之间的定向因果关系。在本文中,我们提出了一种高效的方法来学习高尺寸案例中的线性非高斯表达,其中噪音可以是任何连续的非高斯分布。这与假设高斯噪声具有额外方差假设的高斯噪声以获得确切的DAG恢复的高斯噪声,这与大多数现有的DAG学习方法形成鲜明对比。该方法利用新颖的拓扑层概念来促进DAG学习。特别地,我们表明,拓扑层可以精确地以自下而上的方式重建,并且每个层中的节点之间的父子关系也可以一致地建立。更重要的是,拟议的方法不需要忠诚或父母的忠诚假设,这在DAG学习的文献中得到了广泛的假设。其优势也得到了各种模拟示例中的一些流行竞争对手的数值比较以及关于Covid-19的全球扩散的真实应用。
translated by 谷歌翻译
贝叶斯网络是一组$ N $随机变量的定向非循环图(DAG)(用顶点标识);贝叶斯网络分布(BND)是RV的概率分布,即在图中是马尔可夫的。这种模型的有限混合物是在较大的图表上对这些变量的投影,其具有额外的“隐藏”(或“隐藏”(或“潜伏”)随机变量$ U $,范围在$ \ {1,\ ldots,k \ $,以及从$ U $到其他每个其他顶点的指示边。这种类型的模型是对因因果推理的基础,其中$ U $模型是一种混杂效果。一个非常特殊的案例一直是在理论文学中的长期兴趣:空图。这种分布只是$ k $产品分布的混合。考虑到k $产品分布的混合物的联合分布,以识别产物分布及其混合重量,这一直是长期的问题。我们的结果是:(1)我们改善了从$ \ exp(o(k ^ 2))$到$ \ exp(o(k \ log k)的$ k $产品分布的混合物的示例复杂性(和运行时) )$。鉴于已知的$ \ exp(\ omega(k))$下限,这几乎可以最好。 (2)我们为非空图表提供了第一算法。最大程度为$ \ delta $的图表的复杂性为$ \ exp(o(k(\ delta ^ 2 + \ log k)))$。 (上述复杂性是近似和抑制辅助参数的依赖性。)
translated by 谷歌翻译
我们研究了在观察环境中贝叶斯网络的主动结构学习,其中可以从同一样本中观察到可变值数量的外部限制。随机样品是从网络变量的关节分布中得出的,算法迭代选择了在下一个样本中观察的变量。我们为此设置提出了一种新的主​​动学习算法,该算法的概率很高,其得分为$ \ epsilon $ -Close的结构达到了最佳分数。我们表明,对于我们称为稳定的一类分布,可以获得示例复杂性降低到$ \ widetilde {\ omega}(d^3)$,其中$ d $是网络变量的数量,其中$ d $是。我们进一步表明,在最坏的情况下,积极算法的样品复杂性保证与天真基线算法的样本复杂性几乎相同。为了补充理论结果,我们报告了将新活性算法与天真基线的性能进行比较的实验,并证明了样品复杂性的改善。在https://github.com/noabdavid/activebnsl上提供了算法和实验的代码。
translated by 谷歌翻译