贝叶斯网络是一组$ N $随机变量的定向非循环图（DAG）（用顶点标识）;贝叶斯网络分布（BND）是RV的概率分布，即在图中是马尔可夫的。这种模型的有限混合物是在较大的图表上对这些变量的投影，其具有额外的“隐藏”（或“隐藏”（或“潜伏”）随机变量$ U $，范围在$ \ {1，\ ldots，k \ $，以及从$ U $到其他每个其他顶点的指示边。这种类型的模型是对因因果推理的基础，其中$ U $模型是一种混杂效果。一个非常特殊的案例一直是在理论文学中的长期兴趣：空图。这种分布只是$ k $产品分布的混合。考虑到k $产品分布的混合物的联合分布，以识别产物分布及其混合重量，这一直是长期的问题。我们的结果是：（1）我们改善了从$ \ exp（o（k ^ 2））$到$ \ exp（o（k \ log k）的$ k $产品分布的混合物的示例复杂性（和运行时） ）$。鉴于已知的$ \ exp（\ omega（k））$下限，这几乎可以最好。 （2）我们为非空图表提供了第一算法。最大程度为$ \ delta $的图表的复杂性为$ \ exp（o（k（\ delta ^ 2 + \ log k）））$。 （上述复杂性是近似和抑制辅助参数的依赖性。）

我们研究了在存在潜在变量存在下从数据重建因果图形模型的问题。感兴趣的主要问题是在潜在变量上恢复因果结构，同时允许一般，可能在变量之间的非线性依赖性。在许多实际问题中，原始观测之间的依赖性（例如，图像中的像素）的依赖性比某些高级潜在特征（例如概念或对象）之间的依赖性要小得多，这是感兴趣的设置。我们提供潜在表示和潜在潜在因果模型的条件可通过减少到混合甲骨文来识别。这些结果突出了学习混合模型的顺序的良好研究问题与观察到和解开的基础结构的问题之间的富裕问题之间的有趣连接。证明是建设性的，并导致几种算法用于明确重建全图形模型。我们讨论高效算法并提供说明实践中算法的实验。

我们分析了在没有特定分布假设的常规设置中从观察数据的学习中学循环图形模型的复杂性。我们的方法是信息定理，并使用本地马尔可夫边界搜索程序，以便在基础图形模型中递归地构建祖先集。也许令人惊讶的是，我们表明，对于某些图形集合，一个简单的前向贪婪搜索算法（即没有向后修剪阶段）足以学习每个节点的马尔可夫边界。这显着提高了我们在节点的数量中显示的样本复杂性。然后应用这一点以在从文献中概括存在现有条件的新型标识性条件下学习整个图。作为独立利益的问题，我们建立了有限样本的保障，以解决从数据中恢复马尔可夫边界的问题。此外，我们将我们的结果应用于特殊情况的Polytrees，其中假设简化，并提供了多项识别的明确条件，并且在多项式时间中可以识别和可知。我们进一步说明了算法在仿真研究中易于实现的算法的性能。我们的方法是普遍的，用于无需分布假设的离散或连续分布，并且由于这种棚灯对有效地学习来自数据的定向图形模型结构所需的最小假设。

我们研究在有关系统的结构侧信息时学习一组变量的贝叶斯网络（BN）的问题。众所周知，学习一般BN的结构在计算上和统计上具有挑战性。然而，通常在许多应用中，关于底层结构的侧面信息可能会降低学习复杂性。在本文中，我们开发了一种基于递归约束的算法，其有效地将这些知识（即侧信息）纳入学习过程。特别地，我们研究了关于底层BN的两种类型的结构侧信息：（i）其集团数的上限是已知的，或者（ii）它是无菱形的。我们为学习算法提供理论保证，包括每个场景所需的最坏情况的测试数量。由于我们的工作，我们表明可以通过多项式复杂性学习有界树木宽度BNS。此外，我们评估了综合性和现实世界结构的算法的性能和可扩展性，并表明它们优于最先进的结构学习算法。

We study the following independence testing problem: given access to samples from a distribution $P$ over $\{0,1\}^n$, decide whether $P$ is a product distribution or whether it is $\varepsilon$-far in total variation distance from any product distribution. For arbitrary distributions, this problem requires $\exp(n)$ samples. We show in this work that if $P$ has a sparse structure, then in fact only linearly many samples are required. Specifically, if $P$ is Markov with respect to a Bayesian network whose underlying DAG has in-degree bounded by $d$, then $\tilde{\Theta}(2^{d/2}\cdot n/\varepsilon^2)$ samples are necessary and sufficient for independence testing.

我们考虑从数据学习树结构ising模型的问题，使得使用模型计算的后续预测是准确的。具体而言，我们的目标是学习一个模型，使得小组变量$ S $的后海报$ p（x_i | x_s）$。自推出超过50年以来，有效计算最大似然树的Chow-Liu算法一直是学习树结构图形模型的基准算法。 [BK19]示出了关于以预测的局部总变化损耗的CHOW-LIU算法的样本复杂性的界限。虽然这些结果表明，即使在恢复真正的基础图中也可以学习有用的模型是不可能的，它们的绑定取决于相互作用的最大强度，因此不会达到信息理论的最佳选择。在本文中，我们介绍了一种新的算法，仔细结合了Chow-Liu算法的元素，以便在预测的损失下有效地和最佳地学习树ising模型。我们的算法对模型拼写和对抗损坏具有鲁棒性。相比之下，我们表明庆祝的Chow-Liu算法可以任意次优。

高斯贝叶斯网络（又称线性高斯结构方程模型）广泛用于建模连续变量之间的因果相互作用。在这项工作中，我们研究了学习固定结构高斯贝叶斯网络的问题，直到总变化距离有界误差。我们分析了常用的节点最小二乘回归（最小值），并证明其具有近乎最佳的样品复杂性。我们还研究了一些问题的新算法： - batchavgleastsquares平均在每个节点处采用最小二乘解决方案的几批批次，因此可以在批次大小和批次数量之间插入。我们表明，batchavgleastsquares也具有接近最佳的样品复杂性。 -Cauchyest将解决方案的中位数带到每个节点处的几批线性系统。我们表明，专门针对Polytrees的算法Cauchyesttree具有接近最佳的样品复杂性。在实验上，我们表明，对于未经污染的，可实现的数据，最小值的算法表现最好，但是在存在污染或dag sillsperification的情况下，cauchyest/cauchyesttree和batchavgleastsquares的性能更好。

常用图是表示和可视化因果关系的。对于少量变量，这种方法提供了简洁和清晰的方案的视图。随着下属的变量数量增加，图形方法可能变得不切实际，并且表示的清晰度丢失。变量的聚类是减少因果图大小的自然方式，但如果任意实施，可能会错误地改变因果关系的基本属性。我们定义了一种特定类型的群集，称为Transit Cluster，保证在某些条件下保留因果效应的可识别性属性。我们提供了一种用于在给定图中查找所有传输群集的声音和完整的算法，并演示集群如何简化因果效应的识别。我们还研究了逆问题，其中一个人以群集的图形开始，寻找扩展图，其中因果效应的可识别性属性保持不变。我们表明这种结构稳健性与过境集群密切相关。

研究了与隐藏变量有关的非循环图（DAG）相关的因果模型中因果效应的识别理论。然而，由于估计它们输出的识别功能的复杂性，因此未耗尽相应的算法。在这项工作中，我们弥合了识别和估算涉及单一治疗和单一结果的人口水平因果效应之间的差距。我们派生了基于功能的估计，在大类隐藏变量DAG中表现出对所识别的效果的双重稳健性，其中治疗满足简单的图形标准;该类包括模型，产生调整和前门功能作为特殊情况。我们还提供必要的和充分条件，其中隐藏变量DAG的统计模型是非分子饱和的，并且意味着对观察到的数据分布没有平等约束。此外，我们推导了一类重要的隐藏变量DAG，这意味着观察到观察到的数据分布等同于完全观察到的DAG等同于（最高的相等约束）。在这些DAG类中，我们推出了实现兴趣目标的半导体效率界限的估计估计值，该估计是治疗满足我们的图形标准的感兴趣的目标。最后，我们提供了一种完整的识别算法，可直接产生基于权重的估计策略，以了解隐藏可变因果模型中的任何可识别效果。

我们考虑代表代理模型的问题，该模型使用我们称之为CSTREES的阶段树模型的适当子类对离散数据编码离散数据的原因模型。我们表明，可以通过集合表达CSTREE编码的上下文专用信息。由于并非所有阶段树模型都承认此属性，CSTREES是一个子类，可提供特定于上下文的因果信息的透明，直观和紧凑的表示。我们证明了CSTREEES承认全球性马尔可夫属性，它产生了模型等价的图形标准，概括了Verma和珍珠的DAG模型。这些结果延伸到一般介入模型设置，使CSTREES第一族的上下文专用模型允许介入模型等价的特征。我们还为CSTREE的最大似然估计器提供了一种封闭式公式，并使用它来表示贝叶斯信息标准是该模型类的本地一致的分数函数。在模拟和实际数据上分析了CSTHEELE的性能，在那里我们看到与CSTREELE而不是一般上演树的建模不会导致预测精度的显着损失，同时提供了特定于上下文的因果信息的DAG表示。

本文研究了在因果图形模型中设计最佳干预措施序列的问题，以最大程度地减少对事后最佳干预的累积后悔。自然，这是一个因果匪徒问题。重点是线性结构方程模型（SEM）和软干预措施的因果匪徒。假定该图的结构是已知的，并且具有$ n $节点。每个节点都假定使用两种线性机制，一种软干预和一种观察性，产生了$ 2^n $可能的干预措施。现有的因果匪徒算法假设，至少完全指定了奖励节点父母的介入分布。但是，有$ 2^n $这样的分布（一个与每个干预措施相对应），即使在中等尺寸的图中也变得越来越高。本文分配了知道这些分布的假设。提出了两种算法，用于常见者（基于UCB）和贝叶斯（基于汤普森采样）的设置。这些算法的关键思想是避免直接估计$ 2^n $奖励分布，而是估算完全指定SEMS（$ n $线性）的参数，并使用它们来计算奖励。在这两种算法中，在噪声和参数空间的有界假设下，累积遗憾的是$ \ tilde {\ cal o}（（（2d）^l l \ sqrt {t}）$，其中$ d $是图的最高度和$ l $是其最长因果路径的长度。

我们研究了清单可解放的平均估计问题，而对手可能会破坏大多数数据集。具体来说，我们在$ \ mathbb {r} ^ $和参数$ 0 <\ alpha <\ frac 1 2 $中给出了一个$ $ n $ points的$ t $ points。$ \ alpha $ -flaction的点$ t $是iid来自乖巧的分发$ \ Mathcal {D} $的样本，剩余的$（1- \ alpha）$ - 分数是任意的。目标是输出小型的vectors列表，其中至少一个接近$ \ mathcal {d} $的均值。我们开发新的算法，用于列出可解码的平均值估计，实现几乎最佳的统计保证，运行时间$ O（n ^ {1 + \ epsilon_0} d）$，适用于任何固定$ \ epsilon_0> 0 $。所有先前的此问题算法都有额外的多项式因素在$ \ frac 1 \ alpha $。我们与额外技术一起利用此结果，以获得用于聚类混合物的第一个近几个线性时间算法，用于分开的良好表现良好的分布，几乎匹配谱方法的统计保证。先前的聚类算法本身依赖于$ k $ -pca的应用程序，从而产生$ \ omega（n d k）$的运行时。这标志着近二十年来这个基本统计问题的第一次运行时间改进。我们的方法的起点是基于单次矩阵乘法权重激发电位减少的$ \ Alpha \至1 $制度中的新颖和更简单的近线性时间较强的估计算法。在Diakonikolas等人的迭代多滤波技术的背景下，我们迫切地利用了这种新的算法框架。 '18，'20，提供一种使用一维投影的同时群集和下群点的方法 - 因此，绕过先前算法所需的$ k $ -pca子程序。

Pearl's Do Colculus是一种完整的公理方法，可以从观察数据中学习可识别的因果效应。如果无法识别这种效果，则有必要在系统中执行经常昂贵的干预措施以学习因果效应。在这项工作中，我们考虑了设计干预措施以最低成本来确定所需效果的问题。首先，我们证明了这个问题是NP-HARD，随后提出了一种可以找到最佳解或对数因子近似值的算法。这是通过在我们的问题和最小击球设置问题之间建立联系来完成的。此外，我们提出了几种多项式启发式算法来解决问题的计算复杂性。尽管这些算法可能会偶然发现亚最佳解决方案，但我们的模拟表明它们在随机图上产生了小的遗憾。

我们考虑了在高维度中平均分离的高斯聚类混合物的问题。我们是从$ k $身份协方差高斯的混合物提供的样本，使任何两对手段之间的最小成对距离至少为$ \ delta $，对于某些参数$ \ delta> 0 $，目标是恢复这些样本的地面真相聚类。它是分离$ \ delta = \ theta（\ sqrt {\ log k}）$既有必要且足以理解恢复良好的聚类。但是，实现这种担保的估计值效率低下。我们提供了在多项式时间内运行的第一算法，几乎符合此保证。更确切地说，我们给出了一种算法，它需要多项式许多样本和时间，并且可以成功恢复良好的聚类，只要分离为$ \ delta = \ oomega（\ log ^ {1/2 + c} k）$ ，任何$ c> 0 $。以前，当分离以k $的分离和可以容忍$ \ textsf {poly}（\ log k）$分离所需的quasi arynomial时间时，才知道该问题的多项式时间算法。我们还将我们的结果扩展到分布的分布式的混合物，该分布在额外的温和假设下满足Poincar \ {e}不等式的分布。我们认为我们相信的主要技术工具是一种新颖的方式，可以隐含地代表和估计分配的​​高度时刻，这使我们能够明确地提取关于高度时刻的重要信息而没有明确地缩小全瞬间张量。

在图形因果发现的背景下，我们适应了线性非高斯无环模型（Lingams）的多功能框架，以提出新算法以有效地学习polytrees的图形。我们的方法结合了Chow- Liu算法，该算法首先学习了无向树结构，并与新的方案定向边缘。方向方案评估数据生成分布的矩之间的代数关系，并且计算便宜。我们为我们的方法建立了高维的一致性结果，并比较了数值实验中的不同算法版本。

This work considers a computationally and statistically efficient parameter estimation method for a wide class of latent variable models-including Gaussian mixture models, hidden Markov models, and latent Dirichlet allocation-which exploits a certain tensor structure in their low-order observable moments (typically, of second-and third-order). Specifically, parameter estimation is reduced to the problem of extracting a certain (orthogonal) decomposition of a symmetric tensor derived from the moments; this decomposition can be viewed as a natural generalization of the singular value decomposition for matrices. Although tensor decompositions are generally intractable to compute, the decomposition of these specially structured tensors can be efficiently obtained by a variety of approaches, including power iterations and maximization approaches (similar to the case of matrices). A detailed analysis of a robust tensor power method is provided, establishing an analogue of Wedin's perturbation theorem for the singular vectors of matrices. This implies a robust and computationally tractable estimation approach for several popular latent variable models.

我们提出了改进的算法，并为身份测试$ n $维分布的问题提供了统计和计算下限。在身份测试问题中，我们将作为输入作为显式分发$ \ mu $，$ \ varepsilon> 0 $，并访问对隐藏分布$ \ pi $的采样甲骨文。目标是区分两个分布$ \ mu $和$ \ pi $是相同的还是至少$ \ varepsilon $ -far分开。当仅从隐藏分布$ \ pi $中访问完整样本时，众所周知，可能需要许多样本，因此以前的作品已经研究了身份测试，并额外访问了各种有条件采样牙齿。我们在这里考虑一个明显弱的条件采样甲骨文，称为坐标Oracle，并在此新模型中提供了身份测试问题的相当完整的计算和统计表征。我们证明，如果一个称为熵的分析属性为可见分布$ \ mu $保留，那么对于任何使用$ \ tilde {o}（n/\ tilde {o}），有一个有效的身份测试算法Varepsilon）$查询坐标Oracle。熵的近似张力是一种经典的工具，用于证明马尔可夫链的最佳混合时间边界用于高维分布，并且最近通过光谱独立性为许多分布族建立了最佳的混合时间。我们将算法结果与匹配的$ \ omega（n/\ varepsilon）$统计下键进行匹配的算法结果补充，以供坐标Oracle下的查询数量。我们还证明了一个计算相变：对于$ \ {+1，-1，-1 \}^n $以上的稀疏抗抗铁磁性模型，在熵失败的近似张力失败的状态下，除非RP = np，否则没有有效的身份测试算法。

Learning causal structure from observational data often assumes that we observe independent and identically distributed (i.\,i.\,d) data. The traditional approach aims to find a graphical representation that encodes the same set of conditional independence relationships as those present in the observed distribution. It is known that under i.\,i.\,d assumption, even with infinite data, there is a limit to how fine-grained a causal structure we can identify. To overcome this limitation, recent work has explored using data originating from different, related environments to learn richer causal structure. These approaches implicitly rely on the independent causal mechanisms (ICM) principle, which postulates that the mechanism giving rise to an effect given its causes and the mechanism which generates the causes do not inform or influence each other. Thus, components of the causal model can independently change from environment to environment. Despite its wide application in machine learning and causal inference, there is a lack of statistical formalization of the ICM principle and how it enables identification of richer causal structures from grouped data. Here we present new causal de Finetti theorems which offer a first statistical formalization of ICM principle and show how causal structure identification is possible from exchangeable data. Our work provides theoretical justification for a broad range of techniques leveraging multi-environment data to learn causal structure.

混合模型被广泛用于拟合复杂和多模式数据集。在本文中，我们研究了具有高维稀疏潜在参数矢量的混合物，并考虑了支持这些向量的恢复的问题。尽管对混合模型中的参数学习进行了充分研究，但稀疏性约束仍然相对尚未探索。参数向量的稀疏性是各种设置的自然约束，支持恢复是参数估计的主要步骤。我们为支持恢复提供有效的算法，该算法具有对数样品的复杂性依赖于潜在空间的维度。我们的算法非常笼统，即它们适用于1）许多不同规范分布的混合物，包括统一，泊松，拉普拉斯，高斯人等。2）在统一参数的不同假设下，线性回归和线性分类器与高斯协变量的混合物与高斯协变量的混合物。在大多数这些设置中，我们的结果是对问题的首先保证，而在其余部分中，我们的结果为现有作品提供了改进。

我们研究了在存在$ \ epsilon $ - 对抗异常值的高维稀疏平均值估计的问题。先前的工作为此任务获得了该任务的样本和计算有效算法，用于辅助性Subgaussian分布。在这项工作中，我们开发了第一个有效的算法，用于强大的稀疏平均值估计，而没有对协方差的先验知识。对于$ \ Mathbb r^d $上的分布，带有“认证有限”的$ t $ tum-矩和足够轻的尾巴，我们的算法达到了$ o（\ epsilon^{1-1/t}）$带有样品复杂性$的错误（\ epsilon^{1-1/t}） m =（k \ log（d））^{o（t）}/\ epsilon^{2-2/t} $。对于高斯分布的特殊情况，我们的算法达到了$ \ tilde o（\ epsilon）$的接近最佳错误，带有样品复杂性$ m = o（k^4 \ mathrm {polylog}（d）（d））/\ epsilon^^ 2 $。我们的算法遵循基于方形的总和，对算法方法的证明。我们通过统计查询和低度多项式测试的下限来补充上限，提供了证据，表明我们算法实现的样本时间 - 错误权衡在质量上是最好的。