本文考虑通过最小化Stein损失来估算高维拉普人约束精密矩阵的问题。我们获得了这种估计器存在的必要和充分条件，这归结为检查某些数据相关图是否已连接。我们还在对称沥青损失下的高维设置中证明了一致性。我们表明错误率不依赖于图形稀疏性，或其他类型的结构，并且Laplacian约束足以实现高维一致性。我们的证据利用图拉普拉斯人的性质，以及基于有效图电阻的提出估计的表征。我们通过数值实验验证了我们的理论索赔。

众所周知，许多网络系统，例如电网，大脑和舆论动态社交网络，都可以遵守保护法。这种现象的例子包括电网中的基尔乔夫法律和社交网络中的意见共识。网络系统中的保护定律可以建模为$ x = b^{*} y $的平衡方程，其中$ b^{*} $的稀疏模式捕获了网络的连接，$ y，x \在\ mathbb {r}^p $中分别是节点上“电势”和“注入流”的向量。节点电位$ y $会导致跨边缘的流量，并且在节点上注入的流量$ x $是网络动力学的无关紧要的。在几个实用的系统中，网络结构通常是未知的，需要从数据估算。为此，可以访问节点电位$ y $的样本，但只有节点注射$ x $的统计信息。在这个重要问题的激励下，我们研究了$ n $ y $ y $ y $ y $ y $ y $ y $ y $ b^{*} $稀疏结构的估计，假设节点注射$ x $遵循高斯分布，并带有已知的发行协方差$ \ sigma_x $。我们建议在高维度中为此问题的新$ \ ell_ {1} $ - 正则最大似然估计器，网络的大小$ p $大于样本量$ n $。我们表明，此优化问题是目标中的凸，并接受了独特的解决方案。在新的相互不一致的条件下，我们在三重$（n，p，d）$上建立了足够的条件，对于$ b^{*} $的精确稀疏恢复是可能的； $ d $是图的程度。我们还建立了在元素最大，Frobenius和运营商规范中回收$ b^{*} $的保证。最后，我们通过对拟议估计量对合成和现实世界数据的性能进行实验验证来补充这些理论结果。

我们研究了估计多元高斯分布中的精度矩阵的问题，其中所有部分相关性都是非负面的，也称为多变量完全阳性的顺序阳性（$ \ mathrm {mtp} _2 $）。近年来，这种模型得到了重大关注，主要是由于有趣的性质，例如，无论底层尺寸如何，最大似然估计值都存在于两个观察。我们将此问题作为加权$ \ ell_1 $ -norm正常化高斯的最大似然估计下$ \ mathrm {mtp} _2 $约束。在此方向上，我们提出了一种新颖的预计牛顿样算法，该算法包含精心设计的近似牛顿方向，这导致我们具有与一阶方法相同的计算和内存成本的算法。我们证明提出的预计牛顿样算法会聚到问题的最小值。从理论和实验中，我们进一步展示了我们使用加权$ \ ell_1 $ -norm的制剂的最小化器能够正确地恢复基础精密矩阵的支持，而无需在$ \ ell_1 $ -norm中存在不连贯状态方法。涉及合成和实世界数据的实验表明，我们所提出的算法从计算时间透视比最先进的方法显着更有效。最后，我们在金融时序数据中应用我们的方法，这些数据对于显示积极依赖性，在那里我们在学习金融网络上的模块间值方面观察到显着性能。

我们考虑学习底层多变量数据的稀疏无向图的问题。我们专注于稀疏精度矩阵上的图表拉普拉斯相关的约束，它在与图形节点相关联的随机变量之间编码条件依赖性。在这些约束下，精度矩阵的偏差元素是非正（总阳性），并且精度矩阵可能不是全级。我们调查了对广泛使用惩罚的日志似然方法来强制执行总积极性但不是拉普拉斯结构的修改。然后可以从非对角线精密矩阵中提取图拉普拉斯。乘法器（ADMM）算法的交替方向方法被提出和分析了Laplacian相关约束和套索的约束优化以及自适应套索处罚。基于合成数据的数值结果表明，所提出的约束的自适应套索方法显着优于现有的基于拉普拉斯的方法。我们还评估了我们对实际财务数据的方法。

Graph learning problems are typically approached by focusing on learning the topology of a single graph when signals from all nodes are available. However, many contemporary setups involve multiple related networks and, moreover, it is often the case that only a subset of nodes is observed while the rest remain hidden. Motivated by this, we propose a joint graph learning method that takes into account the presence of hidden (latent) variables. Intuitively, the presence of the hidden nodes renders the inference task ill-posed and challenging to solve, so we overcome this detrimental influence by harnessing the similarity of the estimated graphs. To that end, we assume that the observed signals are drawn from a Gaussian Markov random field with latent variables and we carefully model the graph similarity among hidden (latent) nodes. Then, we exploit the structure resulting from the previous considerations to propose a convex optimization problem that solves the joint graph learning task by providing a regularized maximum likelihood estimator. Finally, we compare the proposed algorithm with different baselines and evaluate its performance over synthetic and real-world graphs.

Bradley-terry-luce（BTL）模型是一种流行的统计方法，用于使用成对比较估算项目集合的全局排名。为了确保准确的排名，必须在$ \ ell _ {\ infty} $损失中获得模型参数的精确估计。该任务的难度取决于给定项目对成对比较图的拓扑。但是，除了很少有良好的情况外，例如完整和ERD \“ OS-r \'enyi比较图，对$ \ ell_中BTL模型参数的最大似然估计量mLE的性能鲜为人知。 {\ infty} $ - 在更通用的图形拓扑下的损失。在本文中，我们在$ \ ell _ {\ infty} $估计错误的btl mLE估计误差上得出了小说的一般上限，该错误明确取决于比较的代数连接性图，跨项目和样本复杂性的最大性能差距。我们证明，与使用不同的损失函数以及更受限制的假设和图形拓扑获得的已知结果相比，派生的界限性能很好，并且在某些情况下相比更为敏锐。我们将结果仔细比较我们的结果与我们的结果进行比较。 Yan等人（2012年），它在精神上最接近我们的工作。我们进一步提供了$ \ ell _ {\ infty} $下的最小值下限 - 错误几乎与一类足够常规的图形拓扑相匹配。最后。 ，我们St udy，我们的$ \ ell _ {\ infty} $的含义是高效（离线）锦标赛设计的界限。我们通过各种示例和模拟来说明和讨论我们的发现。

多变量功能数据的协方差结构可以高度复杂，特别是如果多变量维度大，则使标准多变量数据的统计方法的扩展到功能数据设置具有挑战性。例如，通过将多变量方法应用于截断的基础扩展系数，最近已经扩展到高斯图形模型。然而，与多变量数据相比的关键难度是协方差操作员紧凑，因此不可逆转。本文中的方法论地解决了多元函数数据的协方差建模的一般问题，特别是特定功能性高斯图形模型。作为第一步，提出了多变量功能数据的协方差运算符的可分离性的新概念，称为部分可分离性，导致这种数据的新型Karhunen-Lo \“Eve型扩展。接下来，示出部分可分离结构是特别有用的，以提供可以用一系列有限维图形模型，每个相同的固定尺寸识别的明确定义的功能高斯图形模型。这通过应用联合图形套索来激发一个简单有效的估计过程。通过在电机任务期间的模拟和分析功能性脑连接的仿真和分析来评估图形模型估计方法的经验性能。通过在电机任务期间的仿真和分析来评估图形模型估计方法的百分比实证性能。

在本文中，我们考虑了一个$ {\ rm u}（1）$ - 连接图，也就是说，每个方向的边缘都赋予了一个单位模量复杂的数字，该数字在方向翻转下简单地结合了。当时，组合laplacian的自然替代品是所谓的磁性拉普拉斯（Hermitian Matrix），其中包括有关图形连接的信息。连接图和磁性拉普拉斯人出现，例如在角度同步问题中。在较大且密集的图的背景下，我们在这里研究了磁性拉普拉斯的稀疏器，即基于边缘很少的子图的光谱近似值。我们的方法依赖于使用自定义的确定点过程对跨越森林（MTSF）进行取样，这是一种比偏爱多样性的边缘的分布。总而言之，MTSF是一个跨越子图，其连接的组件是树或周期根的树。后者部分捕获了连接图的角不一致，因此提供了一种压缩连接中包含的信息的方法。有趣的是，当此连接图具有弱不一致的周期时，可以通过使用循环弹出的随机行走来获得此分布的样本。我们为选择Laplacian的自然估计量提供了统计保证，并调查了我们的Sparsifier在两个应用中的实际应用。

在许多应用程序（例如运动锦标赛或推荐系统）中，我们可以使用该数据，包括一组$ n $项目（或玩家）之间的成对比较。目的是使用这些数据来推断每个项目和/或其排名的潜在强度。此问题的现有结果主要集中在由单个比较图$ g $组成的设置上。但是，存在成对比较数据随时间发展的场景（例如体育比赛）。这种动态设置的理论结果相对有限，是本文的重点。我们研究\ emph {翻译同步}问题的扩展，到动态设置。在此设置中，我们给出了一系列比较图$（g_t）_ {t \ in \ mathcal {t}} $，其中$ \ nathcal {t} \ subset [0,1] $是代表时间的网格域，对于每个项目$ i $和time $ t \ in \ mathcal {t} $，有一个关联的未知强度参数$ z^*_ {t，i} \ in \ mathbb {r} $。我们的目标是恢复，以$ t \在\ Mathcal {t} $中，强度向量$ z^*_ t =（z^*_ {t，1}，\ cdots，z^*_ {t，n}） $从$ z^*_ {t，i} -z^*_ {t，j} $的噪声测量值中，其中$ \ {i，j \} $是$ g_t $中的边缘。假设$ z^*_ t $在$ t $中顺利地演变，我们提出了两个估计器 - 一个基于平滑度的最小二乘方法，另一个基于对合适平滑度操作员低频本质空间的投影。对于两个估计器，我们为$ \ ell_2 $估计错误提供有限的样本范围，假设$ g_t $已连接到\ mathcal {t} $中的所有$ t \网格尺寸$ | \ MATHCAL {T} | $。我们通过有关合成和真实数据的实验来补充理论发现。

在本文中，我们研究了推断空间变化的高斯马尔可夫随机场（SV-GMRF）的问题，其中的目标是学习代表基因之间网络关系的稀疏，特定于上下文的GMRF网络。 SV-GMRF的一个重要应用是推断来自空间分辨转录组学数据集的基因调节网络。当前有关SV-GMRF推断的工作基于正则最大似然估计（MLE），并且由于其高度非线性的性质而受到压倒性的计算成本。为了减轻这一挑战，我们提出了一个简单有效的优化问题，代替了配备强大的统计和计算保证的MLE。我们提出的优化问题在实践中非常有效：我们可以在不到2分钟的时间内解决具有超过200万变量的SV-GMRF的实例。我们将开发的框架应用于研究胶质母细胞瘤中的基因调节网络如何在组织内部空间重新连接，并确定转录因子Hes4和核糖体蛋白的显着活性是表征肿瘤血管周期壁iche中基因表达网络的特征抗性干细胞。

我们提出了一种凸锥程序，可推断随机点产品图（RDPG）的潜在概率矩阵。优化问题最大化Bernoulli最大似然函数，增加核规范正则化术语。双重问题具有特别良好的形式，与众所周知的SemideFinite程序放松MaxCut问题有关。使用原始双功率条件，我们绑定了原始和双解决方案的条目和等级。此外，我们在轻微的技术假设下绑定了最佳目标值并证明了略微修改模型的概率估计的渐近一致性。我们对合成RDPG的实验不仅恢复了自然集群，而且还揭示了原始数据的下面的低维几何形状。我们还证明该方法在空手道俱乐部图表和合成美国参议图中恢复潜在结构，并且可以扩展到最多几百个节点的图表。

在本文中，我们考虑了使用$ \ ell_1 $ regularized logistic回归的方法来估算与高维iSing模型相关的图形的元学习问题，用于每个节点的邻域选择。我们的目标是在学习新任务中使用从辅助任务中学到的信息来降低其足够的样本复杂性。为此，我们提出了一种新颖的生成模型以及不当的估计方法。在我们的设置中，所有任务均为\ emph {相似}在其\ emph {Random}模型参数和支持中。通过将所有样品从辅助任务汇总到\ emph {不正确}估计一个参数向量，我们可以恢复假定的尺寸很小的真实支持联合，具有很高的概率，具有足够的样品复杂性为$ \ omega（1） $每任务，对于$ k = \ omega（d^3 \ log P）$具有$ p $节点和最大邻域大小$ d $的ISING型号的任务。然后，在对新任务的支持仅限于估计的支持联盟的支持下，我们证明，可以通过降低$ \ omega（d^3 \ log d）$的足够样品复杂性来获得新任务的一致邻居选择。

在图形因果发现的背景下，我们适应了线性非高斯无环模型（Lingams）的多功能框架，以提出新算法以有效地学习polytrees的图形。我们的方法结合了Chow- Liu算法，该算法首先学习了无向树结构，并与新的方案定向边缘。方向方案评估数据生成分布的矩之间的代数关系，并且计算便宜。我们为我们的方法建立了高维的一致性结果，并比较了数值实验中的不同算法版本。

我们考虑从有限的嘈杂图形信号观察中学习图表的问题，其目标是找到图形信号的平滑表示。这种问题是通过在大型数据集中推断的关系结构，并且近年来广泛研究了这种问题。大多数现有方法专注于学习观察信号平滑的图表。但是，学习的图表容易过度拟合，因为它不会考虑未观察到的信号。为了解决这个问题，我们提出了一种基于分布稳健优化方法的新型图形学习模型，该模型旨在识别不仅提供了对观察信号中的不确定性的平滑表示的图表。在统计方面，我们建立了我们提出的模型的样本绩效保障。在优化方面，我们表明，在曲线图信号分布的温和假设下，我们提出的模型承认了平滑的非凸优化配方。然后，我们开发了一个预测的渐变方法来解决这一制定并建立其收敛保证。我们的配方在图形学习环境中提供了一个新的正则化视角。此外，综合和实世界数据的广泛数值实验表明，根据各种度量的观察信号的不同群体的模型具有比较不同的群体的较强的性能。

我们考虑发现$ k $相关的高斯定向的非循环图（DAG）的问题，其中涉及的图形结构共享一致的因果秩序和支持的支持。在多任务学习设置下，我们提出了$ L_1 / L_2 $ -Regularized最大似然估计器（MLE），用于学习$ K $线性结构方程模型。理论上我们表明，通过利用相关任务利用数据来实现联合估算器可以实现比单独的估计更好的采样复杂性来恢复因果秩序（或拓扑阶）。此外，联合估计器能够通过与一些可识别的DAG一起估计它们来恢复不可识别的DAG。最后，我们的分析还显示了联盟支持恢复的协会的一致性。为了允许实际实现，我们设计了一种连续的优化问题，其优化器与联合估计器相同，并且可以通过迭代算法有效地近似。我们验证了实验中联合估计器的理论分析和有效性。

作为估计高维网络的工具，图形模型通常应用于钙成像数据以估计功能性神经元连接，即神经元活动之间的关系。但是，在许多钙成像数据集中，没有同时记录整个神经元的人群，而是部分重叠的块。如（Vinci等人2019年）最初引入的，这导致了图形缝问题，在该问题中，目的是在仅观察到功能的子集时推断完整图的结构。在本文中，我们研究了一种新颖的两步方法来绘制缝的方法，该方法首先使用低级协方差完成技术在估计图结构之前使用低级协方差完成技术划分完整的协方差矩阵。我们介绍了三种解决此问题的方法：阻止奇异价值分解，核标准惩罚和非凸低级别分解。尽管先前的工作已经研究了低级别矩阵的完成，但我们解决了阻碍遗失的挑战，并且是第一个在图形学习背景下研究问题的挑战。我们讨论了两步过程的理论特性，通过证明新颖的l无限 - 基 - 误差界的矩阵完成，以块错失性证明了一种提出的方​​法的图选择一致性。然后，我们研究了所提出的方法在模拟和现实世界数据示例上的经验性能，通过该方法，我们显示了这些方法从钙成像数据中估算功能连通性的功效。

矩阵正常模型，高斯矩阵变化分布的系列，其协方差矩阵是两个较低尺寸因子的Kronecker乘积，经常用于模拟矩阵变化数据。张量正常模型将该家庭推广到三个或更多因素的Kronecker产品。我们研究了矩阵和张量模型中协方差矩阵的Kronecker因子的估计。我们向几个自然度量中的最大似然估计器（MLE）实现的误差显示了非因素界限。与现有范围相比，我们的结果不依赖于条件良好或稀疏的因素。对于矩阵正常模型，我们所有的所有界限都是最佳的对数因子最佳，对于张量正常模型，我们对最大因数和整体协方差矩阵的绑定是最佳的，所以提供足够的样品以获得足够的样品以获得足够的样品常量Frobenius错误。在与我们的样本复杂性范围相同的制度中，我们表明迭代程序计算称为触发器算法称为触发器算法的MLE的线性地收敛，具有高概率。我们的主要工具是Fisher信息度量诱导的正面矩阵的几何中的测地强凸性。这种强大的凸起由某些随机量子通道的扩展来决定。我们还提供了数值证据，使得将触发器算法与简单的收缩估计器组合可以提高缺乏采样制度的性能。

We consider the problem of learning the structure underlying a Gaussian graphical model when the variables (or subsets thereof) are corrupted by independent noise. A recent line of work establishes that even for tree-structured graphical models, only partial structure recovery is possible and goes on to devise algorithms to identify the structure up to an (unavoidable) equivalence class of trees. We extend these results beyond trees and consider the model selection problem under noise for non tree-structured graphs, as tree graphs cannot model several real-world scenarios. Although unidentifiable, we show that, like the tree-structured graphs, the ambiguity is limited to an equivalence class. This limited ambiguity can help provide meaningful clustering information (even with noise), which is helpful in computer and social networks, protein-protein interaction networks, and power networks. Furthermore, we devise an algorithm based on a novel ancestral testing method for recovering the equivalence class. We complement these results with finite sample guarantees for the algorithm in the high-dimensional regime.

在许多应用中，我们获得了流畅的函数的嘈杂模态样本的访问，其目标是鲁棒地解开样本，即估计该功能的原始样本。在最近的工作中，Cucuringu和Tyagi通过首先将它们代表在单元复杂圆上，然后解决平滑度规则化最小二乘问题 - Laplacian的平滑度适用的Proximity Graph的平滑度$ G $ - ON单位圆的产品歧管。这个问题是二次受约束的二次程序（QCQP），其是非凸显的，因此提出解决其球形放松导致信任区域子问题（TRS）。就理论担保而言，派生$ \ ell_2 $错误界限（trs）。然而，这些界限通常弱，并且没有真正证明由（TRS）进行的去噪。在这项工作中，我们分析（TRS）以及（QCQP）的不受约束的放松。对于这些估算器，我们在高斯噪声的设置中提供了一种精致的分析，并导出了噪音制度，其中他们可否证明模数观察W.R.T $ \ ell_2 $常规。分析在$ G $是任何连接的图形中的常规设置中进行。

对于高维和非参数统计模型，速率最优估计器平衡平方偏差和方差是一种常见的现象。虽然这种平衡被广泛观察到，但很少知道是否存在可以避免偏差和方差之间的权衡的方法。我们提出了一般的策略，以获得对任何估计方差的下限，偏差小于预先限定的界限。这表明偏差差异折衷的程度是不可避免的，并且允许量化不服从其的方法的性能损失。该方法基于许多抽象的下限，用于涉及关于不同概率措施的预期变化以及诸如Kullback-Leibler或Chi-Sque-diversence的信息措施的变化。其中一些不平等依赖于信息矩阵的新概念。在该物品的第二部分中，将抽象的下限应用于几种统计模型，包括高斯白噪声模型，边界估计问题，高斯序列模型和高维线性回归模型。对于这些特定的统计应用，发生不同类型的偏差差异发生，其实力变化很大。对于高斯白噪声模型中集成平方偏置和集成方差之间的权衡，我们将较低界限的一般策略与减少技术相结合。这允许我们将原始问题与估计的估计器中的偏差折衷联动，以更简单的统计模型中具有额外的对称性属性。在高斯序列模型中，发生偏差差异的不同相位转换。虽然偏差和方差之间存在非平凡的相互作用，但是平方偏差的速率和方差不必平衡以实现最小估计速率。