我们考虑使用共享结构估算两个功能无向图形模型之间的差异的问题。在许多应用中，数据自然被认为是随机函数的向量而不是标量的矢量。例如，脑电图（EEG）数据更适当地被视为时间函数。在这样的问题中，不仅可以每个样本测量的函数数量大，而且每个功能都是自身是无限尺寸对象，使估计模型参数具有挑战性。这进一步复杂于曲线通常仅在离散时间点观察到。我们首先定义一个功能差异图，捕获两个功能图形模型之间的差异，并在功能性差分图定义良好时正式表征。然后，我们提出了一种方法，软件，直接估计功能差异图，而不首先估计每个图形。这在各个图形是密集的情况下，这是特别有益的，但差分图是稀疏的。我们表明，融合始终估计功能差图，即使在全面观察和离散的功能路径的高维设置中也是如此。我们通过仿真研究说明了我们方法的有限样本性质。我们还提出了一种竞争方法，该方法是关节功能图形套索，它概括了关节图形套索到功能设置。最后，我们将我们的方法应用于EEG数据，以揭示一群含有酒精使用障碍和对照组的个体之间的功能性脑连接的差异。

多变量功能数据的协方差结构可以高度复杂，特别是如果多变量维度大，则使标准多变量数据的统计方法的扩展到功能数据设置具有挑战性。例如，通过将多变量方法应用于截断的基础扩展系数，最近已经扩展到高斯图形模型。然而，与多变量数据相比的关键难度是协方差操作员紧凑，因此不可逆转。本文中的方法论地解决了多元函数数据的协方差建模的一般问题，特别是特定功能性高斯图形模型。作为第一步，提出了多变量功能数据的协方差运算符的可分离性的新概念，称为部分可分离性，导致这种数据的新型Karhunen-Lo \“Eve型扩展。接下来，示出部分可分离结构是特别有用的，以提供可以用一系列有限维图形模型，每个相同的固定尺寸识别的明确定义的功能高斯图形模型。这通过应用联合图形套索来激发一个简单有效的估计过程。通过在电机任务期间的模拟和分析功能性脑连接的仿真和分析来评估图形模型估计方法的经验性能。通过在电机任务期间的仿真和分析来评估图形模型估计方法的百分比实证性能。

当节点具有人口统计属性时，概率图形模型中社区结构的推理可能不会与公平约束一致。某些人口统计学可能在某些检测到的社区中过度代表，在其他人中欠代表。本文定义了一个新的$ \ ell_1 $ -regulared伪似然方法，用于公平图形模型选择。特别是，我们假设真正的基础图表​​中存在一些社区或聚类结构，我们寻求从数据中学习稀疏的无向图形及其社区，使得人口统计团体在社区内相当代表。我们的优化方法使用公平的人口统计奇偶校验定义，但框架很容易扩展到其他公平的定义。我们建立了分别，连续和二进制数据的高斯图形模型和Ising模型的提出方法的统计一致性，证明了我们的方法可以以高概率恢复图形及其公平社区。

我们研究了估计多元高斯分布中的精度矩阵的问题，其中所有部分相关性都是非负面的，也称为多变量完全阳性的顺序阳性（$ \ mathrm {mtp} _2 $）。近年来，这种模型得到了重大关注，主要是由于有趣的性质，例如，无论底层尺寸如何，最大似然估计值都存在于两个观察。我们将此问题作为加权$ \ ell_1 $ -norm正常化高斯的最大似然估计下$ \ mathrm {mtp} _2 $约束。在此方向上，我们提出了一种新颖的预计牛顿样算法，该算法包含精心设计的近似牛顿方向，这导致我们具有与一阶方法相同的计算和内存成本的算法。我们证明提出的预计牛顿样算法会聚到问题的最小值。从理论和实验中，我们进一步展示了我们使用加权$ \ ell_1 $ -norm的制剂的最小化器能够正确地恢复基础精密矩阵的支持，而无需在$ \ ell_1 $ -norm中存在不连贯状态方法。涉及合成和实世界数据的实验表明，我们所提出的算法从计算时间透视比最先进的方法显着更有效。最后，我们在金融时序数据中应用我们的方法，这些数据对于显示积极依赖性，在那里我们在学习金融网络上的模块间值方面观察到显着性能。

许多现代数据集，从神经影像和地统计数据等领域都以张量数据的随机样本的形式来说，这可以被理解为对光滑的多维随机功能的嘈杂观察。来自功能数据分析的大多数传统技术被维度的诅咒困扰，并且随着域的尺寸增加而迅速变得棘手。在本文中，我们提出了一种学习从多维功能数据样本的持续陈述的框架，这些功能是免受诅咒的几种表现形式的。这些表示由一组可分离的基函数构造，该函数被定义为最佳地适应数据。我们表明，通过仔细定义的数据的仔细定义的减少转换的张测仪分解可以有效地解决所得到的估计问题。使用基于差分运算符的惩罚，并入粗糙的正则化。也建立了相关的理论性质。在模拟研究中证明了我们对竞争方法的方法的优点。我们在神经影像动物中得出真正的数据应用。

本文考虑通过最小化Stein损失来估算高维拉普人约束精密矩阵的问题。我们获得了这种估计器存在的必要和充分条件，这归结为检查某些数据相关图是否已连接。我们还在对称沥青损失下的高维设置中证明了一致性。我们表明错误率不依赖于图形稀疏性，或其他类型的结构，并且Laplacian约束足以实现高维一致性。我们的证据利用图拉普拉斯人的性质，以及基于有效图电阻的提出估计的表征。我们通过数值实验验证了我们的理论索赔。

协方差估计在功能数据分析中普遍存在。然而，对多维域的功能观测的情况引入了计算和统计挑战，使标准方法有效地不适用。为了解决这个问题，我们将“协方差网络”（CoVNet）介绍为建模和估算工具。 Covnet模型是“Universal” - 它可用于近似于达到所需精度的任何协方差。此外，该模型可以有效地拟合到数据，其神经网络架构允许我们在实现中采用现代计算工具。 Covnet模型还承认了一个封闭形式的实体分解，可以有效地计算，而不构建协方差本身。这有助于在CoVnet的背景下轻松存储和随后操纵协方差。我们建立了拟议估计者的一致性，得出了汇合速度。通过广泛的仿真研究和休息状态FMRI数据的应用，证明了所提出的方法的有用性。

研究了与隐藏变量有关的非循环图（DAG）相关的因果模型中因果效应的识别理论。然而，由于估计它们输出的识别功能的复杂性，因此未耗尽相应的算法。在这项工作中，我们弥合了识别和估算涉及单一治疗和单一结果的人口水平因果效应之间的差距。我们派生了基于功能的估计，在大类隐藏变量DAG中表现出对所识别的效果的双重稳健性，其中治疗满足简单的图形标准;该类包括模型，产生调整和前门功能作为特殊情况。我们还提供必要的和充分条件，其中隐藏变量DAG的统计模型是非分子饱和的，并且意味着对观察到的数据分布没有平等约束。此外，我们推导了一类重要的隐藏变量DAG，这意味着观察到观察到的数据分布等同于完全观察到的DAG等同于（最高的相等约束）。在这些DAG类中，我们推出了实现兴趣目标的半导体效率界限的估计估计值，该估计是治疗满足我们的图形标准的感兴趣的目标。最后，我们提供了一种完整的识别算法，可直接产生基于权重的估计策略，以了解隐藏可变因果模型中的任何可识别效果。

矩阵正常模型，高斯矩阵变化分布的系列，其协方差矩阵是两个较低尺寸因子的Kronecker乘积，经常用于模拟矩阵变化数据。张量正常模型将该家庭推广到三个或更多因素的Kronecker产品。我们研究了矩阵和张量模型中协方差矩阵的Kronecker因子的估计。我们向几个自然度量中的最大似然估计器（MLE）实现的误差显示了非因素界限。与现有范围相比，我们的结果不依赖于条件良好或稀疏的因素。对于矩阵正常模型，我们所有的所有界限都是最佳的对数因子最佳，对于张量正常模型，我们对最大因数和整体协方差矩阵的绑定是最佳的，所以提供足够的样品以获得足够的样品以获得足够的样品常量Frobenius错误。在与我们的样本复杂性范围相同的制度中，我们表明迭代程序计算称为触发器算法称为触发器算法的MLE的线性地收敛，具有高概率。我们的主要工具是Fisher信息度量诱导的正面矩阵的几何中的测地强凸性。这种强大的凸起由某些随机量子通道的扩展来决定。我们还提供了数值证据，使得将触发器算法与简单的收缩估计器组合可以提高缺乏采样制度的性能。

在本文中，我们利用过度参数化来设计高维单索索引模型的无规矩算法，并为诱导的隐式正则化现象提供理论保证。具体而言，我们研究了链路功能是非线性且未知的矢量和矩阵单索引模型，信号参数是稀疏向量或低秩对称矩阵，并且响应变量可以是重尾的。为了更好地理解隐含正规化的角色而没有过度的技术性，我们假设协变量的分布是先验的。对于载体和矩阵设置，我们通过采用分数函数变换和专为重尾数据的强大截断步骤来构造过度参数化最小二乘损耗功能。我们建议通过将无规则化的梯度下降应用于损耗函数来估计真实参数。当初始化接近原点并且步骤中足够小时，我们证明了所获得的解决方案在载体和矩阵案件中实现了最小的收敛统计速率。此外，我们的实验结果支持我们的理论调查结果，并表明我们的方法在$ \ ell_2 $ -staticatisticated率和变量选择一致性方面具有明确的正则化的经验卓越。

我们提出了基于内核Ridge回归的估计估算师，用于非参数结构功能（也称为剂量响应曲线）和半甲酰胺处理效果。治疗和协变量可以是离散的或连续的，低，高或无限的尺寸。与其他机器学习范例不同，降低了具有闭合形式解决方案的内核脊回归组合的因果估计和推理，这些ridge回归的组合，并通过矩阵操作轻松计算。这种计算简单允许我们在两个方向上扩展框架：从意味着增加和分布反事实结果;从完整人口参数到群体和替代人口的参数。对于结构函数，我们证明了具有有限样本速率的均匀一致性。对于治疗效果，我们通过新的双光谱鲁棒性属性证明$ \ sqrt {n} $一致性，高斯近似和半甲效率。我们对美国职能培训计划进行仿真和估计平均，异构和增量结构职能。

我们考虑学习底层多变量数据的稀疏无向图的问题。我们专注于稀疏精度矩阵上的图表拉普拉斯相关的约束，它在与图形节点相关联的随机变量之间编码条件依赖性。在这些约束下，精度矩阵的偏差元素是非正（总阳性），并且精度矩阵可能不是全级。我们调查了对广泛使用惩罚的日志似然方法来强制执行总积极性但不是拉普拉斯结构的修改。然后可以从非对角线精密矩阵中提取图拉普拉斯。乘法器（ADMM）算法的交替方向方法被提出和分析了Laplacian相关约束和套索的约束优化以及自适应套索处罚。基于合成数据的数值结果表明，所提出的约束的自适应套索方法显着优于现有的基于拉普拉斯的方法。我们还评估了我们对实际财务数据的方法。

在本文中，我们研究了高维条件独立测试，统计和机器学习中的关键构建块问题。我们提出了一种基于双生成对抗性网络（GANS）的推理程序。具体来说，我们首先介绍双GANS框架来学习两个发电机的条件分布。然后，我们将这两个生成器集成到构造测试统计，这采用多个转换函数的广义协方差措施的最大形式。我们还采用了数据分割和交叉拟合来最小化发电机上的条件，以实现所需的渐近属性，并采用乘法器引导来获得相应的$ P $ -Value。我们表明，构造的测试统计数据是双重稳健的，并且由此产生的测试既逆向I误差，并具有渐近的电源。同样的是，与现有测试相比，我们建立了较弱和实际上更可行的条件下的理论保障，我们的提案提供了如何利用某些最先进的深层学习工具（如GAN）的具体示例帮助解决古典但具有挑战性的统计问题。我们通过模拟和应用于抗癌药物数据集来证明我们的测试的疗效。在https://github.com/tianlinxu312/dgcit上提供了所提出的程序的Python实现。

我们研究了趋势过滤的多元版本，称为Kronecker趋势过滤或KTF，因为设计点以$ D $维度形成格子。 KTF是单变量趋势过滤的自然延伸（Steidl等，2006; Kim等人，2009; Tibshirani，2014），并通过最大限度地减少惩罚最小二乘问题，其罚款术语总和绝对（高阶）沿每个坐标方向估计参数的差异。相应的惩罚运算符可以编写单次趋势过滤惩罚运营商的Kronecker产品，因此名称Kronecker趋势过滤。等效，可以在$ \ ell_1 $ -penalized基础回归问题上查看KTF，其中基本功能是下降阶段函数的张量产品，是一个分段多项式（离散样条）基础，基于单变量趋势过滤。本文是Sadhanala等人的统一和延伸结果。 （2016,2017）。我们开发了一套完整的理论结果，描述了$ k \ grone 0 $和$ d \ geq 1 $的$ k ^ {\ mathrm {th}} $ over kronecker趋势过滤的行为。这揭示了许多有趣的现象，包括KTF在估计异构平滑的功能时KTF的优势，并且在$ d = 2（k + 1）$的相位过渡，一个边界过去（在高维对 - 光滑侧）线性泡沫不能完全保持一致。我们还利用Tibshirani（2020）的离散花键来利用最近的结果，特别是离散的花键插值结果，使我们能够将KTF估计扩展到恒定时间内的任何偏离晶格位置（与晶格数量的大小无关）。

在本文中，我们通过随机搜索方向的Kiefer-Wolfowitz算法调查了随机优化问题模型参数的统计参数问题。我们首先介绍了Polyak-ruppert-veriving型Kiefer-Wolfowitz（AKW）估计器的渐近分布，其渐近协方差矩阵取决于函数查询复杂性和搜索方向的分布。分布结果反映了统计效率与函数查询复杂性之间的权衡。我们进一步分析了随机搜索方向的选择来最小化渐变协方差矩阵，并得出结论，最佳搜索方向取决于相对于Fisher信息矩阵的不同摘要统计的最优标准。根据渐近分布结果，我们通过提供两个有效置信区间的结构进行一次通过统计推理。我们提供了验证我们的理论结果的数值实验，并通过程序的实际效果。

现代生物医学研究通常收集多视图数据，即在同一组对象上测量的多种类型的数据。高维多视图数据分析中的流行模型是将每个视图的数据矩阵分解为跨所有数据视图常见的潜在因子生成的低级常见源矩阵，对应于每个视图的低级别源矩阵和添加剂噪声矩阵。我们提出了一种用于该模型的新型分解方法，称为基于分解的广义规范相关分析（D-GCCA）。与大多数现有方法使用的欧几里德点产品空间相比，D-GCCA严格地定义了随机变量的L2空间的分解，从而能够为低秩矩阵恢复提供估计一致性。此外，为了良好校准共同的潜在因子，我们对独特的潜在因子施加了理想的正交性限制。然而，现有方法不充分考虑这种正交性，因此可能遭受未检测到的共同源变异的大量损失。我们的D-GCCA通过分离规范变量中的共同和独特的组分，同时从主成分分析的角度享受吸引人的解释，进一步逐步进行一步。此外，我们建议使用常见的或独特潜在因子解释的信号方差的可变级别比例，以选择最受影响的变量。我们的D-GCCA方法的一致估计是通过良好的有限样本数性能建立的，并且具有封闭式表达式，导致有效计算，特别是对于大规模数据。 D-GCCA在最先进的方法上的优越性也在模拟和现实世界数据示例中得到证实。

本文研究了基于Laplacian Eigenmaps（Le）的基于Laplacian EIGENMAPS（PCR-LE）的主要成分回归的统计性质，这是基于Laplacian Eigenmaps（Le）的非参数回归的方法。 PCR-LE通过投影观察到的响应的向量$ {\ bf y} =（y_1，\ ldots，y_n）$ to to changbood图表拉普拉斯的某些特征向量跨越的子空间。我们表明PCR-Le通过SoboLev空格实现了随机设计回归的最小收敛速率。在设计密度$ P $的足够平滑条件下，PCR-le达到估计的最佳速率（其中已知平方$ l ^ 2 $ norm的最佳速率为$ n ^ { - 2s /（2s + d） ）} $）和健美的测试（$ n ^ { - 4s /（4s + d）$）。我们还表明PCR-LE是\ EMPH {歧管Adaptive}：即，我们考虑在小型内在维度$ M $的歧管上支持设计的情况，并为PCR-LE提供更快的界限Minimax估计（$ n ^ { - 2s /（2s + m）$）和测试（$ n ^ { - 4s /（4s + m）$）收敛率。有趣的是，这些利率几乎总是比图形拉普拉斯特征向量的已知收敛率更快;换句话说，对于这个问题的回归估计的特征似乎更容易，统计上讲，而不是估计特征本身。我们通过经验证据支持这些理论结果。

近年来目睹了采用灵活的机械学习模型进行乐器变量（IV）回归的兴趣，但仍然缺乏不确定性量化方法的发展。在这项工作中，我们为IV次数回归提出了一种新的Quasi-Bayesian程序，建立了最近开发的核化IV模型和IV回归的双/极小配方。我们通过在$ l_2 $和sobolev规范中建立最低限度的最佳收缩率，并讨论可信球的常见有效性来分析所提出的方法的频繁行为。我们进一步推出了一种可扩展的推理算法，可以扩展到与宽神经网络模型一起工作。实证评价表明，我们的方法对复杂的高维问题产生了丰富的不确定性估计。

我们研究了随机近似程序，以便基于观察来自ergodic Markov链的长度$ n $的轨迹来求近求解$ d -dimension的线性固定点方程。我们首先表现出$ t _ {\ mathrm {mix}} \ tfrac {n}} \ tfrac {n}} \ tfrac {d}} \ tfrac {d} {n} $的非渐近性界限。$ t _ {\ mathrm {mix $是混合时间。然后，我们证明了一种在适当平均迭代序列上的非渐近实例依赖性，具有匹配局部渐近最小的限制的领先术语，包括对参数$的敏锐依赖（d，t _ {\ mathrm {mix}}） $以高阶术语。我们将这些上限与非渐近Minimax的下限补充，该下限是建立平均SA估计器的实例 - 最优性。我们通过Markov噪声的政策评估导出了这些结果的推导 - 覆盖了所有$ \ lambda \中的TD（$ \ lambda $）算法，以便[0,1）$ - 和线性自回归模型。我们的实例依赖性表征为HyperParameter调整的细粒度模型选择程序的设计开放了门（例如，在运行TD（$ \ Lambda $）算法时选择$ \ lambda $的值）。

确定点过程（DPP）是排斥点模式的统计模型。取样和推理都是DPPS的易用，这是具有负依赖性的模型中的罕见特征，解释了他们在机器学习和空间统计中的普及。已经在有限情况下提出了参数和非参数推断方法，即当点模式生活在有限的地面集中时。在连续的情况下，只有研究参数方法，而DPPS的非参数最大可能性 - 追踪课程运算符的优化问题 - 仍然是一个打开的问题。在本文中，我们表明，这种最大可能性（MLE）问题的受限制版本落入了RKHS中的非负面函数的最新代表定理的范围内。这导致有限的尺寸问题，具有强大的统计关系到原始MLE。此外，我们提出，分析，并展示了解决这个有限尺寸问题的定点算法。最后，我们还提供了对DPP的相关核的受控估计，从而提供更多的解释性。