在非参数回归中，落在欧几里德空间的限制子集中是常见的。基于典型的内核的方法，不考虑收集观察的域的内在几何学可能产生次优效果。在本文中，我们专注于在高斯过程（GP）模型的背景下解决这个问题，提出了一种新的基于Graplacian的GPS（GL-GPS），该GPS（GL-GPS），该GPS（GL-GPS）学习尊重输入域几何的协方差。随着热核的难以计算地，我们使用Prop Laplacian（GL）的有限许多特征方来近似协方差。 GL由内核构成，仅取决于输入的欧几里德坐标。因此，我们可以从关于内核的完整知识中受益，以通过NYSTR \“{o} M型扩展来将协方差结构扩展到新到达的样本。我们为GL-GP方法提供了实质性的理论支持，并说明了性能提升各种应用。

我们研究具有流形结构的物理系统的langevin动力学$ \ MATHCAL {M} \ subset \ Mathbb {r}^p $，基于收集的样品点$ \ {\ Mathsf {x} _i \} _ {_i \} _ {i = 1} ^n \ subset \ mathcal {m} $探测未知歧管$ \ mathcal {m} $。通过扩散图，我们首先了解反应坐标$ \ {\ MATHSF {y} _i \} _ {i = 1}^n \ subset \ subset \ mathcal {n} $对应于$ \ {\ {\ mathsf {x} _i _i \ \ \ \ \ _i \ \ \ \ {x} } _ {i = 1}^n $，其中$ \ mathcal {n} $是$ \ mathcal {m} $的歧义diffeomorphic，并且与$ \ mathbb {r}^\ ell $ insometryally嵌入了$ \ ell $，带有$ \ ell \ ell \ ell \ ell \ el \ ell \ el \ el \ ell \ el \ LL P $。在$ \ Mathcal {n} $上的诱导Langevin动力学在反应坐标方面捕获了缓慢的时间尺度动力学，例如生化反应的构象变化。要构建$ \ Mathcal {n} $上的Langevin Dynamics的高效稳定近似，我们利用反应坐标$ \ MATHSF {y} n effertold $ \ Mathcal {n} $上的歧管$ \ Mathcal {n} $上的相应的fokker-planck方程$。我们为此Fokker-Planck方程提出了可实施的，无条件稳定的数据驱动的有限卷方程，该方程将自动合并$ \ Mathcal {n} $的歧管结构。此外，我们在$ \ Mathcal {n} $上提供了有限卷方案的加权$ L^2 $收敛分析。所提出的有限体积方案在$ \ {\ Mathsf {y} _i \} _ {i = 1}^n $上导致Markov链，并具有近似的过渡概率和最近的邻居点之间的跳跃速率。在无条件稳定的显式时间离散化之后，数据驱动的有限体积方案为$ \ Mathcal {n} $上的Langevin Dynamics提供了近似的Markov进程，并且近似的Markov进程享有详细的平衡，Ergodicity和其他良好的属性。

我们系统地{研究基于内核的图形laplacian（gl）的光谱}，该图在非null设置中由高维和嘈杂的随机点云构成，其中点云是从低维几何对象（如歧管）中采样的，被高维噪音破坏。我们量化了信号和噪声在信号噪声比（SNR）的不同状态下如何相互作用，并报告GL的{所产生的特殊光谱行为}。此外，我们还探索了GL频谱上的内核带宽选择，而SNR的不同状态则导致带宽的自适应选择，这与实际数据中的共同实践相吻合。该结果为数据集嘈杂时的从业人员提供了理论支持。

当图形亲和力矩阵是由$ n $随机样品构建的，在$ d $ d $维歧管上构建图形亲和力矩阵时，这项工作研究图形拉普拉斯元素与拉普拉斯 - 贝特拉米操作员的光谱收敛。通过分析DIRICHLET形成融合并通过歧管加热核卷积构建候选本本函数，我们证明，使用高斯内核，可以设置核band band band band parame $ \ epsilon \ sim \ sim（\ log n/ n/ n）^{1/（D /2+2）} $使得特征值收敛率为$ n^{ - 1/（d/2+2）} $，并且2-norm中的特征向量收敛率$ n^{ - 1/（d+） 4）} $;当$ \ epsilon \ sim（\ log n/n）^{1/（d/2+3）} $时，eigenValue和eigenVector速率均为$ n^{ - 1/（d/2+3）} $。这些费率最高为$ \ log n $因素，并被证明是有限的许多低洼特征值。当数据在歧管上均匀采样以及密度校正的图laplacian（在两个边的度矩阵中归一化）时，结果适用于非归一化和随机漫步图拉普拉斯laplacians laplacians laplacians以及密度校正的图laplacian（其中两侧的级别矩阵）采样数据。作为中间结果，我们证明了密度校正图拉普拉斯的新点和差异形式的收敛速率。提供数值结果以验证理论。

本文研究了基于Laplacian Eigenmaps（Le）的基于Laplacian EIGENMAPS（PCR-LE）的主要成分回归的统计性质，这是基于Laplacian Eigenmaps（Le）的非参数回归的方法。 PCR-LE通过投影观察到的响应的向量$ {\ bf y} =（y_1，\ ldots，y_n）$ to to changbood图表拉普拉斯的某些特征向量跨越的子空间。我们表明PCR-Le通过SoboLev空格实现了随机设计回归的最小收敛速率。在设计密度$ P $的足够平滑条件下，PCR-le达到估计的最佳速率（其中已知平方$ l ^ 2 $ norm的最佳速率为$ n ^ { - 2s /（2s + d） ）} $）和健美的测试（$ n ^ { - 4s /（4s + d）$）。我们还表明PCR-LE是\ EMPH {歧管Adaptive}：即，我们考虑在小型内在维度$ M $的歧管上支持设计的情况，并为PCR-LE提供更快的界限Minimax估计（$ n ^ { - 2s /（2s + m）$）和测试（$ n ^ { - 4s /（4s + m）$）收敛率。有趣的是，这些利率几乎总是比图形拉普拉斯特征向量的已知收敛率更快;换句话说，对于这个问题的回归估计的特征似乎更容易，统计上讲，而不是估计特征本身。我们通过经验证据支持这些理论结果。

内元化图亲和力矩阵的双性化归一化为基于图的数据分析中的图形laplacian方法提供了一种替代归一化方案，并且可以通过sinkhorn-knopp（SK）迭代在实践中有效地计算出来。本文证明了双性化标准化图拉普拉斯（Laplacian）与laplacian的融合，当$ n $数据点为i.i.d.从嵌入可能高维空间中的一般$ d $维歧管中取样。在$ n \ to \ infty $和内核带宽$ \ epsilon \ to 0 $的某些联合限制下，图Laplacian操作员的点融合率（2-Norm）被证明为$ O（N^{n^{ -1/（d/2+3）}）$在有限的大$ n $上，到log racture，在$ \ epsilon \ sim n^{ - 1/（d/2+3）} $时实现。当歧管数据被异常噪声损坏时，我们从理论上证明了图形laplacian点的一致性，该图与清洁歧管数据的速率匹配到与噪声矢量相互内部产物的界限成比例的附加错误项。我们的分析表明，在本文中考虑的设置下，不是精确的双性化归一化，而是大约将达到相同的一致性率。在分析的激励下，我们提出了一个近似且受约束的矩阵缩放问题，可以通过早期终止的SK迭代来解决，并适用于模拟的歧管数据既干净又具有离群的噪声。数值实验支持我们的理论结果，并显示了双形式归一化图拉普拉斯对异常噪声的鲁棒性。

高斯内核及其传统的正常化（例如，行 - 故事）是评估数据点（通常用于流形学习和聚类的数据点之间的相似性）的流行方法，以及在图形上进行的监督和半监督学习。在许多实际情况下，数据可能会被禁止传统亲和力矩阵正确评估相似性的噪声损坏，尤其是在整个数据中的噪声幅度差异很大的情况下，例如在异性恋或异常值下。在噪声下提供更稳定行为的另一种方法是高斯内核的双随机归一化。在这项工作中，我们在一个环境中研究了这种归一化，在这种情况下，在高维空间中嵌入的低维歧管上的未知密度采样点，并因可能强大的，非相同的分布式，高斯的噪声而损坏。我们建立了双重随机亲和力矩阵的点浓度及其围绕某些种群形式的缩放因素。然后，我们利用这些结果来开发几种用于鲁棒推理的工具。首先，我们得出一个强大的密度估计器，该密度估计器在高维噪声下可以显着优于标准内核密度估计器。其次，我们提供估计噪声幅度的估计量，点式信号幅度以及清洁数据点之间的成对欧几里得距离。最后，我们得出了强大的图形拉普拉斯融合，这些标准差异近似于流行的歧管拉普拉斯人，包括拉普拉斯·贝特拉米操作员，表明可以在高维噪声下恢复歧管的局部几何形状。我们在仿真和实际单细胞RNA-sequering数据中举例说明了我们的结果。在后者中，我们表明我们提出的正常化对与不同细胞类型相关的技术变异性是可靠的。

近几十年来，科学和工程的可用数据数量的重大增长彻底改变了。然而，尽管现在收集和存储数据的空前很容易，但通过补充每个功能的标签来标记数据仍然是具有挑战性的。标签过程需要专家知识或乏味且耗时的说明任务包括用诊断X射线标记X射线，具有蛋白质类型的蛋白质序列，其主题的文本，通过其情感推文或视频通过其类型的视频。在这些和许多其他示例中，由于成本和时间限制，只能手动标记一些功能。我们如何才能最好地将标签信息从少数昂贵的标签功能到大量未标记的标签信息传播？这是半监督学习（SSL）提出的问题。本文概述了基于图的贝叶斯SSL的最新基础发展，这是一种使用功能之间的相似性的标签传播概率框架。 SSL是一个活跃的研究领域，对现有文献的彻底回顾超出了本文的范围。我们的重点将放在我们自己的研究中得出的主题，这些主题说明了对基于图的贝叶斯SSL的统计准确性和计算效率进行严格研究的广泛数学工具和思想。

我们提供了通过局部主成分分析估计切线空间和（光滑，紧凑）欧几里德子多元化的固定空间和固有尺寸所需的采样点数量的明确界限。我们的方法直接估计本地协方差矩阵，其同时允许估计切线空间和歧管的固有尺寸。关键争论涉及矩阵浓度不等式，是用于平坦化歧管的Wasserstein，以及关于Wassersein距离的协方差矩阵的Lipschitz关系。

In this work we study statistical properties of graph-based algorithms for multi-manifold clustering (MMC). In MMC the goal is to retrieve the multi-manifold structure underlying a given Euclidean data set when this one is assumed to be obtained by sampling a distribution on a union of manifolds $\mathcal{M} = \mathcal{M}_1 \cup\dots \cup \mathcal{M}_N$ that may intersect with each other and that may have different dimensions. We investigate sufficient conditions that similarity graphs on data sets must satisfy in order for their corresponding graph Laplacians to capture the right geometric information to solve the MMC problem. Precisely, we provide high probability error bounds for the spectral approximation of a tensorized Laplacian on $\mathcal{M}$ with a suitable graph Laplacian built from the observations; the recovered tensorized Laplacian contains all geometric information of all the individual underlying manifolds. We provide an example of a family of similarity graphs, which we call annular proximity graphs with angle constraints, satisfying these sufficient conditions. We contrast our family of graphs with other constructions in the literature based on the alignment of tangent planes. Extensive numerical experiments expand the insights that our theory provides on the MMC problem.

我们基于拉普拉斯 - 贝特拉米操作员的图形laplacian估计值介绍了紧凑型riemannian歧管M中距离的估计量。我们在非歧管距离上的估计量比的比率上限，或者在非交通性几何形状中的歧管距离的近似值（参见[Connes and Suijelekom，2020]），就光谱误差而言））。图形拉普拉斯（Laplacian）的估计值和隐含的歧管几何特性。因此，我们为从M和图拉普拉奇人的严格正密度等分的样品获得估计器的一致性结果，这些样品从M和图形laplacians上的频谱从适当的意义上汇聚到Laplace-Beltrami操作员。估计器类似于其收敛性能，它源自kontorovic双重重新印度的特殊情况，称为Connes的距离公式。

散射变换是一种基于小波的多层转换，最初是作为卷积神经网络（CNN）的模型引入的，它在我们对这些网络稳定性和不变性属性的理解中发挥了基础作用。随后，人们普遍兴趣将CNN的成功扩展到具有非欧盟结构的数据集，例如图形和歧管，从而导致了几何深度学习的新兴领域。为了提高我们对这个新领域中使用的体系结构的理解，几篇论文提出了对非欧几里得数据结构（如无方向的图形和紧凑的Riemannian歧管）的散射转换的概括。在本文中，我们介绍了一个通用的统一模型，用于测量空间上的几何散射。我们提出的框架包括以前的几何散射作品作为特殊情况，但也适用于更通用的设置，例如有向图，签名图和带边界的歧管。我们提出了一个新标准，该标准可以识别哪些有用表示应该不变的组，并表明该标准足以确保散射变换具有理想的稳定性和不变性属性。此外，我们考虑从随机采样未知歧管获得的有限度量空间。我们提出了两种构造数据驱动图的方法，在该图上相关的图形散射转换近似于基础歧管上的散射变换。此外，我们使用基于扩散图的方法来证明这些近似值之一的收敛速率的定量估计值，因为样品点的数量趋向于无穷大。最后，我们在球形图像，有向图和高维单细胞数据上展示了方法的实用性。

This work studies the multi-task functional linear regression models where both the covariates and the unknown regression coefficients (called slope functions) are curves. For slope function estimation, we employ penalized splines to balance bias, variance, and computational complexity. The power of multi-task learning is brought in by imposing additional structures over the slope functions. We propose a general model with double regularization over the spline coefficient matrix: i) a matrix manifold constraint, and ii) a composite penalty as a summation of quadratic terms. Many multi-task learning approaches can be treated as special cases of this proposed model, such as a reduced-rank model and a graph Laplacian regularized model. We show the composite penalty induces a specific norm, which helps to quantify the manifold curvature and determine the corresponding proper subset in the manifold tangent space. The complexity of tangent space subset is then bridged to the complexity of geodesic neighbor via generic chaining. A unified convergence upper bound is obtained and specifically applied to the reduced-rank model and the graph Laplacian regularized model. The phase transition behaviors for the estimators are examined as we vary the configurations of model parameters.

变性推理（VI）为基于传统的采样方法提供了一种吸引人的替代方法，用于实施贝叶斯推断，因为其概念性的简单性，统计准确性和计算可扩展性。然而，常见的变分近似方案（例如平均场（MF）近似）需要某些共轭结构以促进有效的计算，这可能会增加不必要的限制对可行的先验分布家族，并对变异近似族对差异进行进一步的限制。在这项工作中，我们开发了一个通用计算框架，用于实施MF-VI VIA WASSERSTEIN梯度流（WGF），这是概率度量空间上的梯度流。当专门针对贝叶斯潜在变量模型时，我们将分析基于时间消化的WGF交替最小化方案的算法收敛，用于实现MF近似。特别是，所提出的算法类似于EM算法的分布版本，包括更新潜在变量变异分布的E step以及在参数的变异分布上进行最陡峭下降的m step。我们的理论分析依赖于概率度量空间中的最佳运输理论和细分微积分。我们证明了时间限制的WGF的指数收敛性，以最大程度地减少普通大地测量学严格的凸度的通用物镜功能。我们还提供了通过使用时间限制的WGF的固定点方程从MF近似获得的变异分布的指数收缩的新证明。我们将方法和理论应用于两个经典的贝叶斯潜在变量模型，即高斯混合模型和回归模型的混合物。还进行了数值实验，以补充这两个模型下的理论发现。

我们研究了非参数脊的最小二乘的学习属性。特别是，我们考虑常见的估计人的估计案例，由比例依赖性内核定义，并专注于规模的作用。这些估计器内插数据，可以显示规模来通过条件号控制其稳定性。我们的分析表明，这是不同的制度，具体取决于样本大小，其尺寸与问题的平滑度之间的相互作用。实际上，当样本大小小于数据维度中的指数时，可以选择比例，以便学习错误减少。随着样本尺寸变大，总体错误停止减小但有趣地可以选择规模，使得噪声引起的差异仍然存在界线。我们的分析结合了概率，具有来自插值理论的许多分析技术。

我们提出了一种基于langevin扩散的算法，以在球体的产物歧管上进行非凸优化和采样。在对数Sobolev不平等的情况下，我们根据Kullback-Leibler Divergence建立了有限的迭代迭代收敛到Gibbs分布的保证。我们表明，有了适当的温度选择，可以保证，次级最小值的次数差距很小，概率很高。作为一种应用，我们考虑了使用对角线约束解决半决赛程序（SDP）的burer- monteiro方法，并分析提出的langevin算法以优化非凸目标。特别是，我们为Burer建立了对数Sobolev的不平等现象 - 当没有虚假的局部最小值时，但在鞍点下，蒙蒂罗问题。结合结果，我们为SDP和最大切割问题提供了全局最佳保证。更确切地说，我们证明了Langevin算法在$ \ widetilde {\ omega}（\ epsilon^{ - 5}）$ tererations $ tererations $ \ widetilde {\ omega}（\ omega}中，具有很高的概率。

We consider the problem of estimating a multivariate function $f_0$ of bounded variation (BV), from noisy observations $y_i = f_0(x_i) + z_i$ made at random design points $x_i \in \mathbb{R}^d$, $i=1,\ldots,n$. We study an estimator that forms the Voronoi diagram of the design points, and then solves an optimization problem that regularizes according to a certain discrete notion of total variation (TV): the sum of weighted absolute differences of parameters $\theta_i,\theta_j$ (which estimate the function values $f_0(x_i),f_0(x_j)$) at all neighboring cells $i,j$ in the Voronoi diagram. This is seen to be equivalent to a variational optimization problem that regularizes according to the usual continuum (measure-theoretic) notion of TV, once we restrict the domain to functions that are piecewise constant over the Voronoi diagram. The regression estimator under consideration hence performs (shrunken) local averaging over adaptively formed unions of Voronoi cells, and we refer to it as the Voronoigram, following the ideas in Koenker (2005), and drawing inspiration from Tukey's regressogram (Tukey, 1961). Our contributions in this paper span both the conceptual and theoretical frontiers: we discuss some of the unique properties of the Voronoigram in comparison to TV-regularized estimators that use other graph-based discretizations; we derive the asymptotic limit of the Voronoi TV functional; and we prove that the Voronoigram is minimax rate optimal (up to log factors) for estimating BV functions that are essentially bounded.

对于高维和非参数统计模型，速率最优估计器平衡平方偏差和方差是一种常见的现象。虽然这种平衡被广泛观察到，但很少知道是否存在可以避免偏差和方差之间的权衡的方法。我们提出了一般的策略，以获得对任何估计方差的下限，偏差小于预先限定的界限。这表明偏差差异折衷的程度是不可避免的，并且允许量化不服从其的方法的性能损失。该方法基于许多抽象的下限，用于涉及关于不同概率措施的预期变化以及诸如Kullback-Leibler或Chi-Sque-diversence的信息措施的变化。其中一些不平等依赖于信息矩阵的新概念。在该物品的第二部分中，将抽象的下限应用于几种统计模型，包括高斯白噪声模型，边界估计问题，高斯序列模型和高维线性回归模型。对于这些特定的统计应用，发生不同类型的偏差差异发生，其实力变化很大。对于高斯白噪声模型中集成平方偏置和集成方差之间的权衡，我们将较低界限的一般策略与减少技术相结合。这允许我们将原始问题与估计的估计器中的偏差折衷联动，以更简单的统计模型中具有额外的对称性属性。在高斯序列模型中，发生偏差差异的不同相位转换。虽然偏差和方差之间存在非平凡的相互作用，但是平方偏差的速率和方差不必平衡以实现最小估计速率。

随机kriging已被广泛用于模拟元模拟，以预测复杂模拟模型的响应表面。但是，它的使用仅限于设计空间低维的情况，因为通常，样品复杂性（即随机Kriging生成准确预测所需的设计点数量）在设计的维度上呈指数增长。空间。大型样本量导致运行模拟模型的过度样本成本和由于需要倒入大量协方差矩阵而引起的严重计算挑战。基于张量的马尔可夫内核和稀疏的网格实验设计，我们开发了一种新颖的方法，可极大地减轻维数的诅咒。我们表明，即使在模型错误指定下，提议的方法论的样本复杂性也仅在维度上略有增长。我们还开发了快速算法，这些算法以其精确形式计算随机kriging，而无需任何近似方案。我们通过广泛的数值实验证明，我们的方法可以通过超过10,000维的设计空间来处理问题，从而通过相对于典型的替代方法在实践中通过数量级来提高预测准确性和计算效率。

本文通过引入几何深度学习（GDL）框架来构建通用馈电型型模型与可区分的流形几何形状兼容的通用馈电型模型，从而解决了对非欧国人数据进行处理的需求。我们表明，我们的GDL模型可以在受控最大直径的紧凑型组上均匀地近似任何连续目标函数。我们在近似GDL模型的深度上获得了最大直径和上限的曲率依赖性下限。相反，我们发现任何两个非分类紧凑型歧管之间始终都有连续的函数，任何“局部定义”的GDL模型都不能均匀地近似。我们的最后一个主要结果确定了数据依赖性条件，确保实施我们近似的GDL模型破坏了“维度的诅咒”。我们发现，任何“现实世界”（即有限）数据集始终满足我们的状况，相反，如果目标函数平滑，则任何数据集都满足我们的要求。作为应用，我们确认了以下GDL模型的通用近似功能：Ganea等。 （2018）的双波利馈电网络，实施Krishnan等人的体系结构。 （2015年）的深卡尔曼 - 滤波器和深度玛克斯分类器。我们构建了：Meyer等人的SPD-Matrix回归剂的通用扩展/变体。 （2011）和Fletcher（2003）的Procrustean回归剂。在欧几里得的环境中，我们的结果暗示了Kidger和Lyons（2020）的近似定理和Yarotsky和Zhevnerchuk（2019）无估计近似率的数据依赖性版本的定量版本。