隐藏的马尔可夫模型在欧几里得空间中具有观测值在信号和图像处理中起着重要作用。以前的工作扩展到基于鲍姆·韦尔奇（Baum-Welch）算法的riemannian歧管中观察结果的模型，遭受了高记忆使用和缓慢的速度。在这里，我们提出了一种在线，更准确的算法，并提供了速度和效率的显着提高。

我们提出了一种新的算法，用于在几何环境中学习隐藏的马尔可夫模型（HMM）的参数，其中观测值在Riemannian歧管中采用值。特别是，我们提升了一种瞬间算法的二阶方法，该方法将非统一的相关性纳入了更通用的环境，在该环境中，观察结果在非阳性面力的Riemannian对称空间中进行，观察可能性是Riemannian Gaussians。所得算法将其分解为Riemannian高斯混合模型估计算法，然后是一系列凸优化程序。我们通过示例证明，与现有学习者相比，学习者可以显着提高速度和数值准确性。

Variance parameter estimation in linear mixed models is a challenge for many classical nonlinear optimization algorithms due to the positive-definiteness constraint of the random effects covariance matrix. We take a completely novel view on parameter estimation in linear mixed models by exploiting the intrinsic geometry of the parameter space. We formulate the problem of residual maximum likelihood estimation as an optimization problem on a Riemannian manifold. Based on the introduced formulation, we give geometric higher-order information on the problem via the Riemannian gradient and the Riemannian Hessian. Based on that, we test our approach with Riemannian optimization algorithms numerically. Our approach yields a higher quality of the variance parameter estimates compared to existing approaches.

Riemannian Gaussian distributions were initially introduced as basic building blocks for learning models which aim to capture the intrinsic structure of statistical populations of positive-definite matrices (here called covariance matrices). While the potential applications of such models have attracted significant attention, a major obstacle still stands in the way of these applications: there seems to exist no practical method of computing the normalising factors associated with Riemannian Gaussian distributions on spaces of high-dimensional covariance matrices. The present paper shows that this missing method comes from an unexpected new connection with random matrix theory. Its main contribution is to prove that Riemannian Gaussian distributions of real, complex, or quaternion covariance matrices are equivalent to orthogonal, unitary, or symplectic log-normal matrix ensembles. This equivalence yields a highly efficient approximation of the normalising factors, in terms of a rather simple analytic expression. The error due to this approximation decreases like the inverse square of dimension. Numerical experiments are conducted which demonstrate how this new approximation can unlock the difficulties which have impeded applications to real-world datasets of high-dimensional covariance matrices. The paper then turns to Riemannian Gaussian distributions of block-Toeplitz covariance matrices. These are equivalent to yet another kind of random matrix ensembles, here called "acosh-normal" ensembles. Orthogonal and unitary "acosh-normal" ensembles correspond to the cases of block-Toeplitz with Toeplitz blocks, and block-Toeplitz (with general blocks) covariance matrices, respectively.

高斯混合模型是数据科学和统计数据中的强大工具，主要用于聚类和密度近似。估计模型参数的任务实际上是通过预期最大化（EM）算法来解决的，该算法在简单性和低介质成本方面具有好处。但是，如果存在大量隐藏信息或重叠簇，则EM收敛缓慢。高斯混合模型的多种流形优化方面的最新进展已引起人们的兴趣越来越大。我们为Riemannian Hessian引入了高斯混合模型的明确公式。最重要的是，我们提出了一种新的Riemannian Newton Trust-Region方法，该方法在运行时和迭代次数方面都优于当前方法。我们将方法应用于聚类问题和密度近似任务。与现有方法相比，我们的方法对于具有大量隐藏信息的数据非常强大。

我们介绍了一种新颖的几何形状不可逆的扰动，该扰动加速了langevin算法的贝叶斯计算的收敛性。有充分的文献证明，兰格文动力学存在扰动，该动力学在加速其收敛的同时保留其不变度的度量。不可逆的扰动和可逆扰动（例如Riemannian歧管Langevin Dynamics（RMLD））已被单独显示以改善Langevin Samplers的性能。我们同时考虑了这两种扰动，通过呈现一种新型的RMLD不可逆扰动形式，该形式由基础几何形状告知。通过数值示例，我们表明，这种新的不可逆扰动可以改善估计性性能，而不是不可逆的扰动，而这些扰动不会考虑到几何。此外，我们证明，不可逆转的扰动通常可以与Langevin算法的随机梯度版本结合使用。最后，尽管连续的不可逆扰动不能损害兰格文估计器的性能，但考虑离散化时，情况有时会更加复杂。为此，我们描述了一个离散的示例，其中不可逆性增加了所得估计量的偏差和差异。

差异隐私对于具有严格的隐私保证的统计和机器学习算法的现实部署至关重要。为了释放样品平均值，最早开发了差异隐私机制的统计查询。在几何统计中，样本fr \'echet均值代表了最基本的统计摘要之一，因为它概括了属于非线性歧管的数据的样本均值。本着这种精神，到目前为止，已经开发出差异隐私机制的唯一几何统计查询是用于释放样本fr \'echet的含义：最近提出了\ emph {riemannian laplace机制}，以使FR私有化FR私有化\'echet的意思是完全riemannian歧管。在许多领域中，对称正定（SPD）矩阵的流形用于对数据空间进行建模，包括在隐私要求是关键的医学成像中。我们提出了一种新颖，简单且快速的机制 - \ emph {切线高斯机构} - 以计算赋予二型e echet的差异私有fr \'echet echet echet echet echet echet echet echet echet echet echet echet echet echet echet echet echet echet echet echet echet echet echet echet echet echet echet echet含量均为ecly -eeclidean riemannian metric。我们表明，我们的新机制在当前和仅可用的基线方面就数据维度获得了二次实用性改进。我们的机制在实践中也更简单，因为它不需要任何昂贵的马尔可夫链蒙特卡洛（MCMC）采样，并且通过多个数量级的计算速度更快 - 如广泛的实验所证实。

We investigate the problem of recovering a partially observed high-rank matrix whose columns obey a nonlinear structure such as a union of subspaces, an algebraic variety or grouped in clusters. The recovery problem is formulated as the rank minimization of a nonlinear feature map applied to the original matrix, which is then further approximated by a constrained non-convex optimization problem involving the Grassmann manifold. We propose two sets of algorithms, one arising from Riemannian optimization and the other as an alternating minimization scheme, both of which include first- and second-order variants. Both sets of algorithms have theoretical guarantees. In particular, for the alternating minimization, we establish global convergence and worst-case complexity bounds. Additionally, using the Kurdyka-Lojasiewicz property, we show that the alternating minimization converges to a unique limit point. We provide extensive numerical results for the recovery of union of subspaces and clustering under entry sampling and dense Gaussian sampling. Our methods are competitive with existing approaches and, in particular, high accuracy is achieved in the recovery using Riemannian second-order methods.

期望 - 最大化（EM）算法是一种简单的元叠加，当观察到的数据中缺少测量值或数据由可观察到的数据组成时，它已多年来用作统计推断的方法。它的一般属性进行了充分的研究，而且还有无数方法将其应用于个人问题。在本文中，我们介绍了$ em $ $ and算法，EM算法的信息几何公式及其扩展和应用程序以及各种问题。具体而言，我们将看到，可以制定一个异常稳定推理算法，用于计算通道容量的算法，概率单纯性的参数估计方法，特定的多变量分析方法，例如概率模型中的主要组件分析和模态回归中的主成分分析，基质分解和学习生成模型，这些模型最近从几何学角度引起了深度学习的关注。

这项正在进行的工作旨在为统计学习提供统一的介绍，从诸如GMM和HMM等经典模型到现代神经网络（如VAE和扩散模型）缓慢地构建。如今，有许多互联网资源可以孤立地解释这一点或新的机器学习算法，但是它们并没有（也不能在如此简短的空间中）将这些算法彼此连接起来，或者与统计模型的经典文献相连现代算法出现了。同样明显缺乏的是一个单一的符号系统，尽管对那些已经熟悉材料的人（如这些帖子的作者）不满意，但对新手的入境造成了重大障碍。同样，我的目的是将各种模型（尽可能）吸收到一个用于推理和学习的框架上，表明（以及为什么）如何以最小的变化将一个模型更改为另一个模型（其中一些是新颖的，另一些是文献中的）。某些背景当然是必要的。我以为读者熟悉基本的多变量计算，概率和统计以及线性代数。这本书的目标当然不是​​完整性，而是从基本知识到过去十年中极强大的新模型的直线路径或多或少。然后，目标是补充而不是替换，诸如Bishop的\ emph {模式识别和机器学习}之类的综合文本，该文本现在已经15岁了。

量子哈密顿学习和量子吉布斯采样的双重任务与物理和化学中的许多重要问题有关。在低温方案中，这些任务的算法通常会遭受施状能力，例如因样本或时间复杂性差而遭受。为了解决此类韧性，我们将量子自然梯度下降的概括引入了参数化的混合状态，并提供了稳健的一阶近似算法，即量子 - 固定镜下降。我们使用信息几何学和量子计量学的工具证明了双重任务的数据样本效率，因此首次将经典Fisher效率的开创性结果推广到变异量子算法。我们的方法扩展了以前样品有效的技术，以允许模型选择的灵活性，包括基于量子汉密尔顿的量子模型，包括基于量子的模型，这些模型可能会规避棘手的时间复杂性。我们的一阶算法是使用经典镜下降二元性的新型量子概括得出的。两种结果都需要特殊的度量选择，即Bogoliubov-Kubo-Mori度量。为了从数值上测试我们提出的算法，我们将它们的性能与现有基准进行了关于横向场ISING模型的量子Gibbs采样任务的现有基准。最后，我们提出了一种初始化策略，利用几何局部性来建模状态的序列（例如量子 - 故事过程）的序列。我们从经验上证明了它在实际和想象的时间演化的经验上，同时定义了更广泛的潜在应用。

有限维概率单纯x中的聚类分类分布是处理归一化直方图的许多应用中的基本任务。传统上，概率单位的差分几何结构已经通过（i）将Riemannian公制矩阵设定为分类分布的Fisher信息矩阵，或（ii）定义由平滑异化性引起的二元信息 - 几何结构衡量标准，kullback-leibler发散。在这项工作中，我们介绍了群集任务一种新颖的计算型友好框架，用于在几何上建模概率单纯x：{\ em hilbert simplex几何}。在Hilbert Simplex几何形状中，距离是不可分离的Hilbert公制距离，其满足与多光镜边界描述的距离水平集功能的信息单调性的特性。我们表明，Aitchison和Hilbert Simplex的距离分别是关于$ \ ell_2 $和变化规范的标准化对数表示的距离。我们讨论了这些不同的统计建模的利弊，并通过基于基于中心的$ k $ -means和$ k $ -center聚类的基准这些不同的几何形状。此外，由于可以在欧几里德空间的任何有界凸形子集上定义规范希尔伯特距离，因此我们还考虑了与FR \“Obenius和Log-Det分歧相比的相关矩阵的椭圆形的几何形状并研究其聚类性能。

在数据处理和机器学习中，一个重要的挑战是恢复和利用可以准确表示数据的模型。我们考虑从数据集中恢复高斯混合模型的问题。我们研究了解决此问题的对称张量分解方法，其中张量是根据数据分布的经验矩构建的。我们考虑具有独特分解的可识别张量，表明由球形高斯混合物构建的时刻张量具有此属性。我们证明，插值度的对称张量严格少于其订单的一半是可识别的，并且我们基于简单的线性代数操作提出了一种算法，以计算其分解。说明性实验表明，与其他最先进的方法相比，张量分解方法对恢复高斯混合物的影响。

学习和分析统计模型的一种常见方法是考虑模型参数空间中的操作。但是，如果我们在参数空间中进行优化，并且在参数空间和基础统计模型空间之间没有一对一的映射会发生什么？这些情况经常发生在包括统计混合物或随机神经网络的分层模型中，据说这些模型是单数的。奇异模型在机器学习中揭示了几个重要且研究的问题，例如由于吸引者行为而导致学习轨迹的收敛速度的降低。在这项工作中，我们提出了一种参数空间的相对重新聚集技术，该技术产生了一种从单数模型中提取常规子模型的一般方法。我们的方法在训练过程中实施了模型可识别性，并研究了在相对参数化下为高斯混合模型（GMM）的梯度下降和期望最大化的学习动力学，显示了更快的实验收敛性和围绕奇异性的动态的改善。将分析扩展到GMM之外，我们进一步分析了在相对重新聚体化及其对概括误差的影响下的Fisher信息矩阵，并显示该方法如何应用于更复杂的模型，例如深层神经网络。

与许多机器学习模型类似，群集加权模型（CWM）的准确性和速度都可以受到高维数据的阻碍，从而导致以前的作品对一种简约的技术，以减少“尺寸诅咒”对混合模型的影响。在这项工作中，我们回顾了集群加权模型（CWM）的背景研究。我们进一步表明，在庞大的高维数据的情况下，简约的技术不足以使混合模型蓬勃发展。我们通过使用“ FlexCWM” R软件包中的默认值选择位置参数的初始值来讨论一种用于检测隐藏组件的启发式。我们引入了一种称为T-分布的随机邻居嵌入（TSNE）的维度降低技术，以增强高维空间中的简约CWM。最初，CWM适用于回归，但出于分类目的，所有多级变量都会用一些噪声进行对数转换。模型的参数是通过预期最大化算法获得的。使用来自不同字段的实际数据集证明了讨论技术的有效性。

Riemannian geometry provides powerful tools to explore the latent space of generative models while preserving the inherent structure of the data manifold. Lengths, energies and volume measures can be derived from a pullback metric, defined through the immersion that maps the latent space to the data space. With this in mind, most generative models are stochastic, and so is the pullback metric. Manipulating stochastic objects is strenuous in practice. In order to perform operations such as interpolations, or measuring the distance between data points, we need a deterministic approximation of the pullback metric. In this work, we are defining a new metric as the expected length derived from the stochastic pullback metric. We show this metric is Finslerian, and we compare it with the expected pullback metric. In high dimensions, we show that the metrics converge to each other at a rate of $\mathcal{O}\left(\frac{1}{D}\right)$.

本文研究了鳞状高斯分布（NC-MSG）的非中心混合物的统计模型。使用与此分布相关的Fisher-Rao信息几何形状，我们得出了Riemannian梯度下降算法。该算法用于两个最小化问题。第一个是最小化正规化对数可能性（NLL）。后者使白色高斯分布与NC-MSG之间的权衡。给出了正则化的条件，以便在没有样本上的假设的情况下保证了该问题的最低限度。然后，得出了两个NC-MSG之间的Kullback-Leibler（KL）差异。这种差异使我们能够定义一个最小化问题，以计算几个NC-MSG的质量中心。提出的Riemannian梯度下降算法被利用以解决第二个最小化问题。数值实验表明了这两个问题的良好性能和riemannian梯度下降的速度。最后，实施了最接近的质心分类器，利用KL Divergence及其相关的质量中心。该分类器应用于大型数据集Breizhcrops，显示出良好的精度以及对测试集的刚性转换的稳健性。

A common approach to modeling networks assigns each node to a position on a low-dimensional manifold where distance is inversely proportional to connection likelihood. More positive manifold curvature encourages more and tighter communities; negative curvature induces repulsion. We consistently estimate manifold type, dimension, and curvature from simply connected, complete Riemannian manifolds of constant curvature. We represent the graph as a noisy distance matrix based on the ties between cliques, then develop hypothesis tests to determine whether the observed distances could plausibly be embedded isometrically in each of the candidate geometries. We apply our approach to data-sets from economics and neuroscience.

我们将最初在多维扩展和降低多元数据的降低领域发展为功能设置。我们专注于经典缩放和ISOMAP - 在这些领域中起重要作用的原型方法 - 并在功能数据分析的背景下展示它们的使用。在此过程中，我们强调了环境公制扮演的关键作用。

贝叶斯优化是一种数据高效技术，可用于机器人中的控制参数调整，参数策略适应和结构设计。这些问题中的许多问题需要优化在非欧几里德域上定义的函数，如球体，旋转组或正向矩阵的空间。为此，必须在感兴趣的空间内之前或等效地定义内核的高斯进程。有效内核通常反映它们定义的空间的几何形状，但设计它们通常是非微不足道的。基于随机部分微分方程和Laplace-Beltrami运营商的频谱理论，最近在Riemannian Mat'En内核的工作，提供了朝向构建此类几何感知内核的承诺途径。在本文中，我们研究了在机器人中的兴趣流动上实施这些内核的技术，展示了它们在一组人工基准函数上的性能，并说明了各种机器人应用的几何感知贝叶斯优化，覆盖方向控制，可操纵性优化，和运动规划，同时显示其提高性能。