Variance parameter estimation in linear mixed models is a challenge for many classical nonlinear optimization algorithms due to the positive-definiteness constraint of the random effects covariance matrix. We take a completely novel view on parameter estimation in linear mixed models by exploiting the intrinsic geometry of the parameter space. We formulate the problem of residual maximum likelihood estimation as an optimization problem on a Riemannian manifold. Based on the introduced formulation, we give geometric higher-order information on the problem via the Riemannian gradient and the Riemannian Hessian. Based on that, we test our approach with Riemannian optimization algorithms numerically. Our approach yields a higher quality of the variance parameter estimates compared to existing approaches.

高斯混合模型是数据科学和统计数据中的强大工具，主要用于聚类和密度近似。估计模型参数的任务实际上是通过预期最大化（EM）算法来解决的，该算法在简单性和低介质成本方面具有好处。但是，如果存在大量隐藏信息或重叠簇，则EM收敛缓慢。高斯混合模型的多种流形优化方面的最新进展已引起人们的兴趣越来越大。我们为Riemannian Hessian引入了高斯混合模型的明确公式。最重要的是，我们提出了一种新的Riemannian Newton Trust-Region方法，该方法在运行时和迭代次数方面都优于当前方法。我们将方法应用于聚类问题和密度近似任务。与现有方法相比，我们的方法对于具有大量隐藏信息的数据非常强大。

我们研究无限制的黎曼优化的免投影方法。特别是，我们提出了黎曼弗兰克 - 沃尔夫（RFW）方法。我们将RFW的非渐近收敛率分析为最佳（高音）凸起问题，以及非凸起目标的临界点。我们还提出了一种实用的设置，其中RFW可以获得线性收敛速度。作为一个具体的例子，我们将RFW专用于正定矩阵的歧管，并将其应用于两个任务：（i）计算矩阵几何平均值（riemannian质心）; （ii）计算Bures-Wasserstein重心。这两个任务都涉及大量凸间间隔约束，为此，我们表明RFW要求的Riemannian“线性”Oracle承认了闭合形式的解决方案;该结果可能是独立的兴趣。我们进一步专门从事RFW到特殊正交组，并表明这里也可以以封闭形式解决riemannian“线性”甲骨文。在这里，我们描述了数据矩阵同步的应用程序（促使问题）。我们补充了我们的理论结果，并对RFW对最先进的riemananian优化方法进行了实证比较，并观察到RFW竞争性地对计算黎曼心质的任务进行竞争性。

我们研究了可以写入欧几里得凸函数的差异的地质凸（G-Convex）问题。这种结构出现在统计和机器学习中的几个优化问题中，例如，用于矩阵缩放，协方差的M估计器和Brascamp-Lieb不平等。我们的工作提供有效的算法，一方面利用G-Convexity来确保全球最优性以及保证迭代复杂性。另一方面，拆分结构使我们能够开发欧几里得最小化算法，这些算法可以帮助我们绕开计算昂贵的Riemannian操作（例如指数型地图和并行运输）的需求。我们通过将其专门针对机器学习文献中以前研究过的一些具体优化问题来说明我们的结果。最终，我们希望我们的工作有助于激励人们更广泛地寻找混合的欧几罗南优化算法。

我们提出了一种几何多级优化方法，该方法平滑地包含了框约束。给定一个受限的优化问题，我们考虑了具有不同离散水平的模型的层次结构。更精细的型号准确但计算昂贵，而更粗的型号则不太准确，但计算便宜。在良好级别上工作时，多级优化将基于搜索方向计算搜索方向，该模型会加快良好级别的更新。此外，利用层次结构引起的几何形状保留了更新的可行性。特别是，我们的方法扩展了多移民方法的经典组成部分，例如限制和延长延长我们约束的riemannian结构。

本文研究了关于Riemannian流形的大规模优化问题，其目标函数是负面概要损失的有限总和。这些问题在各种机器学习和信号处理应用中出现。通过在歧管环境中引入Fisher信息矩阵的概念，我们提出了一种新型的Riemannian自然梯度方法，可以将其视为自然梯度方法的自然扩展，从欧几里得环境到歧管设置。我们在标准假设下建立了我们提出的方法的几乎纯净的全球融合。此外，我们表明，如果损失函数满足某些凸度和平稳性条件，并且输入输出图满足了雅各布稳定条件，那么我们提出的方法享有局部线性 - 或在Riemannian jacobian的Lipschitz连续性下，输入输出图，甚至二次 - 收敛速率。然后，我们证明，如果网络的宽度足够大，则可以通过具有批归归量的两层完全连接的神经网络来满足Riemannian Jacobian稳定性条件。这证明了我们的收敛率结果的实际相关性。对机器学习产生的应用的数值实验证明了该方法比最先进的方法的优势。

Riemannian优化是解决优化问题的原则框架，其中所需的最佳被限制为光滑的歧管$ \ Mathcal {M} $。在此框架中设计的算法通常需要对歧管的几何描述，该描述通常包括切线空间，缩回和成本函数的梯度。但是，在许多情况下，由于缺乏信息或棘手的性能，只能访问这些元素的子集（或根本没有）。在本文中，我们提出了一种新颖的方法，可以在这种情况下执行近似Riemannian优化，其中约束歧管是$ \ r^{d} $的子手机。至少，我们的方法仅需要一组无噪用的成本函数$（\ x_ {i}，y_ {i}）\ in {\ mathcal {m}} \ times \ times \ times \ times \ times \ mathbb {r} $和内在的歧管$ \ MATHCAL {M} $的维度。使用样品，并利用歧管-MLS框架（Sober和Levin 2020），我们构建了缺少的组件的近似值，这些组件娱乐可证明的保证并分析其计算成本。如果某些组件通过分析给出（例如，如果成本函数及其梯度明确给出，或者可以计算切线空间），则可以轻松地适应该算法以使用准确的表达式而不是近似值。我们使用我们的方法分析了基于Riemannian梯度的方法的全球收敛性，并从经验上证明了该方法的强度，以及基于类似原理的共轭梯度类型方法。

从最佳运输到稳健的维度降低，可以将大量的机器学习应用程序放入Riemannian歧管上的Min-Max优化问题中。尽管在欧几里得的环境中已经分析了许多最小的最大算法，但事实证明，将这些结果转化为Riemannian案例已被证明是难以捉摸的。张等。 [2022]最近表明，测量凸凹入的凹入问题总是容纳鞍点解决方案。受此结果的启发，我们研究了Riemannian和最佳欧几里得空间凸入concove算法之间的性能差距。我们在负面的情况下回答了这个问题，证明Riemannian校正的外部（RCEG）方法在地球上强烈convex-concove案例中以线性速率实现了最后近期收敛，与欧几里得结果匹配。我们的结果还扩展到随机或非平滑案例，在这种情况下，RCEG和Riemanian梯度上升下降（RGDA）达到了近乎最佳的收敛速率，直到因歧管的曲率而定为因素。

在本文中，我们通过推断在歧管上的迭代来提出一种简单的加速度方案，用于利曼梯度方法。我们显示何时从Riemannian梯度下降法生成迭代元素，加速方案是渐近地达到最佳收敛速率，并且比最近提出的Riemannian Nesterov加速梯度方法在计算上更有利。我们的实验验证了新型加速策略的实际好处。

We investigate the problem of recovering a partially observed high-rank matrix whose columns obey a nonlinear structure such as a union of subspaces, an algebraic variety or grouped in clusters. The recovery problem is formulated as the rank minimization of a nonlinear feature map applied to the original matrix, which is then further approximated by a constrained non-convex optimization problem involving the Grassmann manifold. We propose two sets of algorithms, one arising from Riemannian optimization and the other as an alternating minimization scheme, both of which include first- and second-order variants. Both sets of algorithms have theoretical guarantees. In particular, for the alternating minimization, we establish global convergence and worst-case complexity bounds. Additionally, using the Kurdyka-Lojasiewicz property, we show that the alternating minimization converges to a unique limit point. We provide extensive numerical results for the recovery of union of subspaces and clustering under entry sampling and dense Gaussian sampling. Our methods are competitive with existing approaches and, in particular, high accuracy is achieved in the recovery using Riemannian second-order methods.

Gaussian Mixture Models (GMM) are one of the most potent parametric density estimators based on the kernel model that finds application in many scientific domains. In recent years, with the dramatic enlargement of data sources, typical machine learning algorithms, e.g. Expectation Maximization (EM), encounters difficulty with high-dimensional and streaming data. Moreover, complicated densities often demand a large number of Gaussian components. This paper proposes a fast online parameter estimation algorithm for GMM by using first-order stochastic optimization. This approach provides a framework to cope with the challenges of GMM when faced with high-dimensional streaming data and complex densities by leveraging the flexibly-tied factorization of the covariance matrix. A new stochastic Manifold optimization algorithm that preserves the orthogonality is introduced and used along with the well-known Euclidean space numerical optimization. Numerous empirical results on both synthetic and real datasets justify the effectiveness of our proposed stochastic method over EM-based methods in the sense of better-converged maximum for likelihood function, fewer number of needed epochs for convergence, and less time consumption per epoch.

为什么深神经网络（DNN）受益于非常高的维度参数空间？他们的巨大参数复杂性与实践中的惊人表演是使用标准常规模型理论的更具迷恋和无法解释的。在这项工作中，我们提出了一种几何风味的信息 - 理论方法来研究这种现象。即，我们通过考虑Fisher信息矩阵的显着尺寸的数量来介绍神经网络模型的参数空间的局部变化维度，并使用奇异半riemannian几何框架将参数空间模拟作为歧管的参数空间。我们推出模型复杂度措施，其基于奇点分析产生深度神经网络模型的简短描述长度，因此尽管有大量参数，但是尽管有大量的参数，但是尽管有大量的参数来解释DNN的良好性能。

量子哈密顿学习和量子吉布斯采样的双重任务与物理和化学中的许多重要问题有关。在低温方案中，这些任务的算法通常会遭受施状能力，例如因样本或时间复杂性差而遭受。为了解决此类韧性，我们将量子自然梯度下降的概括引入了参数化的混合状态，并提供了稳健的一阶近似算法，即量子 - 固定镜下降。我们使用信息几何学和量子计量学的工具证明了双重任务的数据样本效率，因此首次将经典Fisher效率的开创性结果推广到变异量子算法。我们的方法扩展了以前样品有效的技术，以允许模型选择的灵活性，包括基于量子汉密尔顿的量子模型，包括基于量子的模型，这些模型可能会规避棘手的时间复杂性。我们的一阶算法是使用经典镜下降二元性的新型量子概括得出的。两种结果都需要特殊的度量选择，即Bogoliubov-Kubo-Mori度量。为了从数值上测试我们提出的算法，我们将它们的性能与现有基准进行了关于横向场ISING模型的量子Gibbs采样任务的现有基准。最后，我们提出了一种初始化策略，利用几何局部性来建模状态的序列（例如量子 - 故事过程）的序列。我们从经验上证明了它在实际和想象的时间演化的经验上，同时定义了更广泛的潜在应用。

本文研究了鳞状高斯分布（NC-MSG）的非中心混合物的统计模型。使用与此分布相关的Fisher-Rao信息几何形状，我们得出了Riemannian梯度下降算法。该算法用于两个最小化问题。第一个是最小化正规化对数可能性（NLL）。后者使白色高斯分布与NC-MSG之间的权衡。给出了正则化的条件，以便在没有样本上的假设的情况下保证了该问题的最低限度。然后，得出了两个NC-MSG之间的Kullback-Leibler（KL）差异。这种差异使我们能够定义一个最小化问题，以计算几个NC-MSG的质量中心。提出的Riemannian梯度下降算法被利用以解决第二个最小化问题。数值实验表明了这两个问题的良好性能和riemannian梯度下降的速度。最后，实施了最接近的质心分类器，利用KL Divergence及其相关的质量中心。该分类器应用于大型数据集Breizhcrops，显示出良好的精度以及对测试集的刚性转换的稳健性。

这项工作考虑了嵌套形式的功能组成优化，而每个函数都包含期望。这种类型的问题是在诸如增强学习中的策略评估或元学习中的模型定制中越来越受欢迎。不能直接应用用于非复合优化的标准riemannian随机梯度方法，因为内部功能的随机近似在外部函数的梯度中造成了偏见。为了进行两级组成优化，我们提出了一个Riemannian随机成分梯度下降（R-SCGD）方法，该方法找到了一个近似的固定点，预期平方的Riemannian梯度小于$ \ epsilon $，in $ O（\ epsilon^{-2 {-2） }）$调用内部功能的外部功能和随机函数的随机梯度甲骨文的呼叫。此外，我们将R-SCGD算法概括为多层嵌套组成结构的问题，对于一阶随机甲骨文而言，具有$ O（\ epsilon^{ - 2}）$的复杂性相同。最后，对R-SCGD方法的性能进行了数值评估，该方法在强化学习中的策略评估问题上进行了数值评估。

在翻译，旋转和形状下定义形状和形式作为等同类 - 也是规模的，我们将广义添加剂回归扩展到平面曲线和/或地标配置的形状/形式的模型。该模型尊重响应的所得到的商几何形状，采用平方的测量距离作为损耗函数和测地响应函数来将添加剂预测器映射到形状/形状空间。为了拟合模型，我们提出了一种riemannian $ l_2 $ -boosting算法，适用于可能大量可能的参数密集型模型术语，其还产生了自动模型选择。我们通过合适的张量 - 产品分解为形状/形状空间中的（甚至非线性）协变量提供新的直观可解释的可视化。所提出的框架的有用性在于1）的野生和驯养绵羊和2）细胞形式的分析中，在生物物理模型中产生的细胞形式，以及3）在具有反应形状和形式的现实模拟研究中，具有来自a的响应形状和形式在瓶轮廓上的数据集。

我们提供了概率分布的Riemannian歧管上的经典力学的信息几何公式，该分布是具有双翼连接的仿射歧管。在非参数形式主义中，我们考虑了有限的样本空间上的全套正概率函数，并以统计歧管上的切线和cotangent空间为特定的表达式提供了一种，就希尔伯特束结构而言，我们称之统计捆绑包。在这种情况下，我们使用规范双对的平行传输来计算一维统计模型的速度和加速度，并在束上定义了Lagrangian和Hamiltonian力学的连贯形式主义。最后，在一系列示例中，我们展示了我们的形式主义如何为概率单纯性加速自然梯度动力学提供一个一致的框架，为在优化，游戏理论和神经网络中的直接应用铺平了道路。

Riemannian geometry provides powerful tools to explore the latent space of generative models while preserving the inherent structure of the data manifold. Lengths, energies and volume measures can be derived from a pullback metric, defined through the immersion that maps the latent space to the data space. With this in mind, most generative models are stochastic, and so is the pullback metric. Manipulating stochastic objects is strenuous in practice. In order to perform operations such as interpolations, or measuring the distance between data points, we need a deterministic approximation of the pullback metric. In this work, we are defining a new metric as the expected length derived from the stochastic pullback metric. We show this metric is Finslerian, and we compare it with the expected pullback metric. In high dimensions, we show that the metrics converge to each other at a rate of $\mathcal{O}\left(\frac{1}{D}\right)$.

结构化参数空间的自然梯度下降（NGD）（例如，低级CovariRces）是由于困难的Fisher矩阵计算而在计算上具有挑战性。我们通过使用\ emph {local-parameter坐标}来解决此问题，以获取灵活且高效的NGD方法，适用于各种结构化参数化。我们显示了四个应用程序，我们的方法（1）概括指数自然进化策略，（2）恢复现有的牛顿样算法，（3）通过矩阵组产生新的结构化二阶算法，（4）给出了新的算法高斯和基于Wishart的分布的协方差。我们展示了深度学习，变分推论和进化策略的一系列问题。我们的工作为可扩展结构化几何方法开辟了新的方向。

We consider a class of Riemannian optimization problems where the objective is the sum of a smooth function and a nonsmooth function, considered in the ambient space. This class of problems finds important applications in machine learning and statistics such as the sparse principal component analysis, sparse spectral clustering, and orthogonal dictionary learning. We propose a Riemannian alternating direction method of multipliers (ADMM) to solve this class of problems. Our algorithm adopts easily computable steps in each iteration. The iteration complexity of the proposed algorithm for obtaining an $\epsilon$-stationary point is analyzed under mild assumptions. To the best of our knowledge, this is the first Riemannian ADMM with provable convergence guarantee for solving Riemannian optimization problem with nonsmooth objective. Numerical experiments are conducted to demonstrate the advantage of the proposed method.