We consider a class of Riemannian optimization problems where the objective is the sum of a smooth function and a nonsmooth function, considered in the ambient space. This class of problems finds important applications in machine learning and statistics such as the sparse principal component analysis, sparse spectral clustering, and orthogonal dictionary learning. We propose a Riemannian alternating direction method of multipliers (ADMM) to solve this class of problems. Our algorithm adopts easily computable steps in each iteration. The iteration complexity of the proposed algorithm for obtaining an $\epsilon$-stationary point is analyzed under mild assumptions. To the best of our knowledge, this is the first Riemannian ADMM with provable convergence guarantee for solving Riemannian optimization problem with nonsmooth objective. Numerical experiments are conducted to demonstrate the advantage of the proposed method.

联邦学习（FL）发现了基于智能手机应用程序的机器学习应用程序中的许多重要应用。尽管已经对FL进行了许多算法，但据我们所知，尚未研究具有非Convex约束的FL算法。本文研究了Riemannian歧管的FL，该歧管发现了重要的应用，例如联合PCA和联合KPCA。我们提出了一种riemannian联合SVRG（RFEDSVRG）方法，以求解对Riemannian歧管的联合优化。我们在不同情况下分析其收敛速率。进行数值实验以将RFEDSVRG与FedAvg和FedProx的Riemannian对应物进行比较。我们从数值实验中观察到RFEDSVRG的优势很重要。

我们研究无限制的黎曼优化的免投影方法。特别是，我们提出了黎曼弗兰克 - 沃尔夫（RFW）方法。我们将RFW的非渐近收敛率分析为最佳（高音）凸起问题，以及非凸起目标的临界点。我们还提出了一种实用的设置，其中RFW可以获得线性收敛速度。作为一个具体的例子，我们将RFW专用于正定矩阵的歧管，并将其应用于两个任务：（i）计算矩阵几何平均值（riemannian质心）; （ii）计算Bures-Wasserstein重心。这两个任务都涉及大量凸间间隔约束，为此，我们表明RFW要求的Riemannian“线性”Oracle承认了闭合形式的解决方案;该结果可能是独立的兴趣。我们进一步专门从事RFW到特殊正交组，并表明这里也可以以封闭形式解决riemannian“线性”甲骨文。在这里，我们描述了数据矩阵同步的应用程序（促使问题）。我们补充了我们的理论结果，并对RFW对最先进的riemananian优化方法进行了实证比较，并观察到RFW竞争性地对计算黎曼心质的任务进行竞争性。

We investigate the problem of recovering a partially observed high-rank matrix whose columns obey a nonlinear structure such as a union of subspaces, an algebraic variety or grouped in clusters. The recovery problem is formulated as the rank minimization of a nonlinear feature map applied to the original matrix, which is then further approximated by a constrained non-convex optimization problem involving the Grassmann manifold. We propose two sets of algorithms, one arising from Riemannian optimization and the other as an alternating minimization scheme, both of which include first- and second-order variants. Both sets of algorithms have theoretical guarantees. In particular, for the alternating minimization, we establish global convergence and worst-case complexity bounds. Additionally, using the Kurdyka-Lojasiewicz property, we show that the alternating minimization converges to a unique limit point. We provide extensive numerical results for the recovery of union of subspaces and clustering under entry sampling and dense Gaussian sampling. Our methods are competitive with existing approaches and, in particular, high accuracy is achieved in the recovery using Riemannian second-order methods.

我们为正规化优化问题$ g（\ boldsymbol {x}） + h（\ boldsymbol {x}）$提供了有效的解决方案，其中$ \ boldsymbol {x} $在单位sphere $ \ vert \ vert \ boldsymbol { x} \ vert_2 = 1 $。在这里$ g（\ cdot）$是lipschitz连续梯度的平稳成本）$通常是非平滑的，但凸出并且绝对同质，\ textit {ef。，}〜规范正则化及其组合。我们的解决方案基于Riemannian近端梯度，使用我们称为\ textIt {代理步骤}}的想法 - 一个标量变量，我们证明，与间隔内的实际步骤大小相对于实际的步骤。对于凸面和绝对均匀的$ h（\ cdot）$，替代步骤尺寸存在，并确定封闭形式中的实际步骤大小和切线更新，因此是完整的近端梯度迭代。基于这些见解，我们使用代理步骤设计了Riemannian近端梯度方法。我们证明，我们的方法仅基于$ g（\ cdot）$成本的线条搜索技术而收敛到关键点。提出的方法可以用几行代码实现。我们通过应用核规范，$ \ ell_1 $规范和核谱规则正规化来显示其有用性。这些改进是一致的，并得到数值实验的支持。

在本文中，我们专注于Stiefel歧管上的分散优化问题，该问题在$ D $代理的连接网络上定义。目标是D $本地函数的平均值，并且每个函数由代理私下持有并编码其数据。代理商只能以合作努力与邻居沟通以解决这个问题。在现有方法中，需要多轮通信来保证收敛，从而产生高通信成本。相比之下，本文提出了一种被称为命运的分散算法，该算法仅调用每次迭代的单一轮通信。命运结合了梯度跟踪技术，具有新颖的近似增强拉格朗日函数。全球收敛到静止点是严格建立的。综合数值实验表明，命运具有强大的潜力，可以在解决各种测试问题方面提供尖端性能。

从最佳运输到稳健的维度降低，可以将大量的机器学习应用程序放入Riemannian歧管上的Min-Max优化问题中。尽管在欧几里得的环境中已经分析了许多最小的最大算法，但事实证明，将这些结果转化为Riemannian案例已被证明是难以捉摸的。张等。 [2022]最近表明，测量凸凹入的凹入问题总是容纳鞍点解决方案。受此结果的启发，我们研究了Riemannian和最佳欧几里得空间凸入concove算法之间的性能差距。我们在负面的情况下回答了这个问题，证明Riemannian校正的外部（RCEG）方法在地球上强烈convex-concove案例中以线性速率实现了最后近期收敛，与欧几里得结果匹配。我们的结果还扩展到随机或非平滑案例，在这种情况下，RCEG和Riemanian梯度上升下降（RGDA）达到了近乎最佳的收敛速率，直到因歧管的曲率而定为因素。

在本文中，我们通过推断在歧管上的迭代来提出一种简单的加速度方案，用于利曼梯度方法。我们显示何时从Riemannian梯度下降法生成迭代元素，加速方案是渐近地达到最佳收敛速率，并且比最近提出的Riemannian Nesterov加速梯度方法在计算上更有利。我们的实验验证了新型加速策略的实际好处。

在科学计算和数据科学中广泛发现了具有正交性约束的分散优化。由于正交性约束是非convex，因此设计有效的算法是非常具有挑战性的。现有方法利用从黎曼优化的几何工具来以高样本和沟通复杂性为代价来解决此问题。为了减轻这一难度，基于两种可以放弃正交性约束的新技术，我们提出了降低方差的随机梯度跟踪（VRSGT）算法，其收敛速率为$ O（1 / K）$。据我们所知，VRSGT是分散优化的第一种算法，具有正交性约束，同时降低了采样和通信复杂性。在数值实验中，VRSGT在现实世界的自主驾驶应用程序中具有有希望的性能。

Riemannian优化是解决优化问题的原则框架，其中所需的最佳被限制为光滑的歧管$ \ Mathcal {M} $。在此框架中设计的算法通常需要对歧管的几何描述，该描述通常包括切线空间，缩回和成本函数的梯度。但是，在许多情况下，由于缺乏信息或棘手的性能，只能访问这些元素的子集（或根本没有）。在本文中，我们提出了一种新颖的方法，可以在这种情况下执行近似Riemannian优化，其中约束歧管是$ \ r^{d} $的子手机。至少，我们的方法仅需要一组无噪用的成本函数$（\ x_ {i}，y_ {i}）\ in {\ mathcal {m}} \ times \ times \ times \ times \ times \ mathbb {r} $和内在的歧管$ \ MATHCAL {M} $的维度。使用样品，并利用歧管-MLS框架（Sober和Levin 2020），我们构建了缺少的组件的近似值，这些组件娱乐可证明的保证并分析其计算成本。如果某些组件通过分析给出（例如，如果成本函数及其梯度明确给出，或者可以计算切线空间），则可以轻松地适应该算法以使用准确的表达式而不是近似值。我们使用我们的方法分析了基于Riemannian梯度的方法的全球收敛性，并从经验上证明了该方法的强度，以及基于类似原理的共轭梯度类型方法。

Projection robust Wasserstein (PRW) distance, or Wasserstein projection pursuit (WPP), is a robust variant of the Wasserstein distance. Recent work suggests that this quantity is more robust than the standard Wasserstein distance, in particular when comparing probability measures in high-dimensions. However, it is ruled out for practical application because the optimization model is essentially non-convex and non-smooth which makes the computation intractable. Our contribution in this paper is to revisit the original motivation behind WPP/PRW, but take the hard route of showing that, despite its non-convexity and lack of nonsmoothness, and even despite some hardness results proved by~\citet{Niles-2019-Estimation} in a minimax sense, the original formulation for PRW/WPP \textit{can} be efficiently computed in practice using Riemannian optimization, yielding in relevant cases better behavior than its convex relaxation. More specifically, we provide three simple algorithms with solid theoretical guarantee on their complexity bound (one in the appendix), and demonstrate their effectiveness and efficiency by conducing extensive experiments on synthetic and real data. This paper provides a first step into a computational theory of the PRW distance and provides the links between optimal transport and Riemannian optimization.

黎曼优化中加速梯度方法的研究最近见证了显着的进展。然而，与欧几里德的环境相比，利莫曼环境仍然缺乏对加速的系统理解。我们重新审视\ citet {monteiro2013accelerated}的\ citet {monteiro2013accelerated}的\ citeterated {monteiro2013accelerated}，这是一个强大的框架，用于获得加速的欧几里德方法。随后，我们提出了一个Riemannian版的A-HPE。我们对Riemannian A-HPE分析的基础是欧几里德A-HPE的一系列洞察力，我们将仔细控制Riemannian几何形状引起的扭曲。我们描述了许多riemannian加速梯度方法作为我们框架的具体实例。

一类非平滑实践优化问题可以写成，以最大程度地减少平滑且部分平滑的功能。我们考虑了这种结构化问题，这些问题也取决于参数矢量，并研究了将其解决方案映射相对于参数的问题，该参数在灵敏度分析和参数学习选择材料问题中具有很大的应用。我们表明，在部分平滑度和其他温和假设下，近端分裂算法产生的序列的自动分化（AD）会收敛于溶液映射的衍生物。对于一种自动分化的变体，我们称定点自动分化（FPAD），我们纠正了反向模式AD的内存开销问题，此外，理论上提供了更快的收敛。我们从数值上说明了套索和组套索问题的AD和FPAD的收敛性和收敛速率，并通过学习正则化项来证明FPAD在原型实用图像deoise问题上的工作。

通过在线规范相关性分析的问题，我们提出了\ emph {随机缩放梯度下降}（SSGD）算法，以最小化通用riemannian歧管上的随机功能的期望。 SSGD概括了投影随机梯度下降的思想，允许使用缩放的随机梯度而不是随机梯度。在特殊情况下，球形约束的特殊情况，在广义特征向量问题中产生的，我们建立了$ \ sqrt {1 / t} $的令人反感的有限样本，并表明该速率最佳最佳，直至具有积极的积极因素相关参数。在渐近方面，一种新的轨迹平均争论使我们能够实现局部渐近常态，其速率与鲁普特 - Polyak-Quaditsky平均的速率匹配。我们将这些想法携带在一个在线规范相关分析，从事文献中的第一次获得了最佳的一次性尺度算法，其具有局部渐近融合到正常性的最佳一次性尺度算法。还提供了用于合成数据的规范相关分析的数值研究。

诸如压缩感测，图像恢复，矩阵/张恢复和非负矩阵分子等信号处理和机器学习中的许多近期问题可以作为约束优化。预计的梯度下降是一种解决如此约束优化问题的简单且有效的方法。本地收敛分析将我们对解决方案附近的渐近行为的理解，与全球收敛分析相比，收敛率的较小界限提供了较小的界限。然而，本地保证通常出现在机器学习和信号处理的特定问题领域。此稿件在约束最小二乘范围内，对投影梯度下降的局部收敛性分析提供了统一的框架。该建议的分析提供了枢转局部收敛性的见解，例如线性收敛的条件，收敛区域，精确的渐近收敛速率，以及达到一定程度的准确度所需的迭代次数的界限。为了证明所提出的方法的适用性，我们介绍了PGD的收敛分析的配方，并通过在四个基本问题上的配方的开始延迟应用来证明它，即线性约束最小二乘，稀疏恢复，最小二乘法使用单位规范约束和矩阵完成。

我们研究了可以写入欧几里得凸函数的差异的地质凸（G-Convex）问题。这种结构出现在统计和机器学习中的几个优化问题中，例如，用于矩阵缩放，协方差的M估计器和Brascamp-Lieb不平等。我们的工作提供有效的算法，一方面利用G-Convexity来确保全球最优性以及保证迭代复杂性。另一方面，拆分结构使我们能够开发欧几里得最小化算法，这些算法可以帮助我们绕开计算昂贵的Riemannian操作（例如指数型地图和并行运输）的需求。我们通过将其专门针对机器学习文献中以前研究过的一些具体优化问题来说明我们的结果。最终，我们希望我们的工作有助于激励人们更广泛地寻找混合的欧几罗南优化算法。

Nonconvex minimax problems have attracted wide attention in machine learning, signal processing and many other fields in recent years. In this paper, we propose a primal dual alternating proximal gradient (PDAPG) algorithm and a primal dual proximal gradient (PDPG-L) algorithm for solving nonsmooth nonconvex-strongly concave and nonconvex-linear minimax problems with coupled linear constraints, respectively. The corresponding iteration complexity of the two algorithms are proved to be $\mathcal{O}\left( \varepsilon ^{-2} \right)$ and $\mathcal{O}\left( \varepsilon ^{-3} \right)$ to reach an $\varepsilon$-stationary point, respectively. To our knowledge, they are the first two algorithms with iteration complexity guarantee for solving the two classes of minimax problems.

二重优化发现在现代机器学习问题中发现了广泛的应用，例如超参数优化，神经体系结构搜索，元学习等。而具有独特的内部最小点（例如，内部功能是强烈凸的，都具有唯一的内在最小点）的理解，这是充分理解的，多个内部最小点的问题仍然是具有挑战性和开放的。为此问题设计的现有算法适用于限制情况，并且不能完全保证融合。在本文中，我们采用了双重优化的重新制定来限制优化，并通过原始的双二线优化（PDBO）算法解决了问题。 PDBO不仅解决了多个内部最小挑战，而且还具有完全一阶效率的情况，而无需涉及二阶Hessian和Jacobian计算，而不是大多数现有的基于梯度的二杆算法。我们进一步表征了PDBO的收敛速率，它是与多个内部最小值的双光线优化的第一个已知的非质合收敛保证。我们的实验证明了所提出的方法的预期性能。

非convex受限的优化问题可用于模拟许多机器学习问题，例如多级Neyman-Pearson分类和受限的Markov决策过程。但是，由于目标和约束可能是非概念，因此这些问题都是具有挑战性的，因此很难平衡减少损失价值和减少约束违规行为的平衡。尽管有几种方法可以解决此类问题，但它们都是双环或三环算法，它们需要Oracles来解决某些子问题，通过在每次迭代中调整多个超级参数，以达到某些准确性。在本文中，我们提出了一种新型的梯度下降和扰动的上升（GDPA）算法，以解决一类平滑的非概念不平等的限制问题。 GDPA是一种原始的偶算法，仅利用目标和约束函数的一阶信息，以交替的方式更新原始变量和双重变量。该算法的关键特征是它是一种单循环算法，其中只需要调整两个步骤尺寸。我们表明，在轻度的规律性条件下，GDPA能够找到非convex功能约束问题的Karush-Kuhn-Tucker（KKT）点，并保证了收敛率。据我们所知，这是第一个可以通过非convex不等式约束来解决一般非凸的平滑问题的单循环算法。与最著名的算法相比，数值结果还显示了GDPA的优越性（就平稳性测量和获得的溶液的可行性而言）。

在本文中，我们提出了一个算法框架，称为乘数的惯性交替方向方法（IADMM），用于求解与线性约束线性约束的一类非convex非conmooth多块复合优化问题。我们的框架采用了一般最小化 - 更大化（MM）原理来更新每个变量块，从而不仅统一了先前在MM步骤中使用特定替代功能的AMDM的收敛分析，还导致新的有效ADMM方案。据我们所知，在非convex非平滑设置中，ADMM与MM原理结合使用，以更新每个变量块，而ADMM与\ emph {Primal变量的惯性术语结合在一起}尚未在文献中研究。在标准假设下，我们证明了生成的迭代序列的后续收敛和全局收敛性。我们说明了IADMM对一类非凸低级别表示问题的有效性。