我们考虑最大程度地减少两次不同的可差异，$ l $ -smooth和$ \ mu $ -stronglongly凸面目标$ \ phi $ phi $ a $ n \ times n $ n $阳性阳性半finite $ m \ succeq0 $，在假设是最小化的假设$ m^{\ star} $具有低等级$ r^{\ star} \ ll n $。遵循burer- monteiro方法，我们相反，在因子矩阵$ x $ size $ n \ times r $的因素矩阵$ x $上最小化nonconvex objection $ f（x）= \ phi（xx^{t}）$。这实际上将变量的数量从$ o（n^{2}）$减少到$ O（n）$的少量，并且免费实施正面的半弱点，但要付出原始问题的均匀性。在本文中，我们证明，如果搜索等级$ r \ ge r^{\ star} $被相对于真等级$ r^{\ star} $的常数因子过度参数化，则如$ r> \ in frac {1} {4}（l/\ mu-1）^{2} r^{\ star} $，尽管非概念性，但保证本地优化可以从任何初始点转换为全局最佳。这显着改善了先前的$ r \ ge n $的过度参数化阈值，如果允许$ \ phi $是非平滑和/或非额外凸的，众所周知，这将是尖锐的，但会增加变量的数量到$ o（n^{2}）$。相反，没有排名过度参数化，我们证明只有$ \ phi $几乎完美地条件，并且条件数量为$ l/\ mu <3 $，我们才能证明这种全局保证是可能的。因此，我们得出的结论是，少量的过度参数化可能会导致非凸室的理论保证得到很大的改善 - 蒙蒂罗分解。

我们考虑使用梯度下降来最大程度地减少$ f（x）= \ phi（xx^{t}）$在$ n \ times r $因件矩阵$ x $上，其中$ \ phi是一种基础平稳凸成本函数定义了$ n \ times n $矩阵。虽然只能在合理的时间内发现只有二阶固定点$ x $，但如果$ x $的排名不足，则其排名不足证明其是全球最佳的。这种认证全球最优性的方式必然需要当前迭代$ x $的搜索等级$ r $，以相对于级别$ r^{\ star} $过度参数化。不幸的是，过度参数显着减慢了梯度下降的收敛性，从$ r = r = r = r^{\ star} $的线性速率到$ r> r> r> r> r^{\ star} $，即使$ \ phi $是$ \ phi $强烈凸。在本文中，我们提出了一项廉价的预处理，该预处理恢复了过度参数化的情况下梯度下降回到线性的收敛速率，同时也使在全局最小化器$ x^{\ star} $中可能不良条件变得不可知。

许多基本的低级优化问题，例如矩阵完成，相位同步/检索，功率系统状态估计和鲁棒PCA，可以作为矩阵传感问题提出。求解基质传感的两种主要方法是基于半决赛编程（SDP）和Burer-Monteiro（B-M）分解的。 SDP方法患有高计算和空间复杂性，而B-M方法可能由于问题的非跨性别而返回伪造解决方案。这些方法成功的现有理论保证导致了类似的保守条件，这可能错误地表明这些方法具有可比性的性能。在本文中，我们阐明了这两种方法之间的一些主要差异。首先，我们提出一类结构化矩阵完成问题，而B-M方法则以压倒性的概率失败，而SDP方法正常工作。其次，我们确定了B-M方法工作和SDP方法失败的一类高度稀疏矩阵完成问题。第三，我们证明，尽管B-M方法与未知解决方案的等级无关，但SDP方法的成功与解决方案的等级相关，并随着等级的增加而提高。与现有的文献主要集中在SDP和B-M工作的矩阵传感实例上，本文为每种方法的独特优点提供了与替代方法的唯一优点。

诸如压缩感测，图像恢复，矩阵/张恢复和非负矩阵分子等信号处理和机器学习中的许多近期问题可以作为约束优化。预计的梯度下降是一种解决如此约束优化问题的简单且有效的方法。本地收敛分析将我们对解决方案附近的渐近行为的理解，与全球收敛分析相比，收敛率的较小界限提供了较小的界限。然而，本地保证通常出现在机器学习和信号处理的特定问题领域。此稿件在约束最小二乘范围内，对投影梯度下降的局部收敛性分析提供了统一的框架。该建议的分析提供了枢转局部收敛性的见解，例如线性收敛的条件，收敛区域，精确的渐近收敛速率，以及达到一定程度的准确度所需的迭代次数的界限。为了证明所提出的方法的适用性，我们介绍了PGD的收敛分析的配方，并通过在四个基本问题上的配方的开始延迟应用来证明它，即线性约束最小二乘，稀疏恢复，最小二乘法使用单位规范约束和矩阵完成。

我们考虑凸优化问题，这些问题被广泛用作低级基质恢复问题的凸松弛。特别是，在几个重要问题（例如相位检索和鲁棒PCA）中，在许多情况下的基本假设是最佳解决方案是排名一列。在本文中，我们考虑了目标上的简单自然的条件，以使这些放松的最佳解决方案确实是独特的，并且是一个排名。主要是，我们表明，在这种情况下，使用线路搜索的标准Frank-Wolfe方法（即，没有任何参数调整），该方法仅需要单个排名一级的SVD计算，可以找到$ \ epsilon $ - 仅在$ o（\ log {1/\ epsilon}）$迭代（而不是以前最著名的$ o（1/\ epsilon）$）中的近似解决方案，尽管目的不是强烈凸。我们考虑了基本方法的几种变体，具有改善的复杂性，以及由强大的PCA促进的扩展，最后是对非平滑问题的扩展。

The affine rank minimization problem consists of finding a matrix of minimum rank that satisfies a given system of linear equality constraints. Such problems have appeared in the literature of a diverse set of fields including system identification and control, Euclidean embedding, and collaborative filtering. Although specific instances can often be solved with specialized algorithms, the general affine rank minimization problem is NP-hard, because it contains vector cardinality minimization as a special case.In this paper, we show that if a certain restricted isometry property holds for the linear transformation defining the constraints, the minimum rank solution can be recovered by solving a convex optimization problem, namely the minimization of the nuclear norm over the given affine space. We present several random ensembles of equations where the restricted isometry property holds with overwhelming probability, provided the codimension of the subspace is Ω(r(m + n) log mn), where m, n are the dimensions of the matrix, and r is its rank.The techniques used in our analysis have strong parallels in the compressed sensing framework. We discuss how affine rank minimization generalizes this pre-existing concept and outline a dictionary relating concepts from cardinality minimization to those of rank minimization. We also discuss several algorithmic approaches to solving the norm minimization relaxations, and illustrate our results with numerical examples.

This paper shows that a perturbed form of gradient descent converges to a second-order stationary point in a number iterations which depends only poly-logarithmically on dimension (i.e., it is almost "dimension-free"). The convergence rate of this procedure matches the wellknown convergence rate of gradient descent to first-order stationary points, up to log factors. When all saddle points are non-degenerate, all second-order stationary points are local minima, and our result thus shows that perturbed gradient descent can escape saddle points almost for free.Our results can be directly applied to many machine learning applications, including deep learning. As a particular concrete example of such an application, we show that our results can be used directly to establish sharp global convergence rates for matrix factorization. Our results rely on a novel characterization of the geometry around saddle points, which may be of independent interest to the non-convex optimization community.

最近以来，在理解与overparameterized模型非凸损失基于梯度的方法收敛性和泛化显著的理论进展。尽管如此，优化和推广，尤其是小的随机初始化的关键作用的许多方面都没有完全理解。在本文中，我们迈出玄机通过证明小的随机初始化这个角色的步骤，然后通过梯度下降的行为类似于流行谱方法的几个迭代。我们还表明，从小型随机初始化，这可证明是用于overparameterized车型更加突出这种隐含的光谱偏差，也使梯度下降迭代在一个特定的轨迹走向，不仅是全局最优的，但也很好期广义的解决方案。具体而言，我们专注于通过天然非凸制剂重构从几个测量值的低秩矩阵的问题。在该设置中，我们表明，从小的随机初始化的梯度下降迭代的轨迹可以近似分解为三个阶段：（Ⅰ）的光谱或对准阶段，其中，我们表明，该迭代具有一个隐含的光谱偏置类似于频谱初始化允许我们表明，在该阶段中进行迭代，并且下面的低秩矩阵的列空间被充分对准的端部，（II）一鞍回避/细化阶段，我们表明，该梯度的轨迹从迭代移动离开某些简并鞍点，和（III）的本地细化阶段，其中，我们表明，避免了鞍座后的迭代快速收敛到底层低秩矩阵。底层我们的分析是，可能有超出低等级的重建计算问题影响overparameterized非凸优化方案的分析见解。

我们提供了新的基于梯度的方法，以便有效解决广泛的病态化优化问题。我们考虑最小化函数$ f：\ mathbb {r} ^ d \ lightarrow \ mathbb {r} $的问题，它是隐含的可分解的，作为$ m $未知的非交互方式的总和，强烈的凸起功能并提供方法这解决了这个问题，这些问题是缩放（最快的对数因子）作为组件的条件数量的平方根的乘积。这种复杂性绑定（我们证明几乎是最佳的）可以几乎指出的是加速梯度方法的几乎是指数的，这将作为$ F $的条件数量的平方根。此外，我们提供了求解该多尺度优化问题的随机异标变体的有效方法。而不是学习$ F $的分解（这将是过度昂贵的），而是我们的方法应用一个清洁递归“大步小步”交错标准方法。由此产生的算法使用$ \ tilde {\ mathcal {o}}（d m）$空间，在数字上稳定，并打开门以更细粒度的了解凸优化超出条件号的复杂性。

通过内插机器在信号处理和机器学习中的新兴作用的推动，这项工作考虑了过度参数化矩阵分子的计算方面。在这种情况下，优化景观可能包含虚假的固定点（SSP），其被证明是全级矩阵。这些SSP的存在意味着不可能希望任何全球担保过度参数化矩阵分解。例如，当在SSP上初始化时，梯度流将永远被删除。尽管如此，尽管有这些SSP，我们在这项工作中建立了相应的优势函数的梯度流到全局最小化器，只要其初始化是缺陷并且足够接近可行性问题的可行性集合。我们在数值上观察到，当随机初始化时，通过原始 - 双算法启发的提出梯度流的启发式离散化是成功的。我们的结果与当地的细化方法形成鲜明的对比，该方法需要初始化接近优化问题的最佳集合。更具体地，我们成功避免了SSPS设置的陷阱，因为梯度流始终仍然是缺陷，而不是因为附近没有SSP。后者是本地细化方法的情况。此外，广泛使用的限制性肌肉属性在我们的主要结果中没有作用。

在本文中，我们研究了学习最适合培训数据集的浅层人工神经网络的问题。我们在过度参数化的制度中研究了这个问题，在该制度中，观测值的数量少于模型中的参数数量。我们表明，通过二次激活，训练的优化景观这种浅神经网络具有某些有利的特征，可以使用各种局部搜索启发式方法有效地找到全球最佳模型。该结果适用于输入/输出对的任意培训数据。对于可区分的激活函数，我们还表明，适当初始化的梯度下降以线性速率收敛到全球最佳模型。该结果着重于选择输入的可实现模型。根据高斯分布和标签是根据种植的重量系数生成的。

策略梯度方法适用于复杂的，不理解的，通过对参数化的策略进行随机梯度下降来控制问题。不幸的是，即使对于可以通过标准动态编程技术解决的简单控制问题，策略梯度算法也会面临非凸优化问题，并且被广泛理解为仅收敛到固定点。这项工作确定了结构属性 - 通过几个经典控制问题共享 - 确保策略梯度目标函数尽管是非凸面，但没有次优的固定点。当这些条件得到加强时，该目标满足了产生收敛速率的Polyak-lojasiewicz（梯度优势）条件。当其中一些条件放松时，我们还可以在任何固定点的最佳差距上提供界限。

在深度学习中的优化分析是连续的，专注于（变体）梯度流动，或离散，直接处理（变体）梯度下降。梯度流程可符合理论分析，但是风格化并忽略计算效率。它代表梯度下降的程度是深度学习理论的一个开放问题。目前的论文研究了这个问题。将梯度下降视为梯度流量初始值问题的近似数值问题，发现近似程度取决于梯度流动轨迹周围的曲率。然后，我们表明，在具有均匀激活的深度神经网络中，梯度流动轨迹享有有利的曲率，表明它们通过梯度下降近似地近似。该发现允许我们将深度线性神经网络的梯度流分析转换为保证梯度下降，其几乎肯定会在随机初始化下有效地收敛到全局最小值。实验表明，在简单的深度神经网络中，具有传统步长的梯度下降确实接近梯度流。我们假设梯度流动理论将解开深入学习背后的奥秘。

低级和非平滑矩阵优化问题捕获了统计和机器学习中的许多基本任务。尽管近年来在开发\ textIt {平滑}低级优化问题的有效方法方面取得了重大进展，这些问题避免了保持高级矩阵和计算昂贵的高级SVD，但不平滑问题的进步的步伐缓慢。在本文中，我们考虑了针对此类问题的标准凸放松。主要是，我们证明，在\ textit {严格的互补性}条件下，在相对温和的假设下，非平滑目标可以写成最大的光滑功能，近似于两个流行的\ textit {mirriry-prox}方法的变体： \ textIt {外部方法}和带有\ textIt {矩阵启用梯度更新}的镜像 - prox，当用“温暖启动”初始化时，将速率$ o（1/t）$的最佳解决方案收集到最佳解决方案，同时仅需要两个\ textIt {low-rank} svds每迭代。此外，对于外部方法，我们还考虑了严格互补性的放松版本，该版本在所需的SVD等级与我们需要初始化该方法的球的半径之间取决于权衡。我们通过几个非平滑级矩阵恢复任务的经验实验来支持我们的理论结果，这既证明了严格的互补性假设的合理性，又证明了我们所提出的低级镜像 - 镜像变体的有效收敛。

通过在线规范相关性分析的问题，我们提出了\ emph {随机缩放梯度下降}（SSGD）算法，以最小化通用riemannian歧管上的随机功能的期望。 SSGD概括了投影随机梯度下降的思想，允许使用缩放的随机梯度而不是随机梯度。在特殊情况下，球形约束的特殊情况，在广义特征向量问题中产生的，我们建立了$ \ sqrt {1 / t} $的令人反感的有限样本，并表明该速率最佳最佳，直至具有积极的积极因素相关参数。在渐近方面，一种新的轨迹平均争论使我们能够实现局部渐近常态，其速率与鲁普特 - Polyak-Quaditsky平均的速率匹配。我们将这些想法携带在一个在线规范相关分析，从事文献中的第一次获得了最佳的一次性尺度算法，其具有局部渐近融合到正常性的最佳一次性尺度算法。还提供了用于合成数据的规范相关分析的数值研究。

对于函数的矩阵或凸起的正半明确度（PSD）的形状约束在机器学习和科学的许多应用中起着核心作用，包括公制学习，最佳运输和经济学。然而，存在很少的功能模型，以良好的经验性能和理论担保来强制执行PSD-NESS或凸起。在本文中，我们介绍了用于在PSD锥中的值的函数的内核平方模型，其扩展了最近建议编码非负标量函数的内核平方型号。我们为这类PSD函数提供了一个代表性定理，表明它构成了PSD函数的普遍近似器，并在限定的平等约束的情况下导出特征值界限。然后，我们将结果应用于建模凸起函数，通过执行其Hessian的核心量子表示，并表明可以因此表示任何平滑且强凸的功能。最后，我们说明了我们在PSD矩阵值回归任务中的方法以及标准值凸起回归。

近期在应用于培训深度神经网络和数据分析中的其他优化问题中的非凸优化的优化算法的兴趣增加，我们概述了最近对非凸优化优化算法的全球性能保证的理论结果。我们从古典参数开始，显示一般非凸面问题无法在合理的时间内有效地解决。然后，我们提供了一个问题列表，可以通过利用问题的结构来有效地找到全球最小化器，因为可能的问题。处理非凸性的另一种方法是放宽目标，从找到全局最小，以找到静止点或局部最小值。对于该设置，我们首先为确定性一阶方法的收敛速率提出了已知结果，然后是最佳随机和随机梯度方案的一般理论分析，以及随机第一阶方法的概述。之后，我们讨论了非常一般的非凸面问题，例如最小化$ \ alpha $ -weakly-are-convex功能和满足Polyak-lojasiewicz条件的功能，这仍然允许获得一阶的理论融合保证方法。然后，我们考虑更高阶和零序/衍生物的方法及其收敛速率，以获得非凸优化问题。

矩阵的完成问题旨在从对其个别元素的观察中恢复低级$ r \ ll d $的$ d \ times d $地面真相矩阵。现实世界中的矩阵完成通常是一个巨大的优化问题，$ d $如此之大，以至于即使是$ O（d）$ o（d）$ o（d）$ o（d）$ o（d）$ o（d）$ o（d）$ o（d）$ o（d）$ o（d）$ o（d）$ o（d）$ o（d）$ d $的昂贵。随机梯度下降（SGD）是少数能够大规模求解矩阵完成的算法之一，也可以自然地通过不断发展的地面真相处理流数据。不幸的是，当底层地面真理不足时，SGD经历了戏剧性的减速。它至少需要$ o（\ kappa \ log（1/\ epsilon））$迭代才能获得$ \ epsilon $ -close $ \ epsilon $ -Close以接地真相矩阵，条件号$ \ kappa $。在本文中，我们提出了一个预处理的SGD版本，该版本保留了SGD的所有有利的实践素质用于大规模的在线优化，同时也使其不可知到$ \ kappa $。对于对称地面真相和根平方错误（RMSE）损失，我们证明预处理的SGD收敛到$ \ epsilon $ -Accuracy in $ o（\ log（1/\ epsilon））$ tererations $迭代，并具有快速的线性线性融合率好像地面真相是完美的条件，$ \ kappa = 1 $。在我们的数值实验中，我们观察到在1位跨透明拷贝损失下进行的不条件矩阵完成的加速度，以及贝叶斯个性化排名（BPR）损失等成对损失。

The Forster transform is a method of regularizing a dataset by placing it in {\em radial isotropic position} while maintaining some of its essential properties. Forster transforms have played a key role in a diverse range of settings spanning computer science and functional analysis. Prior work had given {\em weakly} polynomial time algorithms for computing Forster transforms, when they exist. Our main result is the first {\em strongly polynomial time} algorithm to compute an approximate Forster transform of a given dataset or certify that no such transformation exists. By leveraging our strongly polynomial Forster algorithm, we obtain the first strongly polynomial time algorithm for {\em distribution-free} PAC learning of halfspaces. This learning result is surprising because {\em proper} PAC learning of halfspaces is {\em equivalent} to linear programming. Our learning approach extends to give a strongly polynomial halfspace learner in the presence of random classification noise and, more generally, Massart noise.

现代统计应用常常涉及最小化可能是非流动和/或非凸起的目标函数。本文侧重于广泛的Bregman-替代算法框架，包括本地线性近似，镜像下降，迭代阈值，DC编程以及许多其他实例。通过广义BREGMAN功能的重新发出使我们能够构建合适的误差测量并在可能高维度下建立非凸起和非凸起和非球形目标的全球收敛速率。对于稀疏的学习问题，在一些规律性条件下，所获得的估算器作为代理人的固定点，尽管不一定是局部最小化者，但享受可明确的统计保障，并且可以证明迭代顺序在所需的情况下接近统计事实准确地快速。本文还研究了如何通过仔细控制步骤和放松参数来设计基于适应性的动力的加速度而不假设凸性或平滑度。