在本文中，我们考虑发现非凸锥优化的近似二阶固定点（SOSP），该点在仿射子空间和凸锥的交点上最小化了两倍的可微分函数。特别是，我们提出了一个基于牛顿 - 偶联的梯度（牛顿-CG）的障碍方法，用于查找$（\ epsilon，\ sqrt {\ epsilon}）$ - 此问题的SOSP。我们的方法不仅可以实现，而且还达到了$ {\ cal o}（\ epsilon^{ - 3/2}）$的迭代复杂性，它匹配找到$的二阶方法的最著名迭代复杂性（以找到$（\ epsilon，\ sqrt {\ epsilon}）$ - 无约束的非convex优化的sosp。$ \ widetilde {\ cal o}的操作复杂性（\ epsilon^{ - 3/2} \ min \ {也是为我们的方法建立的。

在本文中，我们考虑了一类结构化单调包含（MI）问题，这些问题包括在两个单调算子的总和中找到零，其中一个是最大单调的，而另一个是局部的lipchitz。特别是，我们首先提出了一种原始的偶尔外推（PDE）方法，用于通过使用点和操作器外推技术来修改经典前进的分裂方法，以解决结构化的强烈MI问题，其中参数通过回溯进行自适应更新线搜索方案。所提出的PDE方法几乎不含参数，配备了可验证的终止标准，并且享受$ {\ cal o}的操作复杂性（\ log \ log \ epsilon^{ - 1}）$，通过组成的基本操作量来衡量仅对另一个操作员的一个操作员和解决方案进行评估，以找到结构化强烈MI问题的$ \ epsilon $ risiDual解决方案。然后，我们提出了另一种PDE方法，用于通过应用上述PDE方法近似求解一系列结构化的强烈MI问题来解决结构化的非额外MI问题。所得的PDE方法是无参数的，配备了可验证的终止标准，并享受$ {\ cal o}的操作复杂性（\ epsilon^{ - 1} \ log \ log \ epsilon^{ - 1}）$ $ \ epsilon $ - 累积的非紧张MI问题的解决方案。结果，我们将后者的PDE方法应用于圆锥圆锥优化，锥形约束鞍点和变异不平等问题，并获得复杂性结果，以找到$ \ epsilon $ -KKT或$ \ epsilon $ - epsilon $ - 水分$ - 局部的解决方案。 Lipschitz的连续性。据我们所知，尚未进行先前的研究来调查具有复杂性保证解决本地Lipschitz连续性下述问题的方法。本文获得的所有复杂性结果都是全新的。

在本文中，我们开发了使用局部Lipschitz连续梯度（LLCG）的凸优化的一阶方法，该方法超出了lipschitz连续梯度的精心研究类别的凸优化。特别是，我们首先考虑使用LLCG进行无约束的凸优化，并提出求解它的加速近端梯度（APG）方法。所提出的APG方法配备了可验证的终止标准，并享受$ {\ cal o}的操作复杂性（\ varepsilon^{ - 1/2} \ log \ log \ varepsilon^{ - 1}）$和$ {\ cal o {\ cal o }（\ log \ varepsilon^{ - 1}）$用于查找不受约束的凸的$ \ varepsilon $ - 剩余凸和强烈凸优化问题的解决方案。然后，我们考虑使用LLCG进行约束的凸优化，并提出了一种近端增强拉格朗日方法，通过应用我们提出的APG方法之一来求解一系列近端增强拉格朗日子问题，以解决它。所得的方法配备了可验证的终止标准，并享受$ {\ cal o}的操作复杂性（\ varepsilon^{ - 1} \ log \ log \ varepsilon^{ - 1}）$和$ {\ cal o}（\ cal o}（\ Varepsilon^{ - 1/2} \ log \ varepsilon^{ - 1}）$用于查找约束凸的$ \ varepsilon $ -KKT解决方案，分别是强烈的凸优化问题。本文中所有提出的方法均无参数或几乎不含参数，但需要有关凸电参数的知识。据我们所知，没有进行先前的研究来研究具有复杂性保证的加速一阶方法，可与LLCG进行凸优化。本文获得的所有复杂性结果都是全新的。

我们引入了一种降低尺寸的二阶方法（DRSOM），用于凸和非凸的不受约束优化。在类似信任区域的框架下，我们的方法保留了二阶方法的收敛性，同时仅在两个方向上使用Hessian-Vector产品。此外，计算开销仍然与一阶相当，例如梯度下降方法。我们证明该方法的复杂性为$ O（\ epsilon^{ - 3/2}）$，以满足子空间中的一阶和二阶条件。DRSOM的适用性和性能通过逻辑回归，$ L_2-L_P $最小化，传感器网络定位和神经网络培训的各种计算实验展示。对于神经网络，我们的初步实施似乎在训练准确性和迭代复杂性方面与包括SGD和ADAM在内的最先进的一阶方法获得了计算优势。

本文主要侧重于计算向量的欧几里德投影到$ \ ell_ {p} $ ball，其中$ p \ in（0,1）$。这种问题是统计机器学习中的核心构建块和信号处理任务，因为它促进了稀疏性的能力。但是，用于查找投影的有效数值算法仍然不可用，特别是在大规模优化中。为满足这一挑战，我们首先推出了这个问题的一流必备的最优性条件。基于该表征，我们通过求解一系列投影来制定一种用于计算静止点的新颖性方法，以在重新重量$ \ ell_ {1} $ - 球上。这种方法实际上是简单的实现和计算效率。此外，所提出的算法显示在温和条件下唯一会聚，并且具有最坏情况$ O（1 / \ SQRT {k}）$收敛速率。数值实验证明了我们所提出的算法的效率。

This paper shows that a perturbed form of gradient descent converges to a second-order stationary point in a number iterations which depends only poly-logarithmically on dimension (i.e., it is almost "dimension-free"). The convergence rate of this procedure matches the wellknown convergence rate of gradient descent to first-order stationary points, up to log factors. When all saddle points are non-degenerate, all second-order stationary points are local minima, and our result thus shows that perturbed gradient descent can escape saddle points almost for free.Our results can be directly applied to many machine learning applications, including deep learning. As a particular concrete example of such an application, we show that our results can be used directly to establish sharp global convergence rates for matrix factorization. Our results rely on a novel characterization of the geometry around saddle points, which may be of independent interest to the non-convex optimization community.

近期在应用于培训深度神经网络和数据分析中的其他优化问题中的非凸优化的优化算法的兴趣增加，我们概述了最近对非凸优化优化算法的全球性能保证的理论结果。我们从古典参数开始，显示一般非凸面问题无法在合理的时间内有效地解决。然后，我们提供了一个问题列表，可以通过利用问题的结构来有效地找到全球最小化器，因为可能的问题。处理非凸性的另一种方法是放宽目标，从找到全局最小，以找到静止点或局部最小值。对于该设置，我们首先为确定性一阶方法的收敛速率提出了已知结果，然后是最佳随机和随机梯度方案的一般理论分析，以及随机第一阶方法的概述。之后，我们讨论了非常一般的非凸面问题，例如最小化$ \ alpha $ -weakly-are-convex功能和满足Polyak-lojasiewicz条件的功能，这仍然允许获得一阶的理论融合保证方法。然后，我们考虑更高阶和零序/衍生物的方法及其收敛速率，以获得非凸优化问题。

我们提出了一种基于优化的基于优化的框架，用于计算差异私有M估算器以及构建差分私立置信区的新方法。首先，我们表明稳健的统计数据可以与嘈杂的梯度下降或嘈杂的牛顿方法结合使用，以便分别获得具有全局线性或二次收敛的最佳私人估算。我们在局部强大的凸起和自我协调下建立当地和全球融合保障，表明我们的私人估算变为对非私人M估计的几乎最佳附近的高概率。其次，我们通过构建我们私有M估计的渐近方差的差异私有估算来解决参数化推断的问题。这自然导致近​​似枢轴统计，用于构建置信区并进行假设检测。我们展示了偏置校正的有效性，以提高模拟中的小样本实证性能。我们说明了我们在若干数值例子中的方法的好处。

We analyze Newton's method with lazy Hessian updates for solving general possibly non-convex optimization problems. We propose to reuse a previously seen Hessian for several iterations while computing new gradients at each step of the method. This significantly reduces the overall arithmetical complexity of second-order optimization schemes. By using the cubic regularization technique, we establish fast global convergence of our method to a second-order stationary point, while the Hessian does not need to be updated each iteration. For convex problems, we justify global and local superlinear rates for lazy Newton steps with quadratic regularization, which is easier to compute. The optimal frequency for updating the Hessian is once every $d$ iterations, where $d$ is the dimension of the problem. This provably improves the total arithmetical complexity of second-order algorithms by a factor $\sqrt{d}$.

We consider minimizing a smooth and strongly convex objective function using a stochastic Newton method. At each iteration, the algorithm is given an oracle access to a stochastic estimate of the Hessian matrix. The oracle model includes popular algorithms such as Subsampled Newton and Newton Sketch. Despite using second-order information, these existing methods do not exhibit superlinear convergence, unless the stochastic noise is gradually reduced to zero during the iteration, which would lead to a computational blow-up in the per-iteration cost. We propose to address this limitation with Hessian averaging: instead of using the most recent Hessian estimate, our algorithm maintains an average of all the past estimates. This reduces the stochastic noise while avoiding the computational blow-up. We show that this scheme exhibits local $Q$-superlinear convergence with a non-asymptotic rate of $(\Upsilon\sqrt{\log (t)/t}\,)^{t}$, where $\Upsilon$ is proportional to the level of stochastic noise in the Hessian oracle. A potential drawback of this (uniform averaging) approach is that the averaged estimates contain Hessian information from the global phase of the method, i.e., before the iterates converge to a local neighborhood. This leads to a distortion that may substantially delay the superlinear convergence until long after the local neighborhood is reached. To address this drawback, we study a number of weighted averaging schemes that assign larger weights to recent Hessians, so that the superlinear convergence arises sooner, albeit with a slightly slower rate. Remarkably, we show that there exists a universal weighted averaging scheme that transitions to local convergence at an optimal stage, and still exhibits a superlinear convergence rate nearly (up to a logarithmic factor) matching that of uniform Hessian averaging.

广义自我符合是许多重要学习问题的目标功能中存在的关键属性。我们建立了一个简单的Frank-Wolfe变体的收敛速率，该变体使用开环步数策略$ \ gamma_t = 2/（t+2）$，获得了$ \ Mathcal {o}（1/t）$收敛率对于这类功能，就原始差距和弗兰克 - 沃尔夫差距而言，$ t $是迭代计数。这避免了使用二阶信息或估计以前工作的局部平滑度参数的需求。我们还显示了各种常见病例的收敛速率的提高，例如，当所考虑的可行区域均匀地凸或多面体时。

我们提供了新的基于梯度的方法，以便有效解决广泛的病态化优化问题。我们考虑最小化函数$ f：\ mathbb {r} ^ d \ lightarrow \ mathbb {r} $的问题，它是隐含的可分解的，作为$ m $未知的非交互方式的总和，强烈的凸起功能并提供方法这解决了这个问题，这些问题是缩放（最快的对数因子）作为组件的条件数量的平方根的乘积。这种复杂性绑定（我们证明几乎是最佳的）可以几乎指出的是加速梯度方法的几乎是指数的，这将作为$ F $的条件数量的平方根。此外，我们提供了求解该多尺度优化问题的随机异标变体的有效方法。而不是学习$ F $的分解（这将是过度昂贵的），而是我们的方法应用一个清洁递归“大步小步”交错标准方法。由此产生的算法使用$ \ tilde {\ mathcal {o}}（d m）$空间，在数字上稳定，并打开门以更细粒度的了解凸优化超出条件号的复杂性。

机器学习中的许多基本问题可以通过convex程序\ [\ min _ {\ theta \ in r^d} \ sum_ {i = 1}^{n} f_ {i}（\ theta），\]每个$ f_i $都是一个凸，Lipschitz函数在$ \ theta $的$ d_i $坐标的子集中支持。以随机梯度下降为例，解决此问题的一种常见方法涉及在每次迭代时对一个$ f_i $术语进行采样以取得进展。这种方法至关重要地依赖于$ f_i $的均匀性概念，该概念正式通过其状况编号捕获。在这项工作中，我们给出了一种将上述凸公式最小化为$ \ epsilon $ -Accuracy in $ \ widetilde {o}（\ sum_ {i = 1}^n d_i \ log（1 /\ epsilon）$计算，没有关于条件号的假设。以前的最佳算法独立于条件编号是标准切割平面方法，它需要$ o（nd \ log（1/\ epsilon））$渐变计算。作为推论，我们改善了Axiotis等人的评估甲骨文的复杂性，可分解性下的最小化。 （ICML 2021）。我们的主要技术贡献是一种自适应程序，可以通过切割平面和内点方法的新型组合在每次迭代中选择$ f_i $项。

我们考虑使用梯度下降来最大程度地减少$ f（x）= \ phi（xx^{t}）$在$ n \ times r $因件矩阵$ x $上，其中$ \ phi是一种基础平稳凸成本函数定义了$ n \ times n $矩阵。虽然只能在合理的时间内发现只有二阶固定点$ x $，但如果$ x $的排名不足，则其排名不足证明其是全球最佳的。这种认证全球最优性的方式必然需要当前迭代$ x $的搜索等级$ r $，以相对于级别$ r^{\ star} $过度参数化。不幸的是，过度参数显着减慢了梯度下降的收敛性，从$ r = r = r = r^{\ star} $的线性速率到$ r> r> r> r> r^{\ star} $，即使$ \ phi $是$ \ phi $强烈凸。在本文中，我们提出了一项廉价的预处理，该预处理恢复了过度参数化的情况下梯度下降回到线性的收敛速率，同时也使在全局最小化器$ x^{\ star} $中可能不良条件变得不可知。

Theoretical properties of bilevel problems are well studied when the lower-level problem is strongly convex. In this work, we focus on bilevel optimization problems without the strong-convexity assumption. In these cases, we first show that the common local optimality measures such as KKT condition or regularization can lead to undesired consequences. Then, we aim to identify the mildest conditions that make bilevel problems tractable. We identify two classes of growth conditions on the lower-level objective that leads to continuity. Under these assumptions, we show that the local optimality of the bilevel problem can be defined via the Goldstein stationarity condition of the hyper-objective. We then propose the Inexact Gradient-Free Method (IGFM) to solve the bilevel problem, using an approximate zeroth order oracle that is of independent interest. Our non-asymptotic analysis demonstrates that the proposed method can find a $(\delta, \varepsilon)$ Goldstein stationary point for bilevel problems with a zeroth order oracle complexity that is polynomial in $d, 1/\delta$ and $1/\varepsilon$.

Convex function constrained optimization has received growing research interests lately. For a special convex problem which has strongly convex function constraints, we develop a new accelerated primal-dual first-order method that obtains an $\Ocal(1/\sqrt{\vep})$ complexity bound, improving the $\Ocal(1/{\vep})$ result for the state-of-the-art first-order methods. The key ingredient to our development is some novel techniques to progressively estimate the strong convexity of the Lagrangian function, which enables adaptive step-size selection and faster convergence performance. In addition, we show that the complexity is further improvable in terms of the dependence on some problem parameter, via a restart scheme that calls the accelerated method repeatedly. As an application, we consider sparsity-inducing constrained optimization which has a separable convex objective and a strongly convex loss constraint. In addition to achieving fast convergence, we show that the restarted method can effectively identify the sparsity pattern (active-set) of the optimal solution in finite steps. To the best of our knowledge, this is the first active-set identification result for sparsity-inducing constrained optimization.

我们提出和分析了几种随机梯度算法，以查找固定点或非convex中的局部最小值，可能是使用非平​​滑规则器，有限-AM和在线优化问题。首先，我们提出了一种基于降低的差异降低的简单近端随机梯度算法，称为XSVRG+。我们提供了对Proxsvrg+的干净分析，这表明它的表现优于确定性的近端下降（ProxGD），用于各种Minibatch尺寸，因此解决了Reddi等人中提出的一个开放问题。 （2016b）。此外，Proxsvrg+的使用近近端甲骨文调用比Proxsvrg（Reddi等，2016b）使用的距离要少得多，并通过避免进行完整的梯度计算来扩展到在线设置。然后，我们进一步提出了一种基于Sarah（Nguyen等，2017）的最佳算法，称为SSRGD，并表明SSRGD进一步提高了Proxsvrg+的梯度复杂性，并实现了最佳的上限，与已知的下限相匹配（Fang et et et and offang等人（Fang等人）（Fang等人）（Fang等人Al。，2018; Li等，2021）。此外，我们表明，Proxsvrg+和SSRGD都可以自动适应目标函数的局部结构，例如Polyak- \ l {} ojasiewicz（pl）有限的case中非convex函数的条件他们可以自动切换到更快的全局线性收敛，而无需在先前的工作proxsvrg中执行任何重新启动（Reddi等，2016b）。最后，我们专注于找到$（\ epsilon，\ delta）$的更具挑战性的问题 - 当地的最低限度，而不仅仅是找到$ \ epsilon $ -Approximate（一阶）固定点（这可能是一些不稳定的不稳定的鞍座点）。我们证明SSRGD可以找到$（\ epsilon，\ delta）$ - 局部最小值，只需添加一些随机的扰动即可。我们的算法几乎与查找固定点的对应物一样简单，并达到相似的最佳速率。

诸如压缩感测，图像恢复，矩阵/张恢复和非负矩阵分子等信号处理和机器学习中的许多近期问题可以作为约束优化。预计的梯度下降是一种解决如此约束优化问题的简单且有效的方法。本地收敛分析将我们对解决方案附近的渐近行为的理解，与全球收敛分析相比，收敛率的较小界限提供了较小的界限。然而，本地保证通常出现在机器学习和信号处理的特定问题领域。此稿件在约束最小二乘范围内，对投影梯度下降的局部收敛性分析提供了统一的框架。该建议的分析提供了枢转局部收敛性的见解，例如线性收敛的条件，收敛区域，精确的渐近收敛速率，以及达到一定程度的准确度所需的迭代次数的界限。为了证明所提出的方法的适用性，我们介绍了PGD的收敛分析的配方，并通过在四个基本问题上的配方的开始延迟应用来证明它，即线性约束最小二乘，稀疏恢复，最小二乘法使用单位规范约束和矩阵完成。

We introduce a class of first-order methods for smooth constrained optimization that are based on an analogy to non-smooth dynamical systems. Two distinctive features of our approach are that (i) projections or optimizations over the entire feasible set are avoided, in stark contrast to projected gradient methods or the Frank-Wolfe method, and (ii) iterates are allowed to become infeasible, which differs from active set or feasible direction methods, where the descent motion stops as soon as a new constraint is encountered. The resulting algorithmic procedure is simple to implement even when constraints are nonlinear, and is suitable for large-scale constrained optimization problems in which the feasible set fails to have a simple structure. The key underlying idea is that constraints are expressed in terms of velocities instead of positions, which has the algorithmic consequence that optimizations over feasible sets at each iteration are replaced with optimizations over local, sparse convex approximations. In particular, this means that at each iteration only constraints that are violated are taken into account. The result is a simplified suite of algorithms and an expanded range of possible applications in machine learning.

随机多变最小化 - 最小化（SMM）是大多数变化最小化的经典原则的在线延伸，这包括采样I.I.D。来自固定数据分布的数据点，并最小化递归定义的主函数的主要替代。在本文中，我们引入了随机块大大化 - 最小化，其中替代品现在只能块多凸，在半径递减内的时间优化单个块。在SMM中的代理人放松标准的强大凸起要求，我们的框架在内提供了更广泛的适用性，包括在线CANDECOMP / PARAFAC（CP）字典学习，并且尤其是当问题尺寸大时产生更大的计算效率。我们对所提出的算法提供广泛的收敛性分析，我们在可能的数据流下派生，放松标准i.i.d。对数据样本的假设。我们表明，所提出的算法几乎肯定会收敛于速率$ O（（\ log n）^ {1+ \ eps} / n ^ {1/2}）$的约束下的非凸起物镜的静止点集合。实证丢失函数和$ O（（\ log n）^ {1+ \ eps} / n ^ {1/4}）$的预期丢失函数，其中$ n $表示处理的数据样本数。在一些额外的假设下，后一趋同率可以提高到$ o（（\ log n）^ {1+ \ eps} / n ^ {1/2}）$。我们的结果为一般马尔维亚数据设置提供了各种在线矩阵和张量分解算法的第一融合率界限。