由于其吸引人的稳健性以及可提供的效率保证，随机模型的方法最近得到了最新的关注。我们为改善基于模型的方法进行了两个重要扩展，即在随机弱凸优化上提高了基于模型的方法。首先，我们通过涉及一组样本来提出基于MiniBatch模型的方法，以近似每次迭代中的模型函数。我们首次表明随机算法即使对于非平滑和非凸（特别是弱凸）问题，即使是批量大小也可以实现线性加速。为此，我们开发了对每个算法迭代中涉及的近端映射的新颖敏感性分析。我们的分析似乎是更多常规设置的独立利益。其次，由于动量随机梯度下降的成功，我们提出了一种新的随机外推模型的方法，大大延伸到更广泛的随机算法中的经典多济会动量技术，用于弱凸优化。在相当灵活的外推术语范围内建立收敛速率。虽然主要关注弱凸优化，但我们还将我们的工作扩展到凸优化。我们将小纤维和外推模型的方法应用于随机凸优化，为此，我们为其提供了一种新的复杂性绑定和有前途的线性加速，批量尺寸。此外，提出了一种基于基于Nesterov动量的基于模型的方法，为此，我们建立了达到最优性的最佳复杂性。

Convex function constrained optimization has received growing research interests lately. For a special convex problem which has strongly convex function constraints, we develop a new accelerated primal-dual first-order method that obtains an $\Ocal(1/\sqrt{\vep})$ complexity bound, improving the $\Ocal(1/{\vep})$ result for the state-of-the-art first-order methods. The key ingredient to our development is some novel techniques to progressively estimate the strong convexity of the Lagrangian function, which enables adaptive step-size selection and faster convergence performance. In addition, we show that the complexity is further improvable in terms of the dependence on some problem parameter, via a restart scheme that calls the accelerated method repeatedly. As an application, we consider sparsity-inducing constrained optimization which has a separable convex objective and a strongly convex loss constraint. In addition to achieving fast convergence, we show that the restarted method can effectively identify the sparsity pattern (active-set) of the optimal solution in finite steps. To the best of our knowledge, this is the first active-set identification result for sparsity-inducing constrained optimization.

近期在应用于培训深度神经网络和数据分析中的其他优化问题中的非凸优化的优化算法的兴趣增加，我们概述了最近对非凸优化优化算法的全球性能保证的理论结果。我们从古典参数开始，显示一般非凸面问题无法在合理的时间内有效地解决。然后，我们提供了一个问题列表，可以通过利用问题的结构来有效地找到全球最小化器，因为可能的问题。处理非凸性的另一种方法是放宽目标，从找到全局最小，以找到静止点或局部最小值。对于该设置，我们首先为确定性一阶方法的收敛速率提出了已知结果，然后是最佳随机和随机梯度方案的一般理论分析，以及随机第一阶方法的概述。之后，我们讨论了非常一般的非凸面问题，例如最小化$ \ alpha $ -weakly-are-convex功能和满足Polyak-lojasiewicz条件的功能，这仍然允许获得一阶的理论融合保证方法。然后，我们考虑更高阶和零序/衍生物的方法及其收敛速率，以获得非凸优化问题。

我们研究了凸面和非凸面设置的差异私有随机优化。对于凸面的情况，我们专注于非平滑通用线性损耗（GLL）的家庭。我们的$ \ ell_2 $ setting算法在近线性时间内实现了最佳的人口风险，而最知名的差异私有算法在超线性时间内运行。我们的$ \ ell_1 $ setting的算法具有近乎最佳的人口风险$ \ tilde {o} \ big（\ sqrt {\ frac {\ log {n \ log {d}} {n \ varepsilon} \ big）$，以及避免\ Cite {ASI：2021}的尺寸依赖性下限为一般非平滑凸损耗。在差别私有的非凸面设置中，我们提供了几种新算法，用于近似居住的人口风险。对于具有平稳损失和多面体约束的$ \ ell_1 $ tuce，我们提供第一个近乎尺寸的独立速率$ \ tilde o \ big（\ frac {\ log ^ {2/3} {d}} {{（n \ varepsilon）^ {1/3}}} \大）在线性时间。对于具有平滑损耗的约束$ \ ell_2 $ -case，我们获得了速率$ \ tilde o \ big（\ frac {1} {n ^ {1/3}} + \ frac {d ^ { 1/5}} {（n \ varepsilon）^ {2/5}} \ big）$。最后，对于$ \ ell_2 $ -case，我们为{\ em非平滑弱凸}的第一种方法提供了速率$ \ tilde o \ big（\ frac {1} {n ^ {1/4}} + \ FRAC {D ^ {1/6}} {（n \ varepsilon）^ {1/3}} \ big）$，它在$ d = o（\ sqrt {n}）时匹配最好的现有非私有算法$。我们还将上面的所有结果扩展到Non-Convex $ \ ell_2 $ setting到$ \ ell_p $ setting，其中$ 1 <p \ leq 2 $，只有polylogarithmic（维度在尺寸）的速度下。

We study stochastic monotone inclusion problems, which widely appear in machine learning applications, including robust regression and adversarial learning. We propose novel variants of stochastic Halpern iteration with recursive variance reduction. In the cocoercive -- and more generally Lipschitz-monotone -- setup, our algorithm attains $\epsilon$ norm of the operator with $\mathcal{O}(\frac{1}{\epsilon^3})$ stochastic operator evaluations, which significantly improves over state of the art $\mathcal{O}(\frac{1}{\epsilon^4})$ stochastic operator evaluations required for existing monotone inclusion solvers applied to the same problem classes. We further show how to couple one of the proposed variants of stochastic Halpern iteration with a scheduled restart scheme to solve stochastic monotone inclusion problems with ${\mathcal{O}}(\frac{\log(1/\epsilon)}{\epsilon^2})$ stochastic operator evaluations under additional sharpness or strong monotonicity assumptions.

最近，随机梯度下降（SGD）及其变体已成为机器学习（ML）问题大规模优化的主要方法。已经提出了各种策略来调整步骤尺寸，从自适应步骤大小到启发式方法，以更改每次迭代中的步骤大小。此外，动力已被广泛用于ML任务以加速训练过程。然而，我们对它们的理论理解存在差距。在这项工作中，我们开始通过为一些启发式优化方法提供正式保证并提出改进的算法来缩小这一差距。首先，我们分析了凸面和非凸口设置的Adagrad（延迟Adagrad）步骤大小的广义版本，这表明这些步骤尺寸允许算法自动适应随机梯度的噪声水平。我们首次显示延迟Adagrad的足够条件，以确保梯度几乎融合到零。此外，我们对延迟的Adagrad及其在非凸面设置中的动量变体进行了高概率分析。其次，我们用指数级和余弦的步骤分析了SGD，在经验上取得了成功，但缺乏理论支持。我们在平滑和非凸的设置中为它们提供了最初的收敛保证，有或没有polyak-{\ l} ojasiewicz（pl）条件。我们还显示了它们在PL条件下适应噪声的良好特性。第三，我们研究动量方法的最后迭代。我们证明了SGD的最后一个迭代的凸设置中的第一个下限，并以恒定的动量。此外，我们研究了一类跟随基于领先的领导者的动量算法，并随着动量和收缩的更新而增加。我们表明，他们的最后一个迭代具有最佳的收敛性，用于无约束的凸随机优化问题。

非滑动优化在许多工程领域中找到了广泛的应用程序。在这项工作中，我们建议利用{随机坐标亚级别方法}（RCS）来求解非平滑凸凸和非平滑凸（非平滑弱弱凸）优化问题。在每次迭代中，RCS随机选择一个块坐标，而不是所有要更新的坐标。由实用应用激发，我们考虑了目标函数的{线性界限亚级别假设}，这比Lipschitz的连续性假设要笼统得多。在这样的一般假设下，我们在凸和非凸病例中对RCS进行了彻底的收敛分析，并建立了预期的收敛速率和几乎确定的渐近收敛结果。为了得出这些收敛结果，我们建立了收敛的引理以及弱凸功能的全局度量超值属性与其莫罗膜的关系，它们是基本的和独立的利益。最后，我们进行了几项实验，以显示RC的优势比亚级别方法的优势。

在这项工作中，我们提供了一种基本的统一收敛定理，用于得出一系列随机优化方法的预期和几乎确定的收敛结果。我们的统一定理仅需要验证几种代表性条件，并且不适合任何特定算法。作为直接应用，我们在更一般的设置下恢复了随机梯度方法（SGD）和随机改组（RR）的预期收敛结果。此外，我们为非滑动非convex优化问题的随机近端梯度方法（Prox-SGD）和基于随机模型的方法（SMM）建立了新的预期和几乎确定的收敛结果。这些应用程序表明，我们的统一定理为广泛的随机优化方法提供了插件类型的收敛分析和强大的收敛保证。

本文分析了双模的彼此优化随机算法框架。 Bilevel优化是一类表现出两级结构的问题，其目标是使具有变量的外目标函数最小化，该变量被限制为对（内部）优化问题的最佳解决方案。我们考虑内部问题的情况是不受约束的并且强烈凸起的情况，而外部问题受到约束并具有平滑的目标函数。我们提出了一种用于解决如此偏纤维问题的两次时间尺度随机近似（TTSA）算法。在算法中，使用较大步长的随机梯度更新用于内部问题，而具有较小步长的投影随机梯度更新用于外部问题。我们在各种设置下分析了TTSA算法的收敛速率：当外部问题强烈凸起（RESP。〜弱凸）时，TTSA算法查找$ \ MATHCAL {O}（k ^ { - 2/3}）$ -Optimal（resp。〜$ \ mathcal {o}（k ^ {-2/5}）$ - 静止）解决方案，其中$ k $是总迭代号。作为一个应用程序，我们表明，两个时间尺度的自然演员 - 批评批评近端策略优化算法可以被视为我们的TTSA框架的特殊情况。重要的是，与全球最优政策相比，自然演员批评算法显示以预期折扣奖励的差距，以$ \ mathcal {o}（k ^ { - 1/4}）的速率收敛。

FEDPROX算法是一种简单但功能强大的分布式近端优化方法，广泛用于联合学习（FL）而不是异质数据。尽管在实践中看到了它的知名度和杰出的成功，但对FEDPROX的理论理解在很大程度上是不足的：FedProx的吸引人的融合行为迄今在某些非标准和不切实际的地方功能的差异假设下的特征是，结果的优化仅限于优化的限制。问题。为了解决这些缺陷，我们通过算法稳定性的镜头开发了FedProx及其Minibatch随机扩展的新型局部差异不变理论。结果，我们有助于得出对FedProx的几个新的和更深入的见解，以实现联合优化的非凸面，包括：1）收敛确保独立于局部差异类型条件； 2）融合保证非平滑FL问题； 3）关于Minibatch的尺寸和采样设备的数量，线性加速。我们的理论首次揭示了局部差异和平稳性对于FedProx获得有利的复杂性界限并不是必备的。据报道，一系列基准FL数据集的初步实验结果证明了小型匹配以提高FEDPROX的样品效率的好处。

我们研究了具有有限和结构的平滑非凸化优化问题的随机重新洗脱（RR）方法。虽然该方法在诸如神经网络的训练之类的实践中广泛利用，但其会聚行为仅在几个有限的环境中被理解。在本文中，在众所周知的Kurdyka-LojasiewiCz（KL）不等式下，我们建立了具有适当递减步长尺寸的RR的强极限点收敛结果，即，RR产生的整个迭代序列是会聚并会聚到单个静止点几乎肯定的感觉。 In addition, we derive the corresponding rate of convergence, depending on the KL exponent and the suitably selected diminishing step sizes.当KL指数在$ [0，\ FRAC12] $以$ [0，\ FRAC12] $时，收敛率以$ \ mathcal {o}（t ^ { - 1}）$的速率计算，以$ t $ counting迭代号。当KL指数属于$（\ FRAC12,1）$时，我们的派生收敛速率是FORM $ \ MATHCAL {O}（T ^ { - Q}）$，$ Q \ IN（0,1）$取决于在KL指数上。基于标准的KL不等式的收敛分析框架仅适用于具有某种阶段性的算法。我们对基于KL不等式的步长尺寸减少的非下降RR方法进行了新的收敛性分析，这概括了标准KL框架。我们总结了我们在非正式分析框架中的主要步骤和核心思想，这些框架是独立的兴趣。作为本框架的直接应用，我们还建立了类似的强极限点收敛结果，为重组的近端点法。

We initiate a formal study of reproducibility in optimization. We define a quantitative measure of reproducibility of optimization procedures in the face of noisy or error-prone operations such as inexact or stochastic gradient computations or inexact initialization. We then analyze several convex optimization settings of interest such as smooth, non-smooth, and strongly-convex objective functions and establish tight bounds on the limits of reproducibility in each setting. Our analysis reveals a fundamental trade-off between computation and reproducibility: more computation is necessary (and sufficient) for better reproducibility.

我们提供一种新型计算机辅助技术，用于系统地分析一阶方法进行优化。与以前的作品相比，该方法特别适用于处理汇总收敛速率和随机岩岩。该技术依赖于SEMIDEFINITE编程和潜在功能。它允许同时获得对这些算法的行为的最坏情况保证，并协助选择适当的参数来调整其最坏情况的性能。该技术也有益于舒适的紧密性保证，这意味着只有通过改变设置，才能提高不令人满意的结果。我们利用了在随机噪声性质的不同假设下分析了确定性和随机第一阶方法的方法。其中，我们对具有有界方差的非结构化噪声，在过度参数期预期最小化问题中产生的不同噪声模型，以及随机块坐标性下降方案。

我们考虑非凸凹minimax问题，$ \ min _ {\ mathbf {x}} \ mathcal {y}} f（\ mathbf {x}，\ mathbf {y}）$， $ f $在$ \ mathbf {x} $ on $ \ mathbf {y} $和$ \ mathcal {y} $中的$ \ \ mathbf {y} $。解决此问题的最受欢迎的算法之一是庆祝的梯度下降上升（GDA）算法，已广泛用于机器学习，控制理论和经济学。尽管凸凹设置的广泛收敛结果，但具有相等步骤的GDA可以收敛以限制循环甚至在一般设置中发散。在本文中，我们介绍了两次尺度GDA的复杂性结果，以解决非膨胀凹入的最小问题，表明该算法可以找到函数$ \ phi（\ cdot）的静止点：= \ max _ {\ mathbf {Y} \ In \ Mathcal {Y}} F（\ CDOT，\ MATHBF {Y}）高效。据我们所知，这是对这一环境中的两次尺度GDA的第一个非因对药分析，阐明了其在培训生成对抗网络（GANS）和其他实际应用中的优越实际表现。

现代统计应用常常涉及最小化可能是非流动和/或非凸起的目标函数。本文侧重于广泛的Bregman-替代算法框架，包括本地线性近似，镜像下降，迭代阈值，DC编程以及许多其他实例。通过广义BREGMAN功能的重新发出使我们能够构建合适的误差测量并在可能高维度下建立非凸起和非凸起和非球形目标的全球收敛速率。对于稀疏的学习问题，在一些规律性条件下，所获得的估算器作为代理人的固定点，尽管不一定是局部最小化者，但享受可明确的统计保障，并且可以证明迭代顺序在所需的情况下接近统计事实准确地快速。本文还研究了如何通过仔细控制步骤和放松参数来设计基于适应性的动力的加速度而不假设凸性或平滑度。

用于解决无约束光滑游戏的两个最突出的算法是经典随机梯度下降 - 上升（SGDA）和最近引入的随机共识优化（SCO）[Mescheder等，2017]。已知SGDA可以收敛到特定类别的游戏的静止点，但是当前的收敛分析需要有界方差假设。 SCO用于解决大规模对抗问题，但其收敛保证仅限于其确定性变体。在这项工作中，我们介绍了预期的共同胁迫条件，解释了它的好处，并在这种情况下提供了SGDA和SCO的第一次迭代收敛保证，以解决可能是非单调的一类随机变分不等式问题。我们将两种方法的线性会聚到解决方案的邻域时，当它们使用恒定的步长时，我们提出了富有识别的步骤化切换规则，以保证对确切解决方案的融合。此外，我们的收敛保证在任意抽样范式下担保，因此，我们对迷你匹配的复杂性进行了解。

Nonconvex optimization is central in solving many machine learning problems, in which block-wise structure is commonly encountered. In this work, we propose cyclic block coordinate methods for nonconvex optimization problems with non-asymptotic gradient norm guarantees. Our convergence analysis is based on a gradient Lipschitz condition with respect to a Mahalanobis norm, inspired by a recent progress on cyclic block coordinate methods. In deterministic settings, our convergence guarantee matches the guarantee of (full-gradient) gradient descent, but with the gradient Lipschitz constant being defined w.r.t.~the Mahalanobis norm. In stochastic settings, we use recursive variance reduction to decrease the per-iteration cost and match the arithmetic operation complexity of current optimal stochastic full-gradient methods, with a unified analysis for both finite-sum and infinite-sum cases. We further prove the faster, linear convergence of our methods when a Polyak-{\L}ojasiewicz (P{\L}) condition holds for the objective function. To the best of our knowledge, our work is the first to provide variance-reduced convergence guarantees for a cyclic block coordinate method. Our experimental results demonstrate the efficacy of the proposed variance-reduced cyclic scheme in training deep neural nets.

In this book chapter, we briefly describe the main components that constitute the gradient descent method and its accelerated and stochastic variants. We aim at explaining these components from a mathematical point of view, including theoretical and practical aspects, but at an elementary level. We will focus on basic variants of the gradient descent method and then extend our view to recent variants, especially variance-reduced stochastic gradient schemes (SGD). Our approach relies on revealing the structures presented inside the problem and the assumptions imposed on the objective function. Our convergence analysis unifies several known results and relies on a general, but elementary recursive expression. We have illustrated this analysis on several common schemes.

我们提出了随机方差降低算法，以求解凸 - 凸座鞍点问题，单调变异不平等和单调夹杂物。我们的框架适用于Euclidean和Bregman设置中的外部，前向前后和前反向回复的方法。所有提出的方法都在与确定性的对应物相同的环境中收敛，并且它们要么匹配或改善了解决结构化的最低最大问题的最著名复杂性。我们的结果加强了变异不平等和最小化之间的差异之间的对应关系。我们还通过对矩阵游戏的数值评估来说明方法的改进。

非滑动非概念优化问题在机器学习和业务决策中广泛出现，而两个核心挑战阻碍了具有有限时间收敛保证的有效解决方案方法的开发：缺乏计算可触及的最佳标准和缺乏计算功能强大的口腔。本文的贡献是两个方面。首先，我们建立了著名的Goldstein Subdferential〜 \ Citep {Goldstein-1977-Optimization}与均匀平滑之间的关系，从而为设计有限时间融合到一组无梯度的方法的基础和直觉提供了基础和直觉戈德斯坦固定点。其次，我们提出了无梯度方法（GFM）和随机GFM，用于解决一类非平滑非凸优化问题，并证明它们两个都可以返回$（\ delta，\ epsilon）$ - Lipschitz函数的Goldstein Sentary Point $ f $以$ o（d^{3/2} \ delta^{ - 1} \ epsilon^{ - 4}）$的预期收敛速率为$ o（d^{3/2} \ delta^{ - 1} \ epsilon^{ - 4}）$，其中$ d $是问题维度。还提出了两阶段版本的GFM和SGFM，并被证明可以改善大泄漏结果。最后，我们证明了2-SGFM使用\ textsc {minst}数据集对训练Relu神经网络的有效性。