随机梯度下降血液（SGDM）是许多优化方案中的主要算法，包括凸优化实例和非凸神经网络训练。然而，在随机设置中，动量会干扰梯度噪声，通常导致特定的台阶尺寸和动量选择，以便保证收敛，留出加速。另一方面，近端点方法由于其数值稳定性和针对不完美调谐的弹性而产生了很多关注。他们随机加速的变体虽然已接受有限的注意：动量与（随机）近端点的稳定性相互作用仍然在很大程度上是不孤立的。为了解决这个问题，我们专注于随机近端点算法的动量（SPPAM）的收敛性和稳定性，并显示SPPAM与随机近端点算法（SPPA）相比具有更好的收缩因子的更快的线性收敛速度，如适当的HyperParameter调整。在稳定性方面，我们表明SPPAM取决于问题常数比SGDM更有利，允许更广泛的步长和导致收敛的动量。

简单的随机动量方法被广泛用于机器学习优化，但它们的良好实践表现与文献中没有理论保证的理论保证相矛盾。在这项工作中，我们的目标是通过表明随机重球动量来弥合理论和实践之间的差距，该动力可以解释为具有动量的随机kaczmarz算法，保留了二次优化问题（确定性）重球动量的快速线性速率，至少在使用足够大的批次大小的小型匹配时。该分析依赖于仔细分解动量过渡矩阵，并使用新的光谱范围浓度界限来进行独立随机矩阵的产物。我们提供数值实验，以证明我们的边界相当锐利。

用于解决无约束光滑游戏的两个最突出的算法是经典随机梯度下降 - 上升（SGDA）和最近引入的随机共识优化（SCO）[Mescheder等，2017]。已知SGDA可以收敛到特定类别的游戏的静止点，但是当前的收敛分析需要有界方差假设。 SCO用于解决大规模对抗问题，但其收敛保证仅限于其确定性变体。在这项工作中，我们介绍了预期的共同胁迫条件，解释了它的好处，并在这种情况下提供了SGDA和SCO的第一次迭代收敛保证，以解决可能是非单调的一类随机变分不等式问题。我们将两种方法的线性会聚到解决方案的邻域时，当它们使用恒定的步长时，我们提出了富有识别的步骤化切换规则，以保证对确切解决方案的融合。此外，我们的收敛保证在任意抽样范式下担保，因此，我们对迷你匹配的复杂性进行了解。

最近，随机梯度下降（SGD）及其变体已成为机器学习（ML）问题大规模优化的主要方法。已经提出了各种策略来调整步骤尺寸，从自适应步骤大小到启发式方法，以更改每次迭代中的步骤大小。此外，动力已被广泛用于ML任务以加速训练过程。然而，我们对它们的理论理解存在差距。在这项工作中，我们开始通过为一些启发式优化方法提供正式保证并提出改进的算法来缩小这一差距。首先，我们分析了凸面和非凸口设置的Adagrad（延迟Adagrad）步骤大小的广义版本，这表明这些步骤尺寸允许算法自动适应随机梯度的噪声水平。我们首次显示延迟Adagrad的足够条件，以确保梯度几乎融合到零。此外，我们对延迟的Adagrad及其在非凸面设置中的动量变体进行了高概率分析。其次，我们用指数级和余弦的步骤分析了SGD，在经验上取得了成功，但缺乏理论支持。我们在平滑和非凸的设置中为它们提供了最初的收敛保证，有或没有polyak-{\ l} ojasiewicz（pl）条件。我们还显示了它们在PL条件下适应噪声的良好特性。第三，我们研究动量方法的最后迭代。我们证明了SGD的最后一个迭代的凸设置中的第一个下限，并以恒定的动量。此外，我们研究了一类跟随基于领先的领导者的动量算法，并随着动量和收缩的更新而增加。我们表明，他们的最后一个迭代具有最佳的收敛性，用于无约束的凸随机优化问题。

我们的目标是使随机梯度$ \ sigma^2 $在随机梯度和（ii）问题依赖性常数中自适应（i）自适应。当最大程度地减少条件编号$ \ kappa $的平滑，强大的功能时，我们证明，$ t $ t $ toerations sgd的$ t $ toerations sgd具有指数降低的阶跃尺寸和对平滑度的知识可以实现$ \ tilde {o} \ left（\ exp） \ left（\ frac {-t} {\ kappa} \ right） + \ frac {\ sigma^2} {t} \ right）$ rate，而又不知道$ \ sigma^2 $。为了适应平滑度，我们使用随机线路搜索（SLS）并显示（通过上下距离），其SGD的SGD与SLS以所需的速率收敛，但仅针对溶液的邻域。另一方面，我们证明具有平滑度的离线估计值的SGD会收敛到最小化器。但是，其速率与估计误差成正比的速度减慢。接下来，我们证明具有Nesterov加速度和指数步骤尺寸（称为ASGD）的SGD可以实现接近最佳的$ \ tilde {o} \ left（\ exp \ left（\ frac {-t} {-t} {\ sqrt {\ sqrt {\ sqrt { \ kappa}}} \ right） + \ frac {\ sigma^2} {t} \ right）$ rate，而无需$ \ sigma^2 $。当与平滑度和强频率的离线估计值一起使用时，ASGD仍会收敛到溶液，尽管速度较慢。我们从经验上证明了指数级尺寸的有效性以及新型SLS的变体。

我们研究了一类算法，用于在内部级别物镜强烈凸起时求解随机和确定性设置中的彼此优化问题。具体地，我们考虑基于不精确的隐含区分的算法，并且我们利用热门开始策略来摊销精确梯度的估计。然后，我们介绍了一个统一的理论框架，受到奇异的扰动系统（Habets，1974）的研究来分析这种摊销算法。通过使用此框架，我们的分析显示了匹配可以访问梯度无偏见估计的Oracle方法的计算复杂度的算法，从而优于彼此优化的许多现有结果。我们在合成实验中说明了这些发现，并展示了这些算法对涉及几千个变量的超参数优化实验的效率。

Recently, there has been great interest in connections between continuous-time dynamical systems and optimization algorithms, notably in the context of accelerated methods for smooth and unconstrained problems. In this paper we extend this perspective to nonsmooth and constrained problems by obtaining differential inclusions associated to novel accelerated variants of the alternating direction method of multipliers (ADMM). Through a Lyapunov analysis, we derive rates of convergence for these dynamical systems in different settings that illustrate an interesting tradeoff between decaying versus constant damping strategies. We also obtain perturbed equations capturing fine-grained details of these methods, which have improved stability and preserve the leading order convergence rates.

The implicit stochastic gradient descent (ISGD), a proximal version of SGD, is gaining interest in the literature due to its stability over (explicit) SGD. In this paper, we conduct an in-depth analysis of the two modes of ISGD for smooth convex functions, namely proximal Robbins-Monro (proxRM) and proximal Poylak-Ruppert (proxPR) procedures, for their use in statistical inference on model parameters. Specifically, we derive nonasymptotic point estimation error bounds of both proxRM and proxPR iterates and their limiting distributions, and propose on-line estimators of their asymptotic covariance matrices that require only a single run of ISGD. The latter estimators are used to construct valid confidence intervals for the model parameters. Our analysis is free of the generalized linear model assumption that has limited the preceding analyses, and employs feasible procedures. Our on-line covariance matrix estimators appear to be the first of this kind in the ISGD literature.* Equal contribution 1 Kakao Entertainment Corp.

最近对基于置换的SGD的接地结果进行了证实了广泛观察到的现象：随机排列提供更快的收敛性，而不是更换采样。但是，是随机的最佳状态吗？我们表明这一点在很大程度上取决于我们正在优化的功能，并且最佳和随机排放之间的收敛差距可能因指数而异。我们首先表明，对于具有光滑的第二衍生物的1维强凸功能，与随机相比，存在令人指导的收敛性的排列。但是，对于一般强凸的功能，随机排列是最佳的。最后，我们表明，对于二次，强凸的功能，与随机相比，存在易于构建的置换，从而导致加速会聚。我们的研究结果表明，最佳排列的一般收敛性表征不能捕获各个函数类的细微差别，并且可能错误地表明一个人不能比随机更好。

我们调查随机镜面下降（SMD）的趋同相对光滑和平滑凸优化。在相对平滑的凸优化中，我们为SMD提供了新的收敛保证，并持续步骤。对于平滑的凸优化，我们提出了一种新的自适应步骤方案 - 镜子随机Polyak Spectize（MSP）。值得注意的是，我们的收敛导致两个设置都不会使有界渐变假设或有界方差假设，并且我们向邻域显示在插值下消失的邻居的融合。MSP概括了最近提出的随机Polyak Spectize（SPS）（Loizou等，2021）以镜子血液镜子，并且在继承镜子血清的好处的同时，现代机器学习应用仍然是实用和高效的。我们将我们的结果与各种监督的学习任务和SMD的不同实例相结合，展示了MSP的有效性。

文献中随机梯度方法的绝大多数收敛速率分析集中在预期中的收敛性，而轨迹的几乎确定的收敛对于确保随机算法的任何实例化都会与概率相关。在这里，我们为随机梯度下降（SGD），随机重球（SHB）和随机Nesterov的加速梯度（SNAG）方法提供了几乎确定的收敛速率分析。我们首次显示，这些随机梯度方法在强凸功能上获得的几乎确定的收敛速率已任意接近其最佳收敛速率。对于非凸目标函数，我们不仅表明平方梯度规范的加权平均值几乎可以肯定地收敛到零，而且是算法的最后一次迭代。与文献中的大多数现有结果相反，我们进一步为弱凸平平滑功能的随机梯度方法提供了最后的几乎确定的收敛速率分析，而文献中的大多数现有结果仅提供了对迭代率的加权平均值的预期。

We initiate a formal study of reproducibility in optimization. We define a quantitative measure of reproducibility of optimization procedures in the face of noisy or error-prone operations such as inexact or stochastic gradient computations or inexact initialization. We then analyze several convex optimization settings of interest such as smooth, non-smooth, and strongly-convex objective functions and establish tight bounds on the limits of reproducibility in each setting. Our analysis reveals a fundamental trade-off between computation and reproducibility: more computation is necessary (and sufficient) for better reproducibility.

我们介绍和分析结构化的随机零订单下降（S-SZD），这是一种有限的差异方法，该方法在一组$ l \ leq d $正交方向上近似于随机梯度，其中$ d $是环境空间的维度。这些方向是随机选择的，并且可能在每个步骤中发生变化。对于平滑的凸功能，我们几乎可以确保迭代的收敛性和对$ o（d/l k^{ - c}）$的功能值的收敛速率，每$ c <1/2 $，这是任意关闭的就迭代次数而言，是随机梯度下降（SGD）。我们的界限还显示了使用$ l $多个方向而不是一个方向的好处。对于满足polyak-{\ l} ojasiewicz条件的非convex函数，我们在这种假设下建立了随机Zeroth Order Order Order算法的第一个收敛速率。我们在数值模拟中证实了我们的理论发现，在数值模拟中，满足假设以及对超参数优化的现实世界问题，观察到S-SZD具有很好的实践性能。

本文评价用机器学习问题的数值优化方法。由于机器学习模型是高度参数化的，我们专注于适合高维优化的方法。我们在二次模型上构建直觉，以确定哪种方法适用于非凸优化，并在凸函数上开发用于这种方法的凸起函数。随着随机梯度下降和动量方法的这种理论基础，我们试图解释为什么机器学习领域通常使用的方法非常成功。除了解释成功的启发式之外，最后一章还提供了对更多理论方法的广泛审查，这在实践中并不像惯例。所以在某些情况下，这项工作试图回答这个问题：为什么默认值中包含的默认TensorFlow优化器？

在本文中，我们提出了一种称为ANITA的新型加速梯度方法，用于解决基本的有限和优化问题。具体而言，我们同时考虑一般凸面和强烈凸面设置：i）对于一般凸有限的和有限的问题，Anita改善了Varag给定的先前最新结果（Lan等，2019）。特别是，对于大规模问题或收敛错误不是很小，即$ n \ geq \ frac {1} {\ epsilon^2} $，Anita获得\ emph {first} optimal restion $ o（n ）$，匹配Woodworth and Srebro（2016）提供的下限$ \ Omega（N）$，而先前的结果为$ O（N \ log \ frac {1} {\ epsilon}）$ 。 ii）对于强烈凸有限的问题，我们还表明，Anita可以实现最佳收敛速率$ o \ big（（（n+\ sqrt {\ frac {\ frac {nl} {\ mu}} {\ mu}}）\ log \ log \ frac {1} {1} {1} {1} { \ epsilon} \ big）$匹配下限$ \ omega \ big（（（n+\ sqrt {\ frac {nl} {nl} {\ mu}}）\ log \ frac {1} {\ epsilon} {\ epsilon} \ big） Lan and Zhou（2015）。此外，与以前的加速算法（如Varag（Lan等，2019）和Katyusha（Allen-Zhu，2017年），Anita享有更简单的无环算法结构。此外，我们提供了一种新颖的\ emph {动态多阶段收敛分析}，这是将先前结果提高到最佳速率的关键技术。我们认为，针对基本有限和有限问题的新理论率和新颖的收敛分析将直接导致许多其他相关问题（例如分布式/联合/联合/分散的优化问题）的关键改进（例如，Li和Richt \'Arik，2021年，2021年）。最后，数值实验表明，Anita收敛的速度比以前的最先进的Varag（Lan等，2019）更快，从而验证了我们的理论结果并证实了Anita的实践优势。

由于其吸引人的稳健性以及可提供的效率保证，随机模型的方法最近得到了最新的关注。我们为改善基于模型的方法进行了两个重要扩展，即在随机弱凸优化上提高了基于模型的方法。首先，我们通过涉及一组样本来提出基于MiniBatch模型的方法，以近似每次迭代中的模型函数。我们首次表明随机算法即使对于非平滑和非凸（特别是弱凸）问题，即使是批量大小也可以实现线性加速。为此，我们开发了对每个算法迭代中涉及的近端映射的新颖敏感性分析。我们的分析似乎是更多常规设置的独立利益。其次，由于动量随机梯度下降的成功，我们提出了一种新的随机外推模型的方法，大大延伸到更广泛的随机算法中的经典多济会动量技术，用于弱凸优化。在相当灵活的外推术语范围内建立收敛速率。虽然主要关注弱凸优化，但我们还将我们的工作扩展到凸优化。我们将小纤维和外推模型的方法应用于随机凸优化，为此，我们为其提供了一种新的复杂性绑定和有前途的线性加速，批量尺寸。此外，提出了一种基于基于Nesterov动量的基于模型的方法，为此，我们建立了达到最优性的最佳复杂性。

在本文中，我们研究并证明了拟牛顿算法的Broyden阶级的非渐近超线性收敛速率，包括Davidon - Fletcher - Powell（DFP）方法和泡沫 - 弗莱彻 - 夏诺（BFGS）方法。这些准牛顿方法的渐近超线性收敛率在文献中已经广泛研究，但它们明确的有限时间局部会聚率未得到充分调查。在本文中，我们为Broyden Quasi-Newton算法提供了有限时间（非渐近的）收敛分析，在目标函数强烈凸起的假设下，其梯度是Lipschitz连续的，并且其Hessian在最佳解决方案中连续连续。我们表明，在最佳解决方案的本地附近，DFP和BFGS生成的迭代以$（1 / k）^ {k / 2} $的超连线率收敛到最佳解决方案，其中$ k $是迭代次数。我们还证明了类似的本地超连线收敛结果，因为目标函数是自我协调的情况。几个数据集的数值实验证实了我们显式的收敛速度界限。我们的理论保证是第一个为准牛顿方法提供非渐近超线性收敛速率的效果之一。

联合学习（FL）是机器学习的一个子领域，在该子机学习中，多个客户试图在通信约束下通过网络进行协作学习模型。我们考虑在二阶功能相似性条件和强凸度下联合优化的有限和联合优化，并提出了两种新算法：SVRP和催化的SVRP。这种二阶相似性条件最近越来越流行，并且在包括分布式统计学习和差异性经验风险最小化在内的许多应用中得到满足。第一种算法SVRP结合了近似随机点评估，客户采样和降低方差。我们表明，当功能相似性足够高时，SVRP是沟通有效的，并且在许多现有算法上取得了卓越的性能。我们的第二个算法，催化的SVRP，是SVRP的催化剂加速变体，在二阶相似性和强凸度下，现有的联合优化算法可实现更好的性能，并均匀地改善了现有的算法。在分析这些算法的过程中，我们提供了可能具有独立关注的随机近端方法（SPPM）的新分析。我们对SPPM的分析很简单，允许进行近似近端评估，不需要任何平滑度假设，并且在通信复杂性上比普通分布式随机梯度下降显示出明显的好处。

我们研究了具有有限和结构的平滑非凸化优化问题的随机重新洗脱（RR）方法。虽然该方法在诸如神经网络的训练之类的实践中广泛利用，但其会聚行为仅在几个有限的环境中被理解。在本文中，在众所周知的Kurdyka-LojasiewiCz（KL）不等式下，我们建立了具有适当递减步长尺寸的RR的强极限点收敛结果，即，RR产生的整个迭代序列是会聚并会聚到单个静止点几乎肯定的感觉。 In addition, we derive the corresponding rate of convergence, depending on the KL exponent and the suitably selected diminishing step sizes.当KL指数在$ [0，\ FRAC12] $以$ [0，\ FRAC12] $时，收敛率以$ \ mathcal {o}（t ^ { - 1}）$的速率计算，以$ t $ counting迭代号。当KL指数属于$（\ FRAC12,1）$时，我们的派生收敛速率是FORM $ \ MATHCAL {O}（T ^ { - Q}）$，$ Q \ IN（0,1）$取决于在KL指数上。基于标准的KL不等式的收敛分析框架仅适用于具有某种阶段性的算法。我们对基于KL不等式的步长尺寸减少的非下降RR方法进行了新的收敛性分析，这概括了标准KL框架。我们总结了我们在非正式分析框架中的主要步骤和核心思想，这些框架是独立的兴趣。作为本框架的直接应用，我们还建立了类似的强极限点收敛结果，为重组的近端点法。

我们认为随机梯度下降及其在繁殖内核希尔伯特空间中二进制分类问题的平均变体。在使用损失函数的一致性属性的传统分析中，众所周知，即使在条件标签概率上假设低噪声状态时，预期的分类误差也比预期风险更慢。因此，最终的速率为sublinear。因此，重要的是要考虑是否可以实现预期分类误差的更快收敛。在最近的研究中，随机梯度下降的指数收敛速率在强烈的低噪声条件下显示，但前提是理论分析仅限于平方损耗函数，这对于二元分类任务来说是不足的。在本文中，我们在随机梯度下降的最后阶段中显示了预期分类误差的指数收敛性，用于在相似的假设下进行一类宽类可区分的凸损失函数。至于平均的随机梯度下降，我们表明相同的收敛速率来自训练的早期阶段。在实验中，我们验证了对$ L_2 $调查的逻辑回归的分析。