PEPIT是一种Python软件包，旨在简化对可能涉及梯度，投影，近端或线性优化oracels的大型一阶优化方法的最坏情况分析的最坏情况分析，以及它们的近似或布赖曼变体。简而言之，PEPIT是一种封装，可实现一级优化方法的计算机辅助案例分析。关键的潜在思想是施放执行最坏情况分析的问题，通常称为性能估计问题（PEP），作为可以在数字上解决的半纤维程序（SDP）。为此，只需要包用户才能像他们已经实现的那样写出一阶方法。然后，包裹处理SDP建模部件，并且最坏情况分析通过标准求解器进行数字地执行。

我们提供一种新型计算机辅助技术，用于系统地分析一阶方法进行优化。与以前的作品相比，该方法特别适用于处理汇总收敛速率和随机岩岩。该技术依赖于SEMIDEFINITE编程和潜在功能。它允许同时获得对这些算法的行为的最坏情况保证，并协助选择适当的参数来调整其最坏情况的性能。该技术也有益于舒适的紧密性保证，这意味着只有通过改变设置，才能提高不令人满意的结果。我们利用了在随机噪声性质的不同假设下分析了确定性和随机第一阶方法的方法。其中，我们对具有有界方差的非结构化噪声，在过度参数期预期最小化问题中产生的不同噪声模型，以及随机块坐标性下降方案。

In this book chapter, we briefly describe the main components that constitute the gradient descent method and its accelerated and stochastic variants. We aim at explaining these components from a mathematical point of view, including theoretical and practical aspects, but at an elementary level. We will focus on basic variants of the gradient descent method and then extend our view to recent variants, especially variance-reduced stochastic gradient schemes (SGD). Our approach relies on revealing the structures presented inside the problem and the assumptions imposed on the objective function. Our convergence analysis unifies several known results and relies on a general, but elementary recursive expression. We have illustrated this analysis on several common schemes.

近期在应用于培训深度神经网络和数据分析中的其他优化问题中的非凸优化的优化算法的兴趣增加，我们概述了最近对非凸优化优化算法的全球性能保证的理论结果。我们从古典参数开始，显示一般非凸面问题无法在合理的时间内有效地解决。然后，我们提供了一个问题列表，可以通过利用问题的结构来有效地找到全球最小化器，因为可能的问题。处理非凸性的另一种方法是放宽目标，从找到全局最小，以找到静止点或局部最小值。对于该设置，我们首先为确定性一阶方法的收敛速率提出了已知结果，然后是最佳随机和随机梯度方案的一般理论分析，以及随机第一阶方法的概述。之后，我们讨论了非常一般的非凸面问题，例如最小化$ \ alpha $ -weakly-are-convex功能和满足Polyak-lojasiewicz条件的功能，这仍然允许获得一阶的理论融合保证方法。然后，我们考虑更高阶和零序/衍生物的方法及其收敛速率，以获得非凸优化问题。

随机梯度下降血液（SGDM）是许多优化方案中的主要算法，包括凸优化实例和非凸神经网络训练。然而，在随机设置中，动量会干扰梯度噪声，通常导致特定的台阶尺寸和动量选择，以便保证收敛，留出加速。另一方面，近端点方法由于其数值稳定性和针对不完美调谐的弹性而产生了很多关注。他们随机加速的变体虽然已接受有限的注意：动量与（随机）近端点的稳定性相互作用仍然在很大程度上是不孤立的。为了解决这个问题，我们专注于随机近端点算法的动量（SPPAM）的收敛性和稳定性，并显示SPPAM与随机近端点算法（SPPA）相比具有更好的收缩因子的更快的线性收敛速度，如适当的HyperParameter调整。在稳定性方面，我们表明SPPAM取决于问题常数比SGDM更有利，允许更广泛的步长和导致收敛的动量。

加速的近端算法（APPA），也称为“催化剂”，是从凸优化到近似近端计算（即正则最小化）的确定还原。这种减少在概念上是优雅的，可以保证强大的收敛速度。但是，这些速率具有多余的对数项，因此需要计算每个近端点至高精度。在这项工作中，我们提出了一个新颖的放松误差标准，用于加速近端点（recapp），以消除对高精度子问题解决方案的需求。我们将recapp应用于两个规范问题：有限的和最大结构的最小化。对于有限和问题，我们匹配了以前通过精心设计的问题特异性算法获得的最著名的复杂性。为了最大程度地减少$ \ max_y f（x，y）$，其中$ f $以$ x $为$ x $，而在$ y $中强烈concave，我们改进了受对数因素限制的最著名的（基于催化剂）。

联合学习（FL）是机器学习的一个子领域，在该子机学习中，多个客户试图在通信约束下通过网络进行协作学习模型。我们考虑在二阶功能相似性条件和强凸度下联合优化的有限和联合优化，并提出了两种新算法：SVRP和催化的SVRP。这种二阶相似性条件最近越来越流行，并且在包括分布式统计学习和差异性经验风险最小化在内的许多应用中得到满足。第一种算法SVRP结合了近似随机点评估，客户采样和降低方差。我们表明，当功能相似性足够高时，SVRP是沟通有效的，并且在许多现有算法上取得了卓越的性能。我们的第二个算法，催化的SVRP，是SVRP的催化剂加速变体，在二阶相似性和强凸度下，现有的联合优化算法可实现更好的性能，并均匀地改善了现有的算法。在分析这些算法的过程中，我们提供了可能具有独立关注的随机近端方法（SPPM）的新分析。我们对SPPM的分析很简单，允许进行近似近端评估，不需要任何平滑度假设，并且在通信复杂性上比普通分布式随机梯度下降显示出明显的好处。

Recently, there has been great interest in connections between continuous-time dynamical systems and optimization algorithms, notably in the context of accelerated methods for smooth and unconstrained problems. In this paper we extend this perspective to nonsmooth and constrained problems by obtaining differential inclusions associated to novel accelerated variants of the alternating direction method of multipliers (ADMM). Through a Lyapunov analysis, we derive rates of convergence for these dynamical systems in different settings that illustrate an interesting tradeoff between decaying versus constant damping strategies. We also obtain perturbed equations capturing fine-grained details of these methods, which have improved stability and preserve the leading order convergence rates.

用于解决无约束光滑游戏的两个最突出的算法是经典随机梯度下降 - 上升（SGDA）和最近引入的随机共识优化（SCO）[Mescheder等，2017]。已知SGDA可以收敛到特定类别的游戏的静止点，但是当前的收敛分析需要有界方差假设。 SCO用于解决大规模对抗问题，但其收敛保证仅限于其确定性变体。在这项工作中，我们介绍了预期的共同胁迫条件，解释了它的好处，并在这种情况下提供了SGDA和SCO的第一次迭代收敛保证，以解决可能是非单调的一类随机变分不等式问题。我们将两种方法的线性会聚到解决方案的邻域时，当它们使用恒定的步长时，我们提出了富有识别的步骤化切换规则，以保证对确切解决方案的融合。此外，我们的收敛保证在任意抽样范式下担保，因此，我们对迷你匹配的复杂性进行了解。

We introduce a class of first-order methods for smooth constrained optimization that are based on an analogy to non-smooth dynamical systems. Two distinctive features of our approach are that (i) projections or optimizations over the entire feasible set are avoided, in stark contrast to projected gradient methods or the Frank-Wolfe method, and (ii) iterates are allowed to become infeasible, which differs from active set or feasible direction methods, where the descent motion stops as soon as a new constraint is encountered. The resulting algorithmic procedure is simple to implement even when constraints are nonlinear, and is suitable for large-scale constrained optimization problems in which the feasible set fails to have a simple structure. The key underlying idea is that constraints are expressed in terms of velocities instead of positions, which has the algorithmic consequence that optimizations over feasible sets at each iteration are replaced with optimizations over local, sparse convex approximations. In particular, this means that at each iteration only constraints that are violated are taken into account. The result is a simplified suite of algorithms and an expanded range of possible applications in machine learning.

我们提出了一个基于预测校正范式的统一框架，用于在原始和双空间中的预测校正范式。在此框架中，以固定的间隔进行了连续变化的优化问题，并且每个问题都通过原始或双重校正步骤近似解决。通过预测步骤的输出，该解决方案方法是温暖启动的，该步骤的输出可以使用过去的信息解决未来问题的近似。在不同的假设集中研究并比较了预测方法。该框架涵盖的算法的示例是梯度方法的时变版本，分裂方法和著名的乘数交替方向方法（ADMM）。

我们提出了随机方差降低算法，以求解凸 - 凸座鞍点问题，单调变异不平等和单调夹杂物。我们的框架适用于Euclidean和Bregman设置中的外部，前向前后和前反向回复的方法。所有提出的方法都在与确定性的对应物相同的环境中收敛，并且它们要么匹配或改善了解决结构化的最低最大问题的最著名复杂性。我们的结果加强了变异不平等和最小化之间的差异之间的对应关系。我们还通过对矩阵游戏的数值评估来说明方法的改进。

We initiate a formal study of reproducibility in optimization. We define a quantitative measure of reproducibility of optimization procedures in the face of noisy or error-prone operations such as inexact or stochastic gradient computations or inexact initialization. We then analyze several convex optimization settings of interest such as smooth, non-smooth, and strongly-convex objective functions and establish tight bounds on the limits of reproducibility in each setting. Our analysis reveals a fundamental trade-off between computation and reproducibility: more computation is necessary (and sufficient) for better reproducibility.

本文是对解决平滑（强）单调随机变化不平等的方法的调查。首先，我们给出了随机方法最终发展的确定性基础。然后，我们回顾了通用随机配方的方法，并查看有限的总和设置。本文的最后部分致力于各种算法的各种（不一定是随机）的变化不平等现象。

We study stochastic monotone inclusion problems, which widely appear in machine learning applications, including robust regression and adversarial learning. We propose novel variants of stochastic Halpern iteration with recursive variance reduction. In the cocoercive -- and more generally Lipschitz-monotone -- setup, our algorithm attains $\epsilon$ norm of the operator with $\mathcal{O}(\frac{1}{\epsilon^3})$ stochastic operator evaluations, which significantly improves over state of the art $\mathcal{O}(\frac{1}{\epsilon^4})$ stochastic operator evaluations required for existing monotone inclusion solvers applied to the same problem classes. We further show how to couple one of the proposed variants of stochastic Halpern iteration with a scheduled restart scheme to solve stochastic monotone inclusion problems with ${\mathcal{O}}(\frac{\log(1/\epsilon)}{\epsilon^2})$ stochastic operator evaluations under additional sharpness or strong monotonicity assumptions.

对于光滑的强凸目标，梯度下降的经典理论可确保相对于梯度评估的数量的线性收敛。一个类似的非球形理论是具有挑战性的：即使目标在每一次迭代的目标流畅时，相应的本地模型也是不稳定的，传统的补救措施需要不可预测的许多切割平面。我们提出了对局部优化的梯度下降迭代的多点概括。虽然设计了一般目标，但我们受到“最大平滑”模型的动机，可在最佳状态下捕获子样本维度。当目标本身自象最大的情况时，我们证明了线性融合，并且实验表明了更普遍的现象。

随机以外的（SEG）方法是解决各种机器学习任务中出现的最小最大优化和变分不等式问题（VIP）的最流行算法之一。然而，有关SEG的收敛性质的几个重要问题仍然是开放的，包括随机梯度的采样，迷你批量，用于单调有限和变分不等式的单调有限和变分别不等式，以及其他问题。为了解决这些问题，在本文中，我们开发了一种新颖的理论框架，使我们能够以统一的方式分析赛季的几种变体。除了标准设置之外，与均有界差异下的LipsChitzness和单调性或独立样本SEG相同 - 样本SEG，我们的方法可以分析之前从未明确考虑过的SEG的变体。值得注意的是，我们用任意抽样分析SEG，其中包括重要性采样和各种批量批量策略作为特殊情况。我们为SEG的新变种的率优于目前最先进的融合保证并依赖于更少的限制性假设。

我们考虑设计统一稳定的一阶优化算法以最小化的问题。统一的稳定性通常用于获得优化算法的概括误差范围，我们对实现它的一般方法感兴趣。对于欧几里得的几何形状，我们建议采用黑盒转换，给定平滑的优化算法，它产生了算法的均匀稳定版本，同时将其收敛速率保持在对数因素上。使用此减少，我们获得了一种（几乎）最佳算法，以平滑优化，并通过收敛速率$ \ widetilde {o}（1/t^2）$和均匀的稳定性$ O（t^2/n）$，解决一个开放的问题Chen等。（2018）;阿蒂亚和科伦（2021）。对于更一般的几何形状，我们开发了一种镜下下降的变体，以平滑优化，收敛速率$ \ widetilde {o}（1/t）$和统一的稳定性$ O（t/n）$（t/n）$，留下了开放的问题转换方法如欧几里得情况。

Iterative regularization is a classic idea in regularization theory, that has recently become popular in machine learning. On the one hand, it allows to design efficient algorithms controlling at the same time numerical and statistical accuracy. On the other hand it allows to shed light on the learning curves observed while training neural networks. In this paper, we focus on iterative regularization in the context of classification. After contrasting this setting with that of regression and inverse problems, we develop an iterative regularization approach based on the use of the hinge loss function. More precisely we consider a diagonal approach for a family of algorithms for which we prove convergence as well as rates of convergence. Our approach compares favorably with other alternatives, as confirmed also in numerical simulations.

我们介绍和分析结构化的随机零订单下降（S-SZD），这是一种有限的差异方法，该方法在一组$ l \ leq d $正交方向上近似于随机梯度，其中$ d $是环境空间的维度。这些方向是随机选择的，并且可能在每个步骤中发生变化。对于平滑的凸功能，我们几乎可以确保迭代的收敛性和对$ o（d/l k^{ - c}）$的功能值的收敛速率，每$ c <1/2 $，这是任意关闭的就迭代次数而言，是随机梯度下降（SGD）。我们的界限还显示了使用$ l $多个方向而不是一个方向的好处。对于满足polyak-{\ l} ojasiewicz条件的非convex函数，我们在这种假设下建立了随机Zeroth Order Order Order算法的第一个收敛速率。我们在数值模拟中证实了我们的理论发现，在数值模拟中，满足假设以及对超参数优化的现实世界问题，观察到S-SZD具有很好的实践性能。