我们研究了一类算法，用于在内部级别物镜强烈凸起时求解随机和确定性设置中的彼此优化问题。具体地，我们考虑基于不精确的隐含区分的算法，并且我们利用热门开始策略来摊销精确梯度的估计。然后，我们介绍了一个统一的理论框架，受到奇异的扰动系统（Habets，1974）的研究来分析这种摊销算法。通过使用此框架，我们的分析显示了匹配可以访问梯度无偏见估计的Oracle方法的计算复杂度的算法，从而优于彼此优化的许多现有结果。我们在合成实验中说明了这些发现，并展示了这些算法对涉及几千个变量的超参数优化实验的效率。

Bilevel优化是在机器学习的许多领域中最小化涉及另一个功能的价值函数的问题。在大规模的经验风险最小化设置中，样品数量很大，开发随机方法至关重要，而随机方法只能一次使用一些样品进行进展。但是，计算值函数的梯度涉及求解线性系统，这使得很难得出无偏的随机估计。为了克服这个问题，我们引入了一个新颖的框架，其中内部问题的解决方案，线性系统的解和主要变量同时发展。这些方向是作为总和写成的，使其直接得出无偏估计。我们方法的简单性使我们能够开发全球差异算法，其中所有变量的动力学都会降低差异。我们证明，萨巴（Saba）是我们框架中著名的传奇算法的改编，具有$ o（\ frac1t）$收敛速度，并且在polyak-lojasciewicz的假设下实现了线性收敛。这是验证这些属性之一的双光线优化的第一种随机算法。数值实验验证了我们方法的实用性。

我们分析了一类养生问题，其中高级问题在于平滑的目标函数的最小化和下层问题是找到平滑收缩图的固定点。这种类型的问题包括元学习，平衡模型，超参数优化和数据中毒对抗性攻击的实例。最近的几项作品提出了算法，这些算法温暖了较低级别的问题，即他们使用先前的下级近似解决方案作为低级求解器的凝视点。这种温暖的启动程序使人们可以在随机和确定性设置中提高样品复杂性，在某些情况下可以实现订单的最佳样品复杂性。但是，存在一些情况，例如元学习和平衡模型，其中温暖的启动程序不适合或无效。在这项工作中，我们表明没有温暖的启动，仍然可以实现订单的最佳或近乎最佳的样品复杂性。特别是，我们提出了一种简单的方法，该方法在下层下使用随机固定点迭代，并在上层处预测不精确的梯度下降，该梯度下降到达$ \ epsilon $ -Stationary Point，使用$ O（\ Epsilon^{-2） }）$和$ \ tilde {o}（\ epsilon^{ - 1}）$样本分别用于随机和确定性设置。最后，与使用温暖启动的方法相比，我们的方法产生了更简单的分析，不需要研究上层和下层迭代之间的耦合相互作用

本文分析了双模的彼此优化随机算法框架。 Bilevel优化是一类表现出两级结构的问题，其目标是使具有变量的外目标函数最小化，该变量被限制为对（内部）优化问题的最佳解决方案。我们考虑内部问题的情况是不受约束的并且强烈凸起的情况，而外部问题受到约束并具有平滑的目标函数。我们提出了一种用于解决如此偏纤维问题的两次时间尺度随机近似（TTSA）算法。在算法中，使用较大步长的随机梯度更新用于内部问题，而具有较小步长的投影随机梯度更新用于外部问题。我们在各种设置下分析了TTSA算法的收敛速率：当外部问题强烈凸起（RESP。〜弱凸）时，TTSA算法查找$ \ MATHCAL {O}（k ^ { - 2/3}）$ -Optimal（resp。〜$ \ mathcal {o}（k ^ {-2/5}）$ - 静止）解决方案，其中$ k $是总迭代号。作为一个应用程序，我们表明，两个时间尺度的自然演员 - 批评批评近端策略优化算法可以被视为我们的TTSA框架的特殊情况。重要的是，与全球最优政策相比，自然演员批评算法显示以预期折扣奖励的差距，以$ \ mathcal {o}（k ^ { - 1/4}）的速率收敛。

我们介绍和分析结构化的随机零订单下降（S-SZD），这是一种有限的差异方法，该方法在一组$ l \ leq d $正交方向上近似于随机梯度，其中$ d $是环境空间的维度。这些方向是随机选择的，并且可能在每个步骤中发生变化。对于平滑的凸功能，我们几乎可以确保迭代的收敛性和对$ o（d/l k^{ - c}）$的功能值的收敛速率，每$ c <1/2 $，这是任意关闭的就迭代次数而言，是随机梯度下降（SGD）。我们的界限还显示了使用$ l $多个方向而不是一个方向的好处。对于满足polyak-{\ l} ojasiewicz条件的非convex函数，我们在这种假设下建立了随机Zeroth Order Order Order算法的第一个收敛速率。我们在数值模拟中证实了我们的理论发现，在数值模拟中，满足假设以及对超参数优化的现实世界问题，观察到S-SZD具有很好的实践性能。

在本文中，我们提出了一种新的Hessian逆自由单环算法（FSLA），用于彼此优化问题。 Bilevel优化的经典算法承认计算昂贵的双回路结构。最近，已经提出了几种单循环算法，其具有优化内部和外部变量。但是，这些算法尚未实现完全单循环。因为它们忽略了评估给定内部和外部状态的超梯度所需的循环。为了开发一个完全单环算法，我们首先研究超梯度的结构，并识别超梯度计算的一般近似配方，这些计算包括几种先前的常见方法，例如，通过时间，共轭渐变，\ emph {等}基于此配方，介绍一个新的状态变量来维护历史超梯度信息。将我们的新配方与内外变量的替代更新相结合，我们提出了一种高效的全循环算法。理论上我们可以显示新状态生成的错误可以界限，我们的算法收敛于$ O（\ epsilon ^ {-2}）$。最后，我们通过基于多个Bilevel优化的机器学习任务验证了我们验证的算法。

We initiate a formal study of reproducibility in optimization. We define a quantitative measure of reproducibility of optimization procedures in the face of noisy or error-prone operations such as inexact or stochastic gradient computations or inexact initialization. We then analyze several convex optimization settings of interest such as smooth, non-smooth, and strongly-convex objective functions and establish tight bounds on the limits of reproducibility in each setting. Our analysis reveals a fundamental trade-off between computation and reproducibility: more computation is necessary (and sufficient) for better reproducibility.

We study stochastic monotone inclusion problems, which widely appear in machine learning applications, including robust regression and adversarial learning. We propose novel variants of stochastic Halpern iteration with recursive variance reduction. In the cocoercive -- and more generally Lipschitz-monotone -- setup, our algorithm attains $\epsilon$ norm of the operator with $\mathcal{O}(\frac{1}{\epsilon^3})$ stochastic operator evaluations, which significantly improves over state of the art $\mathcal{O}(\frac{1}{\epsilon^4})$ stochastic operator evaluations required for existing monotone inclusion solvers applied to the same problem classes. We further show how to couple one of the proposed variants of stochastic Halpern iteration with a scheduled restart scheme to solve stochastic monotone inclusion problems with ${\mathcal{O}}(\frac{\log(1/\epsilon)}{\epsilon^2})$ stochastic operator evaluations under additional sharpness or strong monotonicity assumptions.

加速的近端算法（APPA），也称为“催化剂”，是从凸优化到近似近端计算（即正则最小化）的确定还原。这种减少在概念上是优雅的，可以保证强大的收敛速度。但是，这些速率具有多余的对数项，因此需要计算每个近端点至高精度。在这项工作中，我们提出了一个新颖的放松误差标准，用于加速近端点（recapp），以消除对高精度子问题解决方案的需求。我们将recapp应用于两个规范问题：有限的和最大结构的最小化。对于有限和问题，我们匹配了以前通过精心设计的问题特异性算法获得的最著名的复杂性。为了最大程度地减少$ \ max_y f（x，y）$，其中$ f $以$ x $为$ x $，而在$ y $中强烈concave，我们改进了受对数因素限制的最著名的（基于催化剂）。

近期在应用于培训深度神经网络和数据分析中的其他优化问题中的非凸优化的优化算法的兴趣增加，我们概述了最近对非凸优化优化算法的全球性能保证的理论结果。我们从古典参数开始，显示一般非凸面问题无法在合理的时间内有效地解决。然后，我们提供了一个问题列表，可以通过利用问题的结构来有效地找到全球最小化器，因为可能的问题。处理非凸性的另一种方法是放宽目标，从找到全局最小，以找到静止点或局部最小值。对于该设置，我们首先为确定性一阶方法的收敛速率提出了已知结果，然后是最佳随机和随机梯度方案的一般理论分析，以及随机第一阶方法的概述。之后，我们讨论了非常一般的非凸面问题，例如最小化$ \ alpha $ -weakly-are-convex功能和满足Polyak-lojasiewicz条件的功能，这仍然允许获得一阶的理论融合保证方法。然后，我们考虑更高阶和零序/衍生物的方法及其收敛速率，以获得非凸优化问题。

彼得纤维优化已广泛应用于许多重要的机器学习应用，例如普带的参数优化和元学习。最近，已经提出了几种基于动量的算法来解决贝韦尔优化问题。但是，基于SGD的算法的$ \ Mathcal {\ widetilde o}（\ epsilon ^ {-2}），那些基于势头的算法不会达到可释放的计算复杂性。在本文中，我们提出了两种用于双纤维优化的新算法，其中第一算法采用基于动量的递归迭代，第二算法采用嵌套环路中的递归梯度估计来降低方差。我们表明这两种算法都达到了$ \ mathcal {\ widetilde o}的复杂性（\ epsilon ^ { - 1.5}）$，这优于所有现有算法的级别。我们的实验验证了我们的理论结果，并展示了我们在封路数据应用程序中的算法的卓越实证性能。

Bilevel programming has recently received attention in the literature, due to a wide range of applications, including reinforcement learning and hyper-parameter optimization. However, it is widely assumed that the underlying bilevel optimization problem is solved either by a single machine or in the case of multiple machines connected in a star-shaped network, i.e., federated learning setting. The latter approach suffers from a high communication cost on the central node (e.g., parameter server) and exhibits privacy vulnerabilities. Hence, it is of interest to develop methods that solve bilevel optimization problems in a communication-efficient decentralized manner. To that end, this paper introduces a penalty function based decentralized algorithm with theoretical guarantees for this class of optimization problems. Specifically, a distributed alternating gradient-type algorithm for solving consensus bilevel programming over a decentralized network is developed. A key feature of the proposed algorithm is to estimate the hyper-gradient of the penalty function via decentralized computation of matrix-vector products and few vector communications, which is then integrated within our alternating algorithm to give the finite-time convergence analysis under different convexity assumptions. Owing to the generality of this complexity analysis, our result yields convergence rates for a wide variety of consensus problems including minimax and compositional optimization. Empirical results on both synthetic and real datasets demonstrate that the proposed method works well in practice.

我们的目标是使随机梯度$ \ sigma^2 $在随机梯度和（ii）问题依赖性常数中自适应（i）自适应。当最大程度地减少条件编号$ \ kappa $的平滑，强大的功能时，我们证明，$ t $ t $ toerations sgd的$ t $ toerations sgd具有指数降低的阶跃尺寸和对平滑度的知识可以实现$ \ tilde {o} \ left（\ exp） \ left（\ frac {-t} {\ kappa} \ right） + \ frac {\ sigma^2} {t} \ right）$ rate，而又不知道$ \ sigma^2 $。为了适应平滑度，我们使用随机线路搜索（SLS）并显示（通过上下距离），其SGD的SGD与SLS以所需的速率收敛，但仅针对溶液的邻域。另一方面，我们证明具有平滑度的离线估计值的SGD会收敛到最小化器。但是，其速率与估计误差成正比的速度减慢。接下来，我们证明具有Nesterov加速度和指数步骤尺寸（称为ASGD）的SGD可以实现接近最佳的$ \ tilde {o} \ left（\ exp \ left（\ frac {-t} {-t} {\ sqrt {\ sqrt {\ sqrt { \ kappa}}} \ right） + \ frac {\ sigma^2} {t} \ right）$ rate，而无需$ \ sigma^2 $。当与平滑度和强频率的离线估计值一起使用时，ASGD仍会收敛到溶液，尽管速度较慢。我们从经验上证明了指数级尺寸的有效性以及新型SLS的变体。

用于解决无约束光滑游戏的两个最突出的算法是经典随机梯度下降 - 上升（SGDA）和最近引入的随机共识优化（SCO）[Mescheder等，2017]。已知SGDA可以收敛到特定类别的游戏的静止点，但是当前的收敛分析需要有界方差假设。 SCO用于解决大规模对抗问题，但其收敛保证仅限于其确定性变体。在这项工作中，我们介绍了预期的共同胁迫条件，解释了它的好处，并在这种情况下提供了SGDA和SCO的第一次迭代收敛保证，以解决可能是非单调的一类随机变分不等式问题。我们将两种方法的线性会聚到解决方案的邻域时，当它们使用恒定的步长时，我们提出了富有识别的步骤化切换规则，以保证对确切解决方案的融合。此外，我们的收敛保证在任意抽样范式下担保，因此，我们对迷你匹配的复杂性进行了解。

Two-level stochastic optimization formulations have become instrumental in a number of machine learning contexts such as continual learning, neural architecture search, adversarial learning, and hyperparameter tuning. Practical stochastic bilevel optimization problems become challenging in optimization or learning scenarios where the number of variables is high or there are constraints. In this paper, we introduce a bilevel stochastic gradient method for bilevel problems with lower-level constraints. We also present a comprehensive convergence theory that covers all inexact calculations of the adjoint gradient (also called hypergradient) and addresses both the lower-level unconstrained and constrained cases. To promote the use of bilevel optimization in large-scale learning, we introduce a practical bilevel stochastic gradient method (BSG-1) that does not require second-order derivatives and, in the lower-level unconstrained case, dismisses any system solves and matrix-vector products.

最近对基于置换的SGD的接地结果进行了证实了广泛观察到的现象：随机排列提供更快的收敛性，而不是更换采样。但是，是随机的最佳状态吗？我们表明这一点在很大程度上取决于我们正在优化的功能，并且最佳和随机排放之间的收敛差距可能因指数而异。我们首先表明，对于具有光滑的第二衍生物的1维强凸功能，与随机相比，存在令人指导的收敛性的排列。但是，对于一般强凸的功能，随机排列是最佳的。最后，我们表明，对于二次，强凸的功能，与随机相比，存在易于构建的置换，从而导致加速会聚。我们的研究结果表明，最佳排列的一般收敛性表征不能捕获各个函数类的细微差别，并且可能错误地表明一个人不能比随机更好。

我们提出了随机方差降低算法，以求解凸 - 凸座鞍点问题，单调变异不平等和单调夹杂物。我们的框架适用于Euclidean和Bregman设置中的外部，前向前后和前反向回复的方法。所有提出的方法都在与确定性的对应物相同的环境中收敛，并且它们要么匹配或改善了解决结构化的最低最大问题的最著名复杂性。我们的结果加强了变异不平等和最小化之间的差异之间的对应关系。我们还通过对矩阵游戏的数值评估来说明方法的改进。

Influence diagnostics such as influence functions and approximate maximum influence perturbations are popular in machine learning and in AI domain applications. Influence diagnostics are powerful statistical tools to identify influential datapoints or subsets of datapoints. We establish finite-sample statistical bounds, as well as computational complexity bounds, for influence functions and approximate maximum influence perturbations using efficient inverse-Hessian-vector product implementations. We illustrate our results with generalized linear models and large attention based models on synthetic and real data.

我们考虑非凸凹minimax问题，$ \ min _ {\ mathbf {x}} \ mathcal {y}} f（\ mathbf {x}，\ mathbf {y}）$， $ f $在$ \ mathbf {x} $ on $ \ mathbf {y} $和$ \ mathcal {y} $中的$ \ \ mathbf {y} $。解决此问题的最受欢迎的算法之一是庆祝的梯度下降上升（GDA）算法，已广泛用于机器学习，控制理论和经济学。尽管凸凹设置的广泛收敛结果，但具有相等步骤的GDA可以收敛以限制循环甚至在一般设置中发散。在本文中，我们介绍了两次尺度GDA的复杂性结果，以解决非膨胀凹入的最小问题，表明该算法可以找到函数$ \ phi（\ cdot）的静止点：= \ max _ {\ mathbf {Y} \ In \ Mathcal {Y}} F（\ CDOT，\ MATHBF {Y}）高效。据我们所知，这是对这一环境中的两次尺度GDA的第一个非因对药分析，阐明了其在培训生成对抗网络（GANS）和其他实际应用中的优越实际表现。

We consider minimizing a smooth and strongly convex objective function using a stochastic Newton method. At each iteration, the algorithm is given an oracle access to a stochastic estimate of the Hessian matrix. The oracle model includes popular algorithms such as Subsampled Newton and Newton Sketch. Despite using second-order information, these existing methods do not exhibit superlinear convergence, unless the stochastic noise is gradually reduced to zero during the iteration, which would lead to a computational blow-up in the per-iteration cost. We propose to address this limitation with Hessian averaging: instead of using the most recent Hessian estimate, our algorithm maintains an average of all the past estimates. This reduces the stochastic noise while avoiding the computational blow-up. We show that this scheme exhibits local $Q$-superlinear convergence with a non-asymptotic rate of $(\Upsilon\sqrt{\log (t)/t}\,)^{t}$, where $\Upsilon$ is proportional to the level of stochastic noise in the Hessian oracle. A potential drawback of this (uniform averaging) approach is that the averaged estimates contain Hessian information from the global phase of the method, i.e., before the iterates converge to a local neighborhood. This leads to a distortion that may substantially delay the superlinear convergence until long after the local neighborhood is reached. To address this drawback, we study a number of weighted averaging schemes that assign larger weights to recent Hessians, so that the superlinear convergence arises sooner, albeit with a slightly slower rate. Remarkably, we show that there exists a universal weighted averaging scheme that transitions to local convergence at an optimal stage, and still exhibits a superlinear convergence rate nearly (up to a logarithmic factor) matching that of uniform Hessian averaging.