梯度下降上升（GDA），最简单的单环路算法用于非凸起最小化优化，广泛用于实际应用，例如生成的对抗网络（GANS）和对抗性训练。尽管其理想的简单性，最近的工作表明了理论上的GDA的较差收敛率，即使在一侧对象的强凹面也是如此。本文为两个替代的单环算法建立了新的收敛结果 - 交替GDA和平滑GDA - 在温和的假设下，目标对一个变量的polyak-lojasiewicz（pl）条件满足Polyak-lojasiewicz（pl）条件。我们证明，找到一个$ \ epsilon $ -stationary点，（i）交替的GDA及其随机变体（没有迷你批量），分别需要$ o（\ kappa ^ {2} \ epsilon ^ { - 2}）$和$ o（\ kappa ^ {4} \ epsilon ^ {-4}）$迭代，而（ii）平滑gda及其随机变体（没有迷你批次）分别需要$ o（\ kappa \ epsilon ^ { - 2}） $和$ o（\ kappa ^ {2} \ epsilon ^ { - 4}）$迭代。后者大大改善了Vanilla GDA，并在类似的环境下给出了单环算法之间的最佳已知复杂性结果。我们进一步展示了这些算法在训练GAN和强大的非线性回归中的经验效率。

本文重点介绍了解决光滑非凸强凹入最小问题的随机方法，这导致了由于其深度学习中的潜在应用而受到越来越长的关注（例如，深度AUC最大化，分布鲁棒优化）。然而，大多数现有算法在实践中都很慢，并且它们的分析围绕到几乎静止点的收敛。我们考虑利用Polyak-\ L Ojasiewicz（PL）条件来设计更快的随机算法，具有更强的收敛保证。尽管已经用于设计许多随机最小化算法的PL条件，但它们对非凸敏最大优化的应用仍然罕见。在本文中，我们提出并分析了基于近端的跨越时代的方法的通用框架，许多众所周知的随机更新嵌入。以{\ BF原始物镜差和二元间隙}的方式建立快速收敛。与现有研究相比，（i）我们的分析基于一个新的Lyapunov函数，包括原始物理差距和正则化功能的二元间隙，（ii）结果更加全面，提高了更好的依赖性的速率不同假设下的条件号。我们还开展深层和非深度学习实验，以验证我们的方法的有效性。

在本文中，我们考虑基于移动普通（SEMA）的广泛使用但不完全了解随机估计器，其仅需要{\ bf是一般无偏的随机oracle}。我们展示了Sema在一系列随机非凸优化问题上的力量。特别是，我们分析了基于SEMA的SEMA的{\ BF差异递归性能的各种随机方法（现有或新提出），即三个非凸优化，即标准随机非凸起最小化，随机非凸强烈凹入最小最大优化，随机均方优化。我们的贡献包括：（i）对于标准随机非凸起最小化，我们向亚当风格方法（包括ADAM，AMSGRAD，Adabound等）提供了一个简单而直观的融合证明，随着越来越大的“势头” “一阶时刻的参数，它给出了一种替代但更自然的方式来保证亚当融合; （ii）对于随机非凸强度凹入的最小值优化，我们介绍了一种基于移动平均估计器的单环原始 - 双随机动量和自适应方法，并确定其Oracle复杂性$ O（1 / \ epsilon ^ 4）$不使用大型批量大小，解决文献中的差距; （iii）对于随机双脚优化，我们介绍了一种基于移动平均估计器的单环随机方法，并确定其Oracle复杂性$ \ widetilde o（1 / \ epsilon ^ 4）$，而无需计算Hessian矩阵的SVD，改善最先进的结果。对于所有这些问题，我们还建立了使用随机梯度估计器的差异递减结果。

Nonconvex-nonconcave minimax optimization has been the focus of intense research over the last decade due to its broad applications in machine learning and operation research. Unfortunately, most existing algorithms cannot be guaranteed to converge and always suffer from limit cycles. Their global convergence relies on certain conditions that are difficult to check, including but not limited to the global Polyak-\L{}ojasiewicz condition, the existence of a solution satisfying the weak Minty variational inequality and $\alpha$-interaction dominant condition. In this paper, we develop the first provably convergent algorithm called doubly smoothed gradient descent ascent method, which gets rid of the limit cycle without requiring any additional conditions. We further show that the algorithm has an iteration complexity of $\mathcal{O}(\epsilon^{-4})$ for finding a game stationary point, which matches the best iteration complexity of single-loop algorithms under nonconcave-concave settings. The algorithm presented here opens up a new path for designing provable algorithms for nonconvex-nonconcave minimax optimization problems.

Nonconvex minimax problems have attracted wide attention in machine learning, signal processing and many other fields in recent years. In this paper, we propose a primal dual alternating proximal gradient (PDAPG) algorithm and a primal dual proximal gradient (PDPG-L) algorithm for solving nonsmooth nonconvex-strongly concave and nonconvex-linear minimax problems with coupled linear constraints, respectively. The corresponding iteration complexity of the two algorithms are proved to be $\mathcal{O}\left( \varepsilon ^{-2} \right)$ and $\mathcal{O}\left( \varepsilon ^{-3} \right)$ to reach an $\varepsilon$-stationary point, respectively. To our knowledge, they are the first two algorithms with iteration complexity guarantee for solving the two classes of minimax problems.

NonConvex-Concave Minimax优化已经对机器学习产生了浓厚的兴趣，包括对数据分配具有稳健性，以非解释性损失，对抗性学习为单一的学习。然而，大多数现有的作品都集中在梯度散发性（GDA）变体上，这些变体只能在平滑的设置中应用。在本文中，我们考虑了一个最小问题的家族，其目标功能在最小化变量中享有非平滑复合结构，并且在最大化的变量中是凹入的。通过充分利用复合结构，我们提出了平滑的近端线性下降上升（\ textit {平滑} plda）算法，并进一步建立了其$ \ Mathcal {o}（\ epsilon^{ - 4}）在平滑设置下，平滑的gda〜 \ cite {zhang2020single}。此外，在一个温和的假设下，目标函数满足单方面的kurdyka- \ l {} ojasiewicz条件，带有指数$ \ theta \ in（0,1）$，我们可以进一步将迭代复杂性提高到$ \ MATHCAL {O }（\ epsilon^{ - 2 \ max \ {2 \ theta，1 \}}）$。据我们所知，这是第一种非平滑nonconvex-concave问题的可证明有效的算法，它可以实现最佳迭代复杂性$ \ MATHCAL {o}（\ epsilon^{ - 2}）$，如果$ \ theta \ 0,1/2] $。作为副产品，我们讨论了不同的平稳性概念并定量澄清它们的关系，这可能具有独立的兴趣。从经验上，我们说明了拟议的平滑PLDA在变体正规化WassErstein分布在鲁棒优化问题上的有效性。

我们考虑非凸凹minimax问题，$ \ min _ {\ mathbf {x}} \ mathcal {y}} f（\ mathbf {x}，\ mathbf {y}）$， $ f $在$ \ mathbf {x} $ on $ \ mathbf {y} $和$ \ mathcal {y} $中的$ \ \ mathbf {y} $。解决此问题的最受欢迎的算法之一是庆祝的梯度下降上升（GDA）算法，已广泛用于机器学习，控制理论和经济学。尽管凸凹设置的广泛收敛结果，但具有相等步骤的GDA可以收敛以限制循环甚至在一般设置中发散。在本文中，我们介绍了两次尺度GDA的复杂性结果，以解决非膨胀凹入的最小问题，表明该算法可以找到函数$ \ phi（\ cdot）的静止点：= \ max _ {\ mathbf {Y} \ In \ Mathcal {Y}} F（\ CDOT，\ MATHBF {Y}）高效。据我们所知，这是对这一环境中的两次尺度GDA的第一个非因对药分析，阐明了其在培训生成对抗网络（GANS）和其他实际应用中的优越实际表现。

我们考虑光滑的凸孔concave双线性耦合的鞍点问题，$ \ min _ {\ mathbf {x}}} \ max _ {\ mathbf {y Mathbf {y}} 〜f（\ mathbf {x}} }，\ mathbf {y}） - g（\ mathbf {y}）$，其中一个人可以访问$ f $，$ g $的随机一阶oracles以及biinear耦合函数$ h $。基于标准的随机外部分析，我们提出了随机\ emph {加速梯度 - extragradient（ag-eg）}下降的算法，该算法在一般随机设置中结合了外部和Nesterov的加速度。该算法利用计划重新启动以接收一种良好的非震动收敛速率，该算法与\ citet {ibrahim202020linear}和\ citet {zhang2021lower}相匹配，并在其相应的设置中，还有一个额外的统计误差期限，以及\ citet {zhang2021lower}最多达到恒定的预取子。这是在鞍点优化中实现这种相对成熟的最佳表征的第一个结果。

最近，由于这些问题与一些新兴应用的相关性，最近有许多研究工作用于开发有效算法，以解决理论收敛的保证。在本文中，我们提出了一种统一的单环交替梯度投影（AGP）算法，用于求解平滑的非convex-（强烈）凹面和（强烈）凸出 - 非concave minimax问题。 AGP采用简单的梯度投影步骤来更新每次迭代时的原始变量和双变量。我们表明，它可以在$ \ MATHCAL {O} \ left（\ Varepsilon ^{ - 2} \ right）$（rep. $ \ Mathcal {O} \ left）中找到目标函数的$ \ VAREPSILON $ -STAIMATARY点。 （\ varepsilon ^{ - 4} \ right）$）$迭代，在nonconvex-strongly凹面（resp。nonconvex-concave）设置下。此外，获得目标函数的$ \ VAREPSILON $ -STAIMATARY的梯度复杂性由$ \ Mathcal {o} \ left（\ varepsilon ^{ - 2} \ right）界限O} \ left（\ varepsilon ^{ - 4} \ right）$在强烈的convex-nonconcave（resp。，convex-nonconcave）设置下。据我们所知，这是第一次开发出一种简单而统一的单环算法来解决非convex-（强烈）凹面和（强烈）凸出 - 非concave minimax问题。此外，在文献中从未获得过解决后者（强烈）凸线 - 非孔孔的最小问题的复杂性结果。数值结果表明所提出的AGP算法的效率。此外，我们通过提出块交替近端梯度（BAPG）算法来扩展AGP算法，以求解更通用的多块非块非conmooth nonmooth nonmooth noncovex-（强）凹面和（强烈）convex-nonconcave minimax问题。我们可以在这四个不同的设置下类似地建立所提出算法的梯度复杂性。

Minimax优化已成为许多机器学习（ML）问题的骨干。尽管优化算法的收敛行为已在minimax设置中进行了广泛的研究，但它们在随机环境中的概括保证，即对经验数据训练的解决方案如何在看不见的测试数据上执行，但相对却相对均未被倍增。一个基本问题仍然难以捉摸：研究最小学习者的概括是什么？在本文中，我们的目标是首先证明原始风险是研究最小化中的普遍性的普遍指标，在简单的最小问题示例中失败了。此外，由于鞍点不存在，另一个流行的指标，即原始的双重风险，也无法表征非凸度问题的最小值问题的概括行为。因此，我们提出了一个新的指标，以研究最小学习者的概括：原始差距，以规避这些问题。接下来，我们在非convex-concave设置中得出原始差距的概括范围。作为我们分析的副产品，我们还解决了两个空旷的问题：在强大意义上，建立原始风险和原始偶发风险的概括范围，即没有强大的凹面或假设最大化和期望可以互换，而这些假设中的任何一个都可以互换在文献中需要。最后，我们利用这一新指标比较了两种流行算法的概括行为 - 梯度下降（GDA）和梯度下降 - 最大趋势 - 最小值优化。

用于解决无约束光滑游戏的两个最突出的算法是经典随机梯度下降 - 上升（SGDA）和最近引入的随机共识优化（SCO）[Mescheder等，2017]。已知SGDA可以收敛到特定类别的游戏的静止点，但是当前的收敛分析需要有界方差假设。 SCO用于解决大规模对抗问题，但其收敛保证仅限于其确定性变体。在这项工作中，我们介绍了预期的共同胁迫条件，解释了它的好处，并在这种情况下提供了SGDA和SCO的第一次迭代收敛保证，以解决可能是非单调的一类随机变分不等式问题。我们将两种方法的线性会聚到解决方案的邻域时，当它们使用恒定的步长时，我们提出了富有识别的步骤化切换规则，以保证对确切解决方案的融合。此外，我们的收敛保证在任意抽样范式下担保，因此，我们对迷你匹配的复杂性进行了解。

我们研究了在两人零和马尔可夫游戏中找到NASH平衡的问题。由于其作为最小值优化程序的表述，解决该问题的自然方法是以交替的方式对每个玩家进行梯度下降/上升。但是，由于基本目标函数的非跨性别/非障碍性，该方法的理论理解是有限的。在我们的论文中，我们考虑解决马尔可夫游戏的熵登记变体。正则化将结构引入了优化景观中，从而使解决方案更加可识别，并允许更有效地解决问题。我们的主要贡献是表明，在正则化参数的正确选择下，梯度下降算法会收敛到原始未注册问题的NASH平衡。我们明确表征了我们算法的最后一个迭代的有限时间性能，该算法的梯度下降上升算法的现有收敛界限大大改善了而没有正则化。最后，我们通过数值模拟来补充分析，以说明算法的加速收敛性。

标准梯度下降（GDA） - 型算法只能在非凸极小优化中找到固定点，这比局部minimax点比局部最佳。在这项工作中，我们开发了GDA型算法，这些算法在非convex-rong-concave minimax优化中全球收敛到局部minimax点。我们首先观察到局部最小点等效于某个包膜函数的二阶固定点。然后，受到经典立方正则化算法的启发，我们提出了Cubic-GDA（一种用于查找局部最小值点的立方体规范化的GDA算法），并通过利用其内在潜在功能来提供全面的收敛分析。具体而言，我们以sublinear收敛速率建立了立方GDA与局部最小点的全球收敛。我们进一步分析了在局部梯度显性型非凸几何形状的整个频谱中立方GDA的渐近收敛速率，比标准GDA更快地建立秩序的渐近收敛速率。此外，我们提出了用于大规模最小优化的立方GDA的随机变体，并在随机子采样下表征其样品复杂性。

梯度下降（GDA）方法是生成对抗网络（GAN）中最小值优化的主流算法。 GDA的收敛特性引起了最近文献的重大兴趣。具体而言，对于$ \ min _ {\ mathbf {x}} \ max _ {\ mathbf {y}} f（\ mathbf {x}; \ m m缩y} $以及$ \ mathbf {x} $，（lin等，2020）中的nonConvex证明了GDA的收敛性，带有sptepize的比率$ \ eta _ {\ mathbf {y}}}}/\ eta _ { }} = \ theta（\ kappa^2）$ with $ \ eta _ {\ mathbf {x}} $和$ \ eta _ {\ eta _ {\ mathbf {y}} $是$ \ mathbf {x}} $和$ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \\ Mathbf {y} $和$ \ kappa $是$ \ mathbf {y} $的条件号。尽管该步骤大比表明对最小玩家进行缓慢的训练，但实用的GAN算法通常对两个变量采用类似的步骤，表明理论和经验结果之间存在较大差距。在本文中，我们的目标是通过分析常规\ emph {nonconvex-nonconcave} minimax问题的\ emph {local contergence}来弥合这一差距。我们证明，$ \ theta（\ kappa）$的得分比是必要且足够的，足以使GDA局部收敛到Stackelberg equilibrium，其中$ \ kappa $是$ \ mathbf {y} $的本地条件号。我们证明了与匹配的下限几乎紧密的收敛速率。我们进一步将收敛保证扩展到随机GDA和额外梯度方法（例如）。最后，我们进行了几项数值实验来支持我们的理论发现。

在许多机器学习应用程序中出现了非convex-concave min-max问题，包括最大程度地减少一组非凸函数的最大程度，并对神经网络的强大对抗训练。解决此问题的一种流行方法是梯度下降（GDA）算法，不幸的是，在非凸性的情况下可以表现出振荡。在本文中，我们引入了一种“平滑”方案，该方案可以与GDA结合以稳定振荡并确保收敛到固定溶液。我们证明，稳定的GDA算法可以实现$ O（1/\ epsilon^2）$迭代复杂性，以最大程度地减少有限的非convex函数收集的最大值。此外，平滑的GDA算法达到了$ O（1/\ epsilon^4）$ toseration复杂性，用于一般的nonconvex-concave问题。提出了这种稳定的GDA算法的扩展到多块情况。据我们所知，这是第一个实现$ o（1/\ epsilon^2）$的算法，用于一类NonConvex-Concave问题。我们说明了稳定的GDA算法在健壮训练中的实际效率。

交替的梯度 - 下降 - 上升（Altgda）是一种优化算法，已广泛用于各种机器学习应用中的模型培训，其旨在解决非渗透最小新的优化问题。然而，现有的研究表明，它遭受了非凸起最小值优化中的高计算复杂性。在本文中，我们开发了一种单环和快速Altgda型算法，利用了近端渐变更新和动量加速来解决正常的非透露极限优化问题。通过识别该算法的内在Lyapunov函数，我们证明它会收敛到非凸起最小化优化问题的临界点，并实现了计算复杂度$ \ mathcal {o}（\ kappa ^ {1.5} \ epsilon ^ { - 2} ）$，其中$ \ epsilon $是理想的准确度，$ \ kappa $是问题的条件号。这种计算复杂性改善了单环GDA和AltGDA算法的最先进的复杂性（参见表1中的比较摘要）。我们通过对对抗深层学习的实验展示了算法的有效性。

随机梯度下降（SGDA）及其变体一直是解决最小值问题的主力。但是，与研究有差异隐私（DP）约束的经过良好研究的随机梯度下降（SGD）相反，在理解具有DP约束的SGDA的概括（实用程序）方面几乎没有工作。在本文中，我们使用算法稳定性方法在不同的设置中建立DP-SGDA的概括（实用程序）。特别是，对于凸 - 凸环设置，我们证明DP-SGDA可以在平滑和非平滑案例中都可以根据弱原始二元人群风险获得最佳的效用率。据我们所知，这是在非平滑案例中DP-SGDA的第一个已知结果。我们进一步在非convex-rong-concave环境中提供了实用性分析，这是原始人口风险的首个已知结果。即使在非私有设置中，此非convex设置的收敛和概括结果也是新的。最后，进行了数值实验，以证明DP-SGDA在凸和非凸病例中的有效性。

越来越多的机器学习问题，例如现有算法的鲁棒或对抗性变体，需要最小化自己定义为最大值的损耗函数。在（内部）最大化问题上携带随机梯度上升（SGA）步骤的环路，然后在（外部）最小化上进行SGD步骤，称为时期随机梯度\脑短幕（ESGDA）。虽然成功在实践中，ESGDA的理论分析仍然具有挑战性，但没有明确指导内部环路尺寸的选择，也没有内部/外部步长尺寸之间的相互作用。我们提出RSGDA（随机SGDA），是ESGDA的变种，具有随机环形尺寸，具有更简单的理论分析。 RSGDA在非透露X分钟/强凹幅最大设置上使用时，rsgda附带第一个（在SGDA算法中）几乎肯定的融合速率。 RSGDA可以使用最佳环路大小进行参数化，以保证已知为SGDA的最佳收敛速率。我们在玩具和更大的尺度问题上测试RSGDA，使用作为测试用最佳运输的分布鲁棒优化和单细胞数据匹配。

我们改进了用于分析非凸优化随机梯度下降（SGD）的最新工具，以获得香草政策梯度（PG） - 加强和GPOMDP的收敛保证和样本复杂性。我们唯一的假设是预期回报是平滑的w.r.t.策略参数以及其渐变的第二个时刻满足某种\ EMPH {ABC假设}。 ABC的假设允许梯度的第二时刻绑定为\ geq 0 $次的子项优差距，$ b \ geq 0 $乘以完整批量梯度的标准和添加剂常数$ c \ geq 0 $或上述任何组合。我们表明ABC的假设比策略空间上的常用假设更为一般，以证明收敛到静止点。我们在ABC的假设下提供单个融合定理，并表明，尽管ABC假设的一般性，我们恢复了$ \ widetilde {\ mathcal {o}}（\ epsilon ^ {-4}）$样本复杂性pg 。我们的融合定理还可在选择超参数等方面提供更大的灵活性，例如步长和批量尺寸的限制$ M $。即使是单个轨迹案例（即，$ M = 1 $）适合我们的分析。我们认为，ABC假设的一般性可以为PG提供理论担保，以至于以前未考虑的更广泛的问题。

标准联合优化方法成功地适用于单层结构的随机问题。然而，许多当代的ML问题 - 包括对抗性鲁棒性，超参数调整和参与者 - 批判性 - 属于嵌套的双层编程，这些编程包含微型型和组成优化。在这项工作中，我们提出了\ fedblo：一种联合交替的随机梯度方法来解决一般的嵌套问题。我们在存在异质数据的情况下为\ fedblo建立了可证明的收敛速率，并引入了二聚体，最小值和组成优化的变化。\ fedblo引入了多种创新，包括联邦高级计算和降低方差，以解决内部级别的异质性。我们通过有关超参数\＆超代理学习和最小值优化的实验来补充我们的理论，以证明我们方法在实践中的好处。代码可在https://github.com/ucr-optml/fednest上找到。