非凸优化的传统分析通常取决于平滑度的假设，即要求梯度为Lipschitz。但是，最近的证据表明，这种平滑度条件并未捕获一些深度学习目标功能的特性，包括涉及复发性神经网络和LSTM的函数。取而代之的是，他们满足了更轻松的状况，并具有潜在的无界光滑度。在这个轻松的假设下，从理论和经验上表明，倾斜的SGD比香草具有优势。在本文中，我们表明，在解决此类情况时，剪辑对于ADAM型算法是不可或缺的：从理论上讲，我们证明了广义标志GD算法可以获得与带有剪辑的SGD相似的收敛速率，但根本不需要显式剪辑。一端的这个算法家族恢复了符号，另一端与受欢迎的亚当算法非常相似。我们的分析强调了动量在分析符号类型和ADAM型算法中发挥作用的关键作用：它不仅降低了噪声的影响，因此在先前的符号分析中消除了大型迷你批次的需求显着降低了无界平滑度和梯度规范的影响。我们还将这些算法与流行的优化器进行了比较，在一组深度学习任务上，观察到我们可以在击败其他人的同时匹配亚当的性能。

最近，随机梯度下降（SGD）及其变体已成为机器学习（ML）问题大规模优化的主要方法。已经提出了各种策略来调整步骤尺寸，从自适应步骤大小到启发式方法，以更改每次迭代中的步骤大小。此外，动力已被广泛用于ML任务以加速训练过程。然而，我们对它们的理论理解存在差距。在这项工作中，我们开始通过为一些启发式优化方法提供正式保证并提出改进的算法来缩小这一差距。首先，我们分析了凸面和非凸口设置的Adagrad（延迟Adagrad）步骤大小的广义版本，这表明这些步骤尺寸允许算法自动适应随机梯度的噪声水平。我们首次显示延迟Adagrad的足够条件，以确保梯度几乎融合到零。此外，我们对延迟的Adagrad及其在非凸面设置中的动量变体进行了高概率分析。其次，我们用指数级和余弦的步骤分析了SGD，在经验上取得了成功，但缺乏理论支持。我们在平滑和非凸的设置中为它们提供了最初的收敛保证，有或没有polyak-{\ l} ojasiewicz（pl）条件。我们还显示了它们在PL条件下适应噪声的良好特性。第三，我们研究动量方法的最后迭代。我们证明了SGD的最后一个迭代的凸设置中的第一个下限，并以恒定的动量。此外，我们研究了一类跟随基于领先的领导者的动量算法，并随着动量和收缩的更新而增加。我们表明，他们的最后一个迭代具有最佳的收敛性，用于无约束的凸随机优化问题。

通过确保学习算法中的差异隐私，可以严格降低大型模型记忆敏感培训数据的风险。在本文中，我们为此目的研究了两种算法，即DP-SGD和DP-NSGD，它们首先剪辑或归一化\ textIt \ textIt {每样本}梯度以绑定灵敏度，然后添加噪声以使精确信息混淆。我们通过两个常见的假设分析了非凸优化设置中这两种算法的收敛行为，并实现了$ \ nathcal {o} \ left（\ sqrt [4] {\ frac {\ frac {d \ log（1/\ delta） ）} {n^2 \ epsilon^2}} \ right）$ $ d $ - 二维模型，$ n $ samples和$（\ epsilon，\ delta）$ - dp，它改进了以前的改进在较弱的假设下的界限。具体而言，我们在DP-NSGD中引入了一个正规化因素，并表明它对融合证明至关重要，并巧妙地控制了偏见和噪声权衡。我们的证明故意处理针对私人环境指定的按样本梯度剪辑和标准化。从经验上讲，我们证明这两种算法达到了相似的最佳准确性，而DP-NSGD比DP-SGD更容易调整，因此在计算调整工作时可能有助于进一步节省隐私预算。

与SGD相比，Adam等自适应梯度方法允许对现代深层网络（尤其是大型语言模型）进行强有力的培训。但是，适应性的使用不仅是为了额外的记忆，而且还提出了一个基本问题：SGD等非自适应方法可以享受类似的好处吗？在本文中，我们通过提议通过以下一般配方提议实现健壮和记忆效率的培训来为这个问题提供肯定的答案：（1）修改体系结构并使IT规模不变，即参数规模不影响。网络的输出，（2）使用SGD和重量衰减的训练，以及（3）剪辑全局梯度标准与重量标准成比例成正比，乘以$ \ sqrt {\ tfrac {\ tfrac {2 \ lambda} {\ eta}} {\ eta}}} $， $ \ eta $是学习率，而$ \ lambda $是权重腐烂。我们表明，这种一般方法是通过证明其收敛性仅取决于初始化和损失的规模来重新恢复参数和丢失的强大，而标准SGD甚至可能不会收敛许多初始化。在我们的食谱之后，我们设计了一个名为Sibert的Bert版本的比例不变版本，该版本仅由Vanilla SGD进行训练时，可以实现与Bert在下游任务中受过自适应方法训练的BERT相当的性能。

我们考虑使用一阶算法的非凸性随机优化，梯度估计可能具有重尾部。我们表明，当梯度只有有界限$ \ mathfrak {$ th} $ th moments为某些$时，梯度剪辑，动量和归一化梯度下降的组合产生了高概率的临界点，以获得最佳的损失的损失。 \ Mathfrak {P} \ in（1,2] $。我们考虑到二阶流畅损失的情况，在此设置中尚未研究我们的知识，并且再次获得任何$ \ Mathfrak的高概率界限{P} $。此外，我们的结果持有任意平稳规范，与需要Hilbert空间规范的典型SGD分析。此外，我们表明，在合适的“燃烧”时期之后，客观价值将单调减少对于每次迭代，直到识别临界点，这为学习率“预热”的流行实践背后提供了直觉，并且还产生了最后迭代的保证。

Adaptive optimization methods are well known to achieve superior convergence relative to vanilla gradient methods. The traditional viewpoint in optimization, particularly in convex optimization, explains this improved performance by arguing that, unlike vanilla gradient schemes, adaptive algorithms mimic the behavior of a second-order method by adapting to the global geometry of the loss function. We argue that in the context of neural network optimization, this traditional viewpoint is insufficient. Instead, we advocate for a local trajectory analysis. For iterate trajectories produced by running a generic optimization algorithm OPT, we introduce $R^{\text{OPT}}_{\text{med}}$, a statistic that is analogous to the condition number of the loss Hessian evaluated at the iterates. Through extensive experiments, we show that adaptive methods such as Adam bias the trajectories towards regions where $R^{\text{Adam}}_{\text{med}}$ is small, where one might expect faster convergence. By contrast, vanilla gradient methods like SGD bias the trajectories towards regions where $R^{\text{SGD}}_{\text{med}}$ is comparatively large. We complement these empirical observations with a theoretical result that provably demonstrates this phenomenon in the simplified setting of a two-layer linear network. We view our findings as evidence for the need of a new explanation of the success of adaptive methods, one that is different than the conventional wisdom.

随机一阶方法是训练大规模机器学习模型的标准。随机行为可能导致算法的特定运行导​​致高度次优的目标值，而通常证明理论保证是出于目标值的期望。因此，从理论上保证算法具有很高的可能性，这一点至关重要。非平滑随机凸优化的现有方法具有复杂的界限，其依赖性对置信度或对数为负功率，但在额外的假设下是高斯（轻尾）噪声分布的额外假设，这些噪声分布在实践中可能不存在。在我们的论文中，我们解决了这个问题，并得出了第一个高概率收敛的结果，并以对数依赖性对非平滑凸的随机优化问题的置信度依赖，并带有非Sub-Gaussian（重尾）噪声。为了得出我们的结果，我们建议针对两种随机方法进行梯度剪辑的新步骤规则。此外，我们的分析适用于使用H \“较旧连续梯度的通用平滑目标，对于这两种方法，我们都为强烈凸出问题提供了扩展。最后，我们的结果暗示我们认为的第一种（加速）方法也具有最佳的迭代。在所有制度中，Oracle的复杂性，第二个机制在非平滑设置中都是最佳的。

近期在应用于培训深度神经网络和数据分析中的其他优化问题中的非凸优化的优化算法的兴趣增加，我们概述了最近对非凸优化优化算法的全球性能保证的理论结果。我们从古典参数开始，显示一般非凸面问题无法在合理的时间内有效地解决。然后，我们提供了一个问题列表，可以通过利用问题的结构来有效地找到全球最小化器，因为可能的问题。处理非凸性的另一种方法是放宽目标，从找到全局最小，以找到静止点或局部最小值。对于该设置，我们首先为确定性一阶方法的收敛速率提出了已知结果，然后是最佳随机和随机梯度方案的一般理论分析，以及随机第一阶方法的概述。之后，我们讨论了非常一般的非凸面问题，例如最小化$ \ alpha $ -weakly-are-convex功能和满足Polyak-lojasiewicz条件的功能，这仍然允许获得一阶的理论融合保证方法。然后，我们考虑更高阶和零序/衍生物的方法及其收敛速率，以获得非凸优化问题。

学习率调度程序已在培训深层神经网络中广泛采用。尽管它们的实际重要性，但其实践与理论分析之间存在差异。例如，即使是出于优化二次目标等简单问题，也不知道哪些SGD的时间表达到了最佳收敛性。在本文中，我们提出了本特征库，这是第一个可以在二次目标上获得最小值最佳收敛速率（最多达到常数）的最佳最佳收敛速率（最多达到常数），当时基础Hessian矩阵的特征值分布偏好。这种情况在实践中很普遍。实验结果表明，在CIFAR-10上的图像分类任务中，特征库可以显着超过阶跃衰减，尤其是当时期数量较小时。此外，该理论激发了两个简单的学习率调度程序，用于实用应用程序，可以近似特征。对于某些问题，提议的调度程序的最佳形状类似于余弦衰减的最佳形状，这阐明了余弦衰减在这种情况下的成功。对于其他情况，建议的调度程序优于余弦衰减。

我们研究了Adagrad-norm的收敛速率，作为自适应随机梯度方法（SGD）的典范，其中，基于观察到的随机梯度的步骤大小变化，以最大程度地减少非凸，平稳的目标。尽管它们很受欢迎，但在这种情况下，对自适应SGD的分析滞后于非自适应方法。具体而言，所有先前的作品都依赖以下假设的某个子集：（i）统一结合的梯度规范，（ii）均匀遇到的随机梯度方差（甚至噪声支持），（iii）步骤大小和随机性之间的有条件独立性坡度。在这项工作中，我们表明Adagrad-norm表现出$ \ Mathcal {O} \ left（\ frac {\ mathrm {poly} \ log（t）} {\ sqrt {\ sqrt {t}}} \ right）的订单最佳收敛率$在$ t $迭代之后，在与最佳调整的非自适应SGD（无界梯度规范和仿射噪声方差缩放）相同的假设下进行了$，而无需任何调整参数。因此，我们确定自适应梯度方法在比以前了解的更广泛的方案中表现出最佳的融合。

亚当是训练深神经网络的最具影响力的自适应随机算法之一，即使在简单的凸面设置中，它也被指出是不同的。许多尝试，例如降低自适应学习率，采用较大的批量大小，结合了时间去相关技术，寻求类似的替代物，\ textit {etc。}，以促进Adam-type算法融合。与现有方法相反，我们引入了另一种易于检查的替代条件，这仅取决于基础学习率的参数和历史二阶时刻的组合，以确保通用ADAM的全球融合以解决大型融合。缩放非凸随机优化。这种观察结果以及这种足够的条件，对亚当的差异产生了更深刻的解释。另一方面，在实践中，无需任何理论保证，广泛使用了迷你ADAM和分布式ADAM。我们进一步分析了分布式系统中的批次大小或节点的数量如何影响亚当的收敛性，从理论上讲，这表明迷你批次和分布式亚当可以通过使用较大的迷你批量或较大的大小来线性地加速节点的数量。最后，我们应用了通用的Adam和Mini Batch Adam，具有足够条件来求解反例并在各种真实世界数据集上训练多个神经网络。实验结果完全符合我们的理论分析。

Training large neural networks requires distributing learning across multiple workers, where the cost of communicating gradients can be a significant bottleneck. SIGNSGD alleviates this problem by transmitting just the sign of each minibatch stochastic gradient. We prove that it can get the best of both worlds: compressed gradients and SGD-level convergence rate. The relative 1 / 2 geometry of gradients, noise and curvature informs whether SIGNSGD or SGD is theoretically better suited to a particular problem. On the practical side we find that the momentum counterpart of SIGNSGD is able to match the accuracy and convergence speed of ADAM on deep Imagenet models. We extend our theory to the distributed setting, where the parameter server uses majority vote to aggregate gradient signs from each worker enabling 1-bit compression of worker-server communication in both directions. Using a theorem by Gauss (1823) we prove that majority vote can achieve the same reduction in variance as full precision distributed SGD. Thus, there is great promise for sign-based optimisation schemes to achieve fast communication and fast convergence. Code to reproduce experiments is to be found at https://github.com/jxbz/signSGD.

自适应力矩估计（ADAM）优化器由于其快速收敛属性而广泛用于深度学习任务。但是，亚当的融合仍然不太了解。特别是，对亚当的现有分析不能清楚地证明亚当比SGD的优势。我们将这种理论上的尴尬归因于$ l $ -smooth的条件（即，假设梯度在全球lipschitz连续且常数$ l $）中被文献所采用，而文献经常指出，在实用的神经网络中经常失败。为了解决这一尴尬，我们分析了亚当在轻松的条件下的融合，称为$（l_0，l_1）$平滑度条件，这使梯度Lipschitz常数可以随地梯度规范而变化。 $（l_0，l_1）$严格弱于$ l $ -Smooth条件，并且已经过经验证明可以保留实用的深神经网络。在$（L_0，L_1）$平滑度条件下，我们为Adam建立了与实用的超参数的收敛性。具体而言，我们认为亚当可以适应局部平滑度条件，证明亚当的\ emph {Adpativity}是合理的。相反，在这种情况下，SGD可以任意放慢。我们的结果可能会阐明自适应梯度方法比非自适应方法的好处。

引入了归一化层（例如，批处理归一化，层归一化），以帮助在非常深的网中获得优化困难，但它们显然也有助于概括，即使在不太深入的网中也是如此。由于长期以来的信念，即最小的最小值导致更好的概括，本文提供了数学分析和支持实验，这表明归一化（与伴随的重量赛一起）鼓励GD降低损失表面的清晰度。鉴于损失是标准不变的，这是标准化的已知结果，因此仔细地定义了“清晰度”。具体而言，对于具有归一化的相当广泛的神经网类，我们的理论解释了有限学习率的GD如何进入所谓的稳定边缘（EOS）制度，并通过连续的清晰度来表征GD的轨迹 - 还原流。

The fundamental learning theory behind neural networks remains largely open. What classes of functions can neural networks actually learn? Why doesn't the trained network overfit when it is overparameterized?In this work, we prove that overparameterized neural networks can learn some notable concept classes, including two and three-layer networks with fewer parameters and smooth activations. Moreover, the learning can be simply done by SGD (stochastic gradient descent) or its variants in polynomial time using polynomially many samples. The sample complexity can also be almost independent of the number of parameters in the network.On the technique side, our analysis goes beyond the so-called NTK (neural tangent kernel) linearization of neural networks in prior works. We establish a new notion of quadratic approximation of the neural network (that can be viewed as a second-order variant of NTK), and connect it to the SGD theory of escaping saddle points.

尽管他们的超大容量过度装备能力，但是由特定优化算法训练的深度神经网络倾向于概括到看不见的数据。最近，研究人员通过研究优化算法的隐式正则化效果来解释它。卓越的进展是工作（Lyu＆Li，2019），其证明了梯度下降（GD）最大化了均匀深神经网络的余量。除GD外，诸如Adagrad，RMSProp和Adam之类的自适应算法由于其快速培训过程而流行。然而，仍然缺乏适应性优化算法的概括的理论保证。在本文中，我们研究了自适应优化算法的隐式正则化，当它们在均匀深神经网络上优化逻辑损失时。我们证明了在调节器（如亚当和RMSProp）中采用指数移动平均策略的自适应算法可以最大化神经网络的余量，而Adagrad直接在调节器中总和历史平方梯度。它表明了调节剂设计中指数移动平均策略的概括的优越性。从技术上讲，我们提供统一的框架，通过构建新的自适应梯度流量和代理余量来分析自适应优化算法的会聚方向。我们的实验可以很好地支持适应性优化算法的会聚方向的理论发现。

具有动量的随机梯度下降（SGD）被广泛用于训练现代深度学习体系结构。虽然可以很好地理解使用动量可以导致在各种环境中更快的收敛速率，但还观察到动量会产生更高的概括。先前的工作认为，动量在训练过程中稳定了SGD噪声，这会导致更高的概括。在本文中，我们采用了另一种观点，并首先在经验上表明，与梯度下降（GD）相比，具有动量（GD+M）的梯度下降在某些深度学习问题中显着改善了概括。从这个观察结果，我们正式研究了动量如何改善概括。我们设计了一个二进制分类设置，在该设置中，当两种算法都类似地初始化时，经过GD+M训练的单个隐藏层（过度参数化）卷积神经网络比使用GD训练的同一网络更好地概括了。我们分析中的关键见解是，动量在示例共享某些功能但边距不同的数据集中是有益的。与记住少量数据数据的GD相反，GD+M仍然通过其历史梯度来了解这些数据中的功能。最后，我们从经验上验证了我们的理论发现。

We initiate a formal study of reproducibility in optimization. We define a quantitative measure of reproducibility of optimization procedures in the face of noisy or error-prone operations such as inexact or stochastic gradient computations or inexact initialization. We then analyze several convex optimization settings of interest such as smooth, non-smooth, and strongly-convex objective functions and establish tight bounds on the limits of reproducibility in each setting. Our analysis reveals a fundamental trade-off between computation and reproducibility: more computation is necessary (and sufficient) for better reproducibility.

最近对基于置换的SGD的接地结果进行了证实了广泛观察到的现象：随机排列提供更快的收敛性，而不是更换采样。但是，是随机的最佳状态吗？我们表明这一点在很大程度上取决于我们正在优化的功能，并且最佳和随机排放之间的收敛差距可能因指数而异。我们首先表明，对于具有光滑的第二衍生物的1维强凸功能，与随机相比，存在令人指导的收敛性的排列。但是，对于一般强凸的功能，随机排列是最佳的。最后，我们表明，对于二次，强凸的功能，与随机相比，存在易于构建的置换，从而导致加速会聚。我们的研究结果表明，最佳排列的一般收敛性表征不能捕获各个函数类的细微差别，并且可能错误地表明一个人不能比随机更好。

我们的目标是使随机梯度$ \ sigma^2 $在随机梯度和（ii）问题依赖性常数中自适应（i）自适应。当最大程度地减少条件编号$ \ kappa $的平滑，强大的功能时，我们证明，$ t $ t $ toerations sgd的$ t $ toerations sgd具有指数降低的阶跃尺寸和对平滑度的知识可以实现$ \ tilde {o} \ left（\ exp） \ left（\ frac {-t} {\ kappa} \ right） + \ frac {\ sigma^2} {t} \ right）$ rate，而又不知道$ \ sigma^2 $。为了适应平滑度，我们使用随机线路搜索（SLS）并显示（通过上下距离），其SGD的SGD与SLS以所需的速率收敛，但仅针对溶液的邻域。另一方面，我们证明具有平滑度的离线估计值的SGD会收敛到最小化器。但是，其速率与估计误差成正比的速度减慢。接下来，我们证明具有Nesterov加速度和指数步骤尺寸（称为ASGD）的SGD可以实现接近最佳的$ \ tilde {o} \ left（\ exp \ left（\ frac {-t} {-t} {\ sqrt {\ sqrt {\ sqrt { \ kappa}}} \ right） + \ frac {\ sigma^2} {t} \ right）$ rate，而无需$ \ sigma^2 $。当与平滑度和强频率的离线估计值一起使用时，ASGD仍会收敛到溶液，尽管速度较慢。我们从经验上证明了指数级尺寸的有效性以及新型SLS的变体。