清晰度感知最小化（SAM）是一种最近的训练方法，它依赖于最严重的重量扰动，可显着改善各种环境中的概括。我们认为，基于pac-bayes概括结合的SAM成功的现有理由，而收敛到平面最小值的想法是不完整的。此外，没有解释说在SAM中使用$ m $ sharpness的成功，这对于概括而言至关重要。为了更好地理解SAM的这一方面，我们理论上分析了其对角线性网络的隐式偏差。我们证明，SAM总是选择一种比标准梯度下降更好的解决方案，用于某些类别的问题，并且通过使用$ m $ -sharpness可以放大这种效果。我们进一步研究了隐性偏见在非线性网络上的特性，在经验上，我们表明使用SAM进行微调的标准模型可以导致显着的概括改进。最后，当与随机梯度一起使用时，我们为非凸目标提供了SAM的收敛结果。我们从经验上说明了深层网络的这些结果，并讨论了它们与SAM的概括行为的关系。我们的实验代码可在https://github.com/tml-epfl/understanding-sam上获得。

了解培训算法的隐含偏差至关重要，以解释过度分化的神经网络的成功。在本文中，我们通过连续时间版本，即随机梯度流来研究对对角线线性网络的随机梯度下降的动态。我们明确地表征了随机流动选择的解决方案，并证明它总是享有比梯度流量更好的泛化特性。令人惊讶的是，我们表明训练损失的收敛速度控制了偏置效果的大小：收敛速度较慢，偏置越好。要完全完成我们的分析，我们提供动态的收敛保证。我们还提供了支持我们的理论索赔的实验结果。我们的研究结果强调了结构化噪音可以引起更好的概括，并且它们有助于解释在梯度下降的随机梯度下降方面观察到的更大表现。

In today's heavily overparameterized models, the value of the training loss provides few guarantees on model generalization ability. Indeed, optimizing only the training loss value, as is commonly done, can easily lead to suboptimal model quality. Motivated by prior work connecting the geometry of the loss landscape and generalization, we introduce a novel, effective procedure for instead simultaneously minimizing loss value and loss sharpness. In particular, our procedure, Sharpness-Aware Minimization (SAM), seeks parameters that lie in neighborhoods having uniformly low loss; this formulation results in a minmax optimization problem on which gradient descent can be performed efficiently. We present empirical results showing that SAM improves model generalization across a variety of benchmark datasets (e.g., CIFAR-{10, 100}, Ima-geNet, finetuning tasks) and models, yielding novel state-of-the-art performance for several. Additionally, we find that SAM natively provides robustness to label noise on par with that provided by state-of-the-art procedures that specifically target learning with noisy labels. We open source our code at https: //github.com/google-research/sam. * Work done as part of the Google AI Residency program.

模型不合时宜的元学习（MAML）目前是少量元学习的主要方法之一。尽管它具有有效性，但由于先天的二聚体问题结构，MAML的优化可能具有挑战性。具体而言，MAML的损失格局比其经验风险最小化的对应物更为复杂，可能的鞍点和局部最小化可能更复杂。为了应对这一挑战，我们利用了最近发明的清晰度最小化的最小化，并开发出一种清晰感的MAML方法，我们称其为Sharp MAML。我们从经验上证明，Sharp-MAML及其计算有效的变体可以胜过流行的现有MAML基准（例如，Mini-Imagenet上的$+12 \％$ $精度）。我们通过收敛速率分析和尖锐MAML的概括结合进行了经验研究。据我们所知，这是在双层学习背景下对清晰度感知最小化的第一个经验和理论研究。该代码可在https://github.com/mominabbass/sharp-maml上找到。

具有动量的随机梯度下降（SGD）被广泛用于训练现代深度学习体系结构。虽然可以很好地理解使用动量可以导致在各种环境中更快的收敛速率，但还观察到动量会产生更高的概括。先前的工作认为，动量在训练过程中稳定了SGD噪声，这会导致更高的概括。在本文中，我们采用了另一种观点，并首先在经验上表明，与梯度下降（GD）相比，具有动量（GD+M）的梯度下降在某些深度学习问题中显着改善了概括。从这个观察结果，我们正式研究了动量如何改善概括。我们设计了一个二进制分类设置，在该设置中，当两种算法都类似地初始化时，经过GD+M训练的单个隐藏层（过度参数化）卷积神经网络比使用GD训练的同一网络更好地概括了。我们分析中的关键见解是，动量在示例共享某些功能但边距不同的数据集中是有益的。与记住少量数据数据的GD相反，GD+M仍然通过其历史梯度来了解这些数据中的功能。最后，我们从经验上验证了我们的理论发现。

我们使用高斯过程扰动模型在高维二次上的真实和批量风险表面之间的高斯过程扰动模型分析和解释迭代平均的泛化性能。我们从我们的理论结果中获得了三个现象\姓名：}（1）将迭代平均值（ia）与大型学习率和正则化进行了改进的正规化的重要性。 （2）对较少频繁平均的理由。 （3）我们预计自适应梯度方法同样地工作，或者更好，而不是其非自适应对应物的迭代平均值。灵感来自这些结果\姓据{，一起与}对迭代解决方案多样性的适当正则化的重要性，我们提出了两个具有迭代平均的自适应算法。与随机梯度下降（SGD）相比，这些结果具有明显更好的结果，需要较少调谐并且不需要早期停止或验证设定监视。我们在各种现代和古典网络架构上展示了我们对CiFar-10/100，Imagenet和Penn TreeBank数据集的方法的疗效。

最近，随机梯度下降（SGD）及其变体已成为机器学习（ML）问题大规模优化的主要方法。已经提出了各种策略来调整步骤尺寸，从自适应步骤大小到启发式方法，以更改每次迭代中的步骤大小。此外，动力已被广泛用于ML任务以加速训练过程。然而，我们对它们的理论理解存在差距。在这项工作中，我们开始通过为一些启发式优化方法提供正式保证并提出改进的算法来缩小这一差距。首先，我们分析了凸面和非凸口设置的Adagrad（延迟Adagrad）步骤大小的广义版本，这表明这些步骤尺寸允许算法自动适应随机梯度的噪声水平。我们首次显示延迟Adagrad的足够条件，以确保梯度几乎融合到零。此外，我们对延迟的Adagrad及其在非凸面设置中的动量变体进行了高概率分析。其次，我们用指数级和余弦的步骤分析了SGD，在经验上取得了成功，但缺乏理论支持。我们在平滑和非凸的设置中为它们提供了最初的收敛保证，有或没有polyak-{\ l} ojasiewicz（pl）条件。我们还显示了它们在PL条件下适应噪声的良好特性。第三，我们研究动量方法的最后迭代。我们证明了SGD的最后一个迭代的凸设置中的第一个下限，并以恒定的动量。此外，我们研究了一类跟随基于领先的领导者的动量算法，并随着动量和收缩的更新而增加。我们表明，他们的最后一个迭代具有最佳的收敛性，用于无约束的凸随机优化问题。

We show that parametric models trained by a stochastic gradient method (SGM) with few iterations have vanishing generalization error. We prove our results by arguing that SGM is algorithmically stable in the sense of Bousquet and Elisseeff. Our analysis only employs elementary tools from convex and continuous optimization. We derive stability bounds for both convex and non-convex optimization under standard Lipschitz and smoothness assumptions.Applying our results to the convex case, we provide new insights for why multiple epochs of stochastic gradient methods generalize well in practice. In the non-convex case, we give a new interpretation of common practices in neural networks, and formally show that popular techniques for training large deep models are indeed stability-promoting. Our findings conceptually underscore the importance of reducing training time beyond its obvious benefit.

这项工作研究了基于梯度的算法的现有理论分析与训练深神经网络的实践之间的深刻断开。具体而言，我们提供了数值证据，表明在大规模神经网络训练（例如Imagenet + Resnet101和WT103 + Transformerxl模型）中，神经网络的权重不会融合到损失的梯度为零的固定点。然而，值得注意的是，我们观察到，即使权重不融合到固定点，最小化损耗函数的进展和训练损失稳定下来。受到这一观察的启发，我们提出了一种基于动力学系统的千古理论来解释它的新观点。我们没有研究权重演化，而是研究权重分布的演变。我们证明了权重分布到近似不变的度量，从而解释了训练损失如何稳定而无需重合到固定点。我们进一步讨论了这种观点如何更好地调整优化理论与机器学习实践中的经验观察。

近期在应用于培训深度神经网络和数据分析中的其他优化问题中的非凸优化的优化算法的兴趣增加，我们概述了最近对非凸优化优化算法的全球性能保证的理论结果。我们从古典参数开始，显示一般非凸面问题无法在合理的时间内有效地解决。然后，我们提供了一个问题列表，可以通过利用问题的结构来有效地找到全球最小化器，因为可能的问题。处理非凸性的另一种方法是放宽目标，从找到全局最小，以找到静止点或局部最小值。对于该设置，我们首先为确定性一阶方法的收敛速率提出了已知结果，然后是最佳随机和随机梯度方案的一般理论分析，以及随机第一阶方法的概述。之后，我们讨论了非常一般的非凸面问题，例如最小化$ \ alpha $ -weakly-are-convex功能和满足Polyak-lojasiewicz条件的功能，这仍然允许获得一阶的理论融合保证方法。然后，我们考虑更高阶和零序/衍生物的方法及其收敛速率，以获得非凸优化问题。

过度参数化神经网络（NN）的损失表面具有许多全球最小值，却零训练误差。我们解释了标准NN训练程序的常见变体如何改变获得的最小化器。首先，我们明确说明了强烈参数化的NN初始化的大小如何影响最小化器，并可能恶化其最终的测试性能。我们提出了限制这种效果的策略。然后，我们证明，对于自适应优化（例如Adagrad），所获得的最小化器通常与梯度下降（GD）最小化器不同。随机迷你批次训练，即使在非自适应情况下，GD和随机GD基本相同的最小化器，这种自适应最小化器也会进一步改变。最后，我们解释说，这些效果仍然与较少参数化的NN相关。尽管过度参数具有其好处，但我们的工作强调，它会导致参数化模型缺乏错误来源。

引入了归一化层（例如，批处理归一化，层归一化），以帮助在非常深的网中获得优化困难，但它们显然也有助于概括，即使在不太深入的网中也是如此。由于长期以来的信念，即最小的最小值导致更好的概括，本文提供了数学分析和支持实验，这表明归一化（与伴随的重量赛一起）鼓励GD降低损失表面的清晰度。鉴于损失是标准不变的，这是标准化的已知结果，因此仔细地定义了“清晰度”。具体而言，对于具有归一化的相当广泛的神经网类，我们的理论解释了有限学习率的GD如何进入所谓的稳定边缘（EOS）制度，并通过连续的清晰度来表征GD的轨迹 - 还原流。

深度学习归一化技术的基本特性，例如批准归一化，正在使范围前的参数量表不变。此类参数的固有域是单位球，因此可以通过球形优化的梯度优化动力学以不同的有效学习率（ELR）来表示，这是先前研究的。在这项工作中，我们使用固定的ELR直接研究了训练量表不变的神经网络的特性。我们根据ELR值发现了这种训练的三个方案：收敛，混乱平衡和差异。我们详细研究了这些制度示例的理论检查，以及对真实规模不变深度学习模型的彻底经验分析。每个制度都有独特的特征，并反映了内在损失格局的特定特性，其中一些与先前对常规和规模不变的神经网络培训的研究相似。最后，我们证明了如何在归一化网络的常规培训以及如何利用它们以实现更好的Optima中反映发现的制度。

批准方法，例如批处理[Ioffe和Szegedy，2015]，体重[Salimansand Kingma，2016]，实例[Ulyanov等，2016]和层归一化[Baet al。，2016]已广泛用于现代机器学习中。在这里，我们研究了体重归一化方法（WN）方法[Salimans和Kingma，2016年]，以及一种称为重扎式投影梯度下降（RPGD）的变体，用于过多散热性最小二乘回归。 WN和RPGD用比例G和一个单位向量W重新绘制权重，因此目标函数变为非convex。我们表明，与原始目标的梯度下降相比，这种非凸式配方具有有益的正则化作用。这些方法适应性地使重量正规化并收敛于最小L2规范解决方案，即使初始化远非零。对于G和W的某些步骤，我们表明它们可以收敛于最小规范解决方案。这与梯度下降的行为不同，梯度下降的行为仅在特征矩阵范围内的一个点开始时才收敛到最小规范解，因此对初始化更敏感。

Sharpness-Aware Minimization (SAM) is a highly effective regularization technique for improving the generalization of deep neural networks for various settings. However, the underlying working of SAM remains elusive because of various intriguing approximations in the theoretical characterizations. SAM intends to penalize a notion of sharpness of the model but implements a computationally efficient variant; moreover, a third notion of sharpness was used for proving generalization guarantees. The subtle differences in these notions of sharpness can indeed lead to significantly different empirical results. This paper rigorously nails down the exact sharpness notion that SAM regularizes and clarifies the underlying mechanism. We also show that the two steps of approximations in the original motivation of SAM individually lead to inaccurate local conclusions, but their combination accidentally reveals the correct effect, when full-batch gradients are applied. Furthermore, we also prove that the stochastic version of SAM in fact regularizes the third notion of sharpness mentioned above, which is most likely to be the preferred notion for practical performance. The key mechanism behind this intriguing phenomenon is the alignment between the gradient and the top eigenvector of Hessian when SAM is applied.

在过分层化的模型中，随机梯度下降（SGD）中的噪声隐含地规则地规则地规范优化轨迹并确定哪个局部最小SGD收敛到。通过实证研究的推动，表明利用嘈杂标签的培训改善了泛化，我们研究了SGD与标签噪声的隐式正则化效果。我们展示了标签噪声的SGD收敛到正规化损失$ l（\θ）+ \ lambda r（\ theta）$的静止点，其中$ l（\ theta）$是培训损失，$ \ lambda $有效的正则化参数，具体取决于步骤尺寸，标签噪声的强度和批量大小，以及$ r（\ theta）$是一个惩罚剧本最小化器的显式规范器。我们的分析揭示了大型学习率的额外正则化效果，超出了线性扩展规则，这些规则惩罚了Hessian的大型特征值，而不是小小的。我们还证明了与一般损失职能，SGD的分类分类，以及具有一般噪声协方差的SGD，大大加强了Blanc等人的前后工作。全球融合和大型学习率和哈奇等人。一般模型。

当数据自然分配到通过基础图的代理商之间，分散学习提供了隐私和沟通效率。通过过度参数化的学习设置，在该设置中，在该设置中训练了零训练损失，我们研究了分散学习的分散学习算法和概括性能，并在可分离的数据上下降。具体而言，对于分散的梯度下降（DGD）和各种损失函数，在无穷大（包括指数损失和逻辑损失）中渐近为零，我们得出了新的有限时间泛化界限。这补充了一长串最近的工作，该工作研究了概括性能和梯度下降的隐含偏见，而不是可分离的数据，但迄今为止，梯度下降的偏见仅限于集中学习方案。值得注意的是，我们的概括范围匹配其集中式同行。这背后的关键和独立感兴趣的是，在一类自我结合的损失方面建立了关于训练损失和DGD的传记率的新界限。最后，在算法方面，我们设计了改进的基于梯度的例程，可分离数据，并在经验上证明了训练和概括性能方面的加速命令。

标签 - 不平衡和组敏感分类中的目标是优化相关的指标，例如平衡错误和相同的机会。经典方法，例如加权交叉熵，在训练深网络到训练（TPT）的终端阶段时，这是超越零训练误差的训练。这种观察发生了最近在促进少数群体更大边值的直观机制之后开发启发式替代品的动力。与之前的启发式相比，我们遵循原则性分析，说明不同的损失调整如何影响边距。首先，我们证明，对于在TPT中训练的所有线性分类器，有必要引入乘法，而不是添加性的Logit调整，以便对杂项边缘进行适当的变化。为了表明这一点，我们发现将乘法CE修改的连接到成本敏感的支持向量机。也许是违反，我们还发现，在培训开始时，相同的乘法权重实际上可以损害少数群体。因此，虽然在TPT中，添加剂调整无效，但我们表明它们可以通过对乘法重量的初始负效应进行抗衡来加速会聚。通过这些发现的动机，我们制定了矢量缩放（VS）丢失，即捕获现有技术作为特殊情况。此外，我们引入了对群体敏感分类的VS损失的自然延伸，从而以统一的方式处理两种常见类型的不平衡（标签/组）。重要的是，我们对最先进的数据集的实验与我们的理论见解完全一致，并确认了我们算法的卓越性能。最后，对于不平衡的高斯 - 混合数据，我们执行泛化分析，揭示平衡/标准错误和相同机会之间的权衡。

我们研究随机梯度下降（SGD）在多大程度上被理解为“常规”学习规则，该规则通过获得良好的培训数据来实现概括性能。我们考虑基本的随机凸优化框架，其中（一通道，无需替代）SGD在经典上是众所周知的，可以最大程度地降低人口风险，以$ o（1/\ sqrt n）$ $ O（1/\ sqrt n）$，并且出人意料地证明，存在问题实例SGD解决方案既表现出$ \ omega（1）$的经验风险和概括差距。因此，事实证明，从任何意义上讲，SGD在算法上都不是稳定的，并且其概括能力不能通过均匀的收敛性或任何其他当前已知的概括性结合技术来解释（除了其经典分析外）。然后，我们继续分析与替代SGD密切相关的相关性，为此我们表明不会发生类似现象，并证明其人口风险实际上确实以最佳速度融合。最后，我们在没有替换SGD的背景下解释了我们的主要结果，用于有限的和凸优化问题，并得出多上类别制度的上限和下限，从而在先前已知的结果上有了显着改善。

我们研究了一类算法，用于在内部级别物镜强烈凸起时求解随机和确定性设置中的彼此优化问题。具体地，我们考虑基于不精确的隐含区分的算法，并且我们利用热门开始策略来摊销精确梯度的估计。然后，我们介绍了一个统一的理论框架，受到奇异的扰动系统（Habets，1974）的研究来分析这种摊销算法。通过使用此框架，我们的分析显示了匹配可以访问梯度无偏见估计的Oracle方法的计算复杂度的算法，从而优于彼此优化的许多现有结果。我们在合成实验中说明了这些发现，并展示了这些算法对涉及几千个变量的超参数优化实验的效率。