已知最近的清晰度感知最小化（SAM）可以找到平坦的最小值，这有助于改善稳健性。 Sam通过报告当前迭代周围的小社区内的最大损失值来修改损失函数。但是，它使用欧几里得球来定义邻域，这可能是不准确的，因为神经网络的损失函数通常是根据概率分布（例如类预测概率）定义的，从而使参数空间空间非欧几里得。在本文中，我们在定义邻里时考虑了模型参数空间的信息几何形状，即用Fisher信息引起的椭圆形取代Sam的欧几里得球。我们称为Fisher Sam的方法定义了符合基础统计歧管的内在度量的更准确的邻域结构。例如，由于我们的Fisher Sam避免了参数空间几何形状，因此SAM可能会在附近或不当远处探测最坏情况下的损失值。最近，另一种自适应SAM方法会根据参数幅度的规模拉伸/收缩欧几里得球。这可能是危险的，有可能破坏邻里结构。我们证明了在几个基准数据集/任务上提出的Fisher SAM的性能提高。

In today's heavily overparameterized models, the value of the training loss provides few guarantees on model generalization ability. Indeed, optimizing only the training loss value, as is commonly done, can easily lead to suboptimal model quality. Motivated by prior work connecting the geometry of the loss landscape and generalization, we introduce a novel, effective procedure for instead simultaneously minimizing loss value and loss sharpness. In particular, our procedure, Sharpness-Aware Minimization (SAM), seeks parameters that lie in neighborhoods having uniformly low loss; this formulation results in a minmax optimization problem on which gradient descent can be performed efficiently. We present empirical results showing that SAM improves model generalization across a variety of benchmark datasets (e.g., CIFAR-{10, 100}, Ima-geNet, finetuning tasks) and models, yielding novel state-of-the-art performance for several. Additionally, we find that SAM natively provides robustness to label noise on par with that provided by state-of-the-art procedures that specifically target learning with noisy labels. We open source our code at https: //github.com/google-research/sam. * Work done as part of the Google AI Residency program.

我们研究了使用尖刺，现场依赖的随机矩阵理论研究迷你批次对深神经网络损失景观的影响。我们表明，批量黑森州的极值值的大小大于经验丰富的黑森州。我们还获得了类似的结果对Hessian的概括高斯牛顿矩阵近似。由于我们的定理，我们推导出作为批量大小的最大学习速率的分析表达式，为随机梯度下降（线性缩放）和自适应算法（例如ADAM（Square Root Scaling）提供了通知实际培训方案，例如光滑，非凸深神经网络。虽然随机梯度下降的线性缩放是在我们概括的更多限制性条件下导出的，但是适应优化者的平方根缩放规则是我们的知识，完全小说。随机二阶方法和自适应方法的百分比，我们得出了最小阻尼系数与学习率与批量尺寸的比率成比例。我们在Cifar-$ 100 $和ImageNet数据集上验证了我们的VGG / WimerEsnet架构上的索赔。根据我们对象检的调查，我们基于飞行学习率和动量学习者开发了一个随机兰齐齐竞争，这避免了对这些关键的超参数进行昂贵的多重评估的需求，并在预残留的情况下显示出良好的初步结果Cifar的architecure - $ 100 $。

我们使用高斯过程扰动模型在高维二次上的真实和批量风险表面之间的高斯过程扰动模型分析和解释迭代平均的泛化性能。我们从我们的理论结果中获得了三个现象\姓名：}（1）将迭代平均值（ia）与大型学习率和正则化进行了改进的正规化的重要性。 （2）对较少频繁平均的理由。 （3）我们预计自适应梯度方法同样地工作，或者更好，而不是其非自适应对应物的迭代平均值。灵感来自这些结果\姓据{，一起与}对迭代解决方案多样性的适当正则化的重要性，我们提出了两个具有迭代平均的自适应算法。与随机梯度下降（SGD）相比，这些结果具有明显更好的结果，需要较少调谐并且不需要早期停止或验证设定监视。我们在各种现代和古典网络架构上展示了我们对CiFar-10/100，Imagenet和Penn TreeBank数据集的方法的疗效。

经过深入的研究，最低限度的损失景观的局部形状，尤其是平坦度对于深层模型的概括起重要作用。我们开发了一种称为POF的培训算法：特征提取器的训练后培训，该培训更新了已经训练的深层模型的特征提取器部分，以搜索最小的最小值。特征是两倍：1）特征提取器在高层参数空间中的参数扰动下受到训练，基于表明使更高层参数空间变平的观测值，以及2）扰动范围以数据驱动的方式确定旨在减少由正损失曲率引起的一部分测试损失。我们提供了理论分析，该分析表明所提出的算法隐含地减少了目标Hessian组件以及损失。实验结果表明，POF仅针对CIFAR-10和CIFAR-100数据集的基线方法提高了模型性能，仅用于10个上学后培训，以及用于50个上学后培训的SVHN数据集。源代码可用：\ url {https://github.com/densoitlab/pof-v1

清晰度感知最小化（SAM）是一种最近的训练方法，它依赖于最严重的重量扰动，可显着改善各种环境中的概括。我们认为，基于pac-bayes概括结合的SAM成功的现有理由，而收敛到平面最小值的想法是不完整的。此外，没有解释说在SAM中使用$ m $ sharpness的成功，这对于概括而言至关重要。为了更好地理解SAM的这一方面，我们理论上分析了其对角线性网络的隐式偏差。我们证明，SAM总是选择一种比标准梯度下降更好的解决方案，用于某些类别的问题，并且通过使用$ m $ -sharpness可以放大这种效果。我们进一步研究了隐性偏见在非线性网络上的特性，在经验上，我们表明使用SAM进行微调的标准模型可以导致显着的概括改进。最后，当与随机梯度一起使用时，我们为非凸目标提供了SAM的收敛结果。我们从经验上说明了深层网络的这些结果，并讨论了它们与SAM的概括行为的关系。我们的实验代码可在https://github.com/tml-epfl/understanding-sam上获得。

This paper proposes a new optimization algorithm called Entropy-SGD for training deep neural networks that is motivated by the local geometry of the energy landscape. Local extrema with low generalization error have a large proportion of almost-zero eigenvalues in the Hessian with very few positive or negative eigenvalues. We leverage upon this observation to construct a local-entropy-based objective function that favors well-generalizable solutions lying in large flat regions of the energy landscape, while avoiding poorly-generalizable solutions located in the sharp valleys. Conceptually, our algorithm resembles two nested loops of SGD where we use Langevin dynamics in the inner loop to compute the gradient of the local entropy before each update of the weights. We show that the new objective has a smoother energy landscape and show improved generalization over SGD using uniform stability, under certain assumptions. Our experiments on convolutional and recurrent networks demonstrate that Entropy-SGD compares favorably to state-of-the-art techniques in terms of generalization error and training time.

We propose SWA-Gaussian (SWAG), a simple, scalable, and general purpose approach for uncertainty representation and calibration in deep learning. Stochastic Weight Averaging (SWA), which computes the first moment of stochastic gradient descent (SGD) iterates with a modified learning rate schedule, has recently been shown to improve generalization in deep learning. With SWAG, we fit a Gaussian using the SWA solution as the first moment and a low rank plus diagonal covariance also derived from the SGD iterates, forming an approximate posterior distribution over neural network weights; we then sample from this Gaussian distribution to perform Bayesian model averaging. We empirically find that SWAG approximates the shape of the true posterior, in accordance with results describing the stationary distribution of SGD iterates. Moreover, we demonstrate that SWAG performs well on a wide variety of tasks, including out of sample detection, calibration, and transfer learning, in comparison to many popular alternatives including MC dropout, KFAC Laplace, SGLD, and temperature scaling.

彩票票证假设（LTH）引起了人们的关注，因为它可以解释为什么过度参数化模型通常显示出很高的概括能力。众所周知，当我们使用迭代幅度修剪（IMP）时，这是一种算法，可以找到具有高概括能力的稀疏网络，可以独立从初始权重训练，称为获胜票，最初的大型学习率在深层神经网络，例如重新连接。但是，由于最初的较大学习率通常有助于优化器收敛到平坦的最小值，因此我们假设获胜票的最小值相对较高，这在概括能力方面被认为是不利的。在本文中，我们证实了这一假设，并表明Pac-Bayesian理论可以对LTH与概括行为之间的关系有明确的理解。根据我们的实验发现，平坦度可用于提高标签噪声的准确性和稳健性，并且与初始权重的距离深深涉及获胜的门票，我们提供了使用尖峰和slab分布的PAC-Bayes绑定到的pac-bayes分析获胜门票。最后，我们重新审视了现有的算法，以从Pac-Bayesian的角度查找获奖门票，并对这些方法提供新的见解。

深度学习在广泛的AI应用方面取得了有希望的结果。较大的数据集和模型一致地产生更好的性能。但是，我们一般花费更长的培训时间，以更多的计算和沟通。在本调查中，我们的目标是在模型精度和模型效率方面提供关于大规模深度学习优化的清晰草图。我们调查最常用于优化的算法，详细阐述了大批量培训中出现的泛化差距的可辩论主题，并审查了解决通信开销并减少内存足迹的SOTA策略。

模型不合时宜的元学习（MAML）目前是少量元学习的主要方法之一。尽管它具有有效性，但由于先天的二聚体问题结构，MAML的优化可能具有挑战性。具体而言，MAML的损失格局比其经验风险最小化的对应物更为复杂，可能的鞍点和局部最小化可能更复杂。为了应对这一挑战，我们利用了最近发明的清晰度最小化的最小化，并开发出一种清晰感的MAML方法，我们称其为Sharp MAML。我们从经验上证明，Sharp-MAML及其计算有效的变体可以胜过流行的现有MAML基准（例如，Mini-Imagenet上的$+12 \％$ $精度）。我们通过收敛速率分析和尖锐MAML的概括结合进行了经验研究。据我们所知，这是在双层学习背景下对清晰度感知最小化的第一个经验和理论研究。该代码可在https://github.com/mominabbass/sharp-maml上找到。

域泛化（DG）方法旨在通过仅使用来自源域的训练数据来实现未经证明的目标域的概括性。虽然已经提出了各种DG方法，但最近的一项研究表明，在一个公平的评估方案下，称为域底，简单的经验风险最小化（ERM）方法可与以前的方法相当。不幸的是，简单地解决了ERM在复杂的非凸损函数上，可以通过寻求尖锐的最小值来容易地导致次优化的普遍性。在本文中，我们理论上表明发现扁平最小值导致较小的域泛化差距。我们还提出了一种简单而有效的方法，名为随机重量平均（纵向），找到扁平的最小值。瑞郎发现更漂亮的最小值，并且由于通过密集和过度感知的随机重量采样策略而遭受的过度装备不足。瑞士瑞士展示了五个DG基准测试，即PACS，VLC，OfficeHome，Terraincognita和Domainnet的最先进的表演，符合域名准确度的一致和大幅度+ 1.6％。我们还与常规的泛化方法（如数据增强和一致性正则化方法）进行比较，以验证显着的性能改进是通过寻求扁平的最小值，而不是更好的域概括性。最后但并非最不重要的是，瑞士剧本适应现有的DG方法而无需修改;施联和现有DG方法的组合进一步提高了DG性能。源代码可在https://github.com/khanrc/swad提供。

如何训练深度神经网络（DNNS）很好地概括了深度学习的核心问题，尤其是对于当今严重的过度参数化网络。在本文中，我们提出了一种有效的方法来通过对优化过程中损失函数的梯度规范进行惩罚来改善模型的概括。我们证明，限制损失功能的梯度规范可以帮助引导优化者找到平坦的最小值。我们利用一阶近似来有效地实现相应的梯度，以适应梯度下降框架。在我们的实验中，我们确认使用我们的方法时，可以在不同的数据集中改善各种模型的概括性能。另外，我们表明，最近的清晰度最小化方法（Foret等，2021）是我们方法的特殊情况，但不是最好的情况，我们方法的最佳情况可以给出新的最先进的性能在这些任务上。代码可从{https://github.com/zhaoyang-0204/gnp}获得。

清晰度感知最小化（SAM）和自适应清晰度感知最小化（ASAM）旨在改善模型的概括。在这个项目中，我们提出了三个实验，以从清晰度意识到的角度有效地概括它们。我们的实验表明，基于清晰度的优化技术可以帮助提供具有强大概括能力的模型。我们的实验还表明，ASAM可以改善对非归一化数据的概括性能，但是需要进一步的研究来确认这一点。

在神经网络的经验风险景观中扁平最小值的性质已经讨论了一段时间。越来越多的证据表明他们对尖锐物质具有更好的泛化能力。首先，我们讨论高斯混合分类模型，并分析显示存在贝叶斯最佳点估算器，其对应于属于宽平区域的最小值。可以通过直接在分类器（通常是独立的）或学习中使用的可分解损耗函数上应用最大平坦度算法来找到这些估计器。接下来，我们通过广泛的数值验证将分析扩展到深度学习场景。使用两种算法，熵-SGD和复制-SGD，明确地包括在优化目标中，所谓的非局部平整度措施称为本地熵，我们一直提高常见架构的泛化误差（例如Resnet，CeffectnNet）。易于计算的平坦度测量显示与测试精度明确的相关性。

深度神经网络通常过度分辨，并且可能不容易实现模型泛化。对抗性训练通过规则地改变普遍选择的扰动之外的损失变化来提高普遍性的效果。最近提出的清晰度感知最小化（SAM）算法采用对抗性重量扰动，鼓励模型收敛于扁平最小值。遗憾的是，由于计算成本增加，对抗性重量扰动只能有效地近似于每批次而不是每个实例，导致性能下降。在本文中，我们提出了在每个批处理中动态重新缓解的扰动，其中揭开的实例被加权，可以用作每个实例扰动的更好近似。我们提出了充满活力的重新重量（{\ Delta} -Sam）的清晰度感知最小化，这实现了高效的防护估计的想法。胶水基准测试的实验证明了{\ delta} -sam的有效性。

众所周知，随机梯度噪声（SGN）是深度学习的隐式正则化，对于深层网络的优化和概括至关重要。一些作品试图通过注入随机噪声来改善深度学习来人为地模拟SGN。但是，事实证明，注入的简单随机噪声不能像sgn一样工作，而sgn是各向异性和参数依赖性的。为了以低计算成本模拟SGN，并且在不更改学习率或批处理大小的情况下，我们提出了正面的动量（PNM）方法，这是经典优化器中常规动量的强大替代方法。引入的PNM方法维持两个近似独立的动量项。然后，我们可以通过调整动量差异来明确控制SGN的大小。从理论上讲，我们证明了PNM比随机梯度下降（SGD）的收敛保证和概括优势。通过将PNM与动量和Adam合并到两个常规优化器SGD中，我们的广泛实验在经验上验证了基于PNM的变体的显着优势，而不是相应的常规动量基于动量的优化器。

对抗性的鲁棒性已成为机器学习越来越兴趣的话题，因为观察到神经网络往往会变得脆弱。我们提出了对逆转防御的信息几何表述，并引入Fire，这是一种针对分类跨透明镜损失的新的Fisher-Rao正则化，这基于对应于自然和受扰动输入特征的软磁输出之间的测量距离。基于SoftMax分布类的信息几何特性，我们为二进制和多类案例提供了Fisher-Rao距离（FRD）的明确表征，并绘制了一些有趣的属性以及与标准正则化指标的连接。此外，对于一个简单的线性和高斯模型，我们表明，在精度 - 舒适性区域中的所有帕累托最佳点都可以通过火力达到，而其他最先进的方法则可以通过火灾。从经验上讲，我们评估了经过标准数据集拟议损失的各种分类器的性能，在清洁和健壮的表现方面同时提高了1 \％的改进，同时将培训时间降低了20 \％，而不是表现最好的方法。

我们考虑采用转移学习方法，可以在目标任务上微调一个预处理的深神经网络。我们研究微调的概括特性，以了解过度拟合的问题，而这种问题通常在实践中发生。先前的工作表明，约束与微调初始化的距离可改善概括。使用Pac-bayesian分析，我们观察到，除了初始化的距离外，黑森人还通过深神网络的噪声稳定性影响噪声注射。在观察过程中，我们为广泛的微调方法开发了基于HESSIAN距离的概括界。此外，我们研究了在嘈杂标签的情况下进行微调的鲁棒性。在我们的理论中，我们设计了一种算法，该算法结合了一致的损失和基于距离的正则化，以进行微调，以及在训练集标签中有条件独立噪声下的概括错误保证。我们对各种嘈杂的环境和体系结构进行了详细的经验研究。在六个图像分类任务上，其训练标签是通过编程标签生成的，我们发现比先前的微调方法的精度增长了3.26％。同时，微型模型的Hessian距离度量降低了六倍，是现有方法的六倍。

Real-world datasets exhibit imbalances of varying types and degrees. Several techniques based on re-weighting and margin adjustment of loss are often used to enhance the performance of neural networks, particularly on minority classes. In this work, we analyze the class-imbalanced learning problem by examining the loss landscape of neural networks trained with re-weighting and margin-based techniques. Specifically, we examine the spectral density of Hessian of class-wise loss, through which we observe that the network weights converge to a saddle point in the loss landscapes of minority classes. Following this observation, we also find that optimization methods designed to escape from saddle points can be effectively used to improve generalization on minority classes. We further theoretically and empirically demonstrate that Sharpness-Aware Minimization (SAM), a recent technique that encourages convergence to a flat minima, can be effectively used to escape saddle points for minority classes. Using SAM results in a 6.2\% increase in accuracy on the minority classes over the state-of-the-art Vector Scaling Loss, leading to an overall average increase of 4\% across imbalanced datasets. The code is available at: https://github.com/val-iisc/Saddle-LongTail.