在本文中，我们通过惩罚Hessian的痕迹来开发一种新型的正则化方法，以供深度神经网络。该正常化程序是由概括误差的最新保证限制所激发的。Hutchinson方法是矩阵痕迹的经典无偏估计器，但在深度学习模型上非常耗时。因此，提出了辍学方案，以有效地实现Hutchinson方法。然后，我们讨论与非线性动力学系统和扁平/锋利最小值的线性稳定性的连接。实验表明，我们的方法的表现优于现有的正规化器和数据增强方法，例如雅各布，置信惩罚和标签平滑，切割和混合。

This paper proposes a new optimization algorithm called Entropy-SGD for training deep neural networks that is motivated by the local geometry of the energy landscape. Local extrema with low generalization error have a large proportion of almost-zero eigenvalues in the Hessian with very few positive or negative eigenvalues. We leverage upon this observation to construct a local-entropy-based objective function that favors well-generalizable solutions lying in large flat regions of the energy landscape, while avoiding poorly-generalizable solutions located in the sharp valleys. Conceptually, our algorithm resembles two nested loops of SGD where we use Langevin dynamics in the inner loop to compute the gradient of the local entropy before each update of the weights. We show that the new objective has a smoother energy landscape and show improved generalization over SGD using uniform stability, under certain assumptions. Our experiments on convolutional and recurrent networks demonstrate that Entropy-SGD compares favorably to state-of-the-art techniques in terms of generalization error and training time.

In today's heavily overparameterized models, the value of the training loss provides few guarantees on model generalization ability. Indeed, optimizing only the training loss value, as is commonly done, can easily lead to suboptimal model quality. Motivated by prior work connecting the geometry of the loss landscape and generalization, we introduce a novel, effective procedure for instead simultaneously minimizing loss value and loss sharpness. In particular, our procedure, Sharpness-Aware Minimization (SAM), seeks parameters that lie in neighborhoods having uniformly low loss; this formulation results in a minmax optimization problem on which gradient descent can be performed efficiently. We present empirical results showing that SAM improves model generalization across a variety of benchmark datasets (e.g., CIFAR-{10, 100}, Ima-geNet, finetuning tasks) and models, yielding novel state-of-the-art performance for several. Additionally, we find that SAM natively provides robustness to label noise on par with that provided by state-of-the-art procedures that specifically target learning with noisy labels. We open source our code at https: //github.com/google-research/sam. * Work done as part of the Google AI Residency program.

我们使用高斯过程扰动模型在高维二次上的真实和批量风险表面之间的高斯过程扰动模型分析和解释迭代平均的泛化性能。我们从我们的理论结果中获得了三个现象\姓名：}（1）将迭代平均值（ia）与大型学习率和正则化进行了改进的正规化的重要性。 （2）对较少频繁平均的理由。 （3）我们预计自适应梯度方法同样地工作，或者更好，而不是其非自适应对应物的迭代平均值。灵感来自这些结果\姓据{，一起与}对迭代解决方案多样性的适当正则化的重要性，我们提出了两个具有迭代平均的自适应算法。与随机梯度下降（SGD）相比，这些结果具有明显更好的结果，需要较少调谐并且不需要早期停止或验证设定监视。我们在各种现代和古典网络架构上展示了我们对CiFar-10/100，Imagenet和Penn TreeBank数据集的方法的疗效。

我们研究了使用尖刺，现场依赖的随机矩阵理论研究迷你批次对深神经网络损失景观的影响。我们表明，批量黑森州的极值值的大小大于经验丰富的黑森州。我们还获得了类似的结果对Hessian的概括高斯牛顿矩阵近似。由于我们的定理，我们推导出作为批量大小的最大学习速率的分析表达式，为随机梯度下降（线性缩放）和自适应算法（例如ADAM（Square Root Scaling）提供了通知实际培训方案，例如光滑，非凸深神经网络。虽然随机梯度下降的线性缩放是在我们概括的更多限制性条件下导出的，但是适应优化者的平方根缩放规则是我们的知识，完全小说。随机二阶方法和自适应方法的百分比，我们得出了最小阻尼系数与学习率与批量尺寸的比率成比例。我们在Cifar-$ 100 $和ImageNet数据集上验证了我们的VGG / WimerEsnet架构上的索赔。根据我们对象检的调查，我们基于飞行学习率和动量学习者开发了一个随机兰齐齐竞争，这避免了对这些关键的超参数进行昂贵的多重评估的需求，并在预残留的情况下显示出良好的初步结果Cifar的architecure - $ 100 $。

重要的是要了解流行的正则化方法如何帮助神经网络训练找到良好的概括解决方案。在这项工作中，我们从理论上得出了辍学的隐式正则化，并研究了损失函数的Hessian矩阵与辍学噪声的协方差矩阵之间的关系，并由一系列实验支持。然后，我们在数值上研究了辍学的隐式正规化的两个含义，这直觉上合理化了辍学有助于概括。首先，我们发现辍学的训练与实验中的标准梯度下降训练相比，发现具有最低最小的神经网络，而隐式正则化是找到平坦溶液的关键。其次，经过辍学的训练，隐藏神经元的输入权重（隐藏神经元的输入权重由其输入层到隐藏的神经元及其偏见项组成），往往会凝结在孤立的方向上。凝结是非线性学习过程中的一个功能，它使神经网络的复杂性低。尽管我们的理论主要集中在最后一个隐藏层中使用的辍学，但我们的实验适用于训练神经网络中的一般辍学。这项工作指出了与随机梯度下降相比，辍学的独特特征，是完全理解辍学的重要基础。

深度学习在广泛的AI应用方面取得了有希望的结果。较大的数据集和模型一致地产生更好的性能。但是，我们一般花费更长的培训时间，以更多的计算和沟通。在本调查中，我们的目标是在模型精度和模型效率方面提供关于大规模深度学习优化的清晰草图。我们调查最常用于优化的算法，详细阐述了大批量培训中出现的泛化差距的可辩论主题，并审查了解决通信开销并减少内存足迹的SOTA策略。

Deep Learning optimization involves minimizing a high-dimensional loss function in the weight space which is often perceived as difficult due to its inherent difficulties such as saddle points, local minima, ill-conditioning of the Hessian and limited compute resources. In this paper, we provide a comprehensive review of 12 standard optimization methods successfully used in deep learning research and a theoretical assessment of the difficulties in numerical optimization from the optimization literature.

我们考虑采用转移学习方法，可以在目标任务上微调一个预处理的深神经网络。我们研究微调的概括特性，以了解过度拟合的问题，而这种问题通常在实践中发生。先前的工作表明，约束与微调初始化的距离可改善概括。使用Pac-bayesian分析，我们观察到，除了初始化的距离外，黑森人还通过深神网络的噪声稳定性影响噪声注射。在观察过程中，我们为广泛的微调方法开发了基于HESSIAN距离的概括界。此外，我们研究了在嘈杂标签的情况下进行微调的鲁棒性。在我们的理论中，我们设计了一种算法，该算法结合了一致的损失和基于距离的正则化，以进行微调，以及在训练集标签中有条件独立噪声下的概括错误保证。我们对各种嘈杂的环境和体系结构进行了详细的经验研究。在六个图像分类任务上，其训练标签是通过编程标签生成的，我们发现比先前的微调方法的精度增长了3.26％。同时，微型模型的Hessian距离度量降低了六倍，是现有方法的六倍。

在这项工作中，我们探讨了随机梯度下降（SGD）训练的深神经网络的限制动态。如前所述，长时间的性能融合，网络继续通过参数空间通过一个异常扩散的过程，其中距离在具有非活动指数的梯度更新的数量中增加距离。我们揭示了优化的超公数，梯度噪声结构之间的复杂相互作用，以及在训练结束时解释这种异常扩散的Hessian矩阵。为了构建这种理解，我们首先为SGD推导出一个连续时间模型，具有有限的学习速率和批量尺寸，作为欠下的Langevin方程。我们在线性回归中研究了这个方程，我们可以为参数的相位空间动态和它们的瞬时速度来得出精确的分析表达式，从初始化到实用性。使用Fokker-Planck方程，我们表明驾驶这些动态的关键成分不是原始的训练损失，而是修改的损失的组合，其隐含地规则地规范速度和概率电流，这导致相位空间中的振荡。我们在ImageNet培训的Reset-18模型的动态中确定了这种理论的定性和定量预测。通过统计物理的镜头，我们揭示了SGD培训的深神经网络的异常限制动态的机制来源。

We propose a simultaneous learning and pruning algorithm capable of identifying and eliminating irrelevant structures in a neural network during the early stages of training. Thus, the computational cost of subsequent training iterations, besides that of inference, is considerably reduced. Our method, based on variational inference principles using Gaussian scale mixture priors on neural network weights, learns the variational posterior distribution of Bernoulli random variables multiplying the units/filters similarly to adaptive dropout. Our algorithm, ensures that the Bernoulli parameters practically converge to either 0 or 1, establishing a deterministic final network. We analytically derive a novel hyper-prior distribution over the prior parameters that is crucial for their optimal selection and leads to consistent pruning levels and prediction accuracy regardless of weight initialization or the size of the starting network. We prove the convergence properties of our algorithm establishing theoretical and practical pruning conditions. We evaluate the proposed algorithm on the MNIST and CIFAR-10 data sets and the commonly used fully connected and convolutional LeNet and VGG16 architectures. The simulations show that our method achieves pruning levels on par with state-of the-art methods for structured pruning, while maintaining better test-accuracy and more importantly in a manner robust with respect to network initialization and initial size.

在他们的损失景观方面观看神经网络模型在学习的统计力学方法方面具有悠久的历史，并且近年来它在机器学习中得到了关注。除此之外，已显示局部度量（例如损失景观的平滑度）与模型的全局性质（例如良好的泛化性能）相关联。在这里，我们对数千个神经网络模型的损失景观结构进行了详细的实证分析，系统地改变了学习任务，模型架构和/或数据数量/质量。通过考虑试图捕获损失景观的不同方面的一系列指标，我们证明了最佳的测试精度是如下：损失景观在全球连接;训练型模型的集合彼此更像;而模型会聚到局部平滑的地区。我们还表明，当模型很小或培训以较低质量数据时，可以出现全球相连的景观景观;而且，如果损失景观全球相连，则培训零损失实际上可以导致更糟糕的测试精度。我们详细的经验结果阐明了学习阶段的阶段（以及后续双重行为），基本与偶然的决定因素良好的概括决定因素，负载样和温度相同的参数在学习过程中，不同的影响对模型的损失景观的影响不同和数据，以及地方和全球度量之间的关系，近期兴趣的所有主题。

We propose SWA-Gaussian (SWAG), a simple, scalable, and general purpose approach for uncertainty representation and calibration in deep learning. Stochastic Weight Averaging (SWA), which computes the first moment of stochastic gradient descent (SGD) iterates with a modified learning rate schedule, has recently been shown to improve generalization in deep learning. With SWAG, we fit a Gaussian using the SWA solution as the first moment and a low rank plus diagonal covariance also derived from the SGD iterates, forming an approximate posterior distribution over neural network weights; we then sample from this Gaussian distribution to perform Bayesian model averaging. We empirically find that SWAG approximates the shape of the true posterior, in accordance with results describing the stationary distribution of SGD iterates. Moreover, we demonstrate that SWAG performs well on a wide variety of tasks, including out of sample detection, calibration, and transfer learning, in comparison to many popular alternatives including MC dropout, KFAC Laplace, SGLD, and temperature scaling.

随着最近在移动和边缘设备上部署神经网络模型的需求，希望提高模型对看不见的测试数据的普遍性，以及提高模型在固定点量化下的稳健性，以实现有效部署。然而，最大限度地减少培训损失在泛化和量化性能上提供了一些保证。在这项工作中，我们通过在改善模型对界限重量扰动的框架下理论上统一它们的理论上统一并最小化模型权重的稳健性并最小化了模型权重的框架的框架，同时履行泛化和量化性能。因此，我们提出了HESSIAN增强的鲁棒优化方法，以通过基于梯度的训练过程最小化Hessian特征值，同时提高泛化和量化性能。 HERO在测试准确性上高达3.8％，高度高达30％，在80％的培训标签扰动下的准确性高达30％，以及各种精度范围内的最佳训练后量化精度，包括在SGD上的高精度改善> 10％在各种数据集上的共同模型架构培训模型。

如何训练深度神经网络（DNNS）很好地概括了深度学习的核心问题，尤其是对于当今严重的过度参数化网络。在本文中，我们提出了一种有效的方法来通过对优化过程中损失函数的梯度规范进行惩罚来改善模型的概括。我们证明，限制损失功能的梯度规范可以帮助引导优化者找到平坦的最小值。我们利用一阶近似来有效地实现相应的梯度，以适应梯度下降框架。在我们的实验中，我们确认使用我们的方法时，可以在不同的数据集中改善各种模型的概括性能。另外，我们表明，最近的清晰度最小化方法（Foret等，2021）是我们方法的特殊情况，但不是最好的情况，我们方法的最佳情况可以给出新的最先进的性能在这些任务上。代码可从{https://github.com/zhaoyang-0204/gnp}获得。

虽然已知辍学是一种成功的正规化技术，但仍缺乏对导致成功的机制的见解。我们介绍了\ emph {重量膨胀}的概念，这增加了由权重协方差矩阵的列或行载体跨越的并行曲线的签名体积，并表明重量膨胀是增加PAC中概括的有效手段。 - bayesian设置。我们提供了一个理论上的论点，即辍学会导致体重扩大和对辍学和体重扩张之间相关性的广泛经验支持。为了支持我们的假设，即可以将重量扩张视为增强的概括能力的\ emph {指示器}，而不仅仅是副产品，我们还研究了实现重量扩展的其他方法（resp。\ contraction \ contraction ），发现它们通常会导致（分别\ \降低）的概括能力。这表明辍学是一种有吸引力的正规化器，因为它是一种用于获得体重扩展的计算廉价方法。这种洞察力证明了辍学者作为正规化器的作用，同时为确定正规化器铺平了道路，这些正规化器有望通过体重扩张来改善概括。

The vast majority of successful deep neural networks are trained using variants of stochastic gradient descent (SGD) algorithms. Recent attempts to improve SGD can be broadly categorized into two approaches: (1) adaptive learning rate schemes, such as AdaGrad and Adam, and (2) accelerated schemes, such as heavy-ball and Nesterov momentum. In this paper, we propose a new optimization algorithm, Lookahead, that is orthogonal to these previous approaches and iteratively updates two sets of weights. Intuitively, the algorithm chooses a search direction by looking ahead at the sequence of "fast weights" generated by another optimizer. We show that Lookahead improves the learning stability and lowers the variance of its inner optimizer with negligible computation and memory cost. We empirically demonstrate Lookahead can significantly improve the performance of SGD and Adam, even with their default hyperparameter settings on ImageNet, CIFAR-10/100, neural machine translation, and Penn Treebank.

虽然辍学措施在深度学习中取得了巨大成功，但对于如何帮助训练在高维参数空间中发现良好的普遍化解决方案，众所周知。在这项工作中，我们表明，与标准梯度血统训练相比，辍学的训练发现了一个更平坦的最小值。我们进一步研究了通过实验辍学发现更平坦的最小值的潜在机制。我们提出了一种{\ IT方差原理}，噪声横向的较小方向噪声的变化更大。现有的作品表明，SGD满足方差原则，这导致趋势趋势达到更少的最小值。我们的工作表明，辍学引起的噪音也满足了差异原则，解释了为什么辍学发现更漂亮的最小值。一般而言，我们的工作指出，方差原则是辍学和SGD之间的重要相似性，导致培训寻找更平坦的最小值并获得良好的概括。

梯度下降可能令人惊讶地擅长优化深层神经网络，而不会过度拟合并且没有明确的正则化。我们发现，梯度下降的离散步骤通过惩罚具有较大损耗梯度的梯度下降轨迹来隐式化模型。我们称之为隐式梯度正则化（IGR），并使用向后错误分析来计算此正则化的大小。我们从经验上确认，隐式梯度正则化偏向梯度下降到平面最小值，在该较小情况下，测试误差很小，溶液对嘈杂的参数扰动是可靠的。此外，我们证明了隐式梯度正规化项可以用作显式正常化程序，从而使我们能够直接控制此梯度正则化。从更广泛的角度来看，我们的工作表明，向后错误分析是一种有用的理论方法，即对学习率，模型大小和参数正则化如何相互作用以确定用梯度下降优化的过度参数化模型的属性。

学习率调度程序已在培训深层神经网络中广泛采用。尽管它们的实际重要性，但其实践与理论分析之间存在差异。例如，即使是出于优化二次目标等简单问题，也不知道哪些SGD的时间表达到了最佳收敛性。在本文中，我们提出了本特征库，这是第一个可以在二次目标上获得最小值最佳收敛速率（最多达到常数）的最佳最佳收敛速率（最多达到常数），当时基础Hessian矩阵的特征值分布偏好。这种情况在实践中很普遍。实验结果表明，在CIFAR-10上的图像分类任务中，特征库可以显着超过阶跃衰减，尤其是当时期数量较小时。此外，该理论激发了两个简单的学习率调度程序，用于实用应用程序，可以近似特征。对于某些问题，提议的调度程序的最佳形状类似于余弦衰减的最佳形状，这阐明了余弦衰减在这种情况下的成功。对于其他情况，建议的调度程序优于余弦衰减。