A central challenge to many fields of science and engineering involves minimizing non-convex error functions over continuous, high dimensional spaces. Gradient descent or quasi-Newton methods are almost ubiquitously used to perform such minimizations, and it is often thought that a main source of difficulty for these local methods to find the global minimum is the proliferation of local minima with much higher error than the global minimum. Here we argue, based on results from statistical physics, random matrix theory, neural network theory, and empirical evidence, that a deeper and more profound difficulty originates from the proliferation of saddle points, not local minima, especially in high dimensional problems of practical interest. Such saddle points are surrounded by high error plateaus that can dramatically slow down learning, and give the illusory impression of the existence of a local minimum. Motivated by these arguments, we propose a new approach to second-order optimization, the saddle-free Newton method, that can rapidly escape high dimensional saddle points, unlike gradient descent and quasi-Newton methods. We apply this algorithm to deep or recurrent neural network training, and provide numerical evidence for its superior optimization performance. This work extends the results of .

Deep Learning optimization involves minimizing a high-dimensional loss function in the weight space which is often perceived as difficult due to its inherent difficulties such as saddle points, local minima, ill-conditioning of the Hessian and limited compute resources. In this paper, we provide a comprehensive review of 12 standard optimization methods successfully used in deep learning research and a theoretical assessment of the difficulties in numerical optimization from the optimization literature.

我们研究了使用尖刺，现场依赖的随机矩阵理论研究迷你批次对深神经网络损失景观的影响。我们表明，批量黑森州的极值值的大小大于经验丰富的黑森州。我们还获得了类似的结果对Hessian的概括高斯牛顿矩阵近似。由于我们的定理，我们推导出作为批量大小的最大学习速率的分析表达式，为随机梯度下降（线性缩放）和自适应算法（例如ADAM（Square Root Scaling）提供了通知实际培训方案，例如光滑，非凸深神经网络。虽然随机梯度下降的线性缩放是在我们概括的更多限制性条件下导出的，但是适应优化者的平方根缩放规则是我们的知识，完全小说。随机二阶方法和自适应方法的百分比，我们得出了最小阻尼系数与学习率与批量尺寸的比率成比例。我们在Cifar-$ 100 $和ImageNet数据集上验证了我们的VGG / WimerEsnet架构上的索赔。根据我们对象检的调查，我们基于飞行学习率和动量学习者开发了一个随机兰齐齐竞争，这避免了对这些关键的超参数进行昂贵的多重评估的需求，并在预残留的情况下显示出良好的初步结果Cifar的architecure - $ 100 $。

本文评价用机器学习问题的数值优化方法。由于机器学习模型是高度参数化的，我们专注于适合高维优化的方法。我们在二次模型上构建直觉，以确定哪种方法适用于非凸优化，并在凸函数上开发用于这种方法的凸起函数。随着随机梯度下降和动量方法的这种理论基础，我们试图解释为什么机器学习领域通常使用的方法非常成功。除了解释成功的启发式之外，最后一章还提供了对更多理论方法的广泛审查，这在实践中并不像惯例。所以在某些情况下，这项工作试图回答这个问题：为什么默认值中包含的默认TensorFlow优化器？

我们调查人工神经网络的损失表面Hessians的局部光谱统计数据，在那里我们发现跨多个网络架构和数据集的高斯正交集合统计数据非常一致。这些结果阐述了随机矩阵理论对神经网络建模的适用性，并提出了在深度学习中损失表面研究中的先前未被识别的作用。通过这些观察的启发，我们提出了一种新颖的神经网络的真正损失表面模型，与我们的观察结果一致，这允许Hessian光谱密度在实践中广泛观察到具有秩的退化性和异常值，并预测损失梯度的独立性越来越长重量空间中距离的函数。我们进一步调查了神经网络中真正损失表面的重要性，并与以前的工作相比，找到了定位全球最小值的指数硬度对实现最新性能的实际后果。

分析高维损失函数的几何特性，例如局部曲率以及围绕损失空间某个特定点的其他Optima的存在，可以帮助您更好地理解神经网络结构，实现属性和学习绩效之间的相互作用。在这项工作中，我们将概念从高维概率和差异几何形状结合在一起，以研究低维损耗表示中的曲率特性如何取决于原始损失空间中的曲率。我们表明，如果使用随机投影，则很少在较低维表示中正确识别原始空间中的鞍点。在这样的预测中，较低维表示中的预期曲率与原始损耗空间中的平均曲率成正比。因此，原始损耗空间中的平均曲率决定了鞍点是否平均显示为最小值，最大值或几乎平坦的区域。我们使用预期曲率和平均曲率（即标准化的Hessian Trace）之间的连接来估计黑森的痕迹，而无需像Hutchinson的方法一样计算Hessian或Hessian-Vector产品。由于随机预测无法正确识别马鞍信息，因此我们建议沿着与最大和最小的主要曲线相关的Hessian指示进行预测。我们将发现与正在进行的有关损失景观平坦性和普遍性的辩论联系起来。最后，我们在不同图像分类器上的数值实验中说明了我们的方法，最高$ 7 \ times 10^6 $参数。

Deep neural networks are usually trained with stochastic gradient descent (SGD), which minimizes objective function using very rough approximations of gradient, only averaging to the real gradient. Standard approaches like momentum or ADAM only consider a single direction, and do not try to model distance from extremum - neglecting valuable information from calculated sequence of gradients, often stagnating in some suboptimal plateau. Second order methods could exploit these missed opportunities, however, beside suffering from very large cost and numerical instabilities, many of them attract to suboptimal points like saddles due to negligence of signs of curvatures (as eigenvalues of Hessian). Saddle-free Newton method is a rare example of addressing this issue - changes saddle attraction into repulsion, and was shown to provide essential improvement for final value this way. However, it neglects noise while modelling second order behavior, focuses on Krylov subspace for numerical reasons, and requires costly eigendecomposion. Maintaining SFN advantages, there are proposed inexpensive ways for exploiting these opportunities. Second order behavior is linear dependence of first derivative - we can optimally estimate it from sequence of noisy gradients with least square linear regression, in online setting here: with weakening weights of old gradients. Statistically relevant subspace is suggested by PCA of recent noisy gradients - in online setting it can be made by slowly rotating considered directions toward new gradients, gradually replacing old directions with recent statistically relevant. Eigendecomposition can be also performed online: with regularly performed step of QR method to maintain diagonal Hessian. Outside the second order modeled subspace we can simultaneously perform gradient descent.

深度学习在广泛的AI应用方面取得了有希望的结果。较大的数据集和模型一致地产生更好的性能。但是，我们一般花费更长的培训时间，以更多的计算和沟通。在本调查中，我们的目标是在模型精度和模型效率方面提供关于大规模深度学习优化的清晰草图。我们调查最常用于优化的算法，详细阐述了大批量培训中出现的泛化差距的可辩论主题，并审查了解决通信开销并减少内存足迹的SOTA策略。

在本文中，我们考虑了第一和二阶技术来解决机器学习中产生的连续优化问题。在一阶案例中，我们提出了一种从确定性或半确定性到随机二次正则化方法的转换框架。我们利用随机优化的两相性质提出了一种具有自适应采样和自适应步长的新型一阶算法。在二阶案例中，我们提出了一种新型随机阻尼L-BFGS方法，该方法可以在深度学习的高度非凸起背景下提高先前的算法。这两种算法都在众所周知的深度学习数据集上进行评估并表现出有希望的性能。

This paper proposes a new optimization algorithm called Entropy-SGD for training deep neural networks that is motivated by the local geometry of the energy landscape. Local extrema with low generalization error have a large proportion of almost-zero eigenvalues in the Hessian with very few positive or negative eigenvalues. We leverage upon this observation to construct a local-entropy-based objective function that favors well-generalizable solutions lying in large flat regions of the energy landscape, while avoiding poorly-generalizable solutions located in the sharp valleys. Conceptually, our algorithm resembles two nested loops of SGD where we use Langevin dynamics in the inner loop to compute the gradient of the local entropy before each update of the weights. We show that the new objective has a smoother energy landscape and show improved generalization over SGD using uniform stability, under certain assumptions. Our experiments on convolutional and recurrent networks demonstrate that Entropy-SGD compares favorably to state-of-the-art techniques in terms of generalization error and training time.

我们调查了Wigner半圈和Marcenko-Pastur分布，通常用于深度神经网络理论分析，匹配经验观察到的光谱密度。我们发现甚至允许异常值，观察到的光谱形状强烈地偏离了这种理论预测。这提出了关于这些模型在深度学习中的有用性的重要问题。我们进一步表明，理论结果，例如关键点的分层性质，强烈依赖于这些限制光谱密度的确切形式的使用。我们考虑两个新的矩阵集合;随机Wigner / Wishart集合产品和渗透的Wigner / Wishart集合，两者都更好地匹配观察光谱。它们还给出了原点的大型离散光谱峰，为观察提供了一种理论解释，即各种Optima可以通过一维的低损耗值连接。我们进一步表明，在随机矩阵产品的情况下，离散光谱分量的重量为0美元取决于权重矩阵的尺寸的比率。

本文考虑了深神经网络中随机矩阵普遍性的几个方面。在最近的实验工作中，我们使用与局部统计相关的随机矩阵的普遍特性，以基于其Hessians的现实模型来获得对深神经网络的实际含义。特别是，我们得出了深度神经网络光谱中异常值的普遍方面，并证明了随机矩阵局部定律在流行的预处理梯度下降算法中的重要作用。我们还通过基于统计物理学和随机矩阵理论的工具的一般参数，对深度神经网络损失表面的见解。

We propose an efficient method for approximating natural gradient descent in neural networks which we call Kronecker-factored Approximate Curvature (K-FAC). K-FAC is based on an efficiently invertible approximation of a neural network's Fisher information matrix which is neither diagonal nor low-rank, and in some cases is completely non-sparse. It is derived by approximating various large blocks of the Fisher (corresponding to entire layers) as being the Kronecker product of two much smaller matrices. While only several times more expensive to compute than the plain stochastic gradient, the updates produced by K-FAC make much more progress optimizing the objective, which results in an algorithm that can be much faster than stochastic gradient descent with momentum in practice. And unlike some previously proposed approximate natural-gradient/Newton methods which use high-quality non-diagonal curvature matrices (such as Hessian-free optimization), K-FAC works very well in highly stochastic optimization regimes. This is because the cost of storing and inverting K-FAC's approximation to the curvature matrix does not depend on the amount of data used to estimate it, which is a feature typically associated only with diagonal or low-rank approximations to the curvature matrix.

立方正则化方法（CR）是一种流行的算法，用于无限制的非凸优化。在每次迭代中，CR解决了一个立方正规化的二次问题，称为立方正则化子问题（CRS）。解决CRS的一种方法依赖于解决世俗方程，其计算瓶颈在于计算Hessian矩阵的所有特征值。在本文中，我们根据近似的世俗方程提出和分析了一种新颖的CRS求解器，该方程仅需要一些Hessian特征值，因此更有效。开发了两个近似的世俗方程（ASE）。对于这两个ASE，我们首先研究其根的存在和独特性，然后在根部和标准世俗方程之间的间隙上建立上层界限。这样的上限可以依次用于绑定从基于AS的近似CRS解决方案到真实CRS解决方案的距离，从而为我们的CRS求解器提供理论保证。我们CRS求解器的理想特征是它仅需要矩阵向量乘法，而不需要矩阵反转，这使其特别适合于无限制的非凸优化的高维应用，例如低级别恢复和深度学习。进行合成和实际数据集的数值实验是为了研究拟议的CRS求解器的实际性能。实验结果表明，所提出的求解器的表现优于两种最先进的方法。

近期在应用于培训深度神经网络和数据分析中的其他优化问题中的非凸优化的优化算法的兴趣增加，我们概述了最近对非凸优化优化算法的全球性能保证的理论结果。我们从古典参数开始，显示一般非凸面问题无法在合理的时间内有效地解决。然后，我们提供了一个问题列表，可以通过利用问题的结构来有效地找到全球最小化器，因为可能的问题。处理非凸性的另一种方法是放宽目标，从找到全局最小，以找到静止点或局部最小值。对于该设置，我们首先为确定性一阶方法的收敛速率提出了已知结果，然后是最佳随机和随机梯度方案的一般理论分析，以及随机第一阶方法的概述。之后，我们讨论了非常一般的非凸面问题，例如最小化$ \ alpha $ -weakly-are-convex功能和满足Polyak-lojasiewicz条件的功能，这仍然允许获得一阶的理论融合保证方法。然后，我们考虑更高阶和零序/衍生物的方法及其收敛速率，以获得非凸优化问题。

已知生物制剂在他们的生活过程中学习许多不同的任务，并且能够重新审视以前的任务和行为，而没有表现不损失。相比之下，人工代理容易出于“灾难性遗忘”，在以前任务上的性能随着所获取的新的任务而恶化。最近使用该方法通过鼓励参数保持接近以前任务的方法来解决此缺点。这可以通过（i）使用特定的参数正常数来完成，该参数正常数是在参数空间中映射合适的目的地，或（ii）通过将渐变投影到不会干扰先前任务的子空间来指导优化旅程。然而，这些方法通常在前馈和经常性神经网络中表现出子分子表现，并且经常性网络对支持生物持续学习的神经动力学研究感兴趣。在这项工作中，我们提出了自然的持续学习（NCL），一种统一重量正则化和预测梯度下降的新方法。 NCL使用贝叶斯重量正常化来鼓励在收敛的所有任务上进行良好的性能，并将其与梯度投影结合使用先前的精度，这可以防止在优化期间陷入灾难性遗忘。当应用于前馈和经常性网络中的连续学习问题时，我们的方法占据了标准重量正则化技术和投影的方法。最后，训练有素的网络演变了特定于任务特定的动态，这些动态被认为是学习的新任务，类似于生物电路中的实验结果。

学习的优化器是可以训练解决优化问题的算法。与使用从理论原则派生的简单更新规则的基线优化器（例如势头或亚当）相比，学习的优化器使用灵活，高维，非线性参数化。虽然这可能导致某些设置中的更好性能，但他们的内部工作仍然是一个谜。学习优化器如何优于一个良好的调整基线？它是否学习了现有优化技术的复杂组合，或者是实现全新的行为吗？在这项工作中，我们通过仔细分析和可视化的学习优化器来解决这些问题。我们研究了从三个不同的任务中从头开始培训的优化器，并发现他们已经了解了可解释的机制，包括：势头，渐变剪辑，学习率计划以及新形式的学习率适应形式。此外，我们展示了学习优化器的动态如何实现这些行为。我们的结果帮助阐明了对学习优化器的工作原理的先前密切了解，并建立了解释未来学习优化器的工具。

长期存在的辩论围绕着相关的假设，即低曲率的最小值更好地推广，而SGD则不鼓励曲率。我们提供更完整和细微的观点，以支持两者。首先，我们表明曲率通过两种新机制损害了测试性能，除了已知的参数搭配机制外，弯曲和偏置曲线除了偏置和偏置。尽管曲率不是，但对测试性能的三个曲率介导的贡献是重复的，尽管曲率不是。移位横向的变化是连接列车和测试局部最小值的线路，由于数据集采样或分布位移而差异。尽管在训练时间的转移尚不清楚，但仍可以通过最大程度地减少总体曲率来减轻横向横向。其次，我们得出了一种新的，明确的SGD稳态分布，表明SGD优化了与火车损失相关的有效潜力，并且SGD噪声介导了这种有效潜力的深层与低外生区域之间的权衡。第三，将我们的测试性能分析与SGD稳态相结合，表明，对于小的SGD噪声，移位膜可能是三种机制中最重要的。我们的实验证实了狂热对测试损失的影响，并进一步探索了SGD噪声与曲率之间的关系。

Despite the widespread practical success of deep learning methods, our theoretical understanding of the dynamics of learning in deep neural networks remains quite sparse. We attempt to bridge the gap between the theory and practice of deep learning by systematically analyzing learning dynamics for the restricted case of deep linear neural networks. Despite the linearity of their input-output map, such networks have nonlinear gradient descent dynamics on weights that change with the addition of each new hidden layer. We

在这项工作中，我们探讨了随机梯度下降（SGD）训练的深神经网络的限制动态。如前所述，长时间的性能融合，网络继续通过参数空间通过一个异常扩散的过程，其中距离在具有非活动指数的梯度更新的数量中增加距离。我们揭示了优化的超公数，梯度噪声结构之间的复杂相互作用，以及在训练结束时解释这种异常扩散的Hessian矩阵。为了构建这种理解，我们首先为SGD推导出一个连续时间模型，具有有限的学习速率和批量尺寸，作为欠下的Langevin方程。我们在线性回归中研究了这个方程，我们可以为参数的相位空间动态和它们的瞬时速度来得出精确的分析表达式，从初始化到实用性。使用Fokker-Planck方程，我们表明驾驶这些动态的关键成分不是原始的训练损失，而是修改的损失的组合，其隐含地规则地规范速度和概率电流，这导致相位空间中的振荡。我们在ImageNet培训的Reset-18模型的动态中确定了这种理论的定性和定量预测。通过统计物理的镜头，我们揭示了SGD培训的深神经网络的异常限制动态的机制来源。