We explore the usage of the Levenberg-Marquardt (LM) algorithm for regression (non-linear least squares) and classification (generalized Gauss-Newton methods) tasks in neural networks. We compare the performance of the LM method with other popular first-order algorithms such as SGD and Adam, as well as other second-order algorithms such as L-BFGS , Hessian-Free and KFAC. We further speed up the LM method by using adaptive momentum, learning rate line search, and uphill step acceptance.

We propose an efficient method for approximating natural gradient descent in neural networks which we call Kronecker-factored Approximate Curvature (K-FAC). K-FAC is based on an efficiently invertible approximation of a neural network's Fisher information matrix which is neither diagonal nor low-rank, and in some cases is completely non-sparse. It is derived by approximating various large blocks of the Fisher (corresponding to entire layers) as being the Kronecker product of two much smaller matrices. While only several times more expensive to compute than the plain stochastic gradient, the updates produced by K-FAC make much more progress optimizing the objective, which results in an algorithm that can be much faster than stochastic gradient descent with momentum in practice. And unlike some previously proposed approximate natural-gradient/Newton methods which use high-quality non-diagonal curvature matrices (such as Hessian-free optimization), K-FAC works very well in highly stochastic optimization regimes. This is because the cost of storing and inverting K-FAC's approximation to the curvature matrix does not depend on the amount of data used to estimate it, which is a feature typically associated only with diagonal or low-rank approximations to the curvature matrix.

Deep Learning optimization involves minimizing a high-dimensional loss function in the weight space which is often perceived as difficult due to its inherent difficulties such as saddle points, local minima, ill-conditioning of the Hessian and limited compute resources. In this paper, we provide a comprehensive review of 12 standard optimization methods successfully used in deep learning research and a theoretical assessment of the difficulties in numerical optimization from the optimization literature.

二阶优化器被认为具有加快神经网络训练的潜力，但是由于曲率矩阵的尺寸巨大，它们通常需要近似值才能计算。最成功的近似家庭是Kronecker因块状曲率估计值（KFAC）。在这里，我们结合了先前工作的工具，以评估确切的二阶更新和仔细消融以建立令人惊讶的结果：由于其近似值，KFAC与二阶更新无关，尤其是，它极大地胜过真实的第二阶段更新。订单更新。这一挑战广泛地相信，并立即提出了为什么KFAC表现如此出色的问题。为了回答这个问题，我们提出了强烈的证据，表明KFAC近似于一阶算法，该算法在神经元上执行梯度下降而不是权重。最后，我们表明，这种优化器通常会在计算成本和数据效率方面改善KFAC。

目前，深层神经网络（DNN）主要使用一阶方法进行训练。其中一些方法（例如Adam，Adagrad和Rmsprop及其变体）通过使用对角线矩阵来预先处理随机梯度。最近，通过通过按层块 - diagonal矩阵对随机梯度进行预处理，已开发出有效的二阶方法，例如KFAC，K-BFGS，洗发水和TNT。在这里，我们提出了一种自适应的“迷你块Fisher（MBF）”预处理方法，其中在这两类方法之间。具体而言，我们的方法对经验渔民矩阵使用块对基近似值，在DNN中的每一层（无论是卷积还是馈送）和完全连接，相关的对角线本身都是块 - diagonal，并且由A组成。大量适度的迷你块。我们的新方法利用GPU的并行性来有效地对每一层的大量矩阵进行计算。因此，MBF的均值计算成本仅略高于一阶方法。将我们提出的方法的性能与在自动编码器和CNN问题上的几种基线方法进行了比较，以在时间效率和概括功率方面验证其有效性。最后，证明MBF的理想化版本线性收敛。

深度学习在广泛的AI应用方面取得了有希望的结果。较大的数据集和模型一致地产生更好的性能。但是，我们一般花费更长的培训时间，以更多的计算和沟通。在本调查中，我们的目标是在模型精度和模型效率方面提供关于大规模深度学习优化的清晰草图。我们调查最常用于优化的算法，详细阐述了大批量培训中出现的泛化差距的可辩论主题，并审查了解决通信开销并减少内存足迹的SOTA策略。

在本文中，我们提出了SC-REG（自助正规化）来学习过共同的前馈神经网络来学习\ EMPH {牛顿递减}框架的二阶信息进行凸起问题。我们提出了具有自助正规化（得分-GGN）算法的广义高斯 - 牛顿，其每次接收到新输入批处理时都会更新网络参数。所提出的算法利用Hessian矩阵中的二阶信息的结构，从而减少训练计算开销。虽然我们的目前的分析仅考虑凸面的情况，但数值实验表明了我们在凸和非凸面设置下的方法和快速收敛的效率，这对基线一阶方法和准牛顿方法进行了比较。

培训深度神经网络消耗了许多计算中心的计算资源份额。通常，采用蛮力的方法来获得高参数值。我们的目标是（1）通过启用对大型神经网络的二阶优化方法来增强此功能，以及（2）对特定任务进行性能优化器进行调查，以建议用户最适合他们的问题。我们介绍了一种新颖的二阶优化方法，该方法仅需要Hessian对向量的影响，并避免明确设置大型网络的Hessian的巨大成本。我们将提出的二阶方法与两个最先进的优化器进行了比较，这些方法在五个代表性的神经网络问题上进行了比较，包括回归和来自计算机视觉或变异自动编码器的非常深的网络。对于最大的设置，我们将优化器与HOROVOD有效平行，并将其应用于8 GPU NVIDIA P100（DGX-1）机器。

多目标优化（MOO）旨在同时优化多个冲突的目标，并在机器学习中发现了重要的应用，例如最大程度地减少分类损失和差异，以在处理不同的人群方面以保持公平。最佳性，进一步优化一个目标至少将至少损害另一个目标，而决策者需要全面探索多个Optima（称为Pareto Front），以确定一个最终解决方案。我们解决了寻找帕累托阵线的效率。首先，使用随机多偏差下降（SMGD）从头开始寻找前部，对于大型神经网络和数据集很昂贵。我们建议基于预测器 - 校正方法来探索帕累托阵线作为一些初始Optima的歧管。其次，对于每个探索步骤，预测变量求解一个大规模的线性系统，该系统在模型参数数量中二次缩放，并且需要一个反向传播来评估求解器的二阶Hessian-vector产品。我们提出了一个只能线性缩放的高斯 - 纽顿近似，并且只需要每次迭代的一阶内产物。这还允许在大约求解线性系统时，在微小和共轭梯度方法之间进行选择。这些创新使大型网络成为可能的预测器 - 校准。关于多目标（公平和准确性）错误信息检测任务的实验表明，1）预测器 - 矫正器方法可以在更少的时间内找到比或与SMGD更好或与SMGD相似的方法； 2）提出的一阶方法不会损害二阶方法识别的帕累托前沿的质量，同时进一步缩短了运行时间。

结构化参数空间的自然梯度下降（NGD）（例如，低级CovariRces）是由于困难的Fisher矩阵计算而在计算上具有挑战性。我们通过使用\ emph {local-parameter坐标}来解决此问题，以获取灵活且高效的NGD方法，适用于各种结构化参数化。我们显示了四个应用程序，我们的方法（1）概括指数自然进化策略，（2）恢复现有的牛顿样算法，（3）通过矩阵组产生新的结构化二阶算法，（4）给出了新的算法高斯和基于Wishart的分布的协方差。我们展示了深度学习，变分推论和进化策略的一系列问题。我们的工作为可扩展结构化几何方法开辟了新的方向。

本文评价用机器学习问题的数值优化方法。由于机器学习模型是高度参数化的，我们专注于适合高维优化的方法。我们在二次模型上构建直觉，以确定哪种方法适用于非凸优化，并在凸函数上开发用于这种方法的凸起函数。随着随机梯度下降和动量方法的这种理论基础，我们试图解释为什么机器学习领域通常使用的方法非常成功。除了解释成功的启发式之外，最后一章还提供了对更多理论方法的广泛审查，这在实践中并不像惯例。所以在某些情况下，这项工作试图回答这个问题：为什么默认值中包含的默认TensorFlow优化器？

A matrix free and a low rank approximation preconditioner are proposed to accelerate the convergence of stochastic gradient descent (SGD) by exploiting curvature information sampled from Hessian-vector products or finite differences of parameters and gradients similar to the BFGS algorithm. Both preconditioners are fitted with an online updating manner minimizing a criterion that is free of line search and robust to stochastic gradient noise, and further constrained to be on certain connected Lie groups to preserve their corresponding symmetry or invariance, e.g., orientation of coordinates by the connected general linear group with positive determinants. The Lie group's equivariance property facilitates preconditioner fitting, and its invariance property saves any need of damping, which is common in second-order optimizers, but difficult to tune. The learning rate for parameter updating and step size for preconditioner fitting are naturally normalized, and their default values work well in most situations.

本文研究了关于Riemannian流形的大规模优化问题，其目标函数是负面概要损失的有限总和。这些问题在各种机器学习和信号处理应用中出现。通过在歧管环境中引入Fisher信息矩阵的概念，我们提出了一种新型的Riemannian自然梯度方法，可以将其视为自然梯度方法的自然扩展，从欧几里得环境到歧管设置。我们在标准假设下建立了我们提出的方法的几乎纯净的全球融合。此外，我们表明，如果损失函数满足某些凸度和平稳性条件，并且输入输出图满足了雅各布稳定条件，那么我们提出的方法享有局部线性 - 或在Riemannian jacobian的Lipschitz连续性下，输入输出图，甚至二次 - 收敛速率。然后，我们证明，如果网络的宽度足够大，则可以通过具有批归归量的两层完全连接的神经网络来满足Riemannian Jacobian稳定性条件。这证明了我们的收敛率结果的实际相关性。对机器学习产生的应用的数值实验证明了该方法比最先进的方法的优势。

通过强制了解输入中某些转换保留输出的知识，通常应用数据增强来提高深度学习的性能。当前，使用的数据扩大是通过人类的努力和昂贵的交叉验证来选择的，这使得应用于新数据集很麻烦。我们开发了一种基于梯度的方便方法，用于在没有验证数据的情况下和在深度神经网络的培训期间选择数据增强。我们的方法依赖于措辞增强作为先前分布的不变性，并使用贝叶斯模型选择学习，该模型已被证明在高斯过程中起作用，但尚未用于深神经网络。我们提出了一个可区分的Kronecker因拉普拉斯（Laplace）近似与边际可能性的近似，作为我们的目标，可以在没有人类监督或验证数据的情况下优化。我们表明，我们的方法可以成功地恢复数据中存在的不断增长，这提高了图像数据集的概括和数据效率。

尽管主要使用一阶方法来训练深层学习模型，但尤其是自然梯度方法，仍然是利益，因为它们通过使用曲率信息加速训练的可能性。已经提出了几种具有非对角线预处理矩阵，包括KFAC，洗发剂和K-BFG的方法，并显示有效。基于所谓的张量正常（TN）分布，我们提出并分析了一种全新的近似自然梯度方法，张量正常训练（TNT），如洗发水，只需要了解训练参数的形状。通过近似基于概率的Fisher矩阵，与经验丰富的Fisher矩阵相反，我们的方法使用基于采样的梯度的块明智的协方差作为预处理矩阵。此外，假设基于采样的（张量）梯度遵循TN分布，确保其协方差具有Kronecker可分离结构，这导致到Fisher矩阵的易逼近。因此，TNT的内存需求和迭代计算成本仅略高于一阶方法的计算成本。在我们的实验中，TNT对最先进的一阶方法以及最先进的二阶方法KFAC和洗发剂的可比优化性能表现出卓越的优化性能。此外，TNT证明了其概括的能力以及使用较少的时期的一级方法。

我们引入了一种降低尺寸的二阶方法（DRSOM），用于凸和非凸的不受约束优化。在类似信任区域的框架下，我们的方法保留了二阶方法的收敛性，同时仅在两个方向上使用Hessian-Vector产品。此外，计算开销仍然与一阶相当，例如梯度下降方法。我们证明该方法的复杂性为$ O（\ epsilon^{ - 3/2}）$，以满足子空间中的一阶和二阶条件。DRSOM的适用性和性能通过逻辑回归，$ L_2-L_P $最小化，传感器网络定位和神经网络培训的各种计算实验展示。对于神经网络，我们的初步实施似乎在训练准确性和迭代复杂性方面与包括SGD和ADAM在内的最先进的一阶方法获得了计算优势。

牛顿方法和Adagrad等高级优化算法受益于二阶导数或二阶统计，以实现更好的下降方向和更快的收敛速率。在他们的心中，这种算法需要计算矩阵的矩阵的反平方根或反平方根，其大小是搜索空间维度的二次。对于高维搜索空间，平方根的矩阵反转或反转变为压倒性的，进而需要近似方法。在这项工作中，我们提出了一种新的矩阵近似方法，该方法将矩阵分为块，并将每个块代表一个或两个数字。该方法允许有效地计算矩阵逆和逆平方根。我们将我们的方法应用于Adagrad，以培训深层神经网络。实验表明与对角线近似相比令人鼓舞的结果。

在针对机器学习（ML）的优化中，典型的曲率 - 矩阵（CM）估计依赖于局部估计的指数平均值（给出EA-CM算法）。这种方法几乎没有原则上的理由，但是经常在实践中使用。在本文中，我们在EA-CM算法和所谓的“二次正规化模型的唤醒”之间建立了联系。概述的连接使我们能够从优化的角度了解EA-CM算法正在做什么。从已建立的联系中概括，我们提出了一种新的算法系列，即“ KL-Divergence唤醒指定模型”（KLD-WRM）。我们给出了KLD-WRM的三种不同的实例化，并以数值的方式表明，这些实例化在MNIST上的表现优于K-FAC。

我们介绍了一种牛顿型方法，可以从任何初始化和带有Lipschitz Hessians的任意凸面目标收敛。通过将立方规范化与某种自适应levenberg - Marquardt罚款合并来实现这一目标。特别地，我们表明由$ x ^ {k + 1} = x ^ k - \ bigl（\ nabla ^ 2 f（x ^ k）+ \ sqrt {h \ | \ nabla f（x ^ k）给出的迭代）\ |} \ mathbf {i} \ bigr）^ { - 1} \ nabla f（x ^ k）$，其中$ h> 0 $是一个常数，用$ \ mathcal {o}全球收敛（\ frac{1} {k ^ 2}）$率。我们的方法是牛顿方法的第一个变体，具有廉价迭代和可怕的全球融合。此外，我们证明当目的强烈凸起时，本地我们的方法会收敛超连续。为了提高方法的性能，我们提供了一种不需要超参数的线路搜索程序，并且可提供高效。