随机梯度下降（SGD）有利于最小值的观察结果在理解SGD的隐式正则化和指导超参数调整方面发挥了基本作用。在本文中，我们通过将SGD的特定噪声结构与其\ emph {线性稳定性}相关联（Wu et al。，2018），对这种引人注目的现象提供了定量解释。具体而言，我们考虑培训具有正方形损失的过度参数化模型。我们证明，如果全局最低$ \ theta^*$是线性稳定的，则必须满足$ \ | h（\ theta^*）\ | _f \ leq o（\ sqrt {b}/\ eta）$ ，其中$ \ | h（\ theta^*）\ | _f，b，\ eta $分别表示Hessian的Frobenius Norm，分别为$ \ theta^*$，批处理大小和学习率。否则，SGD将快速逃离该最小值\ emph {指数}。因此，对于SGD可访问的最小值，通过Hessian的Frobenius Norm衡量的平坦度与模型尺寸和样本尺寸无关。获得这些结果的关键是利用SGD噪声的特定几何学意识：1）噪声幅度与损失值成正比； 2）噪声方向集中在当地景观的尖锐方向上。 SGD噪声的这种属性证明是线性网络和随机特征模型（RFM），并在非线性网络进行了经验验证。此外，我们的理论发现的有效性和实际相关性是通过广泛的数值实验证明的。

探讨了第一层神经网络中的参数和输入数据的乘法结构，以在丢失功能的景观与模型函数的景观与输入数据的景观之间建立连接。通过这种连接，示出了平坦的最小值规范了模型功能的梯度，这解释了扁平最小值的良好泛化性能。然后，我们超越平坦度并考虑梯度噪声的高阶矩，并且表明随机梯度下降（SGD）倾向于通过全球最小值的SGD的线性稳定性分析对这些瞬间施加约束。我们与乘法结构一起，我们识别SGD的SoboLev正则化效果，即SGD对输入数据的模型函数的SoboLev Semininorms进行了规范。最后，提供了在数据分布的假设下由SGD发现的解决方案的泛化误差和逆势鲁棒性的界限。

引入了归一化层（例如，批处理归一化，层归一化），以帮助在非常深的网中获得优化困难，但它们显然也有助于概括，即使在不太深入的网中也是如此。由于长期以来的信念，即最小的最小值导致更好的概括，本文提供了数学分析和支持实验，这表明归一化（与伴随的重量赛一起）鼓励GD降低损失表面的清晰度。鉴于损失是标准不变的，这是标准化的已知结果，因此仔细地定义了“清晰度”。具体而言，对于具有归一化的相当广泛的神经网类，我们的理论解释了有限学习率的GD如何进入所谓的稳定边缘（EOS）制度，并通过连续的清晰度来表征GD的轨迹 - 还原流。

最近的发现（例如ARXIV：2103.00065）表明，通过全批梯度下降训练的现代神经网络通常进入一个称为稳定边缘（EOS）的政权。在此制度中，清晰度（即最大的Hessian特征值）首先增加到值2/（步长尺寸）（渐进锐化阶段），然后在该值（EOS相）周围振荡。本文旨在分析沿优化轨迹的GD动力学和清晰度。我们的分析自然将GD轨迹分为四个阶段，具体取决于清晰度的变化。从经验上，我们将输出层重量的规范视为清晰动力学的有趣指标。基于这一经验观察，我们尝试从理论和经验上解释导致EOS每个阶段清晰度变化的各种关键量的动力学。此外，基于某些假设，我们提供了两层完全连接的线性神经网络中EOS制度的清晰度行为的理论证明。我们还讨论了其他一些经验发现以及我们的理论结果的局限性。

古典统计学习理论表示，拟合太多参数导致过度舒服和性能差。尽管大量参数矛盾，但是现代深度神经网络概括了这一发现，并构成了解释深度学习成功的主要未解决的问题。随机梯度下降（SGD）引起的隐式正规被认为是重要的，但其特定原则仍然是未知的。在这项工作中，我们研究了当地最小值周围的能量景观的局部几何学如何影响SGD的统计特性，具有高斯梯度噪声。我们争辩说，在合理的假设下，局部几何形状力强制SGD保持接近低维子空间，这会引起隐式正则化并导致深神经网络的泛化误差界定更严格的界限。为了获得神经网络的泛化误差界限，我们首先引入局部最小值周围的停滞迹象，并施加人口风险的局部基本凸性财产。在这些条件下，推导出SGD的下界，以保留在这些停滞套件中。如果发生停滞，我们会导出涉及权重矩阵的光谱规范的深神经网络的泛化误差的界限，但不是网络参数的数量。从技术上讲，我们的证据基于控制SGD中的参数值的变化以及基于局部最小值周围的合适邻域的熵迭代的参数值和局部均匀收敛。我们的工作试图通过统一收敛更好地连接非凸优化和泛化分析。

Cohen等人的深度学习实验。 [2021]使用确定性梯度下降（GD）显示学习率（LR）和清晰度（即Hessian最大的特征值）的稳定边缘（EOS）阶段不再像传统优化一样行为。清晰度稳定在$ 2/$ LR的左右，并且在迭代中损失不断上下，但仍有整体下降趋势。当前的论文数学分析了EOS阶段中隐式正则化的新机制，因此，由于非平滑损失景观而导致的GD更新沿着最小损失的多种流量进行了一些确定性流程发展。这与许多先前关于隐式偏差依靠无限更新或梯度中的噪声的结果相反。正式地，对于具有某些规律性条件的任何平滑函数$ l $，对于（1）标准化的GD，即具有不同的lr $ \ eta_t = \ frac {\ eta} {||的GD证明了此效果。 \ nabla l（x（t））||} $和损失$ l $; （2）具有常数LR和损失$ \ sqrt {l- \ min_x l（x）} $的GD。两者都可以证明进入稳定性的边缘，在歧管上相关的流量最小化$ \ lambda_ {1}（\ nabla^2 l）$。一项实验研究证实了上述理论结果。

我们研究随机梯度下降（SGD）动态轨迹的统计特性。我们将Mini-Batch SGD和动量SGD视为随机微分方程（SDES）。我们利用了SDE的连续制定和Fokker-Planck方程的理论，在逃避现象和大批次和尖锐最小值的关系中开发新结果。特别是，我们发现随机过程解决方案倾向于会聚到渐渐的最小值，而无论渐近状态中的批量大小如何。但是，收敛速度严格被证明依赖于批量尺寸。这些结果经验验证了各种数据集和模型。

现代神经网络通常以强烈的过度构造状态运行：它们包含许多参数，即使实际标签被纯粹随机的标签代替，它们也可以插入训练集。尽管如此，他们在看不见的数据上达到了良好的预测错误：插值训练集并不会导致巨大的概括错误。此外，过度散色化似乎是有益的，因为它简化了优化景观。在这里，我们在神经切线（NT）制度中的两层神经网络的背景下研究这些现象。我们考虑了一个简单的数据模型，以及各向同性协变量的矢量，$ d $尺寸和$ n $隐藏的神经元。我们假设样本量$ n $和尺寸$ d $都很大，并且它们在多项式上相关。我们的第一个主要结果是对过份术的经验NT内核的特征结构的特征。这种表征意味着必然的表明，经验NT内核的最低特征值在$ ND \ gg n $后立即从零界限，因此网络可以在同一制度中精确插值任意标签。我们的第二个主要结果是对NT Ridge回归的概括误差的表征，包括特殊情况，最小值-ULL_2 $ NORD插值。我们证明，一旦$ nd \ gg n $，测试误差就会被内核岭回归之一相对于无限宽度内核而近似。多项式脊回归的误差依次近似后者，从而通过与激活函数的高度组件相关的“自我诱导的”项增加了正则化参数。多项式程度取决于样本量和尺寸（尤其是$ \ log n/\ log d $）。

我们在随机梯度下降（SGD）算法的逃生问题上发展了定量理论，并研究了损耗表面锐度对逃逸的影响。深入学习在各个领域取得了巨大成功，但是，它开辟了各种理论开放问题。其中一个典型问题是为什么SGD可以找到通过非凸损耗概括的参数。逃生问题是一种解决这个问题的方法，该方法调查了SGD如何从本地最小值逃脱。在本文中，通过应用随机动力系统理论，我们开发了逃生问题的准势能理论。我们表明，准势理论可以以统一的方式处理损耗表面的几何特性和梯度噪声的协方差结构，同时它们在以前的作品中分别研究。我们的理论结果意味着（i）损失表面的清晰度有助于SGD的缓慢逃逸，（ii）SGD的噪声结构取消效果并指数加速逃逸。我们还通过用真实数据接受培训的神经网络进行实验来经验验证我们的理论。

In a series of recent theoretical works, it was shown that strongly overparameterized neural networks trained with gradient-based methods could converge exponentially fast to zero training loss, with their parameters hardly varying. In this work, we show that this "lazy training" phenomenon is not specific to overparameterized neural networks, and is due to a choice of scaling, often implicit, that makes the model behave as its linearization around the initialization, thus yielding a model equivalent to learning with positive-definite kernels. Through a theoretical analysis, we exhibit various situations where this phenomenon arises in non-convex optimization and we provide bounds on the distance between the lazy and linearized optimization paths. Our numerical experiments bring a critical note, as we observe that the performance of commonly used non-linear deep convolutional neural networks in computer vision degrades when trained in the lazy regime. This makes it unlikely that "lazy training" is behind the many successes of neural networks in difficult high dimensional tasks.

随机梯度下降（SGD）是现代机器学习的支柱，是各种问题的首选优化算法。尽管SGD的经验成功通常归因于其计算效率和有利的概括行为，但两者都没有充分理解和解散它们仍然是一个开放的问题。即使在简单的凸二次问题的设置中，最坏情况分析也给SGD的渐近收敛率提供了不比全批梯度下降（GD）更好的，而SGD的所谓隐式正则作用缺乏精确的解释。在这项工作中，我们研究了高维凸四边形上多通sgd的动力学，并建立了与随机微分方程的渐近等效性，我们称之为同质化的随机梯度下降（HSGD），我们的解决方案我们以我们的解决方案的方式明确表征Volterra积分方程。这些结果为学习和风险轨迹提供精确的公式，该公式揭示了隐性条件的机制，该机制解释了SGD相对于GD的效率。我们还证明，来自SGD的噪声会对泛化性能产生负面影响，排除在这种情况下任何类型的隐式正则化的可能性。最后，我们展示了如何适应HSGD形式主义以包括流媒体SGD，这使我们能够针对相对于流SGD（Bootstrap风险）的多通SGD的多余风险产生确切的预测。

神经网络损失景观的二次近似已被广泛用于研究这些网络的优化过程。但是，它通常位于最低限度的一个很小的社区，但无法解释在优化过程中观察到的许多现象。在这项工作中，我们研究了神经网络损失函数的结构及其对超出良好二次近似范围的区域中优化的影响。从数值上讲，我们观察到神经网络损失功能具有多尺度结构，以两种方式表现出来：（1）在Minima的社区中，损失将量表的连续体和次级次序增长，（2）在较大的区域，损失，损失，损失，清楚地显示了几个单独的秤。使用次级生长，我们能够解释梯度下降（GD）方法观察到的稳定现象的边缘[5]。使用单独的量表，我们通过简单示例解释学习率衰减的工作机理。最后，我们研究了多尺度结构的起源，并提出模型的非跨性别性和训练数据的不均匀性是原因之一。通过构建两层神经网络问题，我们表明，具有不同幅度的训练数据会产生损失函数的不同尺度，从而产生次级生长和多个单独的尺度。

深度学习的概括分析通常假定训练会收敛到固定点。但是，最近的结果表明，实际上，用随机梯度下降优化的深神经网络的权重通常无限期振荡。为了减少理论和实践之间的这种差异，本文着重于神经网络的概括，其训练动力不一定会融合到固定点。我们的主要贡献是提出一个统计算法稳定性（SAS）的概念，该算法将经典算法稳定性扩展到非convergergent算法并研究其与泛化的联系。与传统的优化和学习理论观点相比，这种崇高的理论方法可导致新的见解。我们证明，学习算法的时间复杂行为的稳定性与其泛化有关，并在经验上证明了损失动力学如何为概括性能提供线索。我们的发现提供了证据表明，即使训练无限期继续并且权重也不会融合，即使训练持续进行训练，训练更好地概括”的网络也是如此。

我们证明了由例如He等人提出的广泛使用的方法。（2015年）并使用梯度下降对最小二乘损失进行训练并不普遍。具体而言，我们描述了一大批一维数据生成分布，较高的概率下降只会发现优化景观的局部最小值不好，因为它无法将其偏离偏差远离其初始化，以零移动。。事实证明，在这些情况下，即使目标函数是非线性的，发现的网络也基本执行线性回归。我们进一步提供了数值证据，表明在实际情况下，对于某些多维分布而发生这种情况，并且随机梯度下降表现出相似的行为。我们还提供了有关初始化和优化器的选择如何影响这种行为的经验结果。

了解随机梯度下降（SGD）的隐式偏见是深度学习的关键挑战之一，尤其是对于过度透明的模型，损失功能的局部最小化$ l $可以形成多种多样的模型。从直觉上讲，SGD $ \ eta $的学习率很小，SGD跟踪梯度下降（GD），直到它接近这种歧管为止，梯度噪声阻止了进一步的收敛。在这样的政权中，Blanc等人。 （2020）证明，带有标签噪声的SGD局部降低了常规术语，损失的清晰度，$ \ mathrm {tr} [\ nabla^2 l] $。当前的论文通过调整Katzenberger（1991）的想法提供了一个总体框架。它原则上允许使用随机微分方程（SDE）描述参数的限制动力学的SGD围绕此歧管的正规化效应（即“隐式偏见”）的正则化效应，这是由损失共同确定的功能和噪声协方差。这产生了一些新的结果：（1）与Blanc等人的局部分析相比，对$ \ eta^{ - 2} $ steps有效的隐性偏差进行了全局分析。 （2020）仅适用于$ \ eta^{ - 1.6} $ steps和（2）允许任意噪声协方差。作为一个应用程序，我们以任意大的初始化显示，标签噪声SGD始终可以逃脱内核制度，并且仅需要$ o（\ kappa \ ln d）$样本用于学习$ \ kappa $ -sparse $ -sparse yroverparame parametrized linearized Linear Modal in $ \ Mathbb {r}^d $（Woodworth等，2020），而GD在内核制度中初始化的GD需要$ \ omega（d）$样本。该上限是最小值的最佳，并改善了先前的$ \ tilde {o}（\ kappa^2）$上限（Haochen等，2020）。

这项工作表征了深度对线性回归优化景观的影响，表明尽管具有非凸性，但更深的模型具有更理想的优化景观。我们考虑了一个健壮且过度参数化的设置，其中测量的子集严重损坏了噪声，真正的线性模型将通过$ n $ layer-layer线性神经网络捕获。在负面方面，我们表明这个问题\ textit {do}具有良性景观：给定任何$ n \ geq 1 $，具有恒定概率，存在与既不是本地也不是全局最小值的地面真理的解决方案。但是，从积极的一面来看，我们证明，对于具有$ n \ geq 2 $的任何$ n $ layer模型，一种简单的次级方法变得忽略了这种``有问题的''解决方案；取而代之的是，它收敛于平衡的解决方案，该解决方案不仅接近地面真理，而且享有平坦的当地景观，从而避免了“早期停止”的需求。最后，我们从经验上验证了更深层模型的理想优化格局扩展到其他强大的学习任务，包括具有$ \ ell_1 $ -loss的深层矩阵恢复和深度relu网络。

最近的作品证明了过度参数化学习中的双重下降现象：随着模型参数的数量的增加，多余的风险具有$ \ mathsf {u} $ - 在开始时形状，然后在模型高度过度参数化时再次减少。尽管最近在不同的环境（例如线性模型，随机特征模型和内核方法）下进行了研究，但在理论上尚未完全理解这种现象。在本文中，我们考虑了由两种随机特征组成的双随机特征模型（DRFM），并研究DRFM在脊回归中实现的多余风险。我们计算高维框架下的多余风险的确切限制，在这种框架上，训练样本量，数据尺寸和随机特征的维度往往会成比例地无限。根据计算，我们证明DRFM的风险曲线可以表现出三重下降。然后，我们提供三重下降现象的解释，并讨论随机特征维度，正则化参数和信噪比比率如何控制DRFMS风险曲线的形状。最后，我们将研究扩展到多个随机功能模型（MRFM），并表明具有$ K $类型的随机功能的MRFM可能会显示出$（K+1）$ - 折叠。我们的分析指出，具有特定数量下降的风险曲线通常在基于特征的回归中存在。另一个有趣的发现是，当学习神经网络在“神经切线内核”制度中时，我们的结果可以恢复文献中报告的风险峰值位置。

低维歧管假设认为，在许多应用中发现的数据，例如涉及自然图像的数据（大约）位于嵌入高维欧几里得空间中的低维歧管上。在这种情况下，典型的神经网络定义了一个函数，该函数在嵌入空间中以有限数量的向量作为输入。但是，通常需要考虑在训练分布以外的点上评估优化网络。本文考虑了培训数据以$ \ mathbb r^d $的线性子空间分配的情况。我们得出对由神经网络定义的学习函数变化的估计值，沿横向子空间的方向。我们研究了数据歧管的编纂中与网络的深度和噪声相关的潜在正则化效应。由于存在噪声，我们还提出了训练中的其他副作用。

The fundamental learning theory behind neural networks remains largely open. What classes of functions can neural networks actually learn? Why doesn't the trained network overfit when it is overparameterized?In this work, we prove that overparameterized neural networks can learn some notable concept classes, including two and three-layer networks with fewer parameters and smooth activations. Moreover, the learning can be simply done by SGD (stochastic gradient descent) or its variants in polynomial time using polynomially many samples. The sample complexity can also be almost independent of the number of parameters in the network.On the technique side, our analysis goes beyond the so-called NTK (neural tangent kernel) linearization of neural networks in prior works. We establish a new notion of quadratic approximation of the neural network (that can be viewed as a second-order variant of NTK), and connect it to the SGD theory of escaping saddle points.

尽管训练速度更快，但虽然亚当 - 相似的自适应梯度算法与SGD相比遭受较差的概率性能。这项工作旨在通过分析其本地融合行为来提供对该概括性差距的谅解。具体来说，我们观察这些算法中的梯度噪声的重尾。这使我们通过其征收驱动的随机微分方程（SDE）来分析这些算法，因为算法及其SDE的相似性行为。然后我们从本地盆地建立了这些SDE的逃逸时间。结果表明，（1）SGD和ADAM〜逃逸时间〜取决于盆地的氡度量，梯度噪声的沉重效果负面; （2）对于同一个盆地，SGD享有比亚当更小的逃逸时间，主要是因为（a）ADAM〜通过自适应地缩放的几何适应，每个梯度坐标很好地减少了梯度噪声中的各向异性结构，并导致盆地的较大氡量度; （b）亚当〜adamiential梯度平均平均值平滑其梯度，并导致比SGD更轻的梯度噪声尾。因此，SGD比ADAM〜在夏普最小值中更为不稳定，定义为当地盆地具有小氡度量的最小值，并且可以更好地逃离它们以更大的氡度量效果。在这里，这通常是在平面或不对称盆地/谷的最小值，通常比锐利更概括，我们的结果阐述了SGD对亚当的更好的泛化表现。最后，实验结果证实了我们重型落后的渐变噪声假设和理论肯定。