In this paper, we prove a conjecture published in 1989 and also partially address an open problem announced at the Conference on Learning Theory (COLT) 2015. With no unrealistic assumption, we first prove the following statements for the squared loss function of deep linear neural networks with any depth and any widths: 1) the function is non-convex and non-concave, 2) every local minimum is a global minimum, 3) every critical point that is not a global minimum is a saddle point, and 4) there exist "bad" saddle points (where the Hessian has no negative eigenvalue) for the deeper networks (with more than three layers), whereas there is no bad saddle point for the shallow networks (with three layers). Moreover, for deep nonlinear neural networks, we prove the same four statements via a reduction to a deep linear model under the independence assumption adopted from recent work. As a result, we present an instance, for which we can answer the following question: how difficult is it to directly train a deep model in theory? It is more difficult than the classical machine learning models (because of the non-convexity), but not too difficult (because of the nonexistence of poor local minima). Furthermore, the mathematically proven existence of bad saddle points for deeper models would suggest a possible open problem. We note that even though we have advanced the theoretical foundations of deep learning and non-convex optimization, there is still a gap between theory and practice.

通过扩展相关梯度流动，研究梯度下降的梯度下降的收敛性，即训练深层线性神经网络，即深矩阵因子。我们表明，在步骤上的合适条件下，梯度下降将收敛到损耗功能的临界点，即本文中的方形损失。此外，我们证明，对于几乎所有初始化梯度下降，在两层的情况下会聚到全局最小值。在三层或更多层的情况下，我们示出了梯度下降将收敛到一些固定等级的歧管矩阵上的全局最小值，其中等级不能确定先验。

在本文中，我们研究了学习最适合培训数据集的浅层人工神经网络的问题。我们在过度参数化的制度中研究了这个问题，在该制度中，观测值的数量少于模型中的参数数量。我们表明，通过二次激活，训练的优化景观这种浅神经网络具有某些有利的特征，可以使用各种局部搜索启发式方法有效地找到全球最佳模型。该结果适用于输入/输出对的任意培训数据。对于可区分的激活函数，我们还表明，适当初始化的梯度下降以线性速率收敛到全球最佳模型。该结果着重于选择输入的可实现模型。根据高斯分布和标签是根据种植的重量系数生成的。

我们考虑最大程度地减少两次不同的可差异，$ l $ -smooth和$ \ mu $ -stronglongly凸面目标$ \ phi $ phi $ a $ n \ times n $ n $阳性阳性半finite $ m \ succeq0 $，在假设是最小化的假设$ m^{\ star} $具有低等级$ r^{\ star} \ ll n $。遵循burer- monteiro方法，我们相反，在因子矩阵$ x $ size $ n \ times r $的因素矩阵$ x $上最小化nonconvex objection $ f（x）= \ phi（xx^{t}）$。这实际上将变量的数量从$ o（n^{2}）$减少到$ O（n）$的少量，并且免费实施正面的半弱点，但要付出原始问题的均匀性。在本文中，我们证明，如果搜索等级$ r \ ge r^{\ star} $被相对于真等级$ r^{\ star} $的常数因子过度参数化，则如$ r> \ in frac {1} {4}（l/\ mu-1）^{2} r^{\ star} $，尽管非概念性，但保证本地优化可以从任何初始点转换为全局最佳。这显着改善了先前的$ r \ ge n $的过度参数化阈值，如果允许$ \ phi $是非平滑和/或非额外凸的，众所周知，这将是尖锐的，但会增加变量的数量到$ o（n^{2}）$。相反，没有排名过度参数化，我们证明只有$ \ phi $几乎完美地条件，并且条件数量为$ l/\ mu <3 $，我们才能证明这种全局保证是可能的。因此，我们得出的结论是，少量的过度参数化可能会导致非凸室的理论保证得到很大的改善 - 蒙蒂罗分解。

在目前的论文中，我们提供了对培训已知类神经网络的收敛速度的建设性估算：多级逻辑回归。尽管有数十年的成功使用，但我们严格的结果出现了新的，反映了实践与机器学习理论之间的差距。通常通过梯度下降方法的变体进行训练神经网络。如果存在最小损失函数并且使用梯度下降作为培训方法，我们提供了将学习率与收敛速率相关的表达式。该方法涉及估计损失函数的Hessian条件数。我们还讨论了最低限度的存在，因为它不是自动存在的最小值。一种确保收敛的一种方法是将正概率分配给训练数据集中的每个类。

我们考虑使用梯度下降来最大程度地减少$ f（x）= \ phi（xx^{t}）$在$ n \ times r $因件矩阵$ x $上，其中$ \ phi是一种基础平稳凸成本函数定义了$ n \ times n $矩阵。虽然只能在合理的时间内发现只有二阶固定点$ x $，但如果$ x $的排名不足，则其排名不足证明其是全球最佳的。这种认证全球最优性的方式必然需要当前迭代$ x $的搜索等级$ r $，以相对于级别$ r^{\ star} $过度参数化。不幸的是，过度参数显着减慢了梯度下降的收敛性，从$ r = r = r = r^{\ star} $的线性速率到$ r> r> r> r> r^{\ star} $，即使$ \ phi $是$ \ phi $强烈凸。在本文中，我们提出了一项廉价的预处理，该预处理恢复了过度参数化的情况下梯度下降回到线性的收敛速率，同时也使在全局最小化器$ x^{\ star} $中可能不良条件变得不可知。

Adaptive optimization methods are well known to achieve superior convergence relative to vanilla gradient methods. The traditional viewpoint in optimization, particularly in convex optimization, explains this improved performance by arguing that, unlike vanilla gradient schemes, adaptive algorithms mimic the behavior of a second-order method by adapting to the global geometry of the loss function. We argue that in the context of neural network optimization, this traditional viewpoint is insufficient. Instead, we advocate for a local trajectory analysis. For iterate trajectories produced by running a generic optimization algorithm OPT, we introduce $R^{\text{OPT}}_{\text{med}}$, a statistic that is analogous to the condition number of the loss Hessian evaluated at the iterates. Through extensive experiments, we show that adaptive methods such as Adam bias the trajectories towards regions where $R^{\text{Adam}}_{\text{med}}$ is small, where one might expect faster convergence. By contrast, vanilla gradient methods like SGD bias the trajectories towards regions where $R^{\text{SGD}}_{\text{med}}$ is comparatively large. We complement these empirical observations with a theoretical result that provably demonstrates this phenomenon in the simplified setting of a two-layer linear network. We view our findings as evidence for the need of a new explanation of the success of adaptive methods, one that is different than the conventional wisdom.

深度学习理论的最新目标是确定神经网络如何逃脱“懒惰训练”或神经切线内核（NTK）制度，在该制度中，网络与初始化时的一阶泰勒扩展相结合。尽管NTK是最大程度地用于学习密集多项式的最佳选择（Ghorbani等，2021），但它无法学习特征，因此对于学习包括稀疏多项式（稀疏多项式）的许多类别的功能的样本复杂性较差。因此，最近的工作旨在确定基于梯度的算法比NTK更好地概括的设置。一个这样的例子是Bai和Lee（2020）的“ Quadntk”方法，该方法分析了泰勒膨胀中的二阶项。 Bai和Lee（2020）表明，二阶项可以有效地学习稀疏的多项式。但是，它牺牲了学习一般密集多项式的能力。在本文中，我们分析了两层神经网络上的梯度下降如何通过利用NTK（Montanari和Zhong，2020）的光谱表征并在Quadntk方法上构建来逃脱NTK制度。我们首先扩展了光谱分析，以确定参数空间中的“良好”方向，在该空间中我们可以在不损害概括的情况下移动。接下来，我们表明一个宽的两层神经网络可以共同使用NTK和QUADNTK来适合由密集的低度项和稀疏高度术语组成的目标功能 - NTK和Quadntk无法在他们自己的。最后，我们构建了一个正常化程序，该正规化器鼓励我们的参数向量以“良好”的方向移动，并表明正规化损失上的梯度下降将融合到全局最小化器，这也有较低的测试误差。这产生了端到端的融合和概括保证，并自行对NTK和Quadntk进行了可证明的样本复杂性的改善。

最近在文献中使用的型号证明残留网络（RESNET）优于线性预测器实际上与已广泛用于计算机视觉中的标准EMER的不同。除了诸如标量标值输出或单个残差块的假设之外，这些模型在最终残余表示中没有非线性，其进入最终仿射层。为了编写非线性的这种差异，并揭示线性估计属性，我们通过简单地从标准试剂从标准试剂中的最后一个残留表示下丢弃非线性来定义reseness，即残余非线性估计器。我们展示了具有瓶颈块的宽雷峰可以始终保证标准的培训属性，标准的培训属性旨在实现，即添加更多块不会降低相同一组基本元素的性能。为了证明，我们首先识别雷峰是基本函数模型，其基于基础学习和线性预测的耦合问题受到限制。然后，为了从基础学习中解耦预测权重，我们构建一个特殊的架构被称为增强的resnest（a-resnest），这些架构始终保证在添加块中没有更糟糕的性能。结果，这种A-RES最终建立了使用相应基部的reS最低限制的低界限。我们的结果表明Resenss确实存在缩短功能重用的问题;然而，通过充分扩展或加宽输入空间，可以避免它，导致上述所需的性能。由已显示以优于ENRENET的DENSENETS的灵感，我们还提出了一种称为密集连接的非线性估算器（DENSENEST）的相应新模型。我们表明，任何Densenest都可以用瓶颈块表示为宽姓氏。与雷最多，Densenests在没有任何特殊建筑重新设计的情况下表现出理想的财产。

在本文中，我们分析了用Relu，泄漏的Relu以及二次激活的一个隐藏层网络的真实丧失的景观。在所有三种情况下，我们在目标函数所仿射的情况下提供了完整的关键点的分类。特别是，我们表明没有局部最大值，并阐明马鞍点的结构。此外，我们证明了非全球局部最小值只能由“死”recu神经元引起。特别是，它们不会出现在泄漏的Relu或二次激活的情况下。我们的方法是组合性质，并在仔细分析可能发生的不同类型的隐性神经元。

我们研究了神经网络中平方损耗训练问题的优化景观和稳定性，但通用非线性圆锥近似方案。据证明，如果认为非线性圆锥近似方案是（以适当定义的意义）比经典线性近似方法更具表现力，并且如果存在不完美的标签向量，则在方位损耗的训练问题必须在其中不稳定感知其解决方案集在训练数据中的标签向量上不连续地取决于标签向量。我们进一步证明对这些不稳定属性负责的效果也是马鞍点出现的原因和杂散的局部最小值，这可能是从全球解决方案的任意遥远的，并且既不训练问题也不是训练问题的不稳定性通常，杂散局部最小值的存在可以通过向目标函数添加正则化术语来克服衡量近似方案中参数大小的目标函数。无论可实现的可实现性是否满足，后一种结果都被证明是正确的。我们表明，我们的分析特别适用于具有可变宽度的自由结插值方案和深层和浅层神经网络的培训问题，其涉及各种激活功能的任意混合（例如，二进制，六骨，Tanh，arctan，软标志， ISRU，Soft-Clip，SQNL，Relu，Lifley Relu，Soft-Plus，Bent Identity，Silu，Isrlu和ELU）。总之，本文的发现说明了神经网络和一般非线性圆锥近似仪器的改进近似特性以直接和可量化的方式与必须解决的优化问题的不期望的性质链接，以便训练它们。

我们研究由线性卷积神经网络（LCN）代表的功能家族。这些函数形成了从输入空间到输出空间的线性地图集的半代数子集。相比之下，由完全连接的线性网络表示的函数家族形成代数集。我们观察到，LCN代表的功能可以通过接受某些因素化的多项式来识别，我们使用此视角来描述网络体系结构对所得功能空间几何形状的影响。我们进一步研究了在LCN上的目标函数的优化，分析了功能空间和参数空间中的临界点，并描述了梯度下降的动态不变性。总体而言，我们的理论预测，LCN的优化参数通常对应于跨层的重复过滤器，或可以分解为重复过滤器的过滤器。我们还进行了数值和符号实验，以说明我们的结果，并对小体系结构的景​​观进行深入分析。

这项调查旨在提供线性模型及其背后的理论的介绍。我们的目标是对读者进行严格的介绍，并事先接触普通最小二乘。在机器学习中，输出通常是输入的非线性函数。深度学习甚至旨在找到需要大量计算的许多层的非线性依赖性。但是，这些算法中的大多数都基于简单的线性模型。然后，我们从不同视图中描述线性模型，并找到模型背后的属性和理论。线性模型是回归问题中的主要技术，其主要工具是最小平方近似，可最大程度地减少平方误差之和。当我们有兴趣找到回归函数时，这是一个自然的选择，该回归函数可以最大程度地减少相应的预期平方误差。这项调查主要是目的的摘要，即线性模型背后的重要理论的重要性，例如分布理论，最小方差估计器。我们首先从三种不同的角度描述了普通的最小二乘，我们会以随机噪声和高斯噪声干扰模型。通过高斯噪声，该模型产生了可能性，因此我们引入了最大似然估计器。它还通过这种高斯干扰发展了一些分布理论。最小二乘的分布理论将帮助我们回答各种问题并引入相关应用。然后，我们证明最小二乘是均值误差的最佳无偏线性模型，最重要的是，它实际上接近了理论上的极限。我们最终以贝叶斯方法及以后的线性模型结束。

通过在线规范相关性分析的问题，我们提出了\ emph {随机缩放梯度下降}（SSGD）算法，以最小化通用riemannian歧管上的随机功能的期望。 SSGD概括了投影随机梯度下降的思想，允许使用缩放的随机梯度而不是随机梯度。在特殊情况下，球形约束的特殊情况，在广义特征向量问题中产生的，我们建立了$ \ sqrt {1 / t} $的令人反感的有限样本，并表明该速率最佳最佳，直至具有积极的积极因素相关参数。在渐近方面，一种新的轨迹平均争论使我们能够实现局部渐近常态，其速率与鲁普特 - Polyak-Quaditsky平均的速率匹配。我们将这些想法携带在一个在线规范相关分析，从事文献中的第一次获得了最佳的一次性尺度算法，其具有局部渐近融合到正常性的最佳一次性尺度算法。还提供了用于合成数据的规范相关分析的数值研究。

This paper shows that a perturbed form of gradient descent converges to a second-order stationary point in a number iterations which depends only poly-logarithmically on dimension (i.e., it is almost "dimension-free"). The convergence rate of this procedure matches the wellknown convergence rate of gradient descent to first-order stationary points, up to log factors. When all saddle points are non-degenerate, all second-order stationary points are local minima, and our result thus shows that perturbed gradient descent can escape saddle points almost for free.Our results can be directly applied to many machine learning applications, including deep learning. As a particular concrete example of such an application, we show that our results can be used directly to establish sharp global convergence rates for matrix factorization. Our results rely on a novel characterization of the geometry around saddle points, which may be of independent interest to the non-convex optimization community.

Cohen等人的深度学习实验。 [2021]使用确定性梯度下降（GD）显示学习率（LR）和清晰度（即Hessian最大的特征值）的稳定边缘（EOS）阶段不再像传统优化一样行为。清晰度稳定在$ 2/$ LR的左右，并且在迭代中损失不断上下，但仍有整体下降趋势。当前的论文数学分析了EOS阶段中隐式正则化的新机制，因此，由于非平滑损失景观而导致的GD更新沿着最小损失的多种流量进行了一些确定性流程发展。这与许多先前关于隐式偏差依靠无限更新或梯度中的噪声的结果相反。正式地，对于具有某些规律性条件的任何平滑函数$ l $，对于（1）标准化的GD，即具有不同的lr $ \ eta_t = \ frac {\ eta} {||的GD证明了此效果。 \ nabla l（x（t））||} $和损失$ l $; （2）具有常数LR和损失$ \ sqrt {l- \ min_x l（x）} $的GD。两者都可以证明进入稳定性的边缘，在歧管上相关的流量最小化$ \ lambda_ {1}（\ nabla^2 l）$。一项实验研究证实了上述理论结果。

在深度学习中的优化分析是连续的，专注于（变体）梯度流动，或离散，直接处理（变体）梯度下降。梯度流程可符合理论分析，但是风格化并忽略计算效率。它代表梯度下降的程度是深度学习理论的一个开放问题。目前的论文研究了这个问题。将梯度下降视为梯度流量初始值问题的近似数值问题，发现近似程度取决于梯度流动轨迹周围的曲率。然后，我们表明，在具有均匀激活的深度神经网络中，梯度流动轨迹享有有利的曲率，表明它们通过梯度下降近似地近似。该发现允许我们将深度线性神经网络的梯度流分析转换为保证梯度下降，其几乎肯定会在随机初始化下有效地收敛到全局最小值。实验表明，在简单的深度神经网络中，具有传统步长的梯度下降确实接近梯度流。我们假设梯度流动理论将解开深入学习背后的奥秘。

许多基本的低级优化问题，例如矩阵完成，相位同步/检索，功率系统状态估计和鲁棒PCA，可以作为矩阵传感问题提出。求解基质传感的两种主要方法是基于半决赛编程（SDP）和Burer-Monteiro（B-M）分解的。 SDP方法患有高计算和空间复杂性，而B-M方法可能由于问题的非跨性别而返回伪造解决方案。这些方法成功的现有理论保证导致了类似的保守条件，这可能错误地表明这些方法具有可比性的性能。在本文中，我们阐明了这两种方法之间的一些主要差异。首先，我们提出一类结构化矩阵完成问题，而B-M方法则以压倒性的概率失败，而SDP方法正常工作。其次，我们确定了B-M方法工作和SDP方法失败的一类高度稀疏矩阵完成问题。第三，我们证明，尽管B-M方法与未知解决方案的等级无关，但SDP方法的成功与解决方案的等级相关，并随着等级的增加而提高。与现有的文献主要集中在SDP和B-M工作的矩阵传感实例上，本文为每种方法的独特优点提供了与替代方法的唯一优点。

古典统计学习理论表示，拟合太多参数导致过度舒服和性能差。尽管大量参数矛盾，但是现代深度神经网络概括了这一发现，并构成了解释深度学习成功的主要未解决的问题。随机梯度下降（SGD）引起的隐式正规被认为是重要的，但其特定原则仍然是未知的。在这项工作中，我们研究了当地最小值周围的能量景观的局部几何学如何影响SGD的统计特性，具有高斯梯度噪声。我们争辩说，在合理的假设下，局部几何形状力强制SGD保持接近低维子空间，这会引起隐式正则化并导致深神经网络的泛化误差界定更严格的界限。为了获得神经网络的泛化误差界限，我们首先引入局部最小值周围的停滞迹象，并施加人口风险的局部基本凸性财产。在这些条件下，推导出SGD的下界，以保留在这些停滞套件中。如果发生停滞，我们会导出涉及权重矩阵的光谱规范的深神经网络的泛化误差的界限，但不是网络参数的数量。从技术上讲，我们的证据基于控制SGD中的参数值的变化以及基于局部最小值周围的合适邻域的熵迭代的参数值和局部均匀收敛。我们的工作试图通过统一收敛更好地连接非凸优化和泛化分析。

低维歧管假设认为，在许多应用中发现的数据，例如涉及自然图像的数据（大约）位于嵌入高维欧几里得空间中的低维歧管上。在这种情况下，典型的神经网络定义了一个函数，该函数在嵌入空间中以有限数量的向量作为输入。但是，通常需要考虑在训练分布以外的点上评估优化网络。本文考虑了培训数据以$ \ mathbb r^d $的线性子空间分配的情况。我们得出对由神经网络定义的学习函数变化的估计值，沿横向子空间的方向。我们研究了数据歧管的编纂中与网络的深度和噪声相关的潜在正则化效应。由于存在噪声，我们还提出了训练中的其他副作用。