了解深神经网络的损失景观结构（DNN）显然是重要的。在这项工作中，我们证明了一个嵌入原则，即DNN“包含”所有较窄DNN的所有关键点的损失景观。更确切地说，我们提出了一个临界嵌入，使得任何临界点，例如较窄的DNN的临界点，例如局部或全局最小值，可以嵌入到目标DNN的临界点/超平面，具有更高的退化性并保持DNN输出功能。关键点的嵌入结构与损耗功能和训练数据无关，显示与蛋白质折叠等其他非凸起问题的显着差异。凭经验，我们发现宽DNN通常被嵌入来自窄DNN的高度简并关键点引起。嵌入原理为广泛DNN的普遍易于优化提供了解释，并且在训练期间揭开潜在的隐式低复杂性正则化。总体而言，我们的工作为DNNS的损失景观提供了骨架及其含义，可以在附近预期更精确和全面的理解

我们证明了深度神经网络（NNS）的损失景观的一般嵌入原理，其解除了NNS的损失景观的层次结构，即NN的损失景观包含所有较窄NN的所有关键点。通过构建一类临界嵌入来获得该结果，该临界嵌入物将较窄的Nn的任何临界点映射到具有相同输出功能的目标Nn的临界点。通过发现广泛的一般兼容性嵌入式，我们提供了嵌入来自NNS的关键点的关键子多种尺寸的总估计。我们进一步证明了任何临界嵌入的Irfreversiblility属性，即临界点的Hessian矩阵的负/零/正小叶值的数量可能增加，但由于NN通过嵌入越来越宽，因此从未减少。使用一般兼容的临界嵌入的特殊实现，我们证明了一个严格的必要条件，以便是一个完全不变的临界点，从未成为任何关键嵌入的严格鞍端。该结果暗示宽NNS中严格鞍点的常见，这可能是在实践中广泛观察到的宽NNS易于优化的重要原因。

了解深度学习的理论研究非常重要。在这项工作中，我们发现了一个嵌入原则，即nn的损失格局“包含”浅NN损失景观的所有关键点。我们发现的关键工具是在这项工作中提出的关键起重操作员，该操作员将网络的任何关键点映射到任何更深层网络的关键流形，同时保留输出。该原则为许多广泛观察到的DNN行为提供了新的见解。关于深层网络的易于培训，我们表明可以将NN的局部最低限制为更深的NN的严格鞍点。关于批准归一化的加速度效应，我们证明了批处理的归一化有助于避免通过抑制层线性化来从较浅的NN中提起的临界歧管。我们还证明，增加训练数据会缩小临界歧管，这可能导致训练加速，如实验中所示。总体而言，我们对深度嵌入原则的发现发现了深度学习损失格局的深度层次结构，这为进一步研究DNN的深度作用提供了坚实的基础。

重要的是要了解流行的正则化方法如何帮助神经网络训练找到良好的概括解决方案。在这项工作中，我们从理论上得出了辍学的隐式正则化，并研究了损失函数的Hessian矩阵与辍学噪声的协方差矩阵之间的关系，并由一系列实验支持。然后，我们在数值上研究了辍学的隐式正规化的两个含义，这直觉上合理化了辍学有助于概括。首先，我们发现辍学的训练与实验中的标准梯度下降训练相比，发现具有最低最小的神经网络，而隐式正则化是找到平坦溶液的关键。其次，经过辍学的训练，隐藏神经元的输入权重（隐藏神经元的输入权重由其输入层到隐藏的神经元及其偏见项组成），往往会凝结在孤立的方向上。凝结是非线性学习过程中的一个功能，它使神经网络的复杂性低。尽管我们的理论主要集中在最后一个隐藏层中使用的辍学，但我们的实验适用于训练神经网络中的一般辍学。这项工作指出了与随机梯度下降相比，辍学的独特特征，是完全理解辍学的重要基础。

隐式正常化对于了解神经网络的学习非常重要（NNS）。实证工作表明，隐藏神经元的输入重量（隐藏神经元的输入重量由其输入层的重量与隐藏的神经元的重量组成，其偏置术语）与小初始化的隔离取向凝结。冷凝动力学意味着训练隐含地将一个NN定制为一个具有更小的有效尺寸的NN。在这项工作中，我们利用多层网络来表明初始训练阶段中的浓缩方向的最大数量是激活函数的多倍，其中“多重性”是原点的激活函数的多个根。我们的理论分析确认了两种情况的实验，一个是具有任意维度输入的多个尺寸输入的激活函数，其包含许多常见的激活功能，而另一个是具有一维输入和任意多个层的层。这项工作迈向理解初始化的初始化程度的初始训练阶段的凝结程度缩小了缩写，这为未来研究NNS的非线性动态和其隐式正则化效果的初步研究奠定了基础。

理解梯度下降对Relu网络的概括能力的隐性偏见一直是机器学习研究中的重要研究主题。不幸的是，即使对于经过正方形损失训练的单个Relu神经元，最近也表现出不可能以模型参数规范来表征隐式正则化（Vardi＆Shamir，2021）。为了缩小理解Relu网络的有趣概括行为的差距，在训练单神经元网络时，我们在这里检查参数空间中的梯度流动动力学。具体来说，我们发现了在支持向量方面的隐性偏见，该偏见在Relu网络良好地概括的原因和如何延伸方面起着关键作用。此外，我们分析了梯度流相对于初始化规范的幅度，并表明学习重量的规范严格通过梯度流量增加。最后，我们证明了单个Relu神经元的全球融合，以$ d = 2 $ case。

我们证明了由例如He等人提出的广泛使用的方法。（2015年）并使用梯度下降对最小二乘损失进行训练并不普遍。具体而言，我们描述了一大批一维数据生成分布，较高的概率下降只会发现优化景观的局部最小值不好，因为它无法将其偏离偏差远离其初始化，以零移动。。事实证明，在这些情况下，即使目标函数是非线性的，发现的网络也基本执行线性回归。我们进一步提供了数值证据，表明在实际情况下，对于某些多维分布而发生这种情况，并且随机梯度下降表现出相似的行为。我们还提供了有关初始化和优化器的选择如何影响这种行为的经验结果。

我们介绍了一类完全连接的神经网络，其激活功能而不是点，而是仅取决于其规范来缩回特征向量。我们称此类网络径向神经网络，扩展了先前在旋转模棱两可的网络上的工作，该网络认为将激活重新激活较少。我们证明了径向神经网络的通用近似定理，包括在更困难的宽度和无界域的情况下。我们的证明技术是新颖的，与偶然的情况不同。此外，径向神经网络在可训练参数的矢量空间上表现出丰富的基础对称性。分解这些对称性会导致实用的无损模型压缩算法。通过梯度下降对压缩模型的优化等效于整个模型的投影梯度下降。

低维歧管假设认为，在许多应用中发现的数据，例如涉及自然图像的数据（大约）位于嵌入高维欧几里得空间中的低维歧管上。在这种情况下，典型的神经网络定义了一个函数，该函数在嵌入空间中以有限数量的向量作为输入。但是，通常需要考虑在训练分布以外的点上评估优化网络。本文考虑了培训数据以$ \ mathbb r^d $的线性子空间分配的情况。我们得出对由神经网络定义的学习函数变化的估计值，沿横向子空间的方向。我们研究了数据歧管的编纂中与网络的深度和噪声相关的潜在正则化效应。由于存在噪声，我们还提出了训练中的其他副作用。

Neural networks are known to be a class of highly expressive functions able to fit even random inputoutput mappings with 100% accuracy. In this work we present properties of neural networks that complement this aspect of expressivity. By using tools from Fourier analysis, we highlight a learning bias of deep networks towards low frequency functions -i.e. functions that vary globally without local fluctuations -which manifests itself as a frequency-dependent learning speed. Intuitively, this property is in line with the observation that over-parameterized networks prioritize learning simple patterns that generalize across data samples. We also investigate the role of the shape of the data manifold by presenting empirical and theoretical evidence that, somewhat counter-intuitively, learning higher frequencies gets easier with increasing manifold complexity.

深神经网络（DNN）通常从低频到高频学习目标函数，这称为频率原理或光谱偏差。该频率原理阐明了DNN的高频诅咒 - 难以学习高频信息。受频率原理的启发，一系列作品致力于开发克服高频诅咒的算法。出现一个自然的问题：W.R.T.衰减率的上限是多少训练DNN的频率？在这项工作中，通过数值实验证实的我们的理论表明，W.R.T.有关键的衰减率。 DNN训练的频率。低于衰减速率的上限，DNN通过具有一定规律性的函数来插值训练数据。但是，DNN高于上限，DNN通过微不足道的功能插值训练数据，即，在训练数据点，功能仅为零。我们的结果表明，要克服高频诅咒的更好方法是设计一种适当的条件方法，将高频信息转移到低频中，这与以前几种先前开发的算法相吻合，用于快速学习高频信息。更重要的是，这项工作严格地证明了高频诅咒是DNN的内在困难。

In a series of recent theoretical works, it was shown that strongly overparameterized neural networks trained with gradient-based methods could converge exponentially fast to zero training loss, with their parameters hardly varying. In this work, we show that this "lazy training" phenomenon is not specific to overparameterized neural networks, and is due to a choice of scaling, often implicit, that makes the model behave as its linearization around the initialization, thus yielding a model equivalent to learning with positive-definite kernels. Through a theoretical analysis, we exhibit various situations where this phenomenon arises in non-convex optimization and we provide bounds on the distance between the lazy and linearized optimization paths. Our numerical experiments bring a critical note, as we observe that the performance of commonly used non-linear deep convolutional neural networks in computer vision degrades when trained in the lazy regime. This makes it unlikely that "lazy training" is behind the many successes of neural networks in difficult high dimensional tasks.

猜测损耗曲线的平坦度被猜测以连接到机器学习模型的泛化能力，特别是神经网络。虽然已经经验观察到，平坦度措施与泛化持续强烈地相关，但仍然是一个开放的理论问题，为什么和在这种情况下，在这种情况下，平坦度与泛化相连，特别是根据改变某些平坦度措施但仍然不变的regarameteration。我们通过将其与来自代表性数据的插值相关联的平整度和泛化之间的联系，从而导出代表性的概念，并具有鲁棒性。概念允许我们严格地连接平坦度和泛化，并识别连接保持的条件。此外，它们产生了一种新颖，但自然的相对平坦度量，泛化强烈地相关，简化了普通最小二乘的脊回归，并解决了重新支柱化问题。

神经切线内核（NTK）是分析神经网络及其泛化界限的训练动力学的强大工具。关于NTK的研究已致力于典型的神经网络体系结构，但对于Hadamard产品（NNS-HP）的神经网络不完整，例如StyleGAN和多项式神经网络。在这项工作中，我们为特殊类别的NNS-HP（即多项式神经网络）得出了有限宽度的NTK公式。我们证明了它们与关联的NTK与内核回归预测变量的等效性，该预测扩大了NTK的应用范围。根据我们的结果，我们阐明了针对外推和光谱偏置，PNN在标准神经网络上的分离。我们的两个关键见解是，与标准神经网络相比，PNN能够在外推方案中拟合更复杂的功能，并承认相应NTK的特征值衰减较慢。此外，我们的理论结果可以扩展到其他类型的NNS-HP，从而扩大了我们工作的范围。我们的经验结果验证了更广泛的NNS-HP类别的分离，这为对神经体系结构有了更深入的理解提供了良好的理由。

我们研究了具有由完全连接的神经网络产生的密度场的固体各向同性物质惩罚（SIMP）方法，将坐标作为输入。在大的宽度限制中，我们表明DNN的使用导致滤波效果类似于SIMP的传统过滤技术，具有由神经切线内核（NTK）描述的过滤器。然而，这种过滤器在翻译下不是不变的，导致视觉伪像和非最佳形状。我们提出了两个输入坐标的嵌入，导致NTK和滤波器的空间不变性。我们经验证实了我们的理论观察和研究了过滤器大小如何受网络架构的影响。我们的解决方案可以很容易地应用于任何其他基于坐标的生成方法。

在本文中，我们分析了用Relu，泄漏的Relu以及二次激活的一个隐藏层网络的真实丧失的景观。在所有三种情况下，我们在目标函数所仿射的情况下提供了完整的关键点的分类。特别是，我们表明没有局部最大值，并阐明马鞍点的结构。此外，我们证明了非全球局部最小值只能由“死”recu神经元引起。特别是，它们不会出现在泄漏的Relu或二次激活的情况下。我们的方法是组合性质，并在仔细分析可能发生的不同类型的隐性神经元。

本文开发了简单的前馈神经网络，实现了所有连续功能的通用近似性，具有固定的有限数量的神经元。这些神经网络很简单，因为它们的设计具有简单且可增加的连续激活功能$ \ Sigma $利用三角波函数和软片功能。我们证明了$ \ Sigma $ -Activated网络，宽度为36d $ 36d（2d + 1）$和11 $ 11 $可以在任意小错误中估计$ d $ -dimensioanl超级函数上的任何连续功能。因此，对于监督学习及其相关的回归问题，这些网络产生的假设空间，尺寸不小于36d（2d + 1）\ times 11 $的持续功能的空间。此外，由图像和信号分类引起的分类函数在$ \ sigma $ -activated网络生成的假设空间中，宽度为36d（2d + 1）$和12 $ 12 $，当存在$ \的成对不相交的界限子集时mathbb {r} ^ d $，使得同一类的样本位于同一子集中。

我们研究了神经网络中平方损耗训练问题的优化景观和稳定性，但通用非线性圆锥近似方案。据证明，如果认为非线性圆锥近似方案是（以适当定义的意义）比经典线性近似方法更具表现力，并且如果存在不完美的标签向量，则在方位损耗的训练问题必须在其中不稳定感知其解决方案集在训练数据中的标签向量上不连续地取决于标签向量。我们进一步证明对这些不稳定属性负责的效果也是马鞍点出现的原因和杂散的局部最小值，这可能是从全球解决方案的任意遥远的，并且既不训练问题也不是训练问题的不稳定性通常，杂散局部最小值的存在可以通过向目标函数添加正则化术语来克服衡量近似方案中参数大小的目标函数。无论可实现的可实现性是否满足，后一种结果都被证明是正确的。我们表明，我们的分析特别适用于具有可变宽度的自由结插值方案和深层和浅层神经网络的培训问题，其涉及各种激活功能的任意混合（例如，二进制，六骨，Tanh，arctan，软标志， ISRU，Soft-Clip，SQNL，Relu，Lifley Relu，Soft-Plus，Bent Identity，Silu，Isrlu和ELU）。总之，本文的发现说明了神经网络和一般非线性圆锥近似仪器的改进近似特性以直接和可量化的方式与必须解决的优化问题的不期望的性质链接，以便训练它们。

本文的目标是两倍。第一个目标是作为深度学习模型的工作的陈述教程，这强调了关于深度学习成功原因的几何直觉。第二个目标是补充当前的结果对深度学习模型的表现力及其具有新颖洞察力和结果的损失。特别是，我们描述了深度神经网络如何雕刻歧管，尤其是当乘法神经元引入倍增神经元时。乘法用于点产品和注意机制，它采用胶囊网络和基于自我关注的变压器。我们还描述了如何对损耗表面上的随机多项式，随机矩阵，旋转玻璃和计算复杂性观点是互连的。

这项调查的目的是介绍对深神经网络的近似特性的解释性回顾。具体而言，我们旨在了解深神经网络如何以及为什么要优于其他经典线性和非线性近似方法。这项调查包括三章。在第1章中，我们回顾了深层网络及其组成非线性结构的关键思想和概念。我们通过在解决回归和分类问题时将其作为优化问题来形式化神经网络问题。我们简要讨论用于解决优化问题的随机梯度下降算法以及用于解决优化问题的后传播公式，并解决了与神经网络性能相关的一些问题，包括选择激活功能，成本功能，过度适应问题和正则化。在第2章中，我们将重点转移到神经网络的近似理论上。我们首先介绍多项式近似中的密度概念，尤其是研究实现连续函数的Stone-WeierStrass定理。然后，在线性近似的框架内，我们回顾了馈电网络的密度和收敛速率的一些经典结果，然后在近似Sobolev函数中进行有关深网络复杂性的最新发展。在第3章中，利用非线性近似理论，我们进一步详细介绍了深度和近似网络与其他经典非线性近似方法相比的近似优势。