由于Jacot等人的著名结果，神经切线内核（NTK）被广泛用于分析过多散热性神经网络。 （2018）：在无限宽度限制中，NTK在训练过程中是确定性和恒定的。但是，该结果无法解释深网的行为，因为如果深度和宽度同时无穷大，通常不会成立。在本文中，我们研究了与宽度相当的深度连接的Relu网络的NTK。我们证明NTK性质显着取决于初始化时的深度与宽度比和参数的分布。实际上，我们的结果表明，在Poole等人中确定的超参数空间中这三个阶段的重要性。 （2016年）：订购，混乱和混乱的边缘（EOC）。我们在所有三个阶段中都在无限深度和宽度极限中得出NTK分散剂的精确表达式，并得出结论，NTK的可变性在EOC和混乱阶段随着深度而呈指数增长，但在有序阶段中却没有。我们还表明，深网的NTK只能在有序阶段训练期间保持恒定，并讨论NTK矩阵的结构在训练过程中如何变化。

为了理论上了解训练有素的深神经网络的行为，有必要研究来自随机初始化的梯度方法引起的动态。然而，这些模型的非线性和组成结构使得这些动态难以分析。为了克服这些挑战，最近出现了大宽度的渐近学作为富有成效的观点，并导致了对真实世界的深网络的实用洞察。对于双层神经网络，已经通过这些渐近学理解，训练模型的性质根据初始随机权重的规模而变化，从内核制度（大初始方差）到特征学习制度（对于小初始方差）。对于更深的网络，更多的制度是可能的，并且在本文中，我们详细研究了与神经网络的“卑鄙字段”限制相对应的“小”初始化的特定选择，我们称之为可分配的参数化（IP）。首先，我们展示了标准I.I.D.零平均初始化，具有多于四个层的神经网络的可集参数，从无限宽度限制的静止点开始，并且不会发生学习。然后，我们提出了各种方法来避免这种琐碎的行为并详细分析所得到的动态。特别是，这些方法中的一种包括使用大的初始学习速率，并且我们表明它相当于最近提出的最大更新参数化$ \ mu $ p的修改。我们将结果与图像分类任务的数值实验确认，其另外显示出在尚未捕获的激活功能的各种选择之间的行为中的强烈差异。

This paper studies the infinite-width limit of deep linear neural networks initialized with random parameters. We obtain that, when the number of neurons diverges, the training dynamics converge (in a precise sense) to the dynamics obtained from a gradient descent on an infinitely wide deterministic linear neural network. Moreover, even if the weights remain random, we get their precise law along the training dynamics, and prove a quantitative convergence result of the linear predictor in terms of the number of neurons. We finally study the continuous-time limit obtained for infinitely wide linear neural networks and show that the linear predictors of the neural network converge at an exponential rate to the minimal $\ell_2$-norm minimizer of the risk.

深度重新结合因实现最新的机器学习任务而被认可。但是，这些体系结构的出色性能取决于培训程序，需要精心制作以避免消失或爆炸梯度，尤其是随着深度$ l $的增加。关于如何减轻此问题，尚无共识，尽管广泛讨论的策略在于将每一层的输出缩放为$ \ alpha_l $。我们在概率环境中显示标准I.I.D.初始化，唯一的非平凡动力学是$ \ alpha_l = 1/\ sqrt {l} $（其他选择导致爆炸或身份映射）。该缩放因子在连续的时间限制中对应于神经随机微分方程，这与广泛的解释相反，即深度重新连接是神经普通微分方程的离散化。相比之下，在后一种制度中，具有特定相关初始化和$ \ alpha_l = 1/l $获得稳定性。我们的分析表明，与层指数的函数之间的缩放比例和规律性之间存在很强的相互作用。最后，在一系列实验中，我们表现出由这两个参数驱动的连续范围，这在训练之前和之后会共同影响性能。

变形金刚在几个领域取得了巨大的成功，从自然语言处理到计算机视觉。然而，最近已经证明，堆叠自发注意层（变压器的独特架构成分）可能会导致在初始化时代币表示的等级崩溃。是否以及如何影响训练的等级崩溃的问题仍然没有得到答复，其调查对于对该架构的更全面理解是必要的。在这项工作中，我们对这种现象的原因和影响有了新的启示。首先，我们表明，代币表示的等级崩溃会导致查询和钥匙的梯度在初始化时消失，从而阻碍了培训。此外，我们提供了对等级崩溃的起源的详尽描述，并讨论了如何通过对残留分支的适当深度依赖性缩放来预防它。最后，我们的分析揭示了特定的体系结构超参数对查询和值的梯度有所不同，从而导致不成比例的梯度规范。这暗示了一种解释，用于广泛使用自适应方法进行变压器的优化。

Whilst deep neural networks have shown great empirical success, there is still much work to be done to understand their theoretical properties. In this paper, we study the relationship between random, wide, fully connected, feedforward networks with more than one hidden layer and Gaussian processes with a recursive kernel definition. We show that, under broad conditions, as we make the architecture increasingly wide, the implied random function converges in distribution to a Gaussian process, formalising and extending existing results by Neal (1996) to deep networks. To evaluate convergence rates empirically, we use maximum mean discrepancy. We then compare finite Bayesian deep networks from the literature to Gaussian processes in terms of the key predictive quantities of interest, finding that in some cases the agreement can be very close. We discuss the desirability of Gaussian process behaviour and review non-Gaussian alternative models from the literature. 1

Gradient descent finds a global minimum in training deep neural networks despite the objective function being non-convex. The current paper proves gradient descent achieves zero training loss in polynomial time for a deep overparameterized neural network with residual connections (ResNet). Our analysis relies on the particular structure of the Gram matrix induced by the neural network architecture. This structure allows us to show the Gram matrix is stable throughout the training process and this stability implies the global optimality of the gradient descent algorithm. We further extend our analysis to deep residual convolutional neural networks and obtain a similar convergence result.

懒惰培训制度中的神经网络收敛到内核机器。在丰富的特征学习制度中可以在丰富的特征学习制度中可以使用数据依赖性内核来学习内核机器吗？我们证明，这可以是由于我们术语静音对准的现象，这可能需要网络的切线内核在特征内演变，而在小并且在损失明显降低，并且之后仅在整体尺度上生长。我们表明这种效果在具有小初始化和白化数据的同质神经网络中进行。我们在线性网络壳体提供了对这种效果的分析处理。一般来说，我们发现内核在训练的早期阶段开发了低级贡献，然后在总体上发展，产生了与最终网络的切线内核的内核回归解决方案等同的函数。内核的早期光谱学习取决于深度。我们还证明了非白化数据可以削弱无声的对准效果。

最近的发现（例如ARXIV：2103.00065）表明，通过全批梯度下降训练的现代神经网络通常进入一个称为稳定边缘（EOS）的政权。在此制度中，清晰度（即最大的Hessian特征值）首先增加到值2/（步长尺寸）（渐进锐化阶段），然后在该值（EOS相）周围振荡。本文旨在分析沿优化轨迹的GD动力学和清晰度。我们的分析自然将GD轨迹分为四个阶段，具体取决于清晰度的变化。从经验上，我们将输出层重量的规范视为清晰动力学的有趣指标。基于这一经验观察，我们尝试从理论和经验上解释导致EOS每个阶段清晰度变化的各种关键量的动力学。此外，基于某些假设，我们提供了两层完全连接的线性神经网络中EOS制度的清晰度行为的理论证明。我们还讨论了其他一些经验发现以及我们的理论结果的局限性。

我们研究（选定的）宽，狭窄，深而浅，较浅，懒惰和非懒惰的训练环境中（选定的）深度神经网络中的平均鲁棒性概念。我们证明，在参数不足的环境中，宽度具有负面影响，而在过度参数化的环境中提高了鲁棒性。深度的影响紧密取决于初始化和训练模式。特别是，当用LeCun初始化初始化时，深度有助于通过懒惰训练制度进行稳健性。相反，当用神经切线核（NTK）初始化并进行初始化时，深度会损害稳健性。此外，在非懒惰培训制度下，我们演示了两层relu网络的宽度如何使鲁棒性受益。我们的理论发展改善了Huang等人的结果。[2021]，Wu等。[2021]与Bubeck and Sellke [2021]，Bubeck等人一致。[2021]。

The logit outputs of a feedforward neural network at initialization are conditionally Gaussian, given a random covariance matrix defined by the penultimate layer. In this work, we study the distribution of this random matrix. Recent work has shown that shaping the activation function as network depth grows large is necessary for this covariance matrix to be non-degenerate. However, the current infinite-width-style understanding of this shaping method is unsatisfactory for large depth: infinite-width analyses ignore the microscopic fluctuations from layer to layer, but these fluctuations accumulate over many layers. To overcome this shortcoming, we study the random covariance matrix in the shaped infinite-depth-and-width limit. We identify the precise scaling of the activation function necessary to arrive at a non-trivial limit, and show that the random covariance matrix is governed by a stochastic differential equation (SDE) that we call the Neural Covariance SDE. Using simulations, we show that the SDE closely matches the distribution of the random covariance matrix of finite networks. Additionally, we recover an if-and-only-if condition for exploding and vanishing norms of large shaped networks based on the activation function.

了解不同网络架构的能力和局限性对机器学习的根本重要性。高斯工艺的贝叶斯推断已被证明是一种可行的方法，用于研究无限层宽度的反复和深网络，$ n \ infty $。在这里，我们通过采用来自无序系统的统计物理学的建立方法，从第一个原则开始的架构的统一和系统的衍生均衡和系统的推导。该理论阐明了，虽然平均场方程关于其时间结构不同，但是当读出分别在单个时间点或层拍摄时，它们却产生相同的高斯核。贝叶斯推理应用于分类，然后预测两种架构的相同性能和能力。在数值上，我们发现朝向平均场理论的收敛通常对复发网络的速度较慢，而不是对于深网络，并且收敛速度仅取决于前面的重量的参数以及时间步骤的参数。我们的方法公开了高斯进程，但系统扩展的最低阶数为1 / N $。因此，形式主义铺平了调查有限宽度$ N $的经常性和深层架构之间的根本差异。

一项开创性的工作[Jacot等，2018]表明，在特定参数化下训练神经网络等同于执行特定的内核方法，因为宽度延伸到无穷大。这种等效性为将有关内核方法的丰富文献结果应用于神经网的结果开辟了一个有希望的方向，而神经网络很难解决。本调查涵盖了内核融合的关键结果，因为宽度进入无穷大，有限宽度校正，应用以及对相应方法的局限性的讨论。

过度参数化神经网络（NN）的损失表面具有许多全球最小值，却零训练误差。我们解释了标准NN训练程序的常见变体如何改变获得的最小化器。首先，我们明确说明了强烈参数化的NN初始化的大小如何影响最小化器，并可能恶化其最终的测试性能。我们提出了限制这种效果的策略。然后，我们证明，对于自适应优化（例如Adagrad），所获得的最小化器通常与梯度下降（GD）最小化器不同。随机迷你批次训练，即使在非自适应情况下，GD和随机GD基本相同的最小化器，这种自适应最小化器也会进一步改变。最后，我们解释说，这些效果仍然与较少参数化的NN相关。尽管过度参数具有其好处，但我们的工作强调，它会导致参数化模型缺乏错误来源。

由于其宽度趋于无穷大，如果梯度下降下的深度神经网络的行为可以简化和可预测（例如，如果神经切线核（NTK）给出，则如果适当地进行了参数化（例如，NTK参数化）。但是，我们表明，神经网络的标准和NTK参数化不接受可以学习特征的无限宽度限制，这对于训练和转移学习至关重要。我们对标准参数化提出了简单的修改，以允许在极限内进行特征学习。使用 * Tensor程序 *技术，我们为此类限制提供了明确的公式。在Word2Vec和Omniglot上通过MAML进行的几杆学习，这是两个依赖特征学习的规范任务，我们准确地计算了这些限制。我们发现它们的表现都优于NTK基准和有限宽度网络，后者接近无限宽度的特征学习表现，随着宽度的增加。更普遍地，我们对神经网络参数化的自然空间进行分类，该空间概括了标准，NTK和平均场参数化。我们显示1）该空间中的任何参数化都可以接受特征学习或具有内核梯度下降给出的无限宽度训练动力学，但并非两者兼而有之； 2）可以使用Tensor程序技术计算任何此类无限宽度限制。可以在github.com/edwardjhu/tp4上找到我们的实验代码。

最近的工作表明，不同体系结构的卷积神经网络学会按照相同的顺序对图像进行分类。为了理解这种现象，我们重新审视了过度参数的深度线性网络模型。我们的分析表明，当隐藏层足够宽时，该模型参数的收敛速率沿数据的较大主组件的方向呈指数级数，该方向由由相应的奇异值控制的速率。我们称这种收敛模式主成分偏差（PC偏置）。从经验上讲，我们展示了PC偏差如何简化线性和非线性网络的学习顺序，在学习的早期阶段更为突出。然后，我们将结果与简单性偏见进行比较，表明可以独立看到这两个偏见，并以不同的方式影响学习顺序。最后，我们讨论了PC偏差如何解释早期停止及其与PCA的联系的一些好处，以及为什么深网与随机标签更慢地收敛。

现代神经网络通常以强烈的过度构造状态运行：它们包含许多参数，即使实际标签被纯粹随机的标签代替，它们也可以插入训练集。尽管如此，他们在看不见的数据上达到了良好的预测错误：插值训练集并不会导致巨大的概括错误。此外，过度散色化似乎是有益的，因为它简化了优化景观。在这里，我们在神经切线（NT）制度中的两层神经网络的背景下研究这些现象。我们考虑了一个简单的数据模型，以及各向同性协变量的矢量，$ d $尺寸和$ n $隐藏的神经元。我们假设样本量$ n $和尺寸$ d $都很大，并且它们在多项式上相关。我们的第一个主要结果是对过份术的经验NT内核的特征结构的特征。这种表征意味着必然的表明，经验NT内核的最低特征值在$ ND \ gg n $后立即从零界限，因此网络可以在同一制度中精确插值任意标签。我们的第二个主要结果是对NT Ridge回归的概括误差的表征，包括特殊情况，最小值-ULL_2 $ NORD插值。我们证明，一旦$ nd \ gg n $，测试误差就会被内核岭回归之一相对于无限宽度内核而近似。多项式脊回归的误差依次近似后者，从而通过与激活函数的高度组件相关的“自我诱导的”项增加了正则化参数。多项式程度取决于样本量和尺寸（尤其是$ \ log n/\ log d $）。

The study of feature propagation at initialization in neural networks lies at the root of numerous initialization designs. An assumption very commonly made in the field states that the pre-activations are Gaussian. Although this convenient Gaussian hypothesis can be justified when the number of neurons per layer tends to infinity, it is challenged by both theoretical and experimental works for finite-width neural networks. Our major contribution is to construct a family of pairs of activation functions and initialization distributions that ensure that the pre-activations remain Gaussian throughout the network's depth, even in narrow neural networks. In the process, we discover a set of constraints that a neural network should fulfill to ensure Gaussian pre-activations. Additionally, we provide a critical review of the claims of the Edge of Chaos line of works and build an exact Edge of Chaos analysis. We also propose a unified view on pre-activations propagation, encompassing the framework of several well-known initialization procedures. Finally, our work provides a principled framework for answering the much-debated question: is it desirable to initialize the training of a neural network whose pre-activations are ensured to be Gaussian?

A recent line of work studies overparametrized neural networks in the "kernel regime," i.e. when the network behaves during training as a kernelized linear predictor, and thus training with gradient descent has the effect of finding the minimum RKHS norm solution. This stands in contrast to other studies which demonstrate how gradient descent on overparametrized multilayer networks can induce rich implicit biases that are not RKHS norms. Building on an observation by Chizat and Bach [2018], we show how the scale of the initialization controls the transition between the "kernel" (aka lazy) and "rich" (aka active) regimes and affects generalization properties in multilayer homogeneous models. We provide a complete and detailed analysis for a simple two-layer model that already exhibits an interesting and meaningful transition between the kernel and rich regimes, and we demonstrate the transition for more complex matrix factorization models and multilayer non-linear networks.

Understanding the functional principles of information processing in deep neural networks continues to be a challenge, in particular for networks with trained and thus non-random weights. To address this issue, we study the mapping between probability distributions implemented by a deep feed-forward network. We characterize this mapping as an iterated transformation of distributions, where the non-linearity in each layer transfers information between different orders of correlation functions. This allows us to identify essential statistics in the data, as well as different information representations that can be used by neural networks. Applied to an XOR task and to MNIST, we show that correlations up to second order predominantly capture the information processing in the internal layers, while the input layer also extracts higher-order correlations from the data. This analysis provides a quantitative and explainable perspective on classification.