最近的作品表明，有限的贝叶斯神经网络有时可能会越优于其无限堂兄弟，因为有限网络可以灵活地调整其内部表示。然而，我们对有限网络的学习隐藏层表示如何与无限网络的固定表示不同的理论理解仍然不完整。研究了对网络的扰动有限宽度校正，但已经研究过的网络，但学习特征的渐近学尚未完全表征。在这里，我们认为具有线性读数和高斯可能性的任何贝叶斯网络的平均特征内核的领先有限宽度校正具有很大程度上的普遍形式。我们明确地说明了三个易行网络架构：深线性完全连接和卷积网络，以及具有单个非线性隐藏层的网络。我们的结果开始阐明任务相关的学习信号如何塑造宽阔的贝叶斯神经网络的隐藏层表示。

深度贝叶斯神经网络中的推断仅在无限宽度的限制中完全理解，其中通过增加深度洗掉的后柔性和后部预测到浅高斯工艺。在这里，我们将有限的深度线性贝叶斯神经网络解释为跨输出通道的高斯过程预测器的数据依赖性比例混合物。我们利用这一观察来研究这些网络中的代表学习，允许我们在统一框架内的先前研究中连接限制结果。总的来说，这些结果推进了对深度影响推论的分析理解，这是一类简单的贝叶斯神经网络的推论。

了解特征学习如何影响概括是现代深度学习理论的最重要目标之一。在这里，我们研究了学习表示的能力如何影响一类简单模型的概括性能：深贝叶斯线性神经网络接受了非结构化高斯数据的训练。通过将深层随机特征模型与所有训练所有层的深网进行比较，我们将提供详细的表征宽度，深度，数据密度和先验不匹配之间的相互作用。我们表明，在存在标签噪声的情况下，这两种模型都显示出样本的双重变化行为。如果有狭窄的瓶颈层，那么随机特征模型还可以显示模型的双重变化，而深网不显示这些分歧。随机特征模型可以具有特定的宽度，这些宽度对于在给定的数据密度下是最佳的概括，同时使神经网络尽可能宽或狭窄始终是最佳的。此外，我们表明，对内核限制学习曲线的前阶校正无法区分所有培训所有层的随机特征模型和深层网络。综上所述，我们的发现开始阐明建筑细节如何影响这种简单的深层回归模型类别的概括性能。

深神经网络（DNN）是用于压缩和蒸馏信息的强大工具。由于它们的规模和复杂性，通常涉及数十亿间相互作用的内部自由度，精确分析方法通常会缩短。这种情况下的共同策略是识别平均潜在的快速微观变量的不稳定行为的缓慢自由度。在这里，我们在训练结束时识别在过度参数化的深卷积神经网络（CNNS）中发生的尺度的分离。它意味着神经元预激活与几乎高斯的方式与确定性潜在内核一起波动。在对于具有无限许多频道的CNN来说，这些内核是惰性的，对于有限的CNNS，它们以分析的方式通过数据适应和学习数据。由此产生的深度学习的热力学理论产生了几种深度非线性CNN玩具模型的准确预测。此外，它还提供了新的分析和理解CNN的方法。

我们分析了通过梯度流通过自洽动力场理论训练的无限宽度神经网络中的特征学习。我们构建了确定性动力学阶参数的集合，该参数是内部产物内核，用于在成对的时间点中，每一层中隐藏的单位激活和梯度，从而减少了通过训练对网络活动的描述。这些内核顺序参数共同定义了隐藏层激活分布，神经切线核的演变以及因此输出预测。我们表明，现场理论推导恢复了从Yang和Hu（2021）获得张量程序的无限宽度特征学习网络的递归随机过程。对于深线性网络，这些内核满足一组代数矩阵方程。对于非线性网络，我们提供了一个交替的采样过程，以求助于内核顺序参数。我们提供了与各种近似方案的自洽解决方案的比较描述。最后，我们提供了更现实的设置中的实验，这些实验表明，在CIFAR分类任务上，在不同宽度上保留了CNN的CNN的损耗和内核动力学。

了解不同网络架构的能力和局限性对机器学习的根本重要性。高斯工艺的贝叶斯推断已被证明是一种可行的方法，用于研究无限层宽度的反复和深网络，$ n \ infty $。在这里，我们通过采用来自无序系统的统计物理学的建立方法，从第一个原则开始的架构的统一和系统的衍生均衡和系统的推导。该理论阐明了，虽然平均场方程关于其时间结构不同，但是当读出分别在单个时间点或层拍摄时，它们却产生相同的高斯核。贝叶斯推理应用于分类，然后预测两种架构的相同性能和能力。在数值上，我们发现朝向平均场理论的收敛通常对复发网络的速度较慢，而不是对于深网络，并且收敛速度仅取决于前面的重量的参数以及时间步骤的参数。我们的方法公开了高斯进程，但系统扩展的最低阶数为1 / N $。因此，形式主义铺平了调查有限宽度$ N $的经常性和深层架构之间的根本差异。

强大的机器学习模型的开发中的一个重要障碍是协变量的转变，当训练和测试集的输入分布时发生的分配换档形式在条件标签分布保持不变时发生。尽管现实世界应用的协变量转变普遍存在，但在现代机器学习背景下的理论理解仍然缺乏。在这项工作中，我们检查协变量的随机特征回归的精确高尺度渐近性，并在该设置中提出了限制测试误差，偏差和方差的精确表征。我们的结果激发了一种自然部分秩序，通过协变速转移，提供足够的条件来确定何时何时损害（甚至有助于）测试性能。我们发现，过度分辨率模型表现出增强的协会转变的鲁棒性，为这种有趣现象提供了第一个理论解释之一。此外，我们的分析揭示了分销和分发外概率性能之间的精确线性关系，为这一令人惊讶的近期实证观察提供了解释。

我们引入了重新定性，这是一种数据依赖性的重新聚集化，将贝叶斯神经网络（BNN）转化为后部的分布，其KL对BNN对BNN的差异随着层宽度的增长而消失。重新定义图直接作用于参数，其分析简单性补充了宽BNN在功能空间中宽BNN的已知神经网络过程（NNGP）行为。利用重新定性，我们开发了马尔可夫链蒙特卡洛（MCMC）后采样算法，该算法将BNN更快地混合在一起。这与MCMC在高维度上的表现差异很差。对于完全连接和残留网络，我们观察到有效样本量高达50倍。在各个宽度上都取得了改进，并在层宽度的重新培训和标准BNN之间的边缘。

我们认为越来越复杂的矩阵去噪和贝叶斯最佳设置中的文章学习模型，在挑战性的政权中，在矩阵推断出与系统尺寸线性的排名增加。这与大多数现有的文献相比，与低秩（即常数级别）制度相关的文献相反。我们首先考虑一类旋转不变的矩阵去噪，使用来自随机矩阵理论的标准技术来计算的互动信息和最小均方误差。接下来，我们分析了字典学习的更具挑战性模式。为此，我们将复制方法与随机矩阵理论一起介绍了复制品方法的新组合，共同矩阵理论，Coined光谱副本方法。它允许我们猜测隐藏表示与字典学习问题的嘈杂数据之间的相互信息的变分形式，以及定量最佳重建误差的重叠。所提出的方法从$ \ theta（n ^ 2）$（矩阵条目）到$ \ theta（n）$（特征值或奇异值）减少自由度的数量，并产生的互信息的库仑气体表示让人想起物理学中的矩阵模型。主要成分是使用Harishchandra-Itzykson-Zuber球形积分，结合新的复制对称解耦Ansatz，在特定重叠矩阵的特征值（或奇异值）的概率分布的水平上。

Understanding the functional principles of information processing in deep neural networks continues to be a challenge, in particular for networks with trained and thus non-random weights. To address this issue, we study the mapping between probability distributions implemented by a deep feed-forward network. We characterize this mapping as an iterated transformation of distributions, where the non-linearity in each layer transfers information between different orders of correlation functions. This allows us to identify essential statistics in the data, as well as different information representations that can be used by neural networks. Applied to an XOR task and to MNIST, we show that correlations up to second order predominantly capture the information processing in the internal layers, while the input layer also extracts higher-order correlations from the data. This analysis provides a quantitative and explainable perspective on classification.

Recently proposed Gated Linear Networks present a tractable nonlinear network architecture, and exhibit interesting capabilities such as learning with local error signals and reduced forgetting in sequential learning. In this work, we introduce a novel gating architecture, named Globally Gated Deep Linear Networks (GGDLNs) where gating units are shared among all processing units in each layer, thereby decoupling the architectures of the nonlinear but unlearned gatings and the learned linear processing motifs. We derive exact equations for the generalization properties in these networks in the finite-width thermodynamic limit, defined by $P,N\rightarrow\infty, P/N\sim O(1)$, where P and N are the training sample size and the network width respectively. We find that the statistics of the network predictor can be expressed in terms of kernels that undergo shape renormalization through a data-dependent matrix compared to the GP kernels. Our theory accurately captures the behavior of finite width GGDLNs trained with gradient descent dynamics. We show that kernel shape renormalization gives rise to rich generalization properties w.r.t. network width, depth and L2 regularization amplitude. Interestingly, networks with sufficient gating units behave similarly to standard ReLU networks. Although gatings in the model do not participate in supervised learning, we show the utility of unsupervised learning of the gating parameters. Additionally, our theory allows the evaluation of the network's ability for learning multiple tasks by incorporating task-relevant information into the gating units. In summary, our work is the first exact theoretical solution of learning in a family of nonlinear networks with finite width. The rich and diverse behavior of the GGDLNs suggests that they are helpful analytically tractable models of learning single and multiple tasks, in finite-width nonlinear deep networks.

This article concerns Bayesian inference using deep linear networks with output dimension one. In the interpolating (zero noise) regime we show that with Gaussian weight priors and MSE negative log-likelihood loss both the predictive posterior and the Bayesian model evidence can be written in closed form in terms of a class of meromorphic special functions called Meijer-G functions. These results are non-asymptotic and hold for any training dataset, network depth, and hidden layer widths, giving exact solutions to Bayesian interpolation using a deep Gaussian process with a Euclidean covariance at each layer. Through novel asymptotic expansions of Meijer-G functions, a rich new picture of the role of depth emerges. Specifically, we find that the posteriors in deep linear networks with data-independent priors are the same as in shallow networks with evidence maximizing data-dependent priors. In this sense, deep linear networks make provably optimal predictions. We also prove that, starting from data-agnostic priors, Bayesian model evidence in wide networks is only maximized at infinite depth. This gives a principled reason to prefer deeper networks (at least in the linear case). Finally, our results show that with data-agnostic priors a novel notion of effective depth given by \[\#\text{hidden layers}\times\frac{\#\text{training data}}{\text{network width}}\] determines the Bayesian posterior in wide linear networks, giving rigorous new scaling laws for generalization error.

Whilst deep neural networks have shown great empirical success, there is still much work to be done to understand their theoretical properties. In this paper, we study the relationship between random, wide, fully connected, feedforward networks with more than one hidden layer and Gaussian processes with a recursive kernel definition. We show that, under broad conditions, as we make the architecture increasingly wide, the implied random function converges in distribution to a Gaussian process, formalising and extending existing results by Neal (1996) to deep networks. To evaluate convergence rates empirically, we use maximum mean discrepancy. We then compare finite Bayesian deep networks from the literature to Gaussian processes in terms of the key predictive quantities of interest, finding that in some cases the agreement can be very close. We discuss the desirability of Gaussian process behaviour and review non-Gaussian alternative models from the literature. 1

一项开创性的工作[Jacot等，2018]表明，在特定参数化下训练神经网络等同于执行特定的内核方法，因为宽度延伸到无穷大。这种等效性为将有关内核方法的丰富文献结果应用于神经网的结果开辟了一个有希望的方向，而神经网络很难解决。本调查涵盖了内核融合的关键结果，因为宽度进入无穷大，有限宽度校正，应用以及对相应方法的局限性的讨论。

现代深度神经网络（DNN）的成功基于其在多层转换投入以建立良好高级表示的能力。因此，了解这种表示学习过程至关重要。但是，我们不能使用涉及无限宽度限制的标准理论方法，因为它们消除了代表性学习。因此，我们开发了一个新的无限宽度限制，即表示的学习限制，该限制表现出表示形式的学习反映，但在有限宽度网络中，但同时仍然非常容易处理。例如，表示学习限制在深处的高斯过程中提供了恰好具有多种内核的多元高斯后期，包括所有各向同性（距离依赖）内核。我们得出一个优雅的目标，描述了每个网络层如何学习在输入和输出之间插值的表示形式。最后，我们使用此限制和目标来开发对内核方法的灵活，深刻的概括，我们称之为深内核机器（DKMS）。我们表明，可以使用受高斯过程文献中诱导点方法启发的方法将DKMS缩放到大数据集，并且我们表明DKMS表现出优于其他基于内核方法的性能。

It has long been known that a single-layer fully-connected neural network with an i.i.d. prior over its parameters is equivalent to a Gaussian process (GP), in the limit of infinite network width. This correspondence enables exact Bayesian inference for infinite width neural networks on regression tasks by means of evaluating the corresponding GP. Recently, kernel functions which mimic multi-layer random neural networks have been developed, but only outside of a Bayesian framework. As such, previous work has not identified that these kernels can be used as covariance functions for GPs and allow fully Bayesian prediction with a deep neural network. In this work, we derive the exact equivalence between infinitely wide deep networks and GPs. We further develop a computationally efficient pipeline to compute the covariance function for these GPs. We then use the resulting GPs to perform Bayesian inference for wide deep neural networks on MNIST and CIFAR-10. We observe that trained neural network accuracy approaches that of the corresponding GP with increasing layer width, and that the GP uncertainty is strongly correlated with trained network prediction error. We further find that test performance increases as finite-width trained networks are made wider and more similar to a GP, and thus that GP predictions typically outperform those of finite-width networks. Finally we connect the performance of these GPs to the recent theory of signal propagation in random neural networks. * Both authors contributed equally to this work. † Work done as a member of the Google AI Residency program (g.co/airesidency). 1 Throughout this paper, we assume the conditions on the parameter distributions and nonlinearities are such that the Central Limit Theorem will hold; for instance, that the weight variance is scaled inversely proportional to the layer width.

在梯度下降中注入噪声具有几个理想的特征。在本文中，我们在计算梯度步骤之前探索噪声注入，该梯度步骤已知具有平滑和正规化的特性。我们表明，小扰动会导致基于L1-norm，L1-Norms或核规范的简单有限维模型的显式正则化。当应用于具有较大宽度的过多散热性神经网络时，我们表明，由于过多参数化导致的方差爆炸，相同的扰动无效。但是，我们还表明，独立的层扰动允许避免爆炸差异项，然后可以获得显式正则化器。我们从经验上表明，与香草（随机）梯度下降训练相比，小的扰动可以提高泛化性能，对训练程序进行了较小的调整。

我们研究了重整化组（RG）和深神经网络之间的类比，其中随后的神经元层类似于沿RG的连续步骤。特别地，我们通过在抽取RG下明确计算在DIMIMATION RG下的一个和二维insing模型中的相对熵或kullback-leibler发散，以及作为深度的函数的前馈神经网络中的相对熵或kullback-leibler发散。我们观察到单调增加到参数依赖性渐近值的定性相同的行为。在量子场理论方面，单调增加证实了相对熵和C定理之间的连接。对于神经网络，渐近行为可能对机器学习中的各种信息最大化方法以及解开紧凑性和概括性具有影响。此外，虽然我们考虑的二维误操作模型和随机神经网络都表现出非差异临界点，但是对任何系统的相位结构的相对熵看起来不敏感。从这个意义上讲，需要更精细的探针以充分阐明这些模型中的信息流。

教师 - 学生模型提供了一个框架，其中可以以封闭形式描述高维监督学习的典型情况。高斯I.I.D的假设然而，可以认为典型教师 - 学生模型的输入数据可以被认为过于限制，以捕获现实数据集的行为。在本文中，我们介绍了教师和学生可以在不同的空格上行动的模型的高斯协变态概括，以固定的，而是通用的特征映射。虽然仍处于封闭形式的仍然可解决，但这种概括能够捕获广泛的现实数据集的学习曲线，从而兑现师生框架的潜力。我们的贡献是两倍：首先，我们证明了渐近培训损失和泛化误差的严格公式。其次，我们呈现了许多情况，其中模型的学习曲线捕获了使用内​​核回归和分类学习的现实数据集之一，其中盒出开箱特征映射，例如随机投影或散射变换，或者与散射变换预先学习的 - 例如通过培训多层神经网络学到的特征。我们讨论了框架的权力和局限性。

现代深度学习系统的区别特征之一是，它们通常采用利用巨大数量的参数，通常在数百万中使用的神经网络架构。虽然这个范例对大型网络的性质启发了重要研究，但是致力于这些网络通常用于建模大型复杂数据集的事实，而且它们本身可能包含数百万甚至数十亿的约束的事实。在这项工作中，我们专注于这种高维制度，其中数据集大小和特征数量往往是无限的。我们分析随机重量矩阵$ W $和随机偏置向量$ B $的随机特征回归的性能$ f = f（wx + b）$ b $，获取用于渐近培训的确切公式，并对数据产生的数据进行测试错误一个线性教师模型。偏差的作用可以理解为参数化在激活功能上的分布，并且我们的分析直接推广到这种分布，即使是传统的附加偏差不表达的那些分布。有趣的是，我们发现非线性的混合物可以通过最好的单一非线性来改善训练和测试误差，这表明非线性的混合物可能对近似内核方法或神经网络架构设计有用。