Understanding the functional principles of information processing in deep neural networks continues to be a challenge, in particular for networks with trained and thus non-random weights. To address this issue, we study the mapping between probability distributions implemented by a deep feed-forward network. We characterize this mapping as an iterated transformation of distributions, where the non-linearity in each layer transfers information between different orders of correlation functions. This allows us to identify essential statistics in the data, as well as different information representations that can be used by neural networks. Applied to an XOR task and to MNIST, we show that correlations up to second order predominantly capture the information processing in the internal layers, while the input layer also extracts higher-order correlations from the data. This analysis provides a quantitative and explainable perspective on classification.

深神经网络（DNN）是用于压缩和蒸馏信息的强大工具。由于它们的规模和复杂性，通常涉及数十亿间相互作用的内部自由度，精确分析方法通常会缩短。这种情况下的共同策略是识别平均潜在的快速微观变量的不稳定行为的缓慢自由度。在这里，我们在训练结束时识别在过度参数化的深卷积神经网络（CNNS）中发生的尺度的分离。它意味着神经元预激活与几乎高斯的方式与确定性潜在内核一起波动。在对于具有无限许多频道的CNN来说，这些内核是惰性的，对于有限的CNNS，它们以分析的方式通过数据适应和学习数据。由此产生的深度学习的热力学理论产生了几种深度非线性CNN玩具模型的准确预测。此外，它还提供了新的分析和理解CNN的方法。

了解不同网络架构的能力和局限性对机器学习的根本重要性。高斯工艺的贝叶斯推断已被证明是一种可行的方法，用于研究无限层宽度的反复和深网络，$ n \ infty $。在这里，我们通过采用来自无序系统的统计物理学的建立方法，从第一个原则开始的架构的统一和系统的衍生均衡和系统的推导。该理论阐明了，虽然平均场方程关于其时间结构不同，但是当读出分别在单个时间点或层拍摄时，它们却产生相同的高斯核。贝叶斯推理应用于分类，然后预测两种架构的相同性能和能力。在数值上，我们发现朝向平均场理论的收敛通常对复发网络的速度较慢，而不是对于深网络，并且收敛速度仅取决于前面的重量的参数以及时间步骤的参数。我们的方法公开了高斯进程，但系统扩展的最低阶数为1 / N $。因此，形式主义铺平了调查有限宽度$ N $的经常性和深层架构之间的根本差异。

利用数据不变对于人工和生物神经回路的有效学习至关重要。因此，了解神经网络如何发现能够利用其投入的基础对称性的适当表示，因此对于机器学习和神经科学至关重要。例如，卷积神经网络旨在利用翻译对称性及其功能触发了第一波深度学习成功。但是，迄今为止，从具有完全连接的网络的翻译不变数据中学习卷积已经被证明难以捉摸。在这里，我们展示了最初完全连接的神经网络解决歧视任务的神经网络如何直接从其输入中学习卷积结构，从而导致局部，空间铺设的接受场。这些接收场与经过同一任务训练的卷积网络的过滤器相匹配。通过精心设计视觉场景的数据模型，我们表明这种模式的出现是由输入的非高斯，高阶的局部结构触发的，该结构长期以来一直被认为是自然图像的标志。我们在简单的模型中提供了负责这种现象的模式形成机制的分析和数值表征，并在接受场形成与高阶输入相关性的张量分解之间找到了意外的联系。这些结果为各种感觉方式的低级特征探测器的发展提供了新的观点，并为研究高阶统计数据对神经网络学习的影响铺平了道路。

这项正在进行的工作旨在为统计学习提供统一的介绍，从诸如GMM和HMM等经典模型到现代神经网络（如VAE和扩散模型）缓慢地构建。如今，有许多互联网资源可以孤立地解释这一点或新的机器学习算法，但是它们并没有（也不能在如此简短的空间中）将这些算法彼此连接起来，或者与统计模型的经典文献相连现代算法出现了。同样明显缺乏的是一个单一的符号系统，尽管对那些已经熟悉材料的人（如这些帖子的作者）不满意，但对新手的入境造成了重大障碍。同样，我的目的是将各种模型（尽可能）吸收到一个用于推理和学习的框架上，表明（以及为什么）如何以最小的变化将一个模型更改为另一个模型（其中一些是新颖的，另一些是文献中的）。某些背景当然是必要的。我以为读者熟悉基本的多变量计算，概率和统计以及线性代数。这本书的目标当然不是​​完整性，而是从基本知识到过去十年中极强大的新模型的直线路径或多或少。然后，目标是补充而不是替换，诸如Bishop的\ emph {模式识别和机器学习}之类的综合文本，该文本现在已经15岁了。

这是一门专门针对STEM学生开发的介绍性机器学习课程。我们的目标是为有兴趣的读者提供基础知识，以在自己的项目中使用机器学习，并将自己熟悉术语作为进一步阅读相关文献的基础。在这些讲义中，我们讨论受监督，无监督和强化学习。注释从没有神经网络的机器学习方法的说明开始，例如原理分析，T-SNE，聚类以及线性回归和线性分类器。我们继续介绍基本和先进的神经网络结构，例如密集的进料和常规神经网络，经常性的神经网络，受限的玻尔兹曼机器，（变性）自动编码器，生成的对抗性网络。讨论了潜在空间表示的解释性问题，并使用梦和对抗性攻击的例子。最后一部分致力于加强学习，我们在其中介绍了价值功能和政策学习的基本概念。

最近的作品表明，有限的贝叶斯神经网络有时可能会越优于其无限堂兄弟，因为有限网络可以灵活地调整其内部表示。然而，我们对有限网络的学习隐藏层表示如何与无限网络的固定表示不同的理论理解仍然不完整。研究了对网络的扰动有限宽度校正，但已经研究过的网络，但学习特征的渐近学尚未完全表征。在这里，我们认为具有线性读数和高斯可能性的任何贝叶斯网络的平均特征内核的领先有限宽度校正具有很大程度上的普遍形式。我们明确地说明了三个易行网络架构：深线性完全连接和卷积网络，以及具有单个非线性隐藏层的网络。我们的结果开始阐明任务相关的学习信号如何塑造宽阔的贝叶斯神经网络的隐藏层表示。

我们分析了通过梯度流通过自洽动力场理论训练的无限宽度神经网络中的特征学习。我们构建了确定性动力学阶参数的集合，该参数是内部产物内核，用于在成对的时间点中，每一层中隐藏的单位激活和梯度，从而减少了通过训练对网络活动的描述。这些内核顺序参数共同定义了隐藏层激活分布，神经切线核的演变以及因此输出预测。我们表明，现场理论推导恢复了从Yang和Hu（2021）获得张量程序的无限宽度特征学习网络的递归随机过程。对于深线性网络，这些内核满足一组代数矩阵方程。对于非线性网络，我们提供了一个交替的采样过程，以求助于内核顺序参数。我们提供了与各种近似方案的自洽解决方案的比较描述。最后，我们提供了更现实的设置中的实验，这些实验表明，在CIFAR分类任务上，在不同宽度上保留了CNN的CNN的损耗和内核动力学。

我们研究了重整化组（RG）和深神经网络之间的类比，其中随后的神经元层类似于沿RG的连续步骤。特别地，我们通过在抽取RG下明确计算在DIMIMATION RG下的一个和二维insing模型中的相对熵或kullback-leibler发散，以及作为深度的函数的前馈神经网络中的相对熵或kullback-leibler发散。我们观察到单调增加到参数依赖性渐近值的定性相同的行为。在量子场理论方面，单调增加证实了相对熵和C定理之间的连接。对于神经网络，渐近行为可能对机器学习中的各种信息最大化方法以及解开紧凑性和概括性具有影响。此外，虽然我们考虑的二维误操作模型和随机神经网络都表现出非差异临界点，但是对任何系统的相位结构的相对熵看起来不敏感。从这个意义上讲，需要更精细的探针以充分阐明这些模型中的信息流。

经常性神经网络（RNNS）是强大的动态模型，广泛用于机器学习（ML）和神经科学。之前的理论作品集中在具有添加剂相互作用的RNN上。然而，门控 - 即乘法 - 相互作用在真神经元中普遍存在，并且也是ML中最佳性能RNN的中心特征。在这里，我们表明Gating提供灵活地控制集体动态的两个突出特征：i）时间尺寸和ii）维度。栅极控制时间尺度导致新颖的稳定状态，网络用作灵活积分器。与以前的方法不同，Gating允许这种重要功能而没有参数微调或特殊对称。门还提供一种灵活的上下文相关机制来重置存储器跟踪，从而补充存储器功能。调制维度的栅极可以诱导新颖的不连续的混沌转变，其中输入将稳定的系统推向强的混沌活动，与通常稳定的输入效果相比。在这种转变之上，与添加剂RNN不同，关键点（拓扑复杂性）的增殖与混沌动力学的外观解耦（动态复杂性）。丰富的动态总结在相图中，从而为ML从业者提供了一个原理参数初始化选择的地图。

It has long been known that a single-layer fully-connected neural network with an i.i.d. prior over its parameters is equivalent to a Gaussian process (GP), in the limit of infinite network width. This correspondence enables exact Bayesian inference for infinite width neural networks on regression tasks by means of evaluating the corresponding GP. Recently, kernel functions which mimic multi-layer random neural networks have been developed, but only outside of a Bayesian framework. As such, previous work has not identified that these kernels can be used as covariance functions for GPs and allow fully Bayesian prediction with a deep neural network. In this work, we derive the exact equivalence between infinitely wide deep networks and GPs. We further develop a computationally efficient pipeline to compute the covariance function for these GPs. We then use the resulting GPs to perform Bayesian inference for wide deep neural networks on MNIST and CIFAR-10. We observe that trained neural network accuracy approaches that of the corresponding GP with increasing layer width, and that the GP uncertainty is strongly correlated with trained network prediction error. We further find that test performance increases as finite-width trained networks are made wider and more similar to a GP, and thus that GP predictions typically outperform those of finite-width networks. Finally we connect the performance of these GPs to the recent theory of signal propagation in random neural networks. * Both authors contributed equally to this work. † Work done as a member of the Google AI Residency program (g.co/airesidency). 1 Throughout this paper, we assume the conditions on the parameter distributions and nonlinearities are such that the Central Limit Theorem will hold; for instance, that the weight variance is scaled inversely proportional to the layer width.

AutoEncoders是无监督学习中最简单的神经网络，因此是学习特色学习的理想框架。虽然最近获得了对线性自动统计器的动态的详细了解，但是通过处理具有非普通相关性的培训数据的技术难题来阻碍了对非线性自动化器的研究 - 特征提取的基本先决条件。在这里，我们研究非线性，浅层自动化器中特征学习的动态。我们派生了一组渐近的精确方程，描述了在高维输入的极限中用随机梯度下降（SGD）训练的AutoEncoders的泛化动态。这些方程揭示了AutoEncoders顺序地学习其输入的主要主体组成部分。对长时间动态的分析解释了Sigmoidal AutoEncoders与捆绑权重的失败，突出了培训Relu AutoEncoders偏差的重要性。在以前的线性网络上建立上一个结果，我们分析了Vanilla SGD算法的修改，允许学习精确的主组件。最后，我们表明我们的方程式准确地描述了非线性自动泊车的泛化动态，如CiFar10。

The study of feature propagation at initialization in neural networks lies at the root of numerous initialization designs. An assumption very commonly made in the field states that the pre-activations are Gaussian. Although this convenient Gaussian hypothesis can be justified when the number of neurons per layer tends to infinity, it is challenged by both theoretical and experimental works for finite-width neural networks. Our major contribution is to construct a family of pairs of activation functions and initialization distributions that ensure that the pre-activations remain Gaussian throughout the network's depth, even in narrow neural networks. In the process, we discover a set of constraints that a neural network should fulfill to ensure Gaussian pre-activations. Additionally, we provide a critical review of the claims of the Edge of Chaos line of works and build an exact Edge of Chaos analysis. We also propose a unified view on pre-activations propagation, encompassing the framework of several well-known initialization procedures. Finally, our work provides a principled framework for answering the much-debated question: is it desirable to initialize the training of a neural network whose pre-activations are ensured to be Gaussian?

强大的机器学习模型的开发中的一个重要障碍是协变量的转变，当训练和测试集的输入分布时发生的分配换档形式在条件标签分布保持不变时发生。尽管现实世界应用的协变量转变普遍存在，但在现代机器学习背景下的理论理解仍然缺乏。在这项工作中，我们检查协变量的随机特征回归的精确高尺度渐近性，并在该设置中提出了限制测试误差，偏差和方差的精确表征。我们的结果激发了一种自然部分秩序，通过协变速转移，提供足够的条件来确定何时何时损害（甚至有助于）测试性能。我们发现，过度分辨率模型表现出增强的协会转变的鲁棒性，为这种有趣现象提供了第一个理论解释之一。此外，我们的分析揭示了分销和分发外概率性能之间的精确线性关系，为这一令人惊讶的近期实证观察提供了解释。

收购用于监督学习的标签可能很昂贵。为了提高神经网络回归的样本效率，我们研究了活跃的学习方法，这些方法可以适应地选择未标记的数据进行标记。我们提出了一个框架，用于从（与网络相关的）基础内核，内核转换和选择方法中构造此类方法。我们的框架涵盖了许多基于神经网络的高斯过程近似以及非乘式方法的现有贝叶斯方法。此外，我们建议用草图的有限宽度神经切线核代替常用的最后层特征，并将它们与一种新型的聚类方法结合在一起。为了评估不同的方法，我们引入了一个由15个大型表格回归数据集组成的开源基准。我们所提出的方法的表现优于我们的基准测试上的最新方法，缩放到大数据集，并在不调整网络体系结构或培训代码的情况下开箱即用。我们提供开源代码，包括所有内核，内核转换和选择方法的有效实现，并可用于复制我们的结果。

我们介绍了一种确定全局特征解耦的方法，并显示其适用于提高数据分析性能的适用性，并开放了新的场所以进行功能传输。我们提出了一种新的形式主义，该形式主义是基于沿特征梯度遵循轨迹来定义对子曼群的转换的。通过这些转换，我们定义了一个归一化，我们证明，它允许解耦可区分的特征。通过将其应用于采样矩，我们获得了用于正骨的准分析溶液，正尾肌肉是峰度的归一化版本，不仅与平均值和方差相关，而且还与偏度相关。我们将此方法应用于原始数据域和过滤器库的输出中，以基于全局描述符的回归和分类问题，与使用经典（未删除）描述符相比，性能得到一致且显着的改进。

现代深度学习系统的区别特征之一是，它们通常采用利用巨大数量的参数，通常在数百万中使用的神经网络架构。虽然这个范例对大型网络的性质启发了重要研究，但是致力于这些网络通常用于建模大型复杂数据集的事实，而且它们本身可能包含数百万甚至数十亿的约束的事实。在这项工作中，我们专注于这种高维制度，其中数据集大小和特征数量往往是无限的。我们分析随机重量矩阵$ W $和随机偏置向量$ B $的随机特征回归的性能$ f = f（wx + b）$ b $，获取用于渐近培训的确切公式，并对数据产生的数据进行测试错误一个线性教师模型。偏差的作用可以理解为参数化在激活功能上的分布，并且我们的分析直接推广到这种分布，即使是传统的附加偏差不表达的那些分布。有趣的是，我们发现非线性的混合物可以通过最好的单一非线性来改善训练和测试误差，这表明非线性的混合物可能对近似内核方法或神经网络架构设计有用。

我们认为越来越复杂的矩阵去噪和贝叶斯最佳设置中的文章学习模型，在挑战性的政权中，在矩阵推断出与系统尺寸线性的排名增加。这与大多数现有的文献相比，与低秩（即常数级别）制度相关的文献相反。我们首先考虑一类旋转不变的矩阵去噪，使用来自随机矩阵理论的标准技术来计算的互动信息和最小均方误差。接下来，我们分析了字典学习的更具挑战性模式。为此，我们将复制方法与随机矩阵理论一起介绍了复制品方法的新组合，共同矩阵理论，Coined光谱副本方法。它允许我们猜测隐藏表示与字典学习问题的嘈杂数据之间的相互信息的变分形式，以及定量最佳重建误差的重叠。所提出的方法从$ \ theta（n ^ 2）$（矩阵条目）到$ \ theta（n）$（特征值或奇异值）减少自由度的数量，并产生的互信息的库仑气体表示让人想起物理学中的矩阵模型。主要成分是使用Harishchandra-Itzykson-Zuber球形积分，结合新的复制对称解耦Ansatz，在特定重叠矩阵的特征值（或奇异值）的概率分布的水平上。

Despite the widespread practical success of deep learning methods, our theoretical understanding of the dynamics of learning in deep neural networks remains quite sparse. We attempt to bridge the gap between the theory and practice of deep learning by systematically analyzing learning dynamics for the restricted case of deep linear neural networks. Despite the linearity of their input-output map, such networks have nonlinear gradient descent dynamics on weights that change with the addition of each new hidden layer. We

These notes were compiled as lecture notes for a course developed and taught at the University of the Southern California. They should be accessible to a typical engineering graduate student with a strong background in Applied Mathematics. The main objective of these notes is to introduce a student who is familiar with concepts in linear algebra and partial differential equations to select topics in deep learning. These lecture notes exploit the strong connections between deep learning algorithms and the more conventional techniques of computational physics to achieve two goals. First, they use concepts from computational physics to develop an understanding of deep learning algorithms. Not surprisingly, many concepts in deep learning can be connected to similar concepts in computational physics, and one can utilize this connection to better understand these algorithms. Second, several novel deep learning algorithms can be used to solve challenging problems in computational physics. Thus, they offer someone who is interested in modeling a physical phenomena with a complementary set of tools.