现代深度学习系统的区别特征之一是，它们通常采用利用巨大数量的参数，通常在数百万中使用的神经网络架构。虽然这个范例对大型网络的性质启发了重要研究，但是致力于这些网络通常用于建模大型复杂数据集的事实，而且它们本身可能包含数百万甚至数十亿的约束的事实。在这项工作中，我们专注于这种高维制度，其中数据集大小和特征数量往往是无限的。我们分析随机重量矩阵$ W $和随机偏置向量$ B $的随机特征回归的性能$ f = f（wx + b）$ b $，获取用于渐近培训的确切公式，并对数据产生的数据进行测试错误一个线性教师模型。偏差的作用可以理解为参数化在激活功能上的分布，并且我们的分析直接推广到这种分布，即使是传统的附加偏差不表达的那些分布。有趣的是，我们发现非线性的混合物可以通过最好的单一非线性来改善训练和测试误差，这表明非线性的混合物可能对近似内核方法或神经网络架构设计有用。

强大的机器学习模型的开发中的一个重要障碍是协变量的转变，当训练和测试集的输入分布时发生的分配换档形式在条件标签分布保持不变时发生。尽管现实世界应用的协变量转变普遍存在，但在现代机器学习背景下的理论理解仍然缺乏。在这项工作中，我们检查协变量的随机特征回归的精确高尺度渐近性，并在该设置中提出了限制测试误差，偏差和方差的精确表征。我们的结果激发了一种自然部分秩序，通过协变速转移，提供足够的条件来确定何时何时损害（甚至有助于）测试性能。我们发现，过度分辨率模型表现出增强的协会转变的鲁棒性，为这种有趣现象提供了第一个理论解释之一。此外，我们的分析揭示了分销和分发外概率性能之间的精确线性关系，为这一令人惊讶的近期实证观察提供了解释。

在这项工作中，我们研究了随机特征矩阵$ m = yy ^ \ ast $的渐近光谱密度用一个单独的层神经网络生成的$ y = f（wx）$，其中$ w $和$ x $是带有IID的随机矩形矩阵中心条目和$ F $是一种非线性光滑功能，其应用进入明智。我们证明了限制光谱分布的Stieltjes转换大致满足四个自我一致的等式，这正是通过[Pennityton，Worah]和[Benigni，P \'E]获得的等式。我们将以前的结果扩展到附加偏见$ Y = F（WX + B）$的情况下，以$ B $为一个独立的秩 - 一个高斯随机矩阵，更接近实践中遇到的神经网络基础架构。我们的主要发现是，在添加剂偏差的情况下，不可能选择保持层到层奇异值分布的激活函数，与无偏置的情况鲜明对比，其中简单的积分约束足以实现非偏光曲线。为了获得经验谱密度的渐近学，我们通过累积扩展来遵循从随机矩阵理论的解析方法。我们发现这种方法比瞬间方法更强大，而且组合较少，并期望它也适用于前者的组合物变得棘手的模型。已经广泛采用了解析方法，但与以前的作品相比，这里应用于非线性随机矩阵。

教师 - 学生模型提供了一个框架，其中可以以封闭形式描述高维监督学习的典型情况。高斯I.I.D的假设然而，可以认为典型教师 - 学生模型的输入数据可以被认为过于限制，以捕获现实数据集的行为。在本文中，我们介绍了教师和学生可以在不同的空格上行动的模型的高斯协变态概括，以固定的，而是通用的特征映射。虽然仍处于封闭形式的仍然可解决，但这种概括能够捕获广泛的现实数据集的学习曲线，从而兑现师生框架的潜力。我们的贡献是两倍：首先，我们证明了渐近培训损失和泛化误差的严格公式。其次，我们呈现了许多情况，其中模型的学习曲线捕获了使用内​​核回归和分类学习的现实数据集之一，其中盒出开箱特征映射，例如随机投影或散射变换，或者与散射变换预先学习的 - 例如通过培训多层神经网络学到的特征。我们讨论了框架的权力和局限性。

随机梯度下降（SGD）是现代机器学习的支柱，是各种问题的首选优化算法。尽管SGD的经验成功通常归因于其计算效率和有利的概括行为，但两者都没有充分理解和解散它们仍然是一个开放的问题。即使在简单的凸二次问题的设置中，最坏情况分析也给SGD的渐近收敛率提供了不比全批梯度下降（GD）更好的，而SGD的所谓隐式正则作用缺乏精确的解释。在这项工作中，我们研究了高维凸四边形上多通sgd的动力学，并建立了与随机微分方程的渐近等效性，我们称之为同质化的随机梯度下降（HSGD），我们的解决方案我们以我们的解决方案的方式明确表征Volterra积分方程。这些结果为学习和风险轨迹提供精确的公式，该公式揭示了隐性条件的机制，该机制解释了SGD相对于GD的效率。我们还证明，来自SGD的噪声会对泛化性能产生负面影响，排除在这种情况下任何类型的隐式正则化的可能性。最后，我们展示了如何适应HSGD形式主义以包括流媒体SGD，这使我们能够针对相对于流SGD（Bootstrap风险）的多通SGD的多余风险产生确切的预测。

我们研究了与深神经网络分析有关的随机矩阵产物的奇异值的分布。然而，矩阵类似于样品协方差矩阵的乘积，一个重要的区别是，假定的种群协方差矩阵是非随机或随机的，但独立于统计和随机矩阵理论中的随机数据矩阵，现在是随机数据的某些功能矩阵（深神经网络术语中的突触重量矩阵）。该问题在最近的工作[25，13]中已通过使用自由概率理论的技术。但是，自由概率理论涉及独立于数据矩阵的人口协方差矩阵，因此必须证明其适用性。使用随机矩阵理论的技术版本，对于具有独立条目的高斯数据矩阵，具有独立条目的高斯数据矩阵（一种自由概率的标准分析模型）的理由。在本文中，我们使用另一种更简化的随机矩阵理论技术的版本将[22]的结果推广到突触重量矩阵的条目仅是独立分布的随机变量，均值和有限第四，片刻。特别是，这扩展了所谓的宏观普遍性在被考虑的随机矩阵上的特性。

成功的深度学习模型往往涉及培训具有比训练样本数量更多的参数的神经网络架构。近年来已经广泛研究了这种超分子化的模型，并且通过双下降现象和通过优化景观的结构特性，从统计的角度和计算视角都建立了过分统计化的优点。尽管在过上分层的制度中深入学习架构的显着成功，但也众所周知，这些模型对其投入中的小对抗扰动感到高度脆弱。即使在普遍培训的情况下，它们在扰动输入（鲁棒泛化）上的性能也会比良性输入（标准概括）的最佳可达到的性能更糟糕。因此，必须了解如何从根本上影响稳健性的情况下如何影响鲁棒性。在本文中，我们将通过专注于随机特征回归模型（具有随机第一层权重的两层神经网络）来提供超分度化对鲁棒性的作用的精确表征。我们考虑一个制度，其中样本量，输入维度和参数的数量彼此成比例地生长，并且当模型发生前列地训练时，可以为鲁棒泛化误差导出渐近精确的公式。我们的发达理论揭示了过分统计化对鲁棒性的非竞争效果，表明对于普遍训练的随机特征模型，高度公正化可能会损害鲁棒泛化。

我们在本文中研究了从多层神经网络中得出的模型的概括误差，在层中层的大小与训练数据中的样本数量相称的状态下。我们表明，在此制度中，无偏估计器对于此类非线性网络具有不可接受的性能。在线性回归和两层网络的情况下，我们得出了一般偏置估计量的显式概括下限。在线性情况下，界限渐近紧。在非线性情况下，我们将边界与随机梯度下降算法的经验研究提供了比较。该分析使用大型随机矩阵理论中的元素。

现代神经网络通常以强烈的过度构造状态运行：它们包含许多参数，即使实际标签被纯粹随机的标签代替，它们也可以插入训练集。尽管如此，他们在看不见的数据上达到了良好的预测错误：插值训练集并不会导致巨大的概括错误。此外，过度散色化似乎是有益的，因为它简化了优化景观。在这里，我们在神经切线（NT）制度中的两层神经网络的背景下研究这些现象。我们考虑了一个简单的数据模型，以及各向同性协变量的矢量，$ d $尺寸和$ n $隐藏的神经元。我们假设样本量$ n $和尺寸$ d $都很大，并且它们在多项式上相关。我们的第一个主要结果是对过份术的经验NT内核的特征结构的特征。这种表征意味着必然的表明，经验NT内核的最低特征值在$ ND \ gg n $后立即从零界限，因此网络可以在同一制度中精确插值任意标签。我们的第二个主要结果是对NT Ridge回归的概括误差的表征，包括特殊情况，最小值-ULL_2 $ NORD插值。我们证明，一旦$ nd \ gg n $，测试误差就会被内核岭回归之一相对于无限宽度内核而近似。多项式脊回归的误差依次近似后者，从而通过与激活函数的高度组件相关的“自我诱导的”项增加了正则化参数。多项式程度取决于样本量和尺寸（尤其是$ \ log n/\ log d $）。

张量模型在许多领域中起着越来越重要的作用，特别是在机器学习中。在几种应用中，例如社区检测，主题建模和高斯混合物学习，必须估算噪声张量的低级别信号。因此，了解该信号的估计器的基本限制不可避免地要求研究随机张量。最近，在大维限制中，该主题取得了实质性进展。然而，其中一些最重要的结果（尤其是对突然的相变（相对于信噪比）的精确表征），该表现控制着对称等级的最大可能性（ML）估计器的性能 - 具有高斯噪声的模型 - 基于平均场自旋玻璃理论得出，非专家不容易访问。在这项工作中，我们依靠标准但强大的工具开发出一种截然不同，更基本的方法，这是由随机矩阵理论的多年进步带来的。关键思想是研究由给定随机张量的收缩引起的随机矩阵的光谱。我们展示了如何访问随机张量本身的光谱属性。对于上述排名衡量模型，我们的技术产生了迄今未知的固定点方程，其解决方案与第三阶情况下的相变阈值高于相变阈值的ML估计器的渐近性能。数值验证提供了证据，表明订单4和5相同，导致我们猜想，对于任何顺序，我们的定点方程等于已知的ML估计性能的表征，这些表现通过依靠旋转玻璃而获得。此外，我们的方法阐明了ML问题景观的某些特性，可以扩展到其他模型，例如不对称和非高斯。

了解特征学习如何影响概括是现代深度学习理论的最重要目标之一。在这里，我们研究了学习表示的能力如何影响一类简单模型的概括性能：深贝叶斯线性神经网络接受了非结构化高斯数据的训练。通过将深层随机特征模型与所有训练所有层的深网进行比较，我们将提供详细的表征宽度，深度，数据密度和先验不匹配之间的相互作用。我们表明，在存在标签噪声的情况下，这两种模型都显示出样本的双重变化行为。如果有狭窄的瓶颈层，那么随机特征模型还可以显示模型的双重变化，而深网不显示这些分歧。随机特征模型可以具有特定的宽度，这些宽度对于在给定的数据密度下是最佳的概括，同时使神经网络尽可能宽或狭窄始终是最佳的。此外，我们表明，对内核限制学习曲线的前阶校正无法区分所有培训所有层的随机特征模型和深层网络。综上所述，我们的发现开始阐明建筑细节如何影响这种简单的深层回归模型类别的概括性能。

深神经网络（DNN）是用于压缩和蒸馏信息的强大工具。由于它们的规模和复杂性，通常涉及数十亿间相互作用的内部自由度，精确分析方法通常会缩短。这种情况下的共同策略是识别平均潜在的快速微观变量的不稳定行为的缓慢自由度。在这里，我们在训练结束时识别在过度参数化的深卷积神经网络（CNNS）中发生的尺度的分离。它意味着神经元预激活与几乎高斯的方式与确定性潜在内核一起波动。在对于具有无限许多频道的CNN来说，这些内核是惰性的，对于有限的CNNS，它们以分析的方式通过数据适应和学习数据。由此产生的深度学习的热力学理论产生了几种深度非线性CNN玩具模型的准确预测。此外，它还提供了新的分析和理解CNN的方法。

最近的作品证明了过度参数化学习中的双重下降现象：随着模型参数的数量的增加，多余的风险具有$ \ mathsf {u} $ - 在开始时形状，然后在模型高度过度参数化时再次减少。尽管最近在不同的环境（例如线性模型，随机特征模型和内核方法）下进行了研究，但在理论上尚未完全理解这种现象。在本文中，我们考虑了由两种随机特征组成的双随机特征模型（DRFM），并研究DRFM在脊回归中实现的多余风险。我们计算高维框架下的多余风险的确切限制，在这种框架上，训练样本量，数据尺寸和随机特征的维度往往会成比例地无限。根据计算，我们证明DRFM的风险曲线可以表现出三重下降。然后，我们提供三重下降现象的解释，并讨论随机特征维度，正则化参数和信噪比比率如何控制DRFMS风险曲线的形状。最后，我们将研究扩展到多个随机功能模型（MRFM），并表明具有$ K $类型的随机功能的MRFM可能会显示出$（K+1）$ - 折叠。我们的分析指出，具有特定数量下降的风险曲线通常在基于特征的回归中存在。另一个有趣的发现是，当学习神经网络在“神经切线内核”制度中时，我们的结果可以恢复文献中报告的风险峰值位置。

The logit outputs of a feedforward neural network at initialization are conditionally Gaussian, given a random covariance matrix defined by the penultimate layer. In this work, we study the distribution of this random matrix. Recent work has shown that shaping the activation function as network depth grows large is necessary for this covariance matrix to be non-degenerate. However, the current infinite-width-style understanding of this shaping method is unsatisfactory for large depth: infinite-width analyses ignore the microscopic fluctuations from layer to layer, but these fluctuations accumulate over many layers. To overcome this shortcoming, we study the random covariance matrix in the shaped infinite-depth-and-width limit. We identify the precise scaling of the activation function necessary to arrive at a non-trivial limit, and show that the random covariance matrix is governed by a stochastic differential equation (SDE) that we call the Neural Covariance SDE. Using simulations, we show that the SDE closely matches the distribution of the random covariance matrix of finite networks. Additionally, we recover an if-and-only-if condition for exploding and vanishing norms of large shaped networks based on the activation function.

我们研究了称为“乐观速率”（Panchenko 2002; Srebro等，2010）的统一收敛概念，用于与高斯数据的线性回归。我们的精致分析避免了现有结果中的隐藏常量和对数因子，这已知在高维设置中至关重要，特别是用于了解插值学习。作为一个特殊情况，我们的分析恢复了Koehler等人的保证。（2021年），在良性过度的过度条件下，严格地表征了低规范内插器的人口风险。但是，我们的乐观速度绑定还分析了具有任意训练错误的预测因子。这使我们能够在随机设计下恢复脊和套索回归的一些经典统计保障，并有助于我们在过度参数化制度中获得精确了解近端器的过度风险。

已知神经网络对对抗性例子高度敏感。这些可能是由于不同的因素，例如随机初始化或学习问题中的虚假相关性。为了更好地理解这些因素，我们提供了对不同场景中对抗性鲁棒性的精确研究，从初始化到不同制度的培训结束以及中间场景，由于“懒惰”培训，初始化仍然起着作用。我们考虑具有二次靶标和无限样品的高维度中的过度参数化网络。我们的分析使我们能够确定近似（通过测试错误测量）和鲁棒性之间的新权衡，从而在测试误差改善时只能变得更糟，反之亦然。我们还展示了由于不当缩放的随机初始化，线性化的懒惰训练机制如何使鲁棒性恶化。通过数值实验说明了我们的理论结果。

We consider the random feature ridge regression (RFRR) given by a two-layer neural network at random initialization. We study the non-asymptotic behaviors of the training error, cross-validations, and generalization error of RFRR with nearly orthogonal deterministic input data in the overparameterized regime, where the number of parameters $N$ is much larger than the sample size $n$. We respectively establish the concentrations of the training errors, cross-validations, and generalization errors of RFRR around their corresponding errors of kernel ridge regression (KRR). This KRR is defined by an expected kernel from a random feature map. We then approximate the performances of the KRR by a polynomial kernel matrix, whose degree only depends on the orthogonality among different input vectors. The degree of this polynomial kernel essentially determines the asymptotic behavior of RFRR and KRR. Our results hold for a general class of target functions and input data with weak approximate orthonormal properties among different data points. Based on these approximations and nearly orthogonality, we obtain a lower bound for the generalization error of RFRR.

对于由缺陷线性回归中的标签噪声引起的预期平均平方概率，我们证明了无渐近分布的下限。我们的下部结合概括了过度公共数据（内插）制度的类似已知结果。与最先前的作品相比，我们的分析适用于广泛的输入分布，几乎肯定的全排列功能矩阵，允许我们涵盖各种类型的确定性或随机特征映射。我们的下限是渐近的锐利，暗示在存在标签噪声时，缺陷的线性回归不会在任何这些特征映射中围绕内插阈值进行良好的。我们详细分析了强加的假设，并为分析（随机）特征映射提供了理论。使用此理论，我们可以表明我们的假设对于具有（Lebesgue）密度的输入分布以及随机深神经网络给出的特征映射，具有Sigmoid，Tanh，SoftPlus或Gelu等分析激活功能。作为进一步的例子，我们示出了来自随机傅里叶特征和多项式内核的特征映射也满足我们的假设。通过进一步的实验和分析结果，我们补充了我们的理论。

过度参数化对现代机器学习（ML）模型的整体性能的好处是众所周知的。但是，在更颗粒状的数据亚组水平上过度参数化的影响知之甚少。最近的实证研究表明了令人鼓舞的结果：（i）当尚不清楚的团体时，对经验风险最小化训练的过度参数化模型（ERM）对少数群体的表现更好；（ii）当已知组时，对数据进行均采样以均衡的数据将产生过度参数化的制度中最新的群体临界性。在本文中，我们通过对少数群体过度参数化特征模型的风险进行理论研究来补充这些经验研究。在大多数和少数群体的回归功能不同的环境中，我们表明过度参数始终可以改善少数群体的绩效。

多级分类问题的广义线性模型是现代机器学习任务的基本构建块之一。在本手稿中，我们通过具有任何凸损耗和正规化的经验风险最小化（ERM）来描述与通用手段和协方士的k $高斯的混合。特别是，我们证明了表征ERM估计的精确渐近剂，以高维度，在文献中扩展了关于高斯混合分类的几个先前结果。我们举例说明我们在统计学习中的两个兴趣任务中的两个任务：a）与稀疏手段的混合物进行分类，我们研究了$ \ ell_2 $的$ \ ell_1 $罚款的效率; b）Max-Margin多级分类，在那里我们在$ k> 2 $的多级逻辑最大似然估计器上表征了相位过渡。最后，我们讨论了我们的理论如何超出合成数据的范围，显示在不同的情况下，高斯混合在真实数据集中密切地捕获了分类任务的学习曲线。