在本手稿中，我们考虑在高斯设计下的内核Ridge回归（KRR）。根据特征的幂律衰减，在各种作品中报告了KRR过度概括误差衰减的指数。然而，这些衰变是为虚拟化的不同设置提供，即在无噪声案例中，在恒定正则化和嘈杂的最佳正则化案例中。中介设置已留下了大幅上未公布的。在这项工作中，我们统一并扩展了这一工作，提供了所有制度的表征和可以在噪声和正则化相互作用方面观察到的超出误差衰减率。特别是，我们展示了随着样本复杂性增加了无噪音指数与其嘈杂值之间的嘈杂设置中的过渡。最后，我们说明了如何在真实数据集上观察到该交叉。

我们考虑内核分类的问题。内核回归的作品表明，预测误差的衰减率与大量数据集的样品数量的数量有两个数量：数据集的容量和来源。在这项工作中，我们计算了高斯设计下错误分类（预测）错误的衰减率，以满足源和容量假设的数据集。我们得出了两个标准内核分类设置的源和容量系数的函数，即边缘最大化支持向量机（SVM）和脊分类，并将两种方法对比。结果，我们发现该类别的数据集已知的最差案例频率松散。最后，我们表明，在实际数据集中还观察到了这项工作中介绍的费率。

教师 - 学生模型提供了一个框架，其中可以以封闭形式描述高维监督学习的典型情况。高斯I.I.D的假设然而，可以认为典型教师 - 学生模型的输入数据可以被认为过于限制，以捕获现实数据集的行为。在本文中，我们介绍了教师和学生可以在不同的空格上行动的模型的高斯协变态概括，以固定的，而是通用的特征映射。虽然仍处于封闭形式的仍然可解决，但这种概括能够捕获广泛的现实数据集的学习曲线，从而兑现师生框架的潜力。我们的贡献是两倍：首先，我们证明了渐近培训损失和泛化误差的严格公式。其次，我们呈现了许多情况，其中模型的学习曲线捕获了使用内​​核回归和分类学习的现实数据集之一，其中盒出开箱特征映射，例如随机投影或散射变换，或者与散射变换预先学习的 - 例如通过培训多层神经网络学到的特征。我们讨论了框架的权力和局限性。

多级分类问题的广义线性模型是现代机器学习任务的基本构建块之一。在本手稿中，我们通过具有任何凸损耗和正规化的经验风险最小化（ERM）来描述与通用手段和协方士的k $高斯的混合。特别是，我们证明了表征ERM估计的精确渐近剂，以高维度，在文献中扩展了关于高斯混合分类的几个先前结果。我们举例说明我们在统计学习中的两个兴趣任务中的两个任务：a）与稀疏手段的混合物进行分类，我们研究了$ \ ell_2 $的$ \ ell_1 $罚款的效率; b）Max-Margin多级分类，在那里我们在$ k> 2 $的多级逻辑最大似然估计器上表征了相位过渡。最后，我们讨论了我们的理论如何超出合成数据的范围，显示在不同的情况下，高斯混合在真实数据集中密切地捕获了分类任务的学习曲线。

强大的机器学习模型的开发中的一个重要障碍是协变量的转变，当训练和测试集的输入分布时发生的分配换档形式在条件标签分布保持不变时发生。尽管现实世界应用的协变量转变普遍存在，但在现代机器学习背景下的理论理解仍然缺乏。在这项工作中，我们检查协变量的随机特征回归的精确高尺度渐近性，并在该设置中提出了限制测试误差，偏差和方差的精确表征。我们的结果激发了一种自然部分秩序，通过协变速转移，提供足够的条件来确定何时何时损害（甚至有助于）测试性能。我们发现，过度分辨率模型表现出增强的协会转变的鲁棒性，为这种有趣现象提供了第一个理论解释之一。此外，我们的分析揭示了分销和分发外概率性能之间的精确线性关系，为这一令人惊讶的近期实证观察提供了解释。

内核岭回归（KRR）最近引起了新的兴趣，因为它可以解释在神经网络训练期间出现的瞬态效应，例如双重下降。在这项工作中，我们研究目标函数与内核之间的对齐方式如何影响KRR的性能。我们专注于截短的KRR（TKRR），该KRR（TKRR）利用一个控制核矩阵的光谱截断的附加参数。我们表明，对于多项式对齐，有一个\ emph {过度对准}制度，其中TKRR可以实现比Full KRR可以实现的要快的速度。 TKRR的速率可以一直提高到参数速率，而全krr的速率则以亚最佳值的限制。这表明，通过在内核方法中利用光谱截断，可以更好地利用目标alignemnt。我们还考虑了带有限制的对准设置，并表明TKRR的正则化表面可以表现出瞬态效应，包括多个下降和非单调行为。我们的结果表明，\ emph {对齐谱}的形状与内核方法的概括性能之间存在很强的关系，无论是在速率和有限样品方面。

具有动量的迷你批次SGD是学习大型预测模型的基本算法。在本文中，我们开发了一个新的分析框架，以分析不同动量和批次大小的线性模型的迷你批次SGD。我们的关键思想是用其生成函数来描述损耗值序列，可以以紧凑的形式写出，假设模型权重的第二矩对角近似。通过分析这种生成功能，我们得出了有关收敛条件，模型相结构和最佳学习设置的各种结论。作为几个示例，我们表明1）优化轨迹通常可以从“信号主导”转换为“噪声主导”阶段，以分析性预测的时间尺度； 2）在“信号主导”（但不是“以噪声为主导”的）阶段中，有利于选择较大的有效学习率，但是对于任何有限的批次大小，其值必须受到限制，以避免发散； 3）可以在负动量下实现最佳收敛速率。我们通过对MNIST和合成问题进行广泛的实验来验证我们的理论预测，并找到良好的定量一致性。

Learning curves provide insight into the dependence of a learner's generalization performance on the training set size. This important tool can be used for model selection, to predict the effect of more training data, and to reduce the computational complexity of model training and hyperparameter tuning. This review recounts the origins of the term, provides a formal definition of the learning curve, and briefly covers basics such as its estimation. Our main contribution is a comprehensive overview of the literature regarding the shape of learning curves. We discuss empirical and theoretical evidence that supports well-behaved curves that often have the shape of a power law or an exponential. We consider the learning curves of Gaussian processes, the complex shapes they can display, and the factors influencing them. We draw specific attention to examples of learning curves that are ill-behaved, showing worse learning performance with more training data. To wrap up, we point out various open problems that warrant deeper empirical and theoretical investigation. All in all, our review underscores that learning curves are surprisingly diverse and no universal model can be identified.

已知量子计算机可以在某些专业设置中使用经典的最先进的机器学习方法提供加速。例如，已证明量子内核方法可以在离散对数问题的学习版本上提供指数加速。了解量子模型的概括对于实现实际利益问题的类似加速至关重要。最近的结果表明，量子特征空间的指数大小阻碍了概括。尽管这些结果表明，量子模型在量子数数量较大时无法概括，但在本文中，我们表明这些结果依赖于过度限制性的假设。我们通过改变称为量子内核带宽的超参数来考虑更广泛的模型。我们分析了大量限制，并为可以以封闭形式求解的量子模型的概括提供了明确的公式。具体而言，我们表明，更改带宽的值可以使模型从不能概括到任何目标函数到对准目标的良好概括。我们的分析表明，带宽如何控制内核积分操作员的光谱，从而如何控制模型的电感偏置。我们从经验上证明，我们的理论正确地预测带宽如何影响质量模型在具有挑战性的数据集上的概括，包括远远超出我们理论假设的数据集。我们讨论了结果对机器学习中量子优势的含义。

建立深度学习的理论基础的一个关键挑战是神经网络的复杂优化动态，由大量网络参数之间的高维相互作用产生。这种非琐碎的动态导致有趣的行为，例如概括误差的“双重下降”的现象。这种现象的越常见的方面对应于模型 - 明智的双下降，其中测试误差具有增加模型复杂性的第二下降，超出经典的U形误差曲线。在这项工作中，我们研究了研究误差在训练时间增加时进行了测试误差的较低学习的巨头双重下降的起源。通过利用统计物理学的工具，我们研究了展示了与深神经网络中的EPOCH-WISE Double Countcle的线性师生设置。在此设置中，我们导出了封闭式的分析表达式，用于培训泛化误差的演变。我们发现双重血统可以归因于不同尺度的不同特征：作为快速学习功能过度装备，较慢的学习功能开始适合，导致测试错误的第二个下降。我们通过数字实验验证了我们的研究结果，其中我们的理论准确预测了实证发现，并与深神经网络中的观察结果保持一致。

许多最近的作品表明，过度分辨率隐含地降低了MIN-NORM Interpolator和Max-Maxifiers的方差。这些调查结果表明，RIDGE正则化在高维度下具有消失的益处。我们通过表明，即使在没有噪声的情况下，避免通过脊正则化的插值可以显着提高泛化。我们证明了这种现象，用于线性回归和分类的强大风险，因此提供了强大的过度装备的第一个理论结果。

了解特征学习如何影响概括是现代深度学习理论的最重要目标之一。在这里，我们研究了学习表示的能力如何影响一类简单模型的概括性能：深贝叶斯线性神经网络接受了非结构化高斯数据的训练。通过将深层随机特征模型与所有训练所有层的深网进行比较，我们将提供详细的表征宽度，深度，数据密度和先验不匹配之间的相互作用。我们表明，在存在标签噪声的情况下，这两种模型都显示出样本的双重变化行为。如果有狭窄的瓶颈层，那么随机特征模型还可以显示模型的双重变化，而深网不显示这些分歧。随机特征模型可以具有特定的宽度，这些宽度对于在给定的数据密度下是最佳的概括，同时使神经网络尽可能宽或狭窄始终是最佳的。此外，我们表明，对内核限制学习曲线的前阶校正无法区分所有培训所有层的随机特征模型和深层网络。综上所述，我们的发现开始阐明建筑细节如何影响这种简单的深层回归模型类别的概括性能。

过度参数化的神经网络的实际成功促进了最近对插值方法的科学研究，这些研究非常适合其训练数据。如果没有灾难性的测试表现，包括神经网络在内的某些插值方法（包括神经网络）可以符合嘈杂的训练数据，这是违反统计学习理论的标准直觉的。为了解释这一点，最近的一系列工作研究了$ \ textit {良性过拟合} $，这是一种现象，其中一些插值方法即使在存在噪音的情况下也接近了贝叶斯的最佳性。在这项工作中，我们认为，虽然良性过度拟合既具有启发性和富有成效的研究在测试时间的风险，这意味着这些模型既不是良性也不是灾难性的，而是属于中间状态。我们称此中级制度$ \ textit {perked forporting} $，我们启动其系统研究。我们首先在内核（Ridge）回归（KR）的背景下探索这种现象，通过在脊参数和核特征光谱上获得条件，KR在这些条件下表现出三种行为。我们发现，具有PowerLaw光谱的内核，包括Laplace内核和Relu神经切线内核，表现出了过度拟合的。然后，我们通过分类法的镜头从经验上研究深度神经网络，并发现接受插值训练的人是脾气暴躁的，而那些训练的人则是良性的。我们希望我们的工作能够使人们对现代学习过度拟合的过度理解。

现代深度学习系统的区别特征之一是，它们通常采用利用巨大数量的参数，通常在数百万中使用的神经网络架构。虽然这个范例对大型网络的性质启发了重要研究，但是致力于这些网络通常用于建模大型复杂数据集的事实，而且它们本身可能包含数百万甚至数十亿的约束的事实。在这项工作中，我们专注于这种高维制度，其中数据集大小和特征数量往往是无限的。我们分析随机重量矩阵$ W $和随机偏置向量$ B $的随机特征回归的性能$ f = f（wx + b）$ b $，获取用于渐近培训的确切公式，并对数据产生的数据进行测试错误一个线性教师模型。偏差的作用可以理解为参数化在激活功能上的分布，并且我们的分析直接推广到这种分布，即使是传统的附加偏差不表达的那些分布。有趣的是，我们发现非线性的混合物可以通过最好的单一非线性来改善训练和测试误差，这表明非线性的混合物可能对近似内核方法或神经网络架构设计有用。

In many modern applications of deep learning the neural network has many more parameters than the data points used for its training. Motivated by those practices, a large body of recent theoretical research has been devoted to studying overparameterized models. One of the central phenomena in this regime is the ability of the model to interpolate noisy data, but still have test error lower than the amount of noise in that data. arXiv:1906.11300 characterized for which covariance structure of the data such a phenomenon can happen in linear regression if one considers the interpolating solution with minimum $\ell_2$-norm and the data has independent components: they gave a sharp bound on the variance term and showed that it can be small if and only if the data covariance has high effective rank in a subspace of small co-dimension. We strengthen and complete their results by eliminating the independence assumption and providing sharp bounds for the bias term. Thus, our results apply in a much more general setting than those of arXiv:1906.11300, e.g., kernel regression, and not only characterize how the noise is damped but also which part of the true signal is learned. Moreover, we extend the result to the setting of ridge regression, which allows us to explain another interesting phenomenon: we give general sufficient conditions under which the optimal regularization is negative.

从任务到任务的顺序训练正在成为深度学习应用中的主要对象之一，例如持续学习和转移学习。尽管如此，在训练有素的模型的性能改善或恶化的情况下，它仍然不清楚。为了深化我们对顺序培训的理解，本研究在不断学习的可解下的案例中提供了对概括性表现的理论分析。我们考虑神经切线内核（NTK）制度中的神经网络，以便将目标功能从任务中持续学习到任务，并通过使用核心脊的统计机械分析来调查延伸的核心脊的回归。我们首先表现出从积极转移到负转移的特征过渡。高于特定临界值的更类似的目标可以实现随后的任务的积极知识转移，而灾难性的遗忘也会发生，即使具有非常相似的目标。接下来，我们调查持续学习的变体，其中模型在多个任务中学习相同的目标函数。即使对于同一目标，训练型模型也会显示一些转移和遗忘，具体取决于每个任务的样本大小。我们可以保证泛化误差从任务单调减少到相同的样本大小的任务，而不平衡样本大小会降低泛化。我们分别指的是自我知识转移和遗忘的这些改善和恶化，并经验证实它们的深神经网络的现实培训。

从数据中学习的方法取决于各种类型的调整参数，例如惩罚强度或步长大小。由于性能可以在很大程度上取决于这些参数，因此重要的是要比较估算器的类别 - 考虑规定的有限调谐参数集，而不是特别调谐的方法。在这项工作中，我们通过同类中最佳方法的相对性能研究方法类。我们考虑了线性回归的中心问题，即随机的各向同性地面真理，并研究了两种基本方法的估计性能，即梯度下降和脊回归。我们公布以下现象。 （1）对于一般设计，当经验数据协方差矩阵衰减的特征值缓慢，作为指数较不小于统一的功率定律时，恒定的梯度下降优于山脊回归。相反，如果特征值迅速衰减，则作为指数大于统一或指数的权力定律，我们表明山脊回归优于梯度下降。 （2）对于正交设计，我们计算了确切的最小值最佳估计器类别（达到最低最大最大最佳），这表明它等同于具有衰减学习率的梯度下降。我们发现山脊回归和梯度下降的次数均具有恒定的步长。我们的结果表明，统计性能可以在很大程度上取决于调整参数。特别是，虽然最佳调谐脊回归是我们设置中的最佳估计器，但当仅在有限的许多正则化参数上调整两种方法时，它可以用任意/无界数量的梯度下降来表现优于梯度下降。

最近的实证工作表明，由卷积神经网络（CNNS）启发的分层卷积核（CNNS）显着提高了内核方法​​在图像分类任务中的性能。对这些架构成功的广泛解释是它们编码适合自然图像的假设类。然而，了解卷积架构中近似和泛化之间的精确相互作用仍然是一个挑战。在本文中，我们考虑均匀分布在超立方体上的协变量（图像像素）的程式化设置，并完全表征由单层卷积，汇集和下采样操作组成的内核的RKH。然后，我们使用这些内核通过标准内部产品内核来研究内核方法的样本效率的增益。特别是，我们展示了1）卷积层通过将RKHS限制为“本地”功能来打破维度的诅咒; 2）局部汇集偏置朝向低频功能，这是较小的翻译稳定; 3）下采样可以修改高频成粒空间，但留下了大致不变的低频部分。值得注意的是，我们的结果量化了选择适应目标函数的架构如何导致样本复杂性的大量改善。

人们普遍认为，深网的成功在于他们学习数据功能的有意义表示的能力。然而，了解该功能学习何时以及如何提高性能仍然是一个挑战：例如，它对经过对图像进行分类的现代体系结构有益，而对于在相同数据上针对同一任务培训的完全连接的网络是有害的。在这里，我们提出了有关此难题的解释，表明特征学习可以比懒惰训练（通过随机特征内核或NTK）更糟糕，因为前者可以导致较少的神经表示。尽管已知稀疏性对于学习各向异性数据是必不可少的，但是当目标函数沿输入空间的某些方向恒定或平滑时，这是有害的。我们在两个设置中说明了这种现象：（i）在D维单元球体上的高斯随机函数的回归，以及（ii）图像基准数据集的分类。对于（i），我们通过训练点数来计算概括误差的缩放率，并证明即使输入空间的尺寸很大，不学习特征的方法也可以更好地推广。对于（ii），我们从经验上表明，学习特征确实会导致稀疏，从而减少图像预测因子的平滑表示。这一事实是可能导致性能恶化的，这与沿差异性的平滑度相关。

卷积神经网络执行了对数据的本地和平移 - 不变的处理：量化这两个方面中的哪一个是他们的成功仍然是一个挑战。我们在核心学生框架内研究了核心回归的师父框架中的这个问题，它使用了给定滤波器大小的简单卷积架构的神经切线内核的启发。使用从物理学中的启发式方法，我们发现在确定学习曲线指数$ \ beta $的宽恕案例中，该位置是关键的关键，而是将测试错误$ \ epsilon_t \ sim p ^ { - \ beta} $ to to the培训设定$ p $），而平移不变性则不是。特别是，如果老师的滤波器大小比学生$ s $小于学生，$ \ beta $的函数仅限于$ s $的函数，并且不依赖于输入维度。我们在经验上确认了我们对$ \ Beta $的预测。我们通过使用自然普遍性假设来得出结论，利用覆盖训练集的大小减少的山脊的内核回归导致我们在缺陷案件中获得的类似学习曲线指数。