尽管他们成功了，但了解卷积神经网络（CNN）如何有效地学习高维功能仍然是一个基本挑战。一个普遍的看法是，这些模型利用自然数据（例如图像）的组成和分层结构。然而，我们对这种结构如何影响性能，缺乏定量的理解，例如训练样本数量的概括误差的衰减率。在本文中，我们研究了内核制度中的深入CNN：i）我们证明了相应的内核及其渐近学的光谱继承了网络的层次结构； ii）我们使用概括范围来证明深CNN适应目标函数的空间尺度； iii）我们通过计算教师学生环境中误差的衰减率来说明这一结果，在教师学生的设置中，对另一个具有随机发射参数的深CNN的输出进行了深入的CNN训练。我们发现，如果教师函数取决于输入变量的某些低维基集，则速率由这些子集的有效维度控制。相反，如果教师函数取决于整个输入变量，则错误率与输入维度成反比。有趣的是，这意味着尽管具有层次结构，但深CNN产生的功能太丰富了，无法在高维度上有效地学习。

卷积神经网络执行了对数据的本地和平移 - 不变的处理：量化这两个方面中的哪一个是他们的成功仍然是一个挑战。我们在核心学生框架内研究了核心回归的师父框架中的这个问题，它使用了给定滤波器大小的简单卷积架构的神经切线内核的启发。使用从物理学中的启发式方法，我们发现在确定学习曲线指数$ \ beta $的宽恕案例中，该位置是关键的关键，而是将测试错误$ \ epsilon_t \ sim p ^ { - \ beta} $ to to the培训设定$ p $），而平移不变性则不是。特别是，如果老师的滤波器大小比学生$ s $小于学生，$ \ beta $的函数仅限于$ s $的函数，并且不依赖于输入维度。我们在经验上确认了我们对$ \ Beta $的预测。我们通过使用自然普遍性假设来得出结论，利用覆盖训练集的大小减少的山脊的内核回归导致我们在缺陷案件中获得的类似学习曲线指数。

人们普遍认为，深网的成功在于他们学习数据功能的有意义表示的能力。然而，了解该功能学习何时以及如何提高性能仍然是一个挑战：例如，它对经过对图像进行分类的现代体系结构有益，而对于在相同数据上针对同一任务培训的完全连接的网络是有害的。在这里，我们提出了有关此难题的解释，表明特征学习可以比懒惰训练（通过随机特征内核或NTK）更糟糕，因为前者可以导致较少的神经表示。尽管已知稀疏性对于学习各向异性数据是必不可少的，但是当目标函数沿输入空间的某些方向恒定或平滑时，这是有害的。我们在两个设置中说明了这种现象：（i）在D维单元球体上的高斯随机函数的回归，以及（ii）图像基准数据集的分类。对于（i），我们通过训练点数来计算概括误差的缩放率，并证明即使输入空间的尺寸很大，不学习特征的方法也可以更好地推广。对于（ii），我们从经验上表明，学习特征确实会导致稀疏，从而减少图像预测因子的平滑表示。这一事实是可能导致性能恶化的，这与沿差异性的平滑度相关。

最近的实证工作表明，由卷积神经网络（CNNS）启发的分层卷积核（CNNS）显着提高了内核方法​​在图像分类任务中的性能。对这些架构成功的广泛解释是它们编码适合自然图像的假设类。然而，了解卷积架构中近似和泛化之间的精确相互作用仍然是一个挑战。在本文中，我们考虑均匀分布在超立方体上的协变量（图像像素）的程式化设置，并完全表征由单层卷积，汇集和下采样操作组成的内核的RKH。然后，我们使用这些内核通过标准内部产品内核来研究内核方法的样本效率的增益。特别是，我们展示了1）卷积层通过将RKHS限制为“本地”功能来打破维度的诅咒; 2）局部汇集偏置朝向低频功能，这是较小的翻译稳定; 3）下采样可以修改高频成粒空间，但留下了大致不变的低频部分。值得注意的是，我们的结果量化了选择适应目标函数的架构如何导致样本复杂性的大量改善。

许多监督的学习问题涉及高维数据，例如图像，文本或图形。为了能够有效地利用数据，它通常有用的是在手头的问题中利用某些几何前瞻，例如与换算，置换子组或稳定性的不变性。通过考虑球体上这些功能的球形谐波分解，我们研究了目标功能提出了这种不变性和稳定性特性的学习问题的样本复杂性。我们提供内核方法的非参数率的收敛速度，并且在与相应的非不变内核相比，在该组上使用不变内核时，通过等于组的大小的因子的提高。当样本大小足够大时，这些改进是有效的，其渐近行为取决于该组的光谱特性。最后，这些增益扩展到不变性组之外，还涵盖小变形的几何稳定性，这里被建模为排列的子集（不一定是子组）。

We consider neural networks with a single hidden layer and non-decreasing positively homogeneous activation functions like the rectified linear units. By letting the number of hidden units grow unbounded and using classical non-Euclidean regularization tools on the output weights, they lead to a convex optimization problem and we provide a detailed theoretical analysis of their generalization performance, with a study of both the approximation and the estimation errors. We show in particular that they are adaptive to unknown underlying linear structures, such as the dependence on the projection of the input variables onto a low-dimensional subspace. Moreover, when using sparsity-inducing norms on the input weights, we show that high-dimensional non-linear variable selection may be achieved, without any strong assumption regarding the data and with a total number of variables potentially exponential in the number of observations. However, solving this convex optimization problem in infinite dimensions is only possible if the non-convex subproblem of addition of a new unit can be solved efficiently. We provide a simple geometric interpretation for our choice of activation functions and describe simple conditions for convex relaxations of the finite-dimensional non-convex subproblem to achieve the same generalization error bounds, even when constant-factor approximations cannot be found. We were not able to find strong enough convex relaxations to obtain provably polynomial-time algorithms and leave open the existence or non-existence of such tractable algorithms with non-exponential sample complexities.

了解神经网络大规模成功背后的基本原则是深度学习中最重要的开放性问题之一。但是，由于问题的高度复杂性，进展相对缓慢。在本说明中，通过无限宽度网络的镜头，A.K.A.神经内核，我们介绍了由分层本地产生的一个这样的原则。众所周知，无限宽度多层感知者（MLP）的特征结构仅取决于概念频率，从而测量相互作用的顺序。我们表明来自深度卷积网络（CNNS）的拓扑结构将相关的EIGenspace重组为更精细的子空间。除了频率之外，新结构还取决于概念空间，该空间测量非线性交互条款之间的空间距离。由此产生的细粒度的特征结构大大提高了网络的可读性，使它们能够同时模拟更丰富的相互作用，包括远程低频相互作用，短程 - 高频相互作用和各种插值和外插和外推 - 之间。此外，模型缩放可以改善内插和外推的分辨率，因此网络的可读性。最后，我们证明了在高维设置中任何深度的无限宽度CNN的泛化误差表征。遵循两个冠状动脉：（1）无限宽度深CNN可以在不失其富有效率的情况下打破维度的诅咒，而（2）缩放可以提高有限和无限数据制度的性能。

已知量子计算机可以在某些专业设置中使用经典的最先进的机器学习方法提供加速。例如，已证明量子内核方法可以在离散对数问题的学习版本上提供指数加速。了解量子模型的概括对于实现实际利益问题的类似加速至关重要。最近的结果表明，量子特征空间的指数大小阻碍了概括。尽管这些结果表明，量子模型在量子数数量较大时无法概括，但在本文中，我们表明这些结果依赖于过度限制性的假设。我们通过改变称为量子内核带宽的超参数来考虑更广泛的模型。我们分析了大量限制，并为可以以封闭形式求解的量子模型的概括提供了明确的公式。具体而言，我们表明，更改带宽的值可以使模型从不能概括到任何目标函数到对准目标的良好概括。我们的分析表明，带宽如何控制内核积分操作员的光谱，从而如何控制模型的电感偏置。我们从经验上证明，我们的理论正确地预测带宽如何影响质量模型在具有挑战性的数据集上的概括，包括远远超出我们理论假设的数据集。我们讨论了结果对机器学习中量子优势的含义。

对于某种缩放的随机梯度下降（SGD）的初始化，已经显示宽神经网络（NN）通过再现核Hilbert空间（RKHS）方法来近似近似。最近的实证工作表明，对于某些分类任务，RKHS方法可以替换NNS而无需大量的性能损失。另一方面，已知两层NNS编码比RKHS更丰富的平滑度等级，并且我们知道SGD培训的NN可提供的特殊示例可提供胜过RKHS。即使在宽网络限制中，这也是如此，对于初始化的不同缩放。我们如何调和上述索赔？任务是否优于RKHS？如果协变量近在各向同性，RKHS方法患有维度的诅咒，而NNS可以通过学习最佳的低维表示来克服它。在这里，我们表明，如果协变量显示与目标函数相同的低维结构，则这种维度的这种诅咒变得更温和，并且我们精确地表征了这个权衡。在这些结果上建立，我们提出了可以在早期工作中观察到的统一框架中捕获的尖刺协变量模型。我们假设这种潜伏的低维结构存在于图像分类中。我们通过表明训练分配的特定扰动降低了比NN更大的更显高度显着的训练方法的特定扰动来测试这些假设。

深神经网络（DNN）是用于压缩和蒸馏信息的强大工具。由于它们的规模和复杂性，通常涉及数十亿间相互作用的内部自由度，精确分析方法通常会缩短。这种情况下的共同策略是识别平均潜在的快速微观变量的不稳定行为的缓慢自由度。在这里，我们在训练结束时识别在过度参数化的深卷积神经网络（CNNS）中发生的尺度的分离。它意味着神经元预激活与几乎高斯的方式与确定性潜在内核一起波动。在对于具有无限许多频道的CNN来说，这些内核是惰性的，对于有限的CNNS，它们以分析的方式通过数据适应和学习数据。由此产生的深度学习的热力学理论产生了几种深度非线性CNN玩具模型的准确预测。此外，它还提供了新的分析和理解CNN的方法。

教师 - 学生模型提供了一个框架，其中可以以封闭形式描述高维监督学习的典型情况。高斯I.I.D的假设然而，可以认为典型教师 - 学生模型的输入数据可以被认为过于限制，以捕获现实数据集的行为。在本文中，我们介绍了教师和学生可以在不同的空格上行动的模型的高斯协变态概括，以固定的，而是通用的特征映射。虽然仍处于封闭形式的仍然可解决，但这种概括能够捕获广泛的现实数据集的学习曲线，从而兑现师生框架的潜力。我们的贡献是两倍：首先，我们证明了渐近培训损失和泛化误差的严格公式。其次，我们呈现了许多情况，其中模型的学习曲线捕获了使用内​​核回归和分类学习的现实数据集之一，其中盒出开箱特征映射，例如随机投影或散射变换，或者与散射变换预先学习的 - 例如通过培训多层神经网络学到的特征。我们讨论了框架的权力和局限性。

对于由缺陷线性回归中的标签噪声引起的预期平均平方概率，我们证明了无渐近分布的下限。我们的下部结合概括了过度公共数据（内插）制度的类似已知结果。与最先前的作品相比，我们的分析适用于广泛的输入分布，几乎肯定的全排列功能矩阵，允许我们涵盖各种类型的确定性或随机特征映射。我们的下限是渐近的锐利，暗示在存在标签噪声时，缺陷的线性回归不会在任何这些特征映射中围绕内插阈值进行良好的。我们详细分析了强加的假设，并为分析（随机）特征映射提供了理论。使用此理论，我们可以表明我们的假设对于具有（Lebesgue）密度的输入分布以及随机深神经网络给出的特征映射，具有Sigmoid，Tanh，SoftPlus或Gelu等分析激活功能。作为进一步的例子，我们示出了来自随机傅里叶特征和多项式内核的特征映射也满足我们的假设。通过进一步的实验和分析结果，我们补充了我们的理论。

强大的机器学习模型的开发中的一个重要障碍是协变量的转变，当训练和测试集的输入分布时发生的分配换档形式在条件标签分布保持不变时发生。尽管现实世界应用的协变量转变普遍存在，但在现代机器学习背景下的理论理解仍然缺乏。在这项工作中，我们检查协变量的随机特征回归的精确高尺度渐近性，并在该设置中提出了限制测试误差，偏差和方差的精确表征。我们的结果激发了一种自然部分秩序，通过协变速转移，提供足够的条件来确定何时何时损害（甚至有助于）测试性能。我们发现，过度分辨率模型表现出增强的协会转变的鲁棒性，为这种有趣现象提供了第一个理论解释之一。此外，我们的分析揭示了分销和分发外概率性能之间的精确线性关系，为这一令人惊讶的近期实证观察提供了解释。

光谱分析是一种强大的工具，将任何功能分解成更简单的部件。在机器学习中，Mercer的定理概括了这个想法，为任何内核和输入分布提供了增加频率的自然基础。最近，几种作品通过神经切线内核的框架将此分析扩展到深度神经网络。在这项工作中，我们分析了深度神经网络的层面频谱偏压，并将其与不同层的贡献相关联在给定的目标函数的泛化误差减少中的贡献。我们利用Hermite多项式和球面谐波的性质来证明初始层朝着单位球体上定义的高频函数呈现较大偏差。我们进一步提供了验证我们在深神经网络的高维数据集中的理论的实证结果。

现代神经网络通常以强烈的过度构造状态运行：它们包含许多参数，即使实际标签被纯粹随机的标签代替，它们也可以插入训练集。尽管如此，他们在看不见的数据上达到了良好的预测错误：插值训练集并不会导致巨大的概括错误。此外，过度散色化似乎是有益的，因为它简化了优化景观。在这里，我们在神经切线（NT）制度中的两层神经网络的背景下研究这些现象。我们考虑了一个简单的数据模型，以及各向同性协变量的矢量，$ d $尺寸和$ n $隐藏的神经元。我们假设样本量$ n $和尺寸$ d $都很大，并且它们在多项式上相关。我们的第一个主要结果是对过份术的经验NT内核的特征结构的特征。这种表征意味着必然的表明，经验NT内核的最低特征值在$ ND \ gg n $后立即从零界限，因此网络可以在同一制度中精确插值任意标签。我们的第二个主要结果是对NT Ridge回归的概括误差的表征，包括特殊情况，最小值-ULL_2 $ NORD插值。我们证明，一旦$ nd \ gg n $，测试误差就会被内核岭回归之一相对于无限宽度内核而近似。多项式脊回归的误差依次近似后者，从而通过与激活函数的高度组件相关的“自我诱导的”项增加了正则化参数。多项式程度取决于样本量和尺寸（尤其是$ \ log n/\ log d $）。

隐式和明确的生成建模的几种作品经验观察到特征学习鉴别器在模型的样本质量方面优于固定内核鉴别器。我们在使用函数类$ \ mathcal {f} _2 $和$ \ mathcal {f} _1 $分别在使用函数类$ \ mathcal {f} _2 $分别提供分离结果。 。特别地，我们构造了通过固定内核$（\ Mathcal {F} _2）$积分概率度量（IPM）和高维度的超积分（\ Mathcal {F} _2）和高维度差异（SD）的超领域的分布对。但是可以是由他们的特征学习（$ \ mathcal {f} _1 $）对应物歧视。为了进一步研究分离，我们提供$ \ mathcal {f} _1 $和$ \ mathcal {f} _2 $ IMM之间的链接。我们的工作表明，固定内核鉴别者的表现比其特征学习对应者更糟糕，因为它们的相应度量较弱。

要了解深度学习的作品，了解神经网络的培训动态至关重要。关于这些动态的几个有趣的假设是基于经验观察到的现象，但存在有限的理论上了解此类现象的时间和原因。在本文中，我们考虑了内核最小二乘目标对梯度流动的培训动态，这是SGD培训的神经网络的限制动态。使用精确的高维渐近学，我们将拟合模型的动态表征在两个“世界”中：在甲骨文世界中，该模型在人口分布和实证世界中培训，模型在采样的数据集上培训。我们展示在内核的温和条件下，$ L ^ 2 $目标回归函数，培训动力学经历三个阶段，其特征在于两个世界的模型的行为。我们的理论结果也在数学上正式化一些有趣的深度学习现象。具体而言，在我们的环境中，我们展示了SGD逐步了解更多复杂的功能，并且存在“深度引导”现象：在第二阶段，尽管经验训练误差要小得多，但两个世界的测试错误仍然接近。最后，我们提供了一个具体的例子，比较了两种不同核的动态，这表明更快的培训不需要更好地推广。

通过建立神经网络和内核方法之间的联系，无限宽度极限阐明了深度学习的概括和优化方面。尽管它们的重要性，但这些内核方法的实用性在大规模学习设置中受到限制，因为它们（超）二次运行时和内存复杂性。此外，大多数先前关于神经内核的作品都集中在relu激活上，这主要是由于其受欢迎程度，但这也是由于很难计算此类内核来进行一般激活。在这项工作中，我们通过提供进行一般激活的方法来克服此类困难。首先，我们编译和扩展激活功能的列表，该函数允许精确的双重激活表达式计算神经内核。当确切的计算未知时，我们提出有效近似它们的方法。我们提出了一种快速的素描方法，该方法近似于任何多种多层神经网络高斯过程（NNGP）内核和神经切线核（NTK）矩阵，以实现广泛的激活功能，这超出了常见的经过分析的RELU激活。这是通过显示如何使用任何所需激活函​​数的截短的Hermite膨胀来近似神经内核来完成的。虽然大多数先前的工作都需要单位球体上的数据点，但我们的方法不受此类限制的影响，并且适用于$ \ Mathbb {r}^d $中的任何点数据集。此外，我们为NNGP和NTK矩阵提供了一个子空间嵌入，具有接近输入的距离运行时和接近最佳的目标尺寸，该目标尺寸适用于任何\ EMPH {均质}双重激活功能，具有快速收敛的Taylor膨胀。从经验上讲，关于精确的卷积NTK（CNTK）计算，我们的方法可实现$ 106 \ times $速度，用于在CIFAR-10数据集上的5层默特网络的近似CNTK。

Neural networks are known to be a class of highly expressive functions able to fit even random inputoutput mappings with 100% accuracy. In this work we present properties of neural networks that complement this aspect of expressivity. By using tools from Fourier analysis, we highlight a learning bias of deep networks towards low frequency functions -i.e. functions that vary globally without local fluctuations -which manifests itself as a frequency-dependent learning speed. Intuitively, this property is in line with the observation that over-parameterized networks prioritize learning simple patterns that generalize across data samples. We also investigate the role of the shape of the data manifold by presenting empirical and theoretical evidence that, somewhat counter-intuitively, learning higher frequencies gets easier with increasing manifold complexity.

懒惰培训制度中的神经网络收敛到内核机器。在丰富的特征学习制度中可以在丰富的特征学习制度中可以使用数据依赖性内核来学习内核机器吗？我们证明，这可以是由于我们术语静音对准的现象，这可能需要网络的切线内核在特征内演变，而在小并且在损失明显降低，并且之后仅在整体尺度上生长。我们表明这种效果在具有小初始化和白化数据的同质神经网络中进行。我们在线性网络壳体提供了对这种效果的分析处理。一般来说，我们发现内核在训练的早期阶段开发了低级贡献，然后在总体上发展，产生了与最终网络的切线内核的内核回归解决方案等同的函数。内核的早期光谱学习取决于深度。我们还证明了非白化数据可以削弱无声的对准效果。